मैनुअल · अध्याय 18
आपके डिवाइस पर AI मॉडल
ब्राउज़र में चलने वाले DriftEdit के AI मॉडल, उनका काम, डाउनलोड का आकार और आपका डेटा कहाँ जाता है (कहीं नहीं)।
DriftEdit के AI टूल आपके डिवाइस के ब्राउज़र टैब में ONNX Runtime Web से चलते हैं: ब्राउज़र में WebGPU हो तो ग्राफ़िक्स कार्ड पर, अन्यथा प्रोसेसर पर WebAssembly में। पहली बार टूल इस्तेमाल करने पर मॉडल DriftEdit की साइट से डाउनलोड होता है और ब्राउज़र अगली बार के लिए रखता है (स्टोरेज साफ़ होने तक)। मॉडल जो सुनते और देखते हैं वह डिवाइस से बाहर नहीं जाता।
मॉडल
| टूल | इसका काम | मॉडल | डाउनलोड |
|---|---|---|---|
| बोली से कैप्शन | 99 भाषाओं में कही बात लिखता है, हर शब्द के समय सहित | Whisper base (OpenAI, MIT) | 80 MB (ग्राफ़िक्स कार्ड पर 113 MB) |
| स्टेम में बाँटें | गाने के चार हिस्से: गायन, ड्रम, बास और बाकी | Spleeter 4stems (Deezer, MIT) | 157 MB |
| आवाज़ अलग करें | संगीत और इफ़ेक्ट से संवाद अलग | MRX (MERL, MIT) | 31 MB |
| स्मूद मोशन | सहज स्लो मोशन और 60 fps एक्सपोर्ट के लिए फ़ुटेज के बीच फ़्रेम | RIFE 4.17 lite (MIT) | 11 MB |
| गहराई में मूव | फ़ोटो का हर हिस्सा कितना पास है, ताकि अंदर बढ़ सकें | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| बैकग्राउंड ब्लर करें | व्यक्ति को साफ़ रखने के लिए उसकी रूपरेखा | MODNet (Apache-2.0) | 26 MB |
| तस्वीर | किसी भी विषय को फ़्रेम से अलग करना | BiRefNet lite (MIT) | 98 MB |
| शब्दों पर B-roll, सीन ढूँढें | तस्वीरें शब्दों से मिलाना और वीडियो के सीन खोजना | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| परफ़ेक्ट क्वालिटी (AI) (Pro) | एक्सपोर्ट का हर फ़्रेम अधिक तीखा और साफ़ दोबारा बनाना | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| कैप्शन बोलें | स्टूडियो की भाषाओं में महिला या पुरुष की AI आवाज़ | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| चीनी में कैप्शन बोलें | वही, चीनी में | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| बोली से कैप्शन: कौन बोल रहा है | बोलने वालों को ढूँढता है और हर बारी को नाम देता है | pyannote segmentation 3.0 (MIT) और WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB और 6.7 MB |
| बोली से कैप्शन: आवाज़ें | जहाँ कोई नहीं बोल रहा, वहाँ सुनी गई आवाज़ों के कैप्शन देता है: तालियाँ, हँसी, संगीत | YAMNet (Google, MIT) | 15 MB |
आवाज़ साफ़ करें और डिटेल निखारें में मॉडल नहीं है: पहला सिग्नल प्रोसेसिंग है, दूसरा ग्राफ़िक्स कार्ड पर अपस्केलर। किसी को डाउनलोड नहीं चाहिए।
पहली बार क्या होता है
टूल पहली बार दबाने पर मॉडल डाउनलोड होता है: जिस क्लिप पर काम हो रहा है वहाँ प्रतिशत में और टाइमकोड के पास प्रगति दिखती है। बाद में तुरंत शुरू होता है। धीमे कनेक्शन पर बड़े मॉडल समय लेते हैं; एडिट करते समय डाउनलोड जारी रहता है।
स्पीड
असली ग्राफ़िक्स कार्ड वाले कंप्यूटर पर अधिकतर मॉडल WebGPU से उस पर तेज़ चलते हैं; स्टेम और आवाज़ अलग करना हमेशा प्रोसेसर पर चलते हैं। कार्ड न हो या ब्राउज़र में WebGPU न हो तो WebAssembly में प्रोसेसर पर चलते हैं: धीमे, लेकिन नतीजा वही। मॉडल कार्ड पर न चल पाए (कुछ कार्ड और ड्राइवर कुछ मॉडल नहीं चलाते) तो DriftEdit अपने आप WebAssembly में चलाता है।