Kılavuz · Bölüm 18
Cihazındaki yapay zeka modelleri
DriftEdit'in tarayıcında çalıştırdığı yapay zeka modelleri, her birinin işlevi, boyutu ve verilerinin nereye gittiği (hiçbir yere).
DriftEdit'in yapay zeka araçları ONNX Runtime Web üzerinden tarayıcı sekmende, kendi cihazında çalışır: tarayıcın destekliyorsa WebGPU ile ekran kartında, aksi halde WebAssembly ile işlemcide. Her model, aracını ilk kullandığında DriftEdit'in kendi sitesinden indirilir; tarayıcın sonraki kullanım için saklar (depolaması temizlenene kadar). Modellerin duyduğu ve gördüğü hiçbir şey cihazından çıkmaz.
Modeller
| Araç | Ne yapar | Model | İndirme |
|---|---|---|---|
| Konuşmadan altyazılar | 99 dilde söylenenleri, her kelimenin zamanıyla yazar | Whisper base (OpenAI, MIT) | 80 MB (ekran kartında 113 MB) |
| Stem'lere ayır | Şarkıyı dört parçaya ayırır: vokal, davul, bas ve geri kalanı | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Konuşma sesini ayır | Diyaloğu müzik ve efektlerden ayırır | MRX (MERL, MIT) | 31 MB |
| Akıcı hareket | Akıcı ağır çekim ve 60 fps dışa aktarma için görüntünün kendi kareleri arasına kareler çizer | RIFE 4.17 lite (MIT) | 11 MB |
| Derinlik hareketi ekle | Fotoğrafa doğru yaklaşmak için her bölümün yakınlığını belirler | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Arka planı bulanıklaştır | Kişiyi net tutmak için sınırlarını belirler | MODNet (Apache-2.0) | 26 MB |
| Donuk kare | Ne olursa olsun özneyi bir kareden ayırır | BiRefNet lite (MIT) | 98 MB |
| Konuşmaya uygun B-roll, Sahneleri bul | Görüntüleri kelimelerle eşleştirir ve videonun sahnelerini bulur | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Mükemmel kalite (YZ) (Pro) | Dışa aktarılan her kareyi daha net ve temiz çizer | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Altyazıları seslendir | Stüdyonun dillerinde kadın veya erkek yapay zeka sesi | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Çince Altyazıları seslendir | Aynısı, Çince | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Konuşmadan altyazılar: kim konuşuyor | Konuşanları bulur ve her sırayı adlandırır | pyannote segmentation 3.0 (MIT) ve WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB ve 6.7 MB |
| Konuşmadan altyazılar: sesler | Kimsenin konuşmadığı yerlerde duyulan sesleri altyazılar: alkış, kahkaha, müzik | YAMNet (Google, MIT) | 15 MB |
Sesi temizle ve Detayı iyileştir model kullanmaz: ilki sinyal işleme, ikincisi ekran kartında çalışan bir büyütme aracıdır. İkisi de indirme gerektirmez.
İlk kullanımda ne olur
Araca ilk bastığında modeli indirilir: ilerleme, üzerinde çalıştığı klipte yüzde olarak ve zaman kodunun yanında görünür. Sonraki kullanımlar hemen başlar. Yavaş bağlantıda büyük modeller biraz zaman alır; sen düzenlerken indirme sürer.
Hız
Uygun ekran kartı bulunan bilgisayarda modellerin çoğu WebGPU üzerinden ekran kartında çalışır ve hızlıdır; stem ayırma ve konuşma sesini ayırma her zaman işlemcide çalışır. Ekran kartı yoksa veya tarayıcı WebGPU desteklemiyorsa WebAssembly ile işlemcide çalışırlar: daha yavaş, ama aynı sonuçla. Model ekran kartında çalışamıyorsa (bazı kartlar ve sürücüler bazı modelleri reddeder), DriftEdit kendiliğinden WebAssembly ile çalıştırır.