Panduan · Bab 18
Model AI di perangkatmu
Model AI yang dijalankan DriftEdit di browser, kegunaan dan ukurannya, serta data yang tetap di perangkatmu.
Alat AI DriftEdit berjalan di dalam tab browser pada perangkatmu sendiri, melalui ONNX Runtime Web: pada kartu grafis dengan WebGPU jika browser menyediakannya, atau dalam WebAssembly pada prosesor jika tidak. Setiap model diunduh dari situs DriftEdit sendiri saat alatnya pertama digunakan, dan browser menyimpannya untuk pemakaian berikutnya (sampai penyimpanannya dihapus). Yang didengar dan dilihat model tidak pernah meninggalkan perangkatmu.
Model
| Alat | Kegunaan | Model | Unduhan |
|---|---|---|---|
| Subtitle dari ucapan | Menuliskan ucapan, dengan waktu setiap kata, dalam 99 bahasa | Whisper base (OpenAI, MIT) | 80 MB (113 MB di kartu grafis) |
| Pisahkan jadi stem | Lagu dalam empat bagian: vokal, drum, bass, dan sisanya | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Pisahkan suara | Memisahkan dialog dari musik dan efek | MRX (MERL, MIT) | 31 MB |
| Gerakan halus | Menggambar frame di antara frame footage untuk slow motion halus dan ekspor 60 fps | RIFE 4.17 lite (MIT) | 11 MB |
| Gerak kedalaman | Menentukan jarak setiap bagian foto, untuk gerakan mendekat | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Blur latar belakang | Garis luar orang, agar tetap tajam | MODNet (Apache-2.0) | 26 MB |
| Bingkai diam | Memisahkan subjek dari frame, apa pun subjeknya | BiRefNet lite (MIT) | 98 MB |
| B-roll sesuai ucapan, Cari adegan | Mencocokkan gambar dengan kata dan menemukan adegan video | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Kualitas sempurna (AI) (Pro) | Menggambar ulang setiap frame ekspor lebih tajam dan bersih | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Ucapkan subtitle | Suara AI perempuan atau laki-laki, dalam bahasa studio | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Ucapkan subtitle dalam bahasa Mandarin | Hal yang sama, dalam bahasa Mandarin | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Subtitle dari ucapan: siapa yang bicara | Menemukan orang yang berbicara dan menamai setiap giliran | pyannote segmentation 3.0 (MIT) dan WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB dan 6.7 MB |
| Subtitle dari ucapan: suara | Memberi subtitle suara yang terdengar saat tidak ada yang bicara: tepuk tangan, tawa, musik | YAMNet (Google, MIT) | 15 MB |
Bersihkan suara dan Pertajam detail tidak memakai model: yang pertama menggunakan pemrosesan sinyal, yang kedua peningkatan resolusi pada kartu grafis. Keduanya tidak memerlukan unduhan.
Saat pertama digunakan
Menekan alat untuk pertama kali mengunduh modelnya: progres terlihat pada klip yang diproses, sebagai persentase, dan di samping timecode. Penggunaan berikutnya langsung dimulai. Pada koneksi lambat, model besar memerlukan waktu; unduhan berlanjut selama mengedit.
Kecepatan
Pada komputer dengan kartu grafis sungguhan, sebagian besar model berjalan di sana melalui WebGPU, dengan cepat; stem dan isolasi suara selalu berjalan pada prosesor. Tanpa kartu grafis, atau pada browser tanpa WebGPU, model berjalan dalam WebAssembly pada prosesor: lebih lambat, tetapi hasilnya sama. Jika model tidak bisa berjalan pada kartu grafis (sebagian kartu dan driver menolak model tertentu), DriftEdit otomatis menjalankannya dalam WebAssembly.