Handbuch · Kapitel 18
KI-Modelle auf deinem Gerät
Welche KI-Modelle DriftEdit im Browser ausführt, ihre Aufgaben und Größen und wohin deine Daten gehen: nirgendwohin.
DriftEdits KI-Werkzeuge laufen über ONNX Runtime Web in deinem Browsertab auf deinem eigenen Gerät: mit WebGPU auf der Grafikkarte, wenn dein Browser es bietet, sonst mit WebAssembly auf dem Prozessor. Jedes Modell wird bei der ersten Verwendung seines Werkzeugs von DriftEdits eigener Website heruntergeladen. Der Browser bewahrt es fürs nächste Mal auf (bis sein Speicher gelöscht wird). Was die Modelle hören und sehen, verlässt dein Gerät nie.
Die Modelle
| Werkzeug | Aufgabe | Modell | Download |
|---|---|---|---|
| Untertitel aus Sprache | Schreibt das Gesagte mit Wortzeiten in 99 Sprachen auf | Whisper base (OpenAI, MIT) | 80 MB (113 MB auf der Grafikkarte) |
| In Stems aufteilen | Ein Song in vier Teilen: Gesang, Schlagzeug, Bass und der Rest | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Stimme isolieren | Löst Dialog aus Musik und Effekten | MRX (MERL, MIT) | 31 MB |
| Flüssige Bewegung | Berechnet Zwischenbilder für flüssige Zeitlupe und Exporte mit 60 fps | RIFE 4.17 lite (MIT) | 11 MB |
| In die Tiefe bewegen | Bestimmt die Nähe jedes Fotobereichs für eine Fahrt ins Bild | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Hintergrund weichzeichnen | Erkennt den Umriss einer Person, um sie scharf zu halten | MODNet (Apache-2.0) | 26 MB |
| Standbild | Stellt ein beliebiges Motiv aus einem Bild frei | BiRefNet lite (MIT) | 98 MB |
| B-roll passend zum Gesagten, Szenen finden | Ordnet Bilder Wörtern zu und erkennt Szenen eines Videos | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Perfekte Qualität (KI) (Pro) | Zeichnet jedes Exportbild schärfer und sauberer neu | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Untertitel sprechen | Eine weibliche oder männliche KI-Stimme in den Studiosprachen | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Untertitel sprechen auf Chinesisch | Dasselbe auf Chinesisch | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Untertitel aus Sprache: wer spricht | Findet die Sprechenden und benennt jeden Wechsel | pyannote segmentation 3.0 (MIT) und WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB und 6.7 MB |
| Untertitel aus Sprache: Geräusche | Untertitelt Geräusche, wo niemand spricht: Applaus, Lachen, Musik | YAMNet (Google, MIT) | 15 MB |
Hinter Stimme bereinigen und Details verbessern steckt kein Modell. Ersteres nutzt Signalverarbeitung, Letzteres eine Hochskalierung auf der Grafikkarte. Beide brauchen keinen Download.
Was beim ersten Mal passiert
Beim ersten Drücken eines Werkzeugs wird sein Modell heruntergeladen. Der Fortschritt erscheint als Prozentangabe auf dem bearbeiteten Clip und neben dem Timecode. Spätere Aufrufe starten sofort. Bei langsamer Verbindung brauchen größere Modelle eine Weile. Der Download läuft während der Bearbeitung weiter.
Geschwindigkeit
Auf einem Computer mit echter Grafikkarte laufen die meisten Modelle über WebGPU darauf und sind schnell. Stems und Stimmisolierung laufen immer auf dem Prozessor. Ohne Grafikkarte oder in einem Browser ohne WebGPU laufen die Modelle mit WebAssembly auf dem Prozessor: langsamer, mit demselben Ergebnis. Kann ein Modell nicht auf einer Grafikkarte laufen (manche Karten und Treiber verweigern bestimmte Modelle), wechselt DriftEdit selbstständig zu WebAssembly.