Manuel · Chapitre 18
Modèles d'IA sur votre appareil
Les modèles d'IA exécutés dans le navigateur, leur rôle, leur taille et vos données, qui restent sur votre appareil.
Les outils d'IA de DriftEdit fonctionnent dans l'onglet du navigateur, sur votre appareil, via ONNX Runtime Web : sur la carte graphique avec WebGPU si le navigateur le propose, sinon en WebAssembly sur le processeur. Chaque modèle se télécharge depuis le site de DriftEdit à la première utilisation de son outil. Le navigateur le conserve pour les prochaines fois, jusqu'à l'effacement du stockage. Ce que les modèles voient et entendent reste sur votre appareil.
Les modèles
| Outil | Rôle | Modèle | Téléchargement |
|---|---|---|---|
| Sous-titres à partir de la parole | Transcrit les paroles avec chaque mot synchronisé, dans 99 langues | Whisper base (OpenAI, MIT) | 80 MB (113 MB sur carte graphique) |
| Séparer en stems | Sépare un morceau en quatre parties : voix, batterie, basse et reste | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Isoler la voix | Extrait le dialogue de la musique et des effets | MRX (MERL, MIT) | 31 MB |
| Mouvement fluide | Génère les images intermédiaires pour des ralentis fluides et des exports à 60 images/s | RIFE 4.17 lite (MIT) | 11 MB |
| Mouvement en profondeur | Estime la distance de chaque partie d'une photo pour s'en rapprocher | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Flouter l'arrière-plan | Détoure une personne pour la garder nette | MODNet (Apache-2.0) | 26 MB |
| Image figée | Détoure un sujet dans une image, quel qu'il soit | BiRefNet lite (MIT) | 98 MB |
| B-roll sur les mots, Trouver les scènes | Associe images et mots et repère les scènes d'une vidéo | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Qualité parfaite (IA) (Pro) | Redessine chaque image de l'export plus nette et propre | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Lire les sous-titres | Une voix IA féminine ou masculine, dans les langues du studio | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Lire les sous-titres en chinois | La même fonction en chinois | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Sous-titres à partir de la parole : qui parle | Trouve les personnes qui parlent et nomme chaque tour | pyannote segmentation 3.0 (MIT) et WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB et 6.7 MB |
| Sous-titres à partir de la parole : sons | Sous-titre les sons entendus là où personne ne parle : applaudissements, rires, musique | YAMNet (Google, MIT) | 15 MB |
Nettoyer la voix et Améliorer les détails n'utilisent aucun modèle : le premier traite le signal, le second agrandit l'image sur la carte graphique. Aucun téléchargement n'est nécessaire.
À la première utilisation
La première pression sur un outil télécharge son modèle : la progression s'affiche en pourcentage sur le clip concerné et à côté du timecode. Les utilisations suivantes démarrent immédiatement. Sur une connexion lente, les modèles volumineux demandent du temps ; le téléchargement continue pendant le montage.
Vitesse
Sur un ordinateur doté d'une véritable carte graphique, la plupart des modèles l'utilisent via WebGPU et sont rapides ; la séparation en stems et l'isolation de voix utilisent toujours le processeur. Sans carte graphique, ou sans WebGPU dans le navigateur, les modèles tournent en WebAssembly sur le processeur : plus lentement, avec le même résultat. Si un modèle ne fonctionne pas sur la carte graphique (certaines cartes et certains pilotes en refusent), DriftEdit bascule automatiquement en WebAssembly.