Manuale · Capitolo 18
Modelli IA sul dispositivo
I modelli IA eseguiti da DriftEdit nel browser, cosa fanno, quanto pesano e dove vanno i dati (da nessuna parte).
Gli strumenti IA di DriftEdit funzionano nella scheda del browser, sul dispositivo, tramite ONNX Runtime Web: sulla scheda grafica con WebGPU se disponibile nel browser, altrimenti in WebAssembly sul processore. Ogni modello si scarica dal sito di DriftEdit al primo uso dello strumento e il browser lo conserva per la volta successiva (finché non vengono cancellati i dati). Ciò che i modelli ascoltano e vedono resta sul dispositivo.
I modelli
| Strumento | Cosa fa | Modello | Download |
|---|---|---|---|
| Sottotitoli dal parlato | Trascrive il parlato con ogni parola sincronizzata, in 99 lingue | Whisper base (OpenAI, MIT) | 80 MB (113 MB su scheda grafica) |
| Separa in stem | Un brano in quattro parti: voce, batteria, basso e resto | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Isola la voce | Estrae il dialogo da musica ed effetti | MRX (MERL, MIT) | 31 MB |
| Movimento fluido | Disegna fotogrammi intermedi per slow motion fluido ed esportazioni a 60 fps | RIFE 4.17 lite (MIT) | 11 MB |
| Muovi in profondità | Stima la distanza delle parti di una foto per avvicinarsi al suo interno | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Sfoca lo sfondo | Trova il contorno di una persona per mantenerla nitida | MODNet (Apache-2.0) | 26 MB |
| Fermo immagine | Scontorna un soggetto da un fotogramma, qualunque esso sia | BiRefNet lite (MIT) | 98 MB |
| B-roll sulle parole, Trova scene | Associa immagini e parole e trova le scene di un video | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Qualità perfetta (IA) (Pro) | Ridisegna ogni fotogramma esportato più nitido e pulito | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Leggi i sottotitoli | Una voce IA, femminile o maschile, nelle lingue dello studio | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Leggi i sottotitoli in cinese | La stessa funzione, in cinese | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Sottotitoli dal parlato: chi parla | Trova chi parla e dà un nome a ogni turno | pyannote segmentation 3.0 (MIT) e WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB e 6.7 MB |
| Sottotitoli dal parlato: suoni | Sottotitola i suoni sentiti dove nessuno parla: applausi, risate, musica | YAMNet (Google, MIT) | 15 MB |
Pulisci la voce e Migliora i dettagli non usano modelli: il primo elabora il segnale, il secondo aumenta la risoluzione sulla scheda grafica. Nessuno dei due richiede download.
Cosa succede al primo uso
La prima pressione di uno strumento ne scarica il modello: l'avanzamento appare sulla clip interessata in percentuale e accanto al timecode. Gli usi successivi partono subito. Con una connessione lenta, i modelli più grandi richiedono tempo; il download continua mentre monti.
Velocità
Su un computer con una vera scheda grafica, la maggior parte dei modelli la usa tramite WebGPU ed è veloce; separazione in stem e isolamento della voce usano sempre il processore. Senza scheda grafica o in un browser senza WebGPU, i modelli funzionano in WebAssembly sul processore: più lenti, con lo stesso risultato. Se un modello non può funzionare sulla scheda grafica (alcune schede e driver rifiutano certi modelli), DriftEdit passa automaticamente a WebAssembly.