Manual · Capítulo 18
Modelos de IA no seu aparelho
Os modelos de IA que o DriftEdit executa no navegador, o que cada um faz, seu tamanho e para onde seus dados vão (para lugar nenhum).
As ferramentas de IA do DriftEdit rodam na aba do navegador, no seu próprio aparelho, pelo ONNX Runtime Web: na placa de vídeo com WebGPU quando o navegador oferece suporte ou em WebAssembly no processador. Cada modelo é baixado do próprio site do DriftEdit na primeira vez que sua ferramenta é usada, e o navegador o guarda para a próxima vez (até o armazenamento ser limpo). O que os modelos ouvem e veem nunca sai do aparelho.
Os modelos
| Ferramenta | O que faz | Modelo | Download |
|---|---|---|---|
| Legendas a partir da fala | Escreve o que é dito, com o tempo de cada palavra, em 99 idiomas | Whisper base (OpenAI, MIT) | 80 MB (113 MB na placa de vídeo) |
| Separar em stems | Uma música em quatro partes: voz, bateria, baixo e o restante | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Isolar a voz | Separa o diálogo da música e dos efeitos | MRX (MERL, MIT) | 31 MB |
| Movimento fluido | Desenha quadros entre os originais para câmera lenta fluida e exportações a 60 fps | RIFE 4.17 lite (MIT) | 11 MB |
| Mover em profundidade | Determina a proximidade de cada parte de uma foto para criar uma aproximação | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Desfocar o fundo | Encontra o contorno de uma pessoa para mantê-la nítida | MODNet (Apache-2.0) | 26 MB |
| Quadro congelado | Recorta o assunto de um quadro, seja qual for | BiRefNet lite (MIT) | 98 MB |
| B-roll sincronizado com a fala, Encontrar cenas | Relaciona imagens a palavras e encontra as cenas de um vídeo | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Qualidade perfeita (IA) (Pro) | Redesenha cada quadro de uma exportação com mais nitidez e limpeza | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Narrar as legendas | Uma voz de IA, feminina ou masculina, nos idiomas do estúdio | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Narrar as legendas em chinês | O mesmo, em chinês | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Legendas a partir da fala: quem fala | Encontra quem fala e nomeia cada vez | pyannote segmentation 3.0 (MIT) e WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB e 6.7 MB |
| Legendas a partir da fala: sons | Legenda os sons ouvidos onde ninguém fala: aplausos, risadas, música | YAMNet (Google, MIT) | 15 MB |
Limpar a voz e Realçar detalhes não usam modelos: o primeiro usa processamento de sinal; o segundo, ampliação na placa de vídeo. Nenhum precisa de download.
O que acontece na primeira vez
O primeiro uso de uma ferramenta baixa seu modelo: o progresso aparece no clipe em que ela trabalha, como porcentagem, e ao lado do código de tempo. Os usos seguintes começam imediatamente. Em uma conexão lenta, os modelos maiores demoram; o download continua durante a edição.
Velocidade
Em um computador com placa de vídeo real, a maioria dos modelos roda nela por WebGPU e é rápida; a separação em stems e o isolamento de voz sempre rodam no processador. Sem uma placa compatível, ou em um navegador sem WebGPU, rodam em WebAssembly no processador: mais devagar, mas com o mesmo resultado. Se um modelo não puder rodar na placa de vídeo (algumas placas e drivers recusam certos modelos), o DriftEdit passa automaticamente a executá-lo em WebAssembly.