Manual · Capítulo 18
Modelos de IA en tu dispositivo
Los modelos de IA que DriftEdit ejecuta en tu navegador, qué hace cada uno, cuánto ocupa y adónde van tus datos (a ninguna parte).
Las herramientas de IA de DriftEdit se ejecutan dentro de la pestaña del navegador, en tu dispositivo, mediante ONNX Runtime Web: en la tarjeta gráfica con WebGPU si tu navegador lo ofrece, o en WebAssembly sobre el procesador en caso contrario. Cada modelo se descarga desde el propio sitio de DriftEdit la primera vez que usas su herramienta, y el navegador lo conserva para la próxima vez (hasta que se borre su almacenamiento). Lo que oyen y ven los modelos nunca sale de tu dispositivo.
Los modelos
| Herramienta | Qué hace | Modelo | Descarga |
|---|---|---|---|
| Subtítulos a partir de la voz | Escribe lo que se dice, con los tiempos de cada palabra, en 99 idiomas | Whisper base (OpenAI, MIT) | 80 MB (113 MB en tarjeta gráfica) |
| Separar en stems | Una canción en cuatro partes: voces, batería, bajo y el resto | Spleeter 4stems (Deezer, MIT) | 157 MB |
| Aislar la voz | Extrae el diálogo de la música y los efectos | MRX (MERL, MIT) | 31 MB |
| Movimiento fluido | Dibuja fotogramas intermedios para cámara lenta fluida y exportaciones a 60 fps | RIFE 4.17 lite (MIT) | 11 MB |
| Mover en profundidad | Calcula lo cerca que está cada parte de una foto para acercarse a ella | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| Desenfocar el fondo | El contorno de una persona para mantenerla nítida | MODNet (Apache-2.0) | 26 MB |
| Imagen fija | Recorta el sujeto de un fotograma, sea lo que sea | BiRefNet lite (MIT) | 98 MB |
| B-roll sobre las palabras, Buscar escenas | Relaciona imágenes con palabras y encuentra las escenas de un vídeo | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| Calidad perfecta (IA) (Pro) | Vuelve a dibujar cada fotograma de una exportación con más nitidez y limpieza | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| Hablar los subtítulos | Una voz de IA, de mujer o de hombre, en los idiomas del estudio | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| Hablar los subtítulos en chino | Lo mismo, en chino | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| Subtítulos a partir de la voz: quién habla | Encuentra a quienes hablan y nombra cada turno | pyannote segmentation 3.0 (MIT) y WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB y 6.7 MB |
| Subtítulos a partir de la voz: sonidos | Subtitula los sonidos que se oyen donde nadie habla: aplausos, risas, música | YAMNet (Google, MIT) | 15 MB |
Limpiar la voz y Mejorar el detalle no usan modelos: la primera herramienta procesa la señal y la segunda amplía la imagen en la tarjeta gráfica. Ninguna necesita una descarga.
Qué ocurre la primera vez
La primera pulsación de una herramienta descarga su modelo: el progreso aparece en el clip sobre el que trabaja, como porcentaje, y junto al código de tiempo. Los usos posteriores empiezan al instante. Con una conexión lenta, los modelos grandes tardan; la descarga continúa mientras editas.
Velocidad
En un ordenador con una tarjeta gráfica real, la mayoría de los modelos se ejecutan en ella mediante WebGPU y son rápidos; la separación en stems y el aislamiento de voz siempre se ejecutan en el procesador. Sin tarjeta gráfica, o en un navegador sin WebGPU, se ejecutan en WebAssembly sobre el procesador: más despacio, pero con el mismo resultado. Si un modelo no puede ejecutarse en una tarjeta gráfica (algunas tarjetas y controladores rechazan ciertos modelos), DriftEdit pasa automáticamente a ejecutarlo en WebAssembly.