Руководство · Глава 18
Модели ИИ на вашем устройстве
Какие модели ИИ DriftEdit запускает в браузере, что они делают, сколько занимают и куда отправляются данные (никуда).
Инструменты ИИ DriftEdit работают во вкладке браузера на вашем устройстве через ONNX Runtime Web: на видеокарте с WebGPU, если браузер его поддерживает, иначе в WebAssembly на процессоре. Каждая модель загружается с сайта DriftEdit при первом использовании инструмента, браузер сохраняет её на следующий раз до очистки хранилища. Всё, что модели слышат и видят, остаётся на устройстве.
Модели
| Инструмент | Действие | Модель | Загрузка |
|---|---|---|---|
| Субтитры из речи | Записывает речь на 99 языках со временем каждого слова | Whisper base (OpenAI, MIT) | 80 МБ (113 МБ на видеокарте) |
| Разделить на стемы | Делит песню на вокал, ударные, бас и остальное | Spleeter 4stems (Deezer, MIT) | 157 МБ |
| Выделить голос | Извлекает диалог из музыки и эффектов | MRX (MERL, MIT) | 31 МБ |
| Плавное движение | Дорисовывает промежуточные кадры для плавного замедления и экспорта в 60 кадров/с | RIFE 4.17 lite (MIT) | 11 МБ |
| Движение в глубину | Определяет близость частей фотографии для наезда | Depth Anything V2 Small (Apache-2.0) | 27 МБ |
| Размыть фон | Определяет контур человека, чтобы сохранить его резкость | MODNet (Apache-2.0) | 26 МБ |
| Стоп-кадр | Вырезает любой объект из кадра | BiRefNet lite (MIT) | 98 МБ |
| B-roll на слова, Найти сцены | Сопоставляет изображения со словами и находит сцены видео | CLIP ViT-B/32 (OpenAI, MIT) | 156 МБ |
| Идеальное качество (ИИ) (Pro) | Перерисовывает каждый кадр экспорта резче и чище | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 МБ |
| Озвучить субтитры | Голос ИИ, женский или мужской, на языках студии | Supertonic 3 (Supertone, OpenRAIL-M) | 401 МБ |
| Озвучить субтитры на китайском | То же на китайском | Kokoro 82M (hexgrad, Apache-2.0) | 93 МБ |
| Субтитры из речи: кто говорит | Находит говорящих и называет каждую реплику | pyannote segmentation 3.0 (MIT) и WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 МБ и 6.7 МБ |
| Субтитры из речи: звуки | Подписывает звуки там, где никто не говорит: аплодисменты, смех, музыку | YAMNet (Google, MIT) | 15 МБ |
За Очистить голос и Улучшить детали не стоят модели: первое является обработкой сигнала, второе увеличением изображения на видеокарте. Загрузка им не нужна.
Первое использование
При первом нажатии инструмента загружается модель: ход работы в процентах виден на обрабатываемом клипе и рядом с таймкодом. Позже работа начинается сразу. При медленном соединении большие модели загружаются дольше; загрузка продолжается во время монтажа.
Скорость
На компьютере с настоящей видеокартой большинство моделей быстро работает на ней через WebGPU; разделение на стемы и выделение голоса всегда работают на процессоре. Без видеокарты или в браузере без WebGPU модели работают в WebAssembly на процессоре: медленнее, с тем же результатом. Если модель не запускается на видеокарте (некоторые карты и драйверы отказывают отдельным моделям), DriftEdit автоматически запускает её в WebAssembly.