手册 · 章节 18
设备上的 AI 模型
DriftEdit 在浏览器中运行的 AI 模型、各自用途、下载大小，以及数据去向（始终留在设备上）。
DriftEdit 的 AI 工具通过 ONNX Runtime Web，在你自己设备的浏览器标签页中运行：浏览器支持 WebGPU 时使用显卡，否则通过 WebAssembly 使用处理器。首次使用某工具时，模型会从 DriftEdit 自有网站下载，浏览器会保留供下次使用（直到清除存储）。模型听到和看到的内容始终留在设备上。
模型一览
| 工具 | 作用 | 模型 | 下载大小 |
|---|---|---|---|
| 语音转字幕 | 将话语转成文字，为每个词标定时间，支持 99 种语言 | Whisper base (OpenAI, MIT) | 80 MB（显卡上为 113 MB） |
| 分离为分轨 | 将歌曲分成人声、鼓、贝斯和其余部分 | Spleeter 4stems (Deezer, MIT) | 157 MB |
| 分离人声 | 从音乐和效果中提取对白 | MRX (MERL, MIT) | 31 MB |
| 流畅动作 | 在素材原有帧之间绘制新帧，实现流畅慢动作和 60 fps 导出 | RIFE 4.17 lite (MIT) | 11 MB |
| 景深移动 | 识别照片各部分的远近，以便推入画面 | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| 背景虚化 | 识别人物轮廓，让人物保持清晰 | MODNet (Apache-2.0) | 26 MB |
| 定格画面 | 从一帧中抠出主体，不限主体类型 | BiRefNet lite (MIT) | 98 MB |
| 随话语插入 B-roll、查找场景 | 匹配画面与文字，并查找视频场景 | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| 完美画质 (AI)（Pro） | 重绘导出的每一帧，使其更清晰干净 | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| 朗读字幕 | 以工作室支持的语言提供 AI 女声或男声 | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| 中文朗读字幕 | 同样功能，使用中文 | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| 语音转字幕：说话人 | 找出说话的人并为每段发言命名 | pyannote segmentation 3.0 (MIT) 和 WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB 和 6.7 MB |
| 语音转字幕：声音 | 为无人说话处听到的声音（掌声、笑声、音乐）加字幕 | YAMNet (Google, MIT) | 15 MB |
清理人声和增强细节不使用模型：前者是信号处理，后者是在显卡上运行的放大器。两者都无需下载。
首次使用时
首次按下工具会下载模型：处理进度以百分比显示在所处理的片段上，以及时间码旁边。之后可立即开始。网络较慢时，较大模型需要一些时间；下载会在编辑时继续。
速度
在配备实际显卡的电脑上，多数模型通过 WebGPU 在显卡上快速运行；分轨和人声分离始终使用处理器。没有显卡，或浏览器不支持 WebGPU 时，会通过 WebAssembly 在处理器上运行：速度较慢，结果相同。如果模型无法在显卡运行（某些显卡和驱动不支持某些模型），DriftEdit 会自动改用 WebAssembly。