マニュアル · 章 18
デバイス上のAIモデル
ブラウザーで動くAIモデルの役割、容量、データが外部に送信されない仕組みを説明します。
DriftEditのAIツールは、ONNX Runtime Webを通じて、自分のデバイスのブラウザータブ内で動きます。ブラウザーがWebGPUに対応していればグラフィックカードで、それ以外ではプロセッサー上のWebAssemblyで実行します。各モデルはツールを初めて使うときにDriftEdit自身のサイトからダウンロードされ、ブラウザーが次回のために保持します（ストレージを消すまで）。モデルが聴いた音や見た映像は、デバイスから外に出ません。
モデル一覧
| ツール | 役割 | モデル | ダウンロード |
|---|---|---|---|
| 音声からキャプション | 99言語で発話を文字にし、単語ごとのタイミングを付けます | Whisper base (OpenAI, MIT) | 80 MB（グラフィックカードでは 113 MB） |
| ステムに分割 | 曲をボーカル、ドラム、ベース、その他の4つに分けます | Spleeter 4stems (Deezer, MIT) | 157 MB |
| ボイスを分離 | 音楽や効果音から会話を取り出します | MRX (MERL, MIT) | 31 MB |
| なめらかな動き | 素材のフレーム間を描き、滑らかなスローや60 fpsの書き出しを実現します | RIFE 4.17 lite (MIT) | 11 MB |
| 奥行きの動き | 写真の各部分までの距離を推定し、寄る動きを付けます | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| 背景をぼかす | 人物の輪郭を求め、人物を鮮明に保ちます | MODNet (Apache-2.0) | 26 MB |
| ストップモーション | フレームから、種類を問わず被写体を切り抜きます | BiRefNet lite (MIT) | 98 MB |
| 言葉に合わせたB-roll、シーンを探す | 画像と言葉を対応させ、動画内のシーンを検出します | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| パーフェクト画質 (AI)（Pro） | 書き出しの全フレームを、より鮮明できれいに描き直します | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| 字幕を読み上げる | スタジオの対応言語で、女性または男性のAI音声を作ります | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| 中国語の 字幕を読み上げる | 同じ機能を中国語で提供します | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| 音声からキャプション：話者 | 話している人を見つけ、発言ごとに名前を付けます | pyannote segmentation 3.0 (MIT) と WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB と 6.7 MB |
| 音声からキャプション：音 | 誰も話していないところで聞こえる音（拍手、笑い声、音楽）を字幕にします | YAMNet (Google, MIT) | 15 MB |
ボイスをクリーンアップ と ディテールを強調 はモデルを使いません。前者は信号処理、後者はグラフィックカード上の拡大処理です。どちらもダウンロードは不要です。
初回に行われること
ツールを初めて押すとモデルがダウンロードされ、対象のクリップとタイムコードの横に進行状況がパーセントで表示されます。次回からはすぐに始まります。接続が遅いと大きなモデルには時間がかかりますが、編集中もダウンロードは続きます。
処理速度
専用のグラフィックカードがあるパソコンでは、大半のモデルがWebGPU経由でそこで動き、高速に処理します。ステム分離と音声分離は常にプロセッサーで動きます。グラフィックカードがない場合やブラウザーがWebGPUに対応しない場合は、プロセッサー上のWebAssemblyで動きます。遅くなりますが結果は同じです。一部のカードやドライバーは特定のモデルを実行できません。その場合、DriftEditは自動でWebAssemblyに切り替えます。