매뉴얼 · 장 18
기기에서 실행되는 AI 모델
DriftEdit가 브라우저에서 실행하는 AI 모델의 역할과 크기, 데이터가 기기를 떠나지 않는 방식을 알아봐요.
DriftEdit의 AI 도구는 ONNX Runtime Web을 통해 기기의 브라우저 탭 안에서 실행돼요. 브라우저가 WebGPU를 지원하면 그래픽 카드에서, 그렇지 않으면 프로세서의 WebAssembly에서 실행해요. 각 모델은 해당 도구를 처음 사용할 때 DriftEdit 자체 사이트에서 다운로드해요. 브라우저는 저장 공간을 지우기 전까지 다음 사용을 위해 보관해요. 모델이 듣고 보는 내용은 기기를 떠나지 않아요.
모델 목록
| 도구 | 역할 | 모델 | 다운로드 |
|---|---|---|---|
| 음성으로 자막 만들기 | 99개 언어로 말한 내용을 적고 모든 단어의 시간을 맞춰요 | Whisper base (OpenAI, MIT) | 80 MB (그래픽 카드에서는 113 MB) |
| 스템으로 분리 | 노래를 보컬, 드럼, 베이스, 나머지의 네 부분으로 나눠요 | Spleeter 4stems (Deezer, MIT) | 157 MB |
| 음성 분리 | 음악과 효과음에서 대화를 분리해요 | MRX (MERL, MIT) | 31 MB |
| 부드러운 움직임 | 원본 사이 프레임을 그려 부드러운 슬로 모션과 60 fps 내보내기를 만들어요 | RIFE 4.17 lite (MIT) | 11 MB |
| 깊이감 있게 움직이기 | 사진 각 부분의 거리를 구해 안으로 다가가게 해요 | Depth Anything V2 Small (Apache-2.0) | 27 MB |
| 배경 블러 | 사람의 윤곽을 구해 선명하게 유지해요 | MODNet (Apache-2.0) | 26 MB |
| 정지 프레임 | 종류와 관계없이 프레임에서 피사체를 오려 내요 | BiRefNet lite (MIT) | 98 MB |
| 말에 맞춘 B-roll, 장면 찾기 | 이미지와 단어를 연결하고 동영상의 장면을 찾아요 | CLIP ViT-B/32 (OpenAI, MIT) | 156 MB |
| 완벽한 화질 (AI) (Pro) | 내보내는 모든 프레임을 더 선명하고 깨끗하게 다시 그려요 | Real-ESRGAN (Tencent ARC, BSD-3-Clause) | 4.9 MB |
| 자막 읽기 | 스튜디오의 언어로 여성 또는 남성 AI 음성을 만들어요 | Supertonic 3 (Supertone, OpenRAIL-M) | 401 MB |
| 중국어 자막 읽기 | 같은 기능을 중국어로 제공해요 | Kokoro 82M (hexgrad, Apache-2.0) | 93 MB |
| 음성으로 자막 만들기: 화자 | 말하는 사람을 찾아 차례마다 이름을 붙여요 | pyannote segmentation 3.0 (MIT) 및 WeSpeaker ResNet34-LM (WeSpeaker, CC BY 4.0) | 1.5 MB 및 6.7 MB |
| 음성으로 자막 만들기: 소리 | 아무도 말하지 않는 곳에서 들리는 소리(박수, 웃음, 음악)를 자막으로 달아요 | YAMNet (Google, MIT) | 15 MB |
음성 정리와 디테일 향상은 모델을 사용하지 않아요. 전자는 신호 처리, 후자는 그래픽 카드에서 실행하는 업스케일러예요. 둘 다 다운로드가 필요하지 않아요.
처음 사용할 때
도구를 처음 누르면 모델을 다운로드해요. 작업 대상 클립에는 백분율로, 타임코드 옆에도 진행 상황이 보여요. 다음부터는 바로 시작해요. 연결이 느리면 큰 모델은 시간이 걸리며 편집하는 동안에도 다운로드가 계속돼요.
속도
실제 그래픽 카드가 있는 컴퓨터에서는 대부분의 모델이 WebGPU로 그래픽 카드에서 빠르게 실행돼요. 스템 분리와 음성 분리는 항상 프로세서에서 실행해요. 그래픽 카드가 없거나 WebGPU 없는 브라우저에서는 프로세서의 WebAssembly에서 실행해요. 더 느리지만 결과는 같아요. 일부 카드나 드라이버가 모델을 지원하지 않아 그래픽 카드에서 실행할 수 없으면 DriftEdit가 자동으로 WebAssembly를 사용해요.