推荐一款开源且强大的视频多语言 AI 配音/翻译工具:Linly-Dubbing。
能够一键自动下载全平台视频,对视频字幕进行翻译,还能对原视频进行人声分离,克隆音色并重新配音,再对视频进行合成,全过程自动化。
GitHub: https://github.com/Kedreamix/Linly-Dubbing
具有如下特点:
- 多语言支持:支持中文及多种其他语言的配音和字幕翻译,满足国际化需求。
- AI 智能语音识别:使用 WhisperX/FunASR 进行语音识别,提供精确的语音到文本转换和说话者识别。
- 大型语言模型翻译:使用大语言模型(如GPT),快速且准确地进行翻译,确保专业性和自然性。
- AI 声音克隆:使用 GPT-SoVITS,对原视频配音进行克隆生成高度相似的语音,保持情感和语调的连贯性。
- 数字人对口型技术:通过对口型技术 Linly-Talker,使配音与视频画面高度契合,提升真实性和互动性。
- 自动下载视频:利用 yt-dlp 强大的开源命令行工具,一键自动下载几乎全平台视频。