video to video translation with voice clone and lip synchronization|带有语音克隆和口型同步的视频翻译,支持中英互换
English | 中文
详见res.mp4
ffmpeg
|- ffmpeg.exe
|- ffprobe.exe
...
git clone [email protected]:halfzm/v2vt.git
conda create -n v2vt_clone python=3.11.0
conda activate v2vt_clone
cd v2vt_clone
pip install -r requirements.txt
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
openvoice
中需要的模型放到openvoice_checkpoints
文件夹中,目录结构应该如下[optional]openvoice_checkpoints
|- base_speakers
|- ...
|- converter
|- ...
...
tts
中需要的模型放到tts_models
文件夹中,目录结构应该如下tts_models
|- tts_models--multilingual--multi-dataset--xtts_v2
|- config.json
|- model.pth
|- speakers_xtts.pth
|- vocal.json
|- ...
...
video_retalking
中需要的模型放到video-retalking/checkpoints
文件夹中,目录结构应该如下video-retalking
|- checkpoints
|- ...
...
python app.py
关于输入
输入视频不能太短,否则语音克隆的时候报错(最好不要低于5S)
关于输出
默认是输出到当前目录下的output.mp4,也可以在webui中直接下载
licence和code_of_conduct和video-retalking项目一致
详见LICENSE和CODE_OF_CONDUCT