基于Bert-VITS2做的表情、动画测试. Animation testing based on Bert-VITS2.
TTS代码源自 Bert-VITS2 v2.3 Final Release [ Dec 20, 2023]
测试下来,个人感觉纯中文素材的训练效果2.1-2.3版本略微不如1.0,纯中文需求可以考虑降低版本或混合使用。
TTS本身的训练方法见原文(每个版本都有所不同)
python ./motion/record.py
查看数据是否正常
测试数据
python ./motion/tts2ue.py --bs_npy_file ./records/2023-12-23-17-19-54.npy --wav_file ./records/2023-12-23-17-19-54.wav --fps 60
python ./motion/prepare_visemes.py
python train_ms.py -m OUTPUT_MODEL --config ./configs/config.json --visemes
python ./motion/tts2ue.py --bs_npy_file ./tmp.npy --wav_file ./tmp.wav --delay_ms 700
# 音频截取转换
ffmpeg -i input_file -ss 00:00:00 -t 00:00:10 -ar 44100 -f wav test.wav
# 保留通道1
ffmpeg -i test.wav -map_channel 0.0.0 output.wav
python ./motion/wav_to_visemes.py output.wav
VITS2 Backbone with multilingual bert
For quick guide, please refer to webui_preprocess.py
.
简易教程请参见 webui_preprocess.py
。