Qwen3-TTS

https://github.com/project-felys/delta-me13

Data Preparation

python3 vendor/process_data.py \
  --jsonl 'cyrene/Chinese(PRC).jsonl' \
  --output-dir data/raw

python3 vendor/prepare_data.py \
  --device cuda:0 \
  --tokenizer_model_path Qwen/Qwen3-TTS-Tokenizer-12Hz \
  --input_jsonl 'data/raw/Chinese(PRC).jsonl' \
  --output_jsonl 'data/Chinese(PRC).jsonl'

python3 vendor/split_data.py \
  --jsonl 'data/Chinese(PRC).jsonl'

Training

Single run

nohup python3 vendor/sft_12hz.py \
  --init_model_path Qwen/Qwen3-TTS-12Hz-0.6B-Base \
  --output_model_path output \
  --train_jsonl 'data/Chinese(PRC).jsonl' \
  --speaker_name cyrene \
  --batch_size 8 \
  --gradient_accumulation_steps 2 \
  --num_epochs 4 \
  --lr 2.29e-5 \
  --min_lr_factor 0.44 \
  --lr_scheduler_type cosine \
  --warmup_ratio 0.05 \
  --save_last_ckpt_only \
  > "$(date +%s).log" 2>&1 &

Bayesian optimization sweep

nohup python3 vendor/bo_loop.py \
  --init_model_path Qwen/Qwen3-TTS-12Hz-0.6B-Base \
  --output_model_path output/bo/0 \
  --train_jsonl 'data/train/0/Chinese(PRC).jsonl' \
  --test_jsonl 'data/test/0/Chinese(PRC).jsonl' \
  --speaker_name cyrene \
  --seed 666 \
  > "$(date +%s).log" 2>&1 &

Inference

python3 vendor/infer.py \
  --model output/v4/ckpt-2 \
  --text 银河猫猫侠，我爱你~

Evaluation

python3 vendor/gen_audio.py \
  --test_jsonl 'data/test/0/Chinese(PRC).jsonl' \
  all \
  --model output/v4/ckpt-2 \
  --speaker_name cyrene

python3 vendor/gen_audio.py \
  --test_jsonl 'data/test/2/Chinese(PRC).jsonl' \
  baseline \
  --output_path output/baseline/2 \
  --ref_audio 'data/raw/ref.wav' \
  --ref_text '三千万篇相似而不相同的故事，听起来是不是很多呢？可我从来没有厌倦过，和你旅行的时候，又感动地重温了一遍呢！但故事的每一页，似乎都有些遗憾，想在这里加一段欢笑，想在那里填补上空白…多亏有你在，终于能为它们续写浪漫的结局了呀♪' \
  --language Auto

python3 vendor/eval_nn.py \
  --ground_truth_jsonl 'data/test/2/Chinese(PRC).jsonl' \
  --test_dir output/baseline/2

References

• https://modelscope.cn/datasets/qsdong/Qwen3-1.7-TTS-SFT-Furina
• modelscope/ms-swift#9638
• QwenLM#278