[NPU] Atlas A3两节点训练端到端耗时对比单节点耗时未达预期问题

[Allen-Jon]

System Info

verl version[2025/07]

Information

• The official example scripts
• My own modified scripts

Tasks

• An officially supported task in the examples folder (such as GLUE/SQuAD, ...)
• My own task or dataset (give details below)

Reproduction

我在使用910C超节点训练时，发现同样的配置参数，使用双机节点，跑的速度没有达到单节点速度的两倍，训练参数如何调优？

我的启动命令：
`export MODEL_PATH=/mnt/model/Qwen3-8B
export TRAIN_FILE="/data/user/zsh/verl/gsm8k_processed/train.parquet"
export TEST_FILE="/data/user/zsh/verl/gsm8k_processed/test.parquet"

project_name='GRPO-Qwen3-910C-32-colleated'
exp_name='GRPO-Qwen3-8B-npu-32'
gen_tp=2
export CKPTS_DIR="/mnt/model/zsh_verl_train/ckpts"

RAY_DATA_HOME=${RAY_DATA_HOME:-"${HOME}/verl"}
MODEL_PATH=${MODEL_PATH:-"${RAY_DATA_HOME}/models/Qwen3-8B"}
CKPTS_DIR=${CKPTS_DIR:-"${RAY_DATA_HOME}/ckpts/${project_name}/${exp_name}"}
TRAIN_FILE=${TRAIN_FILE:-"${RAY_DATA_HOME}/data/dapo-math-17k.parquet"}
TEST_FILE=${TEST_FILE:-"${RAY_DATA_HOME}/data/aime-2024.parquet"}

python3 -m verl.trainer.main_ppo
algorithm.adv_estimator=grpo
data.train_files="${TRAIN_FILE}"
data.val_files="${TEST_FILE}"
data.train_batch_size=256
data.max_prompt_length=512
data.max_response_length=1024
data.filter_overlong_prompts=True
data.truncation='error'
actor_rollout_ref.model.path=${MODEL_PATH}
actor_rollout_ref.actor.optim.lr=1e-6
actor_rollout_ref.model.use_remove_padding=True
actor_rollout_ref.actor.ppo_mini_batch_size=64
actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=10
actor_rollout_ref.actor.use_kl_loss=True
actor_rollout_ref.actor.kl_loss_coef=0.001
actor_rollout_ref.actor.kl_loss_type=low_var_kl
actor_rollout_ref.actor.entropy_coeff=0
actor_rollout_ref.actor.use_torch_compile=False
actor_rollout_ref.ref.use_torch_compile=False
actor_rollout_ref.model.enable_gradient_checkpointing=True
actor_rollout_ref.actor.fsdp_config.param_offload=False
actor_rollout_ref.actor.fsdp_config.optimizer_offload=False
actor_rollout_ref.rollout.log_prob_micro_batch_size_per_gpu=32
actor_rollout_ref.rollout.tensor_model_parallel_size=${gen_tp}
actor_rollout_ref.rollout.name=vllm
actor_rollout_ref.rollout.gpu_memory_utilization=0.6
actor_rollout_ref.rollout.n=5
actor_rollout_ref.ref.log_prob_micro_batch_size_per_gpu=32
actor_rollout_ref.ref.fsdp_config.param_offload=True
algorithm.use_kl_in_reward=False
trainer.critic_warmup=0
trainer.logger='["console","swanlab"]'
trainer.project_name="${project_name}"
trainer.experiment_name="${exp_name}"
trainer.n_gpus_per_node=16
trainer.nnodes=2
trainer.default_local_dir=${CKPTS_DIR}
trainer.resume_mode=auto
actor_rollout_ref.actor.fsdp_config.forward_prefetch=True
actor_rollout_ref.ref.fsdp_config.forward_prefetch=True
++actor_rollout_ref.actor.entropy_from_logits_with_chunking=True
++actor_rollout_ref.ref.entropy_from_logits_with_chunking=True
trainer.val_before_train=True
trainer.save_freq=5
trainer.test_freq=5
trainer.total_epochs=15
trainer.device=npu
`

具体训练过程及结果可见swanlab运行日志：

https://swanlab.cn/@itry/GRPO-Qwen3-910C-32-colleated?utm_source=website_qr&utm_medium=qr_scan

Expected behavior

同参数下，希望2节点训练速度达到单节点接近两倍

[wuxibin89]

对比一下单机vs双机 wandb metrics监控中的timing_s breakdown每个阶段的耗时

[Allen-Jon]

对比一下单机vs双机 wandb metrics监控中的timing_s breakdown每个阶段的耗时

我这边使用的swanlab记录实验，看time_s中的一些耗时对比，也没有达到预期，如timing_s/gen，单机16卡平均耗时：64.4069，双机32卡平均耗时：59.1084。
我有一个疑问，在做对比实验时，是否需要将双机的训练batch_size调整为单机的两倍？

swanlab运行日志：

https://swanlab.cn/@itry/GRPO-Qwen3-910C-32-colleated?utm_source=website_qr&utm_medium=qr_scan

[wuxibin89]

verl version[2025/07]

verl版本是多少，看起来还是在用spmd mode rollout？

[Allen-Jon]

我这边将batch_size扩大到512后，端到端训练时间缩短到了单机的一半

[Allen-Jon]

参考的是https://www.hiascend.com/developer/ascendhub/detail/2a71f71cb92643baa95e527b39088e0e官方教程
使用的是这个镜像docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/verl_pt27_25rc4:a3-arm

[Allen-Jon]

verl version[2025/07]

verl版本是多少，看起来还是在用spmd mode rollout？

使用的verl版本：commit-id d62da49
是一个昇腾官方提供的镜像里面的旧版本代码