batch size 能否为1？

[JuncFang-git]

很棒的工作，感谢开源！ 代码中提到assert bsz >= 4 # we need minimal batch=4 to assign different target time, see L132。 但在qwen image edit这样的大模型训练中，bsz=4显存几乎无法支撑。 请问有什么方法能够在bsz=1的情况下也能训练呢？

[QAQdev]

@JuncFang-git 实践上是支持的。你可以把probs改成一个列表，例如：

[
    {"e2e", 1, "mul": 0, "any": 0, "adv": 0},
    {"e2e", 0, "mul": 1, "any": 0, "adv": 0},
    {"e2e", 0, "mul": 0, "any": 1, "adv": 0},
    {"e2e", 0, "mul": 0, "any": 0, "adv": 1},
]

然后把梯度累积起来

[sp12138]

这里显存不够的话也可以考虑把不同功能的样本分配在不同的卡上，例如mul在第一张卡，adv在第二张，避免单张卡的显存需求过大

[hello-program]

如果我只训练4步蒸馏，是否可以设置probs= {"e2e", 1, "mul": 0, "any": 0, "adv": 0}

[sp12138]

@hello-program 这个在理论上是不可行的，如果想做简单验证可以设置probs= {"e2e", 0, "mul": 0, "any": 1, "adv": 0}，这个在理论上是完备的，尽管可能在实际上只能做到4，8步的多步生成

[hello-program]

@hello-program 这个在理论上是不可行的，如果想做简单验证可以设置probs= {"e2e", 0, "mul": 0, "any": 1, "adv": 0}，这个在理论上是完备的，尽管可能在实际上只能做到4，8步的多步生成

谢谢，还是不太明白，这个probs的参数和调整可否在文档里做详细说明呀，我有2个问题，希望能得到解答：
1：如果我只训练4步蒸馏，probs设置成 {"e2e", 0, "mul": 0, "any": 1, "adv": 0}就可以了？其它任何操作也不需要管，推理的时候指定sampling_steps=4就可以
2：如果在4步蒸馏时，想加入对抗训练以提高精度，那么probs设置成{"e2e", 0, "mul": 0, "any": 1, "adv": 1}更合理
以上2点请问理解的对吗，感谢

[QAQdev]

@hello-program 这个在理论上是不可行的，如果想做简单验证可以设置probs= {"e2e", 0, "mul": 0, "any": 1, "adv": 0}，这个在理论上是完备的，尽管可能在实际上只能做到4，8步的多步生成

谢谢，还是不太明白，这个probs的参数和调整可否在文档里做详细说明呀，我有2个问题，希望能得到解答： 1：如果我只训练4步蒸馏，probs设置成 {"e2e", 0, "mul": 0, "any": 1, "adv": 0}就可以了？其它任何操作也不需要管，推理的时候指定sampling_steps=4就可以 2：如果在4步蒸馏时，想加入对抗训练以提高精度，那么probs设置成{"e2e", 0, "mul": 0, "any": 1, "adv": 1}更合理 以上2点请问理解的对吗，感谢

添加了一个说明：
https://github.com/inclusionAI/TwinFlow/blob/main/src/README.md#algorithm-guide

[hello-program]

@hello-program 这个在理论上是不可行的，如果想做简单验证可以设置probs= {"e2e", 0, "mul": 0, "any": 1, "adv": 0}，这个在理论上是完备的，尽管可能在实际上只能做到4，8步的多步生成

谢谢，还是不太明白，这个probs的参数和调整可否在文档里做详细说明呀，我有2个问题，希望能得到解答： 1：如果我只训练4步蒸馏，probs设置成 {"e2e", 0, "mul": 0, "any": 1, "adv": 0}就可以了？其它任何操作也不需要管，推理的时候指定sampling_steps=4就可以 2：如果在4步蒸馏时，想加入对抗训练以提高精度，那么probs设置成{"e2e", 0, "mul": 0, "any": 1, "adv": 1}更合理 以上2点请问理解的对吗，感谢

添加了一个说明： https://github.com/inclusionAI/TwinFlow/blob/main/src/README.md#algorithm-guide

非常感谢，现在清晰多了