有个小问题，我看训练脚本lora alpha默认是rank的2倍，然后推理时候lora权重是0.55默认

[zhangquanwei962]

请问这个是出于什么考虑，我读代码看起来，在merge lora时候会把alpha / rank = 2这时候已经乘上去了，然后又乘了个0.55 相当于1.1倍 四舍五入等于没改变

[bubbliiiing]

可以适当调整的。

[zhangquanwei962]

可以适当调整的。

那一般来说，如果训练时候是alpha是rank的2倍，推理先尝试让其lora总权重是1吗

[bubbliiiing]

诶，你的意思是alpha是rank的2倍还是rank是alpha的2倍？

[zhangquanwei962]

诶，你的意思是alpha是rank的2倍还是rank是alpha的2倍？

alpha 是rank 2倍

[bubbliiiing]

这个倒是没有试过，我好像训练的时候都是rank是alpha的2倍
就比如现在最新的lora训练sh，使用peft的情况下，0.55是合适的，但如果没有使用peft，0.55就不合适了，要0.9左右