About Layer Weights αk

[lbdbj]

大佬您好，您的论文中有提到将每层embedding的权重设置为1/(K+1)，但在代码中并没有体现，请问这是怎么回事

[zbt78]

在model.py的 107行
light_out = torch.mean(embs, dim=1)
作者好像是对这三层求平均值了.