使用自己训练过的模型是否效果更好

[jangjun21]

1目前是直接加载预训练模型，不是自己训练过的,在预训练模型上面训练之后再生成句向量是否更好
2怎么训练roformer模型，它的数据格式是怎样的

[AriesYB]

同问，如何使用自己的数据集去微调模型呢

[zejunwang1]

bert4vec 是一个基于 transformers 的句向量推理工具，目前不支持使用数据集进行微调

[AriesYB]

感谢回复，我后来找到bert4torch，里面有训练的代码。但是你的这个模型是不是微调过啊，和roformer-sim里的预训练模型不一样🤔

[zejunwang1]

这里的模型是苏神 roformer-sim 的原始版本，没有经过 finetune 的

[AriesYB]

roformer-sim项目里的下载不了，我是从这里下的 https://huggingface.co/junnyu/roformer_chinese_sim_char_base