关于minimind训练数据的问题

[lzyyyyyyyyyyyyyyyyy]

不知道您是否能够解答我心中一直的一个疑问：通过阅读pretrain_hq.json可以发现，作者的预训练数据集都是用sft对话数据拼凑在一起得到的，为什么要这样做呢，这和预训练再sft效果上有什么区别，是否有相关论文的支持呢

[falali009]

不知道您是否能够解答我心中一直的一个疑问：通过阅读pretrain_hq.json可以发现，作者的预训练数据集都是用sft对话数据拼凑在一起得到的，为什么要这样做呢，这和预训练再sft效果上有什么区别，是否有相关论文的支持呢

哥哥 杂训练阿～ 我看文档没有

[hans0809]

不知道您是否能够解答我心中一直的一个疑问：通过阅读pretrain_hq.json可以发现，作者的预训练数据集都是用sft对话数据拼凑在一起得到的，为什么要这样做呢，这和预训练再sft效果上有什么区别，是否有相关论文的支持能力，

预训练的目的是为了让模型具备基础的文字生成能力。sft是基于已有这种能力的模型，为了让模型生成的回复内容与用户的提问之间更具相关性而做的微调。

你对比一下pretrain和sft的数据格式就会看到，pretrain的每一条数据都是一个长字符串，sft则是问题-答案这种成对的格式。

因此，pretrain只是用来学习文字接龙，它会将预测概率较大的那个token作为预测输出，而不考虑文字接龙后的这句话是否真的有意义。因此可以直接将sft数据中的问题-答案对拼接成一个长字符串，或者也可以使用其他的数据集，只要有这种“长字符串”，模型就可以通过pretrain来学习文字接龙。

至于解释这一方面的论文我不太清楚有没有哈

另外，我感觉这样做既省去了收集额外的pretrain数据的步骤，同时可以学习到sft以及后续其他微调时出现的特殊token，省时省力而且不容易出现域偏移。

[YuGuilliman]

这个事情在隔壁甄嬛传里也出现过，不过好像没关系。然后在cs336里面提到过，一个趋势是将sft阶段的指令数据混入到预训练的最后一个阶段中，或者是退火学习率的时候；并且会在后面有第二轮的关于这些数据的训练，也就是sft的时候，可以解决一些灾难性遗忘的问题，，，不过这里这么小的数据量应该不会出现遗忘问题的，我感觉还是为了省事，

[MoshiLL]

是不是将sft的问答数据作为知识训练进模型，提高当前领域的泛化