预训练和训练有什么区别

发布网友发布时间：2022-04-20 21:49

共1个回答

热心网友时间：2023-08-24 23:01

不是简单的字面预训练和正常的训练的意思，而是训练数据与训练数据模型的概念。
预训练是指使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而让模型对特定任务的学习负担变轻。
训练是指使用少量带有标签的数据训练模型，使用过程中得到的模型对未标记数据进行预测，预测结果作为伪标签，然后将标记数据和未标记数据结合标签和伪标签一起训练模型，再在测试集上评估模型最后重复1以上步骤，对模型迭代。

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com