大模型之BPE分词算法从头训练-使用库的方法
发布网友
发布时间：2024-09-07 02:00
共1个回答
热心网友
时间：2024-09-28 11:17
首先，你需要准备一个简单的文本文件，例如名为test1.txt，包含两行内容。
接下来，导入transformer库进行BPE分词训练的实践：
在代码中，首先导入必要的库：
然后，构建基础的token分词模型：
现在可以开始训练模型，过程相当快捷：
训练完成后，你可以进行简单的测试以确认效果:
在实际使用中，建议先保存训练好的分词方法，然后在需要时加载使用:
值得注意的是，在transformer的大规模语言模型中，你可能需要将其封装到PreTrainedTokenizerFast类中以适应其接口:
或者，如果你发现手写代码与库的分词结果有异，这通常是因为在选择最佳词对时，由于某些2-gram token对的词频相同，导致选择的差异。随着语料库规模的增大，这种差异会逐渐减少:
当你检查test.json时，会发现如bc和ac这样的合并规则，与手写代码中稍有不同，但词频相同。大样本量时，这个问题可以忽略。
以上就是使用transformer库进行BPE分词训练的具体步骤，包括了准备数据、模型构建、训练和应用的讲解。
热心网友
时间：2024-09-28 11:15
首先，你需要准备一个简单的文本文件，例如名为test1.txt，包含两行内容。
接下来，导入transformer库进行BPE分词训练的实践：
在代码中，首先导入必要的库：
然后，构建基础的token分词模型：
现在可以开始训练模型，过程相当快捷：
训练完成后，你可以进行简单的测试以确认效果:
在实际使用中，建议先保存训练好的分词方法，然后在需要时加载使用:
值得注意的是，在transformer的大规模语言模型中，你可能需要将其封装到PreTrainedTokenizerFast类中以适应其接口:
或者，如果你发现手写代码与库的分词结果有异，这通常是因为在选择最佳词对时，由于某些2-gram token对的词频相同，导致选择的差异。随着语料库规模的增大，这种差异会逐渐减少:
当你检查test.json时，会发现如bc和ac这样的合并规则，与手写代码中稍有不同，但词频相同。大样本量时，这个问题可以忽略。
以上就是使用transformer库进行BPE分词训练的具体步骤，包括了准备数据、模型构建、训练和应用的讲解。
