自然语言处理之_SentencePiece分词
发布网友
发布时间：2022-11-27 00:22
共1个回答
热心网友
时间：2023-10-13 02:16
那么它究竟是干什么的呢？先举个例子：假设在数据挖掘时，有一列特征T是文本描述，我们需要将其转成枚举型，或者多个布尔型代入模型，即：需要从文本中提供信息构造新特征。
首先，我们可以用标点将长句长分成短句，以短句作为关键词，看每个实例的特征T中是否包含该关键词，从而构造新的布尔型特征。但有时候表达同一个意思所使用的文本并不完全一致，比如“买三送一”和“买三送一啦！”是一个意思。
此时，我们可以用SnowNLP或者jieba分词把描述拆成单个词，看T是否包括该关键词。但这样用也有一个问题：可能把一个意思拆成了多个特征，比如“袖子较短，领子较大”被拆成了四个独立的特征“袖子”“较短”“领子”“较大”，组合效果没有了。
我们想要的效果是：如果“袖子较短”这个组合经常出现，就把它当成一个词处理。jieba中可以用自定义词典的方式加入已知的词。
还有一些组合常常出现，但事先并不知道，于是我们想让机器自动学习经常组合出现的短语和词。SentencePiece就是来解决这个问题的。它需要大量文本来训练。
SentencePiece的用途不限于自然语言处理，记得DC之前有一个药物分子筛选的比赛，蛋白质的一级结构是氨基酸序列，需要研究氨基酸序列片断，片断的长度又是不固定的，此处就可以用SentencePiece进行切分。原理是重复出现次数多的片断，就认为是一个意群（词）。
SentencePiece分为两部分：训练模型和使用模型，训练模型部分是用C语言实现的，可编成二进程程序执行，训练结果是生成一个model和一个词典文件。
模型使用部分同时支持二进制程序和Python调用两种方式，训练完生成的词典数据是明文，可编辑，因此也可以用任何语言读取和使用。
如果我们分析某个领域相关问题，可以用该领域的书籍和文档去训练模型。并不限于被分析的内容本身。训练数据越多，模型效果越好。更多参数及用法，请见git上的说明文件。
https://pypi.org/project/sentencepiece/0.0.0/
https://github.com/google/sentencepiece#train-sentencepiece-model
