自然语言处理为什么要分词

发布网友发布时间：2022-04-20 08:27

共3个回答

热心网友时间：2023-08-16 00:06

当然需要。既然是“文本挖掘”，自然语言处理最基本的功能点肯定都要做：新词发现、分词、词性标注、分类、自动提取标签、实体自动发现和识别。最基本的这些功能点做了之后，可以用统计方法完成简单文本挖掘应用，统计方法比如： TF/IDF、Map/Rece、贝叶斯。再深入一些，就需要：聚类（层次聚类、SVM、VSM）、情感趋势分析。再想提高：语法分析、句式判断。但一般做到NLP最基本功能点+统计方法即可搞定一般的互联中国应用。本回答由电脑中国络分类达人董辉推荐

热心网友时间：2023-08-16 00:06

1. 自然语言处理（NLP，Natural Language Processing）就是让计算机能够理解人类的语言。也就是说，要让计算机像人一样能够阅读文字，理解文字背后的含义。
2. 而在人的阅读过程中，只有理解了词语的含义，才能把握整个句子的含义。以此类比，要让计算机懂得人类的文本，就必须要让计算机准确把握每一个词的含义。因而在自然语言处理中，分词技术是非常基础的模块。

热心网友时间：2023-08-16 00:07

这个不难理解，字词和句段，正在语言交互应用中能呈现的意思是不一样的，同样的词多一字少一字，效果都会不一样。那自然语言处理就会将句段进行分词，分词在系统里边进行模型匹配可以提取很多有用信息，包括词性，词意、是否包含情绪等，这个就能将一句话分析的比较透彻，无限接近最真实的意思上。