我觉得nltk完全可以用来对付中文。重点研究了汉语分词和文本表达的形式。
中文和英文的主要区别是中文需要分词。由于nltk的处理粒度一般都是单词，所以我们必须先对文本进行切分，然后使用nltk进行处理（我们不需要使用nltk进行分词，直接使用分词包即可）。认真推荐口吃分词，非常好用）。
中文分词后，文本是一个长的单词数组：[word1，word2，word3wordn]，然后您可以使用nltk中的各种方法来处理文本。例如，使用freqdist计算文本的词频，使用bigrams将文本更改为两个短语的形式：[（word1，word2），（word2，word3），（word3，word4）（wordn-1，wordn）]。
nltk是python中处理语言的主要工具包，它可以删除停止词、词性标记，分词和分句。为了安装nltk和编写python，我们通常使用集成环境epd，epd具有包管理功能，可以在线安装。如果不是集成环境，可以通过pipinstallnltk安装。》pip安装nltknltk.下载（）#弹出一个选择框，您可以根据自己的语义或功能进行安装。一般来说，在实现分词、分句、词性标注、去除停止词等功能时，需要安装stopwords和punkt。出现lookuperror时，由于缺少相关模块，需要安装punkt。本模块主要负责分词功能。与stopwords一样，有两种安装方法。
这是非常困难的，但它比前20年自然语言处理的进步要好得多。最近，因为我们想研究人工智能自然语言处理项目，我们一直在阅读相关书籍，从数学的奥秘，统计理论，概率论等。！读了这么多书之后，我发现很多东西都取决于你的坚实基础。为什么自然语言处理的头20年如此困难，或者没有进展？简单地说，人的习惯性思维决定了你对事物的理解方式。
在过去的20年里，科学家对自然语言处理的研究一直局限于或局限于人类学习语言的方式。简而言之，就是用计算机来模仿人脑。当时，大多数科学家认为，机器要翻译或识别语音，就必须让计算机理解我们的语言，而要做到这一点，就必须让计算机有能力模仿人类什么样的智慧，这是人类理解的普遍规律，我们不应该嘲笑他们，因为只有这样的试错，才能取得今天的成就。
现在，语音识别和翻译已经做得很好了，但是很多不在我们机器学习研究领域的人仍然错误地认为语音识别和翻译是通过理解自然语言的计算机来实现的，而这实际上是通过数学和统计学来实现的。
从规则到统计的进步是人类对事物理解的突破。统计语言模型的建立是当今自然语言处理的基础和关键，但许多事物都会有其固有的缺陷，无法改变。
数的关系，公式的计算，n元模型在语言模型中的定位，为什么马尔可夫假设中n的值这么小，涉及的知识太多，我这里不能一一回答。我只想说，纯自然语言处理不像以前那么混乱，现在比以前好多了。困难不在于它本身，而在于它涉及太多的知识点。。。。
