怎么使用NLTK库实现文本分词

在NLTK库中，可以使用自带的分词器来实现文本分词。以下是一个简单的示例代码：

import nltkfrom nltk.tokenize import word_tokenize# 定义文本text = "Hello, how are you today?"# 使用NLTK的word_tokenize函数进行分词tokens = word_tokenize(text)# 打印分词结果print(tokens)

运行以上代码，将会输出以下结果：

['Hello', ',', 'how', 'are', 'you', 'today', '?']

在NLTK中还有其他不同类型的分词器，可以根据需要选择合适的分词器来实现文本分词。