NLTK库用法示例：Python自然语言处理入门到实践 - 实践

自然语言处理（NLP）是人工智能的重要分支，而NLTK（Natural Language Toolkit）作为Python最经典的NLP库，为开发者提供了丰富的语料库、词汇资源和文本处理工具。无论是文本分析、情感识别还是语言模型训练，NLTK都能提供基础且实用的支持。本文将通过具体示例，从环境搭建到实战应用，带你掌握NLTK的核心用法，轻松入门自然语言处理。

一、NLTK简介与环境准备

1. 为什么选择NLTK？

• 入门友好：API设计简洁，文档丰富，是NLP初学者的首选工具

• 资源丰富：内置超过100个语料库和词汇资源（如WordNet、Penn Treebank）

• 功能全面：支持分词、词性标注、命名实体识别、句法分析等基础任务

• 生态兼容：可与NumPy、Pandas、Scikit-learn等库无缝配合，构建完整NLP pipeline

2. 安装与数据集下载

NLTK的安装分为库本身和配套数据集两部分：

# 安装NLTK库
pip install nltk

安装完成后，需要下载必要的语料库和模型（首次使用时）：

import nltk
# 启动交互式下载器（选择需要的数据集，推荐至少下载punkt、averaged_perceptron_tagger、wordnet）
nltk.download()
# 也可直接下载指定数据集（命令行方式）
nltk.download('punkt')        # 用于分词
nltk.download('averaged_perceptron_tagger')  # 用于词性标注
nltk.download('wordnet')      # 用于词形还原
nltk.download('maxent_ne_chunker')  # 用于命名实体识别
nltk.download('words')        # 用于实体识别的词汇库
nltk.download('vader_lexicon')  # 用于情感分析

二、基础功能：文本预处理与分析

文本预处理是NLP任务的第一步，包括分词、去除停用词、词形还原等，NLTK提供了一站式工具支持。

1. 分词（Tokenization）

分词是将连续文本拆分为单词或句子的过程，是文本处理的基础：

from nltk.tokenize import word_tokenize, sent_tokenize
# 示例文本
text = "NLTK is a powerful Python library for NLP. It provides easy-to-use interfaces to over 50 corpora and lexical resources."
# 句子分割（将文本拆分为句子）
sentences = sent_tokenize(text)
print("句子分割结果：")
for i, sent in enumerate(sentences, 1):print(f"句子{i}：{sent}")
# 单词分割（将句子拆分为单词）
words = word_tokenize(sentences[0])  # 对第一句进行分词
print("\n单词分割结果：")
print(words)

输出结果：

句子分割结果：
句子1：NLTK is a powerful Python library for NLP.
句子2：It provides easy-to-use interfaces to over 50 corpora and lexical resources.
单词分割结果：
['NLTK', 'is', 'a', 'powerful', 'Python', 'library', 'for', 'NLP', '.']