Python NLP 从文本处理到实战应用

自然语言处理（NLP）是人工智能的核心方向之一，旨在让计算机理解、处理人类语言。无论是智能客服、文本分类、机器翻译，还是舆情分析、情感判断，背后都离不开 NLP 技术。本文从零基础出发，用 Python 手把手教你掌握 NLP 核心技能，覆盖文本预处理、特征提取、模型训练全流程，所有代码均可直接复用。

一、NLP 核心应用场景（先明确学习目标）

学习 NLP 前，先了解常见应用场景，明确技术落地方向：

• 文本分类：新闻分类、垃圾邮件识别、用户评论分类；

• 情感分析：电商评论情感判断（好评 / 差评）、社交媒体舆情分析；

• 文本生成：智能写作、机器翻译、聊天机器人回复生成；

• 信息抽取：从新闻 / 合同中提取关键信息（人名、地名、时间）；

• 语音识别 / 合成：语音转文字、文字转语音（如 Siri、导航语音）。

二、入门必备工具与环境搭建

NLP 实战核心依赖 3 个 Python 库，先完成环境搭建：

1. 核心库介绍

库名	作用	安装命令
NLTK	经典 NLP 工具库，含分词、词性标注、语料库	pip install nltk
jieba	中文分词工具（NLTK 对中文支持弱）	pip install jieba
scikit-learn	机器学习库，用于文本特征提取、模型训练	pip install scikit-learn
pandas	数据处理库，用于读取 / 清洗文本数据	pip install pandas

2. 环境验证

安装完成后，运行以下代码测试是否成功：

import nltkimport jiebafrom sklearn.feature\_extraction.text import CountVectorizer\# 下载NLTK基础语料库（首次运行需下载）nltk.download('punkt')nltk.download('averaged\_perceptron\_tagger')\# 测试英文分词english\_text = "I love natural language processing!"english\_words = nltk.word\_tokenize(english\_text)print("英文分词结果：", english\_words)\# 测试中文分词chinese\_text = "自然语言处理真有趣"chinese\_words = jieba.lcut(chinese\_text)print("中文分词结果：", chinese\_words)

运行后输出分词结果，说明环境搭建成功。

三、NLP 核心步骤：从文本预处理到特征提取

NLP 任务的基础是 “让计算机读懂文本”，需先将文本转化为机器可识别的数字（特征），核心步骤为：文本预处理 → 特征提取。

1. 文本预处理（清洁文本数据）

原始文本（如用户评论、新闻）包含大量噪声（标点、停用词），需先清洗：

核心步骤：

1. 去除标点符号、特殊字符；

2. 转换为小写（统一格式）；

3. 分词（将句子拆分为单词 / 词语）；

4. 去除停用词（如 “的”“是”“the”“a” 等无意义词汇）；

5. （可选）词形还原 / 词性标注（优化特征质量）。

实战代码（中文文本预处理）：

import jiebaimport reimport pandas as pd\# 1. 定义停用词列表（可从网上下载完整停用词表）stop\_words = \["的", "是", "在", "和", "有", "我", "你", "他", "这", "那", "了", "着", "过"]\# 2. 预处理函数def preprocess\_chinese\_text(text):    \# 去除标点和特殊字符    text = re.sub(r'\[^\u4e00-\u9fa5a-zA-Z0-9\s]', '', text)    \# 转换为小写（英文部分）    text = text.lower()    \# 中文分词    words = jieba.lcut(text)    \# 去除停用词和空字符    words = \[word for word in words if word not in stop\_words and word.strip() != '']    \# 返回处理后的词语列表    return words\# 3. 测试预处理raw\_texts = \[    "自然语言处理真的很有趣！我每天都在学习NLP技术。",    "这篇Python NLP教程太实用了，零基础也能看懂～",    "大家好，我是NLP初学者，希望和大家一起交流学习！"]\# 应用预处理函数processed\_texts = \[preprocess\_chinese\_text(text) for text in raw\_texts]print("预处理后的文本：")for i, text in enumerate(processed\_texts):    print(f"原文{i+1}：", raw\_texts\[i])    print(f"处理后：", text)    print("-" \* 50)

实战代码（英文文本预处理）：

import nltkfrom nltk.tokenize import word\_tokenizefrom nltk.corpus import stopwordsfrom nltk.stem import WordNetLemmatizer\# 下载依赖语料库nltk.download('stopwords')nltk.download('wordnet')\# 初始化工具stop\_words = set(stopwords.words('english'))lemmatizer = WordNetLemmatizer()  # 词形还原工具\# 预处理函数def preprocess\_english\_text(text):    \# 去除标点和特殊字符    text = re.sub(r'\[^\w\s]', '', text)    \# 转换为小写    text = text.lower()    \# 英文分词    words = word\_tokenize(text)    \# 去除停用词+词形还原（还原为单词原形，如running→run）    words = \[lemmatizer.lemmatize(word) for word in words if word not in stop\_words]    return words\# 测试预处理english\_raw\_texts = \[    "I love learning Natural Language Processing! It's so interesting.",    "This Python NLP tutorial is very useful for beginners.",    "Hello everyone, I'm a new learner of NLP and want to share knowledge with you."]processed\_english\_texts = \[preprocess\_english\_text(text) for text in english\_raw\_texts]print("英文预处理结果：")for i, text in enumerate(processed\_english\_texts):    print(f"原文{i+1}：", english\_raw\_texts\[i])    print(f"处理后：", text)    print("-" \* 50)

2. 特征提取（文本转数字）

计算机无法直接处理文本，需将预处理后的词语转化为数字特征，常用两种方法：

（1）词袋模型（Bag of Words）

核心思想：统计每个词语在文本中出现的频率，生成 “词语 - 频率” 矩阵。

from sklearn.feature\_extraction.text import CountVectorizer\# 注意：CountVectorizer需要输入字符串，需将预处理后的词语列表拼接为句子processed\_texts\_str = \[' '.join(words) for words in processed\_texts]\# 初始化词袋模型vectorizer = CountVectorizer()\# 生成特征矩阵（行=文本，列=词语，值=出现频率）bow\_matrix = vectorizer.fit\_transform(processed\_texts\_str)\# 查看结果print("词袋模型特征矩阵形状：", bow\_matrix.shape)  # (3, 15) → 3个文本，15个不同词语print("所有特征词语：", vectorizer.get\_feature\_names\_out())print("特征矩阵（稀疏矩阵）：")print(bow\_matrix.toarray())  # 转换为稠密矩阵查看

（2）TF-IDF（词频 - 逆文档频率）

核心思想：不仅考虑词语出现频率，还考虑词语在所有文本中的 “重要性”（如罕见词对分类更有价值）。

from sklearn.feature\_extraction.text import TfidfVectorizer\# 初始化TF-IDF模型tfidf\_vectorizer = TfidfVectorizer()\# 生成TF-IDF特征矩阵tfidf\_matrix = tfidf\_vectorizer.fit\_transform(processed\_texts\_str)\# 查看结果print("TF-IDF特征矩阵形状：", tfidf\_matrix.shape)print("所有特征词语：", tfidf\_vectorizer.get\_feature\_names\_out())print("TF-IDF矩阵（稠密矩阵）：")print(tfidf\_matrix.toarray())  # 值为TF-IDF分数，分数越高表示词语对该文本越重要

选型建议：简单场景（如垃圾邮件识别）用词袋模型，复杂场景（如文本分类、情感分析）优先用 TF-IDF，能更好地突出关键特征。

四、实战项目 1：文本分类（新闻分类任务）

用已学的预处理、特征提取方法，结合机器学习模型实现新闻分类：

1. 数据准备

使用公开新闻数据集（可从 Kaggle 下载，或用以下模拟数据）：

\# 模拟新闻数据（类别：体育、科技、娱乐）news\_data = pd.DataFrame({    "text": \[        "国足3-0战胜越南队，晋级亚洲杯八强",        "华为发布新款Mate手机，搭载最新麒麟芯片",        "某顶流明星官宣新剧，粉丝连夜打call",        "CBA常规赛：广东队击败辽宁队，取得十连胜",        "人工智能大模型GPT-4发布，性能提升50%",        "综艺《乘风2024》开播，话题度霸屏热搜"    ],    "label": \[0, 1, 2, 0, 1, 2]  # 0=体育，1=科技，2=娱乐})

2. 完整流程实现

\# 1. 文本预处理news\_data\["processed\_text"] = news\_data\["text"].apply(preprocess\_chinese\_text)news\_data\["processed\_text\_str"] = news\_data\["processed\_text"].apply(lambda x: ' '.join(x))\# 2. 特征提取（TF-IDF）tfidf\_vectorizer = TfidfVectorizer()X = tfidf\_vectorizer.fit\_transform(news\_data\["processed\_text\_str"])  # 特征矩阵y = news\_data\["label"]  # 标签\# 3. 划分训练集和测试集（8:2）from sklearn.model\_selection import train\_test\_splitX\_train, X\_test, y\_train, y\_test = train\_test\_split(X, y, test\_size=0.2, random\_state=42)\# 4. 训练分类模型（使用朴素贝叶斯，适合文本分类）from sklearn.naive\_bayes import MultinomialNBfrom sklearn.metrics import accuracy\_score, classification\_report\# 初始化模型model = MultinomialNB()\# 训练模型model.fit(X\_train, y\_train)\# 5. 预测与评估y\_pred = model.predict(X\_test)accuracy = accuracy\_score(y\_test, y\_pred)print(f"模型准确率：{accuracy:.2f}")print("分类报告：")print(classification\_report(y\_test, y\_pred, target\_names=\["体育", "科技", "娱乐"]))\# 6. 预测新新闻new\_news = "最新款AI手表支持语音交互，续航提升至7天"\# 预处理new\_news\_processed = preprocess\_chinese\_text(new\_news)new\_news\_str = ' '.join(new\_news\_processed)\# 特征提取（需用训练好的vectorizer）new\_news\_tfidf = tfidf\_vectorizer.transform(\[new\_news\_str])\# 预测pred\_label = model.predict(new\_news\_tfidf)\[0]label\_map = {0: "体育", 1: "科技", 2: "娱乐"}print(f"新新闻《{new\_news}》的分类结果：{label\_map\[pred\_label]}")

五、实战项目 2：情感分析（电商评论情感判断）

1. 数据准备

\# 模拟电商评论数据（1=好评，0=差评）comment\_data = pd.DataFrame({    "comment": \[        "商品质量很好，做工精细，性价比超高，值得推荐",        "物流太慢了，商品和描述不符，很失望",        "使用体验很棒，功能齐全，比预期的好",        "质量太差，用了一次就坏了，不建议购买",        "包装很精致，发货快，客服态度好",        "材质粗糙，尺寸偏小，非常不满意"    ],    "sentiment": \[1, 0, 1, 0, 1, 0]})

2. 实现情感分析

\# 1. 预处理comment\_data\["processed\_comment"] = comment\_data\["comment"].apply(preprocess\_chinese\_text)comment\_data\["processed\_comment\_str"] = comment\_data\["processed\_comment"].apply(lambda x: ' '.join(x))\# 2. 特征提取（TF-IDF）tfidf\_vectorizer = TfidfVectorizer()X = tfidf\_vectorizer.fit\_transform(comment\_data\["processed\_comment\_str"])y = comment\_data\["sentiment"]\# 3. 划分训练集/测试集X\_train, X\_test, y\_train, y\_test = train\_test\_split(X, y, test\_size=0.3, random\_state=42)\# 4. 训练模型（逻辑回归）from sklearn.linear\_model import LogisticRegressionmodel = LogisticRegression()model.fit(X\_train, y\_train)\# 5. 评估y\_pred = model.predict(X\_test)accuracy = accuracy\_score(y\_test, y\_pred)print(f"情感分析准确率：{accuracy:.2f}")print("分类报告：")print(classification\_report(y\_test, y\_pred, target\_names=\["差评", "好评"]))\# 6. 预测新评论new\_comment = "这款产品真的太好用了，已经回购第三次了"new\_comment\_processed = preprocess\_chinese\_text(new\_comment)new\_comment\_str = ' '.join(new\_comment\_processed)new\_comment\_tfidf = tfidf\_vectorizer.transform(\[new\_comment\_str])pred\_sentiment = model.predict(new\_comment\_tfidf)\[0]sentiment\_map = {0: "差评", 1: "好评"}print(f"新评论《{new\_comment}》的情感结果：{sentiment\_map\[pred\_sentiment]}")

六、进阶方向：现代 NLP（深度学习模型）

以上是传统 NLP 方法，现代 NLP 更依赖深度学习（如 BERT、GPT），无需手动特征提取，模型能自动学习文本语义：

1. 核心工具

• Transformers 库（Hugging Face）：提供预训练模型（BERT、RoBERTa 等），开箱即用；

• 安装：pip install transformers torch（需安装 PyTorch）。

2. 用 BERT 实现情感分析（极简示例）

from transformers import BertTokenizer, BertForSequenceClassificationimport torch\# 加载预训练BERT模型和Tokenizer（中文情感分析模型）model\_name = "uer/bert-base-chinese-finetuned-dianping-chinese"tokenizer = BertTokenizer.from\_pretrained(model\_name)model = BertForSequenceClassification.from\_pretrained(model\_name)\# 预处理文本（Tokenizer自动完成分词、编码）new\_comment = "这款产品质量极差，客服态度恶劣"inputs = tokenizer(    new\_comment,    return\_tensors="pt",    padding=True,    truncation=True,    max\_length=512)\# 预测model.eval()with torch.no\_grad():    outputs = model(\*\*inputs)    logits = outputs.logits    pred\_label = torch.argmax(logits, dim=1).item()sentiment\_map = {0: "差评", 1: "好评"}print(f"BERT模型预测结果：{sentiment\_map\[pred\_label]}")