爬虫+机器学习：电商评论情感分类实战指南

「编程类软件工具合集」
链接：https://pan.quark.cn/s/0b6102d9a66a

一、项目背景：为什么需要自动分析评论情感？

当你在淘宝买完手机后，面对成千上万条"好用""卡顿""续航差"的评论，如何快速判断产品真实口碑？传统人工筛选方式在百万级数据面前显得力不从心。这时，一个能自动抓取评论并判断情感倾向（正面/负面）的系统就显得尤为重要。

这个项目将带你实现：用爬虫获取电商评论数据，通过机器学习模型自动判断每条评论的情感倾向，最终生成可视化的情感分析报告。整个过程就像给电脑装上"情感雷达"，让它能理解人类文字中的情绪。

二、数据采集：爬虫实战技巧

1. 目标网站选择

以京东商品评论为例，选择销量TOP10的手机商品页面作为数据源。每个商品包含短评（1000+条）和追评（200+条），这些结构化数据非常适合情感分析。

2. 爬虫开发要点

请求头伪装：在Headers中添加User-Agent模拟浏览器访问，例如：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' }

动态加载处理：京东评论使用AJAX异步加载，需分析网络请求找到API接口。通过Chrome开发者工具的Network面板，找到commentService接口获取JSON数据。
反爬策略应对：
- 请求间隔随机化：使用time.sleep(random.uniform(1,3))
- 参数加密破解：部分网站对关键参数加密，可通过分析JS文件找到加密算法
- 验证码识别：简单验证码可用Tesseract OCR处理，复杂验证码建议人工干预

3. 数据存储方案

采用MongoDB存储原始评论数据，每条记录包含：

{ "product_id": "100008348542", "content": "手机运行流畅，拍照效果很好", "rating": 5, "date": "2023-05-15" }

三、数据预处理：让机器理解人类语言

1. 文本清洗流程

去除噪声：删除表情符号、特殊字符、HTML标签
繁体转简体：使用zhconv库处理港澳台评论
新词发现：通过jieba.analyse提取高频词补充词典，如"奥利给""绝绝子"
停用词过滤：移除"的"、"了"等无意义词汇

2. 特征工程技巧

TF-IDF向量化：将文本转换为数值特征，保留重要词汇

from sklearn.feature_extraction.text import TfidfVectorizer tfidf = TfidfVectorizer(max_features=5000, ngram_range=(1,2)) X = tfidf.fit_transform(cleaned_comments)

情感词典增强：结合BosonNLP情感词典，为文本添加情感极性分数
词向量嵌入：使用预训练的腾讯AI Lab词向量（800万中文词）提升语义理解

3. 数据标注策略

自动标注：利用评分作为弱标签（1-2分为负面，4-5分为正面，3分丢弃）
人工抽检：随机检查10%自动标注数据，确保准确率>90%
数据增强：对短评论进行同义词替换生成新样本，解决数据不平衡问题

四、模型构建：从传统算法到深度学习

1. 基准模型：逻辑回归

作为基础对比模型，使用TF-IDF特征+逻辑回归：

from sklearn.linear_model import LogisticRegression model = LogisticRegression(max_iter=1000) model.fit(X_train, y_train)

在测试集上达到82%准确率，但无法处理复杂语义关系。

2. 进阶模型：BERT预训练

使用哈工大开源的BERT-wwm模型，微调过程：

from transformers import BertTokenizer, BertForSequenceClassification tokenizer = BertTokenizer.from_pretrained('bert-wwm-chinese') model = BertForSequenceClassification.from_pretrained('bert-wwm-chinese', num_labels=2) # 输入处理示例 inputs = tokenizer("这个手机真不错", return_tensors="pt", padding=True, truncation=True)

在GPU环境下训练3个epoch后，测试集准确率提升至91%，能更好处理"虽然贵但值得"这类转折句。

3. 模型优化方向

注意力机制可视化：通过bertviz库观察模型关注哪些词汇
领域适配：在电商评论数据上继续预训练BERT，提升专业术语理解
多模型融合：结合TextCNN和BERT的预测结果，使用加权投票机制

五、系统部署：从实验室到生产环境

1. 轻量化部署方案

模型压缩：使用ONNX格式转换BERT模型，体积减小40%

Flask API封装：

from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/predict', methods=['POST']) def predict(): text = request.json['text'] inputs = tokenizer(text, return_tensors="pt", truncation=True) with torch.no_grad(): outputs = model(**inputs) return jsonify({'sentiment': int(outputs.logits.argmax())})

Docker容器化：将模型和依赖打包为镜像，实现环境隔离

2. 监控与维护

数据漂移检测：每周用新数据重新评估模型，当准确率下降5%时触发重训练
日志系统：记录所有预测请求和结果，便于问题排查
A/B测试：新旧模型并行运行，通过准确率和响应时间对比选择最优方案

六、可视化展示：让分析结果一目了然

使用Pyecharts生成交互式报告：

from pyecharts.charts import Bar, Pie from pyecharts import options as opts # 情感分布饼图 pie = Pie() pie.add("", [("正面", positive_count), ("负面", negative_count)]) pie.set_global_opts(title_opts=opts.TitleOpts(title="评论情感分布")) # 情感趋势折线图 line = Bar() line.add_xaxis(date_list) line.add_yaxis("正面", positive_list) line.add_yaxis("负面", negative_list)

生成包含以下内容的HTML报告：