文章目录
- 前言
- 环境配置
- 一、MATLAB NLP 工具箱概述
- 二、核心功能与 API
- 1. 文本数据准备
- 2. 特征提取
- 3. 文本分类(传统机器学习)
- 4. 深度学习文本分类(LSTM)
- 三、实战案例:情感分析
- 四、高级应用
- 1. 命名实体识别(NER)
- 2. 主题模型(LDA)
前言
以下是 MATLAB 自然语言处理 (NLP) 的入门教程,涵盖基础概念、核心功能。
环境配置
MATLAB下载安装教程:https://blog.csdn.net/tyatyatya/article/details/147879353
MATLAB下载地址链接:https://pan.quark.cn/s/364584a880f7
一、MATLAB NLP 工具箱概述
MATLAB 提供了完整的 NLP 工具链,支持文本处理、特征提取、分类和生成等任务:
- 文本预处理:分词、停用词过滤、词干提取、词性标注。
- 特征工程:词袋模型 (BOW)、TF-IDF、词嵌入 (Word2Vec、GloVe)。
- 分类与聚类:支持向量机、深度学习网络 (CNN、LSTM)。
- 高级应用:情感分析、命名实体识别 (NER)、主题模型 (LDA)。
- 预训练模型:BERT、GPT 等,支持迁移学习。
二、核心功能与 API
1. 文本数据准备
% 创建文本数据存储
documents = importdata('text_data.txt');
tbl = table(documents, 'VariableNames', {'Text'});% 创建词袋模型
bag = bagOfWords(tbl.Text);% 移除停用词
cleanBag = removeStopWords(bag);% 词干提取
stemmedBag = stemWords(cleanBag);
2. 特征提取
% TF-IDF特征
tfidf = tfidf(bag);% 加载预训练词向量
embedding = wordEmbedding('glove-100d');% 文本向量化
docVectors = transform(embedding, tbl.Text);
3. 文本分类(传统机器学习)
% 加载IMDB影评数据集
tbl = readtable('imdb_reviews.csv');% 创建词袋模型
bag = bagOfWords(tbl.Review);% 划分训练集和测试集
cv = cvpartition(height(tbl), 'HoldOut', 0.2);
idxTrain = training(cv);
idxTest = test(cv);% 训练分类器
classifier = trainDocumentClassifier(bag(idxTrain), tbl.Sentiment(idxTrain), ...'Classifier', 'svm', ...'TextRepresentation', 'tfidf');% 评估性能
YPred = classify(classifier, bag(idxTest));
accuracy = mean(YPred == tbl.Sentiment(idxTest));
fprintf('分类准确率: %.2f%%\n', accuracy*100);
4. 深度学习文本分类(LSTM)
% 加载数据
tbl = readtable('twitter_sentiment.csv');% 创建词向量
embedding = wordEmbedding(tbl.Text, 'NumDimensions', 100);% 准备序列数据
maxSequenceLength = 100;
tokenizedData = tokenizedDocument(tbl.Text);
sequences = paddedSequence(tokenizedData, maxSequenceLength);% 创建LSTM网络
layers = [sequenceInputLayer(maxSequenceLength)embeddingLayer(vocabSize(embedding), 100, 'Embedding', embedding)lstmLayer(64, 'OutputMode', 'last')fullyConnectedLayer(3) % 3分类问题softmaxLayerclassificationLayer
];% 训练网络
options = trainingOptions('adam', ...'MaxEpochs', 10, ...'MiniBatchSize', 64, ...'ValidationData', {sequences(idxTest), tbl.Sentiment(idxTest)}, ...'Verbose', false, ...'Plots', 'training-progress');net = trainNetwork(sequences(idxTrain), tbl.Sentiment(idxTrain), layers, options);
三、实战案例:情感分析
% 加载Twitter情感数据集
tbl = readtable('twitter_sentiment.csv');% 数据预处理
documents = tokenizedDocument(tbl.Text);
documents = removeStopWords(documents);
documents = stemWords(documents);% 创建词袋模型
bag = bagOfWords(documents);% 特征提取
tfidf = tfidf(bag);% 划分数据集
cv = cvpartition(height(tbl), 'KFold', 5);% 训练并评估模型
accuracies = zeros(cv.NumTestSets, 1);
for i = 1:cv.NumTestSetsidxTrain = training(cv, i);idxTest = test(cv, i);% 训练SVM分类器classifier = fitcsvm(tfidf(idxTrain,:), tbl.Sentiment(idxTrain));% 预测YPred = predict(classifier, tfidf(idxTest,:));% 计算准确率accuracies(i) = mean(YPred == tbl.Sentiment(idxTest));
end% 输出平均准确率
fprintf('交叉验证平均准确率: %.2f%%\n', mean(accuracies)*100);% 可视化混淆矩阵
cm = confusionmat(tbl.Sentiment(idxTest), YPred);
figure
imagesc(cm)
colorbar
xticklabels({'负面', '中性', '正面'})
yticklabels({'负面', '中性', '正面'})
title('情感分析混淆矩阵')
四、高级应用
1. 命名实体识别(NER)
% 加载预训练NER模型
net = nerNetwork('english');% 示例文本
text = "Apple is looking at buying U.K. startup for $1 billion";% 识别实体
entities = recognizeNamedEntities(net, text);% 输出结果
disp(entities);
2. 主题模型(LDA)
% 加载新闻数据集
tbl = readtable('news_articles.csv');% 创建词袋模型
bag = bagOfWords(tbl.Text);% 训练LDA模型
numTopics = 5;
ldaModel = trainLDA(bag, numTopics);% 显示每个主题的关键词
topicWords = topicWords(ldaModel, 10); % 每个主题10个关键词
for i = 1:numTopicsfprintf('主题 %d: %s\n', i, join(topicWords(:,i), ', '));
end