bert-base-chinese代码实例：特征提取与向量化实战

1. 引言

随着自然语言处理技术的快速发展，预训练语言模型已成为中文文本理解任务的核心工具。其中，bert-base-chinese作为 Google 发布的经典中文 BERT 模型，在工业界和学术界均被广泛采用。该模型基于大规模中文语料进行预训练，能够捕捉汉字、词汇及上下文之间的深层语义关系。

在实际工程应用中，如何高效地利用该模型完成文本特征提取与向量化，是构建智能客服、舆情分析系统、推荐引擎等场景的关键前提。本文将围绕bert-base-chinese预训练模型镜像展开，重点介绍其内置功能，并通过完整可运行的代码示例，深入讲解特征提取与文本向量化的实现过程。

文章内容属于实践应用类（Practice-Oriented），旨在提供一套可直接部署的技术方案，帮助开发者快速掌握模型调用、向量输出与语义表示的核心技巧。

2. 模型环境与功能概览

2.1 镜像核心配置

本镜像已预先集成bert-base-chinese模型文件及其依赖环境，用户无需手动下载模型或配置复杂依赖，开箱即用。

模型名称:bert-base-chinese
模型路径:/root/bert-base-chinese
框架支持: Hugging Face Transformers + PyTorch
Python 版本要求: 3.8+
硬件兼容性: 支持 CPU 推理，若具备 GPU 环境则自动启用加速

该模型包含 12 层 Transformer 编码器，隐藏层维度为 768，总参数量约 1.1 亿，适用于大多数中文 NLP 基础任务。

2.2 内置演示脚本功能

镜像内置test.py脚本，涵盖三大典型应用场景：

功能模块	描述
完型填空	使用`[MASK]`标记预测句子中缺失字词，验证语义理解能力
语义相似度	计算两个句子的向量余弦相似度，评估语义接近程度
特征提取	提取指定文本的 [CLS] 向量或各 token 的嵌入表示

这些功能不仅可用于快速验证模型状态，也为后续定制化开发提供了参考模板。

3. 特征提取实战：从文本到向量

3.1 技术选型说明

在众多文本向量化方法中，传统方式如 TF-IDF 或 Word2Vec 存在无法建模上下文的问题。而 BERT 类模型通过双向注意力机制，能生成上下文感知的动态词向量，显著提升语义表达能力。

选择bert-base-chinese进行特征提取的优势包括：

中文专有词汇覆盖全面
支持细粒度汉字级表示
输出固定维度（768维）便于下游建模
可提取 [CLS] 向量作为整句摘要

相比 Sentence-BERT 或 SimCSE 等微调模型，原生 BERT 虽未针对句向量优化，但其通用性强，适合多任务迁移。

3.2 实现步骤详解

我们将从零开始，展示如何加载模型并提取中文文本的向量表示。

步骤一：导入依赖库

from transformers import BertTokenizer, BertModel import torch import numpy as np

注意：确保环境中已安装transformers和torch。可通过pip install transformers torch安装。

步骤二：加载分词器与模型

# 加载本地 tokenizer 和 model model_path = "/root/bert-base-chinese" tokenizer = BertTokenizer.from_pretrained(model_path) model = BertModel.from_pretrained(model_path) # 设置为评估模式（关闭 dropout） model.eval()

BertTokenizer负责将中文文本切分为子词单元（subword），并转换为输入 ID；BertModel则负责前向传播生成向量。

步骤三：对输入文本进行编码

def encode_text(text): inputs = tokenizer( text, return_tensors="pt", # 返回 PyTorch 张量 padding=True, # 批量处理时自动补长 truncation=True, # 超长截断 max_length=128 # 最大长度限制 ) return inputs

此函数返回一个字典，包含input_ids、attention_mask等键值，供模型输入使用。

步骤四：执行前向传播获取向量

def get_sentence_embedding(text): inputs = encode_text(text) with torch.no_grad(): # 关闭梯度计算，节省内存 outputs = model(**inputs) # 提取 [CLS] 向量（通常用于句子级别任务） cls_embedding = outputs.last_hidden_state[:, 0, :].numpy() # shape: (1, 768) return cls_embedding.squeeze() # 降维为 (768,)

last_hidden_state是最后一层所有 token 的隐藏状态，我们取第一个位置[0]对应的 [CLS] 向量作为整个句子的语义表示。

3.3 完整代码示例

以下是一个完整的可运行脚本，用于比较两句话的语义相似度：

from transformers import BertTokenizer, BertModel import torch import numpy as np from sklearn.metrics.pairwise import cosine_similarity # 加载模型 model_path = "/root/bert-base-chinese" tokenizer = BertTokenizer.from_pretrained(model_path) model = BertModel.from_pretrained(model_path) model.eval() def get_cls_vector(text): inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=128) with torch.no_grad(): outputs = model(**inputs) return outputs.last_hidden_state[:, 0, :].numpy() # 示例文本 sentences = [ "今天天气真好，适合出去散步。", "阳光明媚，非常适合户外活动。", "我讨厌下雨天，总是让人情绪低落。" ] # 获取所有句子的向量表示 embeddings = np.vstack([get_cls_vector(sent) for sent in sentences]) # 计算余弦相似度矩阵 similarity_matrix = cosine_similarity(embeddings) print("语义相似度矩阵：") for i, s1 in enumerate(sentences): for j, s2 in enumerate(sentences): if i < j: print(f"'{s1}' vs '{s2}': {similarity_matrix[i][j]:.4f}")

输出示例：

'今天天气真好，适合出去散步。' vs '阳光明媚，非常适合户外活动。': 0.8765 '今天天气真好，适合出去散步。' vs '我讨厌下雨天，总是让人情绪低落。': 0.3124 '阳光明媚，非常适合户外活动。' vs '我讨厌下雨天，总是让人情绪低落。': 0.2987

结果表明，前两句描述晴朗天气，语义高度相似；第三句情感相反，相似度极低，符合预期。

4. 落地难点与优化建议

4.1 实际使用中的常见问题

问题	原因	解决方案
OOM（内存溢出）	批量推理时显存不足	减小`max_length`或降低 batch size
向量分布不一致	不同长度文本影响池化效果	统一截断/填充至相同长度
[CLS] 向量区分度弱	未经微调的通用表示	在特定任务上进行少量微调
分词异常	特殊符号或新词未登录	自定义 vocab 或使用更细粒度 tokenizer

4.2 性能优化建议

批量处理提升效率
将多个句子合并为 batch 输入，充分利用 GPU 并行计算能力：

python texts = ["句子1", "句子2", "句子3"] inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=128)

使用平均池化增强表示
若 [CLS] 向量表现不佳，可尝试对所有 token 向量做平均池化：

python last_hidden = outputs.last_hidden_state # (batch_size, seq_len, 768) mask = inputs['attention_mask'].unsqueeze(-1) # (batch_size, seq_len, 1) pooled = torch.sum(last_hidden * mask, dim=1) / torch.sum(mask, dim=1) embedding = pooled.numpy()