FastGPT 引申：借鉴 FastGPT 基于MySQL + ES 实现知识库（含表结构以及核心代码）

一、整体思路

• 知识库查询能力：引入 Elasticsearch (ES) 提供向量存储和检索能力。
• 三层逻辑结构：
  • 数据集：使用模块 ID 关联应用。
  • 数据：存储具体的知识内容。
  • 索引：提供高效的查询能力。

---

二、存储结构

2.1 MySQL 表结构

(1) knowledge_base_dataset

存储数据集基本信息

字段名	类型	描述
id	BIGINT	主键
type	INT	0：手动数据集
name	VARCHAR	数据集名称
es_index_name	VARCHAR	ES 索引名称
extract_qa_prompt	TEXT	抽取 QA 问答对 Prompt
extract_summary_prompt	TEXT	抽取摘要 Prompt
extract_param_prompt	TEXT	抽取参数 Prompt
is_deleted	TINYINT	逻辑删除标志

(2) knowledge_base_data

存储具体知识数据项

字段名	类型	描述
id	BIGINT	主键
dataset_id	BIGINT	关联 dataset 表
main_content	TEXT	主要内容
auxiliary_data	TEXT	辅助数据
is_deleted	TINYINT	逻辑删除标志

(3) knowledge_base_index

存储索引项

字段名	类型	描述
id	BIGINT	主键
data_id	BIGINT	关联 data 表主键
index_type	INT	0-默认，1-用户指定，3-提取问题，4-相关摘要
index_content	TEXT	索引内容

(4) ai_kb_relation

存储数据集与应用关联

字段名	类型	描述
id	BIGINT	主键
module_id	BIGINT	关联的模块 ID
dataset_id	BIGINT	知识库数据集 ID

---

2.2 Elasticsearch Mapping 结构

(1) ES索引

存储知识数据的向量索引：ai_knowledge

{"mappings": {"properties": {"data_id": {"type": "long","index": true},"index_id": {"type": "long","index": true},"dataset_id": {"type": "long","index": true},"vector_index": {"type": "dense_vector","dims": 1024,"index": true,"similarity": "cosine"},"text_index": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"}}}
}

(2) 字段说明

字段名称	类型	说明
data_id	long	关联 knowledge_base_data 主键 ID
index_id	long	关联 knowledge_base_index 主键 ID
dataset_id	long	关联 knowledge_base_dataset 主键 ID
vector_index	dense_vector	1024 维度稠密向量，支持余弦相似度计算
text_index	text	采用 ik_max_word 分词器进行索引

---

三、代码实现

3.1 调用 Embedding 服务

public List<Float> getVector(String text) {ResponseEntity responseEntity = xxxx;if (responseEntity != null && responseEntity.getCode() == 0) {List<List<Double>> vectorList = (List<List<Double>>) responseEntity.getData();if (vectorList != null && !vectorList.isEmpty()) {return vectorList.get(0).stream().map(Double::floatValue).collect(Collectors.toList());}}return null;
}

3.2 向量检索（ES KNN 查询）

public List<Knowledge> searchByVector(List<Float> vector) throws IOException {log.info("Searching knowledge with vector similarity using KNN");try {return client.search(s -> s.index(INDEX_NAME).knn(k -> k.field("vector_index").queryVector(vector).k(DEFAULT_SIZE).numCandidates(100)),Knowledge.class).hits().hits().stream().map(Hit::source).collect(Collectors.toList());} catch (Exception e) {log.error("Error searching knowledge by vector: {}", e.getMessage(), e);throw e;}
}

3.3 RRF 排序（融合向量检索和文本检索结果）

private Map<String, Double> calculateRRFScores(List<Hit<KnowledgeCommon>> vectorHits,List<Hit<KnowledgeCommon>> textHits) {Map<String, Double> rrfScores = new HashMap<>();int rank = 1;for (Hit<KnowledgeCommon> hit : vectorHits) {String id = hit.id();double score = VECTOR_WEIGHT * (1.0 / (rank + RRF_CONSTANT));rrfScores.put(id, rrfScores.getOrDefault(id, 0.0) + score);rank++;}rank = 1;for (Hit<KnowledgeCommon> hit : textHits) {String id = hit.id();double score = TEXT_WEIGHT * (1.0 / (rank + RRF_CONSTANT));rrfScores.put(id, rrfScores.getOrDefault(id, 0.0) + score);rank++;}return rrfScores;
}

---

四、总结

• 采用 MySQL 存储基础数据，ES 存储向量及文本索引。
• ES 结合 KNN 和分词搜索进行知识检索。
• 使用 RRF 算法融合向量和文本搜索结果，提高查询质量。

此方案支持灵活的知识管理和高效检索，可扩展至更大规模的知识库应用。