使用 Python 基于Ollama构建个人私有知识库（AI生成）

news/2025/9/28 18:32:15/文章来源:https://www.cnblogs.com/jiftle/p/19117378

使用 Python 基于 Ollama 构建个人私有知识库是一个非常实用的项目，可以实现本地化、隐私安全的文档问答系统。以下是完整的路径和步骤，帮助你从零开始搭建一个基于 Ollama 的本地知识库系统。

🌟 目标

构建一个本地运行的私有知识库问答系统，支持：

上传本地文档（PDF、Word、TXT 等）
使用 Ollama 调用本地大模型（如 llama3, mistral, nomic-embed-text）
向量化文档内容并存储
用户提问时，从知识库中检索并生成回答

✅ 技术栈

组件	作用
Ollama	本地运行大语言模型（LLM）和嵌入模型
LangChain	构建 RAG（检索增强生成）流程
ChromaDB	本地向量数据库（轻量、无需服务器）
Python	主语言
Unstructured / PyPDF2 / python-docx	文档解析

🛠️ 环境准备

1. 安装 Ollama

前往官网安装：https://ollama.com/

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh# 启动 Ollama 服务
ollama serve

2. 拉取模型（建议）

ollama pull llama3
ollama pull nomic-embed-text

nomic-embed-text 是 Ollama 推荐的嵌入模型，用于生成文本向量。

📁 项目结构

private-kb/
├── data/                   # 存放你的文档
├── vectorstore/            # 向量数据库存储目录
├── ingest.py               # 文档加载与向量化
├── query.py                # 查询接口
├── utils.py                # 工具函数
└── requirements.txt

📦 安装 Python 依赖

pip install langchain langchain-ollama chromadb unstructured pypdf python-docx

注意：langchain-ollama 是 LangChain 对 Ollama 的集成包。

📝 步骤一：文档加载与预处理（`ingest.py`）

# ingest.py
import os
from langchain_community.document_loaders import (PyPDFLoader,TextLoader,Docx2txtLoader,
)
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_ollama import OllamaEmbeddings# 文档目录
DATA_DIR = "data"
VECTORSTORE_DIR = "vectorstore"def load_documents():documents = []for filename in os.listdir(DATA_DIR):file_path = os.path.join(DATA_DIR, filename)if filename.endswith(".pdf"):loader = PyPDFLoader(file_path)elif filename.endswith(".txt"):loader = TextLoader(file_path, encoding="utf-8")elif filename.endswith(".docx"):loader = Docx2txtLoader(file_path)else:continuedocuments.extend(loader.load())return documentsdef split_documents(documents):text_splitter = RecursiveCharacterTextSplitter(chunk_size=500,chunk_overlap=50,)return text_splitter.split_documents(documents)def create_vectorstore():print("Loading documents...")docs = load_documents()print(f"Loaded {len(docs)} documents.")print("Splitting documents...")splits = split_documents(docs)print("Creating embeddings and vector store...")embeddings = OllamaEmbeddings(model="nomic-embed-text")vectorstore = Chroma.from_documents(documents=splits,embedding=embeddings,persist_directory=VECTORSTORE_DIR,)vectorstore.persist()print("Vector store created and saved.")if __name__ == "__main__":create_vectorstore()

🔍 步骤二：查询知识库（`query.py`）

# query.py
from langchain_ollama import ChatOllama
from langchain_community.vectorstores import Chroma
from langchain_ollama import OllamaEmbeddings
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParserVECTORSTORE_DIR = "vectorstore"# 初始化嵌入模型和向量数据库
embeddings = OllamaEmbeddings(model="nomic-embed-text")
vectorstore = Chroma(persist_directory=VECTORSTORE_DIR, embedding_function=embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})# 初始化 LLM
llm = ChatOllama(model="llama3", temperature=0.3)# 提示模板
template = """你是一个问答助手，请根据以下上下文回答问题：
{context}问题: {question}请用中文回答，尽量简洁准确。
"""
prompt = ChatPromptTemplate.from_template(template)# 构建 RAG 链
rag_chain = ({"context": retriever, "question": RunnablePassthrough()}| prompt| llm| StrOutputParser()
)def ask_question(question: str):return rag_chain.invoke(question)if __name__ == "__main__":while True:q = input("\n问: ")if q.lower() in ["quit", "exit", "退出"]:breakresponse = ask_question(q)print(f"答: {response}")

🧪 使用流程

1. 准备文档

将你的 PDF、TXT、DOCX 文件放入 data/ 目录。

2. 向量化文档

python ingest.py

第一次运行会较慢，后续增量更新可扩展脚本。

3. 启动问答

python query.py

输入问题，例如：

问: 我的简历里写了哪些技能？
答: 根据文档内容，你提到了 Python、机器学习、LangChain 和 Ollama...

✅ 可选优化

功能	实现方式
增量更新	检查文件哈希，避免重复处理
Web 界面	使用 Streamlit 或 FastAPI
更好分块	使用 `SemanticChunker`
多轮对话	加入 `RunnableWithMessageHistory`
支持更多格式	使用 `unstructured` 包

🌐 扩展：Web UI（Streamlit 示例）

# app.py
import streamlit as st
from query import ask_questionst.title("私人知识库问答系统")if "messages" not in st.session_state:st.session_state.messages = []for message in st.session_state.messages:with st.chat_message(message["role"]):st.markdown(message["content"])if prompt := st.chat_input("请输入问题"):st.session_state.messages.append({"role": "user", "content": prompt})with st.chat_message("user"):st.markdown(prompt)with st.chat_message("assistant"):response = ask_question(prompt)st.markdown(response)st.session_state.messages.append({"role": "assistant", "content": response})

启动：

streamlit run app.py

🧩 总结：完整路径

步骤	操作
1	安装 Ollama 并拉取 `llama3` 和 `nomic-embed-text`
2	安装 Python 依赖（LangChain + Chroma + 文档解析库）
3	编写 `ingest.py` 将文档切片并存入 Chroma 向量库
4	编写 `query.py` 实现 RAG 问答
5	（可选）添加 Web 界面（Streamlit/FastAPI）