一、核心知识点解析
1. PyPDFLoader 详细用法(重点补充)
PyPDFLoader是 LangChain-Community 库中最常用的 PDF 加载器之一,底层基于pypdf库实现,专门用于从 PDF 文件中提取文本内容,并封装为 LangChain 标准的Document对象。
1.1 基本初始化
# 方式1:本地文件路径(推荐) loader = PyPDFLoader("./pdf/a.pdf") # 方式2:远程PDF文件URL(需确保网络可访问) loader = PyPDFLoader("https://example.com/sample.pdf")- 支持本地绝对路径 / 相对路径、远程 HTTP/HTTPS URL。
- 若文件不存在 / URL 无法访问,会直接抛出
FileNotFoundError或网络相关异常。
1.2 核心方法
| 方法名 | 作用 | 返回值 |
|---|---|---|
load() | 加载整个 PDF,不分割页面 | 包含 1 个Document对象的列表(所有页面文本拼接) |
load_and_split() | 加载 PDF 并按页面分割 | 包含 N 个Document对象的列表(N 为 PDF 页数,每个对象对应 1 页) |
lazy_load() | 惰性加载(逐页读取,节省内存) | 生成器对象,遍历可获取每页的Document对象 |
示例对比:
# 1. load():所有内容合并为1个Document full_doc = loader.load() print(f"load()返回数量:{len(full_doc)}") # 输出:1 print(f"内容:{full_doc[0].page_content[:100]}") # 前100个字符 # 2. load_and_split():按页面分割为多个Document page_docs = loader.load_and_split() print(f"load_and_split()返回数量:{len(page_docs)}") # 输出:PDF的总页数 print(f"第1页内容:{page_docs[0].page_content[:100]}") # 3. lazy_load():惰性加载(适合超大PDF) for doc in loader.lazy_load(): print(f"当前页内容:{doc.page_content[:50]}") break # 仅演示,实际可遍历所有页1.3 Document 对象结构
PyPDFLoader返回的Document对象是 LangChain 处理非结构化数据的标准格式,核心属性:
# 取第1页的Document对象 page = page_docs[0] # 核心属性1:页面文本内容(最常用) print(page.page_content) # 核心属性2:元数据(包含PDF的关键信息) print(page.metadata) # 典型输出: # { # 'source': './pdf/a.pdf', # 文件路径/URL # 'page': 0 # 页码(从0开始计数) # }page_content:字符串类型,存储当前页的纯文本内容(去除 PDF 格式、图片、表格,仅保留文字)。metadata:字典类型,存储文件来源、页码等元数据,可用于后续的内容溯源、分页总结等场景。
1.4 高级用法:指定页码范围加载
若只需加载 PDF 的部分页面(如仅第 1-5 页),可结合切片实现:
# 步骤1:先惰性加载所有页 all_pages = list(loader.lazy_load()) # 步骤2:切片获取指定页码(0为第1页,左闭右开) target_pages = all_pages[0:5] # 第1-5页 # 步骤3:拼接指定页的内容 target_content = "\n".join([p.page_content for p in target_pages])在大模型应用开发中,处理 PDF 文档并基于文档内容进行分析、总结是非常常见的需求。LangChain 作为一站式的 LLM 应用开发框架,提供了简洁高效的 PDF 处理工具链。本文将基于实际代码,详细讲解如何使用 LangChain 加载 PDF 文件、提取文本内容,并调用 DeepSeek 大模型完成文档总结。
二、环境准备
在开始编码前,需要先安装所需的依赖包,并配置 API 密钥:
1. 安装依赖
# 核心依赖:LangChain框架及PDF处理库 pip install langchain langchain-community langchain-core langchain-openai # PDF处理依赖(PyPDFLoader底层依赖pypdf) pip install pypdf python-dotenv2. 配置 API 密钥
创建.env文件,填入 DeepSeek 的 API 密钥(需提前在 DeepSeek 官网申请):
env
DEEPSEEK_API_KEY=你的deepseek_api_key三、完整代码实现
以下是加载 PDF 并实现内容总结的完整可运行代码,每一步都添加了详细注释:
# 1. 导入PDF加载器 from langchain_community.document_loaders import PyPDFLoader # 初始化PDF加载器,指定PDF文件路径 # 注意:请将路径替换为你自己的PDF文件路径 loader = PyPDFLoader("./pdf/a.pdf") # 加载PDF并按页面分割(返回Document对象列表) pages = loader.load_and_split() # 2. 拼接所有页面的文本内容 docs = "" for item in pages: # page_content是Document对象中存储文本内容的核心属性 docs += item.page_content # 3. 配置提示词模板 from langchain_core.prompts import ChatPromptTemplate # 定义总结用的提示词模板,{context}是动态填充的PDF文本内容 template = """ {context} 总结上面的内容 """ # 将模板转换为LangChain可调用的Prompt对象 prompt = ChatPromptTemplate.from_template(template) # 4. 配置大模型和输出解析器 from langchain_core.output_parsers import StrOutputParser import os from dotenv import load_dotenv from langchain_openai import ChatOpenAI from pydantic import SecretStr # 加载.env文件中的环境变量 load_dotenv() # 初始化DeepSeek大模型(兼容OpenAI接口规范) llm = ChatOpenAI( base_url="https://api.deepseek.com/v1", # DeepSeek的API基础地址 model="deepseek-chat", # 使用的模型名称 api_key=SecretStr(os.environ["DEEPSEEK_API_KEY"]), # 从环境变量读取API密钥 ) # 初始化输出解析器(将LLM的输出转换为字符串) outputParser = StrOutputParser() # 5. 构建链式调用并执行总结 # LangChain的Runnable接口:Prompt -> LLM -> 输出解析器 chain = prompt | llm | outputParser # 调用链,传入PDF文本内容作为context参数 result = chain.invoke({"context": docs}) # 打印总结结果 print(result)