RAG学习道路

数据准备阶段

加载原始文档
使用来自langchain_community.document_loaders的各种Loader，
如：UnstructuredMarkdownLoader，TextLoader等.
传入参数一般为文件路径如：
"../../data/C1/markdown/easy-rl-chapter1.md"

文本分块(Chunking)
为了便于后续嵌入与检索，长文档被分割成较小的文本块(chunks)。
经常使用递归字符分割：RecursiveCharacterTextSplitter()。
其默认行为旨在最大程度保留文本的语义结构：
https://datawhalechina.github.io/all-in-rag/#/chapter2/05_text_chunking

实际应用实例：
text_splitter = CharacterTextSplitter( chunk_size=200, # 每个块的大小 chunk_overlap=50 # 块之间的重叠大小 )
其中，chunk_overlap是为了保证上下文连续性的参数，其实现的思路为：

块编号	覆盖的字符区间	说明
第1块	0 ~ 199	从开头取200个字符
第2块	150 ~ 349	向后滑动 200 - 50 = 150 个字符
第3块	300 ~ 499	再滑动 150 个字符
👉 每个块都与前一个块有50个字符的重叠部分（即 chunk_overlap）
这意味着如果一段话跨越了两个块的边界，
模型在处理第2块时依然能看到第1块的结尾，从而理解上下文。
它本质上是一个滑动窗口的步长控制机制。