批量扫dedecms做的网站,营销网站优点,宝塔建设网站教程,网站开发合同免费模板本文#xff0c;我们将研究高级RAG方法的中的重排序优化方法以及其与普通RAG相比的关键差异。 一、什么是RAG#xff1f; 检索增强生成#xff08;RAG#xff09;是一种复杂的自然语言处理方法#xff0c;它包括两个不同的步骤#xff1a;信息检索和生成语言建模。这种方…       本文我们将研究高级RAG方法的中的重排序优化方法以及其与普通RAG相比的关键差异。 一、什么是RAG 检索增强生成RAG是一种复杂的自然语言处理方法它包括两个不同的步骤信息检索和生成语言建模。这种方法旨在为语言模型提供访问外部数据源来提高其在生成响应时的准确性和相关性从而增强语言模型的能力。 1.1 检索组件 目的检索组件的主要功能是响应查询或提示从大型数据库或语料库中提取相关文档或信息片段。 过程当收到查询时检索系统会搜索其数据库如维基百科文章、书籍或其他文本数据的集合以找到与查询相关的内容。 输出此阶段的输出是一组与输入查询相关的文档或文本段落。 1.2 生成语言模型 与检索到的数据集成将检索到的文档输入到生成语言模型中该模型使用这些文档中的信息来通知其响应生成。 响应生成语言模型处理原始查询和检索到的文档中的信息以生成不仅与上下文相关而且由外部数据提供信息的响应。 这种方法RAG允许语言模型产生比仅依靠其预先训练的知识更准确、更详细、更适合上下文的反应。 二、什么是高级RAG 高级检索增强生成Advanced RAG通过结合复杂的检索前和检索后过程来增强传统的RAG。Advanced RAG中检索后过程的一个关键方面是“ReRank”它涉及对检索到的文档进行重新排序来优先考虑最相关的信息。ReRank通过采用各种算法或框架来实现的比如基于文档多样性或与查询的相关性之类的标准来调整排序。重新排序的目的是向大型语言模型提供最相关的信息从而提高生成的响应的质量和相关性。 三、RAG和高级RAG之间的主要区别是什么 四、高级RAG重排序代码实施 有了对Advanced RAG概念的理解现在让我们将使用LlamaIndex作为实施的框架BM25作为我们的排序函数。BM25算法是信息检索系统中广泛使用的排序函数特别是在文档检索中。它是概率信息检索家族的一部分是对经典TF-IDF术语频率逆文档频率方法的改进。因此我们将使用它作为我们的重新排序函数。 在这篇文章中我们将研究两种不同的实现高级RAG的方法一种是使用OpenAI LLM另一种是在完全局部LLMMistral。 首先在项目文件夹的根目录中创建一个项目文件夹和包括如下内容的.env文件。 OPENAI_API_KEYYOUR_OPENAI_API_KEYLLM_URIhttp://localhost:11434 导入相关库 import nest_asyncioimport osimport sysimport logging​from dotenv import load_dotenv, find_dotenv​from llama_index import ( SimpleDirectoryReader, ServiceContext, StorageContext, VectorStoreIndex,)from llama_index.query_engine import RetrieverQueryEnginefrom llama_index.retrievers import BM25Retrieverfrom llama_index.llms import OpenAI, Ollamafrom llama_index.embeddings import OllamaEmbeddingfrom llama_index.postprocessor import SentenceTransformerRerankfrom llama_index import QueryBundle 配置asyncio和logger logging.basicConfig(streamsys.stdout, levellogging.INFO)logging.getLogger().handlers []logging.getLogger().addHandler(logging.StreamHandler(streamsys.stdout))​nest_asyncio.apply() 让我们设计一个名为AdvancedRAG的类该类具有以下3个函数 class AdvancedRAG: def __init__(self): _ load_dotenv(find_dotenv()) # load documents self.documents SimpleDirectoryReader(./data/, required_exts[.pdf]).load_data()​ # global variables used later in code after initialization self.retriever None self.reranker None self.query_engine None​ self.bootstrap()​ def bootstrap(self): # initialize LLMs llm OpenAI(modelgpt-4, api_keyos.getenv(OPENAI_API_KEY), temperature0, system_promptYou are an expert on the Inflamatory Bowel Diseases and your job is to answer questions. Assume that all questions are related to the Inflammatory Bowel Diseases (IBD). Keep your answers technical and based on facts – do not hallucinate features.)​ # initialize service context (set chunk size) service_context ServiceContext.from_defaults(chunk_size1024, llmllm) nodes service_context.node_parser.get_nodes_from_documents(self.documents)​ # initialize storage context (by default its in-memory) storage_context StorageContext.from_defaults() storage_context.docstore.add_documents(nodes)​ index VectorStoreIndex( nodesnodes, storage_contextstorage_context, service_contextservice_context, )​ # We can pass in the index, doctore, or list of nodes to create the retriever self.retriever BM25Retriever.from_defaults(similarity_top_k2, indexindex)​ # reranker setup initialization self.reranker SentenceTransformerRerank(top_n1, modelBAAI/bge-reranker-base)​ self.query_engine RetrieverQueryEngine.from_args( retrieverself.retriever, node_postprocessors[self.reranker], service_contextservice_context, )​ def query(self, query): # will retrieve context from specific companies nodes self.retriever.retrieve(query) reranked_nodes self.reranker.postprocess_nodes( nodes, query_bundleQueryBundle(query_strquery) )​ print(Initial retrieval: , len(nodes), nodes) print(Re-ranked retrieval: , len(reranked_nodes), nodes)​ for node in nodes: print(node)​ for node in reranked_nodes: print(node)​ response self.query_engine.query(str_or_query_bundlequery) return response Initialization方法__init__ 环境设置使用load_dotenv(find_dotenv())加载环境变量。这可能用于配置设置如API密钥或URL。 文档加载使用SimpleDirectoryReader从指定目录加载文档。这些文档可能被用作检索任务的语料库。 全局变量为检索器、重排序器和query_engine设置占位符它们可能是检索和排序过程中的关键组件。 Bootstrap方法调用调用Bootstrap方法来初始化各种组件。 Bootstrap方法 初始化大型语言模型llm使用Ollama或OpenAI GPT-4设置语言模型实例llm。 初始化嵌入模型使用OllamaEmbedding设置嵌入模型embed_mode该模型用于创建文本的矢量表示。 服务上下文使用块大小和模型llm和embed_mode配置服务上下文。 节点解析和存储将文档解析为节点并将其存储在内存数据库中以便快速访问。 索引创建使用VectorStoreIndex创建索引以高效检索文档。 Retriever初始化初始化BM25Retriever这是一个基于BM25算法的检索模型。 重新排序初始化使用SentenceTransformerRerank设置重新排序重新排序检索到的结果的相关性。 查询引擎初始化初始化一个查询引擎该引擎将检索器和重排序器组合在一起以处理查询。 Query方式 检索检索与给定查询相关的节点文档。 重排序对检索到的节点应用重新排序。 响应生成使用查询引擎根据查询生成响应。 if __name__ __main__: adv_rag AdvancedRAG() resp adv_rag.query(What is the impact of IBD in women ?) print(resp) 当您使用OpenAI GPT-4配置运行上述代码时以下应该是输出。 使用本地LLM和本地嵌入模型Mistral修改代码在上面的代码中只需注释现有的OpenAI GPT-4 LLM并使用下面的代码。 # initialize LLMsllm Ollama(base_urlos.getenv(LLM_URI), modelmistral) 初始化Mistral嵌入如下所示 # initialize mistral embed modelembed_model OllamaEmbedding(base_urlos.getenv(LLM_URI), model_namemistral) 现在通过传递embed_mode来修改现有的服务上下文如下所示 # initialize service context (set chunk size)service_context ServiceContext.from_defaults(chunk_size1024, llmllm, embed_modelembed_model) 现在如果将代码指向下面的本地LLM和本地嵌入来编写代码那么输出如下 您可以清楚地看到GPT-4和Mistral等2种方法生成的响应发生了一些显著变化但具有置信度|重新排序分数的检索节点保持不变。 六、结论 总之高级检索增强生成Advanced Retrieval Augmented Generation简称RAG是信息检索和自然语言处理领域的一次重大飞跃。通过将BM25等最先进的排名算法与先进的重新排序技术和GPT-4或Mistral等尖端语言模型相集成advanced RAG为处理复杂的查询任务提供了一个强大而灵活的解决方案。正如我们在讨论中举例说明的那样这种实际实现不仅展示了Advanced RAG的理论潜力还展示了其在现实世界中的适用性。无论是在提高搜索引擎的准确性、提高聊天机器人中响应的相关性还是在推进知识系统的前沿领域高级RAG证明了人工智能驱动的语言理解和信息处理的不断发展和成熟。Advanced RAG中检索准确性和上下文生成的融合为各种应用中更智能、更灵敏、更知识渊博的系统铺平了道路预示着人工智能能力的新时代。 参考文献 [1] https://blog.stackademic.com/advanced-retrieval-augmented-generation-how-reranking-can-change-the-game-d06e12b77074