山东网站建设,低多边形生成网站,大概多少钱,摄影设计说明怎么写近期#xff0c;关于 ChatGPT 的访问量有所下降的消息引发激烈讨论#xff0c;不过这并不意味着开发者对于 AIGC 的热情有所减弱#xff0c;例如素有【2023 最潮大语言模型 Web 开发框架】之称的大网红 LangChain 的热度就只增不减。 原因在于 LangChain 作为大模型能力“B2… 近期关于 ChatGPT 的访问量有所下降的消息引发激烈讨论不过这并不意味着开发者对于 AIGC 的热情有所减弱例如素有【2023 最潮大语言模型 Web 开发框架】之称的大网红 LangChain 的热度就只增不减。 原因在于 LangChain 作为大模型能力“B2B2C”的一个重要的中间站能够将大模型和其他项目丝滑连接在一起达到 1 1 大于 3 的效果。 正如大家所知AIGC 时代提高大模型应用性能的一个关键手段就是将大语言模型LLM和外部数据相结合。具体而言就是在 LLM 中接入现成的数据集并要求 AI 应用能够记住用户的对话通过“反思”对话上下文生成“新记忆”。当用户在 AI 应用中进行检索时应用系统会先在接入的现成数据集中提取相关信息然后结合用户查询以及记忆的上下文最终高效准确地返回检索结果LangChain Milvus 就是其中最好的应用。 为了帮开发者深入理解使用 LangChain 和 Milvus 进行语义搜索的原理及实例Zilliz 联动 LangChain 进行了一次干货满满的直播讨论LangChain 联合创始人兼首席执行官 Harrison Chase 对话 Zilliz 软件工程师 Filip Haltmayer 共同探讨如何使用 LangChain 和向量数据库进行语义搜索以及在此过程中可能会遇到的一些典型案例。 01. 什么是检索 检索是指从内存或其他存储设备中获取信息的过程。那么如何利用检索技术、向量数据库如Milvus、AI 代理如LangChain搭建一个接入外部知识库的 LLM 应用 Harrison 表示尽管 LLM 功能强大但在使用上还存在一些限制比如 LLM 只能记住预先训练时的信息。这就意味着LLM 并不能够做到实时更新数据信息。举个例子ChatGPT 的数据仅涵盖 2021 年及以前的数据因此 ChatGPT 无法回答 2021 年之后的信息。除此之外LLM 还缺乏特定领域的专业信息如业务相关的特定数据。在此情况下检索技术能够作为一种补充形式帮助我们打破 LLM 本身的使用限制。换言之检索技术能够为 LLM 应用提供更多信息上下文从而帮助 LLM 返回更准确的答案。 02. 语义搜索——检索技术的主流用例 检索技术的主流用例之一就是语义搜索。Harrison 解释了语义搜索如何在 CVP 架构ChatGPT Vector Database Prompt中发挥作用。 下图展示了语义搜索在 CVP 技术栈中的作用。如果用户提出了一个一般问题且 LLM 可以回答那么 LLM 会直接返回问题的答案。但是如果用户提出的问题是特定领域的专业问题那么这个问题会被转化为向量并被发送到如 Milvus 之类的向量数据库。而向量数据库中已经预先存储了一些专业文档片段的 embedding 向量。当用户专业问题向量被发送到向量数据库后会在数据库中进行相似性搜索以找到 “top-k” 个最相关的结果。这些找到的结果会与用户查询的问题一同经过 AI 代理 如LangChain的处理合并发送到 LLM。最终 LLM 返回令人满意的响应结果。 CVP 技术栈中的语义搜索 03. 语义搜索的典型案例 语义搜索十分常用且能够有效解决多种 LLM 应用的问题。Harrison 列举了 5 个语义搜索的典型案例并详细分析了每种情况 重复信息 如果数据库中存有许多重复文档检索信息会面临一些挑战。这些重复的内容其实不适用于 LLM会产生很多不必要的上下文。 对于这个问题 Harrison 提出了以下 3 种解决方案 通过语义搜索过滤掉类似的文档。例如在将提示发送到 ChatGPT 之前LangChain 会检索 20-30 个相似文档并通过向量检索技术过滤掉或者绕过重复文本再将提示发送到 ChatGPT。利用最大边际相关算法来优化多样性。此搜索侧重于从其他检索到的向量中获取相似和多样的结果。在存储之前对文档进行去重。但是这种方法挑战性最大因为需要大量时间和精力来确定一个相似性分数用于判定文档是否重复。即便设置了一个相似性分数它也未必十分准确因为单个事物的单个向量维度差异巨大分数稍有偏差结果就会大相径庭。 冲突信息 如果对于同一个问题不同来源的数据给出不同的回答则会导致信息冲突。如果将这些数据据全部都给到 LLM可能会导致 LLM 混乱。 例如用户想要通过 LLM 应用查询公司休假政策而人力资源文件和一些临时会议记录给出了不同的答案。 对于这种情况Harrison 提出了以下 2 种解决方案 对来源进行优先级排序并将优先级打分权重加入到检索中。将所有源信息都传入生成步骤交由 LLM 来判断哪个信息源更可靠。 时效性 信息需要不断更新保证信息的时效性。例如公司的休假政策可能会偶尔更新那 LLM 应用需要能够确保给到用户更新后的正确信息。 对于这种情况Harrison 提出了以下 3 种解决方案 在检索中进行对最近的信息进行加权——完全过滤过时的信息。给生成信息带上时间戳——要求 LLM 优先选择更近期的信息。不断反思即不断修订 LLM 对一个话题的理解。 元数据查询 某些情况下用户提出的问题更侧重于元数据信息而非内容本身。 例如用户可能会查询“1980年间关于外星人的电影”。其中“关于外星人的电影”这一部分可以进行语义搜索而”1980 年间“其实是需要通过精确匹配来筛选结果的。 对于这种情况Harrison 建议在执行语义搜索检索之前先加入一个元数据过滤器。这样一来当用户查询”1980年间关于外星人的电影“时其实会分为两个步骤 元数据过滤器通过精确匹配先筛选出年份为 1980 年的电影。语义搜索查询筛选结果中”关于外星人“的电影。 许多向量存储器都允许在查询前先通过元数据过滤器筛选数据。如果大家选择的向量存储器不支持在查询前进行元数据过滤那么在语义搜索之后再过滤数据也是一个可行的方案。 多跳问题 用户可能会一次提出多个问题这会给语义搜索带来挑战。对于这种情况Harrison 建议使用如 LangChain 之类的 AI 代理工具。LangChain 可以将问题分解为几个步骤并使用语言模型作为推理引擎来检索所需信息。但是这种方法的一个弊端就是多次调用 LLM导致使用成本较为高昂。 对此Filip 建议集成 GPTCache 与 LangChain使用 GPTCache 存储 LLM 生成的问题和答案。在用户下一次提出类似查询时GPTCache 会先在缓存中搜索是否是已经问过的重复问题之后如有必要再执行语义搜索并调用 LLM。这样一来可以大大节省 LLM 的调用成本。 04. 问答彩蛋 问题 1: 如何使用外部知识生成 Prompt 是否能够提供一些示例或者小技巧LangChain 后续是否计划添加一些功能能够帮助优化 Prompt Harrison Chase想要写出好的 Prompt关键就在于要先明确自己想要什么。如果你无法清楚表达自己的意图那么 LLM 是不知道该怎么做的这就和人类之间的交流一样。而且我们确实后续会添加一些功能帮助用户优化 Prompt。 问题 2: 如何看待当前基于检索增强的文本生成赛道现在我们也看到了许多解决方案如 Langchain、LlamaIndex、Vectara 等。是否有用于细化检索步骤包括路由器查询引擎等的最佳解决方案您之前提到检索技术可以区分文件的重要性LangChain 是否已经实现此类功能 Harrison Chase整个赛道仍处于早期阶段发展非常迅速。我们首先要区分检索步骤和生成步骤。对于检索而言我认为 LangChain 模块化的架构支持自定义向量检索系统更具灵活性。Vectara 是一套出色的端到端全托管的检索解决方案。LlamaIndex 提供了一些更有趣的数据结构如树型结构可供实验使用。对于生成步骤而言所有用例都使用的是 LangChain。我们和这 3 种方案都有集成。 问题 3: 随着时间推移LLM 可能会不断放宽其对提示中上下文字数限制这对检索技术用例有何影响 Harrison Chase虽然 Anthropic 推出了支持 10 万上下文长度的 LLM 上下文转换器插件但我们为什么仍然需要向量数据库向量数据库提供了一种更高效的解决方案。设想一下如果 LLM 负责所有计算的工作而向量数据库负责所有存储的工作那计算开销会飞速上涨。这也就是说处理的上下文越多成本越高。这时我们就可以使用向量数据库来节省开销。计算总是比存储更贵而且甚至昂贵 100 多倍。而且使用上下文转换器LLM 仍有可能会忘记早期对话中的内容。 问题 4: Cohere 发布了维基百科的向量数据集另外还有一个项目发布了 arXiv 摘要的向量数据集。您此有什么看法吗你是否有推荐的用于开源向量内容的最佳模型 Harrison Chase首先这些初衷都是好的可以帮忙熟悉语义搜索并降低生成向量数据所需的额外时间和成本。但是预先计算也会带来一些限制例如你不可以修改 Embedding 方式或内容。此外其实对于您的数据并不存在最佳的推荐模型。我只能说您使用的模型越流行的话您的数据集被使用的概率就会越大。 问题 5: LangChain 中内存分包的工作原理是什么样的为什么聊天消息的历史记录与内存分开这样设计是否有什么特别理由 Harrison Chase我们正在重新设计内存模块使其更加清晰。 点击【阅读原文】或访问下列网址观看直播回放 https://zilliz.com/event/memory-for-llm-applications-webinar 「寻找 AIGC 时代的 CVP 实践之星」 专题活动即将启动 Zilliz 将联合国内头部大模型厂商一同甄选应用场景 由双方提供向量数据库与大模型顶级技术专家为用户赋能一同打磨应用提升落地效果赋能业务本身。 如果你的应用也适合 CVP 框架且正为应用落地和实际效果发愁可直接申请参与活动获得最专业的帮助和指导联系邮箱为 businesszilliz.com。 推荐阅读