网站 建设 网站设计公司,网站一键生成手机网站,wordpress从入门到精通,网站 固定ip最新越发觉得AI的发展#xff0c;对未来是一场革命#xff0c;LangChain已经在工程设计上有了最佳实践#xff0c;类似于AI时代的编程模型或编程框架#xff0c;有点Spring框架的意思。之前在LangChain上也有些最佳实践#xff0c;所以在这里分享记录下。 LangChain解决什… 最新越发觉得AI的发展对未来是一场革命LangChain已经在工程设计上有了最佳实践类似于AI时代的编程模型或编程框架有点Spring框架的意思。之前在LangChain上也有些最佳实践所以在这里分享记录下。 LangChain解决什么问题 LangChain是基于LLM之上的在应用层和底层LLM之前的一个很好的编程框架如果把LLM比喻为各种类型的数据库、中间件等这些基础设施应用层是各种业务逻辑的组合之外那么LangChain就负责桥接与业务层和底层LLM模型让开发者可以快速地实现对接各种底层模型和快速实现业务逻辑的软件开发框架。 那么LangChain是如何做到的呢试想一下现在底层有一个大模型的推理能力除了在对话框手动输入跟他聊天之外。如何用计算机方式跟它互动呢如果把一次LLM调用当作一个原子能力如何编排这些原子能力来解决一些业务需求呢Langchain就是来解决这个事情的。 LangChain的几个核心概念 ▐  Model I/O 这里重点把背后的LLM模型做了一层封装开发者可以通过更改配置的方式快速切换底层LLM模型比如chatgptchatGLM、通义千问等模型。 同时还有些高阶功能比如提供了缓存等功能这样对于语义上类似的query如果缓存有那么langchain可以快速返回结果而不需要调用大模型。 ▐  Retriver 检索是为了解决大模型打通用户的本身数据做一些面向业务属性的东西。这里的检索并非传统的关系型数据库更多的是与大模型的本身逻辑相似的比如向量数据库。 一个经典的结合LLM和外部用户的文档进行智能答疑的场景 文档-分词-embedding-向量数据库 query-向量数据库查询-TOP N-上下文 用户提问 prompt - LLM - 返回结果 一个经典的图如下 关键技术文档如何拆分、embedding过程、 TOPN 向量距离的选择 embedding技术选型 embedding是将现实中的物体通过向量化的方法转化为高维向量可被机器学习模型所识别。他是一种映射同时也保证了能清晰地表达现实物体的特征。基于此可以进行一些归类分析、回归分析等。 现在市面上常见的embedding方法有通义千问的embedding等方法。 向量数据库 向量数据库底层存储的是一堆向量它提供了根据向量相似度进行查询的能力一般情况下向量相似度代表了现实世界中物体的相似度。比如”我的名字是小明“ 和“我叫小明”这两句话所代表的含义几乎是相同的那么在embedding之后基于向量数据库进行查询的时候它们俩的相似度就会很近。 ▐  Chain 各种类型的chainchain代表了各种业务类型的组合类似于工作流的编排。 ▐  Memory LLM本身提供了记忆的能力同时提供了接口开发者可以将历史的对话记录传入给LLM。LangChain需要使用外部存储保存这些历史的会话和记忆。可以使用数据库、缓存等进行保存。 ▐  Agent 重点是代理工具 代理工具可以让应用程序基于大模型的推理能力然后进行代理工具或代理服务的调用。因为LLM是没有“联网”的能力的如果想解决特定的应用场景代理工具是个完美的选择。 代理工具通常包含三个方面用户输入、prompt编排LLM思考与路由代理的过程、背后的代理服务。其中难点可能就在于prompt设计了。通常的“套路”是这样的 ReAct 模型 输入用户的问题 思考过程如果是情况1这个是需要LLM进行意图识别进行思考的那么推理和提取出一些关键参数调用agent1如果是情况2那么推理和提取出一些关键参数调用agent2 Act调用agent1对应一个JSON格式化的输入调用function1返回结果。 观察观察调用后的结果再结合推理的能力再进行循环思考。 LangChain的在实际场景中的实践 集团内部开发了一个JAVA版本的LangChain框架以下实践基于此框架与开源大模型chatGLM-6B进行。 ▐  淘宝开放平台智能问答 淘宝开放平台对内托管了上万个API每天在内部群里都会有开发者咨询API发布问题之前我们是通过NLP来实现智能问答的现将它升级为基于大模型的智能问答以下是具体的技术实现过程。 知识库Embedding过程 由于之前已经沉淀好了很多知识库都是Question-Answer的这种形式这里我们对Question也就是问题进行Embedding此处采用通义千问提供的Embedding方法。 知识库embedding TongYiEmbeddings embeddings new TongYiEmbeddings(); embeddings.setServerAccessId(ALINLP_EMBEDDINGS_ACCESSID); embeddings.setServerUrl(ALINLP_EMBEDDINGS_SERVER_URL); embeddings.setServerUuid(ALINLP_EMBEDDINGS_UUID); Document document new Document(); document.setPageContent(rawText); ListDocument documents embeddings.embedDocument(Arrays.asList(document)); Document vecDocument documents.get(0); // 向量化知识 String embeddingString JSON.toJSONString(vecDocument.getEmbedding()).replaceAll(\\[, {) .replaceAll(\\], });return embeddingString; 向量数据库存储和查询 此处采用hologres向量数据库图中红框表示知识库问题与回答在数据库中具体的向量化存储数据。 向量距离数据库查询 select origin_content as originContent,origin_title as originTitle,pm_approx_squared_euclidean_distance(embedding_title, #{embeddingTitle}) as distance from vs_knowledge order by distance asc limit #{limit} 大模型问答链路 问答chain的基本实现 //1. 初始化ChatGLM的参数 ChatGLMV2Internal chatGLMV2Internal new ChatGLMV2Internal(); chatGLMV2Internal.setTemperature(0.01d); chatGLMV2Internal.setMaxLength(2048);//2. 提示词编写 PromptTemplate prompt new PromptTemplate(); String template 已知信息\n {context} \n \n 根据上述已知信息简洁和专业的来回答用户的问题。如果无法从中得到答案请说 “根据已知信息无法回答该问题” 或 “没有提供足够的相关信息”不允许在答案中添加编造成分答案请使用中文。问题是{question}; prompt.setTemplate(template);//3. 向量数据库检索配置比如最大向量距离 RetrievalQA qa new RetrievalQA(); qa.setRecommend(5); qa.setMaxDistanceValue(10000.0d); qa.setLlm(chatGLMV2Internal); qa.setPrompt(prompt); qa.setRetriever(holoRetriver.asRetriever()); qa.init();//4. LLM大模型问答 MapString, Object inputs new HashMap(); inputs.put(question, question); inputs.put(input, question); MapString, Object outputs qa.run(inputs);llmKonwledgeDO.setContent(String.valueOf(outputs.get(text))); // 补充 doclist return llmKonwledgeDO; ▐  AI Agent实践 以下实现了一个网关API调用日志解析的agent。 Agent工具注册 this.setName(ApiLogTool); this.setDescription(这是一个调用日志查询接口如果[{question}]中包含requestId关键字,你可以请求这个工具与日志系统进行交互调用这个工具。\n 请先提取出requestId的值将它赋值为value。调用参数[{\requestId\: \value\, \type\: \String\, \description\: \调用请求id\}]。); 工具解析 MapString,Object parse (MapString,Object)JSON.parse(toolInput); if(parse.get(requestId)null){return new ToolExecuteResult(); } String requestId parse.get(requestId).toString(); ApiLogSearchQuery apiLogSearchQuery new ApiLogSearchQuery(); //日志查询解析处理 思考决策逻辑 public static final String FORMAT_INSTRUCTIONS_CH 用户提出了一个问题: {question} \n 你可以选择使用下面这些工具\n {tool_list_description} \n 同时你的思考过程如下 Thought: 每一次你需要首先思考你应该做什么\n Action: 你需要决定是否使用工具应该是[{tool_names}] 中的一个Action格式为JSON。如果匹配不到工具就不要思考了直接返回结果请不要把思考过程返回给用户。\n Input: 如果匹配到工具使用的工具的输入参数赋值给params\n Observation: 如果匹配到工具工具的输出结果 格式为[]。\n Answer: 每一步回答问题的答案格式为JSON。你可以多次使用Thought/Action/Input/Observation/Answer来一步一步的思考如何回答问题。\n; 个人小思考 未来微服务HSF这种形式会向上往 agent工厂或者agent服务框架这种形式演进因为这个框架搭好了后后面各个业务方快速集成到agent服务上可被上层AI应用层调用如果多个agent联动了才是真正的智能如何定义agent Agent体系架构可以分为慎思型、反应型和混合型。 慎思型构建负责规划和推理行为反应型构建处理需要快速响应的重要事件。 信念-期望-意图Belief-Desire-ltension BDI) 体系架构是混合型体系架构的一个重要类型。Agent的表示形式Agent的行为可以被描述成好像拥有信念、期望和意图等思维状态。信念表示Agent拥有的知识期望描述Agent追求的目标意图说明Agent选择计划以实现哪些目标。 openai提供的agent概念 团队介绍 我们是淘天集团商家与开放平台团队目前主要围绕商家的日常经营场景为中小商家提供高效易用的电商工具。 ¤ 拓展阅读 ¤ 3DXR技术 | 终端技术 | 音视频技术 服务端技术 | 技术质量 | 数据算法