衡水电子商务网站建设,怎么做网站竞价,做网站 能挣钱吗,仿站WordPress如果每封电子邮件、每个带有订单、发票、投诉、录用请求或工作申请的 PDF 都可以翻译成机器可读的数据#xff0c;会怎样#xff1f;然后可以由 ERP / CRM / LMS / TMS 自动处理吗#xff1f;无需编程特殊接口。 听起来很神奇#xff1f;它确实有一些魔力。但最近已成为可…如果每封电子邮件、每个带有订单、发票、投诉、录用请求或工作申请的 PDF 都可以翻译成机器可读的数据会怎样然后可以由 ERP / CRM / LMS / TMS 自动处理吗无需编程特殊接口。 听起来很神奇它确实有一些魔力。但最近已成为可能。 解决方案是大型语言模型LLM。它们与人类办公室工作人员类似能够将电子邮件转换为结构化数据而无需或只有很少的学习样本。电子邮件、PDF 或文档被视为订单、投标、提醒。并找到并提取具体数据。例如对于运输订单请求客户、托盘数量、重量、取货地点、取货时间、交货地点。 然后附加的业务算法这不是由模型完成的可以根据结构化数据预过滤查询直接处理它例如回答它或将其作为结构化输入提供给人工代理也可能使用进一步处理的建议。 什么是大型语言模型以及我们为什么要关心 近年来大型语言模型的发展是机器学习领域的一个重要里程碑。这些模型的特点是能够用自然语言回答问题、创建文本、总结文本、将其翻译成其他语言或语言游戏或者生成代码而所有这一切都无需脚本即无需专门编程将用户输入与机器输出链接起来的算法。这些模型不仅能产生句法拼写、语法正确的输出而且还能够在语义上正确解决困难的语言任务。大模型有很多最著名的包括 GPT-3 (OpenAI)、BERT、T5 (Google) 或 Wu Dao (北京人工智能研究院)、MT-NLG (微软)。 大模型在回答问题、继续或总结文本方面表现出惊人的技能。在许多情况下他们的技能甚至超过了人类沟通伙伴。以下是三个 LLM 能力的一些示例GPT-3 davinci、AI21 studio j1-jumbo、Macaw 11B。所有任务都没有经过专门培训也没有编写响应脚本。相反这些都是零射击能力的例子无需经过专门训练就能做某事的能力。 还可以生成结构化数据例如简单的程序 这些模型通常也能够处理其他广泛使用的语言但没有一个能像英语一样处理。 LLMS如何运作 大模型正确回答了所有问题。这怎么可能 快速浏览大型语言模型的基础知识最强大的系统是 Transformer 模型其核心由深度学习模型一种特定类型的神经网络组成并配备了注意力机制。它们能够处理顺序输入例如文本并产生相应的输出。他们基本上是根据统计数据来做到这一点的最可能的延续是什么问题的答案、对话中的下一个话语、开始的文本的完成— 这意味着他们的响应并不像 Siri、Alexa 或其他语音助手目前那样基于用户意图与答案的固定映射。 这些模型在各个维度上都很大它们现在通常包含超过 1000 亿个参数。简而言之参数是神经元之间的权重随着模型学习而调整。这些模型使用数百兆字节的主要公开数据例如维基百科和类似的大型语料库进行训练。培训内容相当于十万多本书的规模。换个角度来看一个人一生读完5000本书是很困难的。这些模型的生态足迹也是巨大的据估计最成功的大模型的初始训练消耗的能量相当于驾驶汽车往返月球所需的能量。对于大模型来说数量在某种程度上转化为质量。目前的成就是通过十倍的努力才取得的 资料来源 https: //huggingface.co/blog/large-language-models 较新的大模型的一个特点是——如上面的例子所示——它们可以在没有特定任务学习的情况下提供对输入的响应。他们的产出仅依赖于他们的基础训练。与人类类似这些模型具有多功能性能够理解并正确对话或响应单次训练单个练习示例、少次训练几个示例甚至无示例所教授的新语言游戏根本不。这是新的、革命性的。早期的模型经过精心训练只能完成一项工作并且只能处理单一任务下棋、识别可疑的银行活动、在图片中查找人脸等。 当然这里也可以进行一些微调即使用额外的样本输入和输出来训练特定作业的模型。这也类似于人类的语言习得经过大约20年的童年和青少年时期的基本训练我们可以聊天、争论、进行哲学思考、撒谎、计算、旋转、分析或布道。但为了在高而具体的专业水平上做到这一点我们学习法律、量子物理学、会计、心理学或神学。 模型得分的一个有趣领域是文本分析。在下面的示例中我们告诉模型要做什么并给出两个示例iPhone 和 Serrano ham。对于第三个输入苹果酒模型本身设法提供正确的答案少量学习。 还可以分析更多结构化数据。下面的例子同样基于少量镜头学习展示了一种没有数据库和 SQL 的数据库查询而是简单地基于语言技能。类似于人类能够做的事情。 具有大型语言模型的自动化设置 如何利用语言模型将非结构化数据转换为结构化数据并自动处理我们自己的实践经验中的一个实施示例将证明这一点。- 当然我们绝对不是唯一处理这些问题的人另请参阅本文。 A. 模型的设置POC 1 问题我们收到可能采用不同语言的非结构化邮件作为传输的报价请求并尝试将它们转换为结构化数据。 为了做到这一点我们为模型提供了一些训练样本几十到几百个样本。样本应该尽可能多样化以便模型学会处理全方位的请求。样本还应涵盖询价以外的意图例如有关正在进行的装运的查询或投诉以帮助模型区分正确的分类。训练样本包括电子邮件或 PDF 文本的有效负载以及要输出的结构化数据。任何可以通过简单脚本从电子邮件中提取且不需要机器学习的数据都应提前删除例如发件人地址或收件人地址。输入应包含真实数据未经手动清理但包含拼写错误、口语时间和所有可能的语言。目标数据不必采用独立格式JSON 等才能启动。转换可以再次通过简单的算法完成。 这些数据用于调整模型然后该模型可用于识别和处理任意数量的其他查询。 您的应用程序应该使用哪种基本模型这个问题不太容易回答应该分为几个子问题 1. 哪种型号、哪种配置、哪种设置可提供最佳效果 2. 我可以在我想要的设置在自己的云、SaaS 解决方案等中运行和我的要求例如隐私、数据主权中运行哪种模型 3. 哪种模型的总拥有成本最低固定成本和基于请求的成本 如果从问题 2 和问题 3 的角度来看多个模型位于相关集中则应使用不同的设置来测试这些模型。为了找到最佳解决方案您应该首先在一些训练和少量测试数据的基础上测试模型然后通过更多数据取得成功。机器处理的范围仍然可以改变某些查询类别或某些数据可能在评估第一结果之后被集成或删除。 如果此操作成功并且您为业务目的获得了足够高的正确答案率则可以采取下一步。哪个比率足够可以根据应用而变化可以是 60%、80% 或 98%。为了获得可以在以后的生产操作中重现的结果在试验期间分离训练和测试数据非常重要。 B. 集成到整体E2E解决方案中POC 2 集成到更大的框架中可以如下所示模型生成的数据首先进行后处理大模型没有地图功能他们无法将“Werk Stocken Continental AG”原文如此等地址信息转换为路线计算的地址就像他们无法将“下周三上午 10 点”这样的日期转换为“30.03.2022 10:00h”。 处理后的数据链接到简单脚本生成的数据并传递给自动回答查询的业务算法。无法自动处理的请求仍会路由到手动处理它们的人员。这可以包括以下情况 该模型认识到这不是征求建议书。模型或脚本算法认识到它们无法将此请求转换为数据。从技术上讲业务算法无法处理生成的数据。尽管有完整的数据集可用但仍无法自动答复该请求因为例如不清楚特定客户、关系、日期或负载是否可以履行或者因为根本无法提出价格。 如果所生成的数据可以被自动处理则它可以例如被简单地馈送到系统例如运输管理系统中并且可以在那里立即被处理。例如可以通过电子邮件生成完整的招标——仅基于业务算法。这种解决方案的迷人之处在于对模型的可能误解不会导致在内容、价格或公司履约风险方面存在本质错误的报价。相反报价总是正确的。在最坏的情况下它只是与请求的确切目标不对应。该解决方案可以使用类似于生产目标映像的操作设置进行测试例如并行操作邮件继续进入生产系统同时在测试设置中处理邮件的克隆并评估结果。这里的处理和操作设置的问题很快就会显现出来。 C. 测试、软启动和进一步步骤 如果步骤 2 成功那么首先软启动系统是有意义的例如仅将其应用于有限的客户群然后在出现问题时重新调整。或者让系统一开始就在人工监督下运行电子邮件在发送前进行检查。如果系统成功且稳定则可以逐步扩大自动化的范围和程度。 系统还应在运行期间进一步优化例如通过重新训练未正确识别的请求并发送以进行手动处理。 根据应用的不同自动化程度可以从开始时的 80% 扩展到后期的 90% 或 95%。 使用大模型的自动化具有三大优势 能够让合适的团队解决对人类来说更令人兴奋、高利润和与增长相关的问题。在销售、客户支持等方面部署的人力方面处理效率大幅提高。由于更快的响应和避免查询停滞提高了服务质量 与创建特定于客户的 EDI 连接等手动自动化方法不同基于 LLM 的自动化为跨客户流程自动化付费。投资价值不会因接口规范的变化或客户关系的变化而损失。它还可以针对 B2B 客户的长尾甚至无法为其构建特定接口的 B2C 客户实施。基于大模型的解决方案通常可以而且应该与主要合作伙伴的 EDI 解决方案相结合。 长期前景 我们概述了一个场景其中可能是系统生成的人工输入来自 ERP 系统的询价进入 LLM 支持的系统。响应返回给人类然后由人类委托或发布。从长远来看我们可以想象进一步的场景如果我们在发送方和接收方都有一个支持LLM的系统那么整个对账过程可以在很大程度上实现自动化例如在客户的ERP系统和承包商的TMS系统之间。一个系统发送询价TMS 发送投标ERP 选择其中之一并发送订单TMS 确认并将订单发送至履行。因此无需指定接口与任何合作伙伴的多向自动通信都将变得简单可行。 大模型的多功能性使他们能够像人工代理一样处理不同格式和结构化的请求类型。 最初处理请求的可能范围和质量肯定只能在第一级支持级别上实现。需要可靠地识别更复杂或无法答复的请求然后将其路由到人工二级处理。 尽管如此大量的时间节省和流程加速将是积极的影响。此外系统可以通过对它们尚未/尚未可靠回答的查询进行训练来自动或半自动改进。