网站 js 广告代码大全,域名已买 可以找其它人做网站吗,赤峰网站设计公司,让别人做的网站不给源代码随着OpenAI推出ChatGPT#xff0c;AIGC迎来了前所未有的发展机遇。大模型技术已经不仅仅是技术趋势#xff0c;而是深刻地塑造着我们交流、工作和思考的方式。 本文介绍了笔者理解的大模型和AIGC的密切联系#xff0c;从历史沿革到实际应用案例#xff0c;再到面临的技术挑…随着OpenAI推出ChatGPTAIGC迎来了前所未有的发展机遇。大模型技术已经不仅仅是技术趋势而是深刻地塑造着我们交流、工作和思考的方式。 本文介绍了笔者理解的大模型和AIGC的密切联系从历史沿革到实际应用案例再到面临的技术挑战和伦理监管问题探讨这一技术浪潮如何引领我们进入一个智能化的未来。 前言 2022.11月30号OpenAI推出ChatGPT后随即爆火五天注册用户数过百万2个月用户破1亿成为史上增长最快的消费者应用。随后各大厂也纷纷卷入AIGC领域迎来国产GPT大模型发布潮百度文新一言、阿里通义千问、商汤商量 SenseChat等及AI创业公司成立潮王小川、李开复等。 大模型代表一个新的技术AI时代的来临大模型展现出的强大的语义理解内容生成以及泛化能力正在逐渐改变我们的工作与生活方式AI、工作方式和思维方式。正如《陆奇的大模型观》所讲当前我们正迎来新范式的新拐点从信息系统到模型系统过渡模型知识无处不在。人工智能的浪潮正在引领新的技术革命或许可称为第五次工业革命。 【注】推荐大家去阅读《陆奇的大模型观》。强烈建议直接看陆奇演讲视频 奇绩创坛| 陆奇最新演讲完整视频大模型带来的新范式演讲涵盖陆奇对大模型时代的宏观思考包括拐点的内在动因、技术演进、创业公司结构性机会点以及给创业者的建议。 在人工智能的新时代大模型技术正成为推动AIGC人工智能生成内容前沿的关键力量。本文将通过介绍我们的AIGC项目来深入探讨这一技术的开发、实施与应用。因个人能力限制文章中可能存在一些理解或表述错误的地方希望各位大佬能及时批评和指正。 技术交流 技术要学会分享、交流不建议闭门造车。一个人走的很快、一堆人可以走的更远。 大模型资料、数据、技术交流提升 均可加知识星球交流群获取群友已超过2000人添加时切记的备注方式为来源兴趣方向方便找到志同道合的朋友。 方式①、添加微信号mlc2060备注技术交流 方式②、微信搜索公众号机器学习社区后台回复技术交流 AIGC简介与发展历程 在与业务等交谈过程中经常会听大家提到AIGC、ChatGPT、大模型、XX等许多概念但也发现部分内容混淆。首先来解决下当下最火概念AIGC、ChatGPT、大模型到底是什么 ChatGPT Chat Generative Pre-trained Transformer”的缩写ChatGPT是一种基于人工智能技术的聊天机器人能用于问答、文本摘要生成、机器翻译、分类、代码生成和对话AI是一款由OpenAI开发的基于Transformer架构的的自然语言处理工具。 AIGC全名“AI generated content”又称生成式AI意为人工智能生成内容。狭义概念是利用AI自动生成内容的生产方式UGC-PGC-AIGC广义的AIGC可以看作像人类一样具备生成创造能力的AI技术包括但不限于文本生成、音频生成、图像生成、视频生成及图像、视频、文本间的跨模态生成等等。 大模型大模型通常是指参数量非常大的深度学习模型如Transformer架构的GPT-3、BERT、T5等模型。这些模型通过在海量数据上进行训练能够学习到丰富的语言和知识表示并展现出强大的自然语言处理能力。 AIGC是一个更广泛的概念包括多种类型的内容生成ChatGPT则是一个具体的产品。简单可以这么理解AIGC是平台ChatGPT是平台上的某个软件。 结合人工智能的演进历程AIGC发展大致分三个阶段[人工智能行业生成内容AIGC白皮书2022年地址https://www.vzkoo.com/document/20220907cc987d2511ffc7c895ed6dd4.html?spmata.21736010.0.0.56075d51YB56mA] 早期萌芽阶段1950s1990s 早期萌芽阶段1950s1990s受限于当时的科技水平AIGC仅限于小范围实验。 1957 年莱杰伦·希勒和伦纳德·艾萨克森完成历史第一支由计算机创作的弦乐四重奏《伊利亚克组曲》。 1966年约瑟夫·魏岑鲍姆和肯尼斯·科尔比开发了世界第一款可人机对话的机器人Eliza。 80年代中期IBM基于(Hidden Markov ModelHMM)创造了语音控制打字机Tangora。 80年度末-90年度中由于高昂系统成本无法带来可观的商业化变现AIGC未取得重大突破。 沉淀积累阶段1990s2010s 沉淀积累阶段1990s2010sAIGC从实验性向实用性逐渐转变。 2006年深度学习算法取得重大突破及图形处理器(GPU)、张量处理器(TPU)等算力设备性能不断提升互联网规模膨胀提供海量训练数据但AIGC仍受限算法效率应用及效果有待提升。 2007年世界第一部完全由人工智能创作的小说《1 The Road》问世虽其可读性不强但象征意义远大于实际意义。 2012年微软公开展示了一个全自动同声传译系统基于深层神经网络(Deep Neural Network,DNN)可以自动将英文演讲者的内容通过语音识别、语言翻译、语音合成等技术生成中文语音。 快速发展阶段2010s至今 快速发展阶段2010s至今深度学习模型不断迭代AIGC突破性发展。 2014年随着以生成式对抗网络(Generative Adversarial Network,GAN)为代表深度学习算法的提出和迭代更新AIGC迎来了新时代生成内容百花齐放效果逐渐逼真直至人类难以分辨。 2017年微软人工智能少女“小冰”推出了世界首部100%由人工智能创作的诗集《阳光失了玻璃窗》。 2018年英伟达发布了StyleGAN模型可以自动生成图片目前已经发展到了第四代模型StyleGAN-XL其生成的高分辨率图片让人难以分辨真假。 2019 年DeepMind 发布了 DVD-GAN 模型用以生成连续视频在草地、广场等明确场景下表现突出。 2021 年OpenAI 推出了 DALL-E 并于一年后推出了升级版本 DALL-E-2主要应用于文本与图像的交互生成内容用户只需输入简短的描述性文字DALL-E-2 即可创作 出相应极高质量的卡通、写实、抽象等风格的绘画作品。 2022年12月OpenAI的ChatGPT在推出两个月后用户数量就突破1亿了。在文本生成、代码生成与修改、多轮对话等领域已经展现了大幅超越过去AI 问答系统的能力。 随后各大厂也纷纷卷入AIGC领域百度“文新一言”、阿里“通义千问”、商汤“商量”SenseChat等涌现运用AI于写作、编曲、绘画和视频制作等创意领域。目前 AIGC 技术可以自动生成文字、图片、音频、视频甚至 3D模型和代码在搜索引擎、艺术创作、影音游戏以及金融、教育、医疗、工业等领域的应用前景十分广阔。 据 TBanic Date 估计到 2025 年人工智能生成数据占比将达到 10%。 ▐ 大模型与AIGC的关联 大模型Large Models与AIGC人工智能生成内容之间存在密切的关联AIGC依赖于大型的人工智能模型来生成高质量的内容。它们是人工智能技术发展的两个重要方面。简单来说 技术基础大模型是实现AIGC的重要技术基础之一。大模型通常经过训练以从海量数据中学习语言、图像或音频的模式。这些模型能够理解和模仿人类创作的风格和结构从而在不同的领域中生成新的内容。例如使用大模型可以生成文本、图像等内容这些都是AIGC的核心应用场景。 性能提升随着大模型的发展其生成内容的能力也在不断提高使得AIGC的质量更加逼真和丰富从而拓展了应用范围。 协同工作在某些情况下大模型可能需要与其他技术如计算机视觉或自然语言理解结合使用共同为AIGC服务。 产业影响大模型的广泛应用推动了AIGC相关产业的发展AIGC利用这些模型在媒体、娱乐、教育、科研和商业领域中创造价值。 总的来说大模型和AIGC相互促进、共同发展形成了一个紧密联系的技术生态系统。在这个系统中大模型提供了底层的技术支持而AIGC则代表了一种实际的应用形式。 大模型概述 ▐ 大模型的定义和特点 大模型Large Models在人工智能AI和机器学习ML领域通常指的是具有大量参数的(通常包含数百万到数十亿甚至更多的参数)、复杂计算结构和强泛化能力的机器学习模型。这类模型往往是基于神经网络尤其是深度神经网络包括但不限于深度卷积神经网络CNNs、循环神经网络RNNs、长短期记忆网络LSTMs和Transformer架构。 其主要特点包括 大量参数大模型拥有庞大的参数量通常包含数百万到数十亿甚至更多的参数远超过传统的小型模型。使其具备极高的表达能力能够模拟和学习非常复杂的函数关系。 强大的学习能力由于参数量巨大这些模型具有强大的学习和泛化能力能够在各种任务上达到或超越人类的表现。 大数据集计算资源密集为了训练这些模型避免过拟合并充分利用其学习能力需要大量的训练数据。且需要大量的计算资源进行训练包括高性能硬件GPU集群和大量的电力。 预训练和微调大多数大模型采用两阶段的学习过程首先在大量的无标注数据上进行预训练然后在特定任务的数据集上进行微调以获得更好的性能。 自我监督学习许多大模型通过自我监督学习来提高其泛化能力这种学习方法不需要人工标签而是让模型自己从输入数据中学习到有用的特征。 上下文敏感性大模型在处理自然语言理解和生成任务时能考虑到更多的上下文信息从而生成更加准确和流畅的文本。因此在实践大模型过程中要尽可能输入足够的上下文信息来提高结果的准确度。 解释性的挑战由于模型的复杂性理解模型的决策过程和内部工作机制是具有挑战性的这通常被称为模型的解释性或透明度问题。 ▐ 典型大模型举例 国际 组织模型/应用备注OpenAIGPT-1/GPT-2/GPT-3 GPT-11.17亿参数5GB预训练数据GPT-215亿参数40GB预训练数据GPT-31750亿参数570GB预训练数据OpenAIGPT-4 加入图片功能对外开放更愿意调用自己的外部知识有更强的逻辑推理能力体验地址https://chat.openai.com/GoogleLaMDA 谷歌推出的基于Transformer架构的大语言模型137B参数独特之处在于采用了对话式的交互方式让用户能够更加自然地与计算机进行交流GooglePaLM-E 拥有5400亿个参数独特之处在于可将语言模型和视觉模型结合起来实现多模态理解与生成。MetaPaLM-A 基于PaLM架构可应用于多种场景包括文本分类、问答系统等MetaLLaMA 7B-65B参数微软Windows Copilot 集中式 AI 协助的 PC 平台高效的个人助理 国内 组织模型/应用备注复旦大学MOSS 160亿参数的支持中英双语的对话大语言模型国内首个类ChatGPT模型体验地址https://moss.fastnlp.top/阿里通义千问 内测 https://bazinga.aliyun-inc.com/公开 https://tongyi.aliyun.com/清华大学ChatGLM 开源模型https://github.com/THUDM/ChatGLM-6B华为盘古 国内首个全栈自主的AI大模型有盘古NLP大模型对话问答代码生成文案生成VersatileNL2SQL、 盘古CV大模型盘古多模态大模型图形生成图像编辑3D生成盘古预测大模型盘古科学计算大模型等体验地址https://pangu.huaweicloud.com/index.html?refopeni.cn商汤“商量”SenseChat 体验地址https://chat.sensetime.com/wb/腾讯混元 具备强大的中文创作能力复杂语境下的逻辑推理能力超1000亿参数规模预训练语料超2万亿tokens体验地址https://hunyuan.tencent.com/科大讯飞星火认知 拥有跨领域的知识和语言理解能力能够基于自然对话方式理解与执行任务。体验地址https://xinghuo.xfyun.cn/百川智能Baichuan-7B、Baichuan-13B 开源可免费商用的百川大模型体验地址https://www.baichuan-ai.com/home百度文心一言2023.10.17 文心大模型4.0正式发布 体验地址https://yiyan.baidu.com/文心大模型的4.0正式发布在理解、生成、逻辑、记忆这四大能力上明显的提升 【注】更多模型可从huggingface模型平台查看 huggingface国内镜像地址https://aliendao.cn/models#/ 总结来看 模型演进方向模型参数规模更大、多模态支持演进 技术成熟度国内整体能力尚处在追赶GPT3.5阶段部分中文能力上逼近GPT3.5(见下附图)与国外有一定差距 【附】中文能力上10月 SuperCLUE 评测排名 AIGC应用探索 ▐ 业务背景 笔者所在业务存在多国家多语种的千万级别的海外特色供给因多语种翻译、商品信息不足、供应商能力等问题导致大量商品属性缺失、图片素材质量低导致用户理解难、转化低、万求高。面对极大品量运营手动仅可补全少量头部商品无法全量优化。在AI技术成熟的背景下考虑采用AIGC的方式对商品的属性、卖点、素材图片、场景图等信息进行补全及优化。 ▐ AIGC技术落地过程 作为一名业务技术开发必须时刻围绕解决业务实际问题、技术创新驱动业务发展、快速响应市场变化等方面思考。在项目启动初期我们首先基于探物香水标品场景2000个品批量AIGC素材验证AIGC生产可行性。并经过多次脑暴探索明确要做能够带来业务价值的、能够规模化的、能够突出国际垂类优势的AIGC应用。不做炫技的落不了地的没有业务感知的不做通用的模型算力(资源不允许)。 因此技术目标搭建可复用可扩展、嵌入产供投链路的AIGC工程引擎辅助业务快速落地AIGC场景。技术选型核心三步1、模型底层选择2、语言框架选择3、整体架构设计。 模型选择 生文模型初期我们采用GPT4、GPT3.5后面也逐步引入了通义千问、vertex-PaLM2、claude2等。 生图模型Stable Diffusion 成本方面估算对于英文1个token大约为4个英文字符或0.75个英文单词对于中文1中文约1-3个token。前期试验下来探物品 cost0.12元/品是在业务可接受的范围。 测算token数网站https://gpttools.com/estimator 技术框架选择 综合开源社区活跃、可靠性以及前期我们采用GPT模型适配度等多方面考虑在模型层我们采用LangChain框架构建。 特点LangChainLlama-IndexSemantic Kernel微软语言Python Js/TsPythonTypeScript可组合性是是是LLMs和Prompt管理是是是Chains编排能力是否是数据索引处理是是是任务管理agents是否是状态管理是否是Evaluation是否是文档https://github.com/hwchase17/langchainhttps://langchain.github.io/https://github.com/microsoft/semantic-kernelhttps://learn.microsoft.com/en-us/semantic-kernel/ 【注】这些框架的目的是为 LLM 交互创建一个底层编排引擎 LangChain是一个基于大型语言模型LLMs构建应用的框架。它的核心思想是定义标准接口可以自定义实现 可以将不同的组件“链接”起来创建更高级的LLMs应用 类似spring全家桶。它可以帮助你实现聊天机器人、生成式问答、文本摘要等功能。 langchain-python langchain-java生态繁荣度和可靠性高社区活跃github 4.7Wstar低集团内部团队自建扩展工具多样性高度丰富的组件能力极少集团中间件兼容和集团内部对接都需要进行框架层开发比如hsf调用、数据库对接、服务化的能力支持集团容器兼容支持支持集团LLM接口兼容需要进行框架层对接开发成本较低有对接成本开发成本python数据处理(爬取、清洗、标注)、大模型交互python性价比更高可快速搭建试错跟数据处理和大模型交互更重试错周期长文档langchain官网https://python.langchain.com/en 【语言选择】pythonjava结合的方式 核心LLM执行引擎层langchain-python选型具备优势数据处理、大模型交互python性价比更高也可快速搭建试错 上层能力层可以采用java工程搭建偏业务交互 整体架构设计 数据层弹内/弹外数据-自然语言文本处理-国际自营行业向量数据库 模型层依赖集团内部/国际自营大模型能力 工程引擎横向通用能力视角生文、生图、会话等支撑上层业务场景嵌入生产投放链路 LLM任务执行引擎层基于langchain框架思想构建将 LLM 模型与外部数据源进行连接按场景编排链路以及选择执行工具 图任务引擎高清化能力、图像切割能力、背景替换合图能力 prompt工程能力prompt模板定义(Instruction、Input Data、Output Indicator、requirements等)动态化模板解析填充能力(具备外部输入规则动态拼接能力串联生产链路 任务调度能力支持业务excel/圈品等多方式任务创建、任务试跑(准确性校验费用预估等)、DTS任务调度执行能力 ▐ 部分实践案例 建设批量文生文AIGC工程引擎具备prompt模板提示自动填充、任务试跑预览、费用预估、批量化AIGC生产等能力。已应用素材文生文、商品咨询FAQ生产等场景。 建设图生图AIGC工程引擎完成图片的超分处理、AI二创等工程建设支持业务优化商品图片素材质量。已应用探物标品素材图生图等场景。 ▐ 其他应用场景 下面是本人收集的一些应用场景case希望给大家更多的思考启发。 外部公司应用场景更广这里简单列举下 AIGC传媒写稿机器人、采访助手、视频字幕生成、语音播报、视频锦集、人工智能合成主播等 AIGC电商商品3D模型、虚拟主播、虚拟货场等 AIGC影视AI剧本创作、AI合成人脸和声音、AI创作角色和场景、AI自动生成影视预告片等 AIGC娱乐AI换脸应用如FaceAPP、ZAO、AI作曲如初音未来虚拟歌姬、AI合成音视频动画等 AIGC教育AI合成虚拟教师、AI根据课本制作历史人物形象、AI将2D课本转换为3D AIGC金融通过AIGC实现金融资讯、产品介绍视频内容的自动化生产通过AIGC塑造虚拟数字人客服等 AIGC医疗AIGC为失声者合成语言音频、为残疾人合成肢体投影、为心理疾病患者合成医护陪伴等 AIGC工业通过AIGC完成工程设计中重复的低层次任务通过AIGC生成衍生设计为工程师提供灵感等。 AIGC的实践挑战 笔者在AIGC应用的初探技术挑战与机遇并存。下面给大家分享下AIGC的实践挑战以及部分解决思路。 ▐ 技术挑战 问题描述解决方案及思路知识量有限 比如GPT 421年前训练样本通用语料训练实时数据、垂直领域的数据专属知识无法理解 无法在外部世界行动不论是搜索网页、调用 API 还是查找数据库 方案1.LLM检索增强 LLM的基础上通过检索等额外提供领域数据信息 对于用户输入Query结合业务数据中检索到的结果一起输入给LLM则可以得到更精准的回答。 方案2.构建行业数据集对LLM进行微调使模型本身具备输出行业信息的能力。成本高且效果不佳 【解决方案】LLM检索增强OpenAI提出了chatgpt-retrieval-plugin 、 WebGPT 开源社区提出了 DocsGPT 、 ChatPDF 、 基于langchain的检索增强chatbot 等等一系列解决方案 效果问题 部分场景效果不及预期 复杂逻辑推理能力不佳 对未见过的知识语料回答效果差 1、大模型上下文学习技术In-Context Learning 设计合理的prompt模版 2、大模型思维链提示Chain-of-Thought Prompting引入推理路径作为提示激发大模型按照这种推理的模式生成出合理的结果 3、大模型高质量标注样本指令微调提高模型对特定任务的泛化能力 延迟问题 一次完整问答大概 10s 用户200ms会有体感 延迟主要受两个因素影响模型和生成的令牌数量。 1、流式传输。请求中的设置stream: true使模型在令牌可用时立即开始返回令牌而不是等待生成完整的令牌序列。它不会改变获取所有令牌的时间但它会减少我们想要显示部分进度或将停止生成的应用程序的第一个令牌的时间。这可以是更好的用户体验和 UX 改进因此值得尝试 流式传输。 2、基础设施。openai 美国。存在跨国网络延时 3、减小token 。例如使用更短的提示。 交互式分词器工具来帮助估算成本 4、缓存通过存储经常访问的数据可以缩短响应时间而无需重复调用 API。但在添加新信息时使缓存无效。 资源和性能 训练微调都需要不少机器资源目前GPU资源匮乏 部署资源尤其是C端投放有高并发低延时要求需要投入巨大成本在线serving 1、不训练基座模型微调选择的基座模型选几B~几十B左右的LLM 如ChatGLM-6B 2、曲线救国线上不直接使用大模型serving一种是利用大模型的embedding 另一种是利用大模型来进行更多样本标注来辅助小模型学习 ▐ 伦理和监管问题 随着大模型在AIGC中的广泛应用它们引发了关于数据隐私、版权、内容监管和偏见等问题的讨论。因此大模型的使用不仅涉及技术层面还涉及伦理和法律层面。 问题描述解决方案及思路安全与合规如政治敏感、违法犯罪、伦理道德等问题尤其是LLM直接面向C端场景1、建设安全校验模块能力2、B端生成素材数据清洗人工审核3、C端生成式大模型必须通过SFT、RLHF等微调技术对大模型做适配微调对齐人类的价值观政策问题对于类GPT能力作为C端应用的开放程度需受限于政策1、上线前需安全评估 【附】网信办411公布《生成式人工智能服务管理办法》征求意见稿规范生成式人工智能产品AIGC如 ChatGPT的开发和使用方式、行业的定义、对生产者的要求和责任等方面。意见稿中尤其提出“利用生成式人工智能产品向公众提供服务前应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。 C端应用上线需要过“双新评估” AIGC的未来展望 业务侧规划基于业务场景继续创新扩大战果。更多还是聚焦基建和业务场景应用。 技术期待AI大势浩浩荡荡顺之者昌逆之者亡。YY几个未来的期待场景 增强的交互式AI类似google最近发布的Gemini改变当前信息交互方式期待每个人都有专属钢铁侠中的人工智能“贾维斯”。 个性化和定制化内容大数据AIGC根据用户偏好、历史行为和实时反馈生成的个性化和定制化内容。 虚拟现实内容AIGC多模态内容生成发展图像、视频、音频等未来说不定AI构建虚拟现实内容。 附录 langchain 官方文档 https://python.langchain.com/en/latest/getting_started/getting_started.html langchain 快速入门中文版 https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide 吴恩达llm教程 https://www.deeplearning.ai/short-courses/ GPT开发应用利器LangChain https://zhuanlan.zhihu.com/p/630253274 LangChain使用调研 https://blog.csdn.net/benben044/article/details/130843326 openai 原始接口文档 https://platform.openai.com/docs/api-reference/completions