软件开发网站开发学习,淘宝导购网站备案,无锡网站建设wuxi8878,重庆市建筑网站建设OpenAI⼤模型⽣态并不只有⼀个模型#xff0c;⽽是提供了涵盖⽂本、代码、对话、语⾳、图像领域的⼀系列模型。 基本介绍 语⾔类⼤模型#xff1a;GPT-3、GPT-3.5、GPT-4系列模型。并且#xff0c;OpenAI在训练GPT-3的同时#xff0c;训练了参数不同、复杂度各不相同的A、…OpenAI⼤模型⽣态并不只有⼀个模型⽽是提供了涵盖⽂本、代码、对话、语⾳、图像领域的⼀系列模型。 基本介绍 语⾔类⼤模型GPT-3、GPT-3.5、GPT-4系列模型。并且OpenAI在训练GPT-3的同时训练了参数不同、复杂度各不相同的A、B、C、D四项⼤模型基座模型⽤于不同场景的应⽤ 其中A、B、C、D模型的全称分别是ada、babbage、curie和davinci四个模型并不是 GPT-3的微调模型⽽是独⽴训练的四个模型四个模型的参数规模和复杂程度按照A-B-C-D顺序依次递增虽不如GPT-3.5和GPT-4那么有名但A、B、C、D四⼤模型却是⽬前OpenAI⼤模型⽣态中 功能最丰富、API种类最多的四个模型 Ada最小的版本有 1.25 亿个参数。以艾达·洛芙莱斯Ada Lovelace的名字命名她是查尔斯·巴贝奇Charles Babbage的朋友和同事被认为是世界上第一位程序员。她为巴贝奇的差分机分析了算法并编写了第一个计算机程序Babbage中等规模的版本有 6.7 亿个参数。以查尔斯·巴贝奇Charles Babbage的名字命名他是19世纪的英国数学家和发明家被称为“计算机之父”。他设计了差分机和解析机这些机器被认为是现代计算机的前身。Curie较大规模的版本有 13 亿个参数。以居里夫妇Marie Curie 和 Pierre Curie的名字命名他们是著名的物理学家和化学家对放射性元素的研究做出了重要贡献。玛丽·居里是唯一一位获得两次诺贝尔奖的女性。Davinci最大规模的版本有 1750 亿个参数。以莱昂纳多·达·芬奇Leonardo da Vinci的名字命名他是意大利文艺复兴时期的全才以其在艺术、科学、工程和发明等领域的卓越成就而闻名。 图像多模态⼤模型最新版为DALL·E达利 v2是DALL·E模型的第⼆版训练版能够根据描述⽣成图像 DALL·E模型为基于GPT-3开发的模型总共包含120亿个参数不难看出DALL·E对图像的理解能⼒源于⼤语⾔模型OpenAI将⼤语⾔模型的理解能⼒“复制”到视觉领域的核⼼⽅法将图像视作⼀种⼀种语⾔将其转化为Token并和⽂本Token⼀起进⾏训练 语⾳识别模型最新版为Whisper v2-large model是Whisper模型的升级版能够执⾏多语⾔语⾳识别以及语⾳翻译和语⾔识别 Whisper模型是为数不多的OpenAI的开源模型改模型通过68万⼩时的多语⾔和多任务监督数据进⾏的训练⽬前提供了原始论⽂进⾏⽅法介绍Whisper模型可以本地部署也可以像其他OpenAI⼤模型⼀样通过调⽤API进⾏在线使⽤并且根据官⽹介绍Whisper在线模型会有额外运⾏速度上的优化通过调⽤API进⾏使⽤效率更⾼当然也需要⽀付⼀定的费⽤ ⽂本向化模型Embedding⽂本嵌⼊模型⽤于将⽂本转化为词向量即⽤⼀个数组向量来表示⼀个⽂本该⽂本可以是短语、句⼦或者⽂章 最新⼀代Embedding模型是基于ada模型微调的text-embedding-ada-002模型通过将⽂本转化为词向量就可以让计算机进⼀步的“读懂⽂本”通过词向量的计算和分析和相似度计算可以对其背后的⽂本进⾏搜索、聚类、推荐、异常检测和分类等最终Embedding会将词、句⼦或者更⾼级别的语⾔结构映射到⾼维空间的向ᰁ中使得语义上相近的词或者句⼦在向ᰁ空间中的距离也较近例如Embedding后的句⼦“⽼⿏在找吃的”将和“奶酪”词向ᰁ接近因为⼆者表意类似。⽽与之句 式格式与之相近的“猫在找⻝物”则距离更远GPT模型的Embedding层往往是在与训练过程中通过⾃回归训练完成同时在微调时也往往会修改Embedding层 审查模型Moderation模型旨在检查内容是否符合 OpenAI 的使⽤政策。 这些模型提供了查找以下类别内容的分类功能仇恨、仇恨/威胁、⾃残、性、性/未成年⼈、暴⼒和暴⼒/图⽚等。 编程⼤模型Codex⼤模型⽤GitHub数⼗亿⾏代码训练⽽成能够“读懂”代码并且能够根据⾃ 然语⾔描述进⾏代码创建 Codex最擅⻓Python同时精通JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL甚⾄ Shell 等⼗⼏种编程语⾔该模型发布于2021年8⽉10⽇⽬前代码编写功能已经合并⼊GPT-3.5官⽹显示该模型为已弃⽤deprecated状态意为后续不再单独维护但并不表示OpenAI已放弃编程⼤模型相反越来越多的编程功能被集成到语⾔⼤模型中⽬前该模型集成于Visual Studio Code、GitHub Copilot、Azure OpenAI Service等产品中⽤于提供⾃动编程功能⽀持 在models-overiew中可查看⽬前OpenAI模型⼤类 地址https://platform.openai.com/docs/models/overview