Ideal全模态大模型创新工作坊采用"资深专家领航、青年骨干攻坚"模式，成功研发智能文档审核系统、"人效问数助手"等工具，解决文档审核、数据查询等业务痛点。团队攻克上海话识别、算力不足等技术难题，参与数字人项目开发，计划未来突破图片视频生成技术，向智能体领域发展。团队以场景驱动、技术赋能理念，实现技术创新与业务落地融合，被评为上海电信十佳青年工作坊。
林斐／报道
● 在理想公司研发中心的办公区域，6位技术人员的工位相邻，他们组成了“Ideal全模态大模型创新工作坊”。这支团队秉持“场景驱动、技术赋能、共建共享”理念，深耕全模态大模型技术领域，推动大模型技术走向业务一线，完成了技术创新与业务落地的有效融合，被评为年度上海电信十佳青年工作坊之一。
● Ideal全模态大模型创新工作坊成立于2023年，目前已形成“资深专家领航、青年骨干攻坚”的格局，团队中有深耕AI领域多年的张黎、代晓菊，负责项目管理与产品设计；技术经理黄季涛统筹日常事务与技术把控；算法开发李宜儒、前端开发马昆鹏、后端开发李之寒则专注于各自细分领域，团队成员各司其职、协同作战。
● “我们是小而美的团队，也是战斗力十足的集体。”黄季涛的评价，概括了这支团队的核心特质。
01
锚定“全模态”
2023年，全模态大模型成为技术热点，但彼时多数企业聚焦通用领域，落地场景较为模糊。理想公司研发中心同期规划了两大创新方向，另一支工作坊专注政务大模型，Ideal全模态大模型创新工作坊则结合行业趋势与自身优势，确定攻坚多模态大模型。
“当时行业内单模态NLP大模型多走‘大模型+大数据’的扩展路线，我们判断，同时理解处理图片、语音、视频的全模态方向是未来大模型的核心发展趋势。”黄季涛回忆，这一方向的选择，既源于团队对技术前沿的研判，也契合理想公司“AI赋能生产”的战略布局。
高效的协作模式是团队快速推进工作的关键。由于成员工位相邻，遇到问题可即时讨论交流，省去了烦琐的流程内耗。资深专家凭借经验把控项目的实际价值与落地方向，青年成员聚焦技术实现与研发突破。
前辈能看清项目的可行性与落地价值，年轻人更专注技术落地细节，这种搭配让项目推进更顺畅，这种协作模式助力团队在组建初期就快速进入研发状态。
2021年，黄季涛通过校招加入理想公司，硕士毕业的他直接来到研发中心。凭借扎实的专业功底，他在项目实践中逐步成长，从技术骨干逐渐发展成团队骨干。“公司为年轻人提供了充足的成长空间，既有专家传帮带，也支持我们将技术想法转化为实际成果。”这一成长路径，也成为团队其他青年成员成长的缩影。
02
“分秒”之间提速增效
AI技术的价值在于解决实际问题、提升工作效率，这是工作坊成员的共识。基于这一认知，团队始终以理想公司业务需求为导向，将全模态大模型技术转化为可落地的智能工具，同时直面研发过程中的各类技术难点，逐一突破。
在内部赋能方面，文档审核与合同稽核系统是团队响应理想公司总经理项目“AI赋能生产”的重点成果。此前，项目文档审核需人工核对签收时间、盖章签字、验收规格等20多个稽核点，一份40～60页的软件开发合同，人工审核需5分钟，且业务部门上传的文档格式繁杂，涵盖Word、Excel、PDF及拍照图片等，人工流程效率低、难度大。为解决这一痛点，团队研发智能文档审核系统，依托全模态识别技术实现各类文档格式全覆盖识别，即便图片拍摄歪斜也能精准提取信息。该系统嵌入理想公司OA项目管理系统后，审核时间缩短至1分钟，审核人员只需查看系统标注的问题点，大幅减轻了工作量。目前，该系统已稳定运行，成为内部流程优化的重要支撑。
为人力部门研发的“人效问数助手”同样解决了实际痛点。此前，人力部门查询员工项目参与情况、工时统计等数据，需后端人员编写SQL查询语句，流程繁、响应慢。如今，人力员工只需通过自然语言询问，系统1秒内即可给出结果，单表查询准确率极高，跨表查询也能保持较好性能。该工具解决了人力部门频繁的统计需求，减少了后端人员的重复工作，提升了整体工作效率。
03
“上海话”也难不倒
在外部合作项目中，团队的技术落地能力也得到充分体现。上海工匠博物馆数字人项目中，团队摒弃传统的“语音识别——大模型思考——TTS合成”多模型串联方案，采用整合式多模态大模型，直接实现从语音输入到语音输出的端到端交互，显著提升了识别准确率。
全模态大模型研发过程中，团队面临诸多技术难点，如落地场景的精准适配、多模态数据的统一训练、音频视频的理解识别、跨表查询的准确率优化等。面对这些挑战，团队成员各展所长、协同攻关：李宜儒专注模型优化，马昆鹏打磨交互体验，李之寒保障系统稳定运行，资深专家则从架构层面提供指导。成员在各自细分领域深耕，定期交流碰撞思路，逐步破解难题。
在某个项目中，团队挑战上海话方言识别功能的研发。客户提出上海话交互需求，团队初期面临标注数据短缺的问题。一位同事主动承担数据搜集工作，找到500小时上海话原始数据后，团队共同商议采用付费模型生成标注结果作为训练数据集的方案，经反复训练优化，最终达成上海话与普通话双语言精准识别的目标，满足了项目需求。
算力不足是团队研发过程中遇到的另一大难题。全模态模型训练对GPU需求极高，资源紧张时，需暂停部分非核心服务保障重点项目推进。即便如此，团队仍通过优化模型架构、提升算力利用效率等方式，全力确保研发进度。“目前仍有不少技术想法因算力限制无法验证，希望未来能获得更多硬件支持。”黄季涛坦言。
04
一批“智能体”正在路上
入选上海电信十佳青年工作坊，让整个团队备受鼓舞。“这份荣誉是对我们两年多工作的认可，也为后续工作注入了动力。”团队中的老大哥、理想公司技术经理张黎表示，“工作坊的形式让团队创新更聚焦，也增强了对事业部的号召力，便于开展联合创新研发。”
谈及未来规划，黄季涛表示，短期团队将持续优化现有产品，提升跨表查询准确率、完善多轮对话功能，让智能工具更贴合业务需求；长期将聚焦全模态大模型核心能力提升，突破图片与视频生成技术，推动数字人项目实现单一模型输出的最终目标。同时，团队计划涉足智能体领域，将文档审核、合同稽核等功能封装成智能体并嵌入大模型，提升功能调用效率。
人才培养方面，团队将沿用“资深带青年”的模式，为年轻成员提供更多项目实践机会。“我们希望年轻人在项目中积累经验，既提升技术能力，又拓宽业务视野。”张黎表示，理想公司对研发创新和青年团队建设的支持，是工作坊发展的重要保障，研发中心作为公司AI技术核心支撑部门，可优先获取AI相关要求、指标及平台试用资源，为团队创新提供了便利。
如何系统的学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
01.大模型风口已至：月薪30K+的AI岗正在批量诞生
2025年大模型应用呈现爆发式增长，根据工信部最新数据：
国内大模型相关岗位缺口达47万
初级工程师平均薪资28K（数据来源：BOSS直聘报告）
70%企业存在"能用模型不会调优"的痛点
真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！
02.大模型 AI 学习和面试资料
1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工
📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
