震惊!AI三剑客横空出世,小白也能玩转单细胞数据分析!CellAgent框架让你秒变生物数据专家

今天分享一篇在 arXiv 预印的文章,标题是 “CellAgent: An LLM-driven Multi-Agent Framework for Automated Single-cell Data Analysis”。

本文针对单细胞 RNA 测序数据分析推出了 CellAgent,CellAgent 构建了基于大语言模型 LLM 的生物学专家角色——规划器、执行器和评估器,其能够将复杂的数据分析任务转化为仅需提供自然语言任务描述的自动化执行。

首先介绍一下这三种角色:

**规划器:**规划器首先根据用户提供的数据和自然语言任务描述进行高层次的规划,合理地设计任务计划,该计划包括必要的数据预处理任务,例如质量控制、高变异基因选择和标准化,以及可能需要的分析步骤,例如批次效应校正、细胞类型注释等。

**执行器:**执行器负责按顺序执行分解后的子任务,提供详细的分析和可执行代码。此外,执行器通过获取这些工具的文档(使用的具体方法等)实现检索增强生成(RAG)。如果检测到执行异常,CellAgent 将请求执行器解决问题,直到代码成功执行为止。

**评估器:**评估器负责评估特定数据处理任务的当前结果质量,并对各种方法的有效性做出判断。执行器基于自评估结果,通过超参数调优或工具选择自动优化解决方案,从而改进结果。

CellAgent框架示意图

CellAgent 的各个模块

**用户输入:**1)待处理的数据;2)待解决任务的描述;3)数据描述(可选,解决问题或工具的偏好要求)。

**规划器:**系统对规划器的提示包括:1)角色定位描述,详细说明角色的输入和输出;2)任务规划的输出格式规范,规划器的输出格式设置为 JSON,以便于提取子任务;3)预先收集的专家经验信息。

**执行器:**包含选择可用工具的 Tool Selector 和根据推荐的工具生成代码来完成当前任务的 Code Programmer 两个部分。

系统对 Tool Selector 的提示包括:1)角色定位描述,包含详细的输入输出规范;2)输出格式规范,方便其他角色使用,指定输出格式为JSON;3)用户要求。

系统对 Code Programmer 的提示包括:1)角色定位描述,详细说明输入和输出;2)输出格式规范,清晰定义输出代码块的格式,便于解析和执行;3)一些关于专业工具使用和常见异常处理的经验总结;4)当前步骤的任务描述、数据表示和用户偏好要求;5)有关先前步骤历史代码的记忆信息。

**评估器:**系统对规划器的提示包括:1)角色定位描述,包括输入和输出描述;2)可用评估方法列表,包括集成到 CellAgent 中用于评估关键步骤的特定代码。

**记忆模块:**LLM 本身不具备保留历史信息的能力,因此需要在 LLM 驱动的智能体中集成一个记忆模块。通过记忆模块合理地组织历史信息,LLM 可以防止在规划过程中遗忘先前的内容,并更高效地处理长时间上下文。在 CellAgent 中,不同子任务处理的内部逻辑是相互独立的,这意味着每个子任务的执行过程无需感知先前步骤的内部处理过程,例如工具选择、代码异常处理或迭代过程中生成的中间代码。因此,CellAgent 同时定义了全局记忆和局部记忆,以高效地存储历史信息。这使得不同的 LLM 角色能够访问合适的、有价值的历史信息,从而提升 LLM 的推理效率。

**工具检索:**1)CellAgent 集成了多种单细胞分析工具,以确保运行稳定性;2)在每个子任务开始时为 Code Programmer 检索可能有用的工具列表;3)同时为工具配备了标准化的文档,执行器能够访问所选工具的文档,从而提高代码生成的准确性。

**代码沙箱:**为了确保代码执行的安全性和可靠性,CellAgent 实现了代码沙箱,将 LLM 生成的代码隔离执行。具体而言,这是通过 Jupyter Notebook 转换实现的 nbconvert,其中数据加载和 LLM 生成的代码的每个步骤都在一个完整的 Jupyter Notebook 中执行。这种实现方法将 CellAgent 框架的运行和单细胞数据分析的代码执行解耦,从而增强了生成代码执行的安全性。此外,它还有助于单细胞任务分析的结果管理和可复现性。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1129597.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

人体解析入门指南:M2FP提供完整API文档与调用示例

人体解析入门指南:M2FP提供完整API文档与调用示例 📖 项目简介:M2FP 多人人体解析服务 在计算机视觉领域,人体解析(Human Parsing) 是一项关键的细粒度语义分割任务,旨在将图像中的人体分解为多…

网页内容抓取翻译:CSANMT配合爬虫实现整站中英转换

网页内容抓取翻译:CSANMT配合爬虫实现整站中英转换 🌐 AI 智能中英翻译服务 (WebUI API) 项目背景与技术痛点 在多语言互联网生态中,中文网站的国际化传播面临巨大挑战。传统翻译工具如Google Translate或百度翻译虽具备通用能力&#xff0c…

为什么推荐M2FP给中小企业?零成本+零运维即可上线

为什么推荐M2FP给中小企业?零成本零运维即可上线 在当前AI技术快速普及的背景下,越来越多的中小企业开始探索计算机视觉能力的应用场景——从智能零售试衣到健身动作分析,再到虚拟形象生成。然而,高昂的算力成本、复杂的模型部署流…

零基础部署M2FP:5分钟搭建多人人体解析服务

零基础部署M2FP:5分钟搭建多人人体解析服务 🌟 为什么需要多人人体解析? 在智能服装推荐、虚拟试衣、人机交互和视频监控等场景中,精确理解人体结构是关键技术前提。传统的人体分割模型往往只能识别“人”与“非人”&#xff0c…

M2FP模型量化实践:INT8推理速度提升2倍

M2FP模型量化实践:INT8推理速度提升2倍 📌 背景与挑战:多人人体解析的工程落地瓶颈 在智能视觉应用中,多人人体解析(Multi-person Human Parsing)是实现虚拟试衣、动作分析、人像美化等高级功能的核心技术。…

基于java+ vue银行柜台管理系统(源码+数据库+文档)

银行柜台管理 目录 基于springboot vue银行柜台管理系统 一、前言 二、系统功能演示 三、技术选型 四、其他项目参考 五、代码参考 六、测试参考 七、最新计算机毕设选题推荐 八、源码获取: 基于springboot vue银行柜台管理系统 一、前言 博主介绍&…

百度搜索优化技巧:将M2FP解析结果用于SEO图片标注

百度搜索优化技巧:将M2FP解析结果用于SEO图片标注 📌 引言:从图像语义理解到搜索引擎可见性提升 在当前内容为王的互联网生态中,图片内容已成为网页信息传递的重要载体。然而,搜索引擎(如百度)对…

真有截图后发现图片是被打马赛克的

b 站截图后可以这样,记录下自己新增的见闻

Meta推出Tuna模型:一个AI既能看懂图片又能画画的神奇系统

这项由Meta公司BizAI团队领衔,联合香港大学、滑铁卢大学等多个机构的研究团队开发的Tuna模型,于2025年1月发表在arXiv预印本平台上,编号为arXiv:2512.02014v1。这个名为Tuna的人工智能系统就像一个既会看画又会画画的全能艺术家,它…

真实用户反馈:某跨境电商用该镜像日均处理万条文案

真实用户反馈:某跨境电商用该镜像日均处理万条文案 📖 项目简介 在跨境电商运营中,高质量的英文文案是连接全球消费者的关键。然而,传统翻译工具往往输出生硬、不符合英语语境,严重影响品牌调性和转化率。为此&#xf…

Vue3-04 自定义组件Person

文章目录创建目录components写样式注册组件插件: Vue.js devtools调用组件在Vue3中可以使用Vue2语法问题答疑创建目录components 创建Vue文件 写样式 注册组件 components: {Person} # 控制台的Vue插件 来源:极简插件 插件: Vue.js devtools 具体安装步骤 调用组件 在Vue3中…

学 AI 必关注的博主 / 达人全指南(按领域分类)

想高效学 AI,选对信息源比盲目努力更重要。以下按入门基础、技术深度、应用实战、商业趋势、学术前沿、专项领域六大维度,精选国内外最值得关注的 AI 博主,覆盖从零基础到专家的全学习路径。一、应用实战类(产业落地 工具使用&am…

M2FP模型在虚拟主播中的应用:实时形象生成技术

M2FP模型在虚拟主播中的应用:实时形象生成技术 随着虚拟主播(VTuber)产业的快速发展,对低延迟、高精度、可定制化的形象生成技术需求日益增长。传统的动作捕捉3D建模方案成本高、部署复杂,难以满足中小团队或个人创作…

石溪大学解锁AI视频生成中的重力难题:让虚拟世界服从物理定律

如果你曾经看过AI生成的视频,可能会发现一个奇怪的现象:苹果会悬浮在空中,球会突然改变方向,物体碰撞后表现得像是生活在没有物理法则的奇幻世界里。这个问题一直困扰着AI视频生成领域,直到石溪大学和法国巴黎理工学院…

Vue3-05 Vue2 OptionsAPI 选项式API VS Vue3 CompositionAPI 组合式API

文章目录Vue2 OptionsAPI 选项式APIVue3 CompositionAPI 组合式APIVue2 OptionsAPI 选项式API Vue3 CompositionAPI 组合式API

国产化浪潮下的DevOps工具链选型:安全合规成核心竞争力

国产化浪潮下的DevOps工具链选型:安全合规成核心竞争力 在全球数字化转型加速的背景下,DevOps工具链作为企业软件研发效能提升的关键基础设施,正面临前所未有的国产化适配挑战。本文通过深度剖析Gitee、阿里云效和GitHub Enterprise三大主流平…

38.useOnWindowResize

React useOnWindowResize 钩子:如何优雅地响应窗口大小变化? 在 Web 应用开发中,响应窗口大小变化是实现响应式设计的关键部分。useOnWindowResize 钩子提供了一种简洁而有效的方式来在 React 组件中监听和响应窗口大小的变化。这个自定义钩子不仅简化了 resize 事件的处理…

M2FP模型在AR试鞋中的人体足部分割应用

M2FP模型在AR试鞋中的人体足部分割应用 🧩 M2FP 多人人体解析服务:精准分割,赋能AR交互 随着增强现实(AR)技术在电商、虚拟穿搭等场景的深入应用,高精度的人体部位语义分割成为实现沉浸式体验的核心基础。尤…

OPPO AI团队首创深度研究智能体失效诊断体系

这项由OPPO人工智能团队牵头的研究于2025年12月发表在计算机科学期刊arXiv上,论文编号为arXiv:2512.01948v1。研究团队包括来自OPPO PersonalAI实验室、南京大学等多个机构的研究人员,通讯作者为周王春树和刘嘉恒。有兴趣深入了解的读者可以通过上述论文…

详细解释动态切入点(DynamicMethodMatcherPointcut)在Spring AOP中的完整处理流程。

核心问题澄清 对于动态切入点,Spring仍然会根据静态匹配的结果创建代理,但代理内部会包含额外的逻辑来处理动态匹配。 让我通过源码级别的解释来详细说明: Spring AOP 的代理创建流程 代理创建过程概览 // Spring内部简化逻辑 public class D…