文章目录
- 1. 环境安装
- 2. 数据准备
- 2.1 模型权重获取
- 2.2 训练数据准备
- 3. 效果演示
- 3.1 训练
- 3.2 部署效果
PandaGPT是首个无需显式监督即能跨六种模态执行指令微调任务的基础模型。它展现出多样化的多模态能力，包括复杂理解/推理、基于知识的描述以及多轮对话交互。
作为通用型指令跟随模型，PandaGPT兼具视觉与听觉能力。初步实验表明，该模型可完成精细图像描述生成、视频启发式故事创作、音频内容问答等复杂任务。尤为值得注意的是，PandaGPT能同步处理多模态输入并自然融合其语义。例如，该模型可将照片中物体的视觉形态与对应音频中的声音特征进行关联理解。
相较于现有仅针对特定模态单独训练的指令跟随型多模态模型，PandaGPT能够理解并综合整合多种形态的信息，包括文本、图像/视频、音频、深度（3D）、热力（红外辐射）及惯性测量单元（IMU）。我们发现其能力涵盖但不限于以下方面（页面底部附有示例）：
- 基于图像/视频的问答
- 图像/视频启发创作
- 视觉与听觉联合推理
- 多模态数学推理
- ……
