多彩编程 多彩编程MZPH · CODE BLOG
ARTICLE DETAIL

文章详情

深耕前端与后端开发技术的一线实战笔记与踩坑复盘。

Psi0数据可视化指南:快速查看遥操作Episode质量,告别盲目训练

Psi0数据可视化指南:快速查看遥操作Episode质量,告别盲目训练 Psi0数据可视化指南快速查看遥操作Episode质量告别盲目训练【免费下载链接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.项目地址: https://gitcode.com/gh_mirrors/ps/Psi0Psi0 是一个面向通用人形智能的开源视觉-语言-动作VLA模型它先用人类第一视角视频学习任务语义再在你的遥操作数据上做后训练。数据质量直接决定微调效果而 Psi0 内置了一套基于 Viser 的数据可视化工具一条命令启动 Web 服务浏览器里就能逐帧回放遥操作 Episode直观检查关节状态、腕部轨迹与动作目标是否对得上——在烧显卡训练之前先花两分钟确认数据没问题。可视化页面里有什么Psi0 的可视化脚本把 LeRobot 格式的遥操作数据集加载到 3D 场景中核心元素有 4 个视觉元素含义怎么用G1 人形机器人模型按states本体感知逐帧恢复全身 43 关节位形看整体姿态是否自然、有无穿模坐标轴 Frame左右腕部实际状态的位姿跟随轨迹观察运动是否平滑两个红色小球该帧action动作标签经正向运动学得到的腕部位置与 Frame 对齐良好说明标签可靠关节滑杆面板每个关节的当前角度可手动拖动逐帧检查有无跳变、越界红色小球与坐标轴的相对关系是最关键的质量信号两者长期贴合说明动作标注与本体状态一致持续偏离或剧烈跳动往往意味着时间戳错位、标定错误或遥操作抖动这样的 Episode 建议剔除后再训练。一键安装准备可视化环境项目使用uv管理依赖可视化相关依赖已独立为viz依赖组见 pyproject.toml 中的[dependency-groups] viz。# 1. 按主 README 装好基础环境后补上可视化依赖 uv sync --group viz --active # 2. pinocchio 因 numpy 版本冲突需手动安装随后把 numpy 降回 1.26.4 uv pip install pin3.8.0 uv pip install numpy1.26.4⚠️ 这两步来自官方文档 examples/visualize.md顺序不能反先装 Pinocchio再回退 numpy。快速回放真实遥操作 Episode以官方开源的 9 个 G1 真实任务之一为例一条命令即可启动export taskPick_bottle_and_turn_and_pour_into_cup python scripts/viz/viz_episode_real.py \ --args.data-dir$PSI_HOME/data/real/$task \ --args.port9000 \ --args.episode_idx0然后打开浏览器访问 http://localhost:9000/。脚本会自动加载仓库内的 G1 URDF29 个身体关节 14 个灵巧手关节并用 scripts/viz/fk.py 里的G1FK做正向运动学算出左右腕的实际位姿与动作目标位姿关节命名映射见 scripts/viz/g1.py。播放控制与逐帧检查方法页面右侧 GUI 提供完整的回放控制检查一条 Episode 建议按下面顺序过一遍拖动 Frame 滑杆到首帧、中间帧、末帧——机器人姿态应连续过渡指尖抓握物体时应稳定贴合点 Play/Pause 自动播放用 Speed 滑杆把速度调到 1~3 慢放重点盯红色小球它应始终贴着腕部坐标轴移动出现甩飞就说明该段action标签异常展开 Joint position control 面板扫一眼各关节角度若某关节在相邻帧之间大幅跳变比如手腕 yaw 突变几十度大概率是采集时的丢帧或滤波异常换 Episode 复查--args.episode_idx1换下一条。官方示例默认只可视化第一个 Episode见 examples/visualize.md批量排查时循环改索引即可。同样适用SIMPLE 仿真数据可视化如果你的数据来自 SIMPLE 仿真环境的遥操作或运动规划换一个脚本、同样的流程export taskG1WholebodyLocomotionPickBetweenTablesVariant5-v0 python scripts/viz/viz_episode_simple.py \ --args.data-dir$PSI_HOME/data/simple/$task \ --args.port9000 \ --args.episode_idx0两个脚本同源于 scripts/viz/ 目录区别仅在于关节字段的取数逻辑真实数据从states解析手部与手臂腿部按站立处理SIMPLE 数据则直接读取observation.hand_joints / arm_joints / leg_joints腿部高度由双脚位置反推对比 viz_episode_real.py 与 viz_episode_simple.py 中的extract_proprio_state函数即可看出。上手小结训练前随机抽 3~5 条 Episode 用上述流程回放确认红球-坐标轴贴合、轨迹平滑、关节无跳变数据路径$PSI_HOME/data/real/task真实数据、$PSI_HOME/data/simple/task仿真数据URDF 会自动从 real/assets/g1/ 定位更多背景数据采集与预处理见 README.md 的 Data Collection 一节可视化总入口是 examples/visualize.md。花两分钟可视化胜过两小时盲目训练——这就是 Psi0 数据可视化工作流想传达的全部价值。【免费下载链接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.项目地址: https://gitcode.com/gh_mirrors/ps/Psi0创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表