天工行者·无疆操作指南
本文档说明 Thinker studio v2.0.x 配合天工行者·无疆进行 Pico 遥操作、动作录制、数据采集、质检和导出的基础流程。
通用安装配置、服务管理与 Pico 端操作请参考:
适用环境
| 项目 | 要求 |
|---|---|
| 目标机器 | Ubuntu 22.04 系统 PC |
| 系统架构 | amd64 |
| 配置要求 | 推荐内存 ≥ 32 GB,最低不小于 16 GB |
| 安装包 | deb/thinker-studio_2.0.35_amd64.deb |
网络配置
使用网线连接目标机器和天工行者·无疆后,需要确保双方处于同一网段。
天工行者·无疆出厂网段:
192.168.41.x可将目标机器物理网口配置为同网段静态 IP,例如:
IP 地址:192.168.41.100
子网掩码:255.255.255.0可使用以下命令检查目标机器是否能访问 Orin 板:
ping 192.168.41.2
Ubuntu 有线网络配置入口
Ubuntu IPv4 手动配置示例
使用前准备
请确认:
- 目标机器已安装 Thinker studio。
- 目标机器已完成网络配置,并可访问
192.168.41.2。 - 天工行者·无疆已开机。
- Pico、体感追踪器和遥控器已准备就绪。
选择机器人
在目标机器的应用中心找到 Thinker studio 图标,点击图标打开客户端。
在机器人选择页选择“天工行者·无疆”进入遥操作页面。
Thinker studio 客户端图标
启动 Pico 遥操
启动 Teleop Service
在 Thinker studio 客户端中启动 Teleop Service 服务。
启动 Teleop Service
该服务用于接收 Pico 端发送的追踪与控制数据。服务启动后,保持客户端页面打开。
Teleop Service 启动后状态
Pico 端操作
Pico 端佩戴追踪器、连接 XRoboToolkit、勾选 Send 等操作,请参考 Pico 操作指南。
启动 Retargeting Monitor
在 Thinker studio 客户端中启动 Retargeting Monitor 服务。
启动 Retargeting Monitor
该服务用于遥操作过程中的动作重定向监控。
Retargeting Monitor 启动后状态
进入机器人上肢控制模式
开始遥操作前,需要先让天工行者·无疆进入上肢控制模式,也称半身控制模式。
请按以下顺序操作:
- 确认天工行者·无疆已开机。打开机器人背部左侧总电源开关,再短按右侧开机键。
- 打开遥控器。先短按遥控器开关,再长按遥控器开关。
- 在遥控器上按
A,让机器人执行自检。 - 自检完成并听到“嘀”声后,等待 5 秒。
- 将遥控器
F拨杆下拨。 - 长按遥控器
A,听到“嘀”声。 - 将遥控器
E拨杆上拨。
完成以上步骤后,在 Thinker studio 客户端的遥操作区域点击 开始。
点击开始遥操作
安全提醒
点击
开始后,机器人即开始随动。请务必在点击前确认机器人周围环境安全、空间充足,并避免人员或物体进入机器人运动范围。
遥操作启动成功
结束遥操
结束遥操作时,请按以下顺序操作:
- 在 Thinker studio 客户端的遥操作区域点击
停止。 - 停止相关服务,例如
Teleop Service和Retargeting Monitor。 - 如需暂停 Pico 控制数据发送,可在 Pico 端
XRoboToolkit中取消勾选Data & Control下的Send。
停止遥操作
停止相关服务
动作录制
开始录制
动作录制需满足以下前提:
- 当前已进入遥操模式。
- 当前未启动数据采集。
在 Thinker studio 客户端的动作录制区域点击 开始,即可开始动作录制。
开始动作录制
录制期间,Pico 端 XRoboToolkit 的 Send 状态会影响机器人是否跟随操作者动作:
- 勾选
Send:Pico 发送控制数据,机器人跟随动作。 - 取消勾选
Send:Pico 不发送控制数据,机器人不跟随动作。
XRoboToolkit Send 状态
结束录制
在动作录制区域点击 结束,即可完成录制。
录制成功后,本次录制的动作会显示在右侧录制历史区域。
动作录制历史
播放录制动作
录制历史中的动作可进行播放。
播放录制动作
安全提醒
播放录制动作前,请确认机器人周围有足够空间,避免碰撞人员、设备或周边物体。
数据采集
数据采集用于采集相机数据和手臂关节角度。
开始数据采集前,必须先在天工行者·无疆 192.168.41.2 的 Orin 板上启动头部相机服务。否则数据采集会失败,或无法采集到相机数据。
启动头部相机服务
在目标机器上 SSH 登录 Orin 板:
ssh nvidia@192.168.41.2密码:
nvidia启动头部相机服务:
sudo systemctl start orbbec_head.service确认相机压缩话题存在且有数据:
ros2 topic echo /ob_camera_head/color/image_raw/compressed --no-arr如果命令持续输出数据,说明压缩图像话题正常。确认后可按 Ctrl+C 退出查看。
开始采集
只有在未录制动作时,才可以启动数据采集。
安全提醒
开始数据采集前,请确认机器人周围环境安全、空间充足,并避免人员或物体进入机器人运动范围。
在 Thinker studio 客户端的数据采集区域点击 开始,即可开始采集。
开始数据采集
数据采集启动成功
结束采集
在数据采集区域点击 结束,即可停止采集。
采集成功后,本次采集的数据会显示在右侧采集历史区域。
采集历史
数据质检与导出
数据质检
在采集历史中选择需要处理的数据,点击 质检 进入数据质检页面。
进入数据质检
数据质检页面
质检页面支持添加多个区域帧,并为区域帧添加描述。完成后点击 提交。
提交质检描述
数据导出
已完成质检的数据会显示 导出 按钮。
导出按钮
点击 导出 后,选择需要导出的格式。数据量越大,导出耗时越长。
选择导出格式
导出成功后,刷新页面。页面会显示导出数据目录,可点击复制目录路径。
导出数据目录
常见问题
数据采集启动失败
请优先检查以下项目:
- 天工行者·无疆是否已开机。
- 目标机器是否能访问
192.168.41.2。 - Orin 板上的
orbbec_head.service是否已启动。 /ob_camera_head/color/image_raw/compressed话题是否存在并持续输出数据。
附录:相机压缩话题组件手动安装
本章节主要供研发或运维人员参考。正常情况下,在目标机器和天工行者·无疆已通过网线直连、且天工行者·无疆已开机的前提下,安装脚本会自动处理相机压缩话题组件。
启动相机服务并检查话题
登录 Orin 板:
ssh nvidia@192.168.41.2密码:
nvidia启动头部相机服务:
sudo systemctl start orbbec_head.service检查是否存在以下压缩图像话题:
ros2 topic echo /ob_camera_head/color/image_raw/compressed --no-arr如话题已存在且有数据,则无需继续安装。
在 Orin 板上安装依赖
export ROS_DISTRO=humble
sudo apt install libgflags-dev nlohmann-json3-dev \
ros-$ROS_DISTRO-image-transport \
ros-$ROS_DISTRO-image-transport-plugins \
ros-$ROS_DISTRO-compressed-image-transport \
ros-$ROS_DISTRO-image-publisher \
ros-$ROS_DISTRO-camera-info-manager拷贝压缩组件文件
请先将以下两个文件下载到目标机器的 /home/ubuntu/Downloads 目录:
rvl_codec.hpplibcompressed_depth_image_transport.so
在目标机器上执行:
scp /home/ubuntu/Downloads/rvl_codec.hpp nvidia@192.168.41.2:/home/nvidia/
scp /home/ubuntu/Downloads/libcompressed_depth_image_transport.so nvidia@192.168.41.2:/home/nvidia/安装到 Orin 板 ROS 目录
重新登录 Orin 板:
ssh nvidia@192.168.41.2执行:
sudo cp /home/nvidia/rvl_codec.hpp /opt/ros/humble/include/compressed_depth_image_transport/
sudo cp /home/nvidia/libcompressed_depth_image_transport.so /opt/ros/humble/lib/安装完成后,建议断电重启机器人。
重启后,再次登录 Orin 板并启动头部相机服务:
sudo systemctl start orbbec_head.service确认压缩图像话题存在且有数据:
ros2 topic echo /ob_camera_head/color/image_raw/compressed --no-arr