跳到主要内容

天工行者·无疆操作指南

本文档说明 Thinker studio v2.0.x 配合天工行者·无疆进行 Pico 遥操作、动作录制、数据采集、质检和导出的基础流程。

通用安装配置、服务管理与 Pico 端操作请参考:

适用环境​

项目要求
目标机器Ubuntu 22.04 系统 PC
系统架构amd64
配置要求推荐内存 ≥ 32 GB,最低不小于 16 GB
安装包deb/thinker-studio_2.0.35_amd64.deb

网络配置​

使用网线连接目标机器和天工行者·无疆后,需要确保双方处于同一网段。

天工行者·无疆出厂网段:

192.168.41.x

可将目标机器物理网口配置为同网段静态 IP,例如:

IP 地址:192.168.41.100
子网掩码:255.255.255.0

可使用以下命令检查目标机器是否能访问 Orin 板:

ping 192.168.41.2

Ubuntu 有线网络配置入口Ubuntu 有线网络配置入口

Ubuntu IPv4 手动配置示例Ubuntu IPv4 手动配置示例

使用前准备​

请确认:

  • 目标机器已安装 Thinker studio。
  • 目标机器已完成网络配置,并可访问 192.168.41.2。
  • 天工行者·无疆已开机。
  • Pico、体感追踪器和遥控器已准备就绪。

选择机器人​

在目标机器的应用中心找到 Thinker studio 图标,点击图标打开客户端。

在机器人选择页选择“天工行者·无疆”进入遥操作页面。

Thinker studio 客户端图标Thinker studio 客户端图标

启动 Pico 遥操​

启动 Teleop Service​

在 Thinker studio 客户端中启动 Teleop Service 服务。

启动 Teleop Service启动 Teleop Service

该服务用于接收 Pico 端发送的追踪与控制数据。服务启动后,保持客户端页面打开。

Teleop Service 启动后状态Teleop Service 启动后状态

Pico 端操作​

Pico 端佩戴追踪器、连接 XRoboToolkit、勾选 Send 等操作,请参考 Pico 操作指南。

启动 Retargeting Monitor​

在 Thinker studio 客户端中启动 Retargeting Monitor 服务。

启动 Retargeting Monitor启动 Retargeting Monitor

该服务用于遥操作过程中的动作重定向监控。

Retargeting Monitor 启动后状态Retargeting Monitor 启动后状态

进入机器人上肢控制模式​

开始遥操作前,需要先让天工行者·无疆进入上肢控制模式,也称半身控制模式。

请按以下顺序操作:

  1. 确认天工行者·无疆已开机。打开机器人背部左侧总电源开关,再短按右侧开机键。
  2. 打开遥控器。先短按遥控器开关,再长按遥控器开关。
  3. 在遥控器上按 A,让机器人执行自检。
  4. 自检完成并听到“嘀”声后,等待 5 秒。
  5. 将遥控器 F 拨杆下拨。
  6. 长按遥控器 A,听到“嘀”声。
  7. 将遥控器 E 拨杆上拨。

完成以上步骤后,在 Thinker studio 客户端的遥操作区域点击 开始。

点击开始遥操作点击开始遥操作

安全提醒

点击 开始 后,机器人即开始随动。请务必在点击前确认机器人周围环境安全、空间充足,并避免人员或物体进入机器人运动范围。

遥操作启动成功遥操作启动成功

结束遥操​

结束遥操作时,请按以下顺序操作:

  1. 在 Thinker studio 客户端的遥操作区域点击 停止。
  2. 停止相关服务,例如 Teleop Service 和 Retargeting Monitor。
  3. 如需暂停 Pico 控制数据发送,可在 Pico 端 XRoboToolkit 中取消勾选 Data & Control 下的 Send。

停止遥操作停止遥操作

停止相关服务停止相关服务

动作录制​

开始录制​

动作录制需满足以下前提:

  • 当前已进入遥操模式。
  • 当前未启动数据采集。

在 Thinker studio 客户端的动作录制区域点击 开始,即可开始动作录制。

开始动作录制开始动作录制

录制期间,Pico 端 XRoboToolkit 的 Send 状态会影响机器人是否跟随操作者动作:

  • 勾选 Send:Pico 发送控制数据,机器人跟随动作。
  • 取消勾选 Send:Pico 不发送控制数据,机器人不跟随动作。

XRoboToolkit Send 状态XRoboToolkit Send 状态

结束录制​

在动作录制区域点击 结束,即可完成录制。

录制成功后,本次录制的动作会显示在右侧录制历史区域。

动作录制历史动作录制历史

播放录制动作​

录制历史中的动作可进行播放。

播放录制动作播放录制动作

安全提醒

播放录制动作前,请确认机器人周围有足够空间,避免碰撞人员、设备或周边物体。

数据采集​

数据采集用于采集相机数据和手臂关节角度。

开始数据采集前,必须先在天工行者·无疆 192.168.41.2 的 Orin 板上启动头部相机服务。否则数据采集会失败,或无法采集到相机数据。

启动头部相机服务​

在目标机器上 SSH 登录 Orin 板:

ssh nvidia@192.168.41.2

密码:

nvidia

启动头部相机服务:

sudo systemctl start orbbec_head.service

确认相机压缩话题存在且有数据:

ros2 topic echo /ob_camera_head/color/image_raw/compressed --no-arr

如果命令持续输出数据,说明压缩图像话题正常。确认后可按 Ctrl+C 退出查看。

开始采集​

只有在未录制动作时,才可以启动数据采集。

安全提醒

开始数据采集前,请确认机器人周围环境安全、空间充足,并避免人员或物体进入机器人运动范围。

在 Thinker studio 客户端的数据采集区域点击 开始,即可开始采集。

开始数据采集开始数据采集

数据采集启动成功数据采集启动成功

结束采集​

在数据采集区域点击 结束,即可停止采集。

采集成功后,本次采集的数据会显示在右侧采集历史区域。

采集历史采集历史

数据质检与导出​

数据质检​

在采集历史中选择需要处理的数据,点击 质检 进入数据质检页面。

进入数据质检进入数据质检

数据质检页面数据质检页面

质检页面支持添加多个区域帧,并为区域帧添加描述。完成后点击 提交。

提交质检描述提交质检描述

数据导出​

已完成质检的数据会显示 导出 按钮。

导出按钮导出按钮

点击 导出 后,选择需要导出的格式。数据量越大,导出耗时越长。

选择导出格式选择导出格式

导出成功后,刷新页面。页面会显示导出数据目录,可点击复制目录路径。

导出数据目录导出数据目录

常见问题​

数据采集启动失败​

请优先检查以下项目:

  • 天工行者·无疆是否已开机。
  • 目标机器是否能访问 192.168.41.2。
  • Orin 板上的 orbbec_head.service 是否已启动。
  • /ob_camera_head/color/image_raw/compressed 话题是否存在并持续输出数据。

附录:相机压缩话题组件手动安装​

本章节主要供研发或运维人员参考。正常情况下,在目标机器和天工行者·无疆已通过网线直连、且天工行者·无疆已开机的前提下,安装脚本会自动处理相机压缩话题组件。

启动相机服务并检查话题​

登录 Orin 板:

ssh nvidia@192.168.41.2

密码:

nvidia

启动头部相机服务:

sudo systemctl start orbbec_head.service

检查是否存在以下压缩图像话题:

ros2 topic echo /ob_camera_head/color/image_raw/compressed --no-arr

如话题已存在且有数据,则无需继续安装。

在 Orin 板上安装依赖​

export ROS_DISTRO=humble

sudo apt install libgflags-dev nlohmann-json3-dev \
  ros-$ROS_DISTRO-image-transport \
  ros-$ROS_DISTRO-image-transport-plugins \
  ros-$ROS_DISTRO-compressed-image-transport \
  ros-$ROS_DISTRO-image-publisher \
  ros-$ROS_DISTRO-camera-info-manager

拷贝压缩组件文件​

请先将以下两个文件下载到目标机器的 /home/ubuntu/Downloads 目录:

  • rvl_codec.hpp
  • libcompressed_depth_image_transport.so

在目标机器上执行:

scp /home/ubuntu/Downloads/rvl_codec.hpp nvidia@192.168.41.2:/home/nvidia/
scp /home/ubuntu/Downloads/libcompressed_depth_image_transport.so nvidia@192.168.41.2:/home/nvidia/

安装到 Orin 板 ROS 目录​

重新登录 Orin 板:

ssh nvidia@192.168.41.2

执行:

sudo cp /home/nvidia/rvl_codec.hpp /opt/ros/humble/include/compressed_depth_image_transport/
sudo cp /home/nvidia/libcompressed_depth_image_transport.so /opt/ros/humble/lib/

安装完成后,建议断电重启机器人。

重启后,再次登录 Orin 板并启动头部相机服务:

sudo systemctl start orbbec_head.service

确认压缩图像话题存在且有数据:

ros2 topic echo /ob_camera_head/color/image_raw/compressed --no-arr