四目实时显示
1. 四目实时显示 (4-Camera Real-time Display)
Walker S2 仿真器支持 4 个 RGB 相机的实时预览功能,通过 HeadStereoVisualizer 类实现头部双目相机的并排显示。该功能在遥操作、数据采集、回放和推理四种模式下均可使用。
1.1 相机配置参数说明
| 参数 | 说明 | 默认值 |
|---|---|---|
--robot.head_viz_enabled | 是否启用头部相机可视化 | true |
--robot.head_viz_window_name | 可视化窗口名称 | "walker_s2_cameras" |
--robot.head_viz_scale | 窗口缩放比例 | 1.0 |
--robot.head_viz_every_n | 每 N 帧更新一次显示 | 10 |
--robot.head_viz_window_x | 窗口 X 坐标 | 40 |
--robot.head_viz_window_y | 窗口 Y 坐标 | 40 |
--robot.head_viz_show_labels | 是否显示相机标签 | true |
--display_data | 是否在终端显示数据 | false |
参数说明:
head_viz_enabled: 控制是否开启头部相机可视化窗口head_viz_every_n: 控制可视化更新频率,较大的值可降低 CPU 负载display_data: 控制是否在终端打印关节状态数据
1.2 相机名称与位置
| 相机名称 | 位置 | 用途 |
|---|---|---|
head_left | 头部左侧 | 前置广角 |
head_right | 头部右侧 | 前置广角 |
wrist_left | 左手腕 | 手眼相机 |
wrist_right | 右手腕 | 手眼相机 |
1.3 可视化窗口布局
┌─────────────────────────────────────────┐
│ walker_s2_cameras │
├─────────────────────┬───────────────────┤
│ │ │
│ head_left │ head_right │
│ │ │
├─────────────────────┴───────────────────┤
│ wrist_left │ wrist_right │
└─────────────────────────────────────────┘
1.4 四种模式下的示例命令
模式一:遥操作 (Teleoperate)
/isaac-sim/python.sh src/lerobot/scripts/lerobot_teleoperate.py \
--robot.type=walker_s2_sim \
--robot.headless=false \
--task=Packing_Box \
--teleop.type=walker_s2_keyboard \
--robot.head_viz_enabled=true \
--robot.head_viz_window_name="walker_s2_cameras" \
--robot.head_viz_every_n=1 \
--display_data=false
模式二:数据采集 (Record)
/isaac-sim/python.sh src/lerobot/scripts/lerobot_record.py \
--robot.type=walker_s2_sim \
--robot.headless=false \
--task=Packing_Box \
--teleop.type=walker_s2_keyboard \
--dataset.root=./datasets/packing_box \
--dataset.num_episodes=10 \
--dataset.single_task="Packing box task" \
--dataset.video=true \
--robot.head_viz_enabled=true \
--robot.head_viz_every_n=10 \
--display_data=false \
--play_sounds=false
模式三:数据回放 (Replay)
/isaac-sim/python.sh src/lerobot/scripts/lerobot_replay.py \
--robot.type=walker_s2_sim \
--task=Packing_Box \
--dataset.root=./datasets/packing_box \
--dataset.episode=0 \
--robot.head_viz_enabled=true \
--robot.head_viz_every_n=5 \
--display_data=false \
--play_sounds=false
模式四:策略推理 (Inference)
/isaac-sim/python.sh src/lerobot/scripts/lerobot_record.py \
--robot.type=walker_s2_sim \
--robot.headless=false \
--task=Packing_Box \
--policy.path=your_checkpoint_dir \
--dataset.root=./datasets/packing_box/inference \
--dataset.num_episodes=10 \
--dataset.video=true \
--robot.head_viz_enabled=true \
--robot.head_viz_every_n=5 \
--display_data=false \
--play_sounds=false