跳到主要内容

四目实时显示


1. 四目实时显示 (4-Camera Real-time Display)

Walker S2 仿真器支持 4 个 RGB 相机的实时预览功能,通过 HeadStereoVisualizer 类实现头部双目相机的并排显示。该功能在遥操作、数据采集、回放和推理四种模式下均可使用。


1.1 相机配置参数说明

参数说明默认值
--robot.head_viz_enabled是否启用头部相机可视化true
--robot.head_viz_window_name可视化窗口名称"walker_s2_cameras"
--robot.head_viz_scale窗口缩放比例1.0
--robot.head_viz_every_n每 N 帧更新一次显示10
--robot.head_viz_window_x窗口 X 坐标40
--robot.head_viz_window_y窗口 Y 坐标40
--robot.head_viz_show_labels是否显示相机标签true
--display_data是否在终端显示数据false

参数说明:

  • head_viz_enabled: 控制是否开启头部相机可视化窗口
  • head_viz_every_n: 控制可视化更新频率,较大的值可降低 CPU 负载
  • display_data: 控制是否在终端打印关节状态数据

1.2 相机名称与位置

相机名称位置用途
head_left头部左侧前置广角
head_right头部右侧前置广角
wrist_left左手腕手眼相机
wrist_right右手腕手眼相机

1.3 可视化窗口布局

┌─────────────────────────────────────────┐
│ walker_s2_cameras │
├─────────────────────┬───────────────────┤
│ │ │
│ head_left │ head_right │
│ │ │
├─────────────────────┴───────────────────┤
│ wrist_left │ wrist_right │
└─────────────────────────────────────────┘

1.4 四种模式下的示例命令

模式一:遥操作 (Teleoperate)

/isaac-sim/python.sh src/lerobot/scripts/lerobot_teleoperate.py \
--robot.type=walker_s2_sim \
--robot.headless=false \
--task=Packing_Box \
--teleop.type=walker_s2_keyboard \
--robot.head_viz_enabled=true \
--robot.head_viz_window_name="walker_s2_cameras" \
--robot.head_viz_every_n=1 \
--display_data=false

模式二:数据采集 (Record)

/isaac-sim/python.sh src/lerobot/scripts/lerobot_record.py \
--robot.type=walker_s2_sim \
--robot.headless=false \
--task=Packing_Box \
--teleop.type=walker_s2_keyboard \
--dataset.root=./datasets/packing_box \
--dataset.num_episodes=10 \
--dataset.single_task="Packing box task" \
--dataset.video=true \
--robot.head_viz_enabled=true \
--robot.head_viz_every_n=10 \
--display_data=false \
--play_sounds=false

模式三:数据回放 (Replay)

/isaac-sim/python.sh src/lerobot/scripts/lerobot_replay.py \
--robot.type=walker_s2_sim \
--task=Packing_Box \
--dataset.root=./datasets/packing_box \
--dataset.episode=0 \
--robot.head_viz_enabled=true \
--robot.head_viz_every_n=5 \
--display_data=false \
--play_sounds=false

模式四:策略推理 (Inference)

/isaac-sim/python.sh src/lerobot/scripts/lerobot_record.py \
--robot.type=walker_s2_sim \
--robot.headless=false \
--task=Packing_Box \
--policy.path=your_checkpoint_dir \
--dataset.root=./datasets/packing_box/inference \
--dataset.num_episodes=10 \
--dataset.video=true \
--robot.head_viz_enabled=true \
--robot.head_viz_every_n=5 \
--display_data=false \
--play_sounds=false