跳到主要内容
版本:V2.0.4.x

8. 天工行者App

天工行者App提供了面向天工行者系列机器人的操作辅助,支持用户便捷地为设备进行配网,查看机器人状态信息、并进行机器人动作控制。

连接机器人

在确保手机已连接Wi-Fi,并已开启蓝牙权限后,进入App,点击连接机器人,App将扫描周围已开机机器人设备;点击需要连接的设备,输入机器人控制密码(默认密码可联系交付人员提供),控制密码校验成功后,输入手机当前连接Wi-Fi的连接密码,校验成功,即可完成机器人连接。

机器人控制密码,可在设置-修改机器人控制密码中进行修改。

机器人状态

点击机器人状态,进入机器人状态页,可手动开启或关闭机器人语音服务;可查看机器人当前主电池及小电池当前电量及部分传感器的在线状态。

机器人控制

点击机器人控制,进入机器人控制页,可切换机器人状态(运动模式),开启机器人头部视觉共享并控制机器人进行动作执行。开启机器人控制须将遥控器上的E拨杆拨到向上的位置,该功能启用须确保机器人处于站立状态。

切换机器人状态:可切换状态包括站立、行走、奔跑、回零及僵停。

注意:机器人在吊起离地状态时,请勿操作机器人进入站立状态。

机器人动作控制:可点击动作按钮发送动作命令,机器人会对应执行相应动作。开启机器人语音播报配置后,机器人动作同时将进行语音播报。

注意:动作执行过程中,为保证安全,请保证机器人半径4m内无障碍物,同时部分动作涉及到全身动作,请保证安全绳连接机器人时,有一定空间冗余。

机器人视觉共享:天工行者·无界及天工行者·无疆机型支持头部相机的视觉共享,点击开启后,可查看头部相机的实时相机视频流。

中英文切换

App支持中-英文语言切换,设置路径为设置-通用设置-App语言设置。

语音功能

天工行者·无界、天工行者·无疆机型提供基础的语音能力(限时免费提供),该语音基于线上大语言模型,须在网络能连接公网的情况下进行使用。

唤醒与对话

通过APP启动语音服务后,通过唤醒词“天工天工”可将机器人唤醒,唤醒后,机器人将回复“在呢”,唤醒时,请保持用户人脸在胸口的单目相机的识别范围,即可正常开启对话。

语音交互大模型识别到用户问题后,需要几秒钟的时间输出回答,请耐心等待。

语料播报

可通过遥控器触发语料播报,音频语料存储路径如下:

天工行者音频目录(x86主控板):/home/ubuntu/data/speech/sbus

天工行者·无界音频目录(orin算力板):/home/nvidia/data/speech/sbus

天工行者·无疆音频目录(orin1算力板41.2):/home/nvidia/data/speech/sbus

导入语料后,修改配置项,修改路径(x86主控板):/home/ubuntu/data/param,更新audio_list更新内容为导入的音频文件名