OH Robot Sim: Embodied AI simulator for OpenHarmony with natural language, teleoperation, and VLA support.

文件	最后提交记录	最后更新时间
assets	✨add map	5 个月前
common	✨add AirSim laucher and AirSim bridge node	5 个月前
control_stubs	refactor. rename ipads resource dir; modify core proto defs; fix. blocked default callback group	7 个月前
control_svc	🐛fix libc++ bug v2	5 个月前
controllers	feat. init repo	9 个月前
data	fix. tool call failures in Agent; refactor. chat models and requirements	9 个月前
demos	🐛add rpc ip	5 个月前
diagnostic	feat. init repo	9 个月前
docker	feat. fix privilege issue for docker image on XWayland	6 个月前
drivers	feat. xl_chassis competition; support XWayland	6 个月前
dto	feat. init repo	9 个月前
media	feat. add docs and dev notes for oh-robot-sim	9 个月前
oh_agent	feat. add aws_house and warehouse scenes for navigation2; fix. exceptions on stream tool_call	8 个月前
scripts	feat. init repo	9 个月前
sim_drivers	feat. init repo	9 个月前
tools	refactor. rename ipads resource dir; modify core proto defs; fix. blocked default callback group	7 个月前
AirSim @d90821bd	🚀fin	5 个月前
.gitignore	fix. control_stubs -> managed by cmake; grpc 1.74.1 env for docker; typos for oh_agent	8 个月前
.gitmodules	🐛AirSim trace main	5 个月前
DEV-ENV.md	feat. xl_chassis competition; support XWayland	6 个月前
DEVELOP.md	feat. add docs and dev notes for oh-robot-sim	9 个月前
LICENSE	feat. init repo	9 个月前
NO-OH-DEV.md	refactor. claim ros-humble.sh in NO-OH-DEV doc	7 个月前
QUICKSTART.md	feat. add baidu netdisk for nav2demo in QUICKSTART	7 个月前
README-AIRSIM.md	✨add readme	5 个月前
README.md	✨add readme	5 个月前
REQUIREMENTS.md	feat. add TESTCASES and REQUIREMENTS	7 个月前
TESTCASES.md	feat. add TESTCASES and REQUIREMENTS	7 个月前
URDF2MJCF.md	feat. add docs and dev notes for oh-robot-sim	9 个月前
XL-ROBOT.md	fix. XL-ROBOT doc: demo -> xl_chassis package	7 个月前
ros-demo.sh	feat. add DEV-ENV; add demo run script	8 个月前
ros-desktop.sh	🐛fix host env	5 个月前
ros-humble.sh	feat. xl_chassis competition; support XWayland	6 个月前
ros-jazzy.sh	feat. init repo	9 个月前
use-jazzy.sh	feat. init repo	9 个月前

OH Robot Sim

📋 项目简介

Robot Sim 是首个面向 OpenHarmony (EDU) 生态的具身智能机器人模拟器框架，支持自然语言交互、端侧伺服遥控、物理仿真、数据采集及 VLA 模型管理。

核心定位：为 OpenHarmony 开发者提供低成本、高效率的具身智能研发工具，解决现有仿真生态与 OpenHarmony 割裂、端侧协同不足、模型迭代困难等问题。

🚀 目录

✨ 核心特性

1. OpenHarmony 原生适配

整合 ROS2 Controllers、Robot State Nodes 等核心组件至 OpenHarmony OS
支持 OpenHarmony 端侧设备无缝接入仿真系统
基于 OpenHarmony 分布式软总线实现跨设备低延迟通信

2. 端侧伺服遥控

端侧设备化身「伺服遥控器」，通过触摸、姿态等自然交互操纵仿真机器人
LeRobot 数据采集，同步获取相机图像、关节状态等多源数据

3. 多模态具身任务支持

「自然语言 + Agent + MCP」语义解析链路，实现高层指令快速转化
兼容 Gazebo/MuJoCo 双仿真引擎，模拟真实物理环境

4. 全流程模型支持

对接 LeRobot 训练框架，支持 ACT/pi0 等 VLA 模型训练
提供模型推理部署接口，快速验证仿真到真实场景迁移效果

🏗️ 系统架构

层级	核心模块	功能说明
交互层	ArkTS 前端、端侧伺服遥控、Agent+MCP	多模态指令输入、可视化交互、端侧协同控制
控制层	ROS2 Controllers、Robot State Nodes	关节轨迹规划、状态采集发布、控制信号生成
仿真层	Gazebo/MuJoCo 仿真节点；可选 AirSim 后端	物理仿真、机器人模型驱动、图像渲染；无人机 AirSim 与 ROS 2 Wrapper 桥接
数据与模型层	LeRobot Data Collector、VLA Train&Inference	多源数据采集、模型训练、推理部署

🛠️ 技术栈

领域	核心技术 / 工具
操作系统	OpenHarmony 5.1.0, Ubuntu 22.04
机器人控制	ROS2
前端开发	ArkTS
仿真引擎	Gazebo、MuJoCo
模型训练	PyTorch、LeRobot
通信协议	gRPC、ROS2 DDS、HTTP

📄 许可证

本项目基于 Apache License 2.0 开源，详见 LICENSE 文件。

📞 联系方式

项目维护者：Hongwei Xue (SSRVodka)
邮箱：sjtuxhw12345@sjtu.edu.cn

🙏 致谢

感谢 OpenHarmony 社区提供的技术支持与生态保障。

项目介绍