1.1. TogetherROS简介

TogetherROS是地平线面向机器人厂商和生态开发者推出的机器人操作系统,旨在释放AI在机器人场景的潜能,助力生态开发者和商业客户能够高效、便捷的进行机器人开发,打造具有竞争力的智能机器人产品。

TROS-Diagram

TogetherROS源码托管在地平线gitlab,如需拉取源码需要注册账户,注册链接:https://c-gitlab.horizon.ai/HHP

Communication

Communication是地平线在ROS2 Foxy版本通信核心组件基础上进行的功能优化和扩展。

主要特性如下:

其中蓝色部分为地平线优化、新增模块,TogetherROS主要特性如下:

  • 提供“Hobot Sensor”适配机器人常用传感器,节省开发时间,聚焦核心竞争力

  • 提供“Hobot DNN”简化板端AI模型推理与部署,释放BPU算力,降低AI使用门槛

  • 提供“Hobot Codec”软硬结合加速视频编解码,节省CPU资源,提升并行处理能力

  • 提供“Hobot CV”软硬结合提升常见CV算子性能,节省CPU资源,提升运行效率

  • 提供“Hobot Render”Web端和HDMI动态可视化功能,实时渲染AI结果(仅限Web端),便于展示与调试

  • 增加“zero-copy”进程间零拷贝通信机制,降低数据传输时延,减少系统资源消耗

  • 丰富中间件软件调试以及性能调优工具,提升问题定位效率,方便系统性能优化

  • 与ROS2 foxy版本接口保持完全兼容,便于复用ROS丰富工具包,加快原型验证

  • 支持最小化和模块化剪裁,方便根据需要部署在资源受限的嵌入式产品中

Boxs

Boxs是地平线面向机器人厂商和生态开发者推出的基于TogetherROS AI算法包,旨在提升基于地平线机器人开发平台进行机器人AI算法集成和落地的效率。

  • 图像检测算法如yolo、fasterRCNN、efficientdet、mobilenet_ssd等

  • 图像分类模型如mobilenet、resnet、googlenet、efficientnet等

  • 语音分割模型如unet等

  • 应用算法模型如人体检测与跟踪、手势识别、人手关键点检测、单目高程网络、单目3D检测等

Apps

Apps是基于地平线机器人开发平台Communication和Boxs开发的算法应用示例,旨在打通图像输入、感知、策略等完整链路,展示应用效果,加速客户demo开发效率。

1.2. 常见名词解释

名词 含义
zero-copy 进程间零拷贝通信方式
hobot dnn 基于BPU的模型推理功能封装