1.1. TogetherROS简介
TogetherROS是地平线面向机器人厂商和生态开发者推出的机器人操作系统,旨在释放AI在机器人场景的潜能,助力生态开发者和商业客户能够高效、便捷的进行机器人开发,打造具有竞争力的智能机器人产品。
TogetherROS源码托管在地平线gitlab,如需拉取源码需要注册账户,注册链接:https://c-gitlab.horizon.ai/HHP
Communication
Communication是地平线在ROS2 Foxy版本通信核心组件基础上进行的功能优化和扩展。
主要特性如下:
其中蓝色部分为地平线优化、新增模块,TogetherROS主要特性如下:
提供“Hobot Sensor”适配机器人常用传感器,节省开发时间,聚焦核心竞争力
提供“Hobot DNN”简化板端AI模型推理与部署,释放BPU算力,降低AI使用门槛
提供“Hobot Codec”软硬结合加速视频编解码,节省CPU资源,提升并行处理能力
提供“Hobot CV”软硬结合提升常见CV算子性能,节省CPU资源,提升运行效率
提供“Hobot Render”Web端和HDMI动态可视化功能,实时渲染AI结果(仅限Web端),便于展示与调试
增加“zero-copy”进程间零拷贝通信机制,降低数据传输时延,减少系统资源消耗
丰富中间件软件调试以及性能调优工具,提升问题定位效率,方便系统性能优化
与ROS2 foxy版本接口保持完全兼容,便于复用ROS丰富工具包,加快原型验证
支持最小化和模块化剪裁,方便根据需要部署在资源受限的嵌入式产品中
Boxs
Boxs是地平线面向机器人厂商和生态开发者推出的基于TogetherROS AI算法包,旨在提升基于地平线机器人开发平台进行机器人AI算法集成和落地的效率。
图像检测算法如yolo、fasterRCNN、efficientdet、mobilenet_ssd等
图像分类模型如mobilenet、resnet、googlenet、efficientnet等
语音分割模型如unet等
应用算法模型如人体检测与跟踪、手势识别、人手关键点检测、单目高程网络、单目3D检测等
Apps
Apps是基于地平线机器人开发平台Communication和Boxs开发的算法应用示例,旨在打通图像输入、感知、策略等完整链路,展示应用效果,加速客户demo开发效率。
1.2. 常见名词解释
名词 | 含义 |
---|---|
zero-copy | 进程间零拷贝通信方式 |
hobot dnn | 基于BPU的模型推理功能封装 |