旭日X3派用户手册

• 1. 快速开始
  • 1.1. 准备工作
  • 1.2. 安装系统
    • 1.2.1. 烧录准备
    • 1.2.2. 烧录系统
    • 1.2.3. 启动系统
  • 1.3. 远程登录
    • 1.3.1. 串口登录
    • 1.3.2. 网络状态确认
    • 1.3.3. VNC登录
    • 1.3.4. SSH登录
  • 1.4. 快速体验
    • 1.4.1. LED指示灯控制
    • 1.4.2. GPIO读写操作
    • 1.4.3. 图像分类算法示例
    • 1.4.4. USB摄像头使用
    • 1.4.5. MIPI摄像头使用
  • 1.5. 硬件接口说明
    • 1.5.1. 接口总览
    • 1.5.2. 电源接口
    • 1.5.3. 调试串口
    • 1.5.4. 有线网口
    • 1.5.5. HDMI接口
    • 1.5.6. USB接口
    • 1.5.7. USB摄像头
    • 1.5.8. MIPI摄像头
    • 1.5.9. Micro SD接口
    • 1.5.10. 无线连接
      • 1.5.10.1. Wi-Fi
      • 1.5.10.2. 蓝牙
    • 1.5.11. 40PIN
    • 1.5.12. 音频接口
      • 1.5.12.1. 驱动加载
      • 1.5.12.2. 录音、播放
      • 1.5.12.3. Ubuntu系统音频配置
  • 1.6. 认证配件清单
    • 1.6.1. 基础配件
    • 1.6.2. 摄像头
    • 1.6.3. 显示屏
• 2. 系统配置
  • 2.1. 系统更新
  • 2.2. 网络配置
    • 2.2.1. 有线网络
    • 2.2.2. 无线网络
      • 2.2.2.1. Station模式
      • 2.2.2.2. Soft AP模式
    • 2.2.3. DNS服务
  • 2.3. CPU调频策略
  • 2.4. 自启动配置
    • 2.4.1. 设置自启动Service
    • 2.4.2. 添加到rc.local服务
• 3. Samples示例
  • 3.1. 模型推理示例
    • 3.1.1. 模块导入
    • 3.1.2. 静态图片推理
      • 3.1.2.1. 图像分类算法—Mobilenet v1
        • 运行方法
        • 示例代码解析
      • 3.1.2.2. 目标检测算法—YOLOv3
        • 运行方法
      • 3.1.2.3. 目标检测算法—YOLOv5
        • 运行方法
      • 3.1.2.4. 图像分割算法—unet
        • 运行方法
    • 3.1.3. 基于USB摄像头推理
      • 3.1.3.1. 目标检测算法—fcos
        • 运行方法
        • 示例代码解析
    • 3.1.4. 基于MIPI摄像头推理
      • 3.1.4.1. 目标检测算法—fcos
        • 运行方法
        • 示例代码解析
      • 3.1.4.2. 目标检测算法 Web端可视化
        • 代码解析
  • 3.2. 图像多媒体示例
    • 3.2.1. 视频流解码
      • 3.2.1.1. 运行方法
      • 3.2.1.2. 选项参数说明
      • 3.2.1.3. 注意事项
• 4. Python开发指南
  • 4.1. 模型推理接口说明
    • 4.1.1. 概要介绍
    • 4.1.2. Model对象
      • 4.1.2.1. inputs
      • 4.1.2.2. outputs
      • 4.1.2.3. forward
    • 4.1.3. 示例代码
  • 4.2. 多媒体接口说明
    • 4.2.1. 概要介绍
    • 4.2.2. Camera对象
      • 4.2.2.1. open_cam
      • 4.2.2.2. open_vps
      • 4.2.2.3. get_img
      • 4.2.2.4. set_img
      • 4.2.2.5. close_cam
    • 4.2.3. Encoder对象
      • 4.2.3.1. encode
      • 4.2.3.2. encode_file
      • 4.2.3.3. get_img
      • 4.2.3.4. close
    • 4.2.4. Decoder对象
      • 4.2.4.1. decode
      • 4.2.4.2. get_img
      • 4.2.4.3. set_img
      • 4.2.4.4. close
    • 4.2.5. Display对象
      • 4.2.5.1. display
      • 4.2.5.2. set_img
      • 4.2.5.3. set_graph_rect
      • 4.2.5.4. set_graph_word
      • 4.2.5.5. close
      • 4.2.5.6. bind接口
      • 4.2.5.7. unbind接口
    • 4.2.6. 接口使用示例代码
  • 4.3. 40PIN 功能使用
    • 4.3.1. 管脚复用关系配置
    • 4.3.2. 40PIN管脚定义
    • 4.3.3. 使用GPIO功能
      • 4.3.3.1. 设置引脚编码方式
      • 4.3.3.2. 警告信息
      • 4.3.3.3. 管脚配置
      • 4.3.3.4. 输入操作
      • 4.3.3.5. 输出操作
      • 4.3.3.6. 清理管脚占用
      • 4.3.3.7. 查看管脚状态
      • 4.3.3.8. 边沿检测与中断
        • wait_for_edge() 函数
        • event_detected() 函数
        • 检测到边沿事件时运行回调函数
        • 关闭中断
      • 4.3.3.9. 测试例程
    • 4.3.4. 使用PWM
    • 4.3.5. 使用串口
    • 4.3.6. 使用I2C
    • 4.3.7. 使用SPI
• 5. C/C++开发指南
  • 5.1. 参考示例
    • 5.1.1. 安装
    • 5.1.2. 摄像头图像采集和显示
    • 5.1.3. 摄像头图像本地保存
    • 5.1.4. 摄像头图像采集并编码
    • 5.1.5. 视频文件解码并显示
    • 5.1.6. RTSP拉流解码
    • 5.1.7. VPS缩放示例
    • 5.1.8. 目标检测算法—fcos
    • 5.1.9. 目标检测算法—YOLOv5
  • 5.2. 多媒体接口说明
    • 5.2.1. VIO（视频输入）API
      • 5.2.1.1. sp_init_vio_module
      • 5.2.1.2. sp_release_vio_module
      • 5.2.1.3. sp_open_camera
      • 5.2.1.4. sp_open_vps
      • 5.2.1.5. sp_vio_close
      • 5.2.1.6. sp_vio_get_frame
      • 5.2.1.7. sp_vio_get_raw
      • 5.2.1.8. sp_vio_get_yuv
      • 5.2.1.9. sp_vio_set_frame
    • 5.2.2. ENCODER（编码模块）API
      • 5.2.2.1. sp_init_encoder_module
      • 5.2.2.2. sp_release_encoder_module
      • 5.2.2.3. sp_start_encode
      • 5.2.2.4. sp_stop_encode
      • 5.2.2.5. sp_encoder_set_frame
      • 5.2.2.6. sp_encoder_get_stream
    • 5.2.3. DECODER（解码模块）API
      • 5.2.3.1. sp_init_decoder_module
      • 5.2.3.2. sp_release_decoder_module
      • 5.2.3.3. sp_start_decode
      • 5.2.3.4. sp_stop_decode
      • 5.2.3.5. sp_decoder_get_image
      • 5.2.3.6. sp_decoder_set_image
    • 5.2.4. DISPLAY（显示模块）API
      • 5.2.4.1. sp_init_display_module
      • 5.2.4.2. sp_release_display_module
      • 5.2.4.3. sp_start_display
      • 5.2.4.4. sp_stop_display
      • 5.2.4.5. sp_display_set_image
      • 5.2.4.6. sp_display_draw_rect
      • 5.2.4.7. sp_display_draw_string
      • 5.2.4.8. sp_get_display_resolution
    • 5.2.5. BPU（算法推理模块）API
      • 5.2.5.1. sp_init_bpu_module
      • 5.2.5.2. sp_bpu_start_predict
      • 5.2.5.3. sp_init_bpu_tensors
      • 5.2.5.4. sp_deinit_bpu_tensor
      • 5.2.5.5. sp_release_bpu_module
    • 5.2.6. SYS（模块绑定）API
      • 5.2.6.1. sp_module_bind
      • 5.2.6.2. sp_module_unbind
• 6. 算法工具链开发指南
  • 6.1. 简介
    • 6.1.1. 使用注意事项
  • 6.2. 入门指南
    • 6.2.1. 概述
    • 6.2.2. 环境安装
    • 6.2.3. 快速体验
      • 6.2.3.1. 开发环境准备
      • 6.2.3.2. 模型准备
      • 6.2.3.3. 模型验证
      • 6.2.3.4. 模型转换
      • 6.2.3.5. 模型上板运行
      • 6.2.3.6. 公版模型性能精度指标
  • 6.3. 进阶指南(PTQ)
    • 6.3.1. 概述
    • 6.3.2. 环境安装
      • 6.3.2.1. 交付物使用说明
        • 示例包源码目录结构说明
      • 6.3.2.2. 开发机部署
        • 开发机准备
        • 使用Docker环境
      • 6.3.2.3. 开发板部署
        • 补充文件准备
      • 6.3.2.4. 版本管理工具使用说明
        • ddk_vcs list
        • ddk_vcs install
        • ddk_vcs uninstall
        • ddk_vcs patch
        • ddk_vcs show
    • 6.3.3. PTQ原理及步骤详解
      • 6.3.3.1. 简介
      • 6.3.3.2. 模型准备
      • 6.3.3.3. 模型验证
        • 使用 hb_mapper checker 工具验证模型
        • 检查异常处理
        • 检查结果解读
        • 检查结果的调优指导
      • 6.3.3.4. 模型转换
        • 准备校准数据
        • 使用 hb_mapper makertbin 工具转换模型
        • 模型转换yaml配置参数说明
        • 转换内部过程解读
        • 转换结果解读
        • 转换产出物解读
      • 6.3.3.5. 模型性能分析
        • 开发机评测性能
        • 开发板实测性能
        • 模型性能优化
      • 6.3.3.6. 模型精度分析
        • 精度分析
        • 精度调优
      • 6.3.3.7. 其它工具使用说明
        • hb_perf 工具
        • hb_pack 工具
        • hb_model_info 工具
        • hb_model_modifier 工具
        • hb_model_verifier 工具
        • hb_eval_preprocess 工具
    • 6.3.4. 模型算子支持列表
      • 6.3.4.1. 使用限制说明
      • 6.3.4.2. 支持的Caffe算子列表
      • 6.3.4.3. 支持的ONNX算子列表
    • 6.3.5. 模型上板运行(runtime)应用开发说明
      • 6.3.5.1. 模型推理DNN API使用说明
        • 模型推理DNN API说明
        • 模型推理DNN API使用示例说明
      • 6.3.5.2. 模型上板分析工具说明
        • 概述
        • hrt_model_exec 工具使用说明
        • hrt_bin_dump 工具使用说明
      • 6.3.5.3. 公版模型精度评测说明
        • 公版模型性能精度指标
        • 评测方法说明
• 7. Linux 内核
  • 7.1. 内核头文件
    • 7.1.1. 安装
    • 7.1.2. 使用示例
      • 7.1.2.1. 编写Hello World驱动程序
      • 7.1.2.2. 编写Makefile
      • 7.1.2.3. 驱动模块签名
      • 7.1.2.4. 加载驱动模块
      • 7.1.2.5. 配置开机自动加载驱动
• 8. FAQ
  • 8.1. 系统类
    • 8.1.1. 开发板上电后无显示
    • 8.1.2. 开发板默认账户
    • 8.1.3. NTFS文件系统挂载
    • 8.1.4. vscode工具支持
    • 8.1.5. adb调试功能
    • 8.1.6. apt update更新失败
    • 8.1.7. 开发板文件传输方式
  • 8.2. 接口类
    • 8.2.1. 40PIN接口
    • 8.2.2. 串口
    • 8.2.3. 网络接口
    • 8.2.4. USB接口
    • 8.2.5. MIPI CSI接口
    • 8.2.6. 显示接口
  • 8.3. 多媒体类
    • 8.3.1. 视频编\解码
  • 8.4. 算法工具链类
    • 8.4.1. 模型量化错误及解决方法
      • 8.4.1.1. hb_mapper checker (01_check.sh) 错误
      • 8.4.1.2. hb_mapper makertbin (03_build.sh) 错误
    • 8.4.2. 算法模型上板错误及解决方法
    • 8.4.3. 模型量化及上板使用技巧
      • 8.4.3.1. Transformer使用说明
        • AddTransformer
        • MeanTransformer
        • ScaleTransformer
        • NormalizeTransformer
        • TransposeTransformer
        • HWC2CHWTransformer
        • CHW2HWCTransformer
        • CenterCropTransformer
        • PILCenterCropTransformer
        • LongSideCropTransformer
        • PadResizeTransformer
        • ResizeTransformer
        • PILResizeTransformer
        • ShortLongResizeTransformer
        • PadTransformer
        • ShortSideResizeTransformer
        • PaddedCenterCropTransformer
        • BGR2RGBTransformer
        • RGB2BGRTransformer
        • RGB2GRAYTransformer
        • BGR2GRAYTransformer
        • RGB2GRAY_128Transformer
        • RGB2YUV444Transformer
        • BGR2YUV444Transformer
        • BGR2YUV444_128Transformer
        • RGB2YUV444_128Transformer
        • BGR2YUVBT601VIDEOTransformer
        • RGB2YUVBT601VIDEOTransformer
        • YUVTransformer
        • ReduceChannelTransformer
        • BGR2NV12Transformer
        • RGB2NV12Transformer
        • NV12ToYUV444Transformer
        • WarpAffineTransformer
        • F32ToS8Transformer
        • F32ToU8Transformer
      • 8.4.3.2. 示例YOLOv5x模型使用说明
      • 8.4.3.3. 模型精度调优checklist
        • 1. 验证浮点onnx模型的推理结果
        • 2. 验证yaml配置文件以及前、后处理代码的正确性
        • 3. 验证模型的图优化阶段未引入精度误差
        • 4. 验证量化精度是否满足预期
        • 5. 确保模型编译过程无误且板端推理代码正确
      • 8.4.3.4. 模型量化yaml配置文件模板
        • caffe模型量化yaml文件模板
        • onnx模型量化yaml文件模板
      • 8.4.3.5. X3多核BPU使用说明
      • 8.4.3.6. 定点.bin模型上板多batch使用说明
      • 8.4.3.7. 模型转换工具链中的主动量化和被动量化逻辑
• 9. 建议反馈
  • 9.1. 反馈途径