5.1. 多媒体接口使用说明

5.1.1. 模块概要介绍

5.1.1.1. 模块名

hobot_vio是python包名,libsrcampy是模块名称,里面包含四个子模块,分别为Camera、Encoder、Decoder、Display。

5.1.1.2. 创建对象的方法

导入模块: from hobot_vio import libsrcampy

对象 = libsrcampy.<模块名>

5.1.1.3. 使用模块对应的方法

<模块名>.<方法>

比如img = cam.get_img(),返回值为具体的对象,可以对该对象进行具体的操作。

5.1.2. 软件接口

5.1.2.1. libsrcampy部分

bind

【函数声明】

int bind(PyObject *src, PyObject *dst);

【功能描述】

绑定两个模块,使其数据流自动流转

【参数描述】

参数名称 描述
src 源数据模块
dst 目标数据模块

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】无

【参考代码】接口使用示例代码

unbind

【函数声明】

int unbind(PyObject *src, PyObject *dst);

【功能描述】

解绑两个模块

【参数描述】

参数名称 描述
src 源数据模块
dst 目标数据模块

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】无

【参考代码】接口使用示例代码

5.1.2.2. Camera部分

libsrcampy.Camera:

open_cam

【函数声明】

int open_cam(int pipe_id, int video_index, int fps = 30, int width = 1920, int height = 1080);

【功能描述】

打开camera,打开后内部数据流开始运转

【参数描述】

参数名称 描述
pipe_id 当前pipeline所属pipe_id
video_index video_index 对应camera的索引 1:F37
fps camera输出帧率
width camera输出宽,默认值与具体camera有关
height camera输出高,默认值与具体camera有关

【返回值】

返回值 描述
1 成功
0 失败

【注意事项】

1.若设置宽高与camera输出宽高不同,则内部会使能两个输出size,一个位原始camera输出size,一个为设置的size;

【参考代码】接口使用示例代码

get_img

【函数声明】

PyObject *get_img(int module = 2, int width, int height);

【功能描述】

获取图像,需要在open_cam之后调用

【参数描述】

参数名称 描述
module 获取对应模块的图像,只能使用 2:IPU
width 可设置为原图或open_cam时指定的宽高
height 同上

【返回值】

返回值 描述
PyBytesObeject 成功
PyNoneType 失败

【注意事项】

1.需要在open_cam之后调用;

【参考代码】接口使用示例代码

close_cam

【函数声明】

PyNoneType close_cam();

【功能描述】

关闭camera

【参数描述】无

【返回值】

返回值 描述
PyNoneType

【注意事项】

1.调用open_cam之后,退出程序时调用;

【参考代码】接口使用示例代码

5.1.2.3. Encode部分

libsrcampy.Encoder:

encode

【函数声明】

int encode(int video_chn, int type, int width, int height, int bits = 8000);

【功能描述】

编码模块的encode方法,用于图像的编码

【参数描述】

参数名称 描述
video_chn 对应的编码器通道(0-31)
type 编码类型 1:H264 2:H265 3:MJPEG
width 编码的图像宽度
height 编码的图像高度
bits 编码速率,默认为8000

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】无

【参考代码】接口使用示例代码

encode_file

【函数声明】

int encode_file(const char *file);

【功能描述】

编码模块的encode方法,用于图像文件的编码

【参数描述】

参数名称 描述
file 需要编码的YUV文件,需要使用NV12格式

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】无

【参考代码】接口使用示例代码

get_img

【函数声明】

PyObject *get_img();

【功能描述】

编码模块的get_img方法,返回python对象该接口内部会释放buffer,无需用户释放

【参数描述】无

【返回值】

返回值 描述
PyBytesObeject 成功
PyNoneType 失败

【注意事项】

1.需要在encode之后调用;

【参考代码】接口使用示例代码

close

【函数声明】

int close();

【功能描述】

编码模块的close方法,关闭编码模块

【参数描述】无

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】

1.调用encode或encode_file之后,退出程序时调用;

【参考代码】接口使用示例代码

5.1.2.4. Decode部分

libsrcampy.Decoder:

decode

【函数声明】

int decode(char *file, int video_chn, int type, int width, int height, int dec_mode = 1);

【功能描述】

解码模块的decode方法,用于图像的解码

【参数描述】

参数名称 描述
file 需要解码的文件名
video_chn 对应的解码器通道(0-31)
type 编码类型 1:H264 2:H265 3:MJPEG
width 解码的图像宽度
height 解码的图像高度
dec_mode 解码的码流形式 0:STREAM 1:FRAME

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】无

【参考代码】接口使用示例代码

get_img

【函数声明】

PyObject *get_img();

【功能描述】

解码模块的get_img方法,返回python对象,返回python对象该接口内部会释放buffer,无需用户释放

【参数描述】无

【返回值】

返回值 描述
PyBytesObeject 成功
PyNoneType 失败

【注意事项】

1.需要在decode之后调用;

【参考代码】接口使用示例代码

close

【函数声明】

int close();

【功能描述】

解码模块的close方法,关闭解码模块

【参数描述】无

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】

1.调用decode之后,退出程序时调用;

【参考代码】接口使用示例代码

5.1.2.5. Display部分

libsrcampy.Display:

display

【函数声明】

int display(int chn = 0, int width = 1920, int height = 1080, int vot_intf = 0, int vot_out_mode = 1);

【功能描述】

显示模块的display方法,用于图像显示初始化

【参数描述】

参数名称 描述
chn chn 显示输出层,0~1为video层,2~3为图形层
width 显示的图像宽度
height 显示的图像高度
vot_intf 默认0为VOT_OUTPUT_1920x1080,表示硬件层输出分辨率
vot_out_mode 默认输出模式1为HDMI输出,表示硬件层的输出接口

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】无

【参考代码】接口使用示例代码

set_img

【函数声明】

PyObject *set_img(PyObject *img);

【功能描述】

显示模块的set_img方法,设置PyBytesObject对象

【参数描述】无

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】

1.需要在display之后调用;

【参考代码】接口使用示例代码

close

【函数声明】

int close();

【功能描述】

显示模块的close方法,关闭显示模块

【参数描述】无

【返回值】

返回值 描述
0 成功
非0 失败

【注意事项】

1.调用display之后,退出程序时调用;

【参考代码】接口使用示例代码

5.1.3. 接口使用示例代码

import sys, os, time
from hobot_vio import libsrcampy

def test_camera():
    cam = libsrcampy.Camera()
    cam.open_cam(0, 1, 30, 1920, 1080)
    # wait for isp tuning
    time.sleep(1)
    img = cam.get_img(2)
    if img is not None:
        #save file
        fo = open("output.img", "wb")
        fo.write(img)
        fo.close()
        print("camera save img file success")
    else:
        print("camera save img file failed")
    cam.close_cam()
    print("test_camera done!!!")

def test_encode():
    #encode file
    enc = libsrcampy.Encoder()
    enc.encode(0, 1, 1920, 1080)

    #save file
    fo = open("encode.h264", "wb+")
    a = 0
    fin = open("output.img", "rb")
    input_img = fin.read()
    fin.close()
    while a < 100:
        enc.encode_file(input_img)
        img = enc.get_img()
        if img is not None:
            fo.write(img)
            print("encode write image success count: %d" % a)
        else:
            print("encode write image failed count: %d" % a)
        a = a + 1

    enc.close()
    print("test_encode done!!!")

def test_decode():
    #decode start
    dec = libsrcampy.Decoder()

    ret = dec.decode("encode.h264", 0, 1, 1920, 1080)
    print ("frame count: %d" % ret[1])

    img = dec.get_img()
    if img is not None:
        #save file
        fo = open("output.img", "wb")
        fo.write(img)
        fo.close()
        print("decode save img file success")
    else:
        print("decode save img file failed")

    dec.close()
    print("test_decode done!!!")
    
def test_display():
    disp = libsrcampy.Display()
    disp.display(0, 1920, 1080, 0, 1)
    
    fo = open("output.img", "rb")
    img = fo.read()
    fo.close()
    disp.set_img(img)
    time.sleep(1)

    disp.close()
    print("test_display done!!!")

def test_camera_bind_encode():
    #camera start
    cam = libsrcampy.Camera()
    cam.open_cam(0, 1, 30, 1920, 1080)

    #encode start
    enc = libsrcampy.Encoder()
    enc.encode(0, 1, 1920, 1080)
    libsrcampy.bind(cam, enc)

    #save file
    fo = open("encode.h264", "wb+")
    a = 0
    while a < 100:
        img = enc.get_img()
        if img is not None:
            fo.write(img)
            print("encode write image success count: %d" % a)
        else:
            print("encode write image failed count: %d" % a)
        a = a + 1
    fo.close()

    print("save encode file success")
    libsrcampy.unbind(cam, enc)
    enc.close()
    cam.close_cam()
    print("test_camera_bind_encode done!!!")

def test_camera_bind_display():
    #camera start
    cam = libsrcampy.Camera()
    cam.open_cam(0, 1, 30, 1920, 1080)

    #display start
    disp = libsrcampy.Display()
    disp.display(0, 1920, 1080, 0, 1)
    libsrcampy.bind(cam, disp)
    
    time.sleep(5)

    libsrcampy.unbind(cam, disp)
    disp.close()
    cam.close_cam()
    print("test_camera_bind_display done!!!")

def test_decode_bind_display():
    #decode start
    dec = libsrcampy.Decoder()

    dec.decode("encode.h264", 0, 1, 1920, 1080)

    #display start
    disp = libsrcampy.Display()
    disp.display(0, 1920, 1080, 0, 1)
    libsrcampy.bind(dec, disp)
    
    time.sleep(5)

    libsrcampy.unbind(dec, disp)
    disp.close()
    dec.close()
    print("test_decode_bind_display done!!!")


test_camera()
test_encode()
test_decode()
test_display()
test_camera_bind_encode()
test_camera_bind_display()
test_decode_bind_display()