海思编解码芯片实现多画面叠加的方法和系统与流程

本发明涉及画面处理技术领域，特别涉及海思编解码芯片实现多画面叠加的方法和系统。

背景技术：

系统芯片(soc，systemonchip，也叫片上系统)，包括了编解码单元(用于压缩视频流)，cpu(系统控制)，isp(图像信号处理)等几个部分。早年上述每个功能都是分立的芯片，现在可以集成到一颗芯片里。不管是电视，还是视频监控，大量制造商都采用海思芯片。

但是，在画面处理方面，现有技术中没有很好的实现画面叠加的技术方案。

技术实现要素：

针对现有技术存在的问题，本发明提供海思编解码芯片实现多画面叠加的方法和系统。

为实现上述目的，本发明的具体方案如下：

提供海思编解码芯片实现多画面叠加的方法，该方法包括如下步骤：

s1，获取多画面，对每一画面上不同类型物体进行参照物识别，形成参照物集合；

s2、指定其一画面为背景画面，其余画面为待叠加画面；

s3，以背景画面为基准，依次调整待叠加画面角度，使其与背景画面上同类型参照物偏移量最小进行画面叠加合成；

其中，画面叠加合成通过海思编解码芯片完成。

进一步地，所述参照物偏移量根据如下公式来确定：

其中：

f表示，偏移描述函数；

δ表示，偏移量的差额；

θ表示，叠加画面偏转的角度，0°≤θ≤360°；

δn表示，第n参照物的偏移量，n为正整数。

进一步地，步骤s1识别的参照物的数量为3个，且不在同一条直线上。

进一步地，所述叠加画面的个数为3个。

进一步地，所述叠加画面位于背景画面的上层。

进一步地，画面叠加合成前通过海思芯片的vpss缩放模块对叠加画面进行偏移、旋转、裁剪或缩放。

海思编解码芯片实现多画面叠加的系统，包括：画面输入源、海思编解码芯片、画面显示端、编辑器；

海思编解码芯片包含：vpss缩放模块、vdec视频解码模块、venc视频编码模块、显示帧缓冲区、vo模块；

画面输入源将画面信息输送到venc视频编码模块，经过venc视频编码模块处理的画面信息发送给vpss缩放模块进行偏移、旋转、缩放、裁剪、合成处理，编辑器与海思编解码芯片的vpss缩放模块连接，进行画面的编辑工作，处理后的画面通过vdec视频解码模块处理，通过ive模块拷贝到显示帧缓冲区，由vo模块将显示帧缓冲区的画面信息传递给画面显示端显示。

进一步地，所述编辑器包含用户操作界面。

采用本发明的技术方案，具有以下有益效果：

本发明提供海思编解码芯片实现多画面叠加的方法和系统，包括画面输入源、海思编解码芯片、画面显示端、编辑器；经过确定参照物和偏移量，对叠加画面进行偏移、旋转、裁剪或缩放，将偏移、旋转、裁剪或缩放后的叠加画面放置到背景画面上等步骤，通过海思编解码芯片，将不同的已实现的画面叠加到一起，形成新的更为复杂的画面，以丰富画面展现的内容，提供更多彩的展示图像。

附图说明

图1是本发明具体实施方式的步骤流程图；

图2是本发明具体实施方式的各功能模块连接关系图；

图3是本发明具体实施方式的hi3531芯片功能框图。

具体实施方式

以下结合附图和具体实施例，对本发明进一步说明。

结合图1-图3对本发明的具体原理和步骤进行说明：

本发明关于海思编解码芯片实现多画面叠加的方法，该方法包括如下步骤：s1，获取多画面，对每一画面上不同类型物体进行参照物识别，形成参照物集合；s2、指定其一画面为背景画面，其余画面为待叠加画面；s3，以背景画面为基准，依次调整待叠加画面角度，使其与背景画面上同类型参照物偏移量最小进行画面叠加合成；其中，画面叠加合成通过海思编解码芯片完成。

当参照物数量为3个时，参照物偏移量根据如下公式来确定：

其中：

f表示，偏移描述函数；

δ表示，偏移量的差额；

θ表示，叠加画面偏转的角度，0°≤θ≤360°；

δ1表示，第一参照物的偏移量；

δ2表示，第二参照物的偏移量；

δ3表示，第三参照物的偏移量。

当参照物的数量增加到n时参照物偏移量公式如下：

δn表示，第n参照物的偏移量，n为正整数。

步骤s1识别的参照物的数量为3个或者3个以上，参照物不在同一条直线上。叠加画面的个数为3个或者3个以上，也可以只有一个叠加画面；所述叠加画面位于背景画面的上层，也可以与背景画面呈一定角度相交；画面叠加合成前通过海思芯片的vpss缩放模块对叠加画面进行偏移、旋转、裁剪或缩放。

在叠加画面上选取与背景画面上同种类型的物体作为参照物，以背景画面上同种类型的参照物为基准，对叠加画面进行θ角度的偏移，偏移之后，

δ

叠加画面上面的同种类型参照物相对于背景画面上面的同种类型的参照物位置偏移量为，通过多个参照物的偏移量确定偏移后的叠加画面。

以此类推，对多张叠加画面进行处理，最后将处理后的叠加画面与背景画面进行合成，形成新的画面。

海思编解码芯片实现多画面叠加的系统，包括：画面输入源、海思编解码芯片、画面显示端、编辑器；海思编解码芯片包含：vpss缩放模块、vdec视频解码模块、venc视频编码模块、显示帧缓冲区、vo模块；

画面输入源将画面信息输送到venc视频编码模块，经过venc视频编码模块处理的画面信息发送给vpss缩放模块进行偏移、旋转、缩放、裁剪、合成处理，编辑器与海思编解码芯片的vpss缩放模块连接，进行画面的编辑工作，处理后的画面通过vdec视频解码模块处理，通过ive模块拷贝到显示帧缓冲区，由vo模块将显示帧缓冲区的画面信息传递给画面显示端显示，所述编辑器包含用户操作界面。

海思3531芯片介绍：

由于本实施方案涉及海思3531芯片，现对该芯片简单介绍，

1、媒体处理平台(mpp)

2、视频缓存池：向媒体业务提供大块内存管理功能。

3、视频编码模块venc支持以下协议编码：(1)h.264(2)jpeg(3)mjpeg(4)mpeg-4。

4、编码模块的输入源包括三类：

(1)用户态读取图像文件向编码模块发送数据；

(2)视频输入(viu)模块采集的图像经过视频处理子系统(vpss)发送到编码模块；

(3)视频输入(viu)模块采集的图像直接发送到编码模块:。

5、视频前处理单元vpss(videoprocesssub-system)：

(1)支持对一幅输入图像进行统一处理，然后进行缩放输出；

(2)一进五出(0～4)；

(3)一幅图像最多输出4种不同分辨率的预处理后图像，

0：主码流1：辅码流2：jpeg3：预览。

6、典型的编码流程包括：

(1)输入图像的接收；(2)图像内容的遮挡和覆盖；(3)图像的编码；(4)码流的输入。

7、编码通道：

完成图像转化为码流的功能，具体由码率控制器和编码器协同完成，

(1)码率控制器：提供了对编码参数的控制和调整，从而对输出码率进行控制；

(2)编码器：只完成编码功能。

8、编码通道组：

指芯片启动一次，能够同时处理的编码通道的集合，hi3531编码通道组支持启动一次，仅编码一路主码流通道。

9、系统绑定：

通过数据接收者绑定数据源来建立两者之间的关联关系。绑定后，数据源生成的数据将自动发给接收者。

10、一些名词简写：

vi：视频输入vo：视频输出

vpss：视频处理vda：视频侦测分析

venc：视频编码ai：音频输入

vdec：视频解码ao：音频输出

11、hi3531解码器提供两种码流发送方式：

(1)流式发送，(2)按帧发送。

12、hi3531解码器图像传输方式：

(1)普通传输：完全按照h.264协议输出图像，速度慢

(2)直接输出：收到下一帧码流，输出当前帧图像，次之

(3)按帧输出：收到当前帧码流，输出当前帧图像，速度快。

13、vi模块(视频输入)

(1)实现的功能：将芯片外的视频数据，通过接口接收，存入到指定的内存区域。实现一路原始视频图像输入，两路视频图像输出功能；

(2)hi3531芯片有4个bt.1120接口，每个bt.1120接口依次对应两个vi设备；

(3)hi3531芯片有8个(4*2)vi设备端口(dev0～dev7)，32个vi物理通道，2个级联扩展通道；

(4)8个vi设备端口均支持2路d1复合模式，以及1路720pinterleave模式。

14、音频模块，audio模块包括：

(1)音频输入，(2)音频输出，(3)音频编码，(4)音频解码。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。