多路视频压缩后传系统及方法与流程

本发明涉及视频处理技术领域，尤其涉及一种多路视频压缩后传系统及方法。

背景技术：

随着视频编解码技术的不断发展，视频逐步走向着高清晰、高动态、高数据量、多模态的方向演进，这对设备处理能力提出了越来越高的要求，传统的多路视频压缩分发采用的是cpu+gpu方案，gpu负责对视频进行压缩，由cpu负责对视频进行画中画、旋转等简单的处理，这样的技术存在以下几个缺点：

(1)受限于gpu的硬件能力和设计初衷，支持的视频编码通道比较少，一般只能支持双路1080p/30fps的h264编码。

(2)h264编码程序会占用较大cpu的处理能力，对系统安全和其他大型应用的安全运行构成挑战。

(3)由于只有特定型号的cpu+gpu才有视频编码功能，对系统的广泛部署带来不便，同时设备功耗大，布置成本也比较高。

所以，本质上存在着如何提高多路视频压缩的稳定性和安全性，并降低运行成本的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提出一种多路视频压缩后传系统及方法，旨在解决如何提高多路视频压缩的稳定性和安全性，并降低运行成本的技术问题。

为实现上述目的，本发明提供一种多路视频压缩后传系统，所述多路视频压缩后传系统包括：pcie接口子系统和智能视频处理子系统；

所述pcie接口子系统，用于获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像；

所述pcie接口子系统，还用于对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统；

所述智能视频处理子系统，用于对所述待选视频图像进行编码操作，获得目标视频图像；

所述智能视频处理子系统，还用于将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备。

优选地，所述pcie接口子系统包括：第一编码模块和第二编码模块；

所述第一编码模块，用于对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，并将所述待处理视频图像均传输至所述第二编码模块；

所述第二编码模块，用于对所述待处理视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统。

优选地，所述智能视频处理子系统包括：视频采集模块、视频处理模块和视频编码模块；

所述视频采集模块，用于将所述待选视频图像传输至不同的通道，获得通道图像，并将所述通道图像传输至所述视频处理模块；

所述视频处理模块，用于对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块；

所述视频编码模块，用于对所述目标通道图像进行编码操作，获得目标视频图像。

优选地，所述视频处理模块，还用于对各通道的通道图像分别进行去噪处理和去隔行处理，获得待选通道图像；

所述视频处理模块，还用于根据预设分辨率对所述待选通道图像进行缩放处理，获得待优化通道图像；

所述视频处理模块，还用于对所述待优化通道图像进行锐化处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块。

优选地，所述视频编码模块，还用于获取遮挡指令，从所述遮挡指令中提取遮挡区域和遮挡图像；

所述视频编码模块，还用于根据所述遮挡图像对所述遮挡区域进行遮挡操作，获得待编码视频图像；

所述视频编码模块，还用于对所述待编码图像进行编码操作，获得目标视频图像。

此外，为实现上述目的，本发明还提出一种多路视频压缩后传方法，所述多路视频压缩后传方法基于多路视频压缩后传系统，所述多路视频压缩后传系统包括：pcie接口子系统和智能视频处理子系统，所述多路视频压缩后传方法包括：

所述pcie接口子系统获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像；

所述pcie接口子系统对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统；

所述智能视频处理子系统对待选视频图像进行编码操作，获得目标视频图像；

所述智能视频处理子系统将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备。

优选地，所述pcie接口子系统包括：第一编码模块和第二编码模块；

所述pcie接口子系统对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统，具体包括：

所述第一编码模块对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，并将所述待处理视频图像均传输至所述第二编码模块；

所述第二编码模块对所述待处理视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统。

优选地，所述智能视频处理子系统包括：视频采集模块、视频处理模块和视频编码模块；

所述智能视频处理子系统对待选视频图像进行编码操作，获得目标视频图像，包括：

所述视频采集模块将所述待选视频图像传输至不同的通道，获得通道图像，并将所述通道图像传输至所述视频处理模块；

所述视频处理模块对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块；

所述视频编码模块对所述目标通道图像进行编码操作，获得目标视频图像。

优选地，所述视频处理模块对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块，包括：

所述视频处理模块对各通道的通道图像分别进行去噪处理和去隔行处理，获得待选通道图像；

所述视频处理模块根据预设分辨率对所述待选通道图像进行缩放处理，获得待优化通道图像；

所述视频处理模块对所述待优化通道图像进行锐化处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块。

优选地，所述视频编码模块对所述目标通道图像进行编码操作，获得目标视频图像，包括：

所述视频编码模块获取遮挡指令，从所述遮挡指令中提取遮挡区域和遮挡图像；

所述视频编码模块根据所述遮挡图像对所述遮挡区域进行遮挡操作，获得待编码视频图像；

所述视频编码模块对所述待编码图像进行编码操作，获得目标视频图像。

本发明提出的多路视频压缩后传系统，所述多路视频压缩后传系统包括：pcie接口子系统和智能视频处理子系统；所述pcie接口子系统，用于获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像；所述pcie接口子系统，还用于对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统；所述智能视频处理子系统，用于对所述待选视频图像进行编码操作，获得目标视频图像；所述智能视频处理子系统，还用于将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备，从而通过将多路初始视频流数据转换为合适的格式，以使智能视频处理子系统对其进行编码处理，解决了如何提高多路视频压缩的稳定性和安全性，并降低运行成本的技术问题。

附图说明

图1为本发明多路视频压缩后传系统第一实施例的功能模块示意图；

图2为本发明多路视频压缩后传系统第二实施例的功能模块示意图；

图3为本发明多路视频压缩后传系统第三实施例的功能模块示意图；

图4为本发明多路视频压缩后传方法第一实施例的流程示意图；

图5为本发明多路视频压缩后传方法第二实施例的流程示意图；

图6为本发明多路视频压缩后传方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明多路视频压缩后传系统第一实施例的结构框图，所述多路视频压缩后传系统包括：pcie接口子系统10和智能视频处理子系统20；

所述pcie接口子系统10，用于获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像。

需要说明的是，本发明中的智能视频处理子系统20为基于海思嵌入式soc的智能视频处理子系统，所述多路视频压缩后传系统除了pcie接口子系统和智能视频处理子系统外，还包括pcie电源模块，所述pcie电源模块给所述pcie接口子系统10和智能视频处理子系统20供电。

可以理解的是，所述多路初始视频流数据的具体数量为根据实际情况进行设定，本实施例对此不作限制，在本实施例中，以数量为4，即获取4路初始视频流数据为例进行说明。

应当理解的是，获取初始视频流数据的方式可为通过pcie接口接收pc端的视频流数据，也可为接收其他设备的视频流数据，本实施例对此不作限制。

应当理解的是，获取的多路初始视频流数据为常规的rgb格式的视频数据，因此，从所述初始视频流数据中提取出的初始视频图像也为rgb格式的，可以理解的是，所述初始视频图像可为以帧为单位的视频图像，本实施例对此不作限制。

所述pcie接口子系统10，还用于对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统。

需要说明的是，由于pcie接口子系统10接收的初始视频流数据是rgb格式的，但海思soc只支持bt1120格式的采集，而bt1120无法传输rgb格式的数据，因此，需要先将rgb格式的初始视频图像转换为yuv的形式，获得待处理视频图像，再将待处理视频图像转换为bt1120格式的待选视频图像，将待选视频图像均传输至智能视频处理子系统20。

应当理解的是，本发明中的本步骤以及后续步骤都是对4路视频数据进行同步处理。

所述智能视频处理子系统20，用于对待选视频图像进行编码操作，获得目标视频图像。

需要说明的是，由于pcie接口子系统10接收的初始视频流数据是rgb格式的，但海思soc只支持bt1120格式的采集，而bt1120无法传输rgb格式的数据，因此，需要先将rgb格式的初始视频图像转换为yuv的形式，获得待处理视频图像，再将待处理视频图像转换为bt1120格式的待选视频图像，将待选视频图像均传输至智能视频处理子系统20。

应当理解的是，本发明中的本步骤以及后续步骤都是对4路视频数据进行同步处理。

所述智能视频处理子系统20，还用于将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备。

可以理解的是，所述预设终端设备包括nvr端、pc端、录播服务器及云存储器等，本实施例对此不作限制，在本实施例中，以预设终端设备为nvr端为例进行说明。

应当理解的是，所述智能视频处理子系统20包括rtsp视频推流模块，在采集和发送编码数据之前，需要进行与darwin服务器之间的信令通道交互，本发明采用的是rtsp标准的announce(sdppayload)、setup、play过程，让darwin服务器端建立转发类(主要是在qtssreflectormodule中)，等待rtp数据的推送。

应当理解的是，所述智能视频处理子系统20还包括转发服务器，所述转发服务器是rtsp服务器darwin，darwin支持rtsp推模式转发、rtsp拉模式转发、录像、回放、web后台管理等功能，转发服务器具有极低的延时，整个测试发现，pc端vlc播放前端编码图像延时基本稳定在1s以内，nvr段播放前端编码图像推送延时稳定在1s，而且无论是pc端还是nvr端播放直播流，出画面都非常快。

应当理解的是，所述智能视频处理子系统20还包括onvif服务器模块，onvif协议作为视频监控行业的一个开发标准，在视频监控系统中得到了普遍的应用，onvif接口被划分为不同模块，包括：设备发现、设备管理、设备输入输出服务、图像配置、媒体配置、实时流媒体、接收端配置、显示服务、事件处理、ptz控制等，但传统的技术方案是单个计算机上只能实现一路onvif连接，实现单路视频的后传，但本发明支持4路不同ip接入onvif服务器，确保视频转发服务器上的4路视频能够与nvr上的4路监听通道一一对应。

应当理解的是，所述智能视频处理子系统20还包括web智能管理模块，web智能管理模块负责监听来自用户对设备的操作指令，传输给智能视频处理子系统或者pcie接口子系统，实现对系统的管理和控制，由于网络还需要后传多路视频流数据，带宽需求较大，一般都通过千兆网络交换机接入，所以本系统中采用千兆网络接口芯片。

本实施例通过上述方案，所述多路视频压缩后传系统包括：pcie接口子系统10和智能视频处理子系统20；所述pcie接口子系统10，用于获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像；所述pcie接口子系统10，还用于对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统20；所述智能视频处理子系统20，用于对所述待选视频图像进行编码操作，获得目标视频图像；所述智能视频处理子系统20，还用于将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备，从而通过将多路初始视频流数据转换为合适的格式，以使智能视频处理子系统对其进行编码处理，解决了如何提高多路视频压缩的稳定性和安全性，并降低运行成本的技术问题。

进一步地，参照图2，图2为本发明多路视频压缩后传系统第二实施例的结构框图，基于上述图1所示的实施例，提出本发明多路视频压缩后传系统的第二实施例，所述pcie接口子系统包括：第一编码模块101和第二编码模块102。

所述第一编码模块101，用于对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，并将所述待处理视频图像均传输至所述第二编码模块102。

需要说明的是，所述第一编码模块101为yuv编码模块，所述第二编码模块102为bt1120编码模块，所述pcie接口子系统除了这两个模块外，还包括pcie驱动模块。

应当理解的是，pcie是一种高性能互联协议，可应用于网络适配、图形加速、服务器、大数据传输、嵌入式系统等领域，pcie协议在软件层上可兼容于pci和pci-x，但同时也有明显的不同，在两个设备间，其是一种基于数据包、串行、点对点的互连，因此所连接设备独享通道带宽，根据使用的版本号和通道数，其性能具有可扩展性，对于pcie2.0，每条通道在每个方向上的数据传输速率是5.0gbit·s-1，从pcie×1～pcie×16，能满足一定时间内出现的低速设备和高速设备的需求，在pcie总线中，使用gt(gigatransfer)计算pcie链路的峰值带宽，gt是在pcie链路上传递的峰值带宽，其计算公式为总线频率×数据位宽×2。

可以理解的是，所述pcie驱动模块主要通过pcie接口完成pc端的初始视频流数据的接收，将4路初始视频流数据缓冲到ddr上，以便进行后续的多通道yuv编码和bt1120格式打包。

应当理解的是，由于pcie接收的数据是rgb格式，但是海思soc只支持bt1120格式的采集，bt1120无法传输rgb数据格式，所以需要先将rgb视频格式转换为yuv的形式，其中，y'代表明亮度，而u与v存储色度部分，亮度记作y，而y'的prime符号记作伽玛校正，yuvformats分成两个格式：紧缩格式(packedformats)：将y、u、v值存储成macropixels数组，和rgb的存放方式类似；平面格式(planarformats)：将y、u、v的三个分量分别存放在不同的矩阵中，本发明中采用的是yuv420p的数据格式。

可以理解的是，通过第一编码模块101对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，即可将rgb格式的初始视频图像转换为yuv格式的待处理视频图像。

所述第二编码模块102，用于对所述待处理视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统。

可以理解的是，第二编码模块102的接口有16根数据线和一根时钟线，可支持1080p数据传输，由于海思soc只支持bt1120的视频采集，第二编码模块的作用是把标准的视频vesa信号转为bt1120输出。

应当理解的是，第二编码模块102对待处理视频图像分别进行格式转换，获得bt1120格式的待选视频图像。

本实施例提供的方案，通过所述第一编码模块101对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，并将所述待处理视频图像均传输至所述第二编码模块102，所述第二编码模块102对所述待处理视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统，从而将rgb格式的初始视频图像转换为海思soc支持的格式，从而提升了系统的准确性。

进一步地，参照图3，图3为本发明多路视频压缩后传系统第三实施例的结构框图，基于上述图1或图2所示的实施例，提出本发明多路视频压缩后传系统的第三实施例，以基于图1进行说明，所述智能视频处理子系统包括：视频采集模块201、视频处理模块202和视频编码模块203。

所述视频采集模块201，用于将所述待选视频图像传输至不同的通道，获得通道图像，并将所述通道图像传输至所述视频处理模块。

可以理解的是，视频采集模块201负责接收pcie接口子系统传输的bt1120格式的待选视频图像，经过视频传输设备的加工，通过物理通道发送给接收者，也可通过扩展通道进行缩放后发送给视频处理模块202。

应当理解的是，将待选视频图像传输至不同的通道，可以方便后续的处理步骤。

所述视频处理模块202，用于对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块203。

具体为，所述视频处理模块202对各通道的通道图像分别进行去噪处理和去隔行处理，获得待选通道图像；所述视频处理模块202根据预设分辨率对所述待选通道图像进行缩放处理，获得待优化通道图像；所述视频处理模块202对所述待优化通道图像进行锐化处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块203。

可以理解的是，视频处理模块203是视频编码前的预处理单元，主要完成对一幅输入图像的统一预处理，如去噪、去隔行等，然后再对各通道分别进行缩放、锐化等处理，最后输出多种不同分辨率的图像，进行缩放的方式可为，根据预设分辨率进行缩放处理，也可为其他方式，本实施例对此不作限制。

所述视频编码模块203，用于对所述目标通道图像进行编码操作，获得目标视频图像。

具体为，所述视频编码模块203获取遮挡指令，从所述遮挡指令中提取遮挡区域和遮挡图像；所述视频编码模,203根据所述遮挡图像对所述遮挡区域进行遮挡操作，获得待编码视频图像；所述视频编码模块203对所述待编码图像进行编码操作，获得目标视频图像。

应当理解的是，视频编码模块203支持多路实时编码，且每路编码彼此独立，编码协议和编码profile可以不同，典型的编码流程包括了输入图像的接收、图像内容的遮挡和覆盖、图像的编码以及码流的输出等过程。

需要说明的是，视频编码模块203由编码通道子模块和编码协议子模块组成，通道组支持接收yuv格式的图像输入，支持格式为yuv4:2:0或yuv4:2:2，完成视频区域管理之后，图像被送入具体协议类型编码通道，完成视频编码，输出码流。

可以理解的是，图像内容的遮挡和覆盖操作可为，获取遮挡指令，从所述遮挡指令中提取遮挡区域和遮挡图像，根据所述遮挡图像对所述遮挡区域进行遮挡操作，获得待编码视频图像，然后对处理后的待编码视频图像进行编码操作，获得目标视频图像。

本实施例提供的方案，通过所述视频采集模块201将所述待选视频图像传输至不同的通道，获得通道图像，并将所述通道图像传输至所述视频处理模块；所述视频处理模块202对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块；所述视频编码模块203对所述目标通道图像进行编码操作，获得目标视频图像，从而对待选视频图像进行编码处理，获得目标视频图像，提高了系统的稳定性。

参照图4，本发明提出一种多路视频压缩后传方法，所述多路视频压缩后传方法基于多路视频压缩后传系统，所述多路视频压缩后传系统包括：pcie接口子系统和智能视频处理子系统，所述多路视频压缩后传方法包括：

步骤s10，所述pcie接口子系统获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像。

需要说明的是，本发明中的智能视频处理子系统为基于海思嵌入式soc的智能视频处理子系统，所述多路视频压缩后传系统除了pcie接口子系统和智能视频处理子系统外，还包括pcie电源模块，所述pcie电源模块给所述pcie接口子系统和智能视频处理子系统供电。

可以理解的是，所述多路初始视频流数据的具体数量为根据实际情况进行设定，本实施例对此不作限制，在本实施例中，以数量为4，即获取4路初始视频流数据为例进行说明。

应当理解的是，获取初始视频流数据的方式可为通过pcie接口接收pc端的视频流数据，也可为接收其他设备的视频流数据，本实施例对此不作限制。

应当理解的是，获取的多路初始视频流数据为常规的rgb格式的视频数据，因此，从所述初始视频流数据中提取出的初始视频图像也为rgb格式的，可以理解的是，所述初始视频图像可为以帧为单位的视频图像，本实施例对此不作限制。

步骤s20，所述pcie接口子系统对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统。

需要说明的是，由于pcie接口子系统接收的初始视频流数据是rgb格式的，但海思soc只支持bt1120格式的采集，而bt1120无法传输rgb格式的数据，因此，需要先将rgb格式的初始视频图像转换为yuv的形式，获得待处理视频图像，再将待处理视频图像转换为bt1120格式的待选视频图像，将待选视频图像均传输至智能视频处理子系统。

应当理解的是，本发明中的本步骤以及后续步骤都是对4路视频数据进行同步处理。

步骤s30，所述智能视频处理子系统对待选视频图像进行编码操作，获得目标视频图像。

可以理解的是，智能视频处理子系统可将接收到的待选视频图像传输至不同的通道，对各通道中的待选视频图像分别进行去噪、隔行处理，然后再对各通道分别进行缩放、锐化等处理，最后获得多种不同分辨率的图像，然后对各通道分别进行编码，获得目标视频图像。

步骤s40，所述智能视频处理子系统将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备。

可以理解的是，所述预设终端设备包括nvr端、pc端、录播服务器及云存储器等，本实施例对此不作限制，在本实施例中，以预设终端设备为nvr端为例进行说明。

应当理解的是，所述智能视频处理子系统包括rtsp视频推流模块，在采集和发送编码数据之前，需要进行与darwin服务器之间的信令通道交互，本发明采用的是rtsp标准的announce(sdppayload)、setup、play过程，让darwin服务器端建立转发类(主要是在qtssreflectormodule中)，等待rtp数据的推送。

应当理解的是，所述智能视频处理子系统还包括转发服务器，所述转发服务器是rtsp服务器darwin，darwin支持rtsp推模式转发、rtsp拉模式转发、录像、回放、web后台管理等功能，转发服务器具有极低的延时，整个测试发现，pc端vlc播放前端编码图像延时基本稳定在1s以内，nvr段播放前端编码图像推送延时稳定在1s，而且无论是pc端还是nvr端播放直播流，出画面都非常快。

应当理解的是，所述智能视频处理子系统还包括onvif服务器模块，onvif协议作为视频监控行业的一个开发标准，在视频监控系统中得到了普遍的应用，onvif接口被划分为不同模块，包括：设备发现、设备管理、设备输入输出服务、图像配置、媒体配置、实时流媒体、接收端配置、显示服务、事件处理、ptz控制等，但传统的技术方案是单个计算机上只能实现一路onvif连接，实现单路视频的后传，但本发明支持4路不同ip接入onvif服务器，确保视频转发服务器上的4路视频能够与nvr上的4路监听通道一一对应。

应当理解的是，所述智能视频处理子系统还包括web智能管理模块，web智能管理模块负责监听来自用户对设备的操作指令，传输给智能视频处理子系统或者pcie接口子系统，实现对系统的管理和控制，由于网络还需要后传多路视频流数据，带宽需求较大，一般都通过千兆网络交换机接入，所以本系统中采用千兆网络接口芯片。

本实施例通过上述方案，通过所述pcie接口子系统获取多路初始视频流数据，并从所述初始视频流数据中分别提取初始视频图像；所述pcie接口子系统对所述初始视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统；所述智能视频处理子系统对待选视频图像进行编码操作，获得目标视频图像；所述智能视频处理子系统将所述目标视频图像作为压缩后的待输出视频图像，根据所述待输出视频图像生成待输出视频流数据，并将所述待输出视频流数据传输至预设终端设备，从而通过将多路初始视频流数据转换为合适的格式，以使智能视频处理子系统对其进行编码处理，解决了如何提高多路视频压缩的稳定性和安全性，并降低运行成本的技术问题。

进一步地，如图5所示，基于第一实施例提出本发明多路视频压缩后传方法第二实施例，在本实施例中，所述pcie接口子系统包括：第一编码模块和第二编码模块，所述步骤s20，包括：

步骤s201，所述第一编码模块对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，并将所述待处理视频图像均传输至所述第二编码模块。

需要说明的是，所述第一编码模块为yuv编码模块，所述第二编码模块为bt1120编码模块，所述pcie接口子系统除了这两个模块外，还包括pcie驱动模块。

应当理解的是，pcie是一种高性能互联协议，可应用于网络适配、图形加速、服务器、大数据传输、嵌入式系统等领域，pcie协议在软件层上可兼容于pci和pci-x，但同时也有明显的不同，在两个设备间，其是一种基于数据包、串行、点对点的互连，因此所连接设备独享通道带宽，根据使用的版本号和通道数，其性能具有可扩展性，对于pcie2.0，每条通道在每个方向上的数据传输速率是5.0gbit·s-1，从pcie×1～pcie×16，能满足一定时间内出现的低速设备和高速设备的需求，在pcie总线中，使用gt(gigatransfer)计算pcie链路的峰值带宽，gt是在pcie链路上传递的峰值带宽，其计算公式为总线频率×数据位宽×2。

可以理解的是，所述pcie驱动模块主要通过pcie接口完成pc端的初始视频流数据的接收，将4路初始视频流数据缓冲到ddr上，以便进行后续的多通道yuv编码和bt1120格式打包。

应当理解的是，由于pcie接收的数据是rgb格式，但是海思soc只支持bt1120格式的采集，bt1120无法传输rgb数据格式，所以需要先将rgb视频格式转换为yuv的形式，其中，y'代表明亮度，而u与v存储色度部分，亮度记作y，而y'的prime符号记作伽玛校正，yuvformats分成两个格式：紧缩格式(packedformats)：将y、u、v值存储成macropixels数组，和rgb的存放方式类似；平面格式(planarformats)：将y、u、v的三个分量分别存放在不同的矩阵中，本发明中采用的是yuv420p的数据格式。

可以理解的是，通过第一编码模块对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，即可将rgb格式的初始视频图像转换为yuv格式的待处理视频图像。

步骤s202，所述第二编码模块对所述待处理视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统。

可以理解的是，第二编码模块的接口有16根数据线和一根时钟线，可支持1080p数据传输，由于海思soc只支持bt1120的视频采集，第二编码模块的作用是把标准的视频vesa信号转为bt1120输出。

应当理解的是，第二编码模块对待处理视频图像分别进行格式转换，获得bt1120格式的待选视频图像。

本实施例提供的方案，通过所述第一编码模块对所述初始视频图像分别进行颜色空间编码转换，获得待处理视频图像，并将所述待处理视频图像均传输至所述第二编码模块，所述第二编码模块对所述待处理视频图像分别进行格式转换，获得待选视频图像，并将所述待选视频图像均传输至所述智能视频处理子系统，从而将rgb格式的初始视频图像转换为海思soc支持的格式，从而提升了系统的准确性。

进一步地，如图6所示，基于第一实施例或第二实施例提出本发明多路视频压缩后传方法第三实施例，在本实施例中，基于第一实施例进行说明，所述智能视频处理子系统包括：视频采集模块、视频处理模块和视频编码模块，所述步骤s30，包括：

步骤s301，所述视频采集模块将所述待选视频图像传输至不同的通道，获得通道图像，并将所述通道图像传输至所述视频处理模块。

可以理解的是，视频采集模块负责接收pcie接口子系统传输的bt1120格式的待选视频图像，经过视频传输设备的加工，通过物理通道发送给接收者，也可通过扩展通道进行缩放后发送给视频处理模块。

应当理解的是，将待选视频图像传输至不同的通道，可以方便后续的处理步骤。

步骤s302，所述视频处理模块对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块。

进一步地，所述步骤s302，包括：

所述视频处理模块对各通道的通道图像分别进行去噪处理和去隔行处理，获得待选通道图像；所述视频处理模块根据预设分辨率对所述待选通道图像进行缩放处理，获得待优化通道图像；所述视频处理模块对所述待优化通道图像进行锐化处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块。

可以理解的是，视频处理模块是视频编码前的预处理单元，主要完成对一幅输入图像的统一预处理，如去噪、去隔行等，然后再对各通道分别进行缩放、锐化等处理，最后输出多种不同分辨率的图像，进行缩放的方式可为，根据预设分辨率进行缩放处理，也可为其他方式，本实施例对此不作限制。

步骤s303，所述视频编码模块对所述目标通道图像进行编码操作，获得目标视频图像。

进一步地，所述步骤s303，包括：

所述视频编码模块获取遮挡指令，从所述遮挡指令中提取遮挡区域和遮挡图像；所述视频编码模块根据所述遮挡图像对所述遮挡区域进行遮挡操作，获得待编码视频图像；所述视频编码模块对所述待编码图像进行编码操作，获得目标视频图像。

应当理解的是，视频编码模块支持多路实时编码，且每路编码彼此独立，编码协议和编码profile可以不同，典型的编码流程包括了输入图像的接收、图像内容的遮挡和覆盖、图像的编码以及码流的输出等过程。

需要说明的是，视频编码模块由编码通道子模块和编码协议子模块组成，通道组支持接收yuv格式的图像输入，支持格式为yuv4:2:0或yuv4:2:2，完成视频区域管理之后，图像被送入具体协议类型编码通道，完成视频编码，输出码流。

可以理解的是，图像内容的遮挡和覆盖操作可为，获取遮挡指令，从所述遮挡指令中提取遮挡区域和遮挡图像，根据所述遮挡图像对所述遮挡区域进行遮挡操作，获得待编码视频图像，然后对处理后的待编码视频图像进行编码操作，获得目标视频图像。

本实施例提供的方案，通过所述视频采集模块将所述待选视频图像传输至不同的通道，获得通道图像，并将所述通道图像传输至所述视频处理模块；所述视频处理模块对各通道的通道图像进行图像处理，获得目标通道图像，并将所述目标通道图像传输至所述视频编码模块；所述视频编码模块对所述目标通道图像进行编码操作，获得目标视频图像，从而对待选视频图像进行编码处理，获得目标视频图像，提高了系统的稳定性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台智能终端设备(可以是手机，计算机，终端设备，空调器，或者网络终端设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。