基于GPU融合处理的超清画质图像数据处理方法与装置与流程

基于gpu融合处理的超清画质图像数据处理方法与装置
技术领域
1.本发明属于亿级像素视频处理技术领域，尤其涉及一种基于gpu融合处理的超清画质图像数据处理方法与装置、实现所述方法的计算机设备以及存储介质。


背景技术：

2.电子消费升级以来，无论是手机、电脑还是电视都在朝着更高分辨率、更高速度以及更智能的方向发展。高分辨率(高像素)代表着高质量与高清晰度，高清的视频图像不仅在军事、医学、监控、天文等方面有着广泛的应用,而且也能给娱乐生活带来更舒适的视觉体验。
3.与此相对应的，视频分辨率越来越高，从高清，超清发展至4k、8k以及vr/ar，甚至亿级像素、十亿像素相机出现。相比于普通的相机拍摄的百万像素，十亿像素场景构成的超清画质图像数据能够实现一个画面掌握全场动态，在大视场角下同样能够实现远距离监测的能力。十亿像素视频能够实现现场的全程细节毫无遗漏的捕捉记录，一台亿级像素系统相当于72台1080p相机捕捉效果，从而减少相机布点的硬件和人力成本。
4.然而，当成像分辨率超过亿级时，产生的数据量也剧增；同时，当前的亿级像素分辨率视频通常通过光场相机阵列捕捉，而光场相机阵列产生的数据是多维度、多通道式结构，并且数据通量较大，如果按照传统的图像处理方式进行数据传输或者视频融合处理，将导致高清亿级像素的图像数据质量降低，反而无法达到超清画质效果。


技术实现要素：

5.为解决上述技术问题，本发明提出一种基于gpu融合处理的超清画质图像数据处理方法与装置、实现所述方法的计算机设备以及存储介质。
6.在本发明的第一个方面，提出一种基于gpu融合处理的超清画质图像数据处理方法，所述方法可以通过终端设备实现，该方法具体包括如下步骤：
7.s1：接收超清画质图像数据；
8.s2：异步传输所述超清画质图像数据中的第一通道数据和第二通道数据；
9.s3：基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数；
10.s4：融合可以同步的第一通道数据和第二通道数据；
11.其中，所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据。
12.所述步骤s3提及的所述第一通道数据和第二通道数据的同步性要求包括：在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合。
13.作为本发明待处理数据的来源基础，所述步骤s1包括：
14.通过高清阵列的光场相机采集获得所述超清画质图像数据。
15.在此基础上，所述步骤s2包括：
16.识别所述超清画质图像数据中的第一通道数据和第二通道数据；
17.在第一时间段传输所述第一通道数据；
18.在第二时间段传输所述第二通道数据；
19.所述第二时间段的起点晚于所述第一时间段。
20.更具体的，由cpu完成所述第一通道数据和第二通道数据的识别，并由cpu处理所述第二通道数据，并将第一通道数据分配给启动的gpu核处理。
21.基于cpu和gpu构成异构处理系统中，所述步骤s3还包括：
22.在确定启动的gpu核数后，将所述第一通道数据平均分配给启动的gpu核处理。
23.作为上述方法的整体性执行要求，所述步骤s4还包括：
24.若所述第一通道数据和第二通道数据无法同步，则返回步骤s2。
25.为实现第一个方面所述的方法，在本发明的第二个方面，提供一种基于gpu融合处理的超清画质图像数据处理装置，所述装置包括光场相机阵列以及与所述光场相机阵列通信的图像识别模组。
26.所述图像识别模组连接异构处理器系统，所述异构处理器系统包括cpu模组和gpu模组，所述cpu模组包括多个cpu核，所述gpu模组包括多个gpu核；
27.所述装置还包括异步传输模组；
28.所述异步传输模组连接所述图像识别模组；
29.所述光场相机阵列将采集的光场图像数据发送至所述图像识别模组，
30.所述图像识别模组通过所述异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
31.通过所述异步传输模组异步传输所述第一通道数据和第二通道数据；
32.所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据；
33.通过所述cpu模组处理所述第二通道数据，并将第一通道数据分配给所述gpu模组。
34.在具体实现中，所述cpu模组将第一通道数据分配给所述gpu模组，具体包括：
35.基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数；
36.在确定启动的gpu核数后，将所述第一通道数据平均分配给启动的gpu核处理。
37.本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。
38.因此，在本发明的第三个方面，本发明可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，实现第一个方面所述的一种基于gpu融合处理的超清画质图像数据处理方法。
39.同样的，在本发明的第四个方面，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述基于gpu融合处理的超清画质图像数据处理方法的全部或者部分步骤。
40.通过异步传输超清画质图像数据中的第一通道数据和第二通道数据，并基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数后融合可以同步的第一通道数据和第二通道数据，本发明可以确保高清阵列光场相机采集的多维度、高通量数据在进行视频融合时质量不会降低，并且能够自适应性的融合gpu核数进行调控处理，cpu用于调控gpu启动次数，避免了同时启动较多gpu核带来的非同步性数据等待。
41.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明一个实施例的一种基于gpu融合处理的超清画质图像数据处理方法的主体流程示意图；
44.图2是图1所述方法的进一步具体实施例示意图；
45.图3是实现图1或图2所述方法的基于gpu融合处理的超清画质图像数据处理装置的架构图；
46.图4是图3所述基于gpu融合处理的超清画质图像数据处理装置的部分工作原理示意图；
47.图5是实现图1所述方法的计算机设备、存储介质以及计算机程序的示意图；
48.图6是本发明一个实施例的基于gpu融合处理的超清画质图像数据处理方法的优选实施例示意图
具体实施方式
49.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
50.在介绍本发明的各个实施例之前，先介绍与本技术有关的部分现有技术。
51.光场，类似于电场、磁场的概念，用以描述光的一些特性，其包含了光线强度、位置、方向等信息；
52.光场相机(light-field camera)，也称为全光相机(plenoptic camera),具体来说就是用极大量的微小透镜捕捉不同来源和不同角度的光线，每个透镜负责处理一定数量的像素。理论上，如果透镜数量足够的多，那么可以做到在整个光场区域捕捉的光都是清晰可辨的。
53.有关光场相机的进一步介绍可以参见如下现有技术：
54.adelson e h,wang j y a.single lens stereo with a plenoptic camera[j].ieee transactions on pattern analysis and machine intelligence,1992,14(2):99-106.
[0055]
us7965936 b2：4d light field cameras；
[0056]
黄焓.用于光场成像的光学系统设计方法研究[d].浙江大学,2015。
[0057]
光场相机不仅可以采集到图像信息(平面的、二维图像信息)，还可以通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息；光场相机还能同时获取成像时光线的空间信息和角度信息，将二维图像中的像素按照一定规则映射为多维(大于2维，例如三维或者四维)光场进行重新投影，得到不同视角和不同相平面的对焦图像。
[0058]
深度图信息，用于在图像的每一个像素值中，表示场景中某点与摄像机(视点)的
距离。
[0059]
在上述基础上，接下来介绍本发明的各个实施例。
[0060]
首先，参见图1。图1是本发明一个实施例的一种基于gpu融合处理的超清画质图像数据处理方法的主体流程示意图。
[0061]
在图1中，所述方法包括步骤s1-s4，各个步骤具体实现如下：
[0062]
s1：接收超清画质图像数据；
[0063]
s2：异步传输所述超清画质图像数据中的第一通道数据和第二通道数据；
[0064]
s3：基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数；
[0065]
s4：融合可同步的第一通道数据和第二通道数据；
[0066]
其中，所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据。
[0067]
作为上述实施例的进一步优选方案，所述方法通过终端设备实现，所述终端设备包括人机交互接口，所述人机交互接口在所述终端设备接收到超清画质图像数据后，在人机交互界面上提供多个外接输入控制设备与多个外接输出控制设备的选项，并接收当前用户对于一个外接输入控制设备和一个外接输出控制设备的选择，使得对于上述步骤s1-s4的执行和控制输出过程，可以基于所述选择的一个外接输入控制设备和一个外接输出控制设备实现。
[0068]
具体的，多个不同用户可以分别选择不同的一个外接输入控制设备和一个外接输出控制设备，使得对于上述步骤s1-s4的执行和控制输出过程独立完成。
[0069]
作为进一步阐述，所述终端设备安装有执行所述方法步骤s1-s4的多个图像处理app；所述终端设备本身内置有输入控制设备和输出控制设备。
[0070]
作为举例，输入控制设备包括键盘、触摸屏和鼠标，输出控制设备包括显示屏、触摸显示屏等。
[0071]
现有技术中，终端设备的app程序仅能通过内置输入控制设备和内置输出控制设备进行输入控制和输出控制，使得在使用当前终端设备时，仅支持一个用户对当前终端设备进行使用；即使终端设备支持外接输入控制设备(例如外接键盘)和外接输出控制设备(例如外接一个显示器)，也只是将原本由内置输入控制设备的输入操作和内置输出控制设备的显示操作，切换到外接输入控制设备(例如外接键盘)和外接输出控制设备(例如外接一个显示器)上执行，依然只能支持一个用户对一个程序进行操作。
[0072]
然而，在视频监控场景中，通常存在多个用户对同一个区域的不同角度视频进行融合处理的需求，但是终端设备数量有限。
[0073]
为此，本发明提出改进的实施例，使得在人机交互界面上提供多个外接输入控制设备与多个外接输出控制设备的选项，并接收当前用户对于一个外接输入控制设备和一个外接输出控制设备的选择，使得对于上述步骤s1-s4的执行和控制输出过程，可以基于所述选择的一个外接输入控制设备和一个外接输出控制设备实现。
[0074]
举例来说，所述终端设备可提供多个usb接口与视频输出接口，外接多组usb键盘以及多台视频显示装置，假设多组usb键盘包括键盘1-2-3，多组视频显示装置包括显示器a-b-c。
[0075]
则第一用户可以选择键盘1和显示器b，第二用户可以选择显示器a和键盘3，第三
用户可以选择显示器c和键盘2，
[0076]
此时，一个终端设备，可以支持至少三个用户同时运行所述app，并独立输入操作控制和输出显示执行，互不干扰，可节省硬件成本。
[0077]
为进一步阐述图1实施例各个步骤，接下来具体介绍各个步骤的详细原理。
[0078]
所述步骤s1包括：
[0079]
通过高清阵列的光场相机采集获得所述超清画质图像数据。
[0080]
阵列：是将多个元器件按照一定的形状或者规则排布在一起形成的元件阵列。
[0081]
本发明中，高清阵列的光场相机，就是将多个光场图像采集元件(例如感光芯片)按照一定的规则排布形成图像传感器阵列，通过多个图像采集元件可以提高图像采集的像素数(分辨率)。
[0082]
所述步骤s2包括：
[0083]
识别所述超清画质图像数据中的第一通道数据和第二通道数据；
[0084]
在第一时间段传输所述第一通道数据；
[0085]
在第二时间段传输所述第二通道数据；
[0086]
所述第二时间段的起点晚于所述第一时间段。
[0087]
所述第一通道数据和第二通道数据的同步性要求包括：在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合。
[0088]
需要理解的是，第一通道数据和第二通道数据在时序相同时，事实上是针对同一个目标(区域)采集的图像数据，仅仅是由于维度不同，导致传输时可能不同步。
[0089]
因此，在异步传输后，如果二者时序上同步，即在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合，则认为二者同步。
[0090]
当然，作为优选，所述步骤s4还包括：
[0091]
若所述第一通道数据和第二通道数据无法同步，则返回步骤s2。
[0092]
进一步的，在所述步骤s2中，由cpu完成所述第一通道数据和第二通道数据的识别，并由cpu处理所述第二通道数据，并将第一通道数据分配给启动的gpu核处理。
[0093]
所述步骤s3还包括：
[0094]
在确定启动的gpu核数后，将所述第一通道数据平均分配给启动的gpu核处理。
[0095]
基于上述介绍，图2示出了所述方法的具体实施例包括如下步骤：
[0096]
a1：通过高清阵列的光场相机采集获得超清画质图像数据；
[0097]
a2：识别所述超清画质图像数据中的第一通道数据和第二通道数据；
[0098]
a3：在第一时间段传输所述第一通道数据；
[0099]
a4：在第二时间段传输所述第二通道数据；
[0100]
a5：基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数；
[0101]
a6：在确定启动的gpu核数后，将所述第一通道数据平均分配给启动的gpu核处理。
[0102]
图3是实现图1或图2所述方法的基于gpu融合处理的超清画质图像数据处理装置的架构图。
[0103]
在图3中，示出一种基于gpu融合处理的超清画质图像数据处理装置，所述装置包括光场相机阵列以及与所述光场相机阵列通信的图像识别模组。
[0104]
所述图像识别模组连接异构处理器系统，所述异构处理器系统包括cpu模组和gpu
模组，所述cpu模组包括多个cpu核，所述gpu模组包括多个gpu核；
[0105]
所述装置还包括异步传输模组；
[0106]
所述异步传输模组连接所述图像识别模组；
[0107]
所述光场相机阵列将采集的光场图像数据发送至所述图像识别模组，
[0108]
所述图像识别模组通过所述异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
[0109]
通过所述异步传输模组异步传输所述第一通道数据和第二通道数据；
[0110]
所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据；
[0111]
通过所述cpu模组处理所述第二通道数据，并将第一通道数据分配给所述gpu模组。
[0112]
与上述方法类似，通过所述异步传输模组异步传输所述第一通道数据和第二通道数据，具体包括：在第一时间段传输所述第一通道数据；在第二时间段传输所述第二通道数据；所述第二时间段的起点晚于所述第一时间段。
[0113]
所述cpu模组将第一通道数据分配给所述gpu模组，具体包括：
[0114]
基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数；
[0115]
在确定启动的gpu核数后，将所述第一通道数据平均分配给启动的gpu核处理。
[0116]
图4是图3所述基于gpu融合处理的超清画质图像数据处理装置的部分工作原理示意图；
[0117]
在图4中，所述装置执行的数据流包括如下步骤：
[0118]
b1：光场相机阵列采集光场图像数据；
[0119]
b2：异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
[0120]
b3：异步传输模组异步传输所述第一通道数据和第二通道数据；
[0121]
b4：cpu模组处理所述第二通道数据并将所述第一通道数据分配给gpu模组处理。
[0122]
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。同样的，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述技术方案。
[0123]
具体的，参见图5，更多的实施例包括一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机可执行程序，所述处理器被配置为执行步骤c1-c6，以实现前述提及的任一个方法。
[0124]
图6示出了图5可以实现的方法步骤的具体实施例如下：
[0125]
c1：采集光场图像数据；
[0126]
更具体的，所述步骤c1包括：
[0127]
每个光场相机阵列按照预设频率采集得到监控区域的亿级像素光场图像数据；
[0128]
c2：识别出所述光场图像数据中的第一通道数据和第二通道数据；
[0129]
c3：异步传输所述第一通道数据和第二通道数据；
[0130]
c4：通过cpu进程处理所述第二通道数据；
[0131]
c5：cpu进程基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核
数；
[0132]
c6：在确定启动的gpu核数后，将所述第一通道数据平均分配给启动的gpu核处理。
[0133]
本发明的技术方案，通过异步传输超清画质图像数据中的第一通道数据和第二通道数据，并基于第一通道数据和第二通道数据的同步性要求，确定启动的gpu核数后融合可以同步的第一通道数据和第二通道数据，可以确保高清阵列光场相机采集的多维度、高通量数据在进行视频融合时质量不会降低，并且能够自适应性的融合gpu核数进行调控处理，cpu用于调控gpu启动次数，避免了同时启动较多gpu核带来的非同步性数据等待。
[0134]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
[0135]
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。