基于十亿级像素的图像采集、识别与分类存储方法和装置与流程

1.本发明属于图像处理技术领域，尤其涉及一种基于十亿级像素的图像采集、识别与分类存储方法和装置、实现所述方法的计算机终端设备以及存储介质。


背景技术：

2.多相机（阵列）成像系统拼接成像技术相对于普通（单相机）成像技术可获得更加宽阔的视野，能够更大范围地探测监视环境，并从图像中获得更加丰富的信息。
3.得益于微电子技术的发展，图像传感器替代胶片相机后， 一直向着更小像素和更大阵列规模的方向发展，以期获得更大的图像分辨率。据报道，早在2012年，美国杜克大学的科学家们就研发了出一台１０亿像素相机，虽然该相机能够拍摄10亿级像素的静态图片或视频图像，且清晰度比完美视力的人眼所能看到的图像要清晰５倍，但是用它来拍摄一张图片并把数据存在磁盘上就需要18s，并且体积笨重。
4.最新的报道显示，某硬件商开发出180
°
宽视场相机，多为4目相机或鱼眼相机，其中4目相机由4个镜头画面拼接成180
°
视频画面；鱼眼相机则通常为1个镜头，其视场角达到180
°
。因为只有4个视频画面拼接，要达到180
°
甚至更宽的视场角，决定了其每个镜头也需要较大的视场角，这就要求每个镜头的焦距短，无法看清远距离的目标，目前市场上多数这种相机的焦距为3.5mm-8mm。而且现有这种相机的像素数通常不超过3400万，通常有很大的画面畸变。
5.同时，为了确保相邻镜头视频画面间有足够的特征用以拼接融合，现有技术还需要存储大量的重复像素特征以备后续的融合与重构。随着亿级像素图像传感器甚至更高分辨率的图像传感器的使用和组合，将导致极大的硬件存储和处理成本。


技术实现要素：

6.为解决上述技术问题，本发明提出一种基于十亿级像素的图像采集、识别与分类存储方法和装置、实现所述方法的计算机终端设备以及存储介质。
7.在本发明的第一个方面，提出一种基于十亿级像素的图像采集装置，所述图像采集装置包括n组图像采集阵列芯片以及n-1组像素存储阵列，所述n为大于1的正整数。
8.分别令i=1，2，
……
，n-1，则第i组图像采集阵列芯片与第i+1组图像采集阵列芯片采集的图像数据在垂直方向上一致，在水平方向上分别拍摄不同角度；更具体的，本发明的技术方案实际应用场景中，所述n组图像采集阵列芯片中每组图像采集阵列芯片的像素数不低于1亿；第i组图像采集阵列芯片与第i+1组图像采集阵列芯片在水平方向上拍摄的图像数据存在重叠区；进一步的，第i组图像采集阵列芯片与第i+1组图像采集阵列芯片的像素数可以不同，也可以相同。
9.作为改进，将所述重叠区中属于第i组图像采集阵列芯片采集的像素或者属于第i
+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列。
10.作为上述改进的进一步实现方式，将所述重叠区中属于第i组图像采集阵列芯片采集的像素或者属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列，具体包括：基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的像素数量优先级，和/或，第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的位置优先级，确定是将所述重叠区中属于第i组图像采集阵列芯片采集的像素，还是将属于第i+1组图像采集阵列芯片采集的像素之一，存储至第i组像素存储阵列。
11.作为上述改进的具体实现手段，将所述重叠区中属于第i组图像采集阵列芯片采集的像素或者属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列，具体包括：若第i组图像采集阵列芯片的像素数大于所述第i+1组图像采集阵列芯片的像素数，并且，则将所述重叠区中属于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列，其中，表示向下取整。
12.若第i组图像采集阵列芯片的像素数小于所述第i+1组图像采集阵列芯片的像素数，并且，则将所述重叠区中属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列，其中，表示向上取整。
13.可见，针对亿级像素的图像采集设备获取的图像像素数据，本发明通过位置优先或者分辨率优先的方式，避免了数据的重复存储；同时，位于位置优先级更重要的方式，避免了现有技术中全景图像融合时产生的两端失真现象。
14.在本发明的第二个方面，提出一种基于十亿级像素的图像识别装置，所述图像识别装置连接第一个方面所述的一种基于十亿级像素的图像采集装置所述图像识别装置包括重叠区域识别组件；所述重叠区域识别组件用于识别不同组别的图像采集阵列芯片采集的像素重叠区；所述重叠区域识别组件还用于识别每个像素重叠区的位置，所述位置基于产生所述像素重叠区的至少两个图像采集阵列芯片的位置确定。
15.在此基础上，首先基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的位置优先级，然后基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的像素数量优先级，确定是将所述重叠区中属于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列，还是将属于第i+1组图像采集阵列芯片采集的像素，存储至第i组像素存储阵列。
16.基于第一个方面所述的图像采集装置，在本发明的第三个方面，还提供一种基于十亿级像素的图像分类存储方法，所述方法对第一个方面所述的一种基于十亿级像素的图像采集装置采集的像素进行分类存储。
17.所述方法整体上分为四个步骤s1-s4，各个步骤具体实现如下：s1：获取第i组图像采集阵列芯片采集的第i组像素数据以及第i+1组图像采集阵
列芯片采集的第i+1组像素数据；s2：确定所述第i组像素数据与第i+1组像素数据的重叠数据；s3：获取所述第i组图像采集阵列芯片的第一分辨率和第i+1组图像采集阵列芯片的第二分辨率；s4：基于所述第一分辨率、第二分辨率以及i和n的大小，确定所述重叠数据的存储位置。
18.更具体的，作为优选的改进方式，所述方法考虑位置优先级，确定重叠区域数据的存储方式。
19.作为上述改进方式的具体实现方式，所述步骤s4包括：若所述第一分辨率与所述第二分辨率相同，则在时，将所述重叠数据中属于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列；在时，将所述重叠数据中属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列。
20.综合前述三个方面的技术方案，在本发明的第四个方面，提出一种基于十亿级像素的图像分类存储装置，所述装置包括位置记录组件，所述位置记录组件用于记录产生每组像素数据的图像采集阵列芯片的位置信息以及分辨率信息，基于所述位置信息与所述分辨率信息，执行第三个方面所述的图像分类存储方法。
21.在本发明的第五个方面，提供一种终端设备，例如可以是数据交互设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序可以是数据交互程序，所述处理器执行所述计算机程序时，实现上述第三个方面所述方法的全部或者部分步骤。
22.在本发明第六个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述第三个方面所述方法的全部或者部分步骤。
23.在本发明的第七个方面，提供一种图像处理设备，所述图像处理设备包括第一个方面所述的一种基于十亿级像素的图像采集装置以及第二个方面的一种基于十亿级像素的图像识别装置，基于所述图像采集装置以及所述图像识别装置，所述图像处理装置实现十亿级像素的图像超分辨率重构。
24.本发明可以在确保精度的前提下实现十亿级像素的快速处理和重建，具体的，本发明基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的位置优先级，然后基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的像素数量优先级，确定是将所述重叠区中属于第i组图像采集阵列芯片采集的像素，还是将属于第i+1组图像采集阵列芯片采集的像素，存储至第i组像素存储阵列。
25.针对亿级像素的图像采集设备获取的图像像素数据，本发明通过位置优先或者分辨率优先的方式，避免了数据的重复存储；同时，位于位置优先级更重要的方式，避免了现有技术中全景图像融合时产生的两端失真现象。
26.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是本发明一个实施例的基于十亿级像素的图像采集装置的示意图；图2是图1所述装置中图像采集阵列芯片和像素存储阵列的分布示意图；图3是本发明一个实施例的基于十亿级像素的图像识别装置的示意图；图4是本发明一个实施例的基于十亿级像素的图像分类存储方法的流程示意图；图5是执行图4所述方法的基于十亿级像素的图像分类存储装置的示意图；图6是本发明一个实施例的一种图像处理设备的结构示意图；图7是实现图4所述方法的全部或者部分步骤的计算机设备的结构图；图8（a）-图8（b）是现有技术的全景效果图与本发明技术方案的实现效果对比图。
具体实施方式
29.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
30.首先，介绍本发明的各个实施例的部分术语含义以及数学符号表达含义。
31.阵列：是将多个元器件按照一定的形状或者规则排布在一起形成的元件阵列。
32.本发明中，每个图像采集阵列芯片，就是将多个图像采集元件（例如感光芯片）按照一定的规则排布形成图像传感器阵列，通过多个图像采集元件可以提高图像采集的像素数；同样的，对于本发明使用的像素存储阵列的含义也是类似。
33.此外，需要说明的是，在本发明中，图像采集阵列芯片的“像素数”和图像采集阵列芯片的“分辨率”具有相同含义，为了强调本技术的“十亿级像素”特点和应用场景，本发明的不同技术方案（方法、软件或者装置、硬件）或者实施例分别采用了“像素数”和“分辨率”的不同表达，但是可以理解，结合具体的上下文，本领域技术人员完全可以知晓其含义。
34.此外，“像素”本身还可以是图像数据本身，即“像素”可以存贮至像素存储阵列。这在图像处理领域也是常见的。
35.向上取整与向下取整：在本发明的各个实施例中，表示向下取整；表示向上取整。
36.举例来说，， ；。
37.在此基础上，介绍本发明的各个不同实施例。
38.图1是本发明一个实施例的基于十亿级像素的图像采集装置的示意图。
39.在图1中，所述图像采集装置包括n组图像采集阵列芯片。
40.优选的，n》1;作为具体的实施方式，n》10。
41.在本实施例中，第i组图像采集阵列芯片与第i+1组图像采集阵列芯片采集的图像数据在垂直方向上一致，在水平方向上分别拍摄不同角度；
并且，第i组图像采集阵列芯片与第i+1组图像采集阵列芯片在水平方向上拍摄的图像数据存在重叠区；此时，所述图像采集装置还包括n-1组像素存储阵列；上述图像采集阵列芯片和像素存储阵列的分布示意图可以参见图2。
42.作为体现本发明改进的改进，示意性的，参见图2。
43.在本实施例中，是将所述重叠区中属于第i组图像采集阵列芯片采集的像素或者属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列。
44.也就是说，任何时候，第i组像素存储阵列要么存储所述重叠区中属于第i组图像采集阵列芯片采集的像素数据，要么存储所述重叠区中属于第i+1组图像采集阵列芯片采集的像素，而不会同时存储，这就首先改变了现有技术的重复存储问题。
45.然而，仅仅改变重复存储问题，有可能会降低精度出现最终的画面融合失真。现有技术中看，采用多个不同角度的画面执行全景融合时，画面中间的数据真实度较高，而画面两端的画面出现明显的扭曲变形，即所谓的鱼眼效应。
46.为避免此种现象，在本发明的上述实施例中，首先基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的位置优先级，然后基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的像素数量优先级，确定是将所述重叠区中属于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列，还是将属于第i+1组图像采集阵列芯片采集的像素，存储至第i组像素存储阵列。
47.具体的，由于在本发明的各个实施例中，所述n组图像采集阵列芯片中每组图像采集阵列芯片的像素数均不低于1亿，因此，首先考虑位置优先级。
48.具体的，越靠近中间位置的图像采集阵列芯片的像素的优先级越低，因为中间位置采用原始数据通常不会失真，失真通常发生在两端。
49.基于此，当第i组图像采集阵列芯片与第i+1组图像采集阵列芯片在水平方向上拍摄的图像数据存在重叠区时，若，则将所述重叠数据中属于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列；若，将所述重叠数据中属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列。
50.此时，不考虑第i组图像采集阵列芯片与第i+1组图像采集阵列芯片的分辨率（像素数）。
51.当然，作为进一步的优选，在上述实施例中，第i组图像采集阵列芯片与第i+1组图像采集阵列芯片的像素数还可以不同；此时，可以综合考虑像素优先级与位置优先级结合。
52.具体的，在一个实施例中，若第i组图像采集阵列芯片的像素数大于所述第i+1组图像采集阵列芯片的像素数，并且，则将所述重叠区中属于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列；
在另一个实施例中，若第i组图像采集阵列芯片的像素数小于所述第i+1组图像采集阵列芯片的像素数，并且，则将所述重叠区中属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列。
53.作为更进一步的优选，在实际应用中，针对全场景的视频或者图像采集，可以通过时序指令，驱动所述图像采集装置依次开启所述n组图像采集阵列芯片；具体的，当时，第i组图像采集阵列芯片先于第i+1组图像采集阵列芯片开启；当时，第i组图像采集阵列芯片晚于第i+1组图像采集阵列芯片开启。
54.此时，可以按照位置优先级先后获取像素数据，在获取时即存储位置信息，有助于后续的重叠区域数据快速识别以及存贮判定。
55.进一步参见图3，图3是本发明一个实施例的基于十亿级像素的图像识别装置的示意图。
56.在图3中，提出一种基于十亿级像素的图像识别装置，所述图像识别装置连接图1所述的一种基于十亿级像素的图像采集装置。所述图像识别装置包括重叠区域识别组件；所述重叠区域识别组件用于识别不同组别的图像采集阵列芯片采集的像素重叠区。
57.作为优选，所述重叠区域识别组件还用于识别每个像素重叠区的位置，所述位置基于产生所述像素重叠区的至少两个图像采集阵列芯片的位置确定。
58.作为更进一步的优选，针对全场景的视频或者图像采集，可以通过时序指令，驱动所述图像采集装置依次开启所述n组图像采集阵列芯片；然后，所述重叠区域识别组件以及所述开启时序获取每个像素重叠区的位置以及基于产生所述像素重叠区的至少两个图像采集阵列芯片的位置。
59.在图1-图2的基础上，参见图4。图4是本发明一个实施例的基于十亿级像素的图像分类存储方法的流程示意图.图4所述方法可以针对图1所述的一种基于十亿级像素的图像采集装置采集的像素进行分类存储。图4所述方法包括步骤s1-s4，各个步骤具体实现如下：s1：获取第i组图像采集阵列芯片采集的第i组像素数据以及第i+1组图像采集阵列芯片采集的第i+1组像素数据；s2：确定所述第i组像素数据与第i+1组像素数据的重叠数据；s3：获取所述第i组图像采集阵列芯片的第一分辨率和第i+1组图像采集阵列芯片的第二分辨率；s4：基于所述第一分辨率、第二分辨率以及i和n的大小，确定所述重叠数据的存储位置。
60.优选的， 所述步骤s4包括：若所述第一分辨率与所述第二分辨率相同，则在时，将所述重叠数据中属
于第i组图像采集阵列芯片采集的像素存储至第i组像素存储阵列；在时，将所述重叠数据中属于第i+1组图像采集阵列芯片采集的像素存储至第i组像素存储阵列。
61.图5是执行图4所述方法的基于十亿级像素的图像分类存储装置的示意图。
62.在图5中，所述基于十亿级像素的图像分类存储装置包括位置记录组件，所述位置记录组件用于记录产生每组像素数据的图像采集阵列芯片的位置信息以及分辨率信息，基于所述位置信息与所述分辨率信息，执行图4所述的图像分类存储方法。
63.基于前述实施例，图6示出本发明一个实施例的一种图像处理设备的结构示意图。
64.在图6中，所述图像处理设备包括图1所述的一种基于十亿级像素的图像采集装置以及图3的一种基于十亿级像素的图像识别装置，基于所述图像采集装置以及所述图像识别装置，所述图像处理装置实现十亿级像素的图像超分辨率重构。
65.作为更具体的例子，所述图像超分辨率重构的一个具体实现方式如下：获取待处理的亿级像素图像；将所述待处理亿级像素图像输入超分辨率重构模型，利用所述超分辨率重构模型的特征提取网络对所述待处理亿级像素图像进行多尺度特征提取及扩展图像通道，得到重建特征图；利用所述超分辨率重构模型的子像素卷积层对所述重建特征图进行放大，得到超分辨率的十亿级像素重构图像。
66.需要指出的是，图4所述方法、流程，均可以通过计算机程序指令自动化的实现。因此，参见图7提供一种电子计算机设备，该电子设备可以是数据交互设备，包括总线、处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。
67.该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现前述方法实例的步骤。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
68.本发明基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的位置优先级，然后基于第i组图像采集阵列芯片以及第i+1组图像采集阵列芯片的像素数量优先级，确定是将所述重叠区中属于第i组图像采集阵列芯片采集的像素，还是将属于第i+1组图像采集阵列芯片采集的像素，存储至第i组像素存储阵列。
69.针对亿级像素的图像采集设备获取的图像像素数据，本发明通过位置优先或者分辨率优先的方式，避免了数据的重复存储；同时，位于位置优先级更重要的方式，避免了现有技术中全景图像融合时产生的两端失真现象。
70.图8（a）给出了现有技术的鱼眼摄像头的全景效果图；图8（b）则示出了本发明技术方案实现的十亿级像素的全景重构场景图。
71.可以看到，图8（a）采用的鱼眼相机，分辨率低，而且画面畸变非常严重；图8（b）则在实现较大全景视野范围的同时，图像变形幅度非常小，为肉眼可接受的程度。
72.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
73.本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。