一种基于彩色与黑白双摄像头的超分辨率重建方法与流程

本发明主要涉及到数字图像处理领域，特指一种基于彩色与黑白双摄像头的超分辨率重建方法。

背景技术：

在大量的电子图像应用领域，人们经常期望得到高分辨率图像。目前，增加空间分辨率最直接的解决方法是通过传感器制造技术减少像素尺寸。然而随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。另外一种办法是增加芯片的尺寸，从而增加图像的容量，然而很难提高大容量的耦合转换率。高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。

一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率图像得到高分辨率图像。其基本前提是通过同一场景可以获取多幅低分辨率图像，每一幅低分辨率图像都为超分辨图像的重建提供一些不同的信息。目前，常用的方法是通过一台照相机的多次拍摄获取多张同一场景的低分辨率图像。但是这种方法存在缺陷：拍出来的多幅低分辨图像不具有同时性，同一场景间会存在一定的运动位移，对后续的配准、信息融合带来误差，进而降低超分辨率重建的效果。另一种是利用不同视点处的相机同时拍摄同一场景的多张照片进行超分辨率重建，这种方法，一旦不同视点间相机距离远，则很难达到亚像素精度的信息互补。因此本发明提出了一种利用双摄像头模组以及两个摄像头功能互补性的超分辨重建方法。

技术实现要素：

本发明要解决的技术问题在于：如何利用以彩色与黑白双摄像头拍摄的彩色、黑白图像进行超分辨率重建。本发明提出一种基于彩色与黑白双摄像头的超分辨率重建方法，充分利用双摄像头中彩色相机亮度高、噪点低，黑白相机细节丰富，拍摄的图像具有同时性等特点，首先利用彩色图像的亮度分量与黑白图像的低频信号进行精确地视差估计，再利用视差信息对黑白图像的高频信号进行几何变化，对亮度分量进行高频信息补偿。将得到的高分辨率的亮度分量转化到RGB空间，即得到了彩色高分辨率图像。

为解决上述技术问题，本发明提出的技术方案是：

一种基于彩色与黑白双摄像头的超分辨率重建方法，包括以下步骤：

S1：利用彩色与黑白双摄像头模组同时分别获取彩色与黑白图像；

S2：对步骤S1中获取的彩色与黑白图像进行处理，分别获得彩色图像的亮度分量以及黑白图像的低频信息与高频信息；

S3：对得到的亮度分量以及低频信号进行精确地视差估计，得到视差信息，该视差信息为亮度分量与低频信号间的像素对应关系。

S4：根据步骤S3得到的视差信息，将步骤S2中获取的高频信息进行几何变换后，融合到亮度分量中，完成对亮度分量的超分辨率重建得到超分辨图。

S5：将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间，即完成了对彩色图像的超分辨率重建。

作为本发明的优选技术方案，所述步骤S1中的双摄像头模组是由彩色镜头IMX278和黑白镜头IMX214组成，其中彩色镜头提高亮度，降低噪点；黑白镜头扩大进光亮，丰富细节信息。

作为本发明的优选技术方案，所述步骤S2包括：

步骤S21：将彩色图像由RGB颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量；

步骤S22：将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号，其中，低通滤波器使用双边滤波器，而低通过滤后的图像与原图的残差作为高频信号。

作为本发明的优选技术方案，所述步骤S3中的精确地视差估计是指，在经过双目标定，获得双摄像头的内外参数后，对亮度分量和低频信号进行双目校正与双目亚像素精度地视差计算。

作为本发明的优选技术方案，所述步骤S4中根据步骤S3得到的视差信息，对黑白图像的高频信号进行几何变换，对于亮度分量高频信息的恢复，采用对应像素直接替换的方法。

作为本发明的优选技术方案，所述步骤S5中将步骤S4中得到的亮度分量的超分辨图和步骤S1中获取的彩色图像的饱和度分量、色调分量转换到RGB颜色空间，得到彩色图的超分辨率图像。

与现有技术相比，本发明具有以下有益效果：

本发明基于彩色与黑白双摄像头模组，利用彩色摄像头高亮度、低噪度，黑白摄像头细节丰富等特性，在精确视差估计的基础上，利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合，得到彩色的高分辨率图像。该方法充分利用场景的深度信息，校正了不同景深区域的对比度和细节信息，同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。

附图说明

图1为本发明基于彩色与黑白双摄像头的超分辨率重建方法流程图。

图2为本发明双摄像头模组示意图。

图3为本发明高频信息补偿示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述：

下面结合附图，对本发明的具体实施方式进行详细描述：

如图1所示，本实例提供的一种基于彩色与黑白双摄像头的超分辨率重建方法，包括如下步骤：

步骤一：利用图2所示的彩色与黑白双摄像头模组同时分别获取彩色与黑白图像，双摄像头由彩色镜头IMX278和黑白镜头IMX214组成，其中彩色镜头用于提高亮度，降低噪点；黑白镜头用于扩大进光亮，丰富细节信息。

步骤二：将彩色图像由RGB颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量，并使用其亮度分量进行后续处理；将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号。其中，低通滤波器可以使用双边滤波器，而低通过滤后的图像与原图像的残差作为高频信号。

步骤三：对步骤二得到的亮度分量以及低频信号进行精确地视差估计，得到亮度分量与低频信号间的像素对应关系。

步骤四：如图3所示，根据步骤三得到的视差信息，将步骤二中获取的高频信息进行几何变换，融合到亮度分量中，完成对亮度分量的超分辨率重建。

步骤五：将步骤四中得到的亮度分量的超分辨图转换到RGB颜色空间，即完成了对彩色图像的超分辨率重建。

如上所述，本发明基于彩色与黑白双摄像头模组，利用彩色摄像头高亮度、低噪度，黑白摄像头细节丰富等特性，在精确视差估计的基础上，利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合，得到彩色的高分辨率图像。该方法充分利用场景的深度信息，校正了不同景深区域的对比度和细节信息，同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则的内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围内。