图像重建方法、装置、模组、设备、介质及程序产品与流程

1.本技术涉及图像重建技术领域，尤其涉及一种图像重建方法、装置、模组、设备、介质及程序产品。


背景技术：

2.rgbw(red green blue white，红绿蓝白)技术是在原有的rgb三原色的技术上，增加了白通道的像素，形成了四色型像素设计，相较于rgb技术拥有更大的进光量，更适用于暗光场景下的图像拍摄。
3.由于白通道的进光量大于其他通道的进光量，在相同的曝光时间下，将导致白通道出现过曝问题，导致在图像重建过程中纹理细节被丢失。为了解决白通道过曝的问题，通常采用缩短曝光时间，或者为不同的通道设置不同的曝光时间进行。
4.缩短曝光时间将导致图像整体偏暗，从而降低图像的信噪比；采用不同的曝光时间，则会增加图像拍摄的成本。
5.因此，亟需一种修正白通道过曝问题的图像重建方法。


技术实现要素：

6.本技术提供一种图像重建方法、装置、模组、设备、介质及程序产品，实现了对白通道过曝的像素点进行修正，从而避免了由于白通道过曝，导致图像重建时过曝点周围的纹理细节丢失，提高了图像重建质量。
7.第一方面，本技术提供一种图像重建方法，包括：
8.检测原生域图像中的白通道过曝像素点；根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正；根据修正后的白通道像素点的像素值，进行图像重建；其中，白通道过曝像素点为像素值大于预设阈值的白通道像素点。
9.在一种可能的实现方式中，根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正，包括：
10.基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
11.在一种可能的实现方式中，所述原生域图像为合并读出后的图像，包括白通道信息以及采样图；白通道过曝像素点为白通道信息中过曝的像素点。
12.相应的，根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正，包括：
13.针对所述白通道信息中的各白通道过曝像素点，根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，对所述白通道过曝像素点进行修正。
14.在一种可能的实现方式中，根据所述白通道过曝像素点对应的所述采样图中的图
像块中各像素点的像素值，对所述白通道过曝像素点进行修正，包括：
15.根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，确定梯度方向；根据所述白通道过曝像素点对应的所述采样图中的图像块的类型以及所述梯度方向，确定滤波核；根据所述滤波核与所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的乘积，确定所述白通道过曝像素点的修正值；若所述白通道过曝像素点的修正值大于所述白通道过曝像素点的像素值，则将所述白通道过曝像素点的像素值修正为所述修正值。
16.在一种可能的实现方式中，所述方法还包括：
17.确定所述原生域图像的场景类型；
18.若所述原生域图像的场景类型为暗场景，则对原生域图像进行合并读出，得到白通道信息以及采样图。
19.在一种可能的实现方式中，所述方法还包括：
20.若所述原生域图像的场景为明场景，则基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
21.在一种可能的实现方式中，根据所述绿通道第一插值，对所述白通道过曝像素点进行修正，包括：
22.采用各所述绿通道第一插值替换对应的红通道或蓝通道的像素点的像素值，得到第一插值图像块；基于第二预设插值算法，确定所述第一插值图像块中所述白通道过曝像素点对应的绿通道第二插值；根据所述绿通道第一插值分别与对应的红通道和蓝通道的像素点的像素值的差值，计算红通道对应的红绿色差均值以及计算蓝通道对应的蓝绿色差均值；根据所述绿通道第二插值、所述红绿色差均值以及所述蓝绿色差均值，对所述白通道过曝像素点进行修正。
23.在一种可能的实现方式中，修正后的白通道过曝像素点的像素值w为：
[0024][0025]
其中，w0为白通道过曝像素点的像素值；g
w0
为白通道过曝像素点对应的绿通道第二插值；为白通道过曝像素点对应的蓝绿色差均值；cdr为白通道过曝像素点对应的红绿色差均值；max()函数用于取参数的最大值。
[0026]
在一种可能的实现方式中，检测原生域图像中的白通道过曝像素点，包括：
[0027]
基于预设窗口遍历所述原生域图像，以得到各个图像块；针对各个所述图像块，检测所述图像块中的白通道过曝像素点。
[0028]
在一种可能的实现方式中，根据修正后的白通道像素点的像素值，进行图像重建，包括：
[0029]
基于修正后的像素块各像素点的像素值，进行白通道、红通道、绿通道以及蓝通道的插值；基于插值结果，进行图像重建。
[0030]
在一种可能的实现方式中，所述方法还包括：
[0031]
基于rgbw(red green blue white，红绿蓝白)传感器，获取所述原生域图像。
[0032]
第二方面，本技术提供一种图像重建装置，包括：
[0033]
过曝点检测模块，用于检测原生域图像中的白通道过曝像素点；过曝点修正模块，用于根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正；图像重建模块，用于根据修正后的白通道像素点的像素值，进行图像重建；其中，白通道过曝像素点为像素值大于预设阈值的白通道像素点。
[0034]
在一种可能的实现方式中，过曝点修正模块，具体用于：
[0035]
基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
[0036]
在一种可能的实现方式中，所述装置还包括：
[0037]
合并读出模块，用于对原生域图像进行合并读出，得到白通道信息以及采样图。
[0038]
相应的，过曝点检测模块，用于：
[0039]
检测所述白通道信息中的白通道过曝像素点。
[0040]
相应的，过曝点修正模块，包括：
[0041]
过曝点修正单元，用于针对所述白通道信息中的各白通道过曝像素点，根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，对所述白通道过曝像素点进行修正。
[0042]
在一种可能的实现方式中，过曝点修正单元，具体用于：
[0043]
根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，确定梯度方向；根据所述白通道过曝像素点对应的所述采样图中的图像块的类型以及所述梯度方向，确定滤波核；根据所述滤波核与所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的乘积，确定所述白通道过曝像素点的修正值；若所述白通道过曝像素点的修正值大于所述白通道过曝像素点的像素值，则将所述白通道过曝像素点的像素值修正为所述修正值。
[0044]
在一种可能的实现方式中，所述装置还包括：
[0045]
场景类型确定模块，用于确定所述原生域图像的场景类型。
[0046]
相应的，合并读出模块，具体用于：
[0047]
若所述原生域图像的场景类型为暗场景，则对原生域图像进行合并读出，得到白通道信息以及采样图。
[0048]
在一种可能的实现方式中，所述装置还包括：
[0049]
第一插值模块，用于若所述原生域图像的场景为明场景，则基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；过曝修正模块，用于根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
[0050]
在一种可能的实现方式中，过曝修正模块，包括：
[0051]
插值图像块获取单元，用于采用各所述绿通道第一插值替换对应的红通道或蓝通道的像素点的像素值，得到第一插值图像块；第二插值单元，用于基于第二预设插值算法，确定所述第一插值图像块中所述白通道过曝像素点对应的绿通道第二插值；过曝修正单
元，用于根据所述绿通道第一插值分别与对应的红通道和蓝通道的像素点的像素值的差值，计算红通道对应的红绿色差均值以及计算蓝通道对应的蓝绿色差均值；并根据所述绿通道第二插值、所述红绿色差均值以及所述蓝绿色差均值，对所述白通道过曝像素点进行修正。
[0052]
在一种可能的实现方式中，过曝点检测模块，具体用于：
[0053]
基于预设窗口遍历所述原生域图像，以得到各个图像块；针对各个所述图像块，检测所述图像块中的白通道过曝像素点。
[0054]
在一种可能的实现方式中，图像重建模块，具体用于：
[0055]
基于修正后的像素块各像素点的像素值，进行白通道、红通道、绿通道以及蓝通道的插值；基于插值结果，进行图像重建。
[0056]
在一种可能的实现方式中，所述装置还包括：
[0057]
图像采集模块，用于基于rgbw传感器，获取所述原生域图像。
[0058]
第三方面，本技术提供一种图像重建模组，包括：存储器和至少一个处理器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如本技术第一方面提供的图像重建方法。
[0059]
第四方面，本技术提供一种终端设备，包括图像传感器以及本技术第三方面提供的图像重建模组；其中，所述图像传感器用于采集原生域图像。
[0060]
第五方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如本技术第一方面提供的图像重建方法。
[0061]
第六方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本技术第一方面提供的图像重建方法。
[0062]
本技术实施例提供的图像重建方法、装置、模组、设备、介质及程序产品，针对rgbw原生域图像，当检测到该图像中存在过曝的白通道像素点即白通道过曝像素点时，基于过曝的白通道像素点周围其他通道的像素点的像素值，对过曝的白通道像素点进行修正，以基于修正后的白通道像素点的像素值以及其他各通道像素点的像素值，进行图像重建，以得到彩色图像，通过结合rgb通道的像素值分布情况，对w通道过曝的像素点进行修正，恢复由于过曝导致丢失的细节信息，从而提高了图像重建的质量，且通过图像处理的方式进行过曝修正，相较于采用不同过曝时间修正的方式，修正成本低。
附图说明
[0063]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0064]
图1为本技术一个实施例提供的图像重建过程的示意图；
[0065]
图2为本技术实施例提供的图像重建方法实施例一的流程示意图；
[0066]
图3为本技术图2所示实施例中原生域图像的示意图；
[0067]
图4为本技术一个实施例提供的合并读出结果的示意图；
[0068]
图5为本技术实施例提供的图像重建方法实施例二的流程示意图；
[0069]
图6a为本技术图5所示实施例中中心点为r的图像块的示意图；
[0070]
图6b为本技术图5所示实施例中中心点为g的图像块的示意图；
[0071]
图7为本技术实施例提供的图像重建方法实施例三的流程示意图；
[0072]
图8为本技术实施例提供的图像重建方法实施例四的流程示意；
[0073]
图9为本技术图7所示实施例中绿通道插值过程的示意图；
[0074]
图10为本技术实施例提供的图像重建装置的结构示意图；
[0075]
图11为本技术实施例提供的图像重建模组的结构示意图。
具体实施方式
[0076]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0077]
首先，对本技术涉及的名词进行解释：
[0078]
cfa(color filter array)：彩色滤波阵列，用于数码相机ccd(charge coupled device，电荷耦合器件)传感器之前，用于去除光谱中的一些成分，使得每个像素只保留特定波长的光对应的颜色成分，如红色、蓝色和绿色。
[0079]
byer cfa：拜尔彩色滤波器阵列排列模式，是一种常用的cfa排列模式，在每个2
×
2阵列中，两个绿色光滤波器处在对角线位置上，剩余两个位置分别放置一个红色光滤波器和蓝色光滤波器，即由1/2的绿色光滤波器、1/4的红色光滤波器和1/4的蓝色光滤波器组成。
[0080]
demosaicking：去马赛克技术，用于通过插值算法，将拜尔(byer)格式的原生域图像转换为rgb域图像。
[0081]
在一些场景下，影像系统需要在较暗环境下进行图像采集，为了提高采集图像在较暗场景下的信噪比，引入了具有更多进光量的rgbw cfa技术。图1为本技术一个实施例提供的图像重建过程的示意图，如图1所示，基于影像系统的rgbw滤色阵列(color filter array，cfa)的感光元件采集的原生域图像101由r通道、g通道、b通道和w通道四个通道的像素点组成，图1中以rgbw cfa为kodak布局方式为例，所采集的最小单元如图1中的原生域图像101所示。在得到原生域图像101之后，需要基于去马赛克技术将其重建为彩色图像102，在此过程中，需要通过插值算法补充每个像素点缺失通道的信息，即首先提取原生域图像101中各通道(包括r通道、g通道、b通道和w通道)的信息，进而通过w通道插值得到完整的w通道信息，基于完整的w通道信息引导rgb三通道插值，得到完整的r通道信息、g通道信息和b通道信息，合并完整的rgb三通道信息，便得到彩色图像102。在本技术中，“g”表示对应位置处的像素的颜色为绿色，“r”表示对应位置处的像素的颜色为红色，“b”表示对应位置处的像素的颜色为蓝色，“w”表示对应位置处的像素的颜色为灰色。
[0082]
由于在采集原生域图像101时，w通道的进光量是大于rgb三通道的，在相同的曝光时间下，w通道容易出现过曝问题，导致在插值和图像重建的过程中，过曝像素点周围的纹理细节被丢失，从而降低了图像重建的质量。
[0083]
为了对w通道过曝像素点进行修正，通常采用缩短曝光时间，或者采用不同的曝光时间进行原生域图像101采集。缩短曝光时间会导致图像整体偏暗，降低图像的信噪比；采用不同的曝光时间会增加图像采集的成本。
[0084]
为了克服基于曝光时间进行过曝像素点的修正带来的问题，本技术提供了基于图像处理的过曝像素点修正的方式，从而在保持一致的曝光时间的前提下，基于过曝点周围像素点像素值的分布，进行过曝点像素值的修正，更好地恢复了w通道的细节，从而为后续的去马赛克处理时的插值过程提供了更为准确的通道信息，提高了图像重建的质量。
[0085]
下面以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
[0086]
图2为本技术实施例提供的图像重建方法实施例一的流程示意图，该图像重建方法可以由图像重建模组执行，如图像重建芯片、处理器等，还可以由终端设备执行，如上述影像系统，如图2所示，该图像重建方法具体包括以下步骤：
[0087]
s201，检测原生域图像中的白通道过曝像素点。
[0088]
其中，原生域图像为拜尔格式，在该原生域图像中包括白通道(或称为w通道)、绿通道(或称为g通道)、红通道(或称为r通道)和蓝通道(或称为b通道)四个通道的信息。白通道过曝像素点为像素值大于预设阈值的白通道像素点。
[0089]
预设阈值可以为一个固定值，如200、225、250等，还可以为最大值与小于1的预设系数的乘积，如0.9、0.95、0.99或者其他值。该最大值可以为全局的或局部的，如可以为白通道像素点的像素值的最大值，还可以为原生域图像中白通道像素点的像素值的最大值。
[0090]
示例性的，原生域图像可以为任意一种rgbw布局方式，如kodak、hexw、pentile等布局方式。
[0091]
具体的，可以基于rgbw传感器采集原生域图像，并将所采集的原生域图像发送至图像重建模组，以进行原生域图像过曝处理以及彩色图像的重建。
[0092]
示例性的，图3为本技术图2所示实施例中原生域图像的示意图，该原生域图像包括四个通道的信息，各通道信息的排列如图3所示，“w”表示对应位置处的像素的颜色为灰色(灰度值可以位于0～255之间)。相较于rgb传感器采集的传统的原生域图像，rgbw传感器采集的原生域图像多了白通道信息，即图3中的w对应的信息。图3以rgbw传感器采集的原生域图像为hexw cfa格式为例，其最小单元为8行8列，最小单元的第1至8行的排列依次为：bwbwgwgw、wbwbwgwg、bwbwgwgw、wbwbwgwg、gwgwrwrw、wgwgwrwr、gwgwrwrw和wgwgwrwr。
[0093]
具体的，可以遍历原生域图像白通道的各像素点，针对每个像素点，判断该像素点的像素值是否大于预设阈值，若是，则确定该像素点为白通道过曝像素点。
[0094]
具体的，可以基于预设窗口遍历原生域图像，从而得到各个图像块；针对每个图像块中的白通道像素点，判断该白通道像素点的像素值是否大于预设阈值，若是，则确定该像素点为白通道过曝像素点。
[0095]
在一个实施例中，可以仅判断在白通道插值时需要用到的各个白通道像素点是否为白通道过曝像素点。
[0096]
由于在原生域图像中白通道像素进光量大于其余通道，为了便于后续的白通道过曝修正处理以及插值计算，可以在采集原生域图像之后，先对原生域图像的白通道像素点进行白平衡处理，即将白通道像素点的像素值与一个小于1大于0的白平衡系数相乘，白平
衡系数可以为0.5、0.6、0.7或者其他系数，具体可以根据所采用的白平衡算法确定白平衡系数。从而可以基于白平衡处理后的白通道像素点进行白通道过曝像素点检测以及修正的相关步骤。
[0097]
s202，根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述白通道过曝像素点进行修正。
[0098]
由于白通道存在过曝问题，则白通道的梯度不可靠，则可以基于其余各通道，即rgb三通道的像素点进行白通道过曝像素点的修正。其他通道即r、g、b三个通道，图像块可以包括m行n列像素点。在检测到白通道过曝像素点之后，以该像素点为中心，获取一个m*n大小的图像块，提取该图像块中其他三个通道的像素点的像素值，基于其他三个通道的像素点的像素值的分布，如色差、均值等，对白通道过曝像素点进行修正。
[0099]
具体的，可以基于其他三个通道的像素点的像素值，计算白通道过曝像素点的修正值；由于白通道过曝像素点的取值均被削减为一个小于实际值的峰值，为了还原白通道过曝像素点原本的像素值，可以在修正值大于对应的白通道过曝像素点，以该修正值替换对应的白通道过曝像素点，从而恢复白通道过曝像素点处的纹理细节。
[0100]
若修正值小于或等于对应的白通道过曝像素点，则不对对应的白通道过曝像素点进行修正。
[0101]
s203，根据修正后的白通道像素点的像素值，进行图像重建。
[0102]
在一个实施例中，可以在进行白通道插值之前，执行白通道过曝像素点修正的相关步骤。如通过将白通道过曝修正模块(用于执行白通道过曝像素点修正相关的步骤，如上述步骤s201和步骤s202)嵌入白通道插值模块中，从而实现执行白通道插值算法，进行白通道过曝像素点的修正。
[0103]
具体的，可以根据修正后的白通道像素点的像素值，进行白通道插值，得到完整的白通道信息，进而基于完成的白通道信息以及rgb三通道像素点的像素值，引导rgb三通道的插值，得到完整的rgb三通道信息，进而基于完整的rgb三通道信息进行图像重建，得到用于显示的全彩图像。
[0104]
具体的，白通道插值模块可以先基于预设窗口，遍历原生域图像，得到各个像素块，其中，预设窗口为白通道插值时对应的窗口；白通道过曝修正模块检测每个预设窗口的中的白通道过曝像素点，并根据与白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对该白通道过曝像素点进行修正，得到修正后的各个像素块；白通道插值模块基于修正后的各个像素块以及相应的插值算法，进行白通道插值，进而得到完整的白通道信息，进而基于完整的白通道信息引导其余三个通道的插值，得到完整的rgb三通道信息，进而基于完整的rgb三通道信息进行图像重建，得到用于显示的全彩图像。
[0105]
其中，预设窗口的尺寸可以为9*9、7*7或者其他尺寸。
[0106]
本实施例提供的图像重建方法，针对rgbw原生域图像，当检测到该图像中存在过曝的白通道像素点即白通道过曝像素点时，基于过曝的白通道像素点周围其他通道的像素点的像素值，对过曝的白通道像素点进行修正，以基于修正后的白通道像素点的像素值以及其他各通道像素点的像素值，进行图像重建，以得到彩色图像，通过结合rgb通道的像素值分布情况，对w通道过曝的像素点进行修正，恢复由于过曝导致丢失的细节信息，从而提高了图像重建的质量，且通过图像处理的方式进行过曝修正，相较于采用不同过曝时间修
正的方式，修正成本低。
[0107]
可选的，根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正，包括：
[0108]
基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
[0109]
其中，绿通道第一插值为绿通道对应的一个插值，即红通道或蓝通道对应的位置处的绿通道的插值。
[0110]
第一预设插值算法可以为任意一种插值算法，如基于色差法、色比法、方向加权、机器学习或深度学习等方法的插值算法。
[0111]
在基于第一预设插值算法对采样点进行插值时对应的窗口可以为以采样点为中心的p*q的窗口，p和q的取值可以相等也可以不相等，p和q均为奇数，如7*7、3*5等。
[0112]
针对每个图像块，基于第一预设插值算法，以该图像块中红通道和蓝通道的像素点为采样点，将各采样点插值为对应的绿通道的像素点，即绿通道第一插值。从而得到50％白通道和50％绿通道组成的图像块。进而基于50％白通道和50％绿通道组成的图像块中的绿通道第一插值，对白通道过曝像素点进行修正。
[0113]
具体的，可以根据绿通道第一插值与对应的采样点像素值的差值的平均值，对白通道过曝像素点进行修正。
[0114]
通过插值过程，充分结合了采样点周围像素点的分布情况，基于差值结果进行过曝白通道像素点的修正，提高了过曝白通道像素点修正的准确性。
[0115]
在一些实施例中，所述原生域图像为合并读出后的图像，包括白通道信息以及采样图。白通道过曝像素点为该白通道信息中过曝的像素点。
[0116]
可选的，根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正，包括：
[0117]
针对所述白通道信息中的各白通道过曝像素点，根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，对所述白通道过曝像素点进行修正。
[0118]
其中，采样图为包括rgb三通道信息的图像。
[0119]
具体的，可以将原生域图像中一个像元内的同一通道的像素点合并为该像元对应的该通道的一个像素点，从而实现原生域图像的下采样，得到白通道信息以及采样图。
[0120]
其中，一个像元可以包括原生域图像2行2列个像素点，或者可以包括原生域图像4行4列个像素点，或者为其他尺寸的像元。
[0121]
可以基于binning模式对原生域图像进行合并读出，如基于2倍binning或4倍binning等模式，得到白通道信息以及采样图。
[0122]
示例性的，图4为本技术一个实施例提供的合并读出结果的示意图，如图4所示，对于m*n行的原生域图像，图4中原生域图像为kodak布局方式的rgbw图像，图4中以原生域图像的一个最小单元(4*4)表示原生域图像，通过2倍binning，得到白通道信息和的bayer排布的采样图，采样图的排布方式可以为quad bayer排布。还可以通过四倍binning，得到白通道信息和的bayer排布的采样图。2倍binning时像元的尺寸为2*2，四倍
binning时像元的尺寸为4*4，将像元内白通道的像素点的像素值取平均，得到对应的白通道信息中的一个元素，将像元内属于rgb通道三通道中同一通道的像素点的像素值取平均，得到采样图该通道的对应的一个像素点。图4中以2倍binning为例。
[0123]
在通过上述下采样的方式得到白通道信息以及采样图之后，针对白通道信息中的各个像素点，判断该像素点的像素值是否大于预设阈值，若是，则确定该像素点为白通道过曝像素点。针对每个白通道过曝像素点，以采样图中该白通道过曝像素点对应的rgb通道中任一通道的像素点为中心，获取一个预设尺寸的像素块，如3*5的像素块、5*7的像素块等，基于该像素块中各像素点的像素值，对该白通道过曝像素点的像素值进行修正。
[0124]
具体的，白通道过曝像素点的修正值可以采用对应的像素块中各像素点的梯度的加权平均值表示。
[0125]
在一个实施例中，可以先确定像素块的梯度方向，基于像素块的梯度方向对应的滤波核，对该像素块内的像素进行加权取平均，从而得到白通道过曝像素点的修正值。
[0126]
可以预先建立各种梯度方向与滤波核之间的对应关系，进而基于该对应关系，确定像素块的梯度方向对应的滤波核。
[0127]
在一个实施例中，还可以基于像素块像素点的色差方差，确定像素块的梯度方向。
[0128]
上述白通道过曝像素点的休整方式，兼容了原生域图像合并读出的模式，提高了过曝点修正的应用范围。
[0129]
为使读者更深刻地理解本技术实施例的实现原理，现结合以下图5至图9对上述实施例进行进一步细化或解释。
[0130]
图5为本技术实施例提供的图像重建方法实施例二的流程示意图，本实施例针对原生域图像为合并读出后的图像，包括白通道信息以及采样图，所检测的白通道过曝像素点为所述白通道信息中过曝的像素点。如图5所示，上述s202可以通过以下步骤实现：
[0131]
s501，针对所述白通道信息中的各白通道过曝像素点，根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，确定梯度方向。
[0132]
其中，梯度方向可以包括水平方向、竖直方向、45
°
方向(对角线方向)、135
°
方向(反对角线方向)等。
[0133]
以梯度方向包括水平方向和竖直方向为例，可以根据图像块中位于同一行的各通道的像素点的像素值，确定水平梯度，基于图像块中位于同一列的各通道的像素点的像素值，确定竖直梯度，进而确定水平梯度和竖直梯度中取值较小的梯度对应的方向为梯度方向。
[0134]
以原生域图像为kodak布局方式为例，采样图中的像素块(rgb块)存在两种类型，一种的中心点为r或b通道的像素点，可简称为中心点为r或b，另一种的中心点为g通道的像素点，可简称为中心点为g。中心点为r或b的像素块的水平梯度和竖直梯度的计算方式相似，仅将r和b互换即可。图6a为本技术图5所示实施例中中心点为r的图像块的示意图，如图6a所示，图像块中心的像素点的颜色为红色r，则该图像块的水平梯度gradh为：
[0135]
gradh＝|g
1-g2|+|g
2-g3|+|g
4-g5|+|g
6-g7|+|g
7-g8|+|r
1-r2|+|r
2-r3|+|b
1-b2|+|b
3-b4|
[0136]
该图像块的竖直梯度gradv为：
[0137]
gradv＝|g
1-g6|+|g
2-g7|+|g
3-g8|+|b
1-b3|+|b
2-b4|
[0138]
相应的，以b通道的像素点为中心点的图像块的水平梯度gradh为：
[0139]
gradh＝|g
1-g2|+|g
2-g3|+|g
4-g5|+|g
6-g7|+|g7一g8|+|r
1-r2|+|r
2-r3|+|b
1-b2|+|b
3-b4|
[0140]
该图像块的竖直梯度gradv为：
[0141]
gradv＝|g
1-g6|+|g
2-g7|+|g
3-g8|+|r
1-r3|+|r
2-r4|
[0142]
图6b为本技术图5所示实施例中中心点为g的图像块的示意图，如图6b所示，图像块中心的像素点的颜色为绿色g，则该图像块的水平梯度gradh为：
[0143]
gradh＝|g
1-g2|+|g
3-g4|+|g
4-g5|+|g
6-g7|+|r
1-r2|+|b
1-b2|+|b
2-b3|+|b
4-b5|+|b
5-b6|
[0144]
该图像块的竖直梯度gradv为：
[0145]
gradv＝|g
1-g6|+|g
2-g7|+|b
1-b4|+|b
2-b5|+|b
3-b6|
[0146]
在计算得到图像块在各方向上的梯度之后，确定取值最小的梯度对应的方向为该图像块的梯度方向，以梯度方向包括水平方向和竖直方向为例，若gradh＞gradv，则确定梯度方向为竖直方向，反之，则为水平方向。
[0147]
s502，根据所述白通道过曝像素点对应的所述采样图中的图像块的类型以及所述梯度方向，确定滤波核。
[0148]
s503，根据所述滤波核与所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的乘积，确定所述白通道过曝像素点的修正值。
[0149]
具体的，可以预先建立图像块的类型、梯度方向与滤波核三者的对应关系，如第一对应关系，进而基于该第一对应关系，白通道过曝像素点对应的所述采样图中的图像块的类型以及所述梯度方向，确定白通道过曝像素点对应的滤波核，以基于该滤波核中元素对图像块中的像素值进行滤波，从而得到对应的白通道过曝像素点的修正值。
[0150]
通过累加滤波核中对应的元素与白通道过曝像素点对应的图像块中对应位置处的元素的乘积，得到该图像块中像素的加权平均值，即白通道过曝像素点的修正值。
[0151]
表1为本技术实施例提供的第一对应关系表，如表1所示，梯度方向包括水平梯度和竖直梯度，图像块的类型分为两种，则滤波核存在4种，表1中以滤波核对应的矩阵为3*5或5*3为例，即以采样图中的图像块的尺寸为3*5为例，各滤波核内的加权系数的取值如表1所示。通过对应的滤波核对采样图中的图像块中各像素进行加权取平均，得到对应的白通道过曝像素点的修正值。
[0152]
表1第一对应关系表
[0153][0154]
s504，若所述白通道过曝像素点的修正值大于所述白通道过曝像素点的像素值，则将所述白通道过曝像素点的像素值修正为所述修正值。
[0155]
在一个实施例中，可以直接将白通道过曝像素点的像素值修正为其对应的修正值，无需进行修正值与白通道过曝像素点的像素值大小比较的步骤。
[0156]
为了提高白通道过曝像素点的像素值修正的准确度，可以仅当修正值大于对应的白通道过曝像素点的像素值时，方将白通道过曝像素点的像素值修正为对应的修正值。
[0157]
在本实施例中，针对binning模式，原生域图像被分离为连续的白通道信息和rgb采样图，通过遍历连续的白通道信息中各白通道像素点，找到白通道过曝像素点，提高了过曝像素点检测的效率；以及基于采样图中该白通道过曝像素点对应的图像块的加权平均值对白通道过曝像素点进行修正，实现了bining模式下的过曝像素点的修正，提高了应用范围，且由于在合并读出时，已对rgb通道进行了取平均操作，进而简化了修正值计算的逻辑，提高了修正值计算的效率。
[0158]
图7为本技术实施例提供的图像重建方法实施例三的流程示意图，本实施例是在图2所示实施例中的基础上，增加场景类型确定的步骤，以及对步骤s202进行进一步细化，如图7所示，本实施例提供的图像重建方法可以包括以下步骤：
[0159]
s701，确定所述原生域图像的场景类型。
[0160]
其中，场景类型包括明场景和暗场景两种类型。暗场景下的原生域图像整体偏暗，图像信噪比相对较低；明场景下的原生域图像整体较亮，图像信噪比较高。
[0161]
可以采用任意一种方式，确定原生域图像的场景类型。如可以基于原生域图像白通道像素点的取值范围、平均值，确定场景类型。还可以基于采集原生域图像时的参数，确定原生域图像的场景类型，该参数可以包括曝光量。
[0162]
对于不同场景类型下的原生域图像，可以采用不同的过曝修正方法进行白通道过曝像素点的修正。
[0163]
s702，若所述原生域图像的场景类型为暗场景，则对原生域图像进行合并读出，得到白通道信息以及采样图。
[0164]
对于暗场景下的原生域图像，可以采用binning模式，对原生域图像进行合并读出，在不改变图像纵横比的前提下，降低图像的分辨率，提高图像处理速度。
[0165]
s703，检测白通道信息中的白通道过曝像素点。
[0166]
针对白通道信息中的各像素点，判断该像素点的像素值是否大于预设阈值，若是，则确定该像素点为白通道过曝像素点。具体方式与检测原生域图像中的白通道过曝像素点相似，仅将检测对象由原生域图像替换为白通道信息即可，在此不再赘述。
[0167]
s704，针对所述白通道信息中的各白通道过曝像素点，根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，对所述白通道过曝像素点进行修正。
[0168]
具体可以基于图5所示实施例中的步骤s502至步骤s504提供的修正方式对白通道过曝像素点进行修正。
[0169]
s705，若所述原生域图像的场景为明场景，则检测原生域图像中的白通道过曝像素点。
[0170]
当原生域图像的场景为明场景时，由于原生域图像中包含足够多的信息，无需对原生域图像进行合并读出，可以直接进行原生域图像中的白通道过曝像素点的检测。
[0171]
可选的，检测待处理图像中的白通道过曝像素点，包括：
[0172]
基于预设窗口遍历所述待处理图像，以得到各个图像块；针对各个所述图像块，检测所述图像块中的白通道过曝像素点。
[0173]
s706，基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值。
[0174]
示例性的，可以基于梯度方向的插值算法，进行图像块的红通道以及蓝通道的各个像素点的插值。
[0175]
s707，根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
[0176]
s708，根据修正后的各通道像素点的像素值，进行白通道、红通道、绿通道以及蓝通道的插值。
[0177]
在对过曝的各个白通道像素点，即各个白通道过曝像素点，进行修正之后，进行去马赛克过程，基于修正后的各通道像素点的像素值，进行白通道、红通道、绿通道以及蓝通道的插值，得到完整的白通道、红通道、绿通道以及蓝通道信息。
[0178]
具体的，可以先基于修正后的白通道像素点的像素值以及其余各通道像素点的像素值，对白通道进行插值，得到完整的白通道信息；进而基于完整的白通道信息引导其余各通道的插值，得到完整的红通道、绿通道以及蓝通道信息。
[0179]
s709，基于插值结果，进行图像重建。
[0180]
合并完整的白通道、红通道、绿通道以及蓝通道信息，便得到重建后的彩色图像。
[0181]
在本实施例中，基于原生域图像的场景类型，自动选择不同的过曝修正方式，提高了过曝修正的智能化程度以及准确度；针对暗场景下的原生域图像，通过原生域图像合并读出的方式，提高了图像的信噪比，从而提高了暗场景下的成像质量，以及通过合并读出的方式减少检测对象中的像素点的数量，从而提高过曝点检测的效率以及过曝点修正的效率；针对明场景下的原生域图像，以原生域图像为对象，进行过曝修正处理，提高了过曝修正的准确度。
[0182]
图8为本技术实施例提供的图像重建方法实施例四的流程示意图，如图8所示，上述s707可以通过以下步骤实现：
[0183]
s801，采用各所述绿通道第一插值替换对应的红通道或蓝通道的像素点的像素
值，得到第一插值图像块。
[0184]
在得到图像块中的r/b通道的像素点对应绿通道第一插值之后，以绿通道第一插值替换图像块中对应的r/b通道的像素点的像素值，从而得到由50％白通道像素点和50％绿通道像素点组成的像素块，即为第一插值像素块。
[0185]
图9为本技术图7所示实施例中绿通道插值过程的示意图，如图9所示，以图像块中的红通道的像素点r的插值为例，为了便于区分，记该像素点为像素点r0，以像素点r0为中心，获取其周围的rgb像素点(图9中带下角标的各个像素点)的像素值，以进行各方向梯度的计算，为了简化描述，以水平梯度和竖直梯度为例，则可以得到像素点r0的水平梯度gradh和竖直梯度gradv，像素点r0的水平梯度gradh的表达式为：gradh＝|g
1-g2|+|b
1-b2|+|r
2-r3|，像素点r0的竖直梯度gradv的表达式为：gradv＝|g
3-g4|+|b
1-b3|+|r
1-r3|。基于梯度确定梯度方向，进而按照梯度方向进行绿通道的插值，梯度方向可以包括水平方向(grad
v-gradh＞thresh情况下)、竖直方向(grad
h-gradv＞thresh情况下)和无明显方向(else情况下)，像素点r0对应的绿通道第一插值g0的表达式如下：
[0186][0187]
其中，thresh表示一个较小的阈值，如0.1、0.01或者其他值。
[0188]
蓝通道的像素点的插值方式与红通道的像素点相同，仅将对象由红通道的像素点替换为蓝通道的像素点即可，在此不再赘述。
[0189]
通过上述方式得到像素块内红通道和蓝通道各像素点的绿通道第一插值之后，采用绿通道第一插值替换像素块内对应的红通道或蓝通道的像素点，从而得到由50％白通道像素点和50％绿通道像素点组成的像素块，即第一插值像素块。
[0190]
s802，基于第二预设插值算法，确定所述第一插值图像块中所述白通道过曝像素点对应的绿通道第二插值。
[0191]
第二预设插值算法可以基于任意一种插值算法，可以为与第一插值算法相同或不同的插值算法，如基于色差法、色比法、方向加权、机器学习或深度学习等方法的插值算法。
[0192]
示例性的，可以基于梯度方向的插值算法，进行图像块中白通道过曝像素点的插值，得到白通道过曝像素点对应的绿通道第二插值。
[0193]
可以选择白通道过曝像素点w0上下左右四个方向四个绿通道像素点，分别为g
u1
、g
d1
、g
11
和g
r1
四个像素点，进行水平梯度gradv和竖直梯度gradh的计算，梯度方向可以包括水平方向(grad
v-gradh＞thresh情况下)、竖直方向(grad
h-gradv＞thresh情况下)和无明显方向(else情况下)，白通道过曝像素点w0对应的绿通道第二插值g
w0
的表达式如下：
[0194][0195]
s803，根据所述绿通道第一插值分别与对应的红通道和蓝通道的像素点的像素值的差值，计算红通道对应的红绿色差均值以及计算蓝通道对应的蓝绿色差均值。
[0196]
具体的，以图像块为单位，针对每个图像块，计算该图像块中各个绿通道第一插值与对应的红通道或蓝通道的像素点的像素值的差值，记为色差，进而计算图像块中红通道各像素点(或各红通道对应的采样点)对应的色差的平均值，得到上述红绿色差均值计算图像块中绿通道各像素点(或各红通道对应的采样点)对应的色差的平均值，得到上述蓝绿色差均值
[0197]
s804，根据所述绿通道第二插值、所述红绿色差均值以及所述蓝绿色差均值，对所述白通道过曝像素点进行修正。
[0198]
白通道过曝像素点的修正值的表达式可以为：
[0199][0200]
其中，g
w0
为白通道过曝像素点对应的绿通道第二插值。
[0201]
具体的，若白通道过曝像素点的修正值大于白通道过曝像素点的像素值w0，则将白通道过曝像素点的像素值修正为白通道过曝像素点的修正值即修正后的白通道过曝像素点的像素值为
[0202]
在本实施例中，通过rgb三通道的均值进行白通道过曝像素点的像素值的修正，通过插值算法将图像块中的r值(r通道的像素点的像素值)和b值(b通道的像素点的像素值)得到较为准确的g值(绿通道第一插值)，基于转化对应的gr色差均值和gb色差均值，以及该白通道过曝像素点对应的绿通道第二插值，进行修正值的计算，充分考虑了较为准确的各通道信息，提高了修正值计算的准确度。
[0203]
图10为本技术实施例提供的图像重建装置的结构示意图，如图10所示，该图像重建装置包括：过曝点检测模块1010、过曝点修正模块1020和图像重建模块1030。
[0204]
其中，过曝点检测模块1010，用于检测原生域图像中的白通道过曝像素点；过曝点修正模块1020，用于根据与所述白通道过曝像素点处于同一图像块的其他通道的像素点的像素值，对所述原生域图像的白通道过曝像素点进行修正；图像重建模块1030，用于根据修正后的白通道像素点的像素值，进行图像重建；其中，白通道过曝像素点为像素值大于预设阈值的白通道像素点。
[0205]
在一种可能的实现方式中，过曝点修正模块1020，具体用于：
[0206]
基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；根据所述绿通道第一插值，对所述白通
道过曝像素点进行修正。
[0207]
在一种可能的实现方式中，所述原生域图像为合并读出后的图像，包括白通道信息以及采样图。
[0208]
相应的，过曝点检测模块1010，用于：
[0209]
检测所述白通道信息中的白通道过曝像素点。
[0210]
相应的，过曝点修正模块1020，包括：
[0211]
过曝点修正单元，用于针对所述白通道信息中的各白通道过曝像素点，根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，对所述白通道过曝像素点进行修正。
[0212]
在一种可能的实现方式中，过曝点修正单元，具体用于：
[0213]
根据所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的像素值，确定梯度方向；根据所述白通道过曝像素点对应的所述采样图中的图像块的类型以及所述梯度方向，确定滤波核；根据所述滤波核与所述白通道过曝像素点对应的所述采样图中的图像块中各像素点的乘积，确定所述白通道过曝像素点的修正值；若所述白通道过曝像素点的修正值大于所述白通道过曝像素点的像素值，则将所述白通道过曝像素点的像素值修正为所述修正值。
[0214]
在一种可能的实现方式中，所述装置还包括：
[0215]
场景类型确定模块，用于确定所述原生域图像的场景类型。
[0216]
合并读出模块，用于若所述原生域图像的场景类型为暗场景，则对原生域图像进行合并读出，得到白通道信息以及采样图。
[0217]
在一种可能的实现方式中，所述装置还包括：
[0218]
第一插值模块，用于若所述原生域图像的场景为明场景，则基于第一预设插值算法，确定与所述白通道过曝像素点处于同一图像块的红通道以及蓝通道的各个像素点对应的绿通道第一插值；过曝修正模块，用于根据所述绿通道第一插值，对所述白通道过曝像素点进行修正。
[0219]
在一种可能的实现方式中，过曝修正模块，包括：
[0220]
插值图像块获取单元，用于采用各所述绿通道第一插值替换对应的红通道或蓝通道的像素点的像素值，得到第一插值图像块；第二插值单元，用于基于第二预设插值算法，确定所述第一插值图像块中所述白通道过曝像素点对应的绿通道第二插值；过曝修正单元，用于根据所述绿通道第一插值分别与对应的红通道和蓝通道的像素点的像素值的差值，计算红通道对应的红绿色差均值以及计算蓝通道对应的蓝绿色差均值；并根据所述绿通道第二插值、所述红绿色差均值以及所述蓝绿色差均值，对所述白通道过曝像素点进行修正。
[0221]
在一种可能的实现方式中，过曝点检测模块1010，具体用于：
[0222]
基于预设窗口遍历所述原生域图像，以得到各个图像块；针对各个所述图像块，检测所述图像块中的白通道过曝像素点。
[0223]
在一种可能的实现方式中，图像重建模块1030，具体用于：
[0224]
基于修正后的像素块各像素点的像素值，进行白通道、红通道、绿通道以及蓝通道的插值；基于插值结果，进行图像重建。
[0225]
在一种可能的实现方式中，所述装置还包括：
[0226]
图像采集模块，用于基于rgbw传感器，获取所述原生域图像。
[0227]
本技术实施例提供的图像重建装置，可用于执行上述任意方法实施例中的图像重建方法，其实现原理和技术效果类似，此处不做作赘述。
[0228]
图11为本技术实施例提供的图像重建模组的结构示意图，如图11所示该图像重建模组，包括：存储器1110和至少一个处理器1120。
[0229]
其中，存储器1110存储计算机执行指令；至少一个处理器1120执行存储器1110存储的计算机执行指令，使得至少一个处理器1120执行如本技术任意实施例提供的图像重建方法。
[0230]
其中，存储器110和处理器1120通过总线1130连接。
[0231]
相关说明可以对应参见本技术图像重建方法对应的实施例提供的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
[0232]
本技术实施例还提供一种终端设备，包括图像传感器以及本技术上述实施例提供的图像重建模组；其中，所述图像传感器用于采集原生域图像。
[0233]
在一个实施例中，该图像传感器为rgbw传感器。
[0234]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如本技术任意实施例提供的图像重建方法。
[0235]
本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本技术任意实施例提供的图像重建方法。
[0236]
可以理解的是，在本技术的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本技术的实施例的范围。在本技术的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术的实施例的实施过程构成任何限定。
[0237]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。