专利名称：图像处理方法及装置的制作方法
技术领域：
本发明实施例涉及通信技术，尤其涉及一种图像处理方法及装置。
背景技术：
基于多帧曝光合成的高动态范围(High Dynamic Range，简称HDR)成像的研究已经非常成熟。例如，在消费市场上，iPhone手机集成了 HDR拍照功能。某些芯片的Android参考平台中也包含了较简单的HDR成像功能。目前，无论是专业应用的监控摄像机还是消费市场的手机摄像头，都是采用CXD或者CMOS图像传感器来捕捉场景中的光信号并转化为数字信号的原始数据(也就是Raw数据)，原始信号经过一系列数字信号前处理技术(Image Signal Processing,简称ISP)处理后转变为适合人眼观看的最终的视频信号(通常为RGB格式或者YUV格式)。 Raw数据为单通道数据，通常由多个不同颜色的相邻像素重复排列组成，每个像素位置只有一个数值。而经过ISP中的颜色插值处理之后的数据会增加到三通道，即每个像素位置有三个数值。大多数的HDR处理技术都是针对ISP处理之后的三通道数据，如微软(siggraph2003HDR video)提出一种校正多曝光帧的后处理方法。首先，利用多曝光帧标定出相机响应曲线，根据相机相应曲线和成HDR图像，最后使用色调映射的方法来压缩动态范围并提高局部对比度。上述方法的缺点是需要处理三倍于raw数据的数据量，并且需要进一步使用局部色调映射或者对比度增强等方法来提升局部对比度。复杂度高。另外，另外，ISP处理中的伽玛校正对图像的亮度影响很多，此类方法依赖于相机相应曲线及色调映射，简单移植到Raw数据中直接处理会使得图像的色彩以及亮度对比度严重失真。
发明内容
有鉴于此，针对现有技术中的缺陷，本发明提供一种图像处理方法及装置，用于解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。—方面,本发明实施例提供一种图像处理方法,包括采集同一场景在不同曝光时间下的至少两巾贞不同亮度的曝光巾贞;针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。另一方面，本发明实施例还提供一种图像处理装置，包括处理器，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像；存储器，用于存储所述处理器中采集的至少两帧不同亮度的曝光帧。由上述技术方案可知，本发明实施例的图像处理方法及装置，通过获取每一曝光帧的第一亮度数据，进而根据第一亮度数据获取所有曝光帧的校正参数，以便采用校正参数对曝光帧进行加权处理，得到校正后的Raw数据的HDR图像，由此，可解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地下面附图只是本发明的一些实施例的附图，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得同样能实现本发明 技术方案的其它附图。图I为本发明实施例中提供的一种Raw数据单元的排列结构示意图；图2为本发明实施例中提供的一种图像处理方法的流程示意图；图3为本发明实施例中提供的一种图像处理方法的流程示意图；图4为本发明实施例中提供的一种图像处理方法的流程示意图；图5A为本发明实施例中提供的亮度的统计直方图的示意图；图5B为本发明实施例中提供的亮度的累积直方图的示意图；图5C为本发明实施例中提供的亮度映射函数的示意图；图6为本发明实施例中获取的HDR图像与现有的HDR图像的比较示意图；图7A和图7B为本发明实施例中提供的图像处理装置的结构示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。显然，下述的各个实施例都只是本发明一部分的实施例。基于本发明下述的各个实施例，本领域普通技术人员即使没有作出创造性劳动，也可以通过等效变换部分甚至全部的技术特征，而获得能够解决本发明技术问题，实现本发明技术效果的其它实施例，而这些变换而来的各个实施例显然并不脱离本发明所公开的范围。业界还提出了一种基于Raw数据合成HDR的方法。该方法用多帧曝光帧的曝光时间比值作为各帧图像像素值进行归一化，然后加权融合得到HDR图像，再用色调映射的方法获得适合显示的低动态范围(Low Dynamic Range,简称LDR)图像。然而，上述方法采用曝光时间对不同曝光帧的像素进行归一化的过程需要标定，曝光时间和增益数不能直接对应到像素亮度的倍数。特别地，上述方法需要用到较多的行存储和帧存储，导致存储空间大、计算过程复杂。本发明实施例中所涉及的raw数据为单通道数据，通常由多个不同颜色的相邻像素重复排列组成。如图I所示，图I示出了一种raw数据的排列结构示意图，即Bayer格式的raw数据，由R，G，B三种色彩像素组成GRBG的方式重复排列，每个像素位置只有一个数值。
本发明实施例中主要是把不同曝光时间的raw数据帧合成HDR raw数据帧，进而上述合成HDR raw的过程可兼容现有技术中的ISP处理技术，同时能够有效扩大最终视频信号的动态范围，又不改变原有的色彩和局部对比度，且有效降低曝光帧的存储成本和数据的计算量。本发明仅需处理单通道数据，并且不需要提前标定相机响应曲线，可有效降低曝光帧的存储成本和数据的计算量。本发明实施例中提及的raw数据巾贞是指由raw数据组成的图像中贞。结合图I、图2所示，图I示出了本发明一实施例中提供的raw数据单元的排列结构示意图，图2示出了本发明实施例中提供的一种图像处理方法的流程示意图；本实施例中的图像处理方法如下文所述。201、采集同一场景在不同曝光时间下的至少两巾贞不同亮度的曝光中贞。在实际应用中，HDR处理需要不同曝光的数据输入，可以两次曝光，也可以是三次 或以上曝光。通常，把最佳的曝光帧称为参考曝光帧，其它的曝光帧称为扩展曝光帧。在具体的应用场景中，可以采集不同曝光时间下的多帧不同亮度的曝光帧，此时选取一个最佳的曝光帧作为参考曝光帧，其他的均作为扩展曝光帧。202、针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据。举例来说，该步骤中的raw数据单元可以是BGGR排列模式的数据单元、GRBG排列模式的数据单元或GRBW排列模式的数据单元。本发明实施例对于其它模式的raw数据也同样适用。如图I所示，图I示出了 GRBG排列模式的数据单元。即在GRBG的bayer模式中，相邻的GRBG四个像素位置的单通道数据组成一个raw数据单元。不同图像传感器厂商的raw数据的排列模式各不相同，但都是以相邻的4个或者更多像素组成可重复排列的基本单元。由此，本发明实施例以常见的GRBG排列的Bayer模式为例，经过简单的扩展本发明实施例同样也能使用与其它的raw数据模式，如BGGRBayer模式，GRBff等模式。203、根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。可以理解的是，前述的raw数据为单通道的数据，进而最后获取的raw数据的HDR图像也是单通道的数据图像。由上述实施例可知，本实施例以raw数据单元为基本单元，首先对不同曝光帧的raw基本单元进行预处理如合成，输出适合人眼观看的第一亮度数据，然后计算校正后的raw数据的HDR图像需要的校正参数，进入融合raw数据单元中的各原始数据，实现把现有的亮度后处理效果融合到输出的raw数据的HDR图像中。另外，在一优选的实施例中，上述的步骤203中的根据所有的第一亮度数据获取所有曝光帧的校正参数，可具体为如下的步骤2031和步骤2033，如图3所示。2031、根据所有的第一亮度数据获取每一曝光帧的权重系数。2032、对每一曝光帧进行亮度处理，获得处理后的第二亮度数据。可选地，可以采用亮度直方图均衡的方法对每一曝光帧进行亮度处理，获得处理后的第二亮度数据。
2033、根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。可选地，在另一应用场景中，上述步骤203中的所述采用校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，包括如下图中未示出的步骤2034。2034、获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数以及校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。由上述实施例可知，本实施例的图像处理方法，通过获取每一曝光帧的第一亮度数据，进而根据第一亮度数据获取所有曝光帧的校正参数，以便采用校正参数对曝光帧进行加权处理，得到校正后的Raw数据的HDR图像，由此，可解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。
在其他的应用场景中，上述步骤202中的将曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据，具体包括如下图中未示出的步骤2021。2021、获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据。举例来说，获取曝光帧的参考亮度值可包括I)获取所述raw数据单元中各像素点的均值，将所述均值作为所述参考亮度值；例如，在图I所示的GRBG的bayer模式中，参考亮度值可为(G+R+B+G) /4。或者，2)获取所述raw数据单元中G像素点的均值，将所述均值作为所述参考亮度值，例如，在图I所示的GRBG的bayer模式中，参考亮度值可为(G+G)/2。上述的参考亮度值可以是传统的计算方法，也可以是简单的合成。也就是说，在图I所示的bayer模式中，合成后的数据量是原始数据的1/4，进而可有效减少图像处理过程中的数据量。由上述实施例可知，本实施例图像处理方法以raw数据单元为基本单元，首先对不同曝光帧的raw基本单元进行预处理如合成，输出适合人眼观看的第一亮度数据，然后计算校正后的raw数据的HDR图像需要的校正参数，进入融合raw数据单元中的各原始数据，同一 raw数据单元中采用同样的权重系数以及校正因子可保证合成前后色彩的一致性；用适合人眼观看的亮度数据计算合成系数，可以实现把现有的亮度后处理效果融合到输出的raw数据的HDR图像中。在另一应用场景中，图像处理方法如下步骤SOl至步骤S06所示。其中，校正参数包括权重系数和校正因子；每一曝光帧对应一个权重系数，所有的曝光帧对应一个校正因子。以下以两帧的曝光帧进行举例说明S01、米集同一场景在不同曝光时间下的两巾贞不同亮度的曝光巾贞,第一曝光巾贞和第
二曝光帧。其中，第一曝光帧的亮度小于第二曝光帧的亮度，以及第一曝光帧的曝光时间小于第二曝光巾贞的曝光时间。R1表不第一曝光巾贞，R2表不第二曝光中贞。S02、针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据。第一曝光帧的第一亮度数据为I' i，第二曝光帧的第二亮度数据为I' 2。优选地，获取曝光帧的参考亮度值，采用预置的伽马系数1/2. 2通过查表的方式校正参考亮度值，得到第一亮度数据。S03、针对第一曝光帧，根据第一亮度数据I':获取第一曝光帧的权重系数W1 ;针对第二曝光帧，根据第二亮度数据I' 2获取第二曝光帧的权重系数w2。举例来说，根据如下的公式获取权重系数W1和w2。
权利要求
1.一种图像处理方法，其特征在于，包括 采集同一场景在不同曝光时间下的至少两巾贞不同亮度的曝光巾贞; 针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据； 根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的高动态范围HDR图像。
2.根据权利要求I所述的方法，其特征在于，所述根据所有的第一亮度数据获取所有曝光帧的校正参数，包括 根据所有的第一亮度数据获取每一曝光帧的权重系数； 对每一曝光帧进行亮度处理，获得处理后的第二亮度数据， 根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。
3.根据权利要求2所述的方法，其特征在于，所述采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，包括 获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数，以及和所述校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。
4.根据权利要求I至3任一所述的方法，其特征在于，所述将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据，具体包括 获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据。
5.根据权利要求4所述的方法，其特征在于，所述获取所述曝光帧的参考亮度值，包括 获取所述raw数据单元中各像素点的均值，将所述均值作为所述参考亮度值； 或者，获取所述raw数据单元中G像素点的均值，将所述均值作为所述参考亮度值。
6.根据权利要求2所述的方法，其特征在于，若采集同一场景在不同曝光时间下的两帧不同亮度的曝光帧第一曝光帧R1，第二曝光帧R2 ； 则根据所有的第一亮度数据获取每一曝光帧的权重系数，包括
7.根据权利要求6所述的方法，其特征在于，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，包括a= (I" I*wl+I2*w2)/(I1' *wl+r 2*w2)其中，wl表不第一曝光巾贞的权重系数，w2表不第二曝光巾贞的权重系数，c[表不校正因子，I" I表不第一曝光巾贞的第二亮度数据，I " 2表不第二曝光巾贞的第二亮度数据；1' I表示第一曝光帧的第一亮度数据，12'表示第二曝光帧的第一亮度数据。
8.根据权利要求6所示的方法，其特征在于，所述采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，包括 校正参数为权重系数wl、w2和校正因子a时，采用R=(Rl*wl+R2*w2)* a获得校正后的raw数据的HDR图像R ; 其中，Rl表不第一曝光巾贞，wl表不第一曝光巾贞的权重系数，R2表不第二曝光巾贞，w2表示第二曝光帧的权重系数，a表示校正因子，R为校正后的raw数据的HDR图像。
9.根据权利要求I所述的方法，其特征在于，所述根据所有的第一亮度数据获取所有曝光帧的校正参数之前，还包括 采用统计直方图方式获取亮曝光帧中像素点的第一亮度数据和暗曝光帧中对应位置的像素点的第一亮度数据之间的对应关系，得到亮度映射函数； 相应地，根据所有的第一亮度数据获取所有曝光帧的校正参数，具体为 根据所述亮度映射函数和所有的第一亮度数据获取所有曝光帧的校正参数。
10.根据权利要求9所述的方法，其特征在于，若采集同一场景在不同曝光时间下的两中贞不同亮度的曝光巾贞长曝光巾贞，短曝光中贞， 则所述亮度映射函数为b=f (a)，其中，a表示所述长曝光帧中象素点的亮度值，b表示短曝光帧中与所述a的位置对应一致的象素点的亮度值； 相应地，根据所述亮度映射函数和所有的第一亮度数据I' I、12'获取所有曝光帧的校正参数，包括 根据如下的公式获取每一曝光帧的权重系数wl，w2
11.根据权利要求I至10任一所述的方法，其特征在于， 所述raw数据单元为BGGR排列模式的数据单元、GRBG排列模式的数据单元或GRBW排列模式的数据单元。
12.—种图像处理装置，其特征在于，包括 处理器，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的高动态范围HDR图像； 存储器，用于存储所述处理器中采集的至少两帧不同亮度的曝光帧。
13.根据权利要求12所述的装置，其特征在于，所述处理器具体用于针对每一曝光帧，获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据； 和/或 根据所有的第一亮度数据获取每一曝光帧的权重系数；对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数； 和/或 获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数，以及和所述校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。
14.根据权利要求12所述的装置，其特征在于，所述处理器还用于·采用统计直方图方式获取亮曝光帧中像素点的第一亮度数据和暗曝光帧中对应位置的像素点的第一亮度数据之间的对应关系，得到亮度映射函数；以及 根据所述亮度映射函数和所有的第一亮度数据获取每一曝光帧的权重系数；对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。
全文摘要
本发明提供一种图像处理方法及装置，其中，图像处理方法包括采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。上述方法能够解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。
文档编号G06T5/40GK102970549SQ20121035189
公开日2013年3月13日 申请日期2012年9月20日 优先权日2012年9月20日
发明者陈海, 张雁 申请人:华为技术有限公司