图像采集方法及图像采集装置制造方法
【专利摘要】本发明实施例提供了一种图像采集方法及图像采集装置，涉及图像处理【技术领域】。所述方法包括：获取目标场景的不同图像质量的至少两个图像；根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。本发明实施例的方法及装置根据图像的数据特性进行具有不同图像质量的至少两个图像的局部合并，能够在尽量充分的表现图像细节的基础上通过局部提高动态范围和/或信噪比，也即，根据需要相对地提高图像质量。
【专利说明】图像采集方法及图像采集装置
【技术领域】
[0001 ] 本发明涉及图像处理【技术领域】，尤其涉及一种图像采集方法及图像采集装置。
【背景技术】
[0002]随着数字时代的发展和计算机软硬件技术的进步，用户对数字图像品质需求也日益强烈。所谓数字化，就是相对于模拟信号而言，用数字的手段来处理信息。例如，数字相机(Digital Camera，DC)是一种利用图像传感器把光学影像转换成电子数据的照相机。图像传感器是一种光感应式的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，在进行图像采集时，使镜头光聚焦在CXD或CMOS，通过CXD或CMOS将光转换成电信号存储，在经过模数转换为数字信号后存储，并能够通过电脑、显示器或打印机等的处理，形成影象。
[0003]图像数字化后，分辨率、动态范围和信噪比等成为衡量图像质量的重要指标。图像分辨率是指图像的精密度，每英寸图像内有多少个像素点，分辨率越大图像就越精细，同样大小的图像上能显示的信息也越多；动态范围(DynamicRange)是指一个场景的最亮和最暗部分之间的相对比值，是用数学方式来描述某个给定场景的亮度层次范围的技术术语。信噪比反应在图像质量上就是是否干净无噪点，信噪比大图像画面就干净，看不到什么噪波干扰(表现为“颗粒”和“雪花”)，看起来很舒服；若信噪比小，则在画面上，可能满是雪花，严重影响图像画面。现有技术中存在很多提高图像质量的方法，但通常只能是通过牺牲某一项指标来提高其他指标。例如，通过牺牲分辨率来提高动态范围，但这样，图像细节便会减少；或通过牺牲信噪比来提高图像分辨率，也会造成噪点太多。
【发明内容】
[0004]本发明的目的是提供一种图像采集方法及图像采集装置，能够根据需要提高图像质量。
[0005]为了实现上述目的，第一方面，本发明实施例提供了 一种图像采集方法，所述方法包括:
[0006]获取目标场景的不同图像质量的至少两个图像；
[0007]根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
[0008]结合第一方面，在第一种可能的实现方式中，所述不同图像质量为分辨率不同，且动态范围和/或信噪比不同的图像。
[0009]结合第一方面，在第二种可能的实现方式中，在所述获取目标场景的不同图像质量的至少两个图像中:
[0010]通过一个图像传感器的不同时长的至少三次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
[0011]结合第一方面，在第三种可能的实现方式中，在所述获取目标场景的不同图像质量的至少两个图像中:
[0012]通过一次曝光至少两个图像传感器获取具有不同分辨率和信噪比的所述至少两个图像。
[0013]结合第一方面，在第四种可能的实现方式中，在所述获取目标场景的不同图像质量的至少两个图像中:
[0014]通过一个图像传感器的一次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
[0015]结合第一方面，在第五种可能的实现方式中，所述根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像包括:
[0016]用所述至少两个图像中具有第一分辨率和第一动态范围的图像的部分区域替换具有第二分辨率及第二动态范围的图像的对应区域，得到所述目标图像；
[0017]其中，所述第一分辨率小于所述第二分辨率，所述第一动态范围大于所述第二动态范围。
[0018]结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述用所述至少两个图像中具有第一分辨率和所述第一动态范围的图像的部分区域替换具有第二分辨率及所述第二动态范围的图像的对应区域，得到所述目标图像包括:
[0019]对所述第一图像逐区域做直方图分析；
[0020]根据所述直方图确定所述部分区域；
[0021]确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
[0022]结合第一方面，在第七种可能的实现方式中，所述根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像包括:
[0023]用所述至少两个图像中具有第一分辨率和第一信噪比的图像的部分区域替换具有第二分辨率及第二信噪比的图像的对应区域，得到所述目标图像；
[0024]其中，所述第一分辨率小于所述第二分辨率，所述第一信噪比大于所述第二信噪比。
[0025]结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述用所述至少两个图像中具有第一分辨率和所述第一信噪比的图像的部分区域替换具有第二分辨率及所述第二信噪比的图像的对应区域，得到所述目标图像包括:
[0026]对所述第二图像逐区域做下采样处理；
[0027]根据所述采样处理得到的图像以及所述第一图像，逐区域计算噪声信号的均方差;
[0028]根据所述均方差确定所述部分区域；
[0029]确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
[0030]结合第一方面的第五至第八种可能的实现方式中的任一种，在第九种可能的实现方式中，所述部分区域和/或所述对应区域中不包括语义信息超过预设阈值的区域。
[0031]结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，所述根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像还包括:
[0032]检测所述第一图像和/或第二图像的语义信息。
[0033]结合第一方面的第五至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，在用所述部分区域替换所述对应区域的过程中，逐像素替换。
[0034]结合第一方面的第五至第十种可能的实现方式中的任一种，在第十二种可能的实现方式中，在用所述部分区域替换所述对应区域的过程中，根据α混合进行替换。
[0035]结合第一方面的第五至第十种可能的实现方式中的任一种，在第十三种可能的实现方式中，所述逐区域中的区域为不规则形状的区域。
[0036]第二方面，本发明提供了一种图像采集装置，所述装置包括:
[0037]—图像获取模块，用于获取目标场景的不同图像质量的至少两个图像；
[0038]一处理模块，用于根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
[0039]结合第二方面，在第一种可能的实现方式中，所述图像获取模块通过一个图像传感器的不同时长的至少三次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
[0040]结合第二方面，在第二种可能的实现方式中，所述图像获取模块通过一次曝光至少两个图像传感器获取具有不同分辨率和信噪比的所述至少两个图像。
[0041]结合第二方面，在第三种可能的实现方式中，所述图像获取模块通过一个图像传感器的一次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
[0042]结合第二方面，在第四种可能的实现方式中，所述处理模块用所述至少两个图像中具有第一分辨率和第一动态范围的图像的部分区域替换具有第二分辨率及第二动态范围的图像的对应区域，得到所述目标图像；
[0043]其中，所述第一分辨率小于所述第二分辨率，所述第一动态范围大于所述第二动态范围。
[0044]结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述用处理模块包括:
[0045]一第一分析单元，用于对所述第一图像逐区域做直方图分析；
[0046]—第一确定单元，用于根据所述直方图确定所述部分区域；
[0047]一第二确定单元，用于确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
[0048]结合第二方面，在第六种可能的实现方式中，所述处理模块用所述至少两个图像中具有第一分辨率和第一信噪比的图像的部分区域替换具有第二分辨率及第二信噪比的图像的对应区域，得到所述目标图像；
[0049]其中，所述第一分辨率小于所述第二分辨率，所述第一信噪比大于所述第二信噪比。
[0050]结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述处理模块包括:
[0051]一处理单元，用于对所述第二图像逐区域做下采样处理；
[0052]一第二分析单元，用于根据所述采样处理得到的图像以及所述第一图像，逐区域计算噪声信号的均方差；
[0053]一第三确定单元，用于根据所述均方差确定所述部分区域；
[0054]一第四确定单元，用于确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
[0055]结合第二方面的第四至第七种可能的实现方式中的任一种，在第八种可能的实现方式中，所述处理模块还包括:
[0056]一语义分析单元，用于检测所述第一图像和/或第二图像的语义信息。
[0057]结合第二方面的第四至第七种可能的实现方式中的任一种，在第九种可能的实现方式中，所述处理模块在用所述部分区域替换所述对应区域的过程中，逐像素替换。
[0058]结合第二方面的第四至第七种可能的实现方式中的任一种，在第十种可能的实现方式中，处理模块在用所述部分区域替换所述对应区域的过程中，根据α混合进行替换。
[0059]本发明实施例的方法及装置根据目标场景图像的数据特性进行具有不同图像质量的至少两个图像的局部合并，能够在尽量充分的表现图像细节的基础上局部提高动态范围和/或信噪比，也即，根据需要相对地提高图像质量。
【专利附图】
【附图说明】
[0060]图1是本发明实施例的图像采集方法的流程图；
[0061]图2 (a)-图2 (b)是本发明实施例的图像采集方法的原理示意图；
[0062]图3是本发明实施例的图像采集装置的结构框图；
[0063]图4是本发明实施例的图像采集装置中处理模块的一种结构框图；
[0064]图5是本发明实施例的图像采集装置中处理模块的第二种结构框图；
[0065]图6Ca)是本发明实施例的图像采集装置中处理模块的第三种结构框图；
[0066]图6 (b)是本发明实施例的图像采集装置中处理模块的第四种结构框图；
[0067]图7是本发明实施例的图像采集装置的又一种结构框图。
【具体实施方式】
[0068]下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明的【具体实施方式】作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0069]在本发明各实施例中，图像传感器指感光元件，包括CXD传感器或CMOS传感器。
[0070]如图1所示，本发明实施例的图像采集方法包括步骤:
[0071]S110.获取目标场景的不同图像质量的至少两个图像。
[0072]在本发明实施例的方法中，所述不同图像质量包括:分辨率和动态范围不同；分辨率和信噪比不同；分辨率、动态范围以及信噪比均不同的可能。可根据不同的曝光策略(不同时长、次数)和像素合并技术获得上述不同图像质量的至少两个图像。像素合并(pixel binning)指将一组像素(例如，两个、四个或更多像素)的信息合并为一个像素，以减小画面噪点，提高感光敏感性，这样的像素合并同时会降低图像的分辨率。
[0073]S120.根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
[0074]图像的数据特性可指图像的灰度分布、噪音量、信息量等表征数字化图像特性的特征。根据图像的数据特性，能够确定目标场景的哪些区域需要较高的动态范围，哪些区域噪音量较大，哪些细节需要体现等等。优选地，在本发明实施例的方法中，根据图像的数据特性在保持分辨率较大的基础上进行局部像素的合并，以获得局部图像的较高的动态范围和/或较高的信噪比。
[0075]综上，本发明实施例的方法根据目标场景图像的数据特性进行具有不同图像质量的至少两个图像的局部合并，能够在尽量充分的表现图像细节的基础上局部提高动态范围和/或信噪比，也即，根据需要相对地提高图像质量。
[0076]在本发明实施例的方法中，步骤SllO可通过多种方式获得具有不同质量的至少两个图像。具言之:
[0077]通过一个图像传感器的不同时长的至少三次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。例如，利用富士SUPER CXD EXR采用的“像素对”排列(不限于此)，通过一次全像素曝光，获得一张高分辨率的第一图像；再通过双重曝光控制，也即同一块CCD的两组像素分别使用不同曝光量曝光，得到两张分别记录了亮部和暗部细节的图像，再由图像处理合二为一，得到一张低分辨率高动态范围的第二图像。或者，
[0078]通过一次曝光至少两个图像传感器获取具有不同分辨率和信噪比的所述至少两个图像。以获取两个图像为例，可使用两个图像传感器，该两个传感器具有不同的分辨率且分别工作在低质量模式(低信噪比和/或低动态范围)和高质量模式(高信噪比和/或高动态范围)，针对同一目标场景曝光这两个图像传感器，获得具有不同分辨率和信噪比的两个图像。其中，为了避免由于两次曝光之间的相机或者目标运动导致两个图像的对齐问题，可以使用分光装置(例如，棱镜)将入射光分成两路，同样的曝光条件曝光这两个传感器获取所需的两个图像。超过两个图像时同理。再或者，
[0079]通过一个图像传感器的一次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。仍以两个图像为例，曝光一次图像传感器，读取两次该图像传感器上累计的电量，其中一次读每个像素上的电量，最终获得具有全分辨率、低信噪比的第一图像；另一次以像素组(包含N个像素，N不小于2)为单位，读取每个像素组的电量，获得全分辨率/N的分辨率、高信噪比的第二图像。
[0080]此外，如图2 Ca)所示，在本发明实施例的方法的步骤S120中，可进行如下替换:
[0081]用所述至少两个图像中具有第一分辨率Rl和第一动态范围Dl的第一图像I的部分区域a替换具有第二分辨率R2及第二动态范围D2的第二图像2的对应区域b，得到所述目标图像3。其中，所述第一分辨率Rl小于所述第二分辨率R2，所述第一动态范围Dl大于所述第二动态范围D2。此时，步骤S120进一步包括:
[0082]S121.对所述第一图像I逐区域做直方图分析。
[0083]直方图是以图形化参数来显示图片曝光精确度的手段，其描述的是图像显示范围内影像的灰度分布曲线。直方图的横轴可代表图像从黑(暗部)到白(亮度)的像素数量，例如，最暗处的Level值为O,而最亮处的Level值为255。直方图的垂直轴方向代表了在给定的Level值下的像素的数目。
[0084]S122.根据所述直方图确定所述部分区域。
[0085]根据步骤S121所生成的直方图，可以确定被分析的区域是否需要保持高动态范围。例如，可预先设置需要保持高动态范围的像素数量的阈值，若给定Level值(例如，包括暗部和亮部)下的像素的数目超过该阈值，则确定当前区域为需要保持高动态范围的区域。再例如，可预先设置需要保持高动态范围的信息熵阈值，若某区域的信息熵高于该信息熵阈值，则确定当前区域为需要保持高动态范围的区域。其中，像素数量的阈值以及信息熵阈值可根据目标场景的相关经验设置。确定需要保持高动态范围的区域后，这些区域的集合构成所述部分区域a。[0086]S123.确定所述第二图像2中的对应区域b，并用所述部分区域a替换所述对应区域b。
[0087]在确定了第一图像I中需要保持高动态范围的部分区域a后，需要确定第二图像2中的对应区域b，以进行对应区域b的替换。由于第二图像2的分辨率R2高于第一图像I的分辨率R1，因此，可采用根据R2对第一图像I进行上采样以及低通滤波等处理，使得处理后的第一图像I具有与第二图像2同样的分辨率，进而确定第二图像2上的对应区域b。
[0088]当获取了超过两个图像时，可两两进行上述过程。
[0089]此外，如图2 (b)所示，在本发明实施例的方法的步骤S120中，还可进行如下替换:
[0090]用所述至少两个图像中具有第一分辨率Rl和第一信噪比S/N1的第一图像I的部分区域a替换具有第二分辨率R2及第二信噪比S/N2的第二图像2的对应区域b，得到所述目标图像3。其中，所述第一分辨率Rl小于所述第二分辨率R2，所述第一信噪比S/N1大于所述第二信噪比S/N2。此时，步骤S120可优选地进一步包括(不限于此):
[0091]S124.根据第一分辨率R1，对所述第二图像2逐区域做下采样处理。得到分辨率与第一图像I相同的第三图像4。
[0092]S125.根据所述采样处理得到的第三图像4以及所述第一图像1，逐区域计算噪声信号的均方差(MSE)。
[0093]S126.根据所述均方差确定所述部分区域a。
[0094]例如，用第三图像4的对应像素的电压值与第一图像I的电压值相减，近似得到噪音信号，再求该区域噪音信号的均方差，得到该区域的噪音方差，若该噪音方差高于噪音阈值，则确定该区域为需要保持高信噪比的区域，其中，噪音阈值可参考如下方式设置:
[0095]假设tl为所有区域的均方差的数值的统计量(中值或均值等)，t2是系统设定的经验值，与目标场景相关，则可设置噪音阈值n=tl*u+t2* (1-u)，其中，u为调节tl和t2组合权重的参数，取值范围在[O?I]之间，根据所处理图像的多样性设置。例如，在监控摄像头中，处理的图像场景比较固定，则可以对u取较大的值。
[0096]上述说明仅为示例性的找出需要保持高信噪比的区域的方法，本领域的技术人员可以理解，还可使用其他计算信噪比的方法来找出该部分区域。例如，近似估计图像信噪比:即信号与噪声的方差之比。首先计算该区域所有像素的局部方差，将局部方差的最大值认为是信号方差，最小值是噪声方差，求出它们的比值，再转成dB数，最后用经验公式修正。
[0097]S127.确定所述第二图像2中的对应区域b，并用所述部分区域a替换所述对应区域b。
[0098]同样地，当获取了超过两个图像时，可两两进行上述过程。也可针对同一目标场景的图像做上述分辨率和动态范围的区域确定。
[0099]需要说明的是，根据目标场景的不同，会存在特殊情况:所确定的需要高动态范围和/或高信噪比的区域中可能包含语义信息较丰富的部分，例如，人脸、指示牌、车牌等，而这样的内容应足够细节地显示出，也即这样的内容对应的区域应保持高分辨率，容忍较低的信噪比和/或动态范围，因此，在所确定的部分区域和/或所述对应区域中不应包括这样的语义信息超过预设阈值的区域。进而能够使采用本发明实施例的方法采集的图像保持较充分的语义信息。
[0100]相应地，本发明实施例的方法的步骤S120中还包括:
[0101]S128.检测所述第一图像和/或第二图像的语义信息。语义信息的检测是本领域的成熟技术，在此不做赘述。
[0102]在用所述部分区域替换所述部分区域的过程中，为了避免替换区域的边界有明显的分界线，影响观感，在用所述部分区域替换所述对应区域的过程中，可逐像素替换，从而避免形成肉眼可见的区域边界。或者，在用所述部分区域替换所述对应区域的过程中，根据α混合(alpha-blending)进行替换，以使替换后的边界渐变。
[0103]再有，为了避免区域边界引起块状噪音(blocky artifact)，本发明实施例中所采用的“逐区域”中的“区域”可采用不规则的区域形状，使用类似拼图(jigsaw puzzle)的方法划分整个图像。
[0104]综上，本发明实施例的方法根据图像的数据特性进行具有不同图像质量的至少两个图像的局部合并，能够在尽量充分的表现图像细节的基础上局部提高动态范围和/或信噪比，也即，根据需要相对地提高图像质量；此外，在局部合并的过程中充分保留语义信息丰富的区域，且合并后的区域边界平滑，避免了肉眼可见的区域边界，用户体验良好。
[0105]本领域技术人员可以理解，在本发明【具体实施方式】的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明【具体实施方式】的实施过程构成任何限定。
[0106]本发明实施例还提供了一种图像采集装置，该装置可为数码相机或任意具有图像采集功能的设备，例如，手机、便携式电脑、可穿戴设备等。该装置还可全部或部分为上述设备的一部分，或为独立于上述设备的装置。如图3所示，本发明实施例提供的图像采集装置300包括:
[0107]图像获取模块310，用于获取目标场景的不同图像质量的至少两个图像。
[0108]在本发明实施例的装置中，所述不同图像质量包括:分辨率和动态范围不同；分辨率和信噪比不同；分辨率、动态范围以及信噪比均不同的可能。图像获取模块3可根据不同的曝光策略(不同时长、次数)和像素合并技术获得上述不同图像质量的至少两个图像。像素合并(Pixel binning)指将一组像素(例如，两个、四个或更多像素)的信息合并为一个像素，以减小画面噪点，提高感光敏感性，这样的像素合并同时会降低图像的分辨率。
[0109]处理模块320，用于根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
[0110]图像的数据特性可指图像的灰度分布、噪音量、信息量等表征数字化图像特性的特征。根据图像的数据特性，能够确定目标场景的哪些区域需要较高的动态范围，哪些区域噪音量较大，哪些细节需要体现等等。优选地，在本发明实施例的装置中，处理模块320根据图像的数据特性在保持分辨率较大的基础上进行局部像素的合并，以获得局部图像的较高的动态范围和/或较高的信噪比。
[0111]综上，本发明实施例的装置根据目标场景图像的数据特性进行具有不同图像质量的至少两个图像的局部合并，能够在尽量充分的表现图像细节的基础上局部提高动态范围和/或信噪比，也即，根据需要相对地提高图像质量。
[0112]在本发明实施例的装置中，图像获取模块310可通过多种方式获得具有不同质量的至少两个图像。具言之:
[0113]通过一个图像传感器的不同时长的至少三次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。例如，利用富士 SUPER CXD EXR采用“像素对”排列(不限于此)，通过一次全像素曝光，获得一张高分辨率的第一图像；再通过双重曝光控制，也即同一块CCD的两组像素分别使用不同曝光量曝光，得到两张分别记录了亮部和暗部细节的图像，再由图像处理合二为一，得到一张低分辨率高动态范围的第二图像。或者，
[0114]通过一次曝光至少两个图像传感器获取具有不同分辨率和信噪比的所述至少两个图像。以获取两个图像为例，可使用两个图像传感器，该两个传感器具有不同的分辨率且分别工作在低质量模式(低信噪比和/或低动态范围)和高质量模式(高信噪比和/或高动态范围)，针对同一目标场景曝光这两个图像传感器，获得具有不同分辨率和信噪比的两个图像。其中，为了避免由于两次曝光之间的相机或者目标运动导致两个图像的对齐问题，可以使用分光装置(例如，棱镜)将入射光分成两路，同样的曝光条件曝光这两个传感器获取所需的两个图像。超过两个图像时同理。再或者，
[0115]通过一个图像传感器的一次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。仍以两个图像为例，曝光一次图像传感器，读取两次该图像传感器上累计的电量，其中一次读每个像素上的电量，最终获得具有全分辨率、低信噪比的第一图像；另一次以像素组(包含N个像素，N不小于2)为单位，读取每个像素组的电量，获得全分辨率/N的分辨率、高信噪比的第二图像。
[0116]此外，如图2 Ca)所示，本发明实施例的装置的处理模块320可进行如下替换:
[0117]用所述至少两个图像中具有第一分辨率Rl和第一动态范围Dl的第一图像I的部分区域a替换具有第二分辨率R2及第二动态范围D2的第二图像2的对应区域b，得到所述目标图像3。其中，所述第一分辨率Rl小于所述第二分辨率R2，所述第一动态范围Dl大于所述第二动态范围D2。此时,如图4所示,处理模块320进一步包括:
[0118]第一分析单元321，用于对所述第一图像I逐区域做直方图分析。
[0119]直方图是以图形化参数来显示图片曝光精确度的手段，其描述的是图像显示范围内影像的灰度分布曲线。直方图的横轴可代表图像从黑(暗部)到白(亮度)的像素数量，例如，最暗处的Level值为O,而最亮处的Level值为255。直方图的垂直轴方向代表了在给定的Level值下的像素的数目。
[0120]第一确定单元322，用于根据所述直方图确定所述部分区域。
[0121]根据第一分析单元321所生成的直方图，可以确定确定被分析的区域是否需要保持高动态范围。例如，可预先设置需要保持高动态范围的像素数量的阈值，若给定Level值(例如，包括暗部和亮部)下的像素的数目超过该阈值，则确定当前区域为需要保持高动态范围的区域。再例如，可预先设置需要保持高动态范围的信息熵阈值，若某区域的信息熵高于该信息熵阈值，则确定当前区域为需要保持高动态范围的区域。其中，像素数量的阈值以及信息熵阈值可根据目标场景的相关经验设置。确定需要保持高动态范围的区域后，这些区域的集合构成所述部分区域a。
[0122]第二确定单元323，用于确定所述第二图像2中的对应区域b，并用所述部分区域a替换所述对应区域b。
[0123]在确定了第一图像I中需要保持高动态范围的部分区域a后，需要确定第二图像2中的对应区域b，以进行对应区域b的替换。由于第二图像2的分辨率Rl高于第二图像2的分辨率Rl，因此，可采用根据R2对第一图像I进行上采样以及低通滤波等处理，使得处理后的第一图像I具有与第二图像2同样的分辨率，进而确定第二图像2上的对应区域b。
[0124]当获取了超过两个图像时，可两两进行上述过程。
[0125]此外，如图2 (b)所示，在本发明实施例的装置的处理模块320还可进行如下替换:
[0126]用所述至少两个图像中具有第一分辨率Rl和第一信噪比S/N1的第一图像I的部分区域a替换具有第二分辨率R2及第二信噪比S/N2的第二图像2的对应区域b，得到所述目标图像3。其中，所述第一分辨率Rl小于所述第二分辨率R2，所述第一信噪比S/N1大于所述第二信噪比S/N2。此时，如图5所示，处理模块320进一步包括:
[0127]处理单元324，用于根据第一分辨率R1，对所述第二图像I逐区域做下采样处理。得到分辨率与第一图像I相同的第三图像4。
[0128]第二分析单元325，用于根据所述采样处理得到的第三图像4以及所述第一图像I，逐区域计算噪声信号的均方差。
[0129]第三确定单元326，用于根据所述均方差确定所述部分区域a。
[0130]例如，用第三图像4的对应像素的电压值与第一图像I的电压值相减，近似得到噪音信号，再求该区域噪音信号的均方差，得到该区域的噪音方差，若该噪音方差高于噪音阈值，则确定该区域为需要保持高信噪比的区域，其中，噪音阈值可参考如下方式设置:
[0131]假设tl为所有区域的均方差的数值的统计量(中值或均值等)，t2是系统设定的经验值，与目标场景相关，则可设置噪音阈值n=tl*u+t2* (Ι-u)，其中，u为调节tl和t2组合权重的参数，取值范围在[O?I]之间，根据所处理图像的多样性设置。例如，在监控摄像头中，处理的图像场景比较固定，则可以对u取较大的值。
[0132]上述说明仅为示例性的找出需要保持高信噪比的区域的方法，本领域的技术人员可以理解，还可使用其他计算信噪比的方法来找出该部分区域。例如，近似估计图像信噪比:即信号与噪声的方差之比。首先计算该区域所有像素的局部方差，将局部方差的最大值认为是信号方差，最小值是噪声方差，求出它们的比值，再转成dB数，最后用经验公式修正。
[0133]第四确定单元327，用于确定所述第二图像2中的对应区域b，并用所述部分区域a替换所述对应区域b。
[0134]同样地，当获取了超过两个图像时，可两两进行上述过程。也可针对同一目标场景的图像做上述分辨率和动态范围的区域确定。
[0135]需要说明的是，根据目标场景的不同，会存在特殊情况:所确定的需要高动态范围和/或高信噪比的区域中可能包含语义信息较丰富的部分，例如，人脸、指示牌、车牌等，而这样的内容应足够细节地显示出，也即这样的内容对应的区域应保持高分辨率，可以容忍较低的信噪比和/或动态范围，因此，在所确定的部分区域和/或所述对应区域中不应包括这样的语义信息超过预设阈值的区域。进而能够使采用本发明实施例的方法采集的图像保持较充分的语义信息。
[0136]相应地，如图6 (a)-图6 (b)所示，本发明实施例的装置的处理模块320除了包括图4-5所示的各单元外,还包括:[0137]语义分析单元328，用于检测所述第一图像和/或第二图像的语义信息。语义信息的检测是本领域的成熟技术，在此不做赘述。
[0138]在用所述部分区域替换所述部分区域的过程中，为了避免替换区域的边界有明显的分界线，影响观感，在用所述部分区域替换所述对应区域的过程中，可逐像素替换，从而避免形成肉眼可见的区域边界。或者，在用所述部分区域替换所述对应区域的过程中，根据α混合(alpha-blending)进行替换，以使替换后的边界渐变。
[0139]再有，为了避免区域边界引起块状噪音(blocky artifact)，本发明实施例中所采用的“逐区域”中的“区域”可采用不规则的区域形状，使用类似拼图(jigsaw puzzle)的方法划分整个图像。
[0140]综上，本发明实施例的方法根据图像的数据特性进行具有不同图像质量的至少两个图像的局部合并，能够在尽量充分的表现图像细节的基础上局部提高动态范围和/或信噪比，也即，根据需要相对地提高图像质量；此外，在局部合并的过程中充分保留语义信息丰富的区域，且合并后的区域边界平滑，避免了肉眼可见的区域边界，用户体验良好。
[0141]图7为本发明实施例提供的又一种图像采集装置700的结构示意图，本发明具体实施例并不对图像采集装置700的具体实现做限定。如图7所示，该图像采集装置700可以包括:
[0142]处理器(processor)710、通信接口(Communications Interface) 720、存储器(memory) 730、以及通信总线740。其中:
[0143]处理器710、通信接口 720、以及存储器730通过通信总线740完成相互间的通信。
[0144]通信接口 720，用于与比如客户端等的网元通信。
[0145]处理器710，用于执行程序732，具体可以实现上述图3至图6中所示的装置实施例中图像采集装置的相关功能。
[0146]具体地，程序732可以包括程序代码，所述程序代码包括计算机操作指令。
[0147]处理器710可能是一个中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
[0148]存储器730，用于存放程序732。存储器730可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序732具体可以执行如下步骤:
[0149]获取目标场景的不同图像质量的至少两个图像；
[0150]根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
[0151]尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。[0152]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0153]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可因东介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(R0M，Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPR0M)、闪存或其他固态存储器技术、⑶-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
[0154]以上实施方式仅用于说明本发明，而并非对本发明的限制，有关【技术领域】的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
【权利要求】
1.一种图像采集方法，其特征在于，所述方法包括: 获取目标场景的不同图像质量的至少两个图像； 根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
2.根据权利要求1所述的方法，其特征在于，所述不同图像质量为分辨率不同，且动态范围和/或信噪比不同的图像。
3.根据权利要求1所述的方法，其特征在于，在所述获取目标场景的不同图像质量的至少两个图像中: 通过一个图像传感器的不同时长的至少三次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
4.根据权利要求1所述的方法，其特征在于，在所述获取目标场景的不同图像质量的至少两个图像中: 通过一次曝光至少两个图像传感器获取具有不同分辨率和信噪比的所述至少两个图像。
5.根据权利要求1所述的方法，其特征在于，在所述获取目标场景的不同图像质量的至少两个图像中: 通过一个图像传感器的一次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
6.根据权利要求1所述的方法，其`特征在于，所述根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像包括: 用所述至少两个图像中具有第一分辨率和第一动态范围的图像的部分区域替换具有第二分辨率及第二动态范围的图像的对应区域，得到所述目标图像； 其中，所述第一分辨率小于所述第二分辨率，所述第一动态范围大于所述第二动态范围。
7.根据权利要求6所述的方法，其特征在于，所述用所述至少两个图像中具有第一分辨率和所述第一动态范围的图像的部分区域替换具有第二分辨率及所述第二动态范围的图像的对应区域，得到所述目标图像包括: 对所述第一图像逐区域做直方图分析； 根据所述直方图确定所述部分区域； 确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
8.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像包括: 用所述至少两个图像中具有第一分辨率和第一信噪比的图像的部分区域替换具有第二分辨率及第二信噪比的图像的对应区域，得到所述目标图像； 其中，所述第一分辨率小于所述第二分辨率，所述第一信噪比大于所述第二信噪比。
9.根据权利要求8所述的方法，其特征在于，所述用所述至少两个图像中具有第一分辨率和所述第一信噪比的图像的部分区域替换具有第二分辨率及所述第二信噪比的图像的对应区域，得到所述目标图像包括: 对所述第二图像逐区域做下采样处理； 根据所述采样处理得到的图像以及所述第一图像，逐区域计算噪声信号的均方差；根据所述均方差确定所述部分区域； 确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
10.根据权利要求6-9中任一项所述的方法，其特征在于，所述部分区域和/或所述对应区域中不包括语义信息超过预设阈值的区域。
11.根据权利要求10所述的方法，其特征在于，所述根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像还包括: 检测所述第一图像和/或第二图像的语义信息。
12.根据权利要求6-11中任一项所述的方法，其特征在于，在用所述部分区域替换所述对应区域的过程中，逐像素替换。
13.根据权利要求6-11中任一项所述的方法，其特征在于，在用所述部分区域替换所述对应区域的过程中，根据α混合进行替换。
14.根据权利要求6-11中任一项所述的方法，其特征在于，所述逐区域中的区域为不规则形状的区域。
15.一种图像采集装置，其特征在于，所述装置包括: 一图像获取模块，用于获取目标场景的不同图像质量的至少两个图像； 一处理模块，用于根据所述至少两个图像的数据特性，局部合并所述至少两个图像，获得目标图像。
16.根据权利要求15所述的装置，其特征在于，所述图像获取模块通过一个图像传感器的不同时长的至少三次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
17.根据权利要求15所述的装置，其特征在于，所述图像获取模块通过一次曝光至少两个图像传感器获取具有不同分辨率和信噪比的所述至少两个图像。
18.根据权利要求15所述的装置，其特征在于，所述图像获取模块通过一个图像传感器的一次曝光以及像素合并，获取具有不同分辨率和动态范围的所述至少两个图像。
19.根据权利要求15所述的装置，其特征在于，所述处理模块用所述至少两个图像中具有第一分辨率和第一动态范围的图像的部分区域替换具有第二分辨率及第二动态范围的图像的对应区域，得到所述目标图像； 其中，所述第一分辨率小于所述第二分辨率，所述第一动态范围大于所述第二动态范围。
20.根据权利要求19所述的装置，其特征在于，所述用处理模块包括: 一第一分析单元，用于对所述第一图像逐区域做直方图分析； 一第一确定单元，用于根据所述直方图确定所述部分区域； 一第二确定单元，用于确 定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
21.根据权利要求15所述的装置，其特征在于，所述处理模块用所述至少两个图像中具有第一分辨率和第一信噪比的图像的部分区域替换具有第二分辨率及第二信噪比的图像的对应区域，得到所述目标图像； 其中，所述第一分辨率小于所述第二分辨率，所述第一信噪比大于所述第二信噪比。
22.根据权利要求21所述 的装置，其特征在于，所述处理模块包括:一处理单元，用于对所述第二图像逐区域做下采样处理； 一第二分析单元，用于根据所述采样处理得到的图像以及所述第一图像，逐区域计算噪声信号的均方差； 一第三确定单元，用于根据所述均方差确定所述部分区域； 一第四确定单元，用于确定所述第二图像中的对应区域，并用所述部分区域替换所述对应区域。
23.根据权利要求19-22中任一项所述的装置，其特征在于，所述处理模块还包括: 一语义分析单元，用于检测所述第一图像和/或第二图像的语义信息。
24.根据权利要求19-22中任一项所述的装置，其特征在于，所述处理模块在用所述部分区域替换所述对应区域的过程中，逐像素替换。
25.根据权利要求19-22中任一项所述的装置，其特征在于，处理模块在用所述部分区域替换所述对应区域的过程中，根据α混`合进行替换。
【文档编号】H04N5/355GK103888689SQ201410093604
【公开日】2014年6月25日 申请日期:2014年3月13日 优先权日:2014年3月13日
【发明者】周涵宁, 丁大勇 申请人:北京智谷睿拓技术服务有限公司