图像处理设备和图像处理方法
【专利说明】图像处理设备和图像处理方法
[0001]本申请要求于2014年4月11日提交到日本专利局的第2014-0081999号日本专利申请和于2014年9月25日提交到韩国知识产权局的第10-2014-0128283号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。
技术领域
[0002]与示例性实施例一致的设备和方法涉及能够执行改进的宽动态范围(WDR)或高动态范围(HDR)拍摄功能的图像处理。
【背景技术】
[0003]最近增加了对宽动态范围(WDR)或高动态范围(HDR)拍摄功能的使用。根据WDR或HDR拍摄功能，连续捕捉短时间曝光图像(在下文中，被称为短曝光图像)和长时间曝光图像(在下文中，被称为长曝光图像)，随后对它们进行合成。因此，可获得超出允许图像传感器提供的最大动态范围的动态范围的图像。WDR或HDR拍摄功能对于高对比度场景(诸如背光模式)非常有效。
[0004]用于在长曝光图像和短曝光图像之间选择图像以用于区域中的每个像素的标准通常包括像素值信息和运动检测信息。在连续图像组中，对短曝光图像和长曝光图像的一对进行合成是普遍的。
[0005]将描述相机轻微晃动的场景。例如，将描述安装在室外的固定相机被路过车辆(或被风)轻微晃动的情况，或便携式相机被用户的手抖动轻微晃动的情况。在这种场景下，对于WDR合成的图像的特定区域，对短曝光图像和长曝光图像的选择相对于时间改变。因此，可能会把短曝光图像和长曝光图像之间的图像质量差异看做是闪烁。
[0006]将描述短曝光图像和长曝光图像之间的图像质量差异。通常，在根据曝光率将短曝光图像归一化之后执行对WDR图像的合成，使得短曝光图像具有与长曝光图像相同的亮度。在长曝光图像饱和的区域中，不可能使短曝光图像和长曝光图像具有相同的亮度。然而，如果长曝光图像不饱和，则长曝光图像的亮度可与归一化的短曝光图像的亮度匹配。然而，难以使两个图像具有恰好相同的图像质量。
[0007]例如，如果基于曝光率执行归一化，则期望曝光率可能不等于实际捕捉的像素值的比率。这是因为快门时间的设置精度低或者图像传感器的曝光特性受到影响。当执行对短曝光图像的归一化时，计算精度也会成为问题。
[0008]短曝光图像通常具有许多噪声。因此，虽然亮度匹配，但是如果通过捕捉相同对象获得的短曝光图像和长曝光图像频繁改变，则噪声量的差异可被检测为闪烁。
[0009]以下专利文献公开了用于减少外部振动对TOR合成的图像的影响的技术。
[0010]第2003-143484号日本专利特许公开(在下文中，被称为专利文献I)公开了一种在通过坐标变换应对整个屏幕的不一致之后对图像进行合成的技术。即使当短曝光图像的位置与长曝光图像的位置因振动(诸如相机晃动)而不一致时，可对图像进行合成，而不管这种不一致。
[0011]第2012-165213号日本专利特许公开(在下文中，被称为专利文献2)公开了这样一种算法:当确定将使用短曝光图像和长曝光图像中的哪一个时，如果像素值等于或大于参照长曝光图像的阈值，则使用短曝光图像。
[0012]由于长曝光图像饱和，因此平稳地转变图像选择以在高对比度区域中产生自然合成的图像，在高对比度区域中，使用短曝光图像的区域与适当曝光并使用长曝光图像的区域邻近。然而，由于饱和长曝光图像的像素值混合，因此在高对比度区域的饱和部分中颜色变浅。因此，专利文献2的技术通过将长曝光图像的明亮的像素值区域放大达振动幅度那么多来产生图像，参照放大的图像确定选择信号，并使用短曝光图像对区域进行放大。
[0013]第2011-135152号日本专利特许公开(在下文中，被称为专利文献3)公开了一种利用短快门时间执行支架捕捉以最大化地抑制因振动导致的不一致的技术。
[0014]第2013-066142号日本专利特许公开(在下文中，被称为专利文献4)公开了一种通过在运动区域中使用短曝光图像来抑制合成伪影或抖动图像的技术。在该技术中，当通过对象的运动捕捉抖动长曝光图像时，使用具有少量抖动分量的短曝光图像。
[0015]在观看TOR合成的图像中的一帧时，使用专利文献I中描述的技术可能有效。然而，当持续观看TOR合成的图像时，振动的影响不可被忽视。例如，当参照长曝光图像来移动短曝光图像的位置以进行对齐时，如果长曝光图像受振动影响，则振动的影响也仍存在于合成的图像组中。也就是说，根据专利文献I中描述的技术，对短曝光图像和长曝光图像的选择由于振动而相对于时间改变，并且图像的一部分可被视为闪烁。
[0016]在专利文献2中描述的技术中，饱和长曝光图像不用于合成。因此，可解决当饱和长曝光图像的像素值用于合成时引起的不自然颜色的产生。然而，根据该技术，短曝光图像和长曝光图像的转变区域的位置仅在空间上移动。因此，对于暂时连续的WDR合成的图像之中的特定区域，短曝光图像和长曝光图像可由于振动频繁改变。
[0017]根据专利文献3中描述的技术，快速振动的影响不可被忽视。此外，虽然假设振动的影响可被忽视，但是由短快门时间引起的噪声会增加。
[0018]专利文献4中描述的技术没有描述当存在振动时包括在连续WDR合成结果中的闪烁。然而，当全部振动被检测为运动时，在全屏中选择短曝光图像，并且在全屏上噪声增加。此外，当振动没有被检测为运动时，根据像素值从短曝光图像和长曝光图像选择将用于合成的图像。由于用于合成的图像暂时改变，因此可出现闪烁。
【发明内容】
[0019]示例性实施例包括图像处理设备和图像处理方法，其中，当选择短曝光图像和长曝光图像以用于合成时，可抑制选择的图像因轻微振动而改变。
[0020]各个方面将在下面的描述中部分地阐明，并且从描述中部分将是显然的，或者可通过呈现的实施例的实施而得知。
[0021]根据示例性实施例，提供一种图像处理设备，所述图像处理设备可包括:使用图像选择器，被配置为产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域，其中，所述使用图像选择信息包括先前使用图像选择信息和当前使用图像选择信息；平均处理器，被配置为通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息；合成器，被配置为通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。
[0022]所述图像处理设备还可包括:运动检测器，被配置为检测关于对象的运动信息；更新处理器，被配置为根据检测到的所述关于对象的对平均的使用图像选择信息进行更新，其中，合成器被配置为通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。
[0023]这里，运动检测器可使用所述至少两个图像或仅使用从所述至少两个图像选择的一个图像检测关于对象的运动信息。
[0024]图像处理设备还可包括缩小处理器，被配置为通过分别缩小所述多个图像来获得缩小的图像，使用图像选择器可根据缩小的图像产生使用图像选择信息。
[0025]使用图像选择器可被配置为根据缩小的图像产生使用图像选择信息。
[0026]运动检测器可被配置为从缩小的图像检测关于对象的运动信息。
[0027]更新处理器可被配置为对平均的使用图像选择信息进行更新，从而所述多个图像之中的在最短曝光时间段内捕捉的图像被用于合成图像的与关于对象的运动信息相应的运动区域中。
[0028]以上，先前使用图像选择信息可包括针对先前产生的合成图像中的每个区域的至少两个先前图像的混合比率，当前使用图像选择信息可包括针对当前合成的图像中的每个区域的所述至少两个图像的混合比率。
[0029]根据另一示例性实施例，提供一种图像处理方法，所述图像处理方法可包括:产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域，其中，所述使用图像选择信息包括先前使用图像选择信息和当前使用图像选择信息；通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息；通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。
[0030]所述图像处理方法还可包括:检测关于对象的运动信息；根据检测到的所述关于对象的对平均的使用图像选择信息进行更新，其中，通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。
[0031]这里，可使用所述至少两个图像或仅使用从所述至少两个图像选择的一个图像检测关于对象的运动信息。
[0032]以上方法还可包括通过分别缩小所述多个图像来获得缩小的图像，其中，根据缩小的图像产生使用图像选择信息。
[0033]以上，可通过将所述多个图像中的每个划分为多个预定大小的块，并对每个块的像素值取平均来执行缩小所述多个图像。
[0034]可对平均的使用图像选择信息进行更新，从而所述多个图像之中的在最短曝光时间段内捕捉的图像被用于合成图像的与关于对象的运动信息相应的运动