图像处理装置、图像处理方法、图像处理程序和记录介质的制作方法

图像处理装置、图像处理方法、图像处理程序和记录介质的制作方法
【专利摘要】一种图像处理装置，对合成曝光条件不同的第1图像和第2图像而得到的合成图像进行图像处理。该装置具有数据取得部和图像处理部。数据取得部取得合成图像和表示合成图像的对象区域的区域数据。图像处理部根据区域数据，对对象区域和对象区域以外的区域进行不同的图像处理。此处，第1图像和第2图像包含描绘有动态被摄体的区域。合成图像是针对描绘有动态被摄体的区域，使用第1图像和第2图像中的任意一方的像素值而生成的。区域数据将根据合成图像中的描绘有动态被摄体的区域生成的1个或者多个区域表示为对象区域。
【专利说明】图像处理装置、图像处理方法、图像处理程序和记录介质
【技术领域】
[0001]本发明涉及图像处理装置、图像处理方法、图像处理程序和记录介质。
【背景技术】
[0002]作为图像处理装置，过去已知有进行高动态范围合成(HDR(High Dynamic Range)合成)的图像处理装置(参照专利文献I)。该装置通过合成在不同的曝光条件下依次拍摄到的多个画面，使影像信号的动态范围看上去被放大。由此，消除逆光时等产生的“曝光过度(白it/)”或者“曝光不足(黒&)”(亮度等级明显高或者低的部分)。此外，在该装置中，与因手抖动产生的多个画面之间的摄像时的经时位置偏差对应地，对多个画面中的各个画面进行坐标转换，然后进行HDR合成。具体而言，使用图像的运动信息，并使用两个画面的公共区域部分进行HDR合成。由此，消除画面(摄像元件)相对于被摄体的位置偏差(画面晃动)。
[0003]另一方面，在被摄体自身移动的情况下，还存在物体在所合成的图像上分成多个的所谓被摄体晃动问题。因此，已知有变更读出信号的输出定时，控制曝光次数、曝光时间或者摄像元件的信号读出速度的装置(参照专利文献2、3)。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本特许第3110797号公报
[0007]专利文献2:日本特开2005 - 130054号公报
[0008]专利文献3:日本特开2005 - 065119号公报

【发明内容】

[0009]发明要解决的问题
[0010]由于专利文献2、3所记载的装置是通过在摄像条件上设法来降低被摄体晃动的，因而需要根据被摄体有无移动来变更设备的动作或设定，存在控制处理复杂化的问题。
[0011]因此，期望只使用输入图像的图像信息来进行降低被摄体晃动的HDR合成。但是，由于经过各种图像处理而得到HDR图像，因此在色调映射处理等后续步骤时，HDR合成时的处理的影响变得显著，有时不能得到优质的图像。因此，期望如下图像处理装置、图像处理方法、图像处理程序和存储有该图像处理程序的记录介质:即使在只使用输入图像的图像信息来进行校正了被摄体晃动的HDR合成的情况下，也能够适当地进行后续步骤。
[0012]用于解决问题的手段
[0013]S卩，本发明的一个方面的图像处理装置是对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理的图像处理装置。该装置具有数据取得部和图像处理部。数据取得部取得合成图像和表示合成图像的对象区域的区域数据。图像处理部根据区域数据，对对象区域和对象区域以外的区域进行不同的图像处理。此处，第I图像和第2图像包含描绘有动态被摄体的区域。合成图像是针对描绘有动态被摄体的区域，使用第I图像和第2图像中的任意一方的像素值而生成的。区域数据将根据合成图像中的描绘有动态被摄体的区域生成的I个或者多个区域表示为对象区域。
[0014]在该图像处理装置中，在对合成图像进行图像处理时，使用区域数据，对描绘有动态被摄体的区域和此外的区域进行不同的处理。拍摄有动态被摄体的区域在合成处理时被实施各种图像处理。因此，并非对图像整体实施相同的图像处理，通过将拍摄有动态被摄体的区域与其它区域区別开来实施图像处理，能够在后续步骤中，避免合成时的处理的影响变得显著，因此，即使在只使用输入图像的图像信息来进行校正了被摄体晃动的合成的情况下，也能够适当地进行后续步骤。
[0015]在一个实施方式中，图像处理装置还可以具有输入部、似然度计算部和区域数据生成部。输入部输入第I图像和第2图像。似然度计算部根据第I图像和第2图像的差分，计算各个像素的动态被摄体似然度。区域数据生成部根据动态被摄体似然度生成区域数据。通过这样构成，能够根据输入图像生成区域数据。
[0016]在一个实施方式中，图像处理装置还可以具有曝光估计部和合成部。曝光估计部根据动态被摄体似然度，估计对第I图像与第2图像的曝光条件进行调合的曝光转换函数。合成部使用曝光转换函数合成第I图像和第2图像。这样，在对曝光进行调合时，由于考虑了动态被摄体似然度，因此例如能够去除颜色有可能因被摄体运动而变化的区域而对曝光进行调合，因此能够生成合适的合成图像。
[0017]在一个实施方式中，图像处理装置还可以具有将合成图像和区域数据相互对应起来而进行记录的记录部。通过这样构成，不仅在摄像时或合成时，在合成之后期望的时机，也能够适当地进行后续步骤。
[0018]在一个实施方式中，区域数据可以是尺寸比第I图像、第2图像或者合成图像的尺寸小的数据。通过这样构成，能够减少与合成图像对应起来的数据量。
[0019]在一个实施方式中，也可以是，还将区域数据与原像素信息对应起来，该原像素信息确定合成该区域数据表示的对象区域时用到的图像的像素信息，数据取得部取得与区域数据对应的原像素信息，图像处理部根据区域数据和原像素信息，对对象区域和对象区域以外的区域进行不同的处理。
[0020]通过这样构成，例如能够判断是使用曝光过度的图像区域合成了对象区域，还是使用曝光不足的图像区域(或者像素信息不足的较暗的区域)合成了对象区域，因此能够根据原像素信息变更处理，从而能够适当地进行后续步骤。
[0021]在一个实施方式中，图像处理部可以对对象区域和对象区域以外的区域，进行不同的色调映射处理。这样，通过将色调映射处理设为根据每一区域而不同的处理，能够避免对象区域产生较多噪声或者对象区域的颜色变得不自然。
[0022]本发明的另一方面的图像处理方法是对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理的图像处理方法。该方法具有数据取得步骤和图像处理步骤。在数据取得步骤中，取得合成图像和表示合成图像的对象区域的区域数据。在图像处理步骤中，根据区域数据，对对象区域和对象区域以外的区域进行不同的图像处理。此处，第I图像和第2图像包含描绘有动态被摄体的区域。合成图像是针对描绘有动态被摄体的区域，使用第I图像和第2图像中的任意一方的像素值而生成的。区域数据将根据合成图像中的描绘有动态被摄体的区域而生成的I个或者多个区域表示为对象区域。[0023]本发明再一方面的图像处理程序是使计算机以对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理的方式进行动作的图像处理程序。该程序使计算机作为数据取得部和图像处理部进行动作。数据取得部取得合成图像和表示合成图像的对象区域的区域数据。图像处理部根据区域数据，对对象区域和对象区域以外的区域进行不同的图像处理。此处，第I图像和第2图像包含描绘有动态被摄体的区域。合成图像是针对描绘有动态被摄体的区域，使用第I图像和第2图像中的任意一方的像素值而生成的。区域数据将根据合成图像中的描绘有动态被摄体的区域生成的I个或者多个区域表示为对象区域。
[0024]本发明又一方面的记录介质是记录有使计算机以对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理的方式进行动作的图像处理程序的记录介质。该程序使计算机作为数据取得部和图像处理部进行动作。数据取得部取得合成图像和表示合成图像的对象区域的区域数据。图像处理部根据区域数据，对对象区域和对象区域以外的区域进行不同的图像处理。此处，第I图像和第2图像包含描绘有动态被摄体的区域。合成图像是针对描绘有动态被摄体的区域，使用第I图像和第2图像中的任意一方的像素值而生成的。区域数据将根据合成图像中的描绘有动态被摄体的区域生成的I个或者多个区域表示为对象区域。
[0025]根据本发明的其它方面的图像处理方法、图像处理程序和记录介质，起到与上述图像处理装置相同的效果。
[0026]发明效果
[0027]根据本发明的各个方面和实施方式，提供如下图像处理装置、图像处理方法、图像处理程序和存储有该图像处理程序的记录介质:即使在只使用输入图像的图像信息来进行校正了被摄体晃动的HDR合成的情况下，也能够适当地进行后续步骤。
【专利附图】

【附图说明】
[0028]图1是安装有一个实施方式的图像处理装置的便携终端的功能框图。
[0029]图2是安装有图1的图像处理装置的便携终端的硬件结构图。
[0030]图3是示出图1所示的图像处理装置的前处理动作的流程图。
[0031 ] 图4是说明运动检测的概要图。
[0032]图5是说明差分图像的概要图。
[0033]图6是说明使用多重分辨率导出差分图像的示例的概要图。
[0034]图7是示出曝光转换函数的一例的曲线图。
[0035]图8是说明亮度转换函数的概要图。
[0036]图9是示出图1所示的图像处理装置的合成动作的流程图。
[0037]图10是说明合成处理的流程的概要图。
[0038]图11是说明合成掩码的概要图。其中，(A)是示出曝光转换函数的一例的曲线图。(B)是示出使曝光转换函数彼此进行关联时的权重的一例的曲线图。
[0039]图12是说明亮度基准掩码的概要图。其中，(A)是输入图像的一例。(B)是亮度基准掩码的一例。
[0040]图13是说明差分图像的被摄体晃动区域的标记的概要图。其中，(A)是差分图像的一例。(B)是进行了标记的差分图像的一例。
[0041]图14是说明被摄体晃动掩码的生成处理流程的概要图。
[0042]图15是说明合成掩码的生成处理的流程的概要图。
[0043]图16是安装有一个实施方式的图像处理装置的便携终端的功能框图。
[0044]图17是示出图16所示的图像处理装置的区域数据动作的流程图。
[0045]图18是区域数据的一例。
[0046]图19是示出图16所示的图像处理装置的色调映射动作的流程图。
[0047]图20是拍摄了动态被摄体的输入图像，是包含曝光不足区域的输入图像的一例。(A)、(B)分别是以不同的曝光条件拍摄到的图像。
[0048]图21是对根据图20所示的两个输入图像生成的HDR图像整体进行色调映射处理的比较例I。(A)是说明色调映射处理后的图像，(B)是说明(A)中的动态被摄体区域的图像。
[0049]图22是图21的(B)所示的比较例I的动态被摄体区域的部分放大图。
[0050]图23是对根据图20所示的两个输入图像生成的HDR图像实施色调映射处理，并且对动态被摄体区域应用降噪滤镜的实施例1。(A)是应用了降噪滤镜的图像，(B)是说明(A)中的动态被摄体区域的图像。
[0051]图24是图23的(B)所示的实施例1的动态被摄体区域的部分放大图。
[0052]图25是拍摄了动态被摄体的、且包含曝光过度区域的输入图像的一例。(A)、(B)分别是不同的曝光条件下拍摄到的图像。
[0053]图26是对根据图25所示的两个输入图像生成的HDR图像整体实施了色调映射处理的比较例2。(A)是色调映射处理后的图像，(B)是说明(A)中的动态被摄体区域的图像。
[0054]图27是针对根据图25所示的两个输入图像生成的HDR图像实施了根据每一区域而不同的色调映射处理的实施例2。(A)是实施了根据每一区域而不同的色调映射处理的图像，(B)是说明(A)中的动态被摄体区域的图像。
【具体实施方式】
[0055]以下，参照附图对本发明的实施方式进行说明。此外，在各个图中，对相同或者相当的部分标注相同的标号，并省略重复的说明。
[0056](第I实施方式)
[0057]本实施方式的图像处理装置是合成曝光条件不同的多个图像来生成I个合成图像的装置。该图像处理装置例如应用于如下情况:合成以不同曝光条件依次拍摄到的多个图像，进行使影像信号的动态范围看上去被放大的HDR合成。本实施方式的图像处理装置例如适合安装于便携电话、数字照相机、PDA (Personal Digital Assistant:个人数字助理)等资源有限的移动终端，但是不限于这些，例如也可以安装于通常的计算机系统。此外，下面，为了容易理解说明，将安装于具有照相机功能的便携终端的图像处理装置作为本发明的图像处理装置的一例来进行说明。
[0058]图1是具有本实施方式的图像处理装置I的便携终端2的功能框图。图1所示的便携终端2例如是由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2物理上构成为包含CPlXCentral Processing Unit:中央处理单兀)100、ROM (Read Only Memory:只读存储器)101 和 RAM (Random AccessMemory:随机存取存储器)102等主存储装置、照相机或者键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等的通常的计算机系统。后述的便携终端2和图像处理装置I的各功能是通过在CPU100、R0M101、RAM102等硬件上读入预定的计算机软件，基于CPU100的控制使输入设备103和输出设备104进行动作，并进行主存储装置和辅助存储装置105中的数据的读出和写入而实现的。此外，上述说明作为便携终端2的硬件结构进行了说明，但是图像处理装置I也可以构成为包含CPU100、R0M101和RAM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。此外，便携终端2也可以具有通信模块等。
[0059]如图1所示，便携终端2具有照相机20、图像处理装置I和显示部21。照相机20具有拍摄图像的功能。作为照相机20例如使用CMOS像素传感器等。照相机20例如具有根据由用户操作等指定的定时，以预定的间隔反复进行摄像的连续摄像功能。即，照相机20具有不仅取得一幅静止影像而且取得多幅静止影像(连续的帧图像)的功能。此外，照相机20具有变更连续的各帧图像的曝光条件进行摄像的功能。S卩，由照相机20连续拍摄到的各个图像是曝光条件各不相同的图像。照相机20例如具有每当摄像时将拍摄到的帧图像输出到图像处理装置I的功能。
[0060]图像处理装置I具有图像输入部10、前处理部11、运动校正部15和合成部16。
[0061]图像输入部10具有输入由照相机20拍摄到的帧图像的功能。图像输入部10例如具有每当摄像时输入由照相机20拍摄到的帧图像的功能。此外，图像输入部10具有将输入帧图像保存在便携终端2具备的存储装置中的功能。
[0062]前处理部11进行HDR合成前的前处理。前处理部11具有运动信息取得部12、似然度计算部13和曝光估计部14。
[0063]运动信息取得部12具有取得图像之间的像素的运动信息的功能。例如，如果设输入帧图像为第I图像和第2图像，则取得第I图像和第2图像之间的像素的运动信息。作为运动信息，例如使用运动矢量。此外，在由图像输入部10输入了 3幅以上的输入图像的情况下，运动信息取得部12可以将输入图像按曝光顺序排序，在曝光条件接近的输入图像之间取得运动信息。通过对曝光条件接近的图像彼此进行比较来检测运动，能够避免图像之间的曝光的差异导致运动的检测精度下降。并且，运动信息取得部12可以从多个输入图像中，选择对运动信息进行调合的基准图像。作为基准图像，例如采用多个输入图像中有效像素最多的图像。此处，有效像素是指没有曝光不足或者曝光过度的像素。曝光不足或者曝光过度是以亮度值为基准判定的。此外，运动信息取得部12在使用两个输入图像取得运动信息的情况下，可以在两个输入图像中，从曝光高的输入图像中提取特征点，并从曝光低的图像中求出与其对应的对应点。通过这样进行动作，由于在曝光低的图像中作为特征点提取出来的点在曝光高的图像中为曝光过度，因此能够避免无法取得运动信息的情况。此夕卜，也可以根据陀螺仪传感器等取得运动信息。运动信息取得部12具有将运动信息输出到似然度计算部13的功能。
[0064]似然度计算部13具有计算各个像素的被摄体的运动的似然度(动态被摄体似然度)的功能。动态被摄体似然度越大，则意味着被摄体存在运动的可能性越高，合成图像为晃动区域的可能性越高。似然度计算部13使用运动信息，对输入图像之间的画面的运动进行校正。然后，似然度计算部13对两个输入图像中的对应的像素的像素值进行标准化。例如，似然度计算部13根据邻近像素的像素值，求出局部三值模式(LTP =Local TernaryPatterns)。作为像素值,使用RGB3色，作为邻近像素，使用邻近的24个。并且,似然度计算部13使用标准化后的图像之间的差分，计算动态被摄体似然度。例如，计算标准化后的像素值的差分、即关注像素的LTP中的符号的不一致比例，作为关注像素的动态被摄体似然度。
[0065]此外，似然度计算部13也可以对两个输入图像进行多重分辨率化，来计算动态被摄体似然度。例如，似然度计算部13通过分别将各个输入图像(第I图像和第2图像)的分辨率阶段地进行变更，来生成分辨率不同的多个图像(第I处理图像和第2处理图像)。并且，似然度计算部13在相同的分辨率下，生成第I处理图像与第2处理图像的差分图像。该差分图像是第I处理图像与第2处理图像的差分，具体而言是像素值的差分。并且，似然度计算部13通过对按照每一分辨率得到的差分图像进行加权，计算各像素的动态被摄体似然度。作为权重(可靠度)，使用了各像素的LTP中的符号的不一致比例。例如，在LTP中，使用存在有意义差的对的数量。此外，关于权重，可以根据第I处理图像或者第2处理图像的图像尺寸或者分辨率进一步进行加权。即可以是，图像尺寸越大或者分辨率越大，则权重越大。似然度计算部13具有将各像素的动态被摄体似然度输出到曝光估计部14的功能。
[0066] 曝光估计部14具有估计对输入图像之间的曝光条件进行调合的曝光转换函数的功能。曝光转换函数是用于对各个输入图像的曝光进行曝光转换使其与基准图像相当的函数。例如，曝光转换函数表示如下函数:对于以不同的曝光条件拍摄到的相同场景的图像，该函数表示对应的像素(位置)的像素值的关系。通过使用曝光转换函数，能够以一方的像素值为参数，计算相对应的像素的另一方的像素值。曝光估计部14在被输入3幅以上的输入图像的情况下，在曝光条件接近的输入图像之间对曝光条件进行调合即可。通过对曝光条件接近的图像彼此进行比较来对曝光进行调合，能够利用图像之间的曝光的差异避免估计精度的下降。
[0067]曝光估计部14例如使用运动信息来校正输入画面之间的运动。并且，在运动校正后的两个输入图像中，根据相同的部位，将亮度值分组采样，描绘其关系。作为输入图像的坐标，例如使用Halton数列。此外，曝光估计部14可以采用预定值以上的亮度值或预定值以下的亮度值作为采样点。例如，采用包含在10~245的范围内的亮度值作为采样点。曝光估计部14例如通过对描绘结果进行拟合，来估计曝光转换函数。例如，在设第I图像的采样点i中的原亮度值为K,、设曝光转换函数为f (KiX设第2图像的采样点i中的原亮度值为Ui的情况下,可以使用如下误差函数e,通过Gauss — Newton法进行拟合。
[0068]e=2 {(f (Ki)-Ui)2)..? (I)
[0069]此外，曝光估计部14根据各像素的动态被摄体似然度，进行用于导出曝光转换函数的采样。曝光估计部14例如根据各像素的动态被摄体似然度选择采样点。例如，曝光估计部14阶段性地设置阈值，根据动态被摄体似然度较小的像素采样亮度值。此外，曝光估计部14可以根据动态被摄体似然度，对采样点赋予权重。例如，使以下的误差函数e最小化而进行拟合即可。
[0070]e=2 Iwi ? (f (Ki)-Ui)2).? ?⑵
[0071]在式2中，Wi是权重。此处，动态被摄体似然度越高的像素，权重Wi设定得越小。这样，曝光估计部14通过根据各像素的动态被摄体似然度计算曝光转换函数，能够使得可靠度越低的采样点的数据带给曝光转换函数的导出的影响越小。此外，曝光转换函数可以按照使转换后的输入图像纳入可表现范围的方式进行变更。
[0072]运动校正部15具有使用运动信息来校正输入画面之间的运动的功能。合成部16使用合成掩码，对输入图像彼此进行合成或者对已经合成的图像与输入图像进行合成。合成掩码是将对图像彼此进行合成(a融合)时的合成比例(权重)进行图像化的结果。在存在3幅以上的输入图像的情况下，合成部16首先根据合成掩码合成两个输入图像，并生成合成图像与剩余的输入图像的合成掩码来进行合成。合成部16结合亮度基准掩码和被摄体晃动掩码生成合成掩码。亮度基准掩码是用于如下情况的掩码:通过根据亮度值决定对图像彼此进行合成时的权重，避免使用曝光过度或曝光不足的区域进行合成。被摄体晃动掩码是用于在合成被摄体移动的图像时，避免被摄体2重、3重地重叠显示的现象(虚影现象)的掩码。
[0073]合成部16根据输入图像的原亮度值计算权重，生成亮度基准掩码。例如利用如下算式求出权重。
[0077]通过上述算式，适当地决定权重，并且减轻亮度的不连续性。此外，为了减轻空间的不连续性，可以对合成掩码实施模糊处理。
[0078]合成部16根据输入图像之间的差分计算权重，生成被摄体晃动掩码。合成部16根据输入图像之间的像素值的差分，计算动态被摄体似然度。关于输入图像之间的像素值的差分和动态被摄体似然度，能够通过与上述似然度计算部13同样的动作来得到。并且，似然度计算部13检测动态被摄体似然度为预定的阈值以下的像素相邻的被摄体晃动区域，对各被摄体晃动区域赋予识别标记，针对每一被摄体晃动区域生成被摄体晃动掩码。此外，预定的阈值可根据需求规格适当进行变更。如果阈值设定得较大，则能够容易地提取连续区域。通过针对每一被摄体晃动区域生成掩码，能够针对每一被摄体晃动区域从信息量多的图像中选择像素，以避免曝光过度区域或者曝光不足区域。即，作为该被摄体晃动掩码，存在从合成的图像彼此之中强制选择亮度值低的像素值的1jnask (第I掩码)，或者从合成的图像彼此之中强制选择亮度值高的像素值的hi_mask (第2掩码)。合成部16基本上生成从信息量多的高曝光图像中选择像素值的第2掩码。但是，合成部16在高曝光的图像中被摄体晃动区域受到曝光过度区域影响的情况下，生成第I掩码。具体而言，在满足以下的任意条件时生成第I掩码。作为第I条件，是如下情况:在要合成的两个图像中，高曝光的图像的曝光过度的面积大于低曝光的图像的曝光不足区域的面积。作为第2条件，是如下情况:在要合成的两个图像中的高曝光的图像中，被摄体晃动区域内的曝光过度区域的面积为10%以上。此外，也可以将如下情况作为条件:在要合成的两个图像中的高曝光的图像中，与被摄体晃动区域相邻的区域是曝光过度区域。
[0079]合成部16结合亮度基准掩码和被摄体晃动掩码生成合成掩码。例如，合成部16使亮度基准掩码乘以使第I掩码反转的掩码。此外，合成部16将亮度基准掩码与第2掩码相加。合成部16合成全部输入图像，并将最终的合成图像输出到显示部21。显示部21显示合成图像。作为显示部21，例如使用显示器装置。
[0080]接下来，说明图像处理装置I的动作。图3是说明HDR合成的前处理的流程图。图3所示的控制处理例如从如下情况开始:用户选择了 HDR合成模式，照相机20连续拍摄多个图像。
[0081]首先，图像输入部10输入图像帧(S10)。下面，为了容易理解说明，说明输入了 5个输入图像IO?14的情况。在SlO的处理结束后，转入曝光顺序排序处理(S12)。
[0082]在S12的处理中，运动信息取得部12按照曝光顺序对输入图像Itl?I4排序。运动信息取得部12例如使用亮度值的平均值来排序。此处，设输入图像Itl-14的数字越小，则亮度值较低。在该情况下，输入图像Itl?I4按数字顺序来排序。在S12的处理结束后，转入运动信息取得处理(S14)。
[0083]在S14的处理中，运动信息取得部12取得输入图像Itl?I4的各个图像之间的运动信息。图4是说明运动信息的取得处理的概要图。如图4所示，输入图像Itl-14排列为从左向右平均亮度值依次增大。首先，运动信息取得部12从输入图像I4之中设定基准图像。此处，设输入图像I2为基准图像。接下来，取得曝光条件接近的输入图像彼此的运动信息(例如，输入图像Ici与输入图像I1，输入图像I1与输入图像I2等)。运动信息取得部12从两个输入图像中，利用曝光高的输入图像提取特征点，并从曝光低的输入图像中提取与提取出的特征点对应的对应点。根据该运动信息，能够求出将曝光条件接近的输入图像彼此转换为相同维度的坐标的转换矩阵。此外，图4示出了在曝光条件接近的输入图像彼此之中，用于对曝光低的图像与曝光高的图像进行调合的转换矩阵ml0、m21、m32、m43。接下来，使用转换矩阵ml0、m21、m32、m43，计算将基准图像I2以外的其它输入图像
I4的坐标变形为与基准图像I2相当的坐标的转换矩阵。如图4所示，将输入图像Itl转换为基准图像I2的转换矩阵是ml0*m21。将输入图像I1转换为基准图像I2的转换矩阵是mlO。将输入图像I3转换为基准图像I2的转换矩阵是(m32) — i。将输入图像I4转换为基准图像I2的转换矩阵是以下，设转换后的输入图像为Itl，?I4，进行说明。在S14的处理结束后，转入动态被摄体似然度计算处理(S16 )。
[0084]在S16的处理中，似然度计算部13计算输入图像Ici,?I4,的各个图像之间的动态被摄体似然度。图5是计算输入图像Itl，与输入图像I1，的图像之间的动态被摄体似然度的示例。此外，图5示出了使用R值作为像素值的情况。如图5所示，似然度计算部13取得输入图像Itl,的关注像素(R值=42)的8个邻近的像素值(R值)。并且，使用关注像素的像素值和8个邻近的像素值进行标准化。例如，使用LTP。如果关注像素的像素值与8个邻近的像素值之差在±5的范围内则为O，如果大于+ 5则为1，如果小于一 5则为一 I。似然度计算部13对输入图像I1，相同地进行标准化。在图中，在与输入图像I。，的关注像素对应的输入图像L的像素中进行标准化。接下来，在对标准化后的像素的像素值进行比较后，可知道产生差分的情况。作为根据差分的大小(符号的不一致程度)使该像素的颜色从黑变成白的图像来表示的是差分图像X。该差分图像是对各像素的动态被摄体似然度进行图像化而得到的。此外，不限于邻近8个，可以是邻近24个。此外，不仅限于R值，对于G值和B值也可以相同地进行处理。
[0085]为了提高差分图像X的区域C1所示的平滑区域的动态被摄体似然度的精度，似然度计算部13可以使用多重分辨率求出动态被摄体似然度。图6是使用多重分辨率求出动态被摄体似然度的一例。首先，似然度计算部13阶段地变更输入图像I。，和输入图像I1，的分辨率，生成多个图像。并且，在相同分辨率彼此之间生成差分图像。该差分图像是单纯使像素值相减而得到的。图6示出了将输入图像Itl，输入图像I1，进行6阶段多重化的情况。各个差分图像为H是数字越大则分辨率越低的差分图像。此外，分辨率越低则图像尺寸越小。对该差分图像根据可靠度赋予权重，计算最终的差分图像。可靠度例如使用将上述LTP的差分中存在有意差的对的数量乘以图像尺寸(或者分辨率)而得到的结果。例如，在图5所示的LTP的情况下，存在有意差的对的数量是I个。这样，针对每一像素，将对的数量乘以图像尺寸，计算与差分图像X1-X6对应的权重图像(将权重图像化得到的图像)。并且，使用差分图像X1~X6和权重图像计算最终的差分图像。似然度计算部13利用与上述方法相同的方法，计算输入图像I1,~I4,的差分图像。在S16的处理结束后，转入曝光转换函数估计处理(S18)。
[0086]在S18的处理中，曝光估计部14估计曝光转换函数。如果曝光估计部14设转换前的亮度值为x、设转换后的亮度值为y，则可由下式表示曝光转换函数。
[0087]y=a ? Xb[0088]此处，(a、b )是曝光转换参数。通过导出曝光转换参数(a、b )，能够求出曝光转换函数。下面，说明求出运动校正后的输入图像Icr与输入图像I1，的曝光转换函数的情况。曝光估计部14在输入图像的点(x、y)处，采样几个曝光低的输入图像I。，的亮度值和曝光低的输入图像I1，的亮度值的组合，描绘其关系。此处，根据在S16的处理中取得的差分图像，选择采样点。例如，设定为不从动态被摄体似然度高的区域中采样。即设定为从动态被摄体似然度低的区域中采样。并且，例如动态被摄体似然度越高则分配越低的权重，并使用式2估计曝光转换函数。由此，例如进行图7所示的拟合。似然度计算部13利用与上述方法相同的方法，估计输入图像I1，~I4，之间的曝光转换函数。此外，可以去除亮度值接近0的数据或者接近255的数据。
[0089]图8是说明上述曝光转换函数的估计处理的概要图。此外，图8示出了在曝光条件接近的输入图像彼此之中，用于对曝光低的图像与曝光高的图像进行调合的曝光转换参i^(al0,bl0),(a2Ub21),(a32,b32),(a43,b43)o为了纳入最终的合成图像可表现的范围内，可以将曝光最低的输入图像Iy的曝光转换参数(ApBtl)中的Atl设定为1.0，由此使转换结果不超过1.0。此处，将输入图像Itl，的曝光转换后的图像作为输入图像Itl，，进行显示。此外，也可以是，设与曝光最低的输入图像1，对应的基准图像12，的曝光转换参数为(A2、B2)，将Aci设定为1.0同时将B2设定为1.0，由此设定为在增益为1/A2时色调与输入图像相等。似然度计算部13按照RGB通道分别进行上述处理。在S18的处理结束后，结束图3所示的前处理。
[0090]如上所述，结束图3所示的控制处理。通过执行图3所示的控制处理，能够在估计曝光转换函数之前，通过检测被摄体晃动，避免从被摄体晃动区域中采样，并通过加权进一步降低从被摄体晃动区域中采样的数据的影响。因此，能够高精度地估计曝光转换函数。此外，如果是现有的HDR技术，未进行曝光调合时不能够准确地进行被摄体晃动的校正，并且相反，如果未进行被摄体晃动的修正则曝光调合不准确。但是，通过在估计曝光转换函数之前简易地检测被摄体晃动(被摄体的运动)，能够消除上述死锁关系。[0091]接下来，说明图像处理装置I的合成动作。图9是说明HDR合成的流程图。图9所示的控制处理例如在图3所示的控制处理结束时开始。
[0092]如图9所示，运动校正部15实际上校正运动(S20)。在该处理中，与图3的S14的处理相同地，运动校正部15利用转换矩阵，对曝光转换后的输入图像Itl，，?I4，，的运动进行校正。此外，也可以根据要求精度使用子像素插值算法等。在S20的处理结束后，转入亮度基准掩码生成处理和被摄体晃动区域提取处理(S22和S24)。
[0093]在S22的处理中，合成部16生成亮度基准掩码。图10是说明合成处理的流程的概要图。如图10所示，从曝光低的输入图像Itl，，起，依次置换输入图像I1，，?I4，，来进行合成。即，最初，生成决定将输入图像I1,,相对于输入图像I。,,合成多大程度的亮度基准掩码。该亮度基准掩码根据输入图像I1，，的原亮度值计算权重。例如，设曝光过度区域附近的权重为O。这样，通过设定权重，以使曝光低的图像与曝光高的图像重合的方式进行合成，针对对象像素，一定能够选择信息量多的输入图像。图11的(A)是示出像素值与输入亮度的关系的曲线图。如图11的(A)所示，函数A?f3是示出根据亮度值采用哪个图像的像素值的曲线图。函数的数字越大则越应用于曝光大的图像。例如，如果输入曝光最低的输入图像1，，，则使用函数fo，采用全部的像素值。接下来，如果输入图像Ir被输入，则使用函数和函数f\。因此，在SO?S5的亮度值的范围内，采用输入图像I1,,,在S6以上的亮度值的范围内，采用输入图像Id，，。S5?S6的亮度值的范围采用以(B)所示的权重融合而得到的合成值。此外，为了方便，省略、校正。接下来，如果输入图像I2，，被输入，则使用函数fo?f2。因此，在SO?S3的亮度值的范围内，采用输入图像12，，，在S4?S5的亮度值的范围内，采用输入图像I1,,,在S6以上的亮度值的范围内，采用输入图像Ip在S3?S4和S5?S6的亮度值的范围内，采用以(B)所示的权重融合而得到的合成值。接下来，如果输入图像I3，，被输入，则使用函数fo?f3。因此，在SO?SI的亮度值的范围内，采用输入图像13，，，在S2?S3的亮度值的范围内，采用输入图像12，，，在S4?S5的亮度值的范围内，采用输入图像Ip在S6以上的亮度值的范围内，采用输入图像I。,,。在SI?S2、S3?S4和S5?S6的亮度值的范围内，采用以(B)所示的权重融合而得到的合成值。这样，优先采用曝光高的图像。此外，针对曝光过度区域部分，采用曝光低的图像，并且平滑地融合边界部分。图12示出将上述图11的(A)所示的曲线图图像化而得到的亮度基准掩码的一例。图12的(A)表示输入图像，(B)为该输入图像的亮度基准掩码。在图12的(B)中，在利用100%的输入图像的像素值的情况下表现为白，在不利用100%的输入图像的像素值的情况下表现为黑。在S22的处理结束后，转入合成掩码生成处理(S32 )。
[0094]另一方面，在S24的处理中，合成部16提取被摄体晃动区域。例如，合成部16与图3的S16的处理相同地计算差分图像，并提取动态被摄体似然度为预定值以上的区域作为被摄体晃动区域。图13的(A)是包含被摄体晃动区域的差分图像的一例。在S24的处理结束后，转入标记处理(S26 )。
[0095]在S26的处理中，合成部16标记被摄体晃动区域。合成部16对连续的被摄体晃动区域设定I个标记Rn。图13的(B)是标记了连续区域的示例。在S26的处理结束后，转入各区域的基准图像的选择处理(S28)。
[0096]在S28的处理中，合成部16对每个被摄体晃动区域设定基准图像。合成部16基本上优先将高曝光的图像设为基准图像。例如，在合成输入图像1，，和输入图像I1，，时，选择输入图像I1，，作为基准图像。不过，在输入图像I1，，中被摄体晃动区域受到曝光过度区域影响的情况下，选择输入图像Icr作为基准图像。在S28的处理结束后，转入被摄体晃动掩码生成处理(S30)。
[0097]在S30的处理中，合成部16针对每一被摄体晃动区域生成被摄体晃动掩码。在优先将高曝光的图像设为基准图像的情况下，合成部16生成第2掩码。另一方面，在优先将低曝光的图像设为基准图像的情况下，生成第I掩码。图14是说明S24~S30的一系列的处理的概要图。如图14所示，在合成输入图像Itl,,和输入图像I1,,时，求出差分图像X，针对每一差分图像的区域，生成第I掩码(1jnask)或者第2掩码(hi_mask)。即，对于被摄体运动的区域，能够通过使用被摄体晃动掩码，仅从一幅图像中输入像素值，从而避免上述虚影现象。在S30的处理结束后，转入合成掩码生成处理(S32)。
[0098]在S32的处理中，合成部16根据亮度基准掩码和被摄体晃动掩码生成合成掩码。图15是说明合成掩码的生成处理的概要图。如图15所示，将反转了 1jnask的图像乘以亮度基准掩码。此外，将hi_mask与亮度基准掩码相加。通过这样结合，生成合成掩码。在S32的处理结束后，转入合成处理(S34)。
[0099]在S34的处理中，合成部16根据在S32的处理中生成的合成掩码进行合成处理。此外，在利用权重a对已合成的图像的亮度值Ptl和应用了曝光转换函数后的输入图像的亮度值P1进行合成时，合成后的亮度值P2可由下式求出。
[0100]P2= (1-a) ? P0+a ? P1
[0101]此时，针对曝光最低的图像，直接合成整个区域。在S34的处理结束后，转入输入图像确认处理(S36)。
[0102]在S36的处理中，`合成部16判定是否合成了全部的输入图像。在没有合成全部的输入图像的情况下，转入S22和S24的处理。并且，例如如图10所示，进行输入图像I。,,和输入图像I1,,的合成图像Otl与新的输入图像Itl,,的合成处理。另一方面，在合成了全部的输入图像的情况下，结束图9所示的控制处理。
[0103]通过执行图9所示的控制处理，生成校正了被摄体晃动的HDR合成图像。
[0104]接下来，说明用于使便携终端(计算机)2作为上述图像处理装置I发挥作用的图像处理程序。
[0105]图像处理程序具有主模块、输入模块和运算处理模块。主模块是总体地控制图像处理的部分。输入模块使便携终端2进行动作，以取得输入图像。运算处理模块具有运动信息取得模块、似然度计算模块、曝光估计模块、运动校正模块和合成模块。通过执行主模块、输入模块和运算处理模块而实现的功能与上述图像处理装置I的图像输入部10、运动信息取得部12、似然度计算部13、曝光估计部14、运动校正部15和合成部16的功能分别相同。
[0106]图像处理程序例如由ROM等记录介质或半导体存储器提供。此外，图像处理程序可以作为数据信号经由网络提供。
[0107]以上，根据本实施方式的图像处理装置1、图像处理方法和图像处理程序，在对第I图像与第2图像的曝光进行调合之前，根据第I图像与第2图像的差分，计算各像素的被摄体的运动的似然度。并且，根据被摄体的运动的似然度，估计对第I图像与第2图像的曝光条件进行调合的曝光转换函数。这样，由于在对曝光进行调合时考虑了被摄体运动的似然度，因而例如能够去除颜色可能会因被摄体的运动而变化的区域而对曝光进行调合，因此，能够生成合适的合成图像。此外，能够使用被摄体晃动掩码来避免产生被摄体晃动(显示虚影)，成为清楚的图像。
[0108](第2实施方式)
[0109]第2实施方式的图像处理装置构成为与第I实施方式的图像处理装置几乎相同，在具有与HDR合成后的后处理相关的处理部等这方面不同。下面，以与第I实施方式的不同点为中心进行说明，并省略重复的说明。
[0110]图16是具有第2实施方式的图像处理装置I的便携终端2的功能框图。图16所示的便携终端2与第I实施方式相同地，具有图2所示的硬件结构。如图16所示，与第I实施方式的图像处理装置I相比，图像处理装置I在具有区域数据生成部50、记录部51、数据取得部52和后处理部(图像处理部)53这方面不同。
[0111]区域数据生成部50具有根据动态被摄体似然度生成区域数据的功能。区域数据生成部50例如输入由似然度计算部13计算出的动态被摄体似然度，生成区域数据。或者，区域数据生成部50可以从合成部16输入与动态被摄体区域相关的信息或者被摄体晃动掩码，生成区域数据。此处，区域数据是确定合成图像中存在动态被摄体的动态被摄体区域(对象区域)的信息。例如，在区域数据中，使用将存在动态被摄体的像素的坐标编码为“I”、将此外的坐标编码为“0”的数据，或者使用将该数据图像化而得到的图像。此外，根据后处理的处理内容，区域数据只要能够确定动态被摄体区域的位置坐标即可，因此清楚其大致范围的信息即可。因此，区域数据并非必须与合成图像为相同尺寸(像素规模)，可以利用各种方法进行压缩。例如，在图像化的情况下，可以将分辨率降低到1/4或者1/16左右。同样，例如，区域数据也可以是动态被摄体区域的中心的坐标(x、y)和半径r。S卩，区域数据不需要是合成图像中存在动态被摄体的动态被摄体区域自身，只要包含动态被摄体区域即可。例如，区域数据也可以是根据动态被摄体区域生成的区域。即，区域数据可以是包含动态被摄体区域这样的四边形、圆形或者由它们的集合表示的I个或者多个区域。在该情况下，区域数据虽然也包含不是动态被摄体的区域，但是能够高效地确定动态被摄体区域。
[0112]区域数据生成部50将生成的区域数据与合成图像对应起来保存在记录部51中。记录部51为记录介质。
[0113]区域数据生成部50可以将区域数据与原像素信息对应起来进行记录。原像素信息是与用于生成动态被摄体区域的像素相关的信息。例如，简单地，可以是“在要合成的图像彼此之中强制选择亮度值低的像素值进行合成”这样的信息。上述原像素信息例如能够通过使用由合成部16生成的1jnask来取得。或者，简单地，也可以是“在要合成的图像彼此之中强制选择亮度值高的像素值进行合成”这样的信息。上述原像素信息例如能够通过使用由合成部16生成的hi_masla来取得。此外，作为更详细的信息，可以是能够识别是否是使用了曝光不足或者曝光过度的像素来合成动态被摄体区域的信息。作为原像素信息，例如根据动态被摄体区域的像素位置，在使用了曝光不足像素的情况下使用编码为“0”的数据，在使用了曝光过度像素的情况下使用编码为“255”的数据，在其他情况下使用编码为“124”的数据。或者，也可以取得用于计算上述信息所需的信息作为原图像信息。例如，也可以采用用于生成动态被摄体区域的曝光转换参数(a、b)作为原图像信息。通过使用曝光转换参数(a、b)，能够根据合成图像的动态被摄体区域的像素值估计出转换前的像素值，因此能够事后识别是否使用了曝光不足或者曝光过度的像素来合成动态被摄体区域。在合成了 3幅以上的图像的情况下，也可以将上述曝光转换参数(a、b)和合成时的权重a作为原像素信息。在曝光转换参数(a、b)与输入图像对应起来的情况下，可以将识别输入图像的编号作为原像素信息。上述原像素信息例如能够根据合成部16的计算结果来取得。此外，也可以将如下结果作为原像素信息:按照每一像素值或者动态被摄体区域，针对动态被摄体区域，计算在生成合成图像时亮度值从原图像增加何种程度的比例(合成图像的亮度值/原图像的亮度值)。
[0114]数据取得部52构成为能够参照记录部51。数据取得部52具有参照记录部51，取得合成图像和与该合成图像对应起来的区域数据的功能。数据取得部52还可以取得与该区域数据对应起来的原像素信息。
[0115]后处理部53具有对合成图像进行后处理的功能。后处理部53具有如下功能:使用区域数据，针对合成图像，在动态被摄体区域和动态被摄体区域以外的区域进行不同的图像处理。图像处理包含色调映射处理、降噪处理(噪声降低处理)、物体识别处理或者其它像素值加工处理。例如，后处理部53对动态被摄体区域进行第I处理，对动态被摄体区域以外的区域进行与第I处理不同的第2处理。第I处理或者第2处理包含“不处理”的情况。例如，上述“不同的处理”也包含如下情况:对动态被摄体区域不进行滤镜处理，对动态被摄体区域以外的区域进行滤镜处理。后处理部53通过考虑动态被摄体区域而进行后处理，能够降低对像素值进行转换/合成的合成处理给后处理的结果带来的影响。
[0116]后处理部53还可以参照原像素信息判定进行哪种图像处理。例如，后处理部53可以根据使用在合成的图像彼此之中强制选择亮度值低的像素值的1jnask生成动态被摄体区域的情况以及在使用在合成的图像彼此之中强制选择亮度值高的像素值的hi_mask生成动态被摄体区域的情况，来变更处理。例如，在使用亮度值低的像素值生成动态被摄体区域的情况下，有可能成为为了进行合成处理而强制增大亮度值的区域，有时成为像素信息基本上不足的区域。此外，例如在利用hi_mask生成动态被摄体区域、且生成为包含曝光过度的像素的情况下，关于该曝光过度区域，有可能成为为了合成处理而强制设定为预定的亮度值的区域，即基本上缺少像素信息的区域(像素信息不清楚的区域)。这样，根据原输入图像，是像素信息不足还是像素信息本来就不清楚是不同的，因此，通过考虑上述差异进行后处理，能够得到合适的结果。
[0117]接下来，对本实施方式的图像处理装置I的区域数据动作进行说明。图17是示出图像处理装置的区域数据动作的流程图。在图3或者图9所示的控制处理结束之后执行图17所示的控制处理。
[0118]首先，区域数据生成部50进行数据输入处理(S50)。在S50的处理中，区域数据生成部50例如从似然度计算部13或者合成部16取得每一像素位置的动态被摄体似然度。此夕卜，区域数据生成部50也可以从合成部16取得与被摄体晃动掩码相关的信息。在S50的处理结束后，转入区域数据生成处理(S52 )。
[0119]在S52的处理中，区域数据生成部50根据在S52中取得的动态被摄体似然度，生成区域数据。例如，区域数据生成部50通过将动态被摄体似然度为预定值以上的像素位置编码为“1”，将此外的坐标编码为“0”，来生成区域数据。图18的(A)示出将编码后的数据图像化所得的图像。图18的(A)示出在合成图像Q的坐标系中，动态被摄体似然度为预定值以上的动态被摄体区域MB1、丽1、丽2。动态被摄体区域MBl、丽1、丽2以外的区域T是描绘有没有动作的被摄体的区域。或者，区域数据生成部50也可以直接输入被摄体晃动掩码作为区域数据。并且，区域数据生成部50降低区域数据的分辨率，压缩数据量。或者，如图18的(B)所示，区域数据生成部50可以生成与动态被摄体区域MBl对应的中心坐标Cl和半径rl作为区域数据。同样，区域数据生成部50可以生成与动态被摄体区域MWl对应的中心坐标C2和半径r2作为区域数据。此外，可以用多个圆来表示动态被摄体区域。例如，区域数据生成部50可以生成与动态被摄体区域MW2对应的中心坐标C3和半径r3以及中心坐标C4和半径r4作为区域数据。在S52的处理结束后，转入原像素值信息输入处理(S54)。
[0120]在S54的处理中，区域数据生成部50按照在S52的处理中得到的每一动态被摄体区域，输入原像素值信息。区域数据生成部50例如从合成部16取得被摄体晃动掩码，并取得是否用lo_mask生成了各个动态被摄体区域的信息作为原像素值信息。区域数据生成部50例如从合成部16取得被摄体晃动掩码,并取得是否用lo_mask或者hi_mask生成了各个动态被摄体区域的信息作为原像素值信息。由此，能够将动态被摄体区域划分为2类。在该情况下，为了识别动态被摄体区域而预先进行了标记。由此，例如，能够划分为图18的(A)所示的使用lo_mask生成的动态被摄体区域MBl和使用hi_mask生成的动态被摄体区域丽1、丽2。此外，可以取得其它信息作为原像素值信息。例如，区域数据生成部50可以从合成部16取得用于生成动态被摄体区域的曝光转换参数(a、b)、合成时的权重a作为原像素值信息。在S54的处理结束后，转入记录处理(S56)。
[0121]在S56的处理中，区域数据生成部50将合成图像与在S52的处理中生成的区域数据对应起来进行记录。此外，在S56的处理中，还可以将区域数据与在S52的处理中生成的原像素值信息对应起来进行记录。在S56的处理结束后，结束图17所示的控制处理。
[0122]接下来，对本实施方式的图像处理装置I的后处理动作进行说明。此外，以下，为了容易理解说明，说明对合成图像进行色调映射处理的示例。图19是示出图像处理装置的色调映射处理动作的流程图。在图17所示的控制处理结束后，执行图19所示的控制处理。
[0123]如图19所示，首先，数据取得部52进行数据输入处理(S60 )。在S60的处理中，数据取得部52参照记录部51，输出合成图像、区域数据和原像素值信息。在S60的处理结束后，转入动态被摄体区域判定处理(S62)。
[0124]在S62的处理中，后处理部53使用在S60的处理中取得的区域数据和原像素值信息，判定由区域数据表示的动态被摄体区域是否是使用从合成的图像彼此之中强制选择亮度值低的像素值的1jnask合成的。在S62的处理中，后处理部53在判定为动态被摄体区域是使用lo_mask合成的情况下,转入该区域的色调映射处理(S64)。
[0125]在S64的处理中，后处理部53对动态被摄体区域进行色调映射处理。关于该动态被摄体区域，由于从合成的图像彼此之中强制选择了亮度值低的像素值，因此有可能在合成时较大地增大亮度值。即，有可能是勉强地增大像素信息本已不足的区域的区域。因此，如果在色调映射处理中进一步增大亮度值，则有可能产生噪声，因此，针对该动态被摄体区域，设定第I阈值作为上限值，进行色调映射处理，使得不会成为第I阈值以上的亮度值。第I阈值例如设定为原图像的像素值的n倍。此外，可以根据摄像传感器的噪声量调整n的值。例如，可以在摄像传感器的噪声量大的情况下减小n的值。在S64的处理结束后，转入降噪滤镜适用处理(S66 )。[0126]S66的处理是对在S64中进行了色调映射处理的动态被摄体区域应用降噪滤镜的处理。作为降噪滤镜，例如采用进行平滑化处理等的滤镜。此外，S66的处理可以根据合成处理时的亮度值转换率Ii1和S64中的色调映射处理时的亮度值转换率n2，判定是否应用降噪滤镜。例如，如果Ii1 ? n2为预定值以上,则可以应用降噪滤镜。此时,也可以是Ii1 ? n2越大，则将降噪滤镜的强度设定得越大。在S66的处理结束后，转入动态被摄体区域判定处理(S68)。
[0127]在S68的处理中，后处理部53使用在S60的处理中取得的区域数据和原像素值信息，对如下内容进行判定。后处理部53判定区域数据所示的动态被摄体区域是否是使用在要合成的图像彼此之中强制选择亮度值高的像素值的hi_mask而合成的并且包含曝光过度区域。在S68的处理中，在后处理部53判定为动态被摄体区域是使用1jnask合成的时，转入该区域的色调映射处理(S70)。
[0128]在S70的处理中，后处理部53对动态被摄体区域进行色调映射处理。曝光过度区域有可能是为了合成处理而强制设定为预定亮度值的区域，是像素信息基本缺少的区域(像素信息不清楚的区域)。即，由于基于为了合成处理而方便地设定的像素值来进行色调映射处理，因此有时没有得到适当的结果。因此，对于曝光过度区域，需要根据要求的色调映射处理的结果实施预定的处理。例如，在存在希望通过色调映射处理得到自然的图像这样的请求的情况下，后处理部53对曝光过度区域的像素值进行色调映射处理，以接近原图像的像素值。或者，后处理部53也可以对曝光过度区域不作任何处理(维持曝光过度状态)。在S70的处理结束后，转入其它区域的色调映射处理(S72)。
[0129]在S72的处理中，对动态被摄体区域以外的区域进行色调映射处理。该处理是根据期望的要求而进行的通常的色调映射处理。在S72的处理结束后，结束图19所示的控制处理。
[0130]另一方面，在S62的处理中，后处理部53在判定为动态被摄体区域不是使用lo_mask合成的时，转入动态被摄体 区域判定处理(S68)。此外，在S68的处理中，后处理部53在判定为动态被摄体区域不是使用lo_mask合成的时，转入其它区域的色调映射处理(S72)。
[0131]通过执行图19所示的控制处理，对动态被摄体区域和动态被摄体区域以外的区域进行不同的后处理，因此能够避免产生噪声等、合成图像处理给后续步骤带来影响的情况。此外，S60的处理是数据取得步骤，S64、S66、S70和S72是图像处理步骤。
[0132]接下来，说明用于使便携终端(计算机)2作为上述图像处理装置I发挥作用的图像处理程序。
[0133]图像处理程序具有主模块、输入模块和运算处理模块。主模块是总体地控制图像处理的部分。输入模块使便携终端2进行动作，以取得输入图像。运算处理模块例如具有运动信息取得模块、似然度计算模块、曝光估计模块、运动校正模块、合成模块、区域数据生成模块、数据取得模块和后处理模块。通过执行主模块、输入模块和运算处理模块而实现的功能与上述图像处理装置I的图像输入部10、运动信息取得部12、似然度计算部13、曝光估计部14、运动校正部15、合成部16、区域数据生成部50、数据取得部52和后处理部53的功能分别相同。
[0134]图像处理程序例如通过ROM等记录介质或半导体存储器提供。此外，图像处理程序也可以作为数据信号经由网络提供。
[0135]以上，根据第2实施方式的图像处理装置1、图像处理方法和图像处理程序，在通过后处理部53对合成图像进行图像处理时，能够使用区域数据，对描绘有动态被摄体的区域和此外的区域进行不同的处理。拍摄了动态被摄体的区域在合成处理时被实施各种图像处理。因此，并非对图像整体实施相同的图像处理，通过将拍摄了动态被摄体的区域与其它区域区別开来实施图像处理，能够在后续步骤中，避免合成时的处理的影响变得显著。即使在只使用输入图像(原图像)的图像信息来进行抑制了被摄体晃动的HDR合成的情况下，也能够适当地进行后续步骤。此外，通过将合成图像和区域数据记录在记录部51中，不仅在摄像时或合成时，在合成之后期望的时机，也能够适当地进行后续步骤。此外，通过将色调映射处理设为根据每一区域而不同的处理，能够避免对象区域产生较多噪声、避免对象区域的颜色变得不自然。
[0136]此外，上述实施方式示出了本发明的图像处理装置的一例。本发明的图像处理装置不限于实施方式的图像处理装置I，在不变更各权利要求所记载的主旨的范围内，也可对实施方式的图像处理装置进行变形，或者应用于其它情况。
[0137]例如，在上述各个实施方式中，说明了照相机20取得帧图像的示例，但是也可以是从其它设备经由网络发送来的图像。此外，在不显示合成图像、仅进行记录的情况下，也可以不具有显示部21。
[0138]此外，可以使上述各实施方式的图像处理装置I与手抖动校正装置一起进行动作。
[0139]此外，对于图19所示的控制处理，可以变更处理顺序。例如，可以在S60的处理之后紧接着进行S72的处理。也可以在执行S68?S70的处理之后执行S62?S66的处理。此外，也可以是，在S68的处理中，不仅对使用hi_mask合成的动态被摄体区域判定是否包含曝光过度区域，而且对使用lo_mask合成的动态被摄体区域判定是否包含曝光过度区域，然后执行S70所记载的处理。
[0140](实施例)
[0141]下面，描述本
【发明者】为了说明上述效果而实施的实施例和比较例。
[0142](动态被摄体区域具有曝光不足区域的输入图像)
[0143]作为用于HDR合成的输入图像，准备了拍摄动态被摄体而得到的第I图像和第2图像(图20的(A)、(B))。图20的(A)是亮度值低的输入图像，图20的(B)是亮度值高的输入图像。此处，人从左向右运动。此外，人的西服部分为曝光不足。
[0144](比较例I)
[0145]对根据图20所示的两个输入图像生成的HDR图像整体进行色调映射处理。图21、图22示出结果。图21的(A)是色调映射处理后的图像，图21的(B)是说明(A)中的动态被摄体区域Zl的图像。图22是图21的(B)所示的比较例I的动态被摄体区域Zl的部分放大图。
[0146](实施例1)
[0147]对根据图20所示的两个输入图像生成的HDR图像进行色调映射处理，并且对动态被摄体区域应用降噪滤镜。图23、图24示出结果。图23的(A)是应用了降噪滤镜的图像，图23的(B)是说明(A)中的动态被摄体区域Zl的图像。图24是图23的(B)所示的实施例I的动态被摄体区域Zl的部分放大图。
[0148]在对作为比较例I的结果的图22与作为实施例1的结果的图24进行比较时，可以确认实施例1与比较例I相比，噪声下降，成为画质较好的图像。
[0149](动态被摄体区域具有曝光过度区域的输入图像)
[0150]作为用于HDR合成的输入图像，准备了拍摄动态被摄体而得到的第I图像和第2图像(图25的(A)、(B))。图25的(A)是亮度值低的输入图像，图25的(B)是亮度值高的输入图像。此处，拍摄了挥动左手的静止人物。在(B)中，天空(sky)部分曝光过度。
[0151](比较例2)
[0152]对根据图25所示的两个输入图像生成的HDR图像整体进行色调映射处理。图26不出结果。
[0153](实施例2)
[0154]对根据图25所示的两个输入图像生成的HDR图像，进行保留有曝光过度区域的色调映射处理。图27示出结果。
[0155]在对作为比较例2的结果的图26与作为实施例2的结果的图27进行比较时，可以确认实施例2与比较例2相比，动态被摄体区域Z2变得不明显，成为画质较好的图像。
[0156]标号说明
[0157]I…图像处理装置，10…图像输入部(输入部)，12…运动信息取得部，13…似然度计算部，14…曝光估计部，15…运动校正部，16…合成部，50…数据生成部，51…记录部，52…数据取得部，53…后处理部。
【权利要求】
1.一种图像处理装置，其对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理，其特征在于， 该图像处理装置具有: 数据取得部，其取得所述合成图像和表示所述合成图像的对象区域的区域数据；以及图像处理部，其根据所述区域数据，对所述对象区域和所述对象区域以外的区域进行不同的图像处理， 所述第I图像和所述第2图像包含描绘有动态被摄体的区域， 所述合成图像是针对描绘有所述动态被摄体的区域，使用所述第I图像和所述第2图像中的任意一方的像素值而生成的， 所述区域数据将根据所述合成图像中的描绘有所述动态被摄体的区域而生成的I个或者多个区域表示为所述对象区域。
2.根据权利要求1所述的图像处理装置，其特征在于， 该图像处理装置具有: 输入部，其输入所述第I图像和所述第2图像； 似然度计算部，其根据所述第I图像和所述第2图像的差分，计算各个像素的动态被摄体似然度；以及 区域数据生成部，其根据所述动态被摄体似然度生成所述区域数据。
3.根据权利要求2所`述的图像处理装置，其特征在于， 该图像处理装置具有: 曝光估计部，其根据所述动态被摄体似然度，估计对所述第I图像与所述第2图像的曝光条件进行调合的曝光转换函数； 合成部，其使用所述曝光转换函数合成所述第I图像和所述第2图像。
4.根据权利要求1~3中的任意一项所述的图像处理装置，其特征在于， 所述图像处理装置具有将所述合成图像和所述区域数据相互对应起来进行记录的记录部。
5.根据权利要求1~4中的任意一项所述的图像处理装置，其特征在于， 所述区域数据是尺寸比所述第I图像、所述第2图像或者所述合成图像的尺寸小的数据。
6.根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述区域数据还与原像素信息对应起来，所述原像素信息确定合成该区域数据表示的所述对象区域时用到的图像的像素信息， 所述数据取得部取得与所述区域数据对应的所述原像素信息， 所述图像处理部根据所述区域数据和所述原像素信息，对所述对象区域和所述对象区域以外的区域进行不同的处理。
7.根据权利要求1~6中的任意一项所述的图像处理装置，其特征在于， 所述图像处理部对所述对象区域和所述对象区域以外的区域进行不同的色调映射处理。
8.一种图像处理方法，该图像处理方法对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理，其特征在于，该图像处理方法具有: 数据取得步骤，取得所述合成图像和表示所述合成图像的对象区域的区域数据；以及图像处理步骤，根据所述区域数据，对所述对象区域和所述对象区域以外的区域进行不同的图像处理， 所述第1图像和所述第2图像包含描绘有动态被摄体的区域， 所述合成图像是针对描绘有所述动态被摄体的区域，使用所述第I图像和所述第2图像中的任意一方的像素值而生成的， 所述区域数据将根据所述合成图像中的描绘有所述动态被摄体的区域而生成的I个或者多个区域表示为所述对象区域。
9.一种图像处理程序，其使计算机进行动作，以对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理，其特征在于， 该图像处理程序使所述计算机作为数据取得部和图像处理部进行动作， 所述数据取得部取得所述合成图像和表示所述合成图像的对象区域的区域数据，所述图像处理部根据所述区域数据对所述对象区域和所述对象区域以外的区域进行不同的图像处理， 所述第I图像和所述第2图像包含描绘有动态被摄体的区域， 所述合成图像是针对描绘有所述动态被摄体的区域，使用所述第I图像和所述第2图像中的任意一方的像素值而生成的， 所述区域数据将根据所述合成图像中的描绘有所述动态被摄体的区域而生成的I个或者多个区域表示为所述对象区域。
10.一种记录介质，其记录有图像处理程序，该图像处理程序使计算机进行动作，以对合成曝光条件不同的第I图像和第2图像而得到的合成图像进行图像处理， 所述图像处理程序使所述计算机作为数据取得部和图像处理部进行动作， 所述数据取得部取得所述合成图像和表示所述合成图像的对象区域的区域数据，所述图像处理部根据所述区域数据对所述对象区域和所述对象区域以外的区域进行不同的图像处理， 所述第I图像和所述第2图像包含描绘有动态被摄体的区域， 所述合成图像是针对描绘有所述动态被摄体的区域，使用所述第I图像和所述第2图像中的任意一方的像素值而生成的， 所述区域数据将根据所述合成图像中的描绘有所述动态被摄体的区域而生成的I个或者多个区域表示为所述对象区域。
【文档编号】H04N5/235GK103493473SQ201280019344
【公开日】2014年1月1日 申请日期:2012年8月31日 优先权日:2011年10月14日
【发明者】平井义人, 三浦健 申请人:株式会社摩如富