图像处理装置、摄像装置、图像处理方法和记录介质与流程

1.实施例的一方面涉及可拍摄具有不同焦点位置的多个图像并可进行深度合成的图像处理装置。


背景技术：

2.在拍摄与数字照相机的距离大不相同的多个被摄体的图像的情况下或在拍摄深度方向长的被摄体的图像的情况下，由于景深不足，可对焦到其中一些被摄体或长被摄体的一部分。日本特开第2015-216532号专利公开了可解决上述问题的深度合成技术。深度合成技术拍摄具有不同焦点位置的多个图像，从各图像中提取合焦区域，以及将合焦区域组合成一个图像以生成整个摄像区域被对焦的合成图像。
3.上述的深度合成技术通过合成具有不同焦点位置的多个图像来生成整个摄像区域被对焦的图像。然而，该技术无法确定合成区域的亮度是否适合被摄体，从而该技术不一定能向被摄体提供适当的亮度。


技术实现要素：

4.根据实施例的一方面，一种装置包括：合成单元，其被构造为对具有不同焦点位置的多个图像进行图像合成；计算单元，其被构造为基于所述多个图像计算对比度相关值；生成单元，其被构造为基于所述对比度相关值生成合成图；分割单元，其被构造为基于相对于所述多个图像的被摄体分割区域；以及校正单元，其被构造为校正由所述分割单元分割出的各区域的灰度。
5.从以下参照附图对示例性实施方式的说明，本公开的其它特征将变得明显。
附图说明
6.图1是用于示出根据本公开的示例性实施例的用作图像处理装置的数字照相机的硬件构造的框图。
7.图2a、2b、2c和2d是用于示出根据第一示例性实施例的合成图像的生成的流程图。
8.图3a和3b示出根据第一示例性实施例的在步骤s201中将进行测光的区域。
9.图4a、4b和4c示出根据第一示例性实施例的与合焦区域相对应的生成的合成图。
10.图5a、5b和5c示出根据第一示例性实施例的被摄体区域分割。
11.图6a、6b和6c示出根据第一示例性实施例的通过增益的校正。
12.图7a、7b、7c、7d和7e示出根据第二示例性实施例的摄像场景和校正。
13.图8a和8b是用于示出根据第二示例性实施例的图像合成的流程图。
14.图9a、9b、9c和9d示出根据第三示例性实施例的摄像场景和校正。
15.图10a和10b是用于示出根据第三示例性实施例的图像合成的流程图。
具体实施方式
16.下面将参照附图详细地描述本公开的示例性实施例。下面的示例性实施例决不将本公开限制在所附权利要求的范围内。并非本示例性实施例中描述的所有特征组合对于本公开的解决方案来说都是必不可少的。
17.图1是用于示出根据第一示例性实施例的用作图像处理装置的数字照相机的结构的示例性框图。数字照相机100可拍摄静止图像、记录关于焦点位置的信息、计算对比度值和进行图像合成。数字照相机100可进一步对拍摄及存储的图像或外部输入的图像进行放大处理或缩小处理。
18.控制单元101，是诸如中央处理单元(cpu)和微处理单元(mpu)的信号处理器，其在读取预存储在将在下文描述的只读存储器(rom)105中的程序时控制数字照相机100的各部分。例如，如下所述，控制单元101可向将在下文描述的摄像单元104发出摄像开始指令和摄像结束指令。可选择地，控制单元101可基于存储在rom 105中的程序向将在下文描述的图像处理单元107发出图像处理指令。用户指令通过将在下文描述的操作单元110输入至数字100，然后通过控制单元101到达数字照相机100的各部分。
19.驱动单元102包括电动机并在控制单元101的指令下机械地操作将在下文描述的光学系统103。例如，基于控制单元101的指令，驱动单元102移动包括在光学系统103中的调焦透镜的位置以调整光学系统103的焦距。
20.光学系统103包括变焦透镜、调焦透镜和光圈。光圈是调整发送光的量的机构。焦点位置可通过改变透镜位置来改变。
21.摄像单元104是光电转换元件，其进行用于将入射光的信号转换成电信号的光电转换。例如，电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器可应用于摄像单元104。具有运动图像拍摄模式的摄像单元104可拍摄时间连续的多个图像作为运动图像的帧。摄像单元104可通过光学系统103对被摄体的亮度进行测光测量。声发射(acoustic emission，ae)传感器可用于替代摄像单元104中的测光测量。
22.rom 105是作为记录介质的只读非易失性存储器，除了包括在数字照相机100中的各个块的操作程序，其还存储用于各个块的操作的参数。
23.可再写易失性存储器ram 106用作包括在数字照相机100中的各个块的操作中输出的数据的暂时存储区域。
24.图像处理单元107对从摄像单元104输出的图像的数据或记录在将在下文描述的内部存储器109中的图像信号的数据进行白平衡调整、颜色插值、过滤、合成处理和其它各种图像处理。图像处理单元107也对由摄像单元104拍摄的图像信号的数据进行符合联合图像专家组(jpeg)标准的压缩处理。
25.图像处理单元107包括集成了用于特定处理的电路的专用集成电路(asic)。可选择地，控制单元101通过根据从rom 105中读出的程序进行处理也可用作图像处理单元107的一部分或全部的功能。在控制单元101用作图像处理单元107的全部功能的情况下，图像处理单元107不需要作为硬件组件提供。
26.显示单元108是用于显示暂时存储在ram 106中的图像、存储在将在下文描述的内部存储器109中的图像或数字照相机100的设置画面的液晶显示器或有机电致发光(el)显示器。
27.内部存储器109是用于记录由摄像单元104拍摄的图像、由图像处理单元107处理的图像以及在图像拍摄时的焦点位置的信息的位置。存储卡可用于替代内部存储器。
28.操作单元110例如包括设置在数字照相机100上的按钮、开关、按键和模式拨盘，或包括也用作显示单元108的触摸面板。用户指令通过操作单元110发送到控制单元101。
29.图2a至2d是用于示出根据本示例性实施例的合成图像的生成的流程图。图2a示出根据本示例性实施例的处理的概述。在步骤s201中，摄像单元104对通过光学系统103的被摄体进行测光测量。测光测量将在下文描述。
30.在步骤s202中，摄像单元104拍摄具有不同焦点位置的多个图像并对图像进行显像。
31.在步骤s203中，控制单元101对在步骤s202中由摄像单元104拍摄的图像进行对准。对准处理将在下文参照图2c描述。
32.在步骤s204中，图像处理单元107对对准的图像进行图像合成以生成合成图像。图像合成处理将在下文参照图2d描述。
33.下面将参照图3a和3b描述测光测量处理。图3a和3b示出根据本示例性实施例的在步骤s201中将进行测光测量的区域。图3a示出在存在主被摄体的情况下的测光测量区域。区域301表示主被摄体的测光测量区域，以及区域302表示除了主被摄体的测光测量区域之外的测光测量区域。图3b示出在不存在主被摄体的情况下的测光测量区域。区域311表示独立于主被摄体的整个区域的测光测量区域。在图2b所示的流程图中步骤s205中，控制单元101确定是否存在主被摄体。在如图3a所示存在主被摄体的情况下(步骤s205中的“是”)，处理进入步骤s206。另一方面，在如图3b所示不存在主被摄体的情况下(步骤s205中的“否”)，处理进入步骤s208。在步骤s206中，控制单元101对在区域301中示出的主被摄体区域进行测光测量。在步骤s207中，控制单元101对非主被摄体区域302进行测光测量。在这种情况下，摄像单元104基于主被摄体的测光测量的结果拍摄图像。在步骤s208中，控制单元104对区域311的整个区域进行测光测量。主被摄体的测光测量区域301将用于基于图像合成处理(将在下文描述)来确定主被摄体。基于主被摄体和非主被摄体的测光测量结果而获得的亮度值将用于计算用于图像合成处理(将在下文描述)中的校正合成区域的增益。
34.下面将参照图2c描述对准处理。在步骤s209中，控制单元101从步骤s202中由摄像单元104拍摄的图像中获取用于对准的基准图像。用于对准的基准图像例如可以是最先拍摄的图像。可选择地，由于用不同的焦点位置而拍摄的图像会稍微地改变图像间的场角，用于对准的基准图像可以是所拍摄的图像中具有最小场角的图像。
35.在步骤s210中，控制单元101获取对准目标图像。对准目标图像是除了在步骤s209中所获取的基准图像以外的、没有经过对准处理的图像。在用于对准的基准图像是最先拍摄的图像的情况下，控制单元101按照图像拍摄的顺序依序地获取目标图像。
36.在步骤s211中，控制单元101计算基准图像和目标图像之间的位置偏移量。下面将描述计算方法的一个示例。首先，控制单元101对基准图像设置多个块。在一实施例中，控制单元101设置块使得各个块具有相同的大小。然后，在目标图像上与基准图像的各个块相同的位置处，控制单元101设置比基准图像的块更宽的范围作为搜索范围。最后，控制单元101在各目标图像的搜索范围内，计算与基准图像的块的亮度绝对差之和(sum of absolute difference，sad)最小的对应点。基于基准图像的块的中心和上述的对应点，控制单元101
计算步骤s211中获取的位置偏移作为向量。在上述对应点的计算中，除了sad，控制单元101还可使用平方差之和(sum of squared difference，ssd)或归一化互相关(normalized cross correlation，ncc)。
37.在步骤s212中，控制单元101基于基准图像和目标图像之间的位置偏移量计算变换系数。控制单元101例如将投影变换系数用作变换系数。然而，变换系数不限于投影变换系数，其也可以是仿射变换系数或具有水平和垂直偏移的简化变换系数。
38.在步骤s213中，图像处理单元107使用在步骤s212中计算得到的变换系数对目标图像进行变换。
39.例如，控制单元101可使用公式(1)来进行变换。
[0040][0041]
在公式(1)中，(x',y')表示变换之后的坐标，并且(x,y)表示变换之前的坐标。矩阵a表示控制单元101在步骤s212中计算得到的变化系数。
[0042]
下面将参照图2d描述图像合成处理。在步骤s214中，图像处理单元107为经过对准的各图像(包括基准图像)计算对比度值。作为对比度值计算方法的一个示例，图像处理单元107基于各像素的颜色信号sr、sg和sb，使用公式(2)来计算亮度y。
[0043]
y＝0.299sr+0.587sg+0.114sb...公式(2)
[0044]
然后，图像处理单元107通过将如下述公式(3)至(5)所示的索贝尔滤波器应用于3x3像素的亮度y的矩阵l来计算对比度值i。
[0045][0046][0047][0048]
上述对比度值计算方法是一个示例。可使用的滤波器的示例包括诸如拉普拉斯滤波器的边缘检测滤波器和通过预定的频带的带通滤波器。
[0049]
在步骤s215中，图像处理单元107生成合成图。为了生成合成图，图像处理单元107比较各图像中相同位置处的像素的对比度值以及计算与对比度值的大小相对应的合成率。
[0050]
在步骤s216中，图像处理单元107确定图像的各区域是否是主被摄体区域以及设置目标亮度值。在步骤s216中，图像处理单元107也基于合成图进行主被摄体和背景被摄体的区域分割。下文将参照附图描述区域分割。
[0051]
图4a至4c示出根据本示例性实施例的在步骤s215中生成的、与合焦区域相对应的合成图。图4a至4c示出具有不同焦点的三个不同的图像以及由这三个图像生成的合成图。图5a至5c示出根据本示例性实施例的步骤s216中的被摄体的区域分割。
[0052]
在步骤s216中，控制单元101确定基于合焦区域401、411和421分别生成的合成图
402、412和422是否对应于主被摄体的测光测量区域301以便确定各区域是否是主被摄体区域。然后，图像处理单元107根据各区域是否是主被摄体区域设置测光亮度值和目标亮度值。如图5a所示，在合成图与主被摄体的测光测量区域相对应的情况下，图像处理单元107设置在步骤s206中对主被摄体区域进行测光测量时获得的主被摄体区域的亮度值和主被摄体区域的目标亮度值。另一方面，如图5b和5c所示，在合成图与主被摄体的测光测量区域不相对应的情况下，图像处理单元107设置在步骤s207中对非主被摄体区域进行测光测量时获得的亮度值以及设置除主被摄体的测光测量区域以外的区域的目标亮度值。目标亮度值指的是可向主被摄体的测光测量区域的灰度以及除主被摄体的测光测量区域以外的区域的灰度提供合适的亮度的亮度值。在步骤s217中，图像处理单元107计算用于使在步骤s216中设置的亮度值变成目标亮度值的增益。
[0053]
基于在步骤s217中计算得到的增益，在步骤s218中，图像处理单元107校正将基于在步骤s215中生成的合成图进行图像合成的区域的灰度。
[0054]
图6a至6c示出根据本示例性实施例的基于增益的校正。
[0055]
如图6a所示，在合成图与主被摄体的测光测量区域相对应的情况下，控制单元101可基于可向主被摄体提供合适的亮度的增益来校正将基于合成图602进行图像合成的区域601。如图6b和6c所示，在各合成图与主被摄体的测光测量区域不相对应的情况下，控制单元101可基于可向非主被摄体区域提供合适的亮度的增益来校正将分别基于合成图612和622进行图像合成的区域611和621。
[0056]
在步骤s219中，图像处理单元107根据合成图602、612和622分别进行在步骤s218中校正的区域603、613和623的图像合成。
[0057]
在上面的描述中，控制单元101基于合成图对主被摄体和背景被摄体进行区域分割，但本公开不限于此。控制单元101可基于对比度值对主被摄体和背景被摄体进行区域分割。
[0058]
当生成深度合成图像时，第一示例性实施例可使灰度得到改善以向将进行图像合成的各区域提供合适的亮度。
[0059]
下面将参照附图描述第二示例性实施例。不同于第一示例性实施例，即使在同一被摄体区域，第二示例性实施例也可使用不同的增益进行校正。下面将集中于与第一示例性实施例的不同来描述第二示例性实施例。
[0060]
图7a至7e示出根据第二示例性实施例的摄像场景和校正。
[0061]
根据本示例性实施例的测光测量、图像拍摄、显像和对准与根据第一示例性实施例的相似。根据本示例性实施例的图像合成与根据第一示例性实施例的不同。图8a和8b是用于示出根据本示例性实施例的图像合成的流程图。根据本示例性实施例的图8a中所示的流程图中的步骤s817不同于根据第一示例性实施例的步骤s217。下面将描述图像合成。
[0062]
如图7a所示，在主被摄体701与背景被摄体702之间的距离短的情况下，如图7b所示，主被摄体701和背景被摄体702的一部分在步骤s215中可能被生成为合成图711。在这种情况下，将使用基于同一背景被摄体702的不同目标亮度值计算得到的增益来校正灰度。从而，如图7c所示，将在主被摄体701和背景被摄体702的拍摄图像之间出现亮度差721。不同于第一示例性实施例，本示例性实施例可通过依据步骤s817中增益计算的条件改变增益计算方法来抑制同一被摄体中的亮度差。
[0063]
图8b是用于示出根据本示例性实施例的增益计算的流程图。在步骤s801中，控制单元101确定用于图像合成的区域是否存在于当前正在处理的图像之前的图像中。在用于图像合成的区域存在于先前的图像中的情况下(步骤s801中的“是”)，当像第一示例性实施例那样计算用于使目标区域变成目标亮度值的增益时，控制单元101确定同一被摄体中可能会出现亮度差异。在这种情况下，处理进入步骤s802。在步骤s802中，图像处理单元107通过根据最后一次灰度校正的增益控制校正量来计算增益。在图7d中所示的、作为图7a所示的摄像场景中的第一和第二拍摄图像的图像合成的结果的图像中，可以像在区域731中一样抑制同一被摄体中的陡峭亮度差。另一方面，在用于图像合成的区域不存在于先前的图像中的情况下(步骤s801中的“否”)，处理进入步骤s803。在步骤s803中，图像处理单元107以与第一示例性实施例类似的方式执行处理。从而，对于不包括要对焦的被摄体的图像(如在图7a所示的摄像场景中拍摄的第三图像741)，这消除了根据最后一次灰度校正的增益来控制校正量的需要。由于第三图像741不用于第四拍摄图像742的图像合成中，控制单元101计算用于校正到目标亮度值的增益。
[0064]
根据本示例性实施例，控制单元101可改变增益计算方法以抑制由于同一被摄体区域中的不同增益而产生的陡峭亮度差。
[0065]
下面将参照附图描述第三示例性实施例。不同于第一和第二示例性实施例，第三示例性实施例将描述当多个对焦被摄体存在于同一个图像时所进行的处理。下面将集中于与第一示例性实施例的不同来描述第三示例性实施例。
[0066]
图9a至9d示出根据第三示例性实施例的摄像场景和校正。
[0067]
根据本示例性实施例的测光测量、图像拍摄、显像和对准与根据第一示例性实施例的相似。根据本示例性实施例的图像合成与根据第一示例性实施例的不同。图10a和10b是用于示出根据本示例性实施例的图像合成的流程图。
[0068]
在图9a所示的图像拍摄中，主被摄体901和不同于主被摄体901的被摄体902之间存在近距离。在根据第一示例性实施例的方法中，在如图9a所示的情况下，主被摄体和不同于主被摄体的被摄体在步骤s215中可能被生成为如图9b所示的合成图911。在这种情况下，在步骤s218中，将基于用于使主被摄体区域变成目标亮度的增益校正不同于主被摄体的被摄体的区域。下面将描述在步骤s216之前增加条件的情况。在合成图包括主被摄体区域和非主被摄体区域的情况下，控制单元101将生成绘制了与主被摄体相对应的区域以外的区域的合成图像和绘制了与主被摄体相对应的区域的合成图像，并且基于增益进行校正。
[0069]
在根据本示例性实施例的步骤s1001和s1002中，控制单元101分别进行与根据第一示例性实施例的步骤s213和s214相似的处理。
[0070]
在步骤s1003中，控制单元101确定在步骤s1002中生成的合成图是否包括主被摄体区域和非主被摄体区域两者。基于卷积神经网络(cnn)的对象识别是用于确定合成图是否包括主被摄体和非主被摄体区域两者的方法的一个示例。图9c示出包括主被摄体922和非主被摄体区域923两者的合成图。在图9c中的合成图的情况下，处理进入步骤s1004。如图9d所示，控制单元101将基于在步骤s1002中生成的合成图911生成绘制了与主被摄体区域相对应的图像合成区域以外的区域的合成图931。在步骤s1005中，图像处理单元107校正与在步骤s1004中生成的合成图931相对应的区域的灰度。
[0071]
在步骤s1006中，控制单元101基于在步骤s1002中生成的合成图911生成绘制了与
主被摄体区域相对应的图像合成区域的合成图932。在步骤s1007中，图像处理单元107校正与在步骤s1006中生成的合成图932相对应的区域的灰度。
[0072]
在控制单元101确定在步骤s1002中生成的合成图911既不包括主被摄体区域又不包括非主被摄体区域的情况下(步骤s1003中的“否”)，处理进入步骤s1008。在步骤s1008中，控制单元101校正与在步骤s1002中生成的合成图911相对应的区域的灰度。
[0073]
在步骤s1009中，像根据第一示例性实施例的步骤s219一样，图像处理单元107基于在步骤s1002中生成的合成图911对经过了区域灰度校正的区域进行图像合成。
[0074]
下面将描述步骤s1005、s1007和s1008中的区域灰度校正。图10b是用于示出根据本示例性实施例的区域灰度校正的流程图。
[0075]
在步骤s1010中，控制单元101确定作为处理目标的合成图是否对应于主被摄体区域。在作为处理目标的合成图对应于主被摄体区域的情况下(步骤s1010中的“是”)，处理进入步骤s1011。另一方面，在作为处理目标的合成图不对应于主被摄体区域的情况下(步骤s1010中的“否”)，处理进入步骤s1013。
[0076]
在步骤s1011中，图像处理单元107设置在主被摄体区域中测量的测光亮度值。在步骤s1012中，图像处理单元107设置主被摄体区域的目标亮度值。在步骤s1013中，图像处理单元107设置在非主被摄体区域中测量的测光亮度值。在步骤s1014中，图像处理单元107设置非主被摄体区域的目标亮度值。此中的目标亮度值与根据第一示例性实施例的相似，并且是向主被摄体的测光测量区域或非主被摄体的测光测量区域提供合适的灰度的亮度值。
[0077]
在步骤s1015中，像根据第一示例性实施例的步骤s217一样，图像处理单元107计算用于使设置的亮度值变成设置的目标亮度值的增益。
[0078]
在步骤s1016中，图像处理单元107使用在步骤s1015中计算得到的增益校正与作为处理目标的合成图相对应的区域的灰度。
[0079]
即使在合成图中存在不同的被摄体区域，第三示例性实施例也可校正灰度以向各被摄体区域提供合适的亮度。
[0080]
虽然上述示例性实施例是基于个人使用的数字照相机，但只要能提供深度合成功能，本公开也可应用于便携装置、智能电话和连接至服务器的网络照相机。可选择地，上述处理可部分地由便携装置、智能电话或连接至服务器的网络照相机进行。
[0081]
本公开的配置可实现向通过使用具有不同焦点位置的多个图像生成的合成图像中要合成的区域提供合适的亮度的控制。
[0082]
其它实施例子
[0083]
本公开的一些实施例还可以通过读出并执行记录在存储介质(也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元
(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(诸如紧凑盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)
tm
)、闪存设备、存储卡等中的一个或多个。
[0084]
本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0085]
虽然已经参照示例性实施方式说明了本公开，但是应当理解，本公开不限于所公开的示例性实施方式。权利要求的范围应符合最宽泛的解释，以包含所有这样的变型、等同结构和功能。