两端，用于乘以不必要成分的权重系数在O和I之间，并且生成如图25B所示的、从其消除了与权重系数相对应的不必要成分的部分的图像。在本实施例中，用于乘以不必要成分的权重系数最大是1，但是当还需进一步消除不必要成分的量时，在该乘法中可以使用大于I的权重系数，以执行比所检测到的不必要成分的量更大的量的消除处理。
[0132]除仅在步骤S43所指定的范围内进行与在步骤S49所指定的权重系数的乘法以夕卜，图26中的步骤S50和S51与图12中的步骤S28和S29相同。因此省略对其的说明。
[0133]本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。换句话说，可以在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时丢弃负值，因而本实施例可以获得从其良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分的、高图像质量的拍摄图像。本实施例计算多个相对差分信息，并且计算作为所选择的最大值的相对差分最大值信息，从而在多个视差图像中的不必要成分的位置相互重叠时，有效检测和降低任何不必要成分。另外，由于本实施例合成通过合成视差图像所获得的图像中所包含的不必要成分，以作为一个数据生成不必要成分，因而可以仅通过一个差分计算来执行不必要成分降低处理，由此可以简化该处理。此外，可以容易地进行诸如参数处理等的、与权重系数相乘的不必要成分消除量的调整。
[0134]尽管上述各实施例说明了用于消除或者降低不必要成分的情况，但是可以基于所确定的不必要成分的信息，进行用于添加其它不必要成分(第三不必要成分)的校正处理。例如，图20所示的多个视差图像包括具有幻影(不必要成分)的图像和不具有幻影的图像。可以将所确定的幻影添加至各视差图像以在重构图像中保持该幻影。可选地，可以向重构图像添加幻影。
[0135]各实施例说明了使用本发明的图像处理方法的摄像设备(图像处理设备所装配的)，但是可以通过安装在个人计算机中的图像处理软件来进行本发明的图像处理方法。在这种情况下，个人计算机对应于本发明的图像处理设备。个人计算机接受(获取)通过摄像设备所生成的、仍要进行图像恢复处理的图像(输入图像)，并且输出通过利用图像处理程序进行图像恢复处理所获得的图像。
[0136]如上所述，各实施例中的图像处理设备(图像处理单元204)，包括不必要成分确定器(不必要成分检测单元204a)、不必要成分合成器(不必要成分合成单元204b)和不必要成分降低器(不必要成分降低单元204d)。不必要成分确定器基于多个视差图像的多个相对差分信息，确定多个视差图像各自中的第一不必要成分(步骤S14、S25、S35和S46)。不必要成分合成器计算视差图像中的第一不必要成分的合成值(步骤S15、S26、S36和S47)。不必要成分降低器基于第一不必要成分的合成值，降低视差图像的合成图像中所包含的第二不必要成分(步骤S17、S28、S38和S50)。
[0137]图像处理设备(或者摄像设备)优选通过单个摄像操作来生成视差图像(步骤S12、S22、S32和S42)。不必要成分确定器优选将各视差图像设置为基准图像，以通过计算基准图像和除基准图像以外的视差图像之间的差分，获得各个相对差分信息(步骤S13、S23、S33和 S44)。
[0138]不必要成分确定器优选获取通过使用视差图像中的、包含所要确定的任何不必要成分(第一不必要成分)的一个视差图像作为基准图像所获得的各个相对差分信息，作为丢弃了任何负值的二维数据。然后，不必要成分确定器提取在二维数据中各位置处的多个相对差分信息中的最大值或者最小值，并且确定基准图像中所包含的第一不必要成分的位置和量。可选地，代替最大值或者最小值，可以使用预定阈值。
[0139]不必要成分合成器优选计算视差图像中的第一不必要成分的和或者平均值，作为合成值。第二不必要成分优选是第一不必要成分的合成值。可选地，不必要成分降低单元可以从合成图像减去通过将第一不必要成分的合成值乘以权重系数所获得的值，以降低第二不必要成分。
[0140]图像处理设备根据用户通过输入单元(信息输入单元211)的操作(指定)，优选设置包含要降低的第二不必要成分的图像区域(步骤S43)。然后，不必要成分降低单元降低这样所设置的图像区域中的第二不必要成分。不必要成分确定器优选调整视差图像的位置。视差图像优选是由穿过摄像光学系统201的光瞳的相互不同的区域(光瞳区域)的多个光束所形成的多个图像。图像处理设备更优选基于第一不必要成分的信息，向合成图像添加第三不必要成分。
[0141]各实施例可以提供一种能够在无需进行多次摄像(进行一次摄像)的情况下，以简单且有效的方式降低拍摄图像中所包含的任何不必要成分的图像处理方法、图像处理设备和摄像设备。因此，可以获取具有高图像质量的拍摄图像。
[0142]其它实施例
[0143]还可以通过读出并执行记录在存储介质(还可被更全面地称为“非暂时性计算机可读存储介质”)上的计算机可执行指示(例如，一个以上的程序)以进行一个以上的上述实施例的功能的、并且/或者包括用于进行一个以上的上述实施例的功能的电路(例如，专用集成电路(ASIC))的系统或设备的计算机、以及通过下面的方法来实现本发明的方面，其中，通过系统或设备的计算机例如从存储介质读出并执行计算机可执行指示以进行一个以上的上述实施例的功能、以及/或者通过控制一个以上的电路以进行一个以上的上述实施例的功能来进行该方法。计算机可以包含一个以上的处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络以读出和执行计算机可执行指示。可以通过例如网络或者存储介质将计算机可执行指示提供给计算机。存储介质可以包括例如一个以上的硬盘、随机存取存储器(RAM)、只读存储器(R0M)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD) ?等)、闪存存储器装置和存储卡等。
[0144]尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功會K。
【主权项】
1.一种图像处理方法，其包括以下步骤: 确定步骤，基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分； 计算步骤，计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及 降低步骤，基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分， 其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。2.根据权利要求1所述的图像处理方法，其中，还包括通过单个摄像操作来生成所述多个视差图像的步骤。3.根据权利要求1所述的图像处理方法，其中，还包括如下步骤:将各视差图像设置作为基准图像，以通过计算所述基准图像和除所述基准图像以外的视差图像之间的差分，来获得各个相对差分信息。4.根据权利要求1所述的图像处理方法，其中，所述确定步骤包括: 获取通过使用所述视差图像中包含所要确定的所述第一不必要成分的视差图像作为基准图像所获得的各个相对差分信息，作为丢弃了负值的二维数据；以及 提取所述二维数据中各位置处的多个相对差分信息中的最大值，以确定所述基准图像所包含的所述第一不必要成分的位置和量。5.根据权利要求1所述的图像处理方法，其中，所述确定步骤包括: 获取通过使用所述视差图像中包含所要确定的所述第一不必要成分的视差图像作为基准图像所获得的各个相对差分信息，作为丢弃了负值的二维数据；以及 提取所述二维数据中各位置处的多个相对差分信息中的最小值，以确定所述基准图像所包含的所述第一不必要成分的位置和量。6.根据权利要求1所述的图像处理方法，其中，所述计算步骤包括计算所述多个视差图像所包含的所述第一不必要成分的和，作为所述合成值。7.根据权利要求1所述的图像处理方法，其中，所述计算步骤包括计算所述多个视差图像所包含的所述第一不必要成分的平均值，作为所述合成值。8.根据权利要求1所述的图像处理方法，其中，还包括如下步骤: 设置包含要降低的所述第二不必要成分的图像区域，其中， 所述降低步骤包括降低所设置的图像区域所包含的所述第二不必要成分。9.根据权利要求1所述的图像处理方法，其中，还包括调整所述视差图像的位置的步骤。10.根据权利要求1所述的图像处理方法，其中，所述多个视差图像是由穿过摄像光学系统的光瞳的相互不同的区域的多个光束所形成的多个图像。11.根据权利要求1?10中任一项所述的图像处理方法，其中，还包括基于所述第一不必要成分的信息，向所述合成图像添加第三不必要成分的步骤。12.一种图像处理设备，其包括: 不必要成分确定器，用于基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分； 不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及 不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分， 其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。13.根据权利要求12所述的图像处理设备，其中，还包括视差图像合成器，所述视差图像合成器用于生成所述多个视差图像的所述合成图像。14.一种摄像设备，其包括: 摄像元件，用于对光学图像进行光电转换以输出多个视差图像； 不必要成分确定器，用于基于所述多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分； 不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及 不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分， 其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。15.根据权利要求14所述的摄像设备，其中， 所述多个视差图像是由穿过摄像光学系统的光瞳的相互不同的区域的多个光束所形成的多个图像， 所述摄像元件包括共享一个微透镜的多个像素，以及 所述像素接收穿过所述摄像光学系统的光瞳的相互不同的区域的所述光束。16.根据权利要求14或者15所述的摄像设备，其中，还包括输入单元，通过该输入单元来指定包含要降低的所述第二不必要成分的图像区域，以及，所述不必要成分降低器从所述多个视差图像的所述合成图像降低通过所述输入单元所指定的所述图像区域所包含的所述第二不必要成分。
【专利摘要】本发明涉及图像处理方法、图像处理设备和摄像设备。所述图像处理方法包括以下步骤：基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各个视差图像所包含的第一不必要成分(S14、S25、S35、S46)；计算所述多个视差图像所包含的所述第一不必要成分的合成值(S15、S26、S36、S47)；以及基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分。
【IPC分类】H04N5/232
【公开号】CN105007405
【申请号】CN201510183988
【发明人】井上智晓
【申请人】佳能株式会社
【公开日】2015年10月28日
【申请日】2015年4月17日
【公告号】EP2934005A1, US20150304633