图像处理装置及图像处理方法
【技术领域】
[0001] 本发明涉及一种图像处理，用于使用虚拟照明以从所拍摄图像中生成看起来好像 是在与所拍摄图像的照明条件不同的期望照明条件下拍摄到的图像。
【背景技术】
[0002] 当摄像装置拍摄被摄体的图像时，所拍摄图像会依据施加于该被摄体的照明 (光）而显著的变化。例如，当人是被摄体时，在光倾斜入射到被摄体上的照明条件下，由 于强调了他/她的面部的阴影，因此可以拍摄立体图像。另一方面，在诸如从被摄体的后 方入射强光的逆光条件等照明条件下，将会获得被摄体全部或部分由于阴影而变暗的拍摄 图像。提供了这样一种方法：即通过对如上文后一种情况中那样被摄体变暗的所拍摄图像 进行校正，从而生成看起来好像是在用户期望的照明条件下拍摄被摄体的另一个图像。根 据日本特开2009-267662号公报中讨论的方法，通过使用被摄体的模型数据而生成在虚拟 照明条件下拍摄的被摄体的图像，并且将所生成的图像设置在所拍摄图像内的被摄体区域 上，从而校正相对于所拍摄图像内的被摄体的照明。在该方法中，通过调整事先设置在预定 位置上的多个照明源中的各照明源的亮度来设置虚拟照明条件。
[0003] 此外，日本特开2010-135996号公报讨论了一种通过对被摄体应用虚拟照明而对 所拍摄图像执行伪光照（pseudo-lighting)处理的方法。具体地，基于被摄体图像的最大 亮度值确定所拍摄图像中虚拟照明的光强度。在该方法中，根据预设的照明方向而使高斯 分布偏转，从而可以获得已从期望方向对被摄体应用虚拟照明的图像。
[0004] 此外，日本特开平4-301304号公报讨论了一种通过设置摄影区域中的模拟形状 及虚拟照明装置的位置和方向而显示由虚拟照明装置照明的图像的方法。在该方法中，通 过例如键盘操作而输入虚拟照明装置的位置和方向。
[0005] 在用户想要调整在所拍摄图像中被摄体的照明的情况下，该用户可以改变虚拟照 明的位置和方向，直到将被摄体调整为期望的状态为止。然而，根据日本特开2009-267662 及特开2010-135996号公报中讨论的方法，不可能调整虚拟照明的三维位置。此外，根据日 本特开平4-301304号公报中讨论的方法，为了设置虚拟照明的位置和方向，用户需要设置 用于表示虚拟照明位置的x-轴、y-轴及z-轴中的坐标值，并需要设置用于表示虚拟照明 方向的围绕各轴的旋转量。因此，用户在每次调整虚拟照明的位置和方向时都需要设置多 个参数。
【发明内容】
[0006] 本发明旨在提供一种图像处理装置，其在从所拍摄图像中生成图像时能够使其轻 松的快速地且有效地设置虚拟照明的位置和方向，以便使在已生成图像中重现的所拍摄图 像中的被摄体在已生成图像中看起来好像是在虚拟照明条件下拍摄的一样。
[0007] 根据本发明的一方面，使用虚拟照明对显示画面上显示的图像数据执行光照处理 的图像处理装置包括：识别单元，其被配置为识别所述图像数据中的被摄体；获得单元，其 被配置为获得表示所述被摄体的位置的位置信息；设置单元，其被配置为基于所述被摄体 的所述位置信息而设置可以设置所述虚拟照明的位置的可移动范围；指定位置获得单元， 其被配置为获得用户在所述显示画面上输入的指定位置；确定单元，其被配置为基于所述 可移动范围和所述指定位置而确定所述虚拟照明的位置；以及光照处理单元，其被配置为 基于所述确定单元确定的所述虚拟照明的位置而对所述图像数据中的所述被摄体执行光 照处理。
[0008] 根据本发明的一方面，一种图像处理方法，其用于使用虚拟照明对显示画面上显 示的图像数据执行光照处理，所述图像处理方法包括：识别所述图像数据中的被摄体；获 得表示所述被摄体的位置的位置信息；基于所述被摄体的所述位置信息而设置能够设置所 述虚拟照明的位置的可移动范围；获得用户在所述显示画面上输入的指定位置；基于所述 可移动范围和所述指定位置而确定所述虚拟照明的位置；以及基于所确定的所述虚拟照明 的位置而对所述图像数据中的所述被摄体执行光照处理。
[0009] 根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
【附图说明】
[0010] 图1A和图1B各是例示根据第一示例性实施例的图像处理装置的外观的图。
[0011] 图2是例示根据第一示例性实施例的图像处理装置的内部结构的图。
[0012] 图3是例示根据第一示例性实施例的图像处理单元的结构的框图。
[0013] 图4是例示根据第一示例性实施例的处理的流程的流程图。
[0014] 图5例示了根据第一示例性实施例的图像数据的示例。
[0015] 图6是例示根据第一示例性实施例用于控制照明的位置的方法的图。
[0016] 图7是例示根据第一示例性实施例用于设置照明参数的处理的流程的流程图。
[0017] 图8是例示根据第一示例性实施例的所选择区域的示例的图。
[0018] 图9是例示根据第一示例性实施例用于设置照明参数的方法的示例的图。
[0019] 图10是例示根据第一示例性实施例用于移动照明参数的方法的示例的图。
[0020] 图11是例示根据第一示例性实施例用于移动照明的处理的示例的图。
[0021] 图12是例不根据第一不例性实施例用于移动照明的处理的另一个不例的图。
[0022] 图13是例示根据第一示例性实施例的所显示图像的示例的图。
[0023] 图14是例示根据第二示例性实施例用于设置可移动范围的处理的流程的流程 图。
[0024] 图15是例示根据第二示例性实施例拟合二次曲面的示例的图。
[0025] 图16是例示根据第二示例性实施例的照明的设置结果的示例的图。
【具体实施方式】
[0026] 以下将参照附图描述本发明的示例性实施例。下文描述的示例性实施例中描述的 结构只是示例，本发明并不限于这里描述的结构。
[0027] 〈摄像装置的外观〉
[0028] 下文以摄像装置为例来描述本发明的图像处理装置。图1A和图1B均例示了可应 用于本发明的第一示例性实施例的摄像装置的外观。在本示例性实施例中，将描述数字照 相机的结构来作为摄像装置的结构的示例。尽管下文将描述数字照相机，但摄像装置并不 限于此。例如，摄像装置可以是诸如移动电话、平板型设备或个人计算机等信息处理装置， 或者可以被配置为诸如带有内置照相机的移动电话等摄像装置。图1A是摄像装置的外部 前视图，而图1B是其外部后视图。摄像装置101包括光学单元102、摄像按钮103、闪光灯 104、距离图像获得单元105、显示单元106以及操作按钮107。
[0029] 光学单元102是由变焦透镜、聚焦透镜、照相机振动校正透镜、光圈及快门构成的 透镜镜筒，并收集被摄体的光学信息。在用户向摄像装置101提供开始摄像操作的指令时 使用摄像按钮103。在根据来自用户的指令而开始摄像操作的同时，闪光灯104发光。距离 图像获得单元105根据摄像指令获得被摄体的距离图像数据。在本示例性实施例中，距离 图像数据保持表示从摄像装置101到被摄体的距离的信息。
[0030] 显示单元106显示由摄像装置101处理的图像数据以及各种类型的其他数据。例 如液晶显示器用于显示单元106。在本示例性实施例中，由于摄像装置101没有配设有光学 取景器，因此用户通过使用显示单元106执行取景操作（例如，核对焦点和构图）。由于用 户在核对显示单元106上显示的实时取景图像的同时拍摄图像，因此在用户执行这种取景 和调焦操作期间，显示单元106起电子取景器的作用。此外，除了执行在实时基础上显示摄 像区域的实时取景显示之外，显示单元106还显示照相机设置菜单。
[0031] 操作按钮107用来获得用户的操作。具体地，关于显示单元106上显示的照相机 设置菜单，用户使用操作按钮107来输入用于改变摄像模式或设置摄像操作的各种参数的 指令。此外，在本示例性实施例中，摄像装置101包括作为摄像模式的光照处理模式。通过 使用操作按钮107或摄像按钮103,用户可以输入用于例如改变光照处理模式、设置照明参 数、改变距离图像数据输出模式或选择被摄体区域的指令。此外，显示单元106可以配设有 触摸屏功能。在此情况下，用户通过触摸屏输入的指令也可以被看作是通过操作按钮107 输入的指令。
[0032]〈摄像装置的内部结构〉
[0033] 图2是例示根据本示例性实施例的摄像装置101的内部结构的框图。中央处理单 元（CPU) 202执行各结构的处理。CPU202根据通过顺次读取并分析只读存储器（ROM) 203 或随机存取存储器（RAM) 204中存储的指令所得到的结果而执行各结构的处理。系统总线 212发送并接收数据。
[0034] 根据用户通过摄像按钮103或操作按钮107输入的指令，控制单元206控制摄像 操作、光照处理模式的改变、被摄体区域的选择以及照明参数的设置。在本示例性实施例 中，控制单元206根据来自用户的指令而控制标志SW1、SW2、SW3及SW4。当指示控制单元 206使光照处理有效时开启标志SW1，而当指示控制单元206使光照处理无效时关闭标志 SW1。