L2为关闭（OFF)时 表示照明被关闭。照明的颜色由RGB值表达，分别由变量Lr、Lg及Lb来表示。变量a表 示照明的亮度，随着变量a增大，照明变得更亮。在下文中将根据各个处理步骤描述该操 作。
[0064] 在步骤S401中，显影处理单元301基于从A/D转换单元208获得的原始图像数据 而生成颜色图像数据。图5例示了颜色图像数据501的示例。用于获得颜色图像数据的方 法并不限于上述方法。例如，显影处理单元301可以通过获得在RAM204或PC/介质213 中存储的原始图像数据而生成颜色图像数据。或者，显影处理单元301可以获得在RAM204 或PC/介质213中存储的颜色图像数据。
[0065] 在步骤S402中，光照处理单元308从距离图像获得单元105中获得距离图像数 据。图5例示了距离图像数据502的示例。用于获得距离图像数据的方法并不限于上述方 法。例如，光照处理单元308可以获得在RAM204或PC/介质213中存储的距离图像数据。
[0066] 在步骤S403中，光照处理单元308从RAM204获得标志SW1的状态。基于标志 SW1的状态，光照处理单元308确定是否要执行光照处理。在根据用户的指令而使标志SW1 为关闭的情况下（在步骤S403中为"否"），光照处理单元308确定不执行光照处理，然后 处理推进至步骤S404。另一方面，在标志SW1为开启的情况下（步骤S403中为"是"），光 照处理单元308确定执行光照处理，然后处理推进至步骤S405。
[0067] 在步骤S404中，光照处理单元308从RAM204获得标志SW3的状态。当根据用户 的指令而使标记SW3为关闭时，光照处理单元308仅将颜色图像数据输出并存储在PC/介 质213中，而在标志SW3为开启时将颜色图像数据和距离图像数据输出并存储在PC/介质 213中。或者，可以将上述图像数据输出并显示在显示单元106上。之后，光照处理单元308 结束处理。
[0068] 在步骤S405中，法线估计处理单元302从距离图像获得单元105处获得距离图像 数据。然后，法线估计处理单元302通过基于距离图像数据对各像素的法向矢量进行估计 而获得法线图像数据N。图5例示了法线图像数据503的示例。例如，可以通过基于距离图像 数据的目标像素的邻近区域针对该距离图像数据的目标像素执行微分（differentiation) 从而估计法向矢量，或者通过对目标像素的邻近区域来拟合平面而估计法向矢量。在本示 例性实施例中，将获得与拟合成目标像素的邻近区域的平面垂直的矢量并作为法线。
[0069] 在步骤S406中，光照处理单元308将照明参数初始化。更具体地，为了使全部照 明源进入关闭状态，光照处理单元308对全部照明源关闭变量SW_L1和SW_L2。然后，光照 处理单元308启动能够被设置的两个照明源之一。
[0070] 此外，光照处理单元308将照明的旋转角0和cp设置为初始值。在本示例性实施 例中，将照明的旋转角0 =90°及9=90°设置为初始值，从而可以将从被摄体的前方照明 被摄体的状态设置为初始状态。
[0071] 在步骤S407中，光照处理单元308对颜色图像数据执行光照处理。通过执行光照 处理，可以生成看起来好像是在所设置照明参数指示的照明条件下拍摄被摄体的图像。在 处理从步骤S406推进至步骤S407的情况下，处理目标图像数据是颜色图像数据。在此情 况下，照明参数为步骤S406中设置的初始值。此外，在从下文所述的步骤S410推进至步骤 S407的情况下，光照处理单元308通过使用步骤S410中设置的照明参数而不是步骤S406 中设置的初始值来执行光照处理。光照处理单元308通过基于颜色图像数据、距离图像数 据、法线图像数据及照明参数来执行光照处理从而生成校正图像数据。下文将详细描述步 骤S407中执行的处理。
[0072] 在步骤S408中，光照处理单元308将校正图像数据输出并显示在显示单元106 上。
[0073] 在步骤S409中，光照处理单元308从RAM204获得表示是否存储校正图像的标 志SW4的状态。在根据来自用户的指令而将标志SW4设置为关闭（OFF)的情况下（在步骤 S409中为"否"），处理推进至步骤S410。在将标志SW4设置为开启（ON)的情况下（步骤 S409中为"是"），处理推进至步骤S411。
[0074] 在步骤S410中，照明位置更新单元307根据用户的操作选择的所选择区域而执行 照明参数设置处理，并设置照明参数。用户在对显示单元106上显示的校正图像数据进行 监控的同时选择校正图像数据上的期望位置，从而用户可以将照明移至所选择位置。以下 将详细描述用于设置照明参数的方法。
[0075] 在步骤S411中，光照处理单元308从RAM204获得标志SW3的状态。然后，在标 志SW3为关闭时，光照处理单元308将校正图像数据和颜色图像数据输出并存储在PC/介 质213中，而在标志SW3为开启时将校正图像数据、颜色图像数据和距离图像数据输出并存 储在PC/介质213中。之后，光照处理单元308结束处理。
[0076] 这里，在图7中，将详细描述步骤S410中执行的照明参数设置处理。在根据本示 例性实施例的照明参数设置处理中，基于用户操作和距离图像数据设置照明参数。在本示 例性实施例中，用户在监视显示的校正图像数据的同时执行用于改变照明位置的操作。由 照明位置更新单元307基于例如距离图像数据D和指定位置而更新照明位置。此时，照明 位置更新单元307根据被选择为光照处理目标的被摄体的位置而确定照明的移动量。下文 将详细描述照明参数设置处理。
[0077] 在步骤S701中，照明位置更新单元307确定用户是否已提供改变所启动照明的指 令。在要改变所启动照明的情况下（步骤S701中为"是")，处理推进至步骤S702。在不改 变所启动照明的情况下（步骤S701中为"否"），处理推进至步骤S703。
[0078] 在步骤S702中，照明位置更新单元307启动步骤S701中选择的照明。以下描述 的操作适用于步骤S702中启动的照明的照明参数。
[0079] 在步骤S703中，照明位置更新单元307基于用户操作进一步确定是否配置照明。 在要配置照明的情况下（步骤S703中为"是")，处理推进至步骤S704。在不配置照明的情 况下（步骤S703中为"否"），处理推进至步骤S708。
[0080] 在步骤S704中，被摄体识别单元303从控制单元206处获得所选择的被摄体位置 P0'。在本示例性实施例中，用户从步骤S408中显示单元106上显示的校正图像中选择被 摄体。用户执行用于指定用户想要调整所应用照明的程度的被摄体的操作。以下将参照图 8描述用于获得所选择区域的方法。首先，被摄体识别单元303从控制单元206处获得通 过用户操作而选择的显示单元106上的所选被摄体位置P0'（801)。然后，被摄体识别单元 303计算被摄体位置P0 (802)作为与所选被摄体位置P0'相对应的校正图像数据上的坐标 值。之后，包括位于中心处的被摄体位置P0的邻近区域被指定为被摄体邻近区域803。例 如，被摄体邻近区域803被设置为以被摄体位置802为中心的矩形区域。
[0081] 在步骤S705中，照明可移动范围设置单元305首先设置用于表示照明的可移动范 围的照明参数Cx、Cy、Cz、a、b及c。以下将参照图9描述用于设置照明参数的方法。首先， 照明可移动范围设置单元305从距离图像数据502中获得与被摄体位置P0(i，j)802相对 应的被摄体坐标值901。根据以下公式（4)从被摄体的被摄体坐标值901及预定曲率半径 (Rx、Ry、Rz)中计算各照明参数。
[0082] Cx=x(i，j)
[0083] Cy=y(i，j)
[0084] Cz= z(i，j)+Rz
[0085] a = Rx+ 0
[0086] b = Ry+ 0
[0087]c=Rz+ 0 (4)
[0088] 因此，基于被摄体的尺寸而设置照明的可移动范围的尺寸（即椭圆体的尺寸）。这 里，变量0表示被摄体位置与照明位置之间的大概距离。可以预先设置变量0的值，或者 可以根据被摄体邻近区域803的像素值而改变变量0的值。例如，在所拍摄的被摄体图像 暗且与该被摄体相对应的一组像素的像素值小时，将变量0设置为小值，而在所拍摄的被 摄体图像亮且与该被摄体相对应的一组像素的像素值大时，将变量0设置为大值。利用这 种结构，针对较暗的被摄体图像，可以在较近的位置处配置照明，因此可以增加照明的校正 效果。或者，可以根据照明的亮度a而改变变量0。例如，随着照明的亮度a增大，可以 将变量0设置为更大。
[0089] 通过上述处理设置用于照明指定被摄体的虚拟照明的移动区域。利用上文确定的 照明参数来设置用于照明指定被摄体的虚拟照明的移动范围，并且可以通过改变虚拟照明 的位置和方向而执行相对于被摄体的光照校正。
[0090] 在步骤S706中，照明位置更新单元307基于照明的旋转角0和(p以及照明参数 Cx、Cy、Cz、a、b及c而将照明配置在初始位置处。更具体地，照明位置更新单元307根据 公式（2)计算照明的位置