当指示控制单元206移动虚拟照明时开启标志SW2,而当指示控制单元206不移动虚 拟照明时关闭标志SW2。当指示控制单元206保存距离图像数据时开启标志SW3,而当指示 控制单元206不保存距离图像数据时关闭标志SW3。当指示控制单元206保存已校正图像 时开启标志SW4,而在其他场合时关闭标志SW4。实际上，各个标志SW1、SW2、SW3及SW4是 RAM204内的比特信号。在比特信号的状态为0时标志关闭（OFF)，而在其状态为1时标志 开启（ON)。因此控制单元206切换比特信号的状态。此外，控制单元206获得用户的操作。
[0035] 光学系统控制单元205根据来自CPU202的指令而控制光学单元102调整焦点、 打开快门或调整光圈。
[0036] 彩色图像传感器单元201将由光学单元102收集的光学信息转换成电流值。通过 将彩色图像传感器单元201与滤色器组合而获得颜色信息。
[0037] 距离图像获得单元105包括用于发射红外光的红外光发射单元以及用于接收反 射到被摄体上的红外光的光接收单元。距离图像获得单元105基于光接收单元接收被发 射并反射到被摄体上的红外光所花费的时间而计算摄像装置101与被摄体之间的距离的 值。然后，基于包括所计算出的距离值和光接收单元的传感器像素的数量及视场角的距离 摄像信息，距离图像获得单元105计算被摄体的位置信息并获得该位置信息作为距离图像 数据。
[0038] 模拟/数字（A/D)转换单元208将光学单元102检测到的被摄体的光量转换成数 字信号值以便获得原始图像数据。在本示例性实施例中，可以获得同时拍摄的距离图像数 据和原始图像数据。
[0039] 图像处理单元209对原始图像数据执行显影处理以生成颜色图像数据。图像处理 单元209对颜色图像数据执行各种类型的图像处理。在本示例性实施例中，图像处理单元 209基于颜色图像数据和距离图像数据执行将颜色图像数据转换成光照校正图像数据的光 照处理。下文将详细描述图像处理单元209的内部结构。
[0040] 字符生成单元207生成文本和图形。将字符生成单元207生成的文本和图形叠加 在图像处理单元209生成的光照校正图像数据上，以便显示在显示单元106上。
[0041] 编码器单元210执行文件格式转换处理，在该处理中，包括由图像处理单元209处 理的颜色图像数据和由光照处理生成的光照校正图像数据的各种类型的图像数据被转换 成诸如联合图像专家组（JPEG)格式的文件格式。
[0042] 介质接口 211充当用于向/从个人计算机（PC)/介质213(例如硬盘、存储卡、紧 凑式闪存（CF)卡或安全数字（SD)卡）发送/接收图像数据的接口。
[0043] 〈图像处理单元的内部结构〉
[0044] 图3是例示根据本示例性实施例的图像处理单元209的详细内部结构的框图。
[0045] 显影处理单元301从A/D转换单元208获得原始图像数据。然后，显影处理单元 301通过对原始图像数据执行白平衡处理、去马赛克处理、降噪处理、颜色转换处理、边缘强 化处理以及伽马处理而生成颜色图像数据。所生成的颜色图像数据可以被输出并被显示在 显示单元106上或是存储在诸如RAM204或PC/介质213等存储设备中。在本示例性实施 例中，充当像素值的红绿蓝（RGB)值被存储在构成颜色图像数据I的像素I(i，j)中。在颜 色图像数据501的各像素中存储的RGB值分别被表示为Ir(i，j)，Ig(i，j)及Ib(i，j)。此 外，充当像素值的、以摄像装置101为基准的各被摄体的坐标值被存储在构成由距离图像 获得单元105所获得的距离图像数据D的像素D(i，j)中。距离图像数据D的像素D(i，j) 中存储的坐标值被表示为x(i，j)，y(i，j)及z(i，j)。这里，x-轴对应于与摄像装置101 水平的方向，y_轴对应于与摄像装置101垂直的方向，z-轴对应于摄像装置101的光轴方 向。颜色图像数据I与距离图像数据D的各像素相关联。更具体地，与颜色图像数据I的 像素I(i，j)相关联的坐标值被存储在距离图像数据D的像素D(i，j)中。
[0046] 法线估计处理单元302基于从距离图像获得单元105获得的距离图像数据D、通过 估计距离图像数据D中各像素的法向矢量而获得法线图像数据。充当像素值的单位法向矢 量的各要素的值被存储在法线图像数据N的像素N(i，j)中。更具体地，与颜色图像数据I的像素I(i，j)相对应的法向矢量的x、y及z分量的值被存储在像素N(i，j)中，并分别被 表示为Nx(i，j)，Ny(i，j)及Nz(i，j)。
[0047] 被摄体识别单元303从接收到用户输入的选择被摄体的操作的控制单元206中获 得所选择的被摄体位置P0'。然后，被摄体识别单元303基于所选择的被摄体位置P0'而计 算颜色图像数据中的被摄体位置P0。在本示例性实施例中，颜色图像数据被显示在具有触 摸屏功能的显示单元106上，以接收用户所执行的触摸显示画面上的被摄体的操作，从而 被摄体识别单元303获得触摸位置并作为所选择的被摄体位置P0'。在此情况下，所选择的 被摄体位置P0'对应于显示单元106上的像素位置。被摄体识别单元303通过将显示单元 106上的像素位置转换为颜色图像数据中的像素位置而计算被摄体位置P0。
[0048] 指定位置获得单元304从接收用户输入的改变光源位置的操作的控制单元206处 获得照明的指定位置。在本示例性实施例中，颜色图像数据被显示在具有触摸屏功能的显 示单元106上，以接收输入到显示画面中的用户的拖拽操作。指定位置获得单元304根据 用户的拖拽操作而获得包括至少是按压开始位置P1'和按压结束位置P2'的指定位置。
[0049] 照明可移动范围设置单元305从距离图像获得单元105处获得距离图像数据并从 被摄体识别单元303处获得被摄体位置。然后，基于该被摄体位置，照明可移动范围设置单 元305设置用于照明颜色图像数据中的被摄体的虚拟照明的可移动范围。在本示例性实施 例中，如图6中所示，照明在以旋转中心C= (Cx，Cy，Cz)601为中心的椭圆体602上移动。 在此情况下，照明的位置Q= (Qx，Qy，Qz)603遵从以下公式（1)。
[0050]
[0051] 这里，"a"表示x-轴方向上的半径，"b"表示y-轴方向上的半径，"c"表示z-轴 方向上的半径。此外，在围绕z-轴的旋转角为0而围绕x-轴的旋转角为9时，以下述公式 (2) 表示照明的位置Q603。
[0052] Qx= C x-asin 0 cos <})
[0053] Qy= C y+bcos 0
[0054] Qz= C z-csin0sin<}) (2)
[0055] 此外，随着单位矢量从照明的位置Q603朝向旋转中心C601行进，以下述公式 (3) 表示照明的方向U= (Ux，Uy，Uz)604。
[0056]
[0057] 在本示例性实施例中，基于从距离图像数据获得的被摄体位置P0的周边的坐标 值而设置旋转中心C。在公式（2)中，预先设置各a，b及c的值。此外，根据用户的操作， 更新围绕z-轴的旋转角0和围绕x-轴的旋转角9以便改变照明的位置Q和方向U。
[0058] 照明位置获得单元306从例如RAM204中获得表示照明的位置Q的旋转角0和
[0059] 照明位置更新单元307从距离图像获得单元105获得距离图像数据，从照明可移 动范围设置单元305中获得照明的旋转中心C和旋转半径，从照明位置获得单元306中获 得旋转角0和9,并从指定位置获得单元304中获得用户指定的位置。然后，照明位置更新 单元307基于该指定位置更新旋转角0和9。之后，照明位置更新单元307根据公式（2)更 新照明的位置Q，并根据公式（3)更新照明的方向U。
[0060] 光照处理单元308基于距离图像数据、法线图像数据、照明的位置Q以及照明的方 向U、并通过将虚拟光源加到处理目标颜色图像数据中而生成光照校正图像。所生成的光照 校正图像可以被输出并被存储在诸如RAM204或PC/介质213等存储设备中，或被输出并 被显示在显示单元106上。
[0061]〈图像处理单元的处理流程〉
[0062] 图4是例示根据本示例性实施例的摄像装置101的图像处理单元209的操作过程 的流程图。首先，根据本示例性实施例的图像处理单元209通过基于距离图像数据对各像 素的法线进行估计而获得法线图像数据。然后，图像处理单元209基于用户操作和距离图 像数据设置照明参数。此时，基于照明参数而生成的光照校正图像被显示在显示单元106 上，从而用户在核对光照校正图像的变化的同时可以改变照明参数。
[0063] 在本示例性实施例中，可以设置两个照明源。此外，照明参数包括用于表示已启动 的照明、照明的配置状态、照明的开启/关闭状态、照明的颜色及照明的亮度的变量以及用 于控制照明的位置和方向的变量。当表示照明的配置状态的变量SW_L1为开启（ON)时表 示配置有照明，而当变量SW_L1为关闭（OFF)时表示没有配置照明。当表示照明的开启/ 关闭状态的变量SW_L2为开启（ON)时表示照明被开启。而当变量SW_