设备11的信号处理单元53具有例如在图15中所示的配置。在图15中所示的信号 处理单元53包括视线方向计算单元181和注视位置计算单元182。
[0199] 视线方向计算单元181基于从内图像捕获单元22提供的内图像来计算操作图像 处理设备11的用户的视线方向，并且将视线方向提供给注视位置计算单元182。
[0200] 注视位置计算单元182基于从视线方向计算单元181提供的视线方向来获得注视 位置，并且将注视位置提供给控制单元52。控制单元52基于来自注视位置计算单元182的 注视位置来生成控制信息，使得处于外图像的注视位置处的被摄体被聚焦，并且注视位置 处的被摄体的曝光（亮度）和白平衡是适当的。然后，控制单元52基于所生成的控制信息 来控制外图像捕获单元23。
[0201] [拍摄处理的描述4]
[0202] 接下来，将参照图16的流程图来描述当信号处理单元53具有在图15中所示的配 置时进行的拍摄处理。因为步骤SlOl和步骤S102的处理与图4的步骤Sll和步骤S12的 处理是相同的，所以将省略其描述。
[0203] 在步骤S103中，视线方向计算单元181基于从内图像捕获单元22提供的内图像 来计算作为拍摄者的用户的视线方向，并且将视线方向提供给注视位置计算单元182。例 如，视线方向计算单元181通过进行与图12的步骤S73的处理相同的处理来获得用户的视 点位置，并且基于视点位置来获得用户的视线方向。例如，通过根据内图像检测用户的脸和 眼睛的位置来计算视点位置，并且基于视点位置和内图像上的用户的瞳孔的位置来指定视 线方向。
[0204] 在步骤S104中，注视位置计算单元182基于从视线方向单元181提供的视线方向 和视点位置来获得注视位置，并且将注视位置提供给控制单元52。例如，注视位置计算单元 182基于用户的视线方向、用户的视点位置和显示单元21的位置来获得外图像上的注视位 置。
[0205] 在步骤S105中，控制单元52基于从注视位置计算单元182提供的注视位置来生 成用于外图像捕获单元23的焦点调整、亮度调整和白平衡调整的控制信息。
[0206] 例如，基于注视位置，控制单元52生成用于焦点调整、曝光调整和白平衡调整的 控制信息，由此注视位置处的被摄体被聚焦，并且被摄体的亮度和白平衡是最优的。
[0207] 在步骤S106中，控制单元52通过基于控制信息控制外图像捕获单元23来进行焦 点位置、亮度和白平衡的调整。从而，将处于用户的注视位置处的被摄体被聚焦并且被摄体 的亮度和白平衡被适当调整的外图像从外图像捕获单元23提供给信号处理单元53。进一 步地，信号处理单元53将从外图像捕获单元23提供的外图像提供给显示单元21和记录单 元54〇
[0208] 这里，已经描述了外图像捕获单元23进行亮度调整和白平衡调整的示例。然而， 可以由信号处理单元53进行亮度调整或白平衡调整。
[0209] 在步骤S107中，显示单元21显示从信号处理单元53提供的外图像。然后，在步 骤S108中，记录单元54记录从信号处理单元53提供的外图像，然后拍摄处理结束。
[0210] 如上所述，图像处理设备11基于从内图像获得的用户的视线方向来指定用户关 注的外图像的注视位置，并且基于注视位置进行焦点调整或亮度调整。因此，可以获取用户 关注的被摄体被聚焦并且被摄体的亮度或白平衡适当的较高质量外图像。另外，在该情况 下，虽然用户未特别地进行输入操作，但是焦点和亮度也被适当地调整。因此，可以提高方 便性。
[0211] [第四实施例]
[0212] (信号处理单元的配置示例4)
[0213] 以上已经描述了进行外图像的拍摄控制的示例。然而，可以基于内图像和外图像 来进行内图像的拍摄控制。
[0214] 具体地，例如，如图17所示，假设作为拍摄者的用户U21使图像处理设备11的外 图像捕获单元23从房间朝向外面，以拍摄日落风景作为外图像P31，并且拍摄用户U21作为 内图像。然后，假设图像处理设备11将内图像合成在外图像P31上，并且获取作为结果获 得的合成图像作为用户U21想要获取的最终图像。
[0215] 在该情况下，在拍摄时照射被摄体的光的光源在房间的内部和外部不同。即，外图 像P31的白平衡和内图像的白平衡不相同。因此，当简单地将内图像与外图像合成时，例 如，在某些情况下可能获得在内图像上的用户U21和在合成图像P32中的背景之间颜色平 衡不自然的图像。在该示例中，合成图像P32的背景（风景）的颜色是暗的，但是用户U21 的颜色是亮的，因为用户U21是在室内拍摄的。
[0216]因此，图像处理设备11在拍摄外图像P31时初步拍摄内图像，并且获得所获取的 外图像P31和内图像的白平衡值。然后，图像处理设备11使显示单元21发射光，使得内图 像和外图像的色调基于白平衡值是相同的。即，图像处理设备11获得用于使从现在起想要 拍摄的内图像的白平衡适合外图像P31的白平衡的光源颜色，使显示单元21以光源颜色发 射光，并且重新拍摄内图像。然后，图像处理设备11合成已经拍摄的外图像P31和重新拍 摄的内图像，以生成合成图像P33。
[0217] 在重新拍摄内图像时，在显示单元21发射光时，作为被摄体的用户U21被适当的 光照射。因此，在与拍摄外图像P31的情况下的光源相同的光源下拍摄内图像，并且因此， 在所获取的内图像上的用户U21的色调与作为背景的外图像P31的色调相同。即，外图像 P31的白平衡与内图像的平衡是相同的。因此，可以在不对拍摄的图像进行白平衡调整的情 况下获取具有自然色调的合成图像P33。
[0218] 从而，通过基于外图像和内图像的白平衡对内图像进行拍摄控制，外图像的光源 与内图像的光源匹配，并且可以获取具有自然色调的合成图像，即更高质量的合成图像。该 拍摄控制例如在用荧光灯等照亮的内部拍摄太阳下的外部并且合成在内部拍摄的内图像 和在外部拍摄的外图像时特别有效。
[0219] 在进行拍摄控制时，图2中的图像处理设备11的信号处理单元53具有例如在图 18中所示的配置。
[0220] 在图18中所示的信号处理单元53包括白平衡计算单元211、白平衡计算单元 212、光源颜色计算单元213和合成单元214。
[0221] 白平衡计算单元211计算从外图像捕获单元23提供的外图像的白平衡值，并且将 白平衡值提供给光源颜色计算单元213。白平衡计算单元212计算从内图像捕获单元22提 供的内图像的白平衡值，并且将白平衡值提供给光源颜色计算单元213。
[0222] 光源颜色计算单元213基于从白平衡计算单元211和白平衡计算单元212提供的 白平衡值计算用于使内图像的白平衡适合于外图像的白平衡的光源颜色信息，并且将光源 颜色信息提供给控制单元52。控制单元52基于来自光源颜色计算单元213的光源颜色信 息来生成用于使显示单元21发射光的控制信息。
[0223] 合成单元214通过将来自外图像捕获单元23的外图像和来自内图像捕获单元22 的内图像合成来生成合成图像，并且将合成图像提供给记录单元54。
[0224][拍摄处理的描述5]
[0225] 这里，当用户操作操作输入单元51以选择将外图像和内图像合成以生成合成图 像的模式并且给出开始拍摄的指示时，图图像处理设备11开始拍摄处理，并且生成合成图 像。以下，将参照图19的流程图来描述当信号处理单元53具有在图18中所示的配置时进 行的拍摄处理。
[0226] 因为步骤S131和步骤S132的处理与图4的步骤Sll和步骤S12的处理相同，所 以将省略其描述。然而，在步骤S131和步骤S132中，拍摄静止图像作为外图像和内图像。 具体地，在步骤S132中拍摄的内图像被拍摄以生成光源颜色信息，并且不用于与外图像合 成。
[0227] 外图像被从外图像捕获单元23提供给白平衡计算单元211和合成单元214,内图 像被从内图像捕获单元22提供给白平衡计算单元212和合成单元214。
[0228] 在步骤S133中，白平衡计算单元211计算从外图像捕获单元23提供的外图像的 白平衡值，并且将白平衡值提供给光源颜色计算单元213。例如，白平衡计算单元211计算 外图像的R(红色）像素的白平衡值Wrl以及外图像的B(蓝色）像素的白平衡值Wbl。
[0229] 在步骤S134中，白平衡计算单元212计算从内图像捕获单元22提供的内图像的 白平衡值，并且将白平衡值提供给光源颜色计算单元213。例如，白平衡计算单元212计算 内图像的R(红色）像素的白平衡值Wr2以及内图像的B (蓝色）像素的白平衡值Wb2。
[0230] 在步骤S135中，光源颜色计算单元213基于来自白平衡计算单元211的白平衡值 和来自白平衡计算单元212的白平衡值来确定外图像和内图像的光源是否相同。
[0231] 例如，在外图像和内图像的白平衡值相同（即Wrl = Wr2并且Wbl = Wb2)时，光 源颜色计算单元213确定光源是相同的。
[0232] 在步骤S135中，当确定光源不相同（即光源彼此不同）时，处理进行到步骤S136。
[0233] 在步骤S136中，光源颜色计算单元213基于外图像和内图像的白平衡值来生成用 于使内图像的白平衡适合于外图像的白平衡的光源颜色信息，并且将光源颜色信息提供给 控制单元52。
[0234] 例如，光源颜色计算单元213进行下面的式（5)的计算，并且生成在使显示单元21 发射光时指示R、G和B的各自的色调之间的关系的光源颜色信息。即，指示式（5)的关系 的f目息是光源颜色彳目息。
[0235][数学式5]
[0236] R:G:B = Wrl/ffr2:l:ffbl/ffb2- (5)
[0237] 在步骤S137中，控制单元52基于从光源颜色计算单元213提供的光源颜色信息 来生成用于使显示单元21发射具有由光源颜色信息指示的色调的光的控制信息，并且基 于控制信息对显示单元21进行发光控制。即，控制单元52使显示单元21发射具有由式 (5)所指示的色调的光。
[0238] 当进行了步骤S137的处理或者在步骤S135中确定光源相同时，内图像捕获单元 22在步骤S138中拍摄内图像，并且将内图像提供给白平衡计算单元212和合成单元214。
[0239]例如，当在步骤S137中使显示单元21发射光时，作为被摄体的用户被通过光照被 在室内荧光灯下的光源等的光和来自显示单元21的光照射，并且因此，在与外图像的光源 相同的光源下拍摄内图像。即，在步骤S138的拍摄中，可以获取具有与在步骤S131中获取 的外图像的白平衡相同的白平衡的内图像。
[0240] 例如，当在步骤S135中确定光源相同时，显示单元21不发射光。然而，在该情况 下，虽然不特别地使显示单元21发射光，但是外图像和内图像在相同的光源下拍摄。即，在 步骤S138中拍摄的内图像的白平衡与在步骤S131中拍摄的外图像的白平衡是相同的。
[0241] 在步骤S139中，合成单元214通过将从外图像捕获单元23提供的外图像和从内 图像捕获单元22提供的内图像合成来生成合成图像，并且将合成图像提供给记录单元54。 这里，将在步骤S131中获取的外图像和在步骤S138中获取的内图像合成，使得生成合成图 像。
[0242] 当外图像和内图像的光源相同时，可以不执行步骤S138的处理，并且可以将在步 骤S131中获取的外图像和在步骤S132中获取的内图像合成。
[0243] 在步骤S140中，记录单元54记录从合成单元214提供的合成图像，然后拍摄处理 结束。
[0244] 如上所述，图像处理设备11基于外图像和内图像的白平衡值使显示单元21发射 光，使得外图像的白平衡与内图像的白平衡是相同的。然后，图像处理设备11重新拍摄内 图像，并且通过将所获取的内图像和外图像合成来生成合成图像。
[0245] 因此，通过使显示单元21发射具有适当的色调的光并且使内图像的白平衡适合 于外图像的白平衡，可以获取具有更自然的色调的合成图像。即，可以获取更高质量的合成 图像。
[0246] 在图像处理设备11中，通过使安装在与拍摄内图像的内图像捕获单元22的相同 表面上的显示单元21发射具有适当颜色的光（显示具有适当颜色的图像），外图像的白平 衡可以与内图像的白平衡相同。即，可以实际使外图像和内图像的光源相同。因此，即使在 外图像和内图像的光源彼此不同时，也可以获取在相同光源下拍摄的图像，并且因此可以 获取具有更自然的色调的合成图像。
[0247][第五实施例]
[0248](图像处理设备的外观配置示例）
[0249] 如上所述，已经描述了仅在图像处理设备11的前表面侧安装显示单元21的示例， 如图1所示。然而，显示单元可以安装在图像处理设备的前表面和后表面这两者上。
[0250] 例如，在该情况下，如图20所示地配置图像处理设备的外观。在图20中，对与图 1中所示的构成元件相对应的构成元件给出相同的标号，并且将适当地省