信息处理装置、信息处理系统、信息处理方法和程序与流程

本技术涉及一种信息处理装置、一种信息处理系统和一种信息处理方法，其具有处理由相机拾取的用户的面部图像的功能。

背景技术：

对便携式终端(诸如移动电话和智能手机)玩乐方式的实例包括拍摄自拍照。具体来说，许多便携式终端包括安装在上面的相机，并且能够在显示器的屏幕上实时显示由相机拾取的图像。因此，用户可以容易地拍摄具有所需的表情的他/她的面部的图像，同时用显示器的屏幕检查他/她的面部。

相机通常位于远离显示器屏幕位置的位置。因此，在观看显示器的屏幕时，用户拍摄的用户的面部图像中的用户的视线略微移位。

通过校正来修改作为对象的用户的视线位移的技术是已知的(例如，参见专利文献2)。在专利文献2中所公开的这个技术中，基于从所配准的看相机的图像计算的用户的黑眼睛的中心与通过修改由照相手机中的上部相机和下部相机拾取的用户的面部图像中面部的显示位置所获得的图像中的黑眼睛的中心之间的位移量，计算视线位移量。基于视线位移量，生成其中视线被修改使得用户看相机的图像。

专利文献1：日本专利申请公开号2012-114557(段落[0051])

技术实现要素：

要解决的问题

在并入便携式终端(诸如智能手机)中的相机用于拍摄某人自己的面部图像的情况下，倾向于拍摄视线在类似的方向上移位到相同的程度的面部图像。一些用户试图拍摄具有各种表情的图像以便进行最好的拍摄。然而，仍不足以令人满意的拍摄大体上看相机的自拍照，例如，由于上述限制，图像可以被拍摄的看相机的面部的表情变化是有限的。

鉴于如上所述的情况，本技术的目的是提供一种信息处理装置、一种信息处理系统、一种信息处理方法和一种程序，其能够令人满意的拍摄大体上看相机的自拍照。

解决问题的手段

为了解决上述问题，根据本技术的第一实施方案的信息处理装置包括控制单元，其基于包括人的面部的两个图像确定两个图像中的每个面部是否是同一个人的面部，从不同位置拾取两个图像，并且在两个图像中的每个面部是同一个人的面部时，基于两个图像中的一个的眼睛部分的图像生成通过修改两个图像中的另一个的眼睛部分的图像所获得的视线校正图像。

在根据第一实施方案的信息处理装置中，控制单元可以被配置成获取包括作为对象的用户的面部的两个图像，第一成像单元和第二成像单元从用户的面部的垂直方向上的不同位置拾取两个图像。

在根据第一实施方案的信息处理装置中，控制单元可以被配置成在生成视线校正图像的模式中确定布置第一成像单元和第二成像单元的方向是否相对于作为对象的用户的面部的水平和垂直定向是正确的，并且在方向错误时输出警报。

在根据第一实施方案的信息处理装置中，控制单元可以被配置成输出用于引导对第一成像单元和第二成像单元排列的方向进行校正的信息作为警报。

在根据第一实施方案的信息处理装置中，第一成像单元可以是在作为对象的用户的面部的垂直方向上的上部成像单元，并且第二成像单元可以是在作为对象的用户的面部的垂直方向上的下部成像单元，并且

由第一成像单元拾取的图像的图像质量可能高于由第二成像单元拾取的图像的图像质量。

在根据第一实施方案的信息处理装置中，控制单元可以被配置成确定在作为对象的用户的面部的垂直方向上第一成像单元与第二成像单元之间的垂直位置关系是否在生成视线校正图像的模式中是正确的，并且在垂直位置关系错误时输出警报。

在根据第一实施方案的信息处理装置中，控制单元可以被配置成输出用于引导对第一成像单元与第二成像单元之间的垂直位置关系进行校正的信息作为警报。

在根据第一实施方案的信息处理装置中，第一成像单元可以并入信息处理装置中，并且第二成像单元可以是可拆卸地安装在信息处理装置上的单独的成像单元。

在根据第一实施方案的信息处理装置中，控制单元可以被配置成编辑生成的视线校正图像。

根据本技术的第二实施方案的信息处理装置包括成像单元，其从不同位置拾取人的面部的图像；以及控制单元，其基于包括用户的面部的两个图像确定两个图像中的每个面部是否是同一个人的面部，由成像单元拾取两个图像，并且在两个图像中的每个面部是同一个人的面部时，基于两个图像中的一个的眼睛部分的图像生成通过修改两个图像中的另一个的眼睛部分的图像所获得的视线校正图像。

根据本技术的第三实施方案的信息处理方法包括通过控制单元，基于包括用户的面部的两个图像确定两个图像中的每个面部是否是同一个人的面部，由成像单元拾取两个图像，并且在两个图像中的每个面部是同一个人的面部时，基于两个图像中的一个的眼睛部分的图像生成通过修改两个图像中的另一个的眼睛部分的图像所获得的视线校正图像。

根据本技术的第四实施方案的信息处理系统包括控制单元，其基于包括人的面部的两个图像确定两个图像中的每个面部是否是同一个人的面部，从不同位置拾取两个图像，并且在两个图像中的每个面部是同一个人的面部时，基于两个图像中的一个的眼睛部分的图像生成通过修改两个图像中的另一个的眼睛部分的图像所获得的视线校正图像。

根据本技术的第五实施方案的程序使计算机充当控制单元，其基于包括人的面部的两个图像确定两个图像中的每个面部是否是同一个人的面部，从不同位置拾取两个图像，并且在两个图像中的每个面部是同一个人的面部时，基于两个图像中的一个的眼睛部分的图像生成通过修改两个图像中的另一个的眼睛部分的图像所获得的视线校正图像。

效果

如上所述，根据本技术，可能令人满意的拍摄大体上看相机的自拍照。

应注意，这个效果并不局限于作为本技术的效果，并且本技术的效果可以是本公开中所描述的任何效果。

附图说明

[图1]是示出根据本技术的第一实施方案的面部图像处理系统的整体配置的图解。

[图2]是示出基于图像获取合成图像的操作的图解，其中从由图1中所示的面部图像处理系统中的两个相机装置10和20拾取的用户U的面部图像对所述合成图像执行视线校正。

[图3]是示出基于图像获取合成图像的另一操作的图解，其中从由图1中所示的面部图像处理系统中的两个相机装置10和20拾取的用户U的面部图像对所述合成图像执行视线校正。

[图4]是示出根据本技术的第二实施方案的面部图像处理系统1A的配置的透视图。

[图5]是示出外部相机10A附接到图4中所示的面部图像处理系统1A中的便携式终端40A的状态的透视图。

[图6]是示出便携式终端40A的硬件配置的方框图。

[图7]是示出外部相机10A的外观的透视图。

[图8]是示出图7中所示的外部相机10A拾取图像的状态的透视图。

[图9]是示出图7中所示的外部相机10A的硬件配置的方框图。

[图10]是示出其中用户U通过使用图4中所示的面部图像处理系统1A拍摄他/她的面部的图像的第一实施方案的图解。

[图11]是示出其中用户U通过使用图4中所示的面部图像处理系统1A拍摄他/她的面部的图像的第二实施方案的图解。

[图12]是示出用于视线校正的图像合成失败的实例的图解。

[图13]是示出用于视线校正的图像合成失败的另一实例的图解。

[图14]是示出用于视线校正的图像合成失败的又一实例的图解。

[图15]是示出由于便携式终端40A的水平姿态而导致用于视线校正的图像合成失败的实例的图解。

[图16]是示出由于颠倒的便携式终端40A而导致用于视线校正的图像合成失败的实例的图解。

[图17]是与根据第二实施方案的便携式终端40A执行的条件确定和警报功能有关的流程图。

[图18]是示出在布置两个相机装置的方向是错误的情况下警报的实例的图解。

[图19]是示出在布置两个相机装置的方向是错误的情况下警报的另一实例的图解。

[图20]是示出在两个相机装置之间的垂直位置关系是错误的情况下警报的实例的图解。

[图21]是示出在两个相机装置之间的垂直位置关系是错误的情况下警报的另一实例的图解。

[图22]是描述使用四个相机的修改实例的图解。

具体实施方式

在下文中，将参照附图描述本技术的实施方案。

<第一实施方案>

[面部图像处理系统的整体配置]

图1是示出根据本技术的第一实施方案的面部图像处理系统的整体配置的图解。

该面部图像处理系统1包括两个相机装置10和20(成像单元)；视线目标对象30，其充当用户U在拍摄图像时看的目标；以及信息处理装置40。

视线目标对象30可以，更具体来说，是例如显示器的屏幕，其显示由两个相机装置10和20中的至少一个拾取的用户U的面部图像。应注意，视线目标对象30不一定需要是显示器的屏幕。视线目标对象30可以是例如镜子。或者，视线目标对象30可以是具有某种标志的对象，所述标志引导用户U的视线E。应注意，在本技术的配置中，视线目标对象30不是必需的。

两个相机装置10和20被布置成使得可以从用户U的面部的垂直方向上不同的两个位置拾取用户U的面部图像。具体来说，两个相机装置10和20被布置成使得相机装置10从垂直方向上的相对较高的位置拾取用户U的面部图像，而相机装置20从垂直方向上的相对较低的位置拾取用户U的面部图像。更具体来说，例如，两个相机装置10和20被布置成使得可以从用户U的视线E的高度位置略向上移位的高度位置和从用户U的视线E的高度位置略向下移位的高度位置，拾取其中视线E对应于视线目标对象30的用户U的面部图像。在用户U的视线E的方向就在前方的情况下，当相机装置10从比视线E的位置略高的位置拾取用户U的面部图像时，拾取的图像中的用户U的整个面部略微向下看(包括视线E)。另一方面，当相机装置20从比视线E的位置略低的位置拾取用户U的面部图像时，拾取的图像中的用户U的整个面部略微向上看(包括视线E)。

在下面的描述中，在本说明书中，从比视线E的位置略高的位置拾取用户U的面部图像的相机装置10被称为“上部相机装置10”，而从比视线E的位置略低的位置拾取用户U的面部图像的相机装置20被称为“下部相机装置20”。

相机装置10和20各自包括成像透镜、图像传感器、显影图像传感器的输出的显影处理单元，以及控制器。相机装置10和20各自可以是作为成像单元安装在信息处理装置40的外壳41(参见图4)上的相机。或者，相机装置10和20中的一个可以是并入信息处理装置40中的相机，并且另一个可以是可附接到信息处理装置40/从信息处理装置40可拆卸的相机，或独立于信息处理装置布置的相机。或者，相机装置10和20各自可以是独立于信息处理装置40放置的相机。

将在第二实施方案中描述相机装置10和20的更具体的配置。

信息处理装置40包括用于通过有线或无线方式与两个相机装置10和20进行通信的通信接口、CPU(中央处理单元)、内存、存储器、用于用户的输入单元等。信息处理装置40的CPU控制经由通信接口连接的两个相机装置，并且执行例如由两个相机装置10和20拾取的两个图像的合成处理。

应注意，具体来说，信息处理装置40可以是例如通过网络连接到两个相机装置10和20的智能手机、个人计算机或服务器装置。

将在第二实施方案中描述信息处理装置40的更具体的配置。

[通过图像合成的视线校正]

上述面部图像处理系统1中的信息处理装置40能够执行视线校正作为一个图像合成处理。

视线校正如下。

这里，将描述在智能手机被用作信息处理装置40的情况下的视线校正。例如，当用户用并入智能手机中的相机拍摄他/她的面部图像时，用户在任意的时间操作快门按钮，同时检查在充当视线目标对象的显示器的屏幕上实时显示的他/她的面部。因此，此时，拾取的(显示的)图像被切割为静止图像，并且存储在存储器等中。在许多智能手机中，相机被布置在远离显示器的屏幕被布置在外壳的前表面上所处的位置的位置，例如，比从用户观看时显示器的屏幕的位置高的位置。因此，当用户拍摄他/她的面部图像时，他/她的面部的拾取的图像中的整个面部略微向下看(包括视线的方向)。

一般来说，据说略微向上看的人看起来积极并且人的眼睛看起来令人印象深刻。当相机被布置在比从用户观看时显示器的屏幕的位置低的位置时，可以拾取视线朝上的用户的面部图像。然而，在这种情况下，因为获得整个面部略微向上看的图像，所以向上的视线不太可能突出。

应注意，根据用户的各种需求，可能需要拾取视线朝下的用户的面部图像而不是视线朝上的用户的面部图像。也在这种情况下，仅通过用被布置在比从用户观看时显示器的屏幕的位置略高的位置的相机拾取用户的面部图像，获得整个面部略微向下看的图像，并且向下的视线并不突出。

如上所述，在用户用被布置在比观看视线目标对象30时视线目标对象30的位置高或低的位置的相机拍摄用户的面部图像的环境中，仍不足以令人满意的拍摄大体上看相机的自拍照，例如，图像可以被拍摄的看相机的面部的表情变化是有限的，这是因为倾向于拍摄视线在类似的方向上移位到相同的程度的面部图像。

根据本技术的第一实施方案的面部图像处理系统1意图解决这些问题。应注意，本技术要解决的问题不限于此。

[在面部图像处理系统中执行的视线校正]

接着，将描述在根据本实施方案的面部图像处理系统1中执行的视线校正操作的概述。

(1)信息处理装置40的CPU(控制单元)根据存储在存储器中的应用程序执行控制如下。

在图1中，首先，信息处理装置40的CPU使两个相机装置10和20开始成像。在两个相机装置10和20中，上部相机装置10被放置成使得从比视线E的位置略高的位置拾取用户U的面部图像，并且下部相机装置20被放置成使得从比视线E的位置略低的位置拾取用户U的面部图像。

(2)假设在拍摄图像时用户U的视线E对应于被布置在两个相机装置10和20之间的视线目标对象30，例如，显示器的屏幕。在显示器的屏幕上，例如，由上部相机装置10或下部相机装置20拾取的他/她的面部图像被显示为运动图像。或者，可以同时显示由两个相机装置10和20拾取的运动图像。

(3)用户U操作信息处理装置40的输入单元以在任意的时间输入捕获静止图像的指令，同时经由显示器的屏幕检查他/她的面部的运动图像。

(4)当从用户U接收捕获静止图像的指令时，信息处理装置40的CPU将用于指示捕获静止图像的控制命令提供给两个相机装置10和20。

(5)两个相机装置各自响应于这个控制命令从用户U的面部的运动图像切割静止图像，并且将其传输到信息处理装置40。

图2是示出基于图像获取合成图像的操作的图解，其中从由两个相机装置10和20拾取的用户U的面部图像对所述合成图像执行视线校正。

参考符号101表示由上部相机装置10拾取的面部图像(静止图像)，并且参考符号201表示由下部相机装置20拾取的面部图像(静止图像)。由上部相机装置10拾取的面部图像101中的用户U的面部略微向下看(包括视线)，并且由下部相机装置20拾取的面部图像201中的用户的面部略微向上看(包括视线)。

(6)信息处理装置40的CPU分别从由两个相机装置10和20拾取的面部图像101和201检测眼睛部分102和202的图像。这里，通过例如使用通过用统计学习方法分析许多人的面部图像所获取的眼睛部分的图像的特征数据，检测面部图像中的眼睛部分102和202的图像。

应注意，在信息处理装置40的CPU由于焦点位移等而未能检测到眼睛部分的图像的情况下，CPU用显示、声音等向用户U通知错误。

(7)信息处理装置40的CPU切割在由下部相机装置20拾取的面部图像201中检测的眼睛部分202的图像作为视线校正图像203。这里，视线校正图像203是例如包括两只眼睛的矩形范围的图像。

(8)信息处理装置40的CPU生成视线校正图像，其是通过用视线校正图像203来代替在由上部相机装置10拾取的面部图像101中检测的眼睛部分102的图像来获得的。具体来说，为每个像素添加从由下部相机装置20拾取的面部图像201切割的视线校正图像203，以及在由上部相机装置10拾取的面部图像中检测的眼睛部分102的图像以外的图像103。此时，信息处理装置40的CPU可以对图像的接合部分执行合成处理(诸如α混合)以使接合部分不那么突出。

(9)以这种方式，获取合成图像104，其是通过用由下部相机装置20拾取的略微向上看的用户U的面部图像的眼睛部分的图像203来代替由上部相机装置10拾取的略微向下看的用户U的面部图像的眼睛部分102的图像来获得的。在本说明书中，这种图像合成必要时被称为“向上的视线校正”。

或者，可能执行下面的视线校正。

如图3中所示，

(7A)信息处理装置40的CPU切割在由上部相机装置10拾取的面部图像101中检测的眼睛部分102的图像作为视线校正图像105。

(8A)信息处理装置40的CPU执行图像合成，其中用视线校正图像105来代替在由下部相机装置20拾取的面部图像201中检测的眼睛部分202的图像。具体来说，为每个像素添加从由上部相机装置10拾取的面部图像101切割的视线校正图像105，以及在由下部相机装置20拾取的面部图像中检测的眼睛部分202的图像以外的图像205。

(9A)以这种方式，获取合成图像206，其是通过用由上部相机装置10拾取的略微向下看的用户U的面部图像的眼睛部分的图像105来代替由下部相机装置20拾取的略微向上看的用户U的面部图像的眼睛部分102的图像来获得的。在本说明书中，这种图像合成必要时被称为“向下的视线校正”。

[关于两个相机装置10和20的规格]

在两个相机装置10和20的规格不同的情况下，所述规格会影响图像质量的程度，拾取在合成图像中比其他图像占有更大范围的图像的相机装置的规格需要高出其他相机装置的规格。这里，影响图像质量的程度的规格的实例包括图像传感器的大小和镜头特性。毫无疑问，影响图像质量的程度的规格不限于此。

例如，在上述向上的视线校正中，除了由上部相机装置10拾取的面部图像101中的眼睛部分以外的图像103用于合成。因此，上部相机装置10的规格需要高出下部相机装置20的规格，以提高整体图像质量。

另一方面，在向下的视线校正中，除了由下部相机装置20拾取的面部图像201中的眼睛部分以外的图像205用于合成。因此，下部相机装置20的规格需要高出上部相机装置10的规格，以提高整体图像质量。

[由两个相机装置10和20拾取的面部图像的图像色调的调整]

在两个相机装置10和20的成像参数值不同的情况下，所述成像参数值会影响图像色调并且在拍摄图像时被使用，诸如曝光、白平衡、色彩、对比度和锐度，图像色调在眼睛区域与其他区域之间不自然的不同，并且可以一眼就认出所得的图像是合成图像。

在根据本实施方案的面部图像处理系统1中，信息处理装置40的CPU将在图像拾取之前两个相机装置10和20的成像参数值进行相互比较，并且当成像参数值之间的差异使图像的图像色调不同时，通过信号处理来匹配由至少一个相机装置拾取的图像的图像色调与由另一个相机装置拾取的图像的图像色调。

例如，当有曝光值之间的差异时，信息处理装置40的CPU执行信号处理，使得由一个相机装置拾取的图像的亮度值在相机装置中设置的曝光值之间的差异的量上增加/减少。类似地，也在有白平衡、色彩、对比度、锐度等的值之间的差异的情况下，通过对一个图像执行信号处理来减少图像色调的差异。

因此，可能尽可能多地匹配由两个相机装置10和20拾取的图像之间的图像色调，并且抑制合成面部图像中的眼睛区域与其他区域之间的图像色调的不自然的差异。

用户可以唯一确定或适当指定匹配于由上部和下部相机装置拾取的图像的哪个图像色调。

应注意，为了减少对信号处理的总负担，不需要对从相机装置获取的整个面部图像执行信号处理，而是只对要合成的图像执行信号处理。

尽管这里已描述通过信号处理来匹配两个图像之间的图像色调的方法，但是有可能使在相机装置中设置的成像参数值相互匹配，以尽可能多地匹配由两个相机装置10和20拾取的面部图像之间的图像色调。

具体来说，当信息处理装置40的CPU将在拍摄图像之前两个相机装置10和20的成像参数值进行相互比较，并且成像参数值之间的差异使图像的图像色调不同时，通过将至少一个相机装置的成像参数值改变为另一个的成像参数值，来实现这种方法。或者，两个相机装置10和20的成像参数值可以与其中间值相匹配。

如上所述，在本实施方案的面部图像处理系统1中，可能获取合成图像104，其是通过用由下部相机装置20拾取的略微向上看的用户U的面部图像的眼睛部分的图像203来代替由上部相机装置10拾取的略微向下看的用户U的面部图像的眼睛部分102的图像来获得的。因为在这种面部图像中只有眼睛部分的定向是略微向上，而整个面部的定向是略微向下，所以向上的视线与整个面部略微向上看的图像相比显得突出，并且可能获取令人印象深刻的面部图像。

此外，在根据本实施方案的面部图像处理系统1中，可能获取合成图像206，其是通过用由上部相机装置10拾取的略微向下看的用户U的面部图像的眼睛部分的图像105来代替由下部相机装置20拾取的略微向上看的用户U的面部图像的眼睛部分102的图像来获得的。因为在这种面部图像中只有眼睛部分的定向是略微向下，而整个面部的定向是略微向上，所以向下的视线与整个面部略微向下看的图像相比显得突出，并且可能获取独特的面部图像。

<第二实施方案>

接着，将描述根据本技术的第二实施方案的面部图像处理系统1A的配置。

图4和图5各自是示出面部图像处理系统1A的透视图，面部图像处理系统1A包括充当便携式信息处理装置的便携式终端40A，其具备并入的相机20A和可拆卸地安装在便携式终端40A上的相机10A。在本说明书中，可拆卸地安装在便携式终端40A上的相机10A被称为“外部相机10A”。并入的相机20A和外部相机10A配置成像单元。

应注意，图4示出在外部相机10A安装在便携式终端40A上之前的状态，并且图5示出外部相机10A已安装在便携式终端40A上的状态。

这里，外部相机10A被用作上述上部相机装置10，并且并入的相机20A被用作上述下部相机装置20。

[便携式终端40A的配置]

如图4和图5中所示，便携式终端40A包括外壳41，其具有可以在用户的一只手上握持的尺寸和形状。外壳41具有板状的长方体形状，其包括前表面、后表面和四个侧表面。在外壳41的前表面42上布置显示器43的屏幕，其包括例如液晶面板或有机EL面板。在显示器43的屏幕上布置透明的触摸传感器面板(插图省略)。触摸传感器面板包括例如静电电容式触摸传感器面板。触摸传感器面板生成对应于由用户触摸的位置的信号，从这个信号生成坐标信息，并且将坐标信息提供给CPU。

如上所述，便携式终端40A具有在其中的相机20A。在下文中，相机20A将在本说明书中被称为“并入的相机20A”。

在外壳41的前表面42中，提供用于在并入的相机20A的成像透镜(未示出)中吸收光的透光单元44。通过图像传感器(诸如CMOS(互补金属氧化物半导体)和CCD(电荷耦合设备))将通过并入的相机20A的成像透镜吸收的光转换成电信号。通过A/D转换器将这个电信号转换成每个像素的数字数据，从而获得原始数据。信号处理电路根据设置参数来调整原始数据中的曝光、白平衡等，并且通过显影处理生成图像数据。

由并入的相机20A以这种方式获取的图像数据被用作由便携式终端40A中的CPU和显示控制电路显示的数据，所述数据被提供给显示器，并且作为运动图像或静止图像被显示在显示器43的屏幕上。CPU在由用户指示的定时将图像数据作为静止图像存储在存储器、介质等中。此时，图像数据可以被转换成特定的图像格式，诸如JPEG(联合图像专家小组)。

接着，将描述便携式终端40A的具体硬件配置。

图6是示出便携式终端40A的硬件配置的方框图。便携式终端40A的硬件配置类似于根据第一实施方案的上述信息处理装置40的硬件配置。

如图6中所示，便携式终端40A包括CPU(控制单元)401、主存储器402、存储器403、并入的相机(下部相机装置)20A、显示器404、触摸传感器面板405、显示控制单元406、触摸传感器控制单元407、姿态传感器408、无线通信单元409和系统总线410。

CPU 401是控制器，其控制便携式终端40A的各自的单元，并且执行算术处理以通过使用作为工作空间的主存储器402来执行应用程序。

主存储器402包括RAM(随机存取存储器)等。在主存储器402中，存储操作系统、对这个操作系统执行的应用程序、操作这个应用程序所需的各种数据。

存储器403包括例如非易失性存储器，诸如闪速存储器。在存储器403中，存储由主存储器402调用的操作系统、各种应用程序，以及各种数据的文件(诸如图像、音频和文档)。

如上所述，并入的相机20A是并入便携式终端40A中的相机。CPU 401根据相机的应用程序来控制并入的相机20A。根据相机的应用程序，例如，CPU 401激活并入的相机20A、设置各种成像条件(诸如成像参数和分辨率)、控制显影处理，并且执行控制以通过将显影的图像数据提供给显示控制单元406来在显示器404上显示运动图像或静止图像。此外，根据相机的应用程序，CPU 401使用由并入的相机20A拾取的图像和由外部相机10A拾取的图像来执行用于视线校正的图像合成。

显示器404包括例如液晶面板或有机EL(电致发光)面板，并且显示便携式终端40A的各种操作屏幕、图像(诸如静止图像和运动图像)，以及其他各种文档文件的内容等。

显示控制单元406生成关于上述各种信息的对应于显示器404的规格的显示的数据。

如上所述，触摸传感器面板405是检测由用户在显示器404的屏幕上选择的位置的坐标的设备。

触摸传感器控制单元407控制触摸传感器面板405、生成对应于检测位置的坐标数据，并且将坐标数据提供给CPU 401。

如上所述，姿态传感器408是用于检测便携式终端40A的姿态的传感器。姿态传感器408包括例如检测三轴方向上的加速度的加速度传感器，或检测角速度的陀螺仪传感器。

无线通信单元409是经由无线LAN(局域网)(诸如WiFi(注册商标))或近场通信(诸如NFC(近场通信)和蓝牙(注册商标))在无线通信单元409与外部装置(例如，下部相机装置20)之间执行通信的接口。

系统总线410是用于在上述块之间交换各种信号的传输路径。

在上文中，已描述便携式终端40A的主要硬件配置。然而，作为其他配置，例如，WWAN(无线广域网)通信单元、扬声器、麦克风、存储卡读/写器、电池、电池的控制电路、GPS(全球定位系统)接收单元和地面数字电视接收单元可以被安装。

[外部相机10A的配置]

图7和图8各自是示出外部相机10A的外观的透视图。

这个外部相机10A包括相机主体11和适配器12。适配器12可附接到相机主体11和外部装置(例如，便携式终端40A)/从相机主体11和外部装置(例如，便携式终端40A)可拆卸。应注意，相机主体11和适配器12可以被集成。

相机主体11包括例如具有圆柱形的外部圆柱部分13。在外部圆柱部分13中，成像透镜、图像传感器、用于信号处理和图像处理的电路、用于控制的电路(诸如控制器和存储器)、电源单元、用于存储图像数据的存储器、无线通信电路等被放置。

在外部圆柱部分13的前表面的端部上，支撑能够在前后方向上移动的内部圆柱部分14。如图8中所示，内部圆柱部分14被带到外部圆柱部分13的前面，由此使外部相机10A处于成像状态。被带到前面的内部圆柱部分14被带到后面并且被外部圆柱部分13接收，由此使外部相机10A处于回缩状态(图7)。

在内部圆柱部分14的前表面上，形成具有大体上矩形形状的透光孔15。在内部圆柱部分8的前表面的背面侧，可打开地支撑镜头挡板9、9。镜头挡板9、9在回缩状态通过开/关机构(未示出)关闭，并且在成像状态打开。因此，内部圆柱部分8的透光孔15被在回缩状态的镜头挡板9、9阻挡(参见图7)，并且透光孔15由在成像状态的镜头挡板9、9打开(参见图8)。

用于成像的多个透镜组被布置成在相机主体11中在光轴方向上彼此间隔开，并且当透光孔15由镜头挡板9、9打开时，光从外部进入用于成像的透镜组。穿过用于成像的透镜组的光进入图像传感器，并且转换成每个像素的电信号。通过A/D转换器将每个像素的电信号转换成数字信号，从而通过显影处理获得图像数据。

在外部圆柱部分7的前端部分的外围表面上，可旋转地支撑操作环16。通过操作环16的转动操作，执行手动对焦或变焦，并且使透镜组移向光轴方向。

在外部圆柱部分7的外周面上，提供快门按钮17、变焦开关18和另一操作按钮/开关。

适配器12包括锁定到外部装置(例如，便携式终端40A)的一对锁定部分19、19。这对锁定部分19、19能够相对于适配器12扩展和收缩，并且可以在任意的扩展/收缩位置被锁定。

由于这对锁定部分19、19能够相对于适配器12扩展和收缩，故可能将这个外部相机10A安装在具有各种形状和尺寸的外部装置的各个部分上。

[外部相机10A的硬件配置]

图9是示出外部相机10A的硬件配置的方框图。

如图9中所示，这个外部相机10A包括控制器501、操作输入单元502、成像单元503、信号处理单元504、机构驱动单元505、电源单元506、存储器507、无线通信单元508和系统总线509。

控制器501控制外部相机10A的各自的单元。控制器501包括CPU和存储器。存储器包括用作主存储器402的RAM，和存储用于打开/关闭电源、开始成像、捕获静止图像、控制与外部装置(例如，便携式终端40A)通信等的程序的ROM。

当通过使用无线通信单元508检测位于短距离的外部装置(例如，便携式终端40A)时，例如，控制器501将电源控制信号输出到电源单元506，并且使电源单元506开始将电源提供给外部相机10A的各自的单元。此外，当外部相机10A的各自的单元的电源开启，并且未检测到位于短距离的外部装置(例如，便携式终端40A)时，控制器501将电源控制信号提供给电源单元506以关闭各自的单元的电源。因此，控制器501的状态返回到装置检测状态。

控制器501从通过使用无线通信单元508连接的外部装置(例如，便携式终端40A)接收各种命令，并且执行对应于命令的处理。来自外部装置(例如，便携式终端40A)的指令的实例包括用于开始成像、从拾取的运动图像切割静止图像并且无线传输到例如便携式终端40A、放大/缩小等的指令。

操作输入单元502从用户接收操作输入，并且将操作信号输出到控制器501。

成像单元503包括成像透镜、图像传感器，诸如CCD(电荷耦合设备)和CMOS(互补金属氧化物半导体)等。

信号处理单元504对A/D转换器执行曝光调整、白平衡等和显影处理等，所述A/D转换器将成像单元503的输出转换成数字信号和原始数据作为A/D转换器的输出。信号处理单元504必要时执行减噪、色调校正、边缘检测等。

存储器507用于存储拾取的图像数据的文件。存储器507包括例如闪速存储器。

机构驱动单元505是驱动机构的电路，所述机构包括例如朝向光轴方向驱动透镜组进行聚焦调整和变焦变化的机构、使内部圆柱部分14扩展和收缩的机构和打开/关闭镜头挡板9、9的机构。

电源单元506从电池生成用于操作电池和外部相机10A的各自的单元所需的电力，并且将电力提供给各自的单元。

无线通信单元508是经由无线LAN(局域网)(诸如WiFi(注册商标))或近场通信(诸如NFC(近场通信)和蓝牙(注册商标))在无线通信单元508与外部装置(例如，便携式终端40A)之间执行通信的接口。

另外，相机装置可以包括显示器、扬声器、GPS接收单元、姿态传感器、介质读/写器等。

接着，将描述在被使用时便携式终端40A的姿态。

便携式终端40A的外壳41的形状是长方体，并且在一个轴(Z轴)方向上的尺寸特别小，由此使外壳41具有薄长方体。包括其他两个轴(XY轴)方向的二维空间相对较大以用于在上面布置显示器43的屏幕。在X轴方向上外壳41的尺寸Lx与在Y轴方向上外壳41的尺寸Ly之间，建立下面的关系：Lx<Ly。此外，在X轴方向上显示器43的屏幕的尺寸Dx与在Y轴方向上显示器43的屏幕的尺寸Dy之间，建立下面的关系：Dx<Dy。

在下面的描述中，从用户观看时在作为垂直方向的Y轴方向上的便携式终端40A的姿态被称为“垂直姿态”，并且从用户观看时在作为垂直方向的X轴方向上的便携式终端40A的姿态被称为“水平姿态”。此外，垂直姿态包括从用户观看时并入的相机20A的位置比显示器43的屏幕的位置高的姿态(第一垂直姿态)，以及从用户观看时并入的相机20A的位置比显示器43的屏幕的位置低的姿态(第二垂直姿态)。类似地，水平姿态包括从用户观看时并入的相机20A的位置在显示器43的屏幕的右侧的姿态(第一水平姿态)，以及从用户观看时并入的相机20A的位置在显示器43的屏幕的左侧的姿态(第二水平姿态)。

便携式终端40A的上述姿态是通过并入的加速度传感器、并入的陀螺仪传感器等来检测，并且显示数据的定向旋转成使得例如从用户观看时的水平和垂直定向与显示在显示器43的屏幕上的图像的水平和垂直定向匹配。

[面部图像处理系统1A的操作]

通过经由适配器12将外部相机10A安装在便携式终端40A上，便携式终端40A和外部相机10A例如通过其间的短距离无线通信检测彼此。

当检测到便携式终端40A时，外部相机10A的控制器501指示电源单元506将电力提供给外部相机10A的各自的单元。因此，相机单元处于可以拾取图像的状态，并且等待便携式终端40A的命令。

另一方面，当检测到外部相机10A时，便携式终端40A的CPU 401激活相机的应用程序。根据相机的应用程序，便携式终端40A的CPU 401激活并入的相机20A并且控制并入的相机20A开始成像。另外，便携式终端40A的CPU 401通过无线通信指示外部相机10A开始成像。因此，并入的相机20A和外部相机10A开始成像。

当激活并入的相机20A时，将由并入的相机20A拾取的图像作为运动图像显示在便携式终端40A的显示器404的屏幕43上。

用户确定便携式终端40A的位置和定向，使得在观看显示器404的屏幕43以拍摄他/她的面部的图像时，他/她的面部在便携式终端40A的并入的相机20A的视场内。当用户操作并入的相机20A的快门按钮时，便携式终端40A的CPU 401在主存储器402中存储此时拾取的图像(静止图像)作为用于视线校正的第一面部图像。

另外，便携式终端40A的CPU 401请求外部相机10A从拾取的运动图像切割静止图像并且通过无线通信传输静止图像。当接收到请求时，控制器501从拾取的运动图像切割静止图像并且通过无线通信将静止图像传输到便携式终端40A。便携式终端40A的CPU 401在主存储器402中存储从外部相机10A传输的图像(静止图像)作为用于视线校正的第二面部图像。

然后，便携式终端40A的CPU 401对存储在主存储器402中的两个面部图像执行用于视线校正的上述合成处理，并且在显示器404的屏幕43上显示结果。

应注意，也在本实施方案中，类似于第一实施方案中执行两个面部图像之间的图像色调的匹配。

图10是示出其中用户通过使用根据本实施方案的面部图像处理系统1A拍摄他/她的面部的图像的第一实施方案的图解。

在这个第一成像实施方案中，假设外部相机10A被用作上部相机装置10(参见图1)，其从比视线E的位置略高的位置拾取用户U的面部图像，并且并入的相机20A被用作下部相机装置20(参见图1)，其从比视线E的位置略低的位置拾取用户U的面部图像。

这是在以下这种情况下的最佳实施方案，其中外部相机10A的规格(其影响相机的图像质量的程度)高出便携式终端40A的并入的相机20A的规格，并且合成向上的视线图像。具体来说，这是因为由外部相机10A拾取的图像质量相对较高的图像用于除了眼睛部分以外的大区域。

图11是示出其中用户U通过使用根据本实施方案的面部图像处理系统1A拍摄他/她的面部的图像的第二实施方案的图解。

在这个第二成像实施方案中，与第一成像实施方案相反，假设外部相机10A被用作下部相机装置20(参见图1)，其从比视线E的位置略低的位置拾取用户U的面部图像，并且并入的相机20A被用作上部相机装置10(参见图1)，其从比视线E的位置略高的位置拾取用户U的面部图像。

由于外壳41的垂直定向是通过姿态传感器408来检测，故便携式终端40A能够通过使由便携式终端40A的并入的相机20A和外部相机10A拾取的图像的垂直定向旋转，获取执行视线校正的合成图像。

这是在以下这种情况下的最佳实施方案，其中便携式终端40A的并入的相机20A的规格(其影响相机的图像质量的程度)高出外部相机10A的规格，并且合成向上的视线图像。

在上文中，已描述从由两个相机装置10和20拾取的同一个用户的面部图像生成视线校正图像的方法。

[两个相机的定向和位置的条件确定]

顺便说一下，为了正确地合成执行向上的视线校正的面部图像，两个相机装置的定向和位置需要满足至少以下条件：

条件1每个相机装置的定向是正确的；

条件2布置两个相机装置的方向相对于作为对象的用户的面部的水平和垂直定向是正确的以生成视线校正图像；以及

条件3在作为对象的用户的面部的垂直方向上并入的相机20A与外部相机10A之间的垂直位置关系是正确的(在向上的视线校正的情况下，正确的位置关系是并入的相机20A和外部相机10A分别定位在下面和上面)。

例如，如图12中所示，在一个相机装置10的视场在与作为对象的用户U相反的方向上的情况下，无法获取用于视线校正所需的一对向上的视线图像和向下的视线图像。因此，很难合成执行视线校正的面部图像(不满足条件1)。此外，在这种情况下，在相反方向上的相机装置10A可以拾取另一个人的面部图像，并且可以生成从用户的面部和另一个人的面部执行视线校正的意外的合成图像。

此外，也在并入的相机20A的透光单元44(参见图4)被障碍物(诸如手指)阻挡的情况下，外部相机10A被安装成阻挡并入的相机20A的透光单元44，如图13中所示，或由于外部相机10A的安装不充分，很难拾取完全在外部相机10A的视角内的用户的面部图像，如图14中所示，所以很难获取执行视线校正的面部图像。

此外，如图15中所示，在当并入的相机20A和外部相机10A的定向具有相对于用户U的面部的垂直方向上的水平位置关系时拾取图像的情况下，即使基于由姿态传感器408检测的便携式终端40A的姿态使拾取的图像在正确的方向上旋转，也只获取由并入的相机20A和外部相机10A拾取的用户的面部图像111和211，其中用户看起来分别略微斜向左侧和右侧。因此，很难获取执行视线校正的面部图像。

此外，如图16中所示，在当在用户的面部的垂直方向上的并入的相机20A与外部相机10A之间的垂直位置关系被逆转并且需要合成向上的视线时拾取图像的情况下，不管用户的意图，合成执行向下的视线校正的面部图像(不满足条件3)。

鉴于上述情况，根据本实施方案的便携式终端40A具有基于由并入的相机20A和外部相机10A拾取的图像确定是否满足至少上述条件，并且向用户报警不满足条件的功能。在下文中，将描述这个功能。

图17是与上述条件确定和警报功能相关的流程图。

在根据这个流程图描述操作之前，将描述与在便携式终端40A中的视线校正成像相关的各种状态和模式。

可以在便携式终端40A中通过视线校正实际上拾取图像的状态将被称为“视线校正成像备用”。当状态是视线校正成像备用时，经由显示器404的屏幕43将其呈现给用户，例如，可以通过视线校正拾取图像。在视线校正成像备用状态中，在用户操作快门按钮的情况下，例如，使用由并入的相机20A和外部相机10A拾取的图像来执行用于视线校正的图像合成。

当状态不处于视线校正成像备用状态时，即使用户操作快门按钮，也不执行用于视线校正的图像合成。例如，有可能只执行禁用快门按钮的操作或存储由一个相机(例如，并入的相机20A)拾取的图像作为静止图像的处理。

在视线校正成像备用状态之前，有视线校正模式的开/关状态。当从由并入的相机20A和外部相机10A拾取的图像没有检测到同一个人时视线校正模式关闭，并且当检测到同一个人时视线校正模式打开。当视线校正模式打开时，基于由并入的相机20A和外部相机10A拾取的图像确定上述条件2和3，并且当不满足任何条件时输出相应的警报。

接着，参照图17的流程图，将描述上述条件确定和警报操作。

在显示器404的屏幕43上，例如，实时显示由并入的相机20A拾取的图像(运动图像)。用户U在查看这个实时图像(运动图像)时确定合成，并且等待其成为视线校正成像备用状态。

视线校正模式目前处于关闭状态。

便携式终端40A的CPU 401从由并入的相机20A和外部相机10A拾取的图像确定图像中的对象是否是同一个人(步骤S101)。这同一个人的确定是通过例如以下方法来执行：当人的面部图像存在于每个图像中，并且通过数字化图像之间的面部特征获得的特征量的差不超过为确定对象是同一个人所设置的阈值时，确定对象是同一个人，并且当特征量的差大于阈值时，确定对象不是同一个人。因为基于面部的特征量的人的确定是公知的技术，所以这里将省略其详细描述。

应注意，尽管这里确定对象是否是同一个人，但是在需要优先考虑速度的情况下，只可以确定大体上面对前面的人的面部图像是否存在于每个图像中。

此外，便携式终端40A的CPU 401可以使用户从分为阶段的多个确定方法(诸如面向精度的方法、常规方法和面向速度的方法)选择所需的确定方法，并且使用选择的确定方法执行同一个人的确定。

面向精度的方法是用于同一个人的确定的特征量的差的阈值被设置为低值的确定方法。面向速度的方法是用于同一个人的确定的特征量的差的阈值被设置为高值的确定方法，或不执行同一个人的确定，只确定是否有面部图像，以及在面部图像存在于两个图像中时确定是有效的确定方法。常规方法是面向精度的方法和面向速度的方法的中间确定方法。例如，执行同一个人的确定，并且用于同一个人的确定的特征量的差的阈值被设置为高于面向精度的方法并低于面向速度的方法的值。

在同一个人的确定中，在很难从图像检测到同一个人的面部(步骤S101中的“否”)的情况下，便携式终端40A的CPU 401将视线校正模式保持在关闭状态。因此，也在之后重复从由并入的相机20A和外部相机10A拾取的图像的同一个人的确定。

很难从图像检测到同一个人的面部的情况的具体实例包括外部相机10A被错误地安装在相反的方向上的情况，如图12中所示。在这种情况下，从由并入的相机20A拾取的图像检测到用户U的面部，但由外部相机10A拾取的图像仅包括例如由用户在便携式终端40A上面观看的风景的图像。因此，在图像中没有检测到同一个人的面部，并且同一个人的确定结果被确定为无用。

此外，在同一个人的确定中，在从图像检测到同一个人的面部(步骤S101中的“是”)的情况下，便携式终端40A的CPU 401打开视线校正模式(步骤S102)。当视线校正模式被打开时，例如便携式终端40A的CPU 401开始基于由并入的相机20A和外部相机10A中的至少一个拾取的图像，以及由姿态传感器408检测的便携式终端40A的姿态，确定满足/不满足上述条件2和3的处理。

例如，条件2的确定处理被执行如下。

便携式终端40A的CPU 401确定布置两个相机装置的方向是否相对于作为对象的用户的面部的水平和垂直定向是正确的以生成视线校正图像(步骤S103)。更具体来说，例如，如图2中所示，由外部相机10A(第一相机装置10)和并入的相机20A(第二相机装置20)拾取的图像101和201中的面部分别在用户的面部的垂直方向上的向上和向下方向上倾斜。在面部在向上和向下方向上倾斜的情况下，条件2的确定结果被确定为有效。否则，其被确定为无用。或者，可以确定图像101和201中的面部是否在向上方向和向下方向的独立的方向上倾斜。或者，可能只需要确定由一个相机拾取的图像中的面部是否在向上或向下方向上倾斜。

可以使用各种已知的或公知的方法，诸如在图像中的面部的垂直方向上的面部的部分的位置之间的比较，以及在向上和向下方向上的视角中的面部的位置之间的比较，执行图像中的面部是否在用户的面部的垂直方向上的向上和向下方向的独立的方向上倾斜的确定。

此外，除了图像中的面部是否在用户的面部的垂直方向上的向上和向下方向的独立的方向上倾斜的确定之外，还可以执行面部是否在左右方向的独立的方向上倾斜的确定。具体来说，条件2的确定结果在图像中的面部在向上和向下方向的至少独立的方向上倾斜时被确定为有效，并且在面部仅在左右方向的独立的方向上倾斜时被确定为无用。在其他情况下，其可能被确定为错误。

在条件2的确定结果无用(步骤S103中的“否”)的情况下，便携式终端40A的CPU 401输出警报(步骤S104)。警报的实例包括在显示器404的屏幕43上显示消息(诸如“请垂直定向它”)的方法，如图18中所示，以及在显示器404的屏幕43上显示引导用户垂直定向便携式终端40A的图形数据(静止图像、运动图像)的方法，如图19中所示。或者，也可能通过声音来引导用户。

应注意，尽管这里从拾取的图像执行条件2的确定，但是例如在图像拾取是有限的使得面部的垂直定向与重力方向相匹配的情况下，当姿态传感器408检测到垂直姿态时，条件2的确定结果可以被确定为有效，并且当检测到水平姿态时，条件2的确定结果可以被确定为无用。

例如，条件3的确定处理被执行如下。

这里，假设用户指定向上的视线校正。

如图10中所示，便携式终端40A的CPU 401确定在作为对象的用户U的面部的垂直方向上并入的相机20A与外部相机10A之间的垂直位置关系是否是正确的(步骤S105)。

这里，当执行向上的视线校正时，便携式终端40A的正确的垂直定向是在作为对象的用户U的面部的垂直方向上，图像质量高的相机相对位于上方并且图像质量低的相机相对位于下方时的定向，如图10中所示。这是因为在向上的视线校正中，除了由上部相机装置拾取的面部图像中的眼睛部分以外的大区域的图像用于合成。当假设由外部相机10A拾取的图像的图像质量高于并入的相机20A时，在外部相机10A相对位于上方并且并入的相机20A相对位于下方时便携式终端40A的定向是在执行向上的视线校正时便携式终端40A的正确的垂直定向。

例如，通过单独确定在由外部相机10A拾取的图像中用户的面部略微向下看并且在由并入的相机20A拾取的图像中用户的面部略微向上看，来执行在作为对象的用户U的面部的垂直方向上并入的相机20A与外部相机10A之间的垂直位置关系是否是正确的确定。或者，仅可以确定在由外部相机10A拾取的图像中用户的面部是否略微向下看。相反，仅可以确定在由并入的相机20A拾取的图像中用户的面部是否略微向上看。

应注意，尽管这里从拾取的图像执行条件3的确定，但是例如在图像拾取是有限的使得面部的垂直定向与重力方向相匹配的情况下，CPU 401可以基于姿态传感器408的输出检测垂直姿态，其中并入的相机20A和外部相机10A中的任何一个被定位在重量方向上的下侧，并且当便携式终端40A是并入的相机20A在重量方向侧的垂直姿态时，条件3的确定结果可以被确定为有效，并且当便携式终端40A是外部相机10A在重量方向侧的垂直姿态时，条件3的确定结果被确定为无用。

当便携式终端40A的CPU 401确定在作为对象的用户U的面部的垂直方向上并入的相机20A与外部相机10A之间的垂直位置关系是错误的(步骤S105中“否”)时，CPU 401输出警报(步骤S106)。在这种情况下，警报的实例包括在显示器404的屏幕43上显示消息(诸如“请翻转”)的方法，如图20中所示，以及在显示器404的屏幕43上显示引导用户翻转的图形数据(静止图像、运动图像)的方法，如图21中所示。或者，也可能通过声音来引导用户。

在当视线校正模式打开时，上述条件(2)和(3)在每个确定处理中被确定为有效的情况下，状态变成视线校正成像备用状态(步骤S107)。

当状态变成视线校正成像备用状态时，经由显示器404的屏幕43将其呈现给用户，例如，可以执行视线校正成像。在用户操作快门按钮的情况下，例如，在视线校正成像备用状态中，使用由并入的相机20A和外部相机10A拾取的图像来执行用于视线校正的图像合成。

应注意，在上述步骤S104中的警报输出后，保持视线校正模式的开启状态。具体来说，保持步骤S104中的警报输出的状态，直到用户实际上校正便携式终端40A的姿态的水平和垂直定向，并且这在步骤S103中被确定。

类似地，也在步骤S106中的警报输出后，保持步骤S106中的警报输出的状态，直到用户实际上校正便携式终端40A的垂直定向，并且这在步骤S105中被确定。

[其他确定和警报输出]

在由外部相机10A和并入的相机20A拾取的两个图像中的一个的亮度极低或两个图像的亮度的平均值超过预定值的情况下，拾取亮度低于另一个图像的亮度的一个图像的相机的透光单元44(参见图4)可能被障碍物(诸如手指)阻挡。在这种情况下，便携式终端40A的CPU 401在显示器404的屏幕43上显示消息(诸如“相机被阻挡”)或图形，或通过声音将其呈现给用户。

<修改实例1>

在上述实施方案中，上述条件1的确定包括在同一个人的确定中，并且在条件1非成立的情况下不输出警报。条件1的确定步骤可以从同一个人的确定分离，并且也可以在条件1非成立的情况下输出警报。

例如，在可以从由外部相机10A拾取的图像检测到面部并且不能从由并入的相机20A拾取的图像检测到面部的情况下，假定并入的相机20A的透光单元44(参见图4)被障碍物(诸如手指)阻挡的状态，或外部相机10A被安装成阻挡并入的相机20A的透光单元44的情况，如图13中所示。在这方面，响应于这样的检测结果，便携式终端40A的CPU 401可以在显示器404的屏幕43上显示消息(诸如“请移除相机上的障碍物”)或图形，或通过声音向用户通知警报。

相反，在从由并入的相机20A拾取的图像检测到面部并且从由外部相机10A拾取的图像没有检测到面部或其一部分的情况下，有一种可能性，即，外部相机10A被前后倒置安装(参见图12)或安装在不完整的状态(参见图14)。在这种情况下，便携式终端40A的CPU 401可以在显示器404的屏幕43上显示消息(诸如“请正确安装外部相机”)或图形，或通过声音向用户通知警报。

<修改实例2>

在上面描述的视线校正中，也可能在同一时间对合成面部图像执行由用户指定的处理。例如，只需要允许用户选择图像编辑的内容(诸如用于放大眼睛或瞳孔的处理和美丽的皮肤处理)作为视线校正的选项。便携式终端40A的CPU 401根据视线校正的选择的选项对合成面部图像执行上述图像编辑。

<修改实例3>

可以在服务器装置的CPU中在网络上执行视线校正。具体来说，经由网络将由两个相机装置拾取的两个面部图像从信息处理装置传输到服务器装置。服务器装置的CPU被配置成对两个接收的面部图像执行上述视线校正，并且通过网络将合成图像送回到信息处理装置。

<修改实例4>

从外部相机10A传输到便携式终端40A的图像可以是原始数据。通过在便携式终端40A中执行显影处理，可能使用不具备显影处理单元的外部相机。

<修改实例5>

在上述实施方案中，使用两个相机装置。然而，一个相机装置可以移动到用户的面部的垂直方向，以在上部和下部位置共两次拾取用户的面部图像。因此，在本技术中，相机的数量可以是一个。

<修改实例6>

在上述实施方案中，用于视线校正的图像合成是由信息处理装置40或便携式终端40A的CPU来执行。然而，处理可以在包括多个信息处理装置的信息处理系统中进行分配和执行。或者，处理可以在包括一个或多个信息处理装置和经由网络与其连接的服务器装置的信息处理系统中进行分配和执行。或者，处理可以在包括经由网络彼此连接的多个服务器装置的信息处理系统中进行分配和执行。

<修改实例7>

在上文中，已描述静止图像的视线校正。然而，本技术也可以同样适用于运动图像的视线校正。具体来说，例如，只需要执行以帧或1/N帧为单位的静止图像的视线校正的图像合成。

在这种情况下，用户用他/她的手握持便携式终端40A以使他/她的面部在两个相机的视角内。因此，由于相机抖动等，在某些情况下，面部在两个相机的视角的外部或部分外部。

在修改实例7中，在面部在两个相机的视角的外部或部分外部并且用于视线校正的图像合成失败的情况下，信息处理装置40或便携式终端40A的CPU 401内插图像合成失败的帧或1/N帧与合成最终成功的视线校正图像。因此，可能不中断地显示执行视线校正的运动图像。

<修改实例8>

本技术也适用于使三个或更多个相机彼此连接的情况。

例如，如图22中所示，假设具有便携式终端40A的前面的视场(用户U1的一侧)的两个相机10A和20A被布置在垂直方向上的上面和下面，而具有便携式终端40A的后面的视场的两个相机10B和20B被布置在垂直方向上的上面和下面。

在这种情况下，如图22中所示，具有便携式终端40A的前面的视场(用户U1的一侧)的两个相机10A和20A用于成像以生成他/她的视线校正图像。具有便携式终端40A的后面的视场的两个相机10B和20B用于成像以生成人U2的面部的视线校正图像，人U2处于用户U1的相对侧，从而将便携式终端40A的位置夹在中间。

便携式终端40A的CPU 401从由四个相机10A、20A、10B和20B拾取的图像检测面部，并且基于包括同一个人的面部的一对图像执行用于视线校正的图像合成。因此，可能不仅获取执行用户U1他/她自己的视线校正的面部图像，而且获取执行另一个人U2的视线校正的面部图像。此外，在从由具有便携式终端40A的后面的视场的两个相机10B和20B拾取的仅一对图像检测到同一个人(人U2)的面部的情况下，可能仅合成和获取执行视线校正的人U2的面部图像。

应注意，本技术可以采取以下配置。

(1)一种信息处理装置，包括：

控制单元，其基于包括人的面部的两个图像确定所述两个图像中的每个面部是否是同一个人的面部，从不同位置拾取所述两个图像，并且在所述两个图像中的每个面部是所述同一个人的面部时，基于所述两个图像中的一个的眼睛部分的图像生成通过修改所述两个图像中的另一个的眼睛部分的图像所获得的视线校正图像。

(2)根据上述(1)所述的信息处理装置，其中

所述控制单元被配置成获取包括作为对象的用户的面部的两个图像，第一成像单元和第二成像单元从所述用户的面部的垂直方向上的不同位置拾取所述两个图像。

(3)根据上述(2)所述的信息处理装置，其中

所述控制单元被配置成：

在生成所述视线校正图像的模式中确定布置所述第一成像单元和所述第二成像单元的方向是否相对于作为所述对象的所述用户的面部的水平和垂直定向是正确的，以及

在所述方向错误时输出警报。

(4)根据上述(3)所述的信息处理装置，其中

所述控制单元被配置成输出用于引导对所述第一成像单元和所述第二成像单元排列的方向进行校正的信息作为所述警报。

(5)根据上述(1)至(4)中任一项所述的信息处理装置，其中

所述第一成像单元是在作为所述对象的所述用户的面部的所述垂直方向上的上部成像单元，并且所述第二成像单元是在作为所述对象的所述用户的面部的所述垂直方向上的下部成像单元，以及

由所述第一成像单元拾取的图像的图像质量高于由所述第二成像单元拾取的图像的图像质量。

(6)根据上述(5)所述的信息处理装置，其中

所述控制单元被配置成：

确定在作为所述对象的所述用户的面部的所述垂直方向上所述第一成像单元与所述第二成像单元之间的垂直位置关系是否在生成所述视线校正图像的模式中是正确的，以及

在所述垂直位置关系错误时输出警报。

(7)根据上述(6)所述的信息处理装置，其中

所述控制单元被配置成输出用于引导对所述第一成像单元与所述第二成像单元之间的所述垂直位置关系进行校正的信息作为所述警报。

(8)根据上述(1)至(7)中任一项所述的信息处理装置，其中

所述控制单元被配置成输出用于引导对所述第一成像单元与所述第二成像单元之间的所述垂直位置关系进行校正的信息作为所述警报。

(9)根据上述(1)所述的信息处理装置，其中

所述控制单元被配置成编辑所述生成的视线校正图像。

参考数字的描述

1面部图像处理系统、1A面部图像处理系统、10上部相机装置、10A外部相机、20下部相机装置、20A并入的相机、40信息处理装置(信息处理系统)、40A便携式终端、401CPU、404显示器、409无线通信单元、501控制器、503成像单元、508无线通信单元。