信息处理装置、信息处理方法和程序与流程

本公开内容涉及信息处理装置、信息处理方法以及程序。

背景技术：

在第一用户和第二用户存在于不同远程位置中的远程视频通信中，显示在显示设备上的第一用户与对第一用户进行成像的摄像装置之间的位置关系可能使显示在显示设备上的第一用户具有偏移的视线。该偏移的视线有时会引起目光接触等的失败。因此，已经开发了各种技术来避免这样的情况，并且允许第一用户和第二用户彼此的目光接触地体验真实的通信。

例如，专利文献1公开了在不同位置中存在的多个用户进行通信的情况下使用的技术。根据专利文献1中的技术，被呼叫的用户根据被呼叫的用户的注视方向使对进行呼叫的用户进行成像的成像设备和显示设备旋转，从而实现更加真实的通信。

引文列表

专利文献

专利文献1：日本未审查专利申请公开第2009-65490号

技术实现要素：

本发明要解决的问题

然而，上述专利文献1中描述的技术并未使得被呼叫的用户与进行呼叫的用户之间目光接触。根据进行呼叫的用户的位置，难以实现真实的通信。

鉴于上述情况，期望开发一种实现更真实的通信的技术。

用于解决问题的手段

根据本公开内容，提供了一种信息处理装置，该信息处理装置包括：显示控制部，其控制第二空间中存在的第二显示设备。第二显示设备显示通过对第一空间中存在的至少一个或更多个第一用户进行成像获得的第一捕获图像。显示控制部根据第一用户中的每一个的视线相关信息，在第一捕获图像上叠加并显示第二用户对象。第二用户对象对应于第二空间中存在的至少一个或更多个第二用户中的每一个。

此外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：控制第二显示设备，该第二显示设备存在于第二空间中并且显示通过对第一个空间中存在的至少一个或更多个第一用户进行成像获得的第一捕获图像；以及根据第一用户中的每一个的视线相关信息，在第一捕获图像上叠加并显示第二用户对象。第二用户对象对应于第二空间中存在的至少一个或更多个第二用户中的每一个。

此外，根据本公开内容，提供了一种程序，该程序用于使计算机运行以包括：显示控制部，该显示控制部控制第二空间中存在的第二显示设备。第二显示设备显示通过对第一空间中存在的至少一个或更多个第一用户进行成像获得的第一捕获图像。显示控制部根据第一用户中的每一个的视线相关信息，在第一捕获图像上叠加并显示第二用户对象。第二用户对象对应于第二空间中存在的至少一个或更多个第二用户中的每一个。

附图说明

图1是示出本公开内容的技术的概述的示意图。

图2是示出本公开内容的技术的概述的示意图。

图3是示出用于描述本公开内容的技术的概述的常规示例的示意图。

图4是示出本公开内容的技术的概述的示意图。

图5是示出根据本公开内容的实施方式的信息处理系统的各种装置的设置的示例的图。

图6是示出根据实施方式的信息处理系统的内部配置的框图。

图7是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图8是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图9是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图10是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图11是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图12是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图13是示出由根据实施方式的信息处理系统的控制单元执行的处理的示例的图。

图14是示出根据实施方式的信息处理系统的处理流程的示例的图。

图15是示出根据实施方式的信息处理系统的修改示例的图。

图16是示出根据实施方式的信息处理系统的修改示例的图。

图17是示出根据实施方式的信息处理系统的修改示例的图。

图18是示出根据实施方式的信息处理系统的硬件的配置示例的示例的图。

具体实施方式

下面参照附图详细描述本公开内容的优选实施方式。应当注意的是，在本描述和附图中，具有基本上相同的功能部件的部件由相同的附图标记指示，并且因此省略了其冗余的描述。

应当注意的是，按以下顺序给出描述。

1.关于本公开内容的技术

1.1.技术的概述

1.2.背视图的布置

1.3.效果

2.配置

2.1.外部配置

2.2.内部配置

3.操作流程

4.修改示例

4.1.视觉距离的优先级

4.2.距离测量传感器的使用

4.3.眼镜型显示设备的使用

5.硬件配置示例

(1.关于本公开内容的技术)

(1.1.技术的概述)

参照图1，描述了本公开内容的技术的概述。本公开内容的技术涉及在不同位置中存在的用户通过使用视频聊天等进行通信的情况下使用的技术。

在图1中，在第一位置中存在的用户4经由显示设备d进行与在第二位置中存在的用户1、用户2和用户3的通信。在显示设备d中，设置用户4的背视图s4。用户4的背视图s4被设置在显示装置d中显示的用户1的视线1v、用户2的视线2v和用户3的视线3v的前方。这使用户4感觉像用户4的背视图s4与用户1、用户2和用户3彼此目光接触地进行通信，并且允许更真实的通信。

(1.2.背视图的设置)

参照图2，通过使用用户a1与用户b1之间的通信作为示例来给出进一步的描述。用户a1存在于作为第一位置的a点处。用户b1存在于作为第二位置的b点处。图2的左侧部分示意性地示出了用户a1和显示设备d1以及在a点处用于聊天的摄像装置vc1之间的设置关系以及用户b1和显示设备d2以及在b点处用于聊天的摄像装置vc2之间的设置关系。

在a点处存在的用户a1视觉上识别在a点处存在的显示设备d1并且与在b点处的用户b1通信。用于聊天的摄像装置vc1对在视场角vcθ1的范围内的a1进行成像。用于聊天的摄像装置vc1被提供给在a点存在的显示设备d1。

与在a点处存在的用户a1类似，在b点处存在的用户b1视觉上识别在b点处存在的显示设备d2，并且与在a点处的用户a1通信。用于聊天的摄像装置vc2对在视场角vcθ2的范围内的b1进行成像。用于聊天的摄像装置vc2被提供给在b点存在的显示设备d2。

图2的右侧部分并排地示出了捕获图像。捕获图像由用于聊天的摄像装置vc1和用于聊天的摄像装置vc2捕获。用于聊天的摄像装置vc1被提供给在a点存在的显示设备d1。用于聊天的摄像装置vc2被提供给在b点存在的显示设备d2。

在最上行所示的捕获图像中，用户a1在视觉上识别显示设备d1的右端区域中的从用户a1到显示设备d1的视线g1a1的方向。通过对在a点处存在的用户a1进行成像来获得最上行所示的捕获图像。在最上行的捕获图像中，在视线g1a1的前方叠加并且设置在b点处存在的用户b1的背视图sb1。

在中间行所示的捕获图像中，用户a1在视觉上识别显示设备d1的中间端区域中的从用户a1到显示设备d1的视线g2a1的方向。通过对在a点处存在的用户a1进行成像来获得中间行所示的捕获图像。在位于中间行的捕获图像中，在视线g2a1的前方叠加并且设置在b点处存在的用户b1的背视图sb1。

在最下行所示的捕获图像中，用户a1在视觉上识别显示设备d1的左端区域中的从用户a1到显示设备d1的视线g3a1的方向。通过对在a点处存在的用户a1进行成像来获得最下行所示的捕获图像是。在位于最上行的捕获图像中，在视线g3a1的前方叠加并且布置在b点处存在的用户b1的背视图sb1。

这同样应用于通过在b点处执行成像获得的捕获图像。在最上行所示的捕获图像中，用户b1在视觉上识别显示设备d2的右端区域中的从用户b1到显示设备d2的视线g1b1的方向。通过对在b点处存在的用户b1进行成像来获得最上行所示的捕获图像。在位于最上行的捕获图像中，在视线g1b1的前方叠加并且布置在a点处存在的用户a1的背视图sa1。

在中间行所示的捕获图像中，用户b1在视觉上识别显示设备d2的中间端区域中的从用户b1到显示设备d2的视线g2b1的方向。通过对在b点处存在的用户b1进行成像来获得中间行所示的捕获图像。在位于中间行的捕获图像中，在视线g2b1的前方叠加并且设置在a点处存在的用户a1的背视图sa1。

在最下行所示的捕获图像中，用户b1在视觉上识别显示设备d2的左端区域中的从用户b1到显示设备d2的视线g3b1的方向。通过对在b点处存在的用户b1进行成像来获得最下行所示的捕获图像。在位于最下行的捕获图像中，在视线g3b1的前方叠加并且设置在a点处存在的用户a1的背视图sa1。

以这种方式，在位于a点处的捕获图像中显示的用户具有被叠加并显示在捕获图像中的视线前方的b点处的用户的背视图。这允许b点处的用户模拟在b点处的用户在与在捕获图像中显示的a点处的用户目光接触地进行通信。

(1.3.效果)

参照图3和图4具体描述本公开内容的技术的目的和效果。图3示出了多个用户在没有任何显示设备等的同一空间中进行交流的情况。在如图3所示的现实会议中，用户5、用户6、用户7和用户8共享同一空间。用户5在视觉上识别作为讲话者的用户7，并且用户6在视觉上识别作为另一个讲话者的用户8。用户7和用户8目光接触地彼此交流。然后，每个用户都能够掌握相应的用户的视线。

相比之下，图4示出了用于经由显示设备在不同位置之间进行通信的视频聊天的示例。用户5、用户6和用户8经由显示设备与用户7进行会议。用户7存在于不同的位置。用户5在视觉上识别用户7，用户6在视觉上识别用户8，并且用户8在视觉上识别用户7。此处可以想到的是，用户7在视觉上识别在由用户7视觉上识别的显示设备中显示的用户5、用户6和用户8中的任何一个。然而，难以掌握在经由显示设备进行的通信中由用户7视觉上识别用户5、用户6和用户8中的哪一个。换言之，在这样的视频聊天中，捕获图像上的用户7频繁地直视摄像装置。蒙娜丽莎效应有时使用户5、用户6和用户8分别识别出用户7正在视觉上识别用户5、用户6和用户8。

本公开内容的技术的应用使得可以在捕获图像上的用户7的视线前方叠加并且设置要被在视觉上识别的用户5、用户6和用户8中的任何用户的背视图。这允许用户5、用户6和用户8确定用户5、用户6和用户8中的哪一个被用户7视觉上识别并且体验到更真实的会议。

(2.配置)

(2.1.外部配置)

参照图5和图6，描述信息处理系统的配置的示例。信息处理系统包括允许体验到真实会议的信息处理装置。图5是示出信息处理系统的概述的概述图，并且图6是示出信息处理系统的内部配置的框图。

根据图5，用户a1存在于点a处，并且显示设备da、用于聊天的摄像装置vca和针对背视图的摄像装置sca被设置在点a处。用户b1和用户b2存在于点b处，并且显示设备db、用于聊天的摄像装置vcb和针对背视图的摄像装置scb被设置在点b处。

在点a处，显示设备da显示由在点b处的用于聊天的摄像装置vcb捕获的捕获图像。用户a1能够在视觉上识别用户b1和用户b2以经由显示设备da进行通信。在点b处，显示设备db显示由在点a处的用于聊天的摄像装置vca捕获的捕获图像。用户b1和用户b2能够在视觉上识别用户a1，以经由显示设备db进行通信。

显示设备da在由在点b处的用于聊天的摄像装置vcb捕获的捕获图像上叠加并且显示用户a1的背视图sa1。背视图sa1是从由针对背视图的摄像装置sca捕获的捕获图像创建的。同时，显示设备db在由在点a处的用于聊天的摄像装置vca捕获的捕获图像上叠加并且显示用户b1的背视图sb1和用户b2的背视图sb2。背视图sb1和背视图sb2是从由针对背视图的摄像装置scb捕获的捕获图像创建的。

用户a1在视线a1v的方向上在视觉上识别显示在显示设备da上的用户b2。显示设备db在用户a1的视线a1v的方向上显示用户b2的背视图sb2。这允许在点b处存在的b1和b2识别出用户a1正在视觉上识别用户b2以进行通信。

(2.2.内部配置)

根据图6，信息处理系统1000包括背视图摄像装置sca、聊天摄像装置vca、显示设备da、背视图摄像装置scb、聊天摄像装置vcb、显示设备db和控制单元100。背视图摄像装置sca、聊天摄像装置vca和显示设备da被设置在点a处。背视图摄像装置scb、聊天摄像装置vcb和显示设备db被设置在点b处。

聊天摄像装置vca和vcb具有在各个点执行成像的功能。聊天摄像装置vca和vcb中的每一个都是捕获图像(静止图像或移动图像)的成像设备，例如，rgb摄像装置或热像仪摄像装置。聊天摄像装置vca和vcb中的每一个可以包括透镜系统、驱动系统和成像元件。由聊天摄像装置sca和scb获得的捕获图像可以用于图像处理或者可以被使用以显示在显示设备da和db上。

背视图摄像装置sca和scb具有在相应点对用户的背视图进行成像的功能。背视图摄像装置sca和scb可以是与聊天摄像装置vca和vcb类似的成像设备。

显示设备da和db具有根据控制单元100的指令显示在相应点处捕获的图像并且显示用户的背视图的功能。捕获的图像由在不同位置的聊天摄像装置vca和vcb来捕获。背视图由在存在于显示设备da和db的地方中的背视图摄像装置sca和scb来成像。具体地，显示设备da和db中的每一个包括能够在视觉上通知用户由控制单元100生成的显示图像的设备。这样的设备的示例包括诸如crt(阴极射线管)显示设备、液晶显示设备、等离子显示设备和el(电致发光)显示设备、激光投影仪、led投影仪和灯的显示设备。

控制单元100具有从设置在a点和b点处的各种设备获取各种数据并且控制显示设备的功能。控制单元包括获取部110、人识别部120、3d转换部130和显示控制部140。

获取部110从背视图摄像装置sca和scb获取捕获图像。此外，获取部110从聊天摄像装置vca和vcb获取捕获图像。例如，获取部110经由通信来获取捕获图像。通信可以视情况而持续地进行或可以不连续地进行。获取部110将获取的捕获图像输出至人识别部120。

人识别部120具有通过处理从聊天摄像装置vca和vcb获取的捕获图像来识别用户的位置的功能。参照图7进行描述。图7是示出人识别部120识别点a处的用户a1并且获取点a处的各种信息的图。在图7所示的点a处，显示设备da和用户a1彼此相对。图7的左侧部分是从右上方示出显示设备da和用户a1的俯视图，并且图7的右侧部分是从侧面示出显示设备da和用户a1的侧视图。显示设备da具有水平方向长度ha和垂直方向长度va。如图7所示，显示设备da的上部分设置有聊天摄像装置vca。聊天摄像装置vca具有距聊天摄像装置vca的任何范围内的水平方向上的水平成像视场角θa以及垂直方向上的垂直成像视场角

人识别部120从由聊天摄像装置vca捕获的捕获图像，识别在水平成像视场角θa和垂直方向成像视场角内用户a1所存在的三维空间中的位置。人识别部120可以识别用户a1相对于显示设备da的位置。

此外，人识别部120具有从由聊天摄像装置vca捕获的捕获图像中获取用户的视线相关信息的功能。用户的视线相关信息包括关于用户的视线和视觉距离的多条信息。用户的视线包括用户相对于显示设备da的视线方向和视线位置。用户的视觉距离可以是从用户的眼睛到显示设备da的水平距离。在参照图7的左部分给出描述的情况下，用户a1将视线a1v投射到显示设备da，并且用户a1在视觉距离da1内视觉上识别显示设备da。视觉距离da1是从用户的眼睛到显示设备da的水平距离。在参照图7的右部分给出描述的情况下，直立在地板f上的用户a1将视线a1v投射在显示设备da上，并且用户a1在视觉距离da1内视觉上识别显示设备da。视觉距离da1是从用户的眼睛到显示设备da的水平距离。以这种方式，人识别部120将从用户的眼睛到显示设备da的水平距离识别为视觉距离。

人识别部120具有从由聊天摄像装置vca和vcb捕获的捕获图像中检测用户的功能。在参照图8给出描述的情况下，在点b处，人识别部120通过对在点b处捕获的图像执行图像处理来从在b点处的空间中存在的对象中检测诸如用户b1和b2的人，并且识别用户b1和b2中的每一个。

人识别部120具有以与从由聊天摄像装置vca和vcb捕获的捕获图像检测用户类似的方式从由背视图摄像装置sca和scb捕获的捕获图像中检测用户的背视图的功能。人物识别部120可以识别出在点a处由聊天摄像装置sca成像的用户a1和在点a处由背视图摄像装置sca成像的用户a1是指同一用户，并且将在点a处由聊天摄像装置sca成像的用户a1与在点a处由背视图摄像装置sca成像的用户a1相关联。这样的关联使得可以在下面描述的虚拟3d空间中将用户a1的背视图设置在由点a处的聊天摄像装置vca捕获的用户a1的位置处。

3d转换部130具有通过使用从人识别部120获取的各种信息来生成虚拟的捕获图像并且将所生成的虚拟捕获图像输出至显示控制部140的功能。虚拟的捕获图像用于控制由显示设备在点b处显示的显示图像。在参照图9给出描述的情况下，3d转换部130将显示设备da和显示设备dq设置在虚拟3d空间中，从而通过使用用户a1的视觉距离da1来确定用户b1的背视图sb1和用户b2的背视图sb2的显示位置。用户b1的背面sb1和用户b2的背面sb2是用户对象。

参照图10和图11，详细地描述由3d转换部130执行的处理。图10示出了虚拟3d空间200。在虚拟3d空间200中，模拟在a点处的显示设备da与用户a1之间位置关系。虚拟第一显示设备da被设置在虚拟3d空间200中。虚拟第一显示设备da示出与设置在现实空间中的a点处的显示设备da的尺寸相同的尺寸。此处，虚拟第一显示设备示出与显示设备da的尺寸相同的尺寸，并且因此用相同的附图标记表示。

虚拟第二显示设备dq被设置在与虚拟第一显示设备da相对的位置处。基于显示设备da与用户a1在点a处的位置关系来确定虚拟第二显示设备dq的设置位置。具体地，虚拟第二显示设备dq被设置为与虚拟第一显示设备da间隔开，其之间的距离与在点a处的显示设备da与用户a1之间的视觉距离da1之间的距离相同。

虚拟第一显示设备da如在点a处那样显示由聊天摄像装置vcb成像的用户b1和b2，并且虚拟第二显示设备dq如在点b处那样显示如在点a处那样由聊天摄像装置vca成像的用户a1。

基于捕获第一捕获图像的第一成像设备的视觉距离和视场角，来确定虚拟3d空间中的虚拟第二显示设备dq的垂直尺寸和水平尺寸。换言之，基于虚拟第一显示设备da的视觉距离da1和水平成像视场角θa来确定虚拟第二显示设备dq的水平尺寸hq。可以将虚拟第二显示设备dq的水平尺寸hq表达为hq＝2da1tan(θa/2)。相反，基于虚拟第一显示设备da的视觉距离da1和垂直成像视场角来确定虚拟第二显示设备dq的垂直尺寸vq。可以将虚拟第二显示设备dq的垂直尺寸vq表达为

3d转换部130通过使用图10中所示的各个虚拟显示设备以及在虚拟显示设备上显示的用户a1、用户b1和用户b2的设置来转换图像。3d转换部130将信息输出至显示控制部140。该信息用于生成在点b处显示在显示设备db上的图像。

3d转换部130还将显示起点布置在上述虚拟3d空间中，并且通过使用由虚拟的成像设备(未示出)从显示起点捕获的虚拟捕获图像来生成图像。图像在点b处显示在显示设备db上。图11是进一步示出图10中的虚拟第一显示设备和虚拟第二显示设备的设置中的显示起点p的图。显示起点p位于与通过将虚拟第二显示设备dq上显示的第一用户a1作为起点设置了第一显示设备的位置同侧的位置处。显示起点p的位置比虚拟第一显示设备的位置远。基于虚拟第一显示设备da、虚拟第二显示设备dq以及从显示起点p捕获的虚拟捕获图像，控制在现实空间中的显示在点b处的显示设备db上的图像。具体地，虚拟的捕获图像pv是从显示起点p捕获的图像，并且通过对从显示起点p视觉上识别的视场角范围内的对象进行成像来获得。虚拟的捕获图像pv是指示在人等视觉上识别虚拟第一显示设备的自显示起点p的方向的情况下叠加虚拟第一显示设备和虚拟第二显示设备的图像。

显示控制部140通过使用由3d转换部130生成的虚拟的捕获图像来控制图像。该图像在现实空间中被显示在点b处的显示设备db上。

参照图12和图13，描述了虚拟的捕获图像和显示控制。图12和图13中的每一个是示出基于从显示起点p捕获的虚拟捕获图像pv来控制在显示设备db上显示的图像的示例的图。图12的上部分示出了虚拟的捕获图像pv。据此，在虚拟的捕获图像pv中显示在虚拟第二显示设备上显示的用户a1以及在虚拟第二显示设备dq上显示的用户b1和b2，并且叠加并显示用户b1的背视图和用户a1。

在如图12的上部分所示的在那样虚拟的捕获图像pv中用户b1或b2的背视图与用户a1交叠显示的情况下，显示控制部140改变用户b1或b2的背视图的尺寸，并且防止用户b1或b2的背视图与用户a1交叠，如图12的下部分所示。可以由使用信息处理系统1000的用户视情况来确定背视图交叠到什么程度。例如，显示控制部140改变背视图的尺寸以防止背视图与用户a1的至少一只眼睛交叠就行。显示控制部140因此可以改变用户b1或b2的背视图的尺寸，以将背视图设置在距识别的用户a1的眼睛的位置一定距离之外。此外，例如，显示控制部140可以基于用户b1或b2的背视图是否与用户a1的面部的轮廓交叠来确定是否改变用户b1或b2的背视图的尺寸。如果用户b1或b2的背视图与用户a1的面部轮廓交叠，则显示控制部140可以改变用户b1或b2的背视图的尺寸以防止背视图与用户a1的面部轮廓交叠。这允许用户b1和b2确定地掌握用户a1的视线并且允许更舒适的通信。

此外，如图13所示，在用户b1或b2的背视图离开虚拟的捕获图像pv的帧的情况下，显示控制部140可以改变虚拟捕获图像pv的范围，以使虚拟捕获图像pv包括离开该帧的用户b1或b2。该改变通过显示起点p的移动来进行。例如，显示起点p和虚拟第二显示设备dq可以被设置为彼此间隔更大，以使虚拟捕获图像pv包括离开该帧的用户b1或用户b2。这使得可以如图13的下部分所示的那样在虚拟捕获图像pv中在尺寸上减小虚拟第一显示设备da和虚拟第二显示设备dq，并且使得可以清楚地显示用户a1以及用户b1和b2。

这样的显示控制使得可以显示显示图像而不引起任何违和感(strangeness)。此外，还可以通过具有降低的处理负荷的转换处理来实现显示控制。

此外，在用户b1或b2离开虚拟拍摄图像pv的帧的情况下，显示控制部140还可以改变用户b1或b2的背视图的显示位置，以使虚拟的捕获图像pv包括离开该帧的用户b1或b2的背视图。显示位置可以在用户a1的视线与背视图的位置彼此对应的范围内改变。注意，在本实施方式中，显示控制部140改变由b点处的用户视觉上识别的捕获图像中设置的用户的背视图的位置，但是该示例不是限制性的。显示控制部140可以预先确定设置b点处的用户的背视图的位置，在布置有b点处的用户的背视图的位置处处理a点处的用户的视线，并且处理视线，就好像a点处的用户的视线与b点处的用户的背视图的视线相匹配。然后，可以为b点处的用户的相应背视图提供标签，并且对b点处的用户的相应背视图进行处理以允许相应用户被识别。将b点处的用户的相应背视图设置在b点处视觉上识别的a点处的用户的视线前方。

此外，在如图12的上部分所示的那样在虚拟的捕获图像pv中用户b1或b2的背视图与用户a1交叠显示的情况下，显示控制部140可以通过改变背视图的透光度来保持用户a1和背视图的视觉可识别性。具体地，显示控制部140可以进一步增加背视图的与用户a1交叠的一部分的透光度，并且可以减小背视图的与用户a1不交叠的一部分的透光度。这允许显示控制部140保持用户a1的视觉可识别性，并且还保持背视图的视觉可识别性。

(3.操作流程)

参照图14描述到目前为止所描述的并且由相应设备和相应部件执行的操作流程(s100)。

首先，在点a处，聊天摄像装置vca在点a处拍摄图像(s102)。此外，在点a处，背视图摄像装置sca拍摄用户a1的背视图的图像(s104)。相比之下，在b点处，聊天摄像装置vcb在b点处拍摄图像(s106)。此外，在点b处，背视图摄像装置scb拍摄用户b1和b2的背视图的图像(s108)。

这些操作可以同时开始或顺序地开始。可以以任何顺序执行这些操作。

接下来，获取部从聊天摄像装置vca和vcb以及背视图摄像装置sca和scb获取捕获的图像(s110)。

接下来，人识别部120从捕获的图像识别用户并且检测各种信息(s111)。

人识别部120检测用户a1的视觉距离(s112)。然后，人识别部120从捕获的图像中检测和识别用户a1，并且检测聊天摄像装置vca与用户a1之间的视觉距离。

人识别部120从捕获的图像中识别用户在捕获的图像中的位置(s113)。然后，人识别部120从捕获的图像中检测并且识别用户b1和b2，并且识别捕获的图像中的位置。应当注意的是，捕获的图像中的位置可以是点b处的现实空间中的位置。

人识别部120从背视图摄像装置的捕获图像中提取背视图(s114)。然后，人识别部120从捕获的图像中检测并且识别用户b1和b2的人的部分。人识别部120将捕获图像中的用户b1和b2的背视图与背景分离，并且提取用户b1和b2的背视图。

接下来，3d转换部基于a点处的显示设备与用户a1之间的位置关系，将虚拟第一显示设备和虚拟第二显示设备设置在虚拟3d空间中(s116)。

接下来，显示控制部基于已被设置的虚拟第一显示设备与虚拟第二显示设备之间的位置关系以及从显示起点捕获的虚拟捕获图像来控制由在点b处的显示设备b显示的图像(s120)。

相应部件执行上述操作流程，从而使得可以在无需校正用户a1的面部、对用户a1的面部执行图像处理等的情况下，显示没有违和感的显示图像。此外，还可以通过具有降低的处理负荷的3d转换处理来实现显示控制。

(4.修改示例)

到目前为止已经描述了根据本实施方式的信息处理装置和信息处理方法。在该部分中，参照图15和图16，描述了根据本实施方式的信息处理装置和信息处理方法的修改示例的示例。

(4.1.视觉距离的优先级)

在上述实施方式中，已经描述了用户a1存在于点a处，用户b1和b2存在与点b处并且在点a与点b之间进行通信的示例。此处，参照图15，作为上述实施方式的修改示例，描述了多个用户位于点a处的情况的示例。图15是示出多个用户位于点a处的情况的示例的图。

图15所示的点a具有用户a1和用户a2。用户a1和用户a2直立在地板f上，并且在视觉上识别显示设备da。用户a1和用户a2具有到显示设备da的不同距离。用户a1和用户a2与显示设备da之间的距离可以是用户a1和用户a2到显示设备da的视觉距离。视觉距离可以是从用户的眼睛到显示设备da的水平距离。

以这种方式，在点a处存在多个用户的情况下，控制单元100可以优先对具有最小视觉距离的用户的视觉距离执行显示控制。聊天摄像装置越近，视线方向的变化范围就越大。因此，如上所述，可以通过优先考虑具有最小视觉距离的用户的视觉距离来抑制变化范围。此外，控制单元100可以从点a处的多个用户识别讲话者，并且优先地对所识别的讲话者的视觉距离执行显示控制。

(4.2.距离测量传感器的使用)

作为上述实施方式的另一修改示例的示例，参照图16描述了一种技术，在该技术中使用距离测量传感器代替获取用于创建背视图的信息的背视图摄像装置。

图16示出了显示设备da和显示设备db包括距离测量传感器设备kna和knb的示例。在图5中示出了显示设备da和显示设备db。距离测量传感器装置被设置在可以测量从距离测量传感器装置到用户的身体的一部分的距离的位置处。距离测量传感器设备的示例包括tof(飞行时间)传感器。例如，tof传感器通过使用以下方法来测量到用户的身体的距离：用脉冲红外光照射用户的身体并且直接测量在身体表面上反射的红外光返回之前经过的时间的方法(dtof方法)；修改红外光并且基于辐射光的相位与被反射并返回的光的相位之间的相位差来执行计算的方法(itof方法)；等等。

控制单元100可以通过使用距离测量传感器设备kna和knb获取关于用户的运动的信息，并且基于该信息来创建化身(avatar)或通过对化身进行部分处理获得的用户对象。在存在多个用户的情况下，控制单元100可以将由聊天摄像装置vca和vcb识别的用户与针对其由距离测量传感器设备kna和knb获取关于用户的运动的多条信息的用户相关联。控制单元100可以实时获取用户的骨骼结构的动作等，并且将该动作等反映在用户对象中。在存在多个用户的情况下，显示控制部140可以反映用户对象中的相应用户的视觉特性。用户对象对应于相应用户。这使相应用户对象具有差异并且使得可以识别用户对象。例如，视觉特性可以是衣服的纹理、发型等。

应当注意的是，在本修改示例中已经描述使用距离测量传感器装置代替背视图摄像装置的示例。然而，聊天摄像装置和距离测量传感器设备可以是同一设备。据此，可以通过对由聊天摄像装置捕获的捕获图像执行图像识别和图像处理来测量距离，并且可以抑制所安装的设备的数量。

(4.3.眼镜型显示设备的使用)

作为上述实施方式的另一修改示例的示例，参照图17描述了一种技术，在该技术中在对用户对象执行显示控制的情况下，用户佩戴用于视觉上识别的眼镜型显示设备。图17示出了将图1所示的本公开内容的技术的概述的示例应用于眼镜型显示设备的示例。根据图17，用户4佩戴透射眼镜300。用户4在视觉上识别由透射眼镜300叠加并显示在显示设备d上显示的捕获图像上的用户对象s4。这使得即使在用户移动的情况下也可以根据用户的位置来改变用户对象s4的显示位置，从而进一步提高便利性。

(5.硬件配置示例)

参照图18，描述了根据本实施方式的信息处理系统中包括的信息处理装置的控制单元的硬件配置的示例。图18是示出根据本实施方式的控制单元的硬件配置的示例的框图。

如图18所示，信息处理装置900包括cpu(中央处理单元)901、rom(只读存储器)902、ram(随机存取存储器)903和主机总线904a。此外，信息处理装置900包括桥接器904、外部总线904b、接口905、输入设备906、显示设备907、存储设备908、驱动器909、耦接端口911和通信设备913。代替cpu901或连同cpu901，信息处理装置900还可以包括诸如电路、dsp或asic的处理电路。

cpu901用作算术处理设备和控制设备。cpu901根据各种程序来控制信息处理装置900中的整体操作。此外，cpu901可以是微处理器。rom902存储由cpu901使用的程序、算术参数等。ram903临时存储在cpu901的执行中使用的程序、在执行中适当地改变的参数等。例如，cpu901可以形成图6所示的处理单元。

cpu901、rom902和ram903通过包括cpu总线等的主机总线904a来相互耦接。主机总线904a经由桥接器904耦接至外部总线904b例如pci(外围部件互连/接口)总线。应当注意的是，不一定分别包括主机总线904a、桥接器904和外部总线904b，主机总线904a、桥接器904和外部总线904b的功能可以在一个总线中被实现。

例如，输入设备906由用户通过其输入信息的设备(例如，鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆)来实现。此外，例如，输入设备906可以是使用红外线或其他电波的遥控设备。替选地，输入设备906可以是支持信息处理装置900的操作的诸如移动电话或pda的外部耦接设备。此外，例如，输入设备906可以包括输入控制电路等，其基于使用上述输入装置由用户输入的信息来生成输入信号，并且将该所生成的输入信号输出至cpu901。信息处理装置900的用户能够向信息处理装置900输入各种数据或者通过操作输入设备906指示信息处理装置900执行处理操作。

显示设备907通过使用能够在视觉上或听觉上向用户通知所获取的信息的设备形成。这样的设备的示例包括诸如crt显示设备、液晶显示设备、等离子显示设备、el显示设备、激光投影仪、led投影仪和灯的显示设备以及诸如扬声器或耳机的声音输出设备。例如，显示设备907输出通过由信息处理装置900执行的各种处理获得的结果。具体地，显示设备907以诸如文本、图像、表格和图形的各种格式在视觉上显示通过由信息处理装置900执行的各种处理获得的结果。同样，在使用声音输出设备的情况下，声音输出设备将包括再现的声音数据、声学数据等的音频信号转换为模拟信号并且在听觉上输出该模拟信号。例如，显示设备907是图6所示的显示设备da或显示设备db。

存储设备908是作为信息处理装置900的存储单元的示例形成的用于数据存储的设备。例如，存储设备908由诸如hdd的磁存储单元设备、半导体存储设备、光存储设备、磁光存储设备等来实现。存储设备908可以包括存储介质、在存储介质中记录数据的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。该存储设备908存储要由cpu901执行的程序、各种类型的数据、从外部获取的各种类型的数据等。例如，存储设备908存储虚拟捕获图像、各种参数等。在显示控制部140在图6所示的控制单元100中控制显示设备da和显示设备db的情况下，使用虚拟捕获图像。使用各种参数来生成虚拟捕获图像。

驱动器909是用于存储介质的读取器/写入器。驱动器909内置在信息处理装置900中或从外部附接至信息处理装置900。驱动器909读出记录在安装在其上的诸如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质中的信息，并且将该信息输出至ram903。此外，驱动器909还能够将信息写入可移除存储介质中。

耦接端口911是耦接至外部装置的接口。例如，耦接端口911是通往能够通过usb(通用串行总线)等发送数据的外部装置的耦接端口。

通信设备913是通信接口，包括例如用于耦接至网络920的通信设备等。例如，通信设备913是用于有线或无线lan(局域网)、lte(长期演进)、蓝牙(注册商标)或wusb(无线usb)的通信卡等。此外，通信设备913可以是用于光学通信的路由器、用于adsl(非对称数字用户线)的路由器、用于各种类型的通信的调制解调器等。例如，该通信设备913能够根据诸如tcp/ip等的预定协议向因特网或其他通信装置发送信号等并且从因特网或其他通信装置接收信号等。例如，通信设备913用于在图6所示的控制单元100与a点和b点处的各种设备之间发送和接收各种信息。诸如通信设备913的设备可以用于该发送和接收。

应当注意的是，网络920是用于从耦接至网络920的装置发送的信息的有线或无线传输路径。例如，网络920可以包括诸如因特网的公共网络、电话网络或卫星通信网络，以及包括以太网(注册商标)、wan(广域网)和lan的各种lan(局域网)等。此外，网络920可以包括专用网络例如ip-vpn(因特网协议-虚拟专用网络)。

此外，在信息处理装置900中，可以创建用于使内置在信息处理系统1000中的诸如cpu、rom和ram的硬件表现出与根据上述本实施方式的信息处理系统1000的各个部件的功能等同的功能的计算机程序。此外，其上存储有计算机程序的记录介质也可以包括在根据本公开内容的技术的范围内。

已经参照附图详细描述本公开内容的优选实施方式，但是本公开内容的技术范围不限于该实施方式。本领域技术人员可以在所附权利要求书的范围内发现各种替选和修改，并且应当理解的是，这些替选和修改将自然地归入本公开内容的技术范围内。

此外，本文中描述的效果仅是说明性和示例性的，而不是限制性的。换言之，除了上述效果之外或者代替上述效果，根据本公开内容的技术还可以实现根据本文的描述对于本领域技术人员而言明显的其他效果。

应当注意，以下配置也落入本公开内容的技术范围内。

(1)

一种信息处理装置，包括：

显示控制部，其控制第二空间中存在的第二显示设备，所述第二显示设备显示通过对第一空间中存在的至少一个或更多个第一用户进行成像获得的第一捕获图像，其中，

所述显示控制部根据所述第一用户的视线相关信息，在所述第一捕获图像上叠加并且显示第二用户对象，所述第二用户对象对应于所述第二空间中存在的至少一个或更多个第二用户。

(2)

根据(1)所述的信息处理装置，其中，

所述视线相关信息包括与从所述第一空间中存在的所述第一用户到由第一用户视觉上识别的第一显示设备的视觉距离有关的信息，并且

所述显示控制部基于与所述视觉距离有关的信息来控制所述第二用户对象的显示位置，所述第二用户对象对应于所述第二用户。

(3)

根据(2)所述的信息处理装置，其中，所述显示控制部基于与所述视觉距离有关的信息来控制所述第一捕获图像的尺寸。

(4)

根据(3)所述的信息处理装置，还包括：3d转换部，其生成虚拟3d空间，所述虚拟3d空间通过在同一空间中虚拟地表示所述第一用户、所述第一显示设备、所述第二显示设备和所述第二用户之间的位置关系而获得，其中，

所述显示控制部基于布置在所述虚拟3d空间中的所述第一用户与布置在所述虚拟3d空间中的所述第一显示设备之间的位置关系以及虚拟捕获图像，来控制所述第二用户对象的显示位置和所述第一捕获图像的尺寸，所述第一显示设备被布置成与所述第一用户间隔开所述视觉距离，所述虚拟捕获图像是从显示起点虚拟地捕获的，在将所述第一用户用作起点的情况下，所述显示起点被布置在与所述第一显示设备同一侧的比所述第一显示设备远的位置处。

(5)

根据(4)所述的信息处理装置，其中，

所述第二空间中存在的所述第二显示设备在所述虚拟3d空间中与所述第一用户相对应地布置在与所述第一用户相同的位置处，并且

所述显示控制部通过使用所述虚拟3d空间中的所述第二显示设备与所述第一显示设备之间的位置关系来控制所述第二用户对象的显示位置和所述第一捕获图像的尺寸。

(6)

根据(2)至(5)中任一项所述的信息处理装置，其中，基于视觉距离和第一成像设备的视场角来确定所述第一捕获图像的尺寸，所述第一捕获图像被显示在所述第二显示设备上，所述第一成像设备捕获所述第一捕获图像。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，所述显示控制部改变所述第二用户对象的尺寸，以防止所述第一用户和所述第二用户对象叠加，所述第一用户被显示在所述第一捕获图像中。

(8)

根据(2)至(7)中任一项的信息处理装置，其中，与所述第二用户对应的所述第二用户对象是基于所述第二用户的图像创建的，所述图像是从通过对所述第二用户的背视图进行成像获得的第二用户背视图捕获图像提取的。

(9)

根据(6)所述的信息处理装置，其中，所述信息处理装置包括彼此集成的所述第一成像设备和所述第一显示设备。

(10)

根据(2)至(9)中任一项所述的信息处理装置，其中，所述第二用户对象是通过使用从红外光获取的信息创建的，所述第二用户用红外光来照射，所述红外光从所述第二用户反射。

(11)

根据(1)至(10)中任一项所述的信息处理装置，其中，所述显示控制部还控制第一空间中存在的第一显示设备，并且根据所述第二空间中存在的至少一个或更多个第二用户的视线相关信息，在第二捕获图像上叠加并显示第一用户对象，所述第一显示设备显示通过对所述第二用户进行成像获得的所述第二捕获图像，所述第一用户对象对应于所述第一空间中存在的至少一个或更多个第一用户。

(12)

一种信息处理方法，包括：

控制第二空间中存在的第二显示设备，所述第二显示设备显示通过对第一空间中存在的至少一个或更多个第一用户进行成像获得的第一捕获图像；以及

根据所述第一用户的视线相关信息，在所述第一捕获图像上叠加并显示第二用户对象，所述第二用户对象对应于所述第二空间中存在的至少一个或更多个第二用户。

(13)

一种程序，使计算机用作如下：

显示控制部，其控制第二空间中存在的第二显示设备，所述第二显示设备显示通过对第一空间中存在的至少一个或更多个第一用户进行成像获得的第一捕获图像，其中，

所述显示控制部根据所述第一用户的视线相关信息，在所述第一捕获图像上叠加并显示第二用户对象，所述第二用户对象对应于所述第二空间中存在的至少一个或更多个第二用户。

附图标记列表

da，db显示设备

vca，vcb用于聊天的摄像装置

sca，scb针对背视图的摄像装置

100控制单元

110获取部

120人识别部

130转换部

140显示控制部