信息处理设备、信息处理系统、信息处理方法和程序与流程

本公开涉及信息处理设备、信息处理系统、信息处理方法和程序。更具体来说，例如，本发明涉及经由网络通过双向远程通信来传输图像和语音以便执行双向通信的信息处理设备、信息处理系统、信息处理方法和程序。

背景技术：

例如经由网络通过双向远程通信来传输和接收图像和语音的视频会议系统等双向通信系统用于各种领域中。

近年来，大量高清晰度大型显示器频繁用于经由网络在远程通信中交换的提高的质量的图像和语音，从而使得可以在带有逼真感觉的情况下进行与显示器上所显示的远程用户的通信。

然而，此双向通信系统包含如下问题：例如显示单元(显示器)上所显示的会议参与者等用户的视线方向不匹配用户实际上注视的方向。

这是因为拍摄用户(会议参与者)的相机是从某一视角拍摄的图像。从一个相机视角拍摄的图像显示在另一方的显示设备上。

然而，在存在从不同于相机的视角的方向观看显示图像的观看用户的状况下，观看用户将在显示单元上所显示的用户的视角方向上感觉奇怪。

此问题可在多个用户(例如，会议参与者)存在于显示单元之前的状况下特别严重。

在多个观看者存在于显示单元之前的状况下，处于与拍摄显示单元上的显示图像的相机的位置对应的位置处的用户可观察图像而不会感觉奇怪。相比之下，用户处于一定位置，而此位置不同于与拍摄显示单元上的显示图像的相机的位置对应的位置，显示单元上所显示的另一用户(会议参与者)的视线可看起来完全不同于原始情形。

观看此显示图像的观看用户可对所显示用户正对谁讲话感到困惑。

应注意，公开用于解决此问题的配置的常规技术的实例包含专利文献1(第3139100号日本专利)、专利文献2(第32389730号日本专利)、专利文献3(第2012-070081号日本专利申请特许公开)、专利文献4(第2014-096701号日本专利申请特许公开)、专利文献5(第2012-088538号日本专利申请特许公开)等。

然而，这些常规技术中所公开的方法包含需要与参与者的数量对应的数量的相机的配置、需要特殊显示器的使用的配置、需要校正图像中所包含的脸部的眼睛图像以改变视线方向的特殊图像处理的配置等，从而导致成本增加和处理复杂的问题。

引用文献列表

专利文献

专利文献1：第3139100号日本专利

专利文献2：第32389730号日本专利

专利文献3：第2012-070081号日本专利申请特许公开

专利文献4：第2014-096701号日本专利申请特许公开

专利文献5：第2012-088538号日本专利申请特许公开

技术实现要素：

本发明将解决的问题

已例如鉴于上述问题而作出本公开，并且本公开的目标是例如提供能够容易区分双向通信系统中所使用的显示单元(显示器)的显示图像中所显示的通信参与用户(所显示用户)正对观看显示单元的观看用户中的谁讲话的信息处理设备、成像设备、信息处理系统、信息处理方法和程序。

问题的解决方案

本公开的第一方面是

一种信息处理设备，包含显示图像产生单元，其中所述显示图像产生单元产生能够识别显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息，并将所产生的对话对识别信息与所显示用户一起输出到显示单元。

此外，本公开的第二方面是

一种信息处理设备，包含对话对确定单元，其中所述对话对确定单元确定显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话，

其中对话对确定单元

输入通过拍摄所显示用户而获得的第一图像数据以及通过拍摄观看用户而获得的第二图像数据，并通过分析图像中的每一个而产生指示形成对话对的一对所显示用户和观看用户的对话对确定信息。

此外，本公开的第三方面是

一种信息处理系统，包含：传输设备，执行图像传输；以及接收设备，从传输设备接收传输图像并在显示单元上显示传输图像，

其中，

传输设备传输：

将显示在接收设备的显示单元上的所显示用户图像；以及

指示哪一所显示用户正对观看显示单元的多个观看用户中的哪一观看用户讲话的对话对确定信息，

接收设备

基于对话对确定信息而产生能够识别哪一所显示用户正对哪一观看用户讲话的对话对识别信息，并将所产生的信息与所显示用户一起输出到显示单元。

此外，本公开的第四方面是

一种在信息处理设备中执行的信息处理方法，

其中，信息处理设备包含产生显示单元的显示图像的显示图像产生单元，并且

显示图像产生单元产生

能够识别显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息，并将所产生的信息与所显示用户一起输出到显示单元。

此外，本公开的第五方面是

一种使信息处理设备执行信息处理的程序，

其中，信息处理设备包含产生显示单元的显示图像的显示图像产生单元，并且

所述程序使显示图像产生单元执行产生能够识别显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息的处理以及将所产生的信息与所显示用户一起输出到显示单元的处理。

应注意，本公开的程序例如是以计算机可读格式提供给可执行各种程序代码的信息处理设备或计算机系统的可由存储介质或远程通信介质提供的程序。通过以计算机可读格式提供此程序，根据所述程序的处理实施在信息处理设备或计算机系统上。

基于下文将描述的本公开的示范性实施例和附图，本公开的其它目标、特征和优点将从具体实施方式变得清楚。应注意，在本说明书中，系统表示多个设备的逻辑集合，并且所有构成设备不需要处于同一外壳中。

本发明的效果

根据本公开的示范性实施例的配置，可以实现能够识别显示单元上的所显示用户正对哪一观看用户讲话的配置。

具体来说，所述配置包含显示图像产生单元，其中所述显示图像产生单元产生能够识别显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息，并将所产生的信息与所显示用户一起输出到显示单元。显示图像产生单元产生从形成对话对的所显示用户指向形成对话对的观看用户的箭头或图标、脸部围绕框或脸部侧面线条、虚拟视角背景图像等作为对话对识别信息，并在显示单元上显示所产生的对话对识别信息与所显示用户。

通过此配置，可以实现能够识别显示单元上的所显示用户正对哪一观看用户讲话的配置。

应注意，本说明书中所述的效果是出于示范性说明的目的而提供的，并且不希望是限制性的。也可预期其它额外效果。

附图说明

图1是图示双向通信系统的图式。

图2是图示双向通信系统的图式。

图3是图示显示单元上所显示的图像的问题的图式。

图4是图示显示单元上所显示的图像的问题的图式。

图5是图示显示单元上所显示的图像的问题的示范性解决方案的图式。

图6是图示显示单元上所显示的图像的问题的示范性解决方案的图式。

图7是图示由根据本公开的第一示范性实施例的信息处理设备执行的示范性处理的图式。

图8是图示由根据本公开的第一示范性实施例的信息处理设备执行的示范性处理的图式。

图9是图示由根据本公开的第一示范性实施例的信息处理设备执行的示范性处理的图式。

图10是图示由根据本公开的第一示范性实施例的信息处理设备执行的示范性处理的图式。

图11是图示根据本公开的第一示范性实施例的信息处理设备的示范性配置的图式。

图12是图示由本公开的信息处理设备执行的处理序列的流程图。

图13是图示由本公开的信息处理设备执行的处理序列的流程图。

图14是图示根据本公开的第二示范性实施例的信息处理设备的示范性配置的图式。

图15是图示根据本公开的第三示范性实施例的信息处理设备的示范性配置的图式。

图16是图示根据本公开的第四示范性实施例的信息处理设备的示范性配置的图式。

图17是图示根据本公开的第四示范性实施例的信息处理设备的显示图像产生单元的示范性配置的图式。

图18是图示由根据本公开的第四示范性实施例的信息处理设备执行的示范性处理的图式。

图19是图示根据本公开的第五示范性实施例的信息处理设备的示范性配置的图式。

图20是图示根据本公开的第五示范性实施例的信息处理设备的显示图像产生单元的示范性配置的图式。

图21是图示将脸部围绕框用作对话对识别信息的实例的图式。

图22是图示在将脸部围绕框用作对话对识别信息的状况下的信息处理设备的处理序列的流程图。

图23是图示在将脸部围绕框用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图24是图示将脸部侧面线条用作对话对识别信息的实例的图式。

图25是图示在将脸部侧面线条用作对话对识别信息的状况下的信息处理设备的处理序列的流程图。

图26是图示在将脸部侧面线条用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图27是图示将脸部侧面盒体用作对话对识别信息的实例的图式。

图28是图示将脸部侧面球体用作对话对识别信息的实例的图式。

图29是图示在将脸部侧面盒体(或球体)用作对话对识别信息的状况下的信息处理设备的处理序列的流程图。

图30是图示在将脸部侧面盒体(或球体)用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图31是图示将背景透视变换用作对话对识别信息的实例的图式。

图32是图示在将背景透视变换用作对话对识别信息的状况下的信息处理设备的处理序列的流程图。

图33是图示在将背景透视变换用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图34是图示在将背景透视变换用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图35是图示在将背景透视变换用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图36是图示在将背景透视变换用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图37是图示在将背景透视变换用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图38是图示将脸部的脸部阴影校正用作对话对识别信息的实例的图式。

图39是图示在将脸部阴影校正用作对话对识别信息的状况下的信息处理设备的处理序列的流程图。

图40是图示在将脸部阴影校正用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图41是图示在将脸部阴影校正用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图42是图示在将脸部阴影校正用作对话对识别信息的状况下的信息处理设备的处理的具体实例的图式。

图43是图示信息处理设备的硬件的示范性配置的图式。

具体实施方式

下文中，将参照附图来详细描述本公开的信息处理设备、信息处理系统、信息处理方法和程序。应注意，根据以下项目来进行描述。

1.双向通信系统的配置的概述和问题

2.(第一示范性实施例)根据本公开的第一示范性实施例的信息处理设备的配置和处理

2-1.由信息处理设备执行的处理

2-2.信息处理设备的配置实例

3.(第二示范性实施例)用于在两个场所的显示单元上显示对话对识别信息的双向处理系统的第二示范性实施例

4.(第三示范性实施例)可显示正脸图像的示范性实施例

5.(第四示范性实施例)校正并显示背景图像和人图像的示范性实施例

6.(第五示范性实施例)追踪观看用户的位置以在校正并显示背景图像和人图像的处理中更新所校正图像的示范性实施例

7.对话对识别信息的具体实例

7-1.(1)将脸部围绕框用作对话对识别信息的实例

7-2.(2)将脸部侧面线条用作对话对识别信息的实例

7-3.(3)将脸部侧面盒体(或球体)用作对话对识别信息的实例

7-4.(4)将背景图像的透视变换用作对话对识别信息的实例

7-5.(5)将脸部阴影用作对话对识别信息的实例

8.信息处理设备的硬件配置实例

9.本公开的配置的概述

[1.双向通信系统的配置的概述和问题]

首先，将描述双向通信系统的配置的概述和问题。

图1是图示双向通信系统的示范性配置的图式。

图1包含：

(1)第一场所；以及

(2)第二场所。

图1图示这两个场所的配置实例。

这两个场所设置在相互分离的远程地点，并且个别场所处的用户相互执行双向通信。个别场所处的个别系统经由网络30而相互连接。

第一场所包含用户A、B和C。

此外，第一场所包含数据处理单元10以及连接到数据处理单元10的显示单元(显示器)11、相机12和语音输入/输出单元(麦克风和扬声器)13。

同时，第二场所包含用户D、E和F。

此外，第二场所包含数据处理单元20以及连接到数据处理单元20的显示单元(显示器)21、相机22和语音输入/输出单元(麦克风和扬声器)23。

第一场所处的相机12拍摄第一场所处的用户A、B和C，并且所拍摄图像数据经由数据处理单元10和网络30而传输到第二场所处的数据处理单元20。

第二场所处的数据处理单元20在显示单元21上显示来自第一场所的所接收的图像。

此外，第一场所处的语音输入/输出单元(麦克风和扬声器)13获得第一场所处的用户A、B和C的话语，并且所获得的语音数据经由数据处理单元10和网络30而传输到第二场所处的数据处理单元20。

第二场所处的数据处理单元20经由语音输入/输出单元(麦克风和扬声器)23而输出来自第一场所的所接收的语音。

同时，第二场所处的相机22拍摄第二场所处的用户D、E和F，并且所拍摄图像数据经由数据处理单元20和网络30而传输到第一场所处的数据处理单元10。

第一场所处的数据处理单元10在显示单元11上显示从第二场所接收的图像。

此外，第二场所处的语音输入/输出单元(麦克风和扬声器)23获得第二场所处的用户D、E和F的话语，并且所获得的语音数据经由数据处理单元20和网络30而传输到第一场所处的数据处理单元10。

第一场所处的数据处理单元10经由语音输入/输出单元(麦克风和扬声器)13而输出来自第二场所的所接收的语音。

此处理使第一场所处的用户A、B和C以及第二场所处的用户D、E和F经由显示单元和扬声器而获得远程用户的图像和话语，以便执行双向通信。

图2是图示双向通信系统中所实施的通信环境的一个实例的图式。

图2(1)图示第一场所侧上的用户A、B和C以及显示单元11上所显示的第二场所处的用户D、E和F。

图2(2)图示第二场所侧上的用户D、E和F以及显示单元21上所显示的第一场所处的用户A、B和C。

在这些场所中，可以在具有遥远场所中的其它用户存在于一个用户之前的逼真感觉(即，这些用户存在于同一会议室中的感觉，如图2(3)所图示)的情况下相互通信。

然而，此双向通信系统包含如下问题：例如显示单元(显示器)上所显示的用户的视线方向不匹配用户实际上注视的方向。

这主要是因为从用于拍摄场所中的每一个处的用户的相机所处的一个视角拍摄的图像显示在另一方的显示设备上。

此问题可在多个用户(例如，会议参与者)存在于显示单元之前的状况下特别严重。

将参照图3或下文描述此问题。

图3是图示参照图1和图2所述的双向通信系统中的场所中的每一个的显示单元上所显示的示范性显示图像的图式。

第一场所的显示单元11显示第二场所处的用户D、E和F的图像。

此图像是第二场所处的相机22所拍摄的图像。

同时，第一场所处的用户A、B和C的图像显示在第二场所处的显示单元21上。

此图像是第一场所处的相机12所拍摄的图像。

现在假设第一场所处的用户C开始对处于显示单元11上所显示的第二场所处的用户D、E和F的中央处的用户E讲话并且眼睛注视着。

因为第二场所处的用户D、E和F显示在显示单元11上并且用户E在显示单元的水平方向上显示在中央区域中，所以用户对显示单元11的中央方向(P2)讲话并且眼睛注视着。

应注意，图3从图的左侧起包含识别符P1、P2和P3作为指示显示单元11的水平方向的位置识别符。

用于拍摄第一场所处的用户A、B和C的相机12固定在显示单元的水平方向上的中央区域(P2)中。

相机12从位置P2拍摄视角图像，并且所拍摄图像显示在第二场所处的显示单元21上。

第二场所处的显示单元21上所显示的第一场所处的用户A、B和C如图3所图示而设定。

第一场所处的讲话用户C正对显示单元11上所显示的用户E讲话并且眼睛注视着。此视线指向相机12的位置(P)。

也就是说，用户C处于在视线指向相机12的情况下讲话的状态下，并且用户C的图像被拍摄为相对于相机12面向前的图像。

因此，第二场所的显示单元21上所显示的第一场所C的图像是面向前的图像。

也就是说，第二场所处的显示单元21的显示图像是用户C看上去正对第二场所处的用户F讲话的显示图像。

应注意，脸部的取向在所述图中随着视线方向改变以便清楚表达关于用户中的每一个的视线方向的奇怪感觉，但实际图像将给出关于显示图像中的用户视线的轻微水平的奇怪感觉。这类似地适用于下文所图示的其它附图。

以此方式，即使第一场所处的用户C正对第二场所处的用户E讲话，第二场所处的用户F也会误以为第一场所处的用户C正对用户F自己讲话。

以此方式，因为显示单元上所显示的对象的视线方向由相机的拍摄视角的位置决定，所以取决于在显示单元之前排出一排的用户的位置，而导致在不同于实际视线方向的视线方向上的图像的观察。

图4是图示显示了具有错误视线方向的图像的另一实例的图式。

第一场所的显示单元11显示第二场所处的用户D、E和F的图像。

此图像是第二场所处的相机22所拍摄的图像。

同时，第一场所处的用户A、B和C的图像显示在第二场所处的显示单元21上。

此图像是第一场所处的相机12所拍摄的图像。

图4所图示的实例是第一场所处的用户C正对显示单元11上所显示的第二场所处的用户F讲话并且眼睛注视着的实例。

第二场所处的用户D、E和F显示在显示单元11上。因为用户F在显示单元11上显示在用户C的前方区域(P3)中，所以用户C对显示单元11的前方(P3)讲话并且眼睛注视着。

用于拍摄第一场所处的用户A、B和C的相机12固定在显示单元的水平方向上的中央区域(P2)中。

相机12从位置P2拍摄视角图像，并且所拍摄图像显示在第二场所处的显示单元21上。

第二场所处的显示单元21上所显示的第一场所处的用户A、B和C如图3所图示而设定。

第一场所处的讲话用户C正对显示单元11上所显示的用户F讲话并且眼睛注视着。此视线并未指向相机12的位置(P)。

也就是说，用户C处于在视线指向不同于相机12的方向的情况下讲话的状态下，并且用户C的图像被拍摄为视线指向不同于相机12的方向的图像。

因此，第二场所的显示单元21上所显示的第一场所C的图像是面向右侧(F的外侧)的图像，如附图所图示。

也就是说，第二场所处的显示单元21的显示图像是用户C看上去正对第二场所处的用户F的外侧讲话的显示图像。

应注意，为了简单期间，脸部的取向在所述图中随着视线方向改变，但实际图像将给出关于显示图像中的用户视线的轻微水平的奇怪感觉。

以此方式，即使第一场所处的用户C正对第二场所处的用户F讲话，第二场所处的用户F也会误以为第一场所处的用户C并不是对用户F自己讲话。

如参照图3和图4所述，显示单元上所显示的对象的视线方向是取决于相机的拍摄视角的位置来决定的。

此视线方向是从相机视角所见的视线方向。

因此，当显示所拍摄图像的显示单元之前的观看用户从不同于拍摄所述图像的相机的视角的视角位置观察显示图像时，显示图像中的人的视线方向不同于实际视线方向，从而导致对通畅通信的阻碍。

将描述用于解决此问题的示范性常规配置。

例如，专利文献2(第3289730号日本专利)公开一种配置，如图5所图示，其中各种视角方向的图像由多个相机31到33采集，并且多个图像显示在多视角图像显示器35上。

多视角图像显示器35是能够观看取决于观看方向而不同的图像的特殊显示器。

多视角图像显示器35上所显示的D视角图像拍摄相机31的所拍摄图像可以是仅从第二场所处的用户D的位置观看。

多视角图像显示器35上所显示的E视角图像拍摄相机31的所拍摄图像可以是仅从第二场所处的用户E的位置观看。

多视角图像显示器35上所显示的视角F图像拍摄相机31的所拍摄图像可以是仅从第二场所处的用户F的位置观看。

通过此配置，第二场所处的用户D、E和F可观看没有给出对应于其个别位置(视角)的奇怪感觉的图像。

然而，此配置的实施需要特殊多视角图像显示器。

此外，会产生如下问题：第一场所处所设定的相机的位置必须随着第二场所处的用户的位置而改变。

同时，如图6所图示，专利文献3(第2012-070081号日本专利申请特许公开)公开一种配置，其中所述配置校正显示图像中所包含的人的脸部上的眼睛的位置、形状等并进行显示，以便允许显示单元上的显示图像与实际视线方向匹配。

然而，此处理需要提取将在显示单元上显示的脸部图像，识别所提取的脸部图像中所包含的眼睛的图像区域，并根据每一个人的实际视线方向而对眼睛图像区域执行校正处理，从而导致必须执行特殊图像处理。

此外，诸如此类的图像校正处理可导致显示将给出较多奇怪感觉的图像。

下文描述本公开的配置，其中所述配置能够清楚区分显示单元(显示器)上所显示的通信参与用户(所显示用户)正对观看显示单元的观看用户中的谁讲话，而不导致此种问题。

[2.(第一示范性实施例)根据本公开的第一示范性实施例的信息处理设备的配置和处理]

下文中，将描述根据本公开的第一示范性实施例的信息处理设备的配置和处理。

下文所述的根据本公开的信息处理设备例如在上文所述的图1和图2所图示的双向通信系统中所使用的显示单元(显示器)上控制显示图像。

下文中，将依序描述本公开的多个示范性实施例。

[2-1.由信息处理设备执行的处理]

将参照图7来描述由根据本公开的第一示范性实施例的信息处理设备执行的处理。

图7是图示参照图1和图2所述的双向通信的执行期间作为场所中的一个的第一场所的状态的图式。

所述图示包含作为第一场所的用户的观看用户A到C 130以及显示单元101。显示单元101包含相机102和扬声器103。

显示单元101显示第二场所处的用户D到F。

应注意，在下文中，显示单元上所显示的用户被称为“所显示用户”，并且观看显示单元的用户被称为“观看用户”。

图7所图示的所显示用户110是用户D、E和F，并且观看用户130是用户A、B和C。

假设观看用户130(A、B和C)中的一个和所显示用户110(D、E和F)中的一个正相互讲话。

在本示范性实施例中，指示显示单元101上所显示的所显示用户(讲话者)正对哪一观看用户讲话的“对话对识别信息121”显示在显示单元101上。

所述图中显示单元101的所显示用户E上方所图示的箭头是“对话对识别信息121”。

在所图示的实例中，进行对话的用户对(即，“对话对”)是所显示用户E和观看用户C。也就是说，对话对是“E-C”。

在对话对E-C的状况下，所述图中作为显示单元101上所显示的“对话对识别信息121”的“箭头”被图示在形成对话对的所显示用户E的附近(在本实例中，上部部分中)，并且箭头的方向被显示为指向对话对的观看用户C的设定箭头。

通过观看在显示单元101上与所显示用户110一起显示的“对话对识别信息121”，观看用户A到C可正确地判断所显示用户E正对观看用户C讲话。

观看用户C可立即确认所显示用户E正对自己讲话，并且通畅通信得以实现。

图8图示“对话对”是所显示用户F和观看用户A的示范性状况。也就是说，对话对是“F-A”。

在对话对的设定中，所述图中作为显示单元101上所显示的“对话对识别信息122”的“箭头”被图示在形成对话对的所显示用户F的附近(在本实例中，上部部分中)，并且箭头的方向被显示为指向对话对的观看用户A的设定箭头。

通过观看在显示单元101上与所显示用户110一起显示的“对话对识别信息122”，观看用户A到C正确地判断所显示用户F正对观看用户A讲话。

观看用户A可立即确认所显示用户F正对自己讲话，并且通畅通信得以实现。

图7和图8所图示的实例是将状如“箭头”的识别标记用作“对话对识别信息”的实例。

然而，对话对识别信息不限于此箭头，而是各种形式是可能的。

例如，图9图示使用布置类似于观看用户的布置的人形图标的“对话对识别信息123”的实例。

图9的显示单元101上所显示的作为“对话对识别信息123”的“观看用户队列图标”指示在形成对话对的所显示用户E的附近(在本实例中，上部部分中)。

“观看用户队列图标”中所图示的多个观看用户队列图标中，对应于形成对话对的观看用户C的位置的一个用户图标闪烁。

通过观看在显示单元101上与所显示用户110一起显示的“对话对识别信息123”，观看用户A到C可正确地判断所显示用户E正对观看用户C讲话。

观看用户C可立即确认所显示用户E正对自己讲话，并且通畅通信得以实现。

图10图示对话对是F-A的实例。

图10的显示单元101上所显示的作为“对话对识别信息124”的“观看用户队列图标”指示在形成对话对的所显示用户F的附近(在本实例中，上部部分中)。

“观看用户队列图标”中所图示的多个观看用户队列图标中，对应于形成对话对的观看用户A的位置的一个用户图标闪烁。

通过观看在显示单元101上与所显示用户110一起显示的“对话对识别信息124”，观看用户A到C正确地判断所显示用户F正对观看用户A讲话。

观看用户A可立即确认所显示用户F正对自己讲话，并且通畅通信得以实现。

已参照图7到图10描述两种不同模式的“对话对识别信息”的实例。

除这些实例之外，例如，还可以使用指示观看用户的位置的编号或观看用户的姓名、各种其它标记、图标等的显示。

[2-2.信息处理设备的配置实例]

接着，将参照图11来描述根据本公开的第一示范性实施例的信息处理设备的配置。

图11图示经由网络执行双向通信的第一场所和第二场所的信息处理设备的配置实例。

个别场所处的设备经由例如因特网等网络170而执行远程通信，并且个别场所处的用户执行例如会议等双向通信。

在第一示范性实施例的配置中，参照图7到图10所述的“对话对识别信息”叠加并显示在图11所图示的第二场所的显示单元(即，图11的右下端处所指示的第二场所显示单元165)中的所显示用户上。

“对话对识别信息”没有显示在图11所图示的第一场所的显示单元(即，图11的左上端处所指示的第一场所显示单元155)上，并且单独包含所显示用户的正常图像得以显示。

应注意，在两个场所处的显示设备上显示“对话对识别信息”的双向处理系统将在后文作为第二示范性实施例来描述。

首先，将描述第一场所侧上的信息处理设备的配置和处理。

第一场所成像单元(相机)151拍摄第一场所处的用户，例如，用户A到C。

第一场所所拍摄图像s 172s作为所拍摄图像经由网络170而从第一场所传输/接收单元154传输到第二场所。

应注意，虽然所述图中未图示，但语音数据也与图像一起传输。

应注意，所述图中由虚线框指示的数据是将在个别部件之间输入/输出的数据。

在场所之间传输和接收的数据被区分，以使得s被添加到传输侧数据，并且r被添加到接收侧数据。

作为上文所述的所拍摄图像的第一场所所拍摄图像s 172s是从第一场所传输到第二场所的图像数据，并且s被添加。

图11中的第二场所侧上所图示的第一场所所拍摄图像r 172r是与第一场所侧上所图示的“第一场所所拍摄图像s 172s”相同的数据。这是从第一场所传输到第二场所并由第二场所处的信息处理设备接收的数据，被图示为添加了r。

第一场所显示单元155显示从第二场所传输的第二场所所拍摄图像r181r。

第一场所用户信息获取单元152包含用于获取除第一场所成像单元(相机)151所获得的图像数据之外的用户信息(例如，语音数据和语音方向)的麦克风、用于获取用户位置或与相机相距的距离的传感器等。

用户信息与成像单元151所拍摄的用户图像信息一起输入到对话对确定单元153。

如所述图所图示，第一场所所拍摄图像s 172s和第一场所用户信息171输入到对话对确定单元153。

对话对确定单元153还从第二场所输入作为第二场所侧上的用户的图像的第二场所所拍摄图像r 181r以及包含第二场所处的用户的语音和位置信息的第二场所用户信息182r等。

对话对确定单元153使用所输入的数据以检查第一场所侧用户和第二场所侧用户中的哪一对用户正进行对话，即，执行对话对检测处理。

具体来说，所述处理识别在第一场所与第二场所之间进行对话的用户，以便获得这些用户的位置信息。

具体来说，首先基于语音数据来确定对话存在与否，并且在确定存在对话的状况下，从图像数据、语音方向数据等识别进行对话的个别场所处的用户。

此识别处理可例如通过基于语音方向数据的分析或通过使用图像数据的对话用户的视线方向的分析等来执行。

用户位置信息是对于显示上文参照图7到图10所述的对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

以此方式，对话对确定单元153使用从场所中的每一个获得的用户图像、语音、语音方向信息、用户位置信息等来识别对话对，确定形成对话对的用户的位置，并产生包含这诸段信息的对话对第一确定信息s 173s。

经由第一场所传输/接收单元154和网络170而将对话对确定单元153所产生的对话对第一确定信息s 173s传输到第二场所处的信息处理设备。

应注意，虽然图11所图示的配置是对话对确定单元153使用除所拍摄图像之外的语音信息和传感器检测信息而产生对话对确定信息的状况，但也允许配置成单独使用从场所中的每一个输入的所拍摄图像来产生对话对确定信息。

从图像中所包含的用户中的每一个的相机位置和位置关系区分用户位置，并分析从图像获得的嘴部移动来识别进行对话的讲话者。通过此处理，还可以通过单独使用图像来产生对话对确定信息。

接着，将描述由第二场所处的信息处理设备执行的处理。

第二场所成像单元(相机)161拍摄第二场所处的用户，例如，用户D到E。

第二场所所拍摄图像s 181s作为所拍摄图像经由网络170而从第二场所传输/接收单元163传输到第一场所。

应注意，虽然所述图中未图示，但语音数据也与图像一起传输。

第二场所用户信息获取单元162包含用于获取除第二场所成像单元(相机)161所获得的图像数据之外的用户信息(例如，语音数据和语音方向)的麦克风、用于获取用户位置或与相机相距的距离的传感器等。

这诸段用户信息与成像单元161所拍摄的用户图像信息一起传输到第一场所，并输入到第一场所的对话对确定单元153以用于对话对确定处理。

由第一场所处的对话对确定单元153产生的对话对第一确定信息输入到第二场所处的信息处理设备的第二场所显示图像产生单元164。

如所述图所图示，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

第二场所显示图像产生单元164应用这诸段所输入的数据以产生通过将如参照图7到图10所述的“对话对识别信息”叠加在包含第一场所的用户的第一场所所拍摄图像r 172r上而获得的显示图像，并将所产生的显示图像输出到第二场所显示单元165。

第二场所显示图像产生单元164基于第一场所的对话对确定单元153所产生的对话对第一确定信息r 173r而识别形成对话对的所显示用户和观看用户，并进一步获得用户的位置信息，并接着基于这诸段信息而决定将显示在显示单元上的“对话对识别信息”的显示模式。

“对话对识别信息”根据此处理所决定的显示模式而显示在包含第一场所处的用户的显示图像上。

因此，叠加了如上文参照图7到图10所述的“对话对识别信息”的显示图像显示在第二场所显示单元165上。

应注意，虽然图11所图示的配置是叠加了“对话对识别信息”的显示图像单独显示在第二场所显示单元165上的状况，但也可以通过在第一场所侧上设定执行类似于第二场所显示图像产生单元164所执行的处理的图像处理的图像处理单元，而允许叠加了“对话对识别信息”的显示图像显示在第一场所显示单元155上。

也就是说，允许配置成将第一场所处的对话对确定单元153所产生的对话对第一确定信息s 173s输入到第一场所侧上所设定的显示图像产生单元，并在第一场所显示单元155上显示叠加了“对话对识别信息”的显示图像。

接着，将参照图12所图示的流程图来描述由图11所图示的第一场所侧对话对确定单元153执行的对话对确定处理的序列实例。

下文中，将依序描述图12所图示的流程图的步骤中的每一个的处理。

(步骤S101)

首先，在步骤S101中，对话对确定153输入第一场所的图像和用户信息以及第二场所的图像和用户信息。

如上文参照图11所述，对话对确定单元153输入作为第一场所侧上的用户的图像的第一场所所拍摄图像s 172s以及包含第一场所处的用户的语音、位置信息等的第一场所用户信息171。

此外，对话对确定单元153输入作为经由网络从第二场所接收的第二场所侧上的用户的图像的第二场所所拍摄图像r 181r以及包含第二场所处的用户的语音和位置信息等的第二场所用户信息182r。

(步骤S102到S103)

接着，对话对确定单元153在步骤S102到S103中确定在第一场所侧用户和第二场所侧用户中是否存在讲话者，即，对话是否正通过使用步骤S101中所输入的数据而进行。

具体来说，所述处理包含例如基于语音数据来确定对话存在与否。或者，可通过从图像数据检测嘴部移动来进行确定。

在确定正进行对话的状况下，所述处理进行到步骤S104。

在确定并未进行对话的状况下，所述处理结束。

(步骤S104)

接着，在步骤S104中，对话对确定单元153确定对话用户(讲话者)的位置和视线方向。

例如，执行使用图像数据的对话用户的视线方向分析。

(步骤S105)

接着，对话对确定单元153在步骤S105中将包含对话用户(讲话者)以及存在于讲话者的视线方向上的用户的一对确定为对话对。

具体来说，所述处理识别在第一场所与第二场所之间进行对话的用户。此识别处理可例如通过基于语音方向数据的分析或通过使用图像数据的对话用户的视线方向的分析等来执行。

由此用户识别处理识别的用户对被确定为对话对。

(步骤S106)

接着，对话对确定单元153在步骤S105中产生包含形成对话对的用户的用户识别信息和用户位置信息的对话对确定信息。

用户位置信息是对于显示上文参照图7到图10所述的对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

以此方式，对话对确定单元153使用从场所中的每一个获得的用户图像、语音、语音方向信息、用户位置信息等来识别对话对，确定形成对话对的用户的位置，并产生包含这诸段信息的对话对确定信息。

对话对确定单元153所产生的对话对确定信息从第一场所传输到第二场所处的信息处理设备，以便用于包含参照图7到图10所述的对话对识别信息的显示图像在第二场所处的信息处理设备的第二场所显示图像产生单元164中的产生处理中。

接着，将参照图13所图示的流程图来描述在第二场所处的信息处理设备的第二场所显示图像产生单元164中产生和输出包含将执行的对话对识别信息的显示图像的处理序列。

下文中，将依序描述图13所图示的流程图的步骤中的每一个的处理。

(步骤S201)

首先，第二场所显示图像产生单元164在步骤S201中输入所显示用户的所拍摄图像以及对话对确定信息。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示上文参照图7到图10所述的对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

(步骤S202)

接着，第二场所显示图像产生单元164在步骤S202中从步骤S201中所输入的对话对确定信息获得进行对话的所显示用户和观看用户的位置。

(步骤S203)

接着，在步骤S203中，第二场所显示图像产生单元164产生通过将指示进行对话的所显示用户与观看用户之间的位置关系的对话对识别信息叠加在所显示用户的所拍摄图像上而获得的显示图像，并将所产生的图像输出到显示单元。

如上文参照图11所述，第二场所显示图像产生单元164产生通过将如参照图7到图10所述的“对话对识别信息”叠加在包含第一场所的用户的第一场所所拍摄图像r 172r上而获得的显示图像，并将所产生的显示图像输出到第二场所显示单元165。

第二场所显示图像产生单元164基于第一场所的对话对确定单元153所产生的对话对第一确定信息r 173r而识别形成对话对的所显示用户和观看用户，并进一步获得用户的位置信息，并接着基于这诸段信息而决定将显示在显示单元上的“对话对识别信息”的显示模式。

“对话对识别信息”根据此处理所决定的显示模式而显示在包含第一场所处的用户的显示图像上。

因此，叠加了如上文参照图7到图10所述的“对话对识别信息”的显示图像显示在第二场所显示单元165上。

鉴于显示单元上所显示的“对话对识别信息”，第二场所处的观看用户可立即准确地领会所显示用户中的哪一用户正对哪一观看用户讲话，从而导致通畅通信的实现。

[3.(第二示范性实施例)用于在两个场所的显示单元上显示对话对识别信息的双向处理系统的第二示范性实施例]

接着，作为本公开的第二示范性实施例，将描述在双向通信的执行的多个场所处所布置的显示单元中的每一个上显示对话对识别信息的双向处理系统的示范性实施例。

图14是图示根据第二示范性实施例的信息处理系统的配置实例的图式。

与第一示范性实施例中所述的图11所图示的系统的配置不同之处如下所述。

(a)对话对确定单元211被设定在第二场所的信息处理设备中，并且

(b)第一场所显示图像产生单元201被设定在第一场所的信息处理设备中。

上述配置(a)和(b)被添加到第一示范性实施例中所述的图11的配置。此配置不仅在第二场所显示单元165中而且在第一场所显示单元155中通过将信息叠加在所显示用户图像上来显示对话对识别信息。

如图14所图示，第二场所处的信息处理设备的对话对确定单元211输入第二场所所拍摄图像s 181s和第二场所用户信息182s，并进一步输入作为来自第一场所的接收数据的第一场所所拍摄图像r 172r以及包含第一场所的用户的语音、位置信息等的第一场所用户信息r 171r。

对话对确定单元211使用所输入的数据以检查第一场所侧用户和第二场所侧用户中的哪一对用户正进行对话，即，执行对话对检测处理。

具体来说，所述处理识别在第一场所与第二场所之间进行对话的用户，以便获得这些用户的位置信息。

此处理类似于由上文参照图11所述的第一场所侧上的对话对确定单元153执行的处理。

对话对确定单元211使用从场所中的每一个获得的用户图像、语音、语音方向信息、用户位置信息等来识别对话对，确定形成对话对的用户的位置，并产生包含这诸段信息的对话对第二确定信息s 231s。

经由第二场所传输/接收单元163和网络170而将对话对确定单元211所产生的对话对第二确定信息s 231s传输到第一场所处的信息处理设备。

应注意，虽然图14所图示的配置是对话对确定单元211使用除所拍摄图像之外的语音信息和传感器检测信息而产生对话对确定信息的状况，但也允许配置成单独使用从场所中的每一个输入的所拍摄图像来产生对话对确定信息。

从图像中所包含的用户中的每一个的相机位置和位置关系区分用户位置，并分析从图像获得的嘴部移动来识别进行对话的讲话者。通过此处理，还可以通过单独使用图像来产生对话对确定信息。

第二场所所拍摄图像r 181r与第二场所处的对话对确定单元211所产生的对话对第二确定信息r 231r一起输入到第一场所处的第一场所显示图像产生单元201。

第一场所显示图像产生单元201应用这诸段所输入的数据以产生通过将如参照图7到图10所述的“对话对识别信息”叠加在包含第二场所的用户的第二场所所拍摄图像r 181r上而获得的显示图像，并将所产生的显示图像输出到第一场所显示单元155。

第一场所显示图像产生单元201基于第二场所的对话对确定单元211所产生的对话对第二确定信息r 231r而识别形成对话对的所显示用户和观看用户，并进一步获得用户的位置信息，并接着基于这诸段信息而决定将显示在显示单元上的“对话对识别信息”的显示模式。

“对话对识别信息”根据此处理所决定的显示模式而显示在包含第二场所处的用户的显示图像上。

因此，叠加了如上文参照图7到图10所述的“对话对识别信息”的显示图像显示在第一场所显示单元155上。

其它处理类似于第一示范性实施例的状况，并且因此省略了描述。

在第二示范性实施例中，“对话对识别信息”根据另一方场所的用户图像而叠加在第一场所与第二场所两者的显示单元上并显示。

因此，双方观看用户可准确地领会显示单元上所显示的所显示用户正对谁讲话，从而使得可以实现通畅通信。

[4.(第三示范性实施例)可显示正脸图像的示范性实施例]

接着，作为本公开的第三示范性实施例，将描述使显示单元上所显示的用户脸部能够作为面向前的图像显示的示范性实施例。

图15是图示根据第三示范性实施例的信息处理系统的配置实例的图式。

与第一示范性实施例中所述的图11所图示的系统的配置不同之处如下所述。

(a)配置已改变为包含从不同视角拍摄第一场所的第一场所成像单元151的多个相机。

(b)正脸产生单元251被设定在第一场所的信息处理设备中。

上述配置改变(a)和(b)被添加到第一示范性实施例中所述的图11的配置，以能够将第二场所显示单元165上所显示的所显示用户脸部作为面向前的脸部显示。

正脸产生单元251从第一场所成像单元151输入来自多个不同视角的所拍摄图像，并使用多个图像而将用户的3D模型作为对象产生。

3D模型包含对象的三维位置数据以及位置中的每一个的像素值数据，并且可以是从来自不同视角的图像产生。

正脸产生单元251应用所产生的3D模型以将正脸图像s 252s作为对象用户的面向前的脸部图像产生，并且经由网络170而将所产生的图像传输到第二场所处的信息处理设备。

第二场所显示图像产生单元164输入正脸图像r 252r，将第一场所所拍摄图像r 172r的脸部区域替换为此输入正脸图像，并输出图像。

应注意，类似于第一示范性实施例，“对话对识别信息”叠加在由面向前的脸部图像替换的图像上以便显示在第二场所显示单元165上。

因此，第二场所显示单元165上所显示的所显示用户脸部作为面向前的图像而显示，并且此外，作为叠加了如上文参照图7到图10所述的“对话对识别信息”的显示图像而显示。

其它处理类似于第一示范性实施例的状况，并且因此省略了描述。

在第三示范性实施例中，显示单元上所显示的另一方场所的用户图像是面向前的脸部图像。因此，观看用户可感觉显示单元上所显示的所显示用户正对观看用户侧讲话并且眼睛注视着，从而使得可以实现通畅通信。

应注意，将被应用面向前的脸部图像的所显示用户可以是所有所显示用户或作为对话对的指定的所显示用户。

[5.(第四示范性实施例)校正并显示背景图像和人图像的示范性实施例]

接着，作为本公开的第四示范性实施例，将描述校正并显示将显示在显示单元上的背景图像和人图像的示范性实施例。

图16是图示根据第四示范性实施例的信息处理系统的配置实例的图式。

与第一示范性实施例中所述的图11所图示的系统的配置不同之处如下所述。

(a)人图像校正单元260和背景图像校正单元270被设定在第二场所的第二场所显示图像产生单元164中。

上述配置改变(a)被添加到第一示范性实施例中所述的图11的配置，以便校正第二场所显示单元165上所显示的图像。

图17图示第二场所处的第二场所显示图像产生单元164的具体配置实例。

第二场所显示图像产生单元164的人/背景图像分离单元255执行将第一场所所拍摄图像r 172r中所包含的人图像区域与背景图像区域分离的处理。

应注意，例如从第一场所输入的第一场所所拍摄图像对象距离信息(深度数据)255r应用到此处理。

虽然图16中未图示，但第一场所处的信息处理设备使用深度传感器来测量对象距离并将测量信息传输到第二场所。

或者，也允许具有如上文在第三示范性实施例中所述的配置，即，将从多个不同视角拍摄的多个图像传输到第二场所的配置，并且接着，人/背景图像分离单元255可基于多个图像来执行将人图像区域与背景图像区域分离的处理。

由人/背景图像分离单元255的分离处理产生的人图像输入到人图像校正单元260的正脸图像产生单元261，而背景图像输入到背景图像校正单元270的视角变换图像产生单元271。

顺便提及，对话对第一确定信息r 173r和第一场所所拍摄图像对象距离信息(深度数据)255r也输入到人图像校正单元260和背景图像校正单元270。

类似于上文所述的第三示范性实施例的正脸产生单元251的状况，人图像校正单元260的正脸图像产生单元261产生所显示用户的正脸。

应注意，将被应用面向前的脸部图像的所显示用户可以是所有所显示用户或作为对话对的指定的所显示用户。

此外，背景图像校正单元270的视角变换图像产生单元271执行改变背景图像的视角和透视的处理。

应注意，术语“透视”表示透视图。显示单元上所显示的图像作为实质上对应于来自拍摄图像的相机的视角的透视图的图像显示。虽然在相机视角匹配观看用户的视角的状况下不存在问题，但观看者在相机视角不同于观看者的视角的状况下将对显示图像感觉奇怪。

将参照图18来描述此问题。

图18(1)图示双向通信执行环境。

观看用户(D、E和F)282正与显示单元281上所显示的所显示用户(A、B和C)283进行对话，其中显示单元281被布置在桌子280上。

相机283安装在显示单元的上方中心处。

应注意，通过也在所显示用户A到C 283侧上的场所处的显示单元(其中相机布置在相同形状的桌子上)进行通信。

图18(2A)和(2B)将透视(透视图)的实例作为此时从观看用户D、E和F的视角观察的场景来图示。

图(2A)是作为由观看用户E在对应于显示单元281上所显示的图像的拍摄相机(所显示用户A到C的场所处所安装的相机)的视角位置处观察的场景的透视实例(透视图)。

图(2B)是作为由观看用户F在不同于拍摄显示单元281上所显示的图像的相机的视角位置处观察的场景的示范性透视(透视图)。

在(2A)所图示的实例中，实际桌子的侧面线条的倾斜度实质上与显示单元上所显示的桌子的侧面线条的倾斜度对准，从而使观看用户E能够观察图像而不感觉奇怪。

然而，在(2B)所图示的实例中，实际桌子的侧面线条的倾斜度实质上不与显示单元上所显示的桌子的侧面线条的倾斜度对准，从而使观看用户F在带有奇怪感觉的情况下观察图像。

这由于观看用户的视角与拍摄图像的相机的视角之间的差而发生。

例如，校正观看用户F所观察的图像将使得可以产生观看用户F不会奇怪的图像。

针对此处理，将显示单元上所显示的图像变换为从观看用户F的视角拍摄的虚拟视角图像的处理(透视变换处理)是有效的。

也就是说，产生来自不同于实际相机视角的虚拟视角的图像并进行显示使得可以在从对应于虚拟视角的位置观看图像时，获得了不具有奇怪感的图像。

图17所图示的视角变换图像产生单元271执行此虚拟视角图像的产生处理。

具体来说，此处理产生从被识别为对话对的观看用户的视角观察的虚拟视角图像(背景图像)。

例如从第一场所输入的第一场所所拍摄图像对象距离信息(深度数据)255r应用到虚拟视角图像的产生。

虽然图16中未图示，但第一场所处的信息处理设备使用深度传感器来测量对象距离并将测量信息传输到第二场所。

或者，也允许具有如上文在第三示范性实施例中所述的配置，即，将从多个不同视角拍摄的多个图像传输到第二场所的配置，并且接着，视角变换图像产生单元271可基于多个图像而产生虚拟视角图像。

视角变换图像产生单元271产生从形成对话对(从对话对第一确定信息r173r获得)的观看用户的视角观察的虚拟视角图像(背景图像)，并且接着将所产生的图像输出到图像组合单元256。

图像组合单元256组合正脸图像产生单元261所产生的面向前的人图像与从视角变换图像产生单元271输入的虚拟视角图像(背景图像)，并进一步叠加对话对识别信息以产生组合图像，并在第二场所显示单元165上显示组合图像。

通过此处理，第二场所显示单元165上所显示的图像变为从形成对话对的观看用户的视角观察的虚拟视角图像，并且此外，所述图像是形成对话对的所显示用户面向前的图像。观看用户可感觉显示单元上所显示的所显示用户正对观看用户侧讲话，从而导致通畅通信的实现。

应注意，将被应用面向前的脸部图像的所显示用户可以是所有所显示用户或作为对话对的指定的所显示用户。

[6.(第五示范性实施例)追踪观看用户的位置以在校正并显示背景图像和人图像的处理中更新所校正图像的示范性实施例]

接着，作为本公开的第五示范性实施例，将描述追踪观看用户的位置以在校正并显示背景图像和人图像的处理中更新所校正图像的示范性实施例。

此示范性实施例是基于上述第四示范性实施例的示范性实施例，其中根据形成对话对的观看用户的移动而依序更新将随着背景图像产生的虚拟视角图像的配置被添加到所述第四示范性实施例。

图19是图示第五示范性实施例的信息处理系统的配置实例的图式。

与第四示范性实施例中所述的图16所图示的系统的配置不同之处如下所述。

(a)第二场所所拍摄图像s 181s被输入到第二场所处的第二场所显示图像产生单元164。

配置改变(a)应用到第四示范性实施例中所述的图16的配置，并且将随着背景图像而产生的虚拟视角图像根据形成对话对的观看用户的移动而依序更新。

图20图示第二场所处的第二场所显示图像产生单元164的具体配置实例。

与第四示范性实施例中所述的图17所图示的配置的不同之处在于，第二场所所拍摄图像s 181s被输入到背景图像校正单元270。

背景图像校正单元270的视角变换图像产生单元271类似于上述第四示范性实施例而产生从被识别为对话对的观看用户的视角观察的虚拟视角图像(背景图像)。

然而，存在被识别为对话对的观看用户在显示单元或相机之前移动的状况。

当被指定为对话对的观看用户移动时，观看用户的视角位置改变。

在本示范性实施例中，视角变换图像产生单元271根据观看用户的移动位置而依序产生来自观看用户的移动位置的虚拟视角图像。

换句话说，视角变换图像产生单元271根据被指定为对话对的观看用户的位置而依序更新虚拟视角图像，并在显示单元上显示所更新的图像。

视角变换图像产生单元271从第二场所所拍摄图像s 181s获得形成对话对(从对话对第一确定信息r 173r获得)的观看用户的位置信息，并依序产生从此位置(视角)观察的虚拟视角图像(背景图像)，并且将所产生的图像输出到图像组合单元256。

图像组合单元256组合正脸图像产生单元261所产生的面向前的人图像与从视角变换图像产生单元271输入的虚拟视角图像(背景图像)，并进一步叠加对话对识别信息以产生组合图像，并在第二场所显示单元165上显示组合图像。

通过此处理，第二场所显示单元165上所显示的图像变为从形成对话对的观看用户的视角观察的虚拟视角图像，并且此外，所述图像是形成对话对的所显示用户面向前的图像。

此外，本示范性实施例具有背景图像的虚拟视角位置也与被识别为对话对的观看用户的移动一起改变的配置，并且这即使在观看用户移动时也抑制所观察的图像的奇怪感。

[7.对话对识别信息的具体实例]

上述示范性实施例包含对话对识别信息的具体实例的描述，包含参照图7和图8所述的“箭头”以及参照图9和图10所述的“观看用户队列图标”以及参照图17所述的“背景图像的透视变换”。

除这些实例之外，各种类型的显示数据可用作对话对识别信息。

下文中，将描述各种类型的对话对识别信息。

下文将依序描述实例。

(1)将脸部围绕框用作对话对识别信息的实例

(2)将脸部侧面线条用作对话对识别信息的实例

(3)将脸部侧面盒体(或球体)用作对话对识别信息的实例

(4)将背景图像的透视变换用作对话对识别信息的实例

(5)将脸部阴影用作对话对识别信息的实例

[7-1.(1)将脸部围绕框用作对话对识别信息的实例]

首先，将描述将脸部围绕框用作对话对识别信息的实例。

图21图示将脸部围绕框用作对话对识别信息的具体实例。

图21图示以下两个实例。

(1)对话对由脸部围绕框的形状表示的实例1(对话对处于屏幕上的所显示用户的前向上的状况)。

(2)对话对由脸部围绕框的形状表示的实例2(对话对处于屏幕上的所显示用户的右向上的状况)。

图21(1)所图示的实例是所显示用户F和观看用户C是对话对的示范性状况。

观看用户C存在于所显示用户F之前。

对话对识别信息301是围绕所显示用户F的脸部设定的脸部围绕框。

从脸部围绕框的形状左右对称的事实，可以确定所显示用户F正在前向上注视，即，注视作为对话对的观看用户C。

相比之下，图21(2)所图示的实例是所显示用户F和观看用户A是对话对的示范性状况。

观看用户A存在于所显示用户F的右向上。

对话对识别信息302是围绕所显示用户F的脸部设定的脸部围绕框。

从脸部围绕框的形状向右倾斜的事实，可以确定所显示用户F正在右向上注视，即，注视作为对话对的观看用户A。

以此方式，脸部围绕框围绕作为对话对的成员的所显示用户的脸部而设定，并且对话对可由所设定的脸部围绕框的形状识别。

将参照图22所图示的流程图来描述本实例中的输出图像产生和输出处理的序列。

遵循图22所图示的流程的处理例如是在图11所图示的第二场所显示图像产生单元164等中执行，或是在图14所图示的第一场所显示图像产生单元201等中执行。

下文中，将依序描述图22所图示的流程图的步骤中的每一个的处理。

应注意，在下文描述中，假设第二场所显示图像产生单元164执行处理。

(步骤S311)

首先，第二场所显示图像产生单元164在步骤S311中输入所显示用户的所拍摄图像以及对话对确定信息。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

(步骤S312)

接着，第二场所显示图像产生单元164在步骤S312中从步骤S311中所输入的对话对确定信息获得进行对话的所显示用户和观看用户的位置。

(步骤S313)

接着，在步骤S313中，第二场所显示图像产生单元164将倾斜角α作为定义脸部围绕框的形状的参数来决定。

将参照图23(1)来描述此处理。

在图23(1)所图示的实例中，对话对由对话对所显示用户305和对话对观看用户306形成。

如所述图所图示，当由从对话对所显示用户305指向对话对观看用户306的箭头和对话对所显示用户305的前向形成的角是α0时，通过以下计算公式使用默认倍率参数p0来计算倾斜角。

倾斜角：α＝p0×α0

在步骤S313中，计算上述公式来计算倾斜角α。

(步骤S314)

接着，第二场所显示图像产生单元164在步骤S314中基于默认消失点位置和倾斜角α而决定脸部围绕框的设定(形状)。

将参照图23(2)和图23(3)来描述此处理。

图23(2)图示脸部围绕框EFGH的实例。

图23(3)图示脸部围绕框EFGH的示范性产生过程。

脸部围绕框的形状决定处理是在以下过程中执行。

对话对的所显示用户的脸部的中心位置被定义为C。

垂直远离C预定义的距离L0的点被定义为P和Q。

OC的距离＝L1，并且角β是默认值。

在上述设定之后，执行以下步骤(S1)到(s4)。

(s1)从对话对的位置关系计算倾斜角α。

(s2)在以角α偏移的线条上在与点C相距预定义的距离L1的上方位置中获得点O。

(s3)绘制相对于O以角β偏移的线条OF和OG。

(s4)将由穿过P和Q的平行线条以及线条OF和OG围绕的EFGH定义为脸部围绕框EFGH。

通过这些过程的执行，定义了如图23(2)所图示的脸部围绕框EFGH。

在步骤S314中，根据上述处理来决定脸部围绕框的形状。

(步骤S315)

接着，在步骤S315中，第二场所显示图像产生单元164产生通过将脸部围绕框作为指示进行对话的所显示用户与观看用户之间的位置关系的对话对识别信息叠加在所显示用户的所拍摄图像上而获得的显示图像，并将所产生的图像输出到显示单元。

在本实例中，脸部围绕框围绕作为对话对的成员的所显示用户的脸部而设定，因此对话对可由所设定的脸部围绕框的形状识别。

例如，鉴于显示单元上所显示的作为“对话对识别信息”的“脸部围绕框”，第二场所处的观看用户可立即准确地领会所显示用户中的哪一用户正对哪一观看用户讲话，从而导致通畅通信的实现。

[7-2.(2)将脸部侧面线条用作对话对识别信息的实例]

将描述将脸部侧面线条用作对话对识别信息的实例。

图24图示将脸部侧面线条用作对话对识别信息的具体实例。

图24图示以下两个实例。

(1)对话对由脸部侧面线条的形状表示的实例1(对话对处于屏幕上的所显示用户的前向上的状况)。

(2)对话对由脸部侧面线条的形状表示的实例2(对话对处于屏幕上的所显示用户的右向上的状况)。

图24(1)所图示的实例是所显示用户F和观看用户C是对话对的示范性状况。

观看用户C存在于所显示用户F之前。

对话对识别信息311是围绕所显示用户F的脸部设定的脸部侧面线条。

从脸部侧面线条的形状左右对称的事实，可以确定所显示用户F正在前向上注视，即，注视作为对话对的观看用户C。

相比之下，图24(2)所图示的实例是所显示用户F和观看用户A是对话对的示范性状况。

观看用户A存在于所显示用户F的右向上。

对话对识别信息312是围绕所显示用户F的脸部设定的脸部侧面线条。

从脸部侧面线条的形状向右倾斜的事实，可以确定所显示用户F正在右向上注视，即，注视作为对话对的观看用户A。

以此方式，脸部侧面线条围绕作为对话对的成员的所显示用户的脸部而设定，并且对话对可由所设定的脸部侧面线条的形状识别。

将参照图25所图示的流程图来描述本实例中的输出图像产生和输出处理的序列。

遵循图25所图示的流程的处理例如是在图11所图示的第二场所显示图像产生单元164等中执行，或是在图14所图示的第一场所显示图像产生单元201等中执行。

下文中，将依序描述图25所图示的流程图的步骤中的每一个的处理。

应注意，在下文描述中，假设第二场所显示图像产生单元164执行处理。

(步骤S321)

首先，第二场所显示图像产生单元164在步骤S321中输入所显示用户的所拍摄图像以及对话对确定信息。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

(步骤S322)

接着，第二场所显示图像产生单元164在步骤S322中从步骤S321中所输入的对话对确定信息获得进行对话的所显示用户和观看用户的位置。

(步骤S323)

接着，在步骤S323中，第二场所显示图像产生单元164将倾斜角α作为定义脸部侧面线条的形状的参数来决定。

将参照图26(1)来描述此处理。

在图26(1)所图示的实例中，对话对由对话对所显示用户305和对话对观看用户306形成。

如所述图所图示，当由从对话对所显示用户305指向对话对观看用户306的箭头和对话对所显示用户305的前向形成的角是α0时，通过以下计算公式使用默认倍率参数p0来计算倾斜角。

倾斜角：α＝p0×α0

在步骤S323中，计算上述公式来计算倾斜角α。

(步骤S324)

接着，第二场所显示图像产生单元164在步骤S324中基于默认消失点位置和倾斜角α而决定脸部侧面线条的设定(形状)。

将参照图26(2)和图26(3)来描述此处理。

图26(2)图示脸部侧面线条EF和GH的实例。

图26(3)图示脸部侧面线条EF和GH的产生过程的实例。

脸部侧面线条形状决定处理是在以下过程中执行。

对话对的所显示用户的脸部的中心位置被定义为C。

垂直远离C预定义的距离L0的点被定义为P和Q。

OC的距离＝L1，并且角β是默认值。

在上述设定之后，执行以下步骤(S1)到(s4)。

(s1)从对话对的位置关系计算倾斜角α。

(s2)在以角α偏移的线条上在与点C相距预定义的距离L1的上方位置中获得点O。

(s3)绘制相对于O以角β偏移的线条OF和OG。

(s4)获得由穿过P和Q的平行线条以及线条OF和OG围绕的EFGH，并将线条EF和线条GH定义为脸部侧面线条EF和GH。

通过这些过程的执行，定义了如图26(2)所图示的脸部侧面线条EF和GH。

在步骤S324中，根据上述处理来决定脸部侧面线条的形状。

(步骤S325)

接着，在步骤S325中，第二场所显示图像产生单元164产生通过将脸部侧面线条作为指示进行对话的所显示用户与观看用户之间的位置关系的对话对识别信息叠加在所显示用户的所拍摄图像上而获得的显示图像，并将所产生的图像输出到显示单元。

在本实例中，脸部侧面线条围绕作为对话对的成员的所显示用户的脸部而设定，因此对话对可由所设定的脸部侧面线条的形状识别。

例如，鉴于显示单元上所显示的作为“对话对识别信息”的“脸部侧面线条”，第二场所处的观看用户可立即准确地领会所显示用户中的哪一用户正对哪一观看用户讲话，从而导致通畅通信的实现。

[7-3.(3)将脸部侧面盒体(或球体)用作对话对识别信息的实例]

接着，将描述将脸部侧面盒体(或球体)用作对话对识别信息的实例。

将描述将脸部侧面盒体(或球体)用作对话对识别信息的具体实例图示在图27和图28中。

图27图示以下两个实例。

(1)对话对由脸部侧面盒体的形状表示的实例1(对话对处于屏幕上的所显示用户的前向上的状况)。

(2)对话对由脸部侧面盒体的形状表示的实例2(对话对处于屏幕上的所显示用户的右向上的状况)。

图27(1)所图示的实例是所显示用户F和观看用户C是对话对的示范性状况。

观看用户C存在于所显示用户F之前。

对话对识别信息321是围绕所显示用户F的脸部设定的脸部侧面盒体。

从脸部侧面盒体的布置左右对称的事实，可以确定所显示用户F正在前向上注视，即，注视作为对话对的观看用户C。

相比之下，图27(2)所图示的实例是所显示用户F和观看用户A是对话对的示范性状况。

观看用户A存在于所显示用户F的右向上。

对话对识别信息322是围绕所显示用户F的脸部设定的脸部侧面盒体。

从脸部侧面盒体的布置形状向右倾斜的事实，可以确定所显示用户F正在右向上注视，即，注视作为对话对的观看用户A。

图28图示以下两个实例。

(1)对话对由脸部侧面盒体的形状表示的实例1(对话对处于屏幕上的所显示用户的前向上的状况)。

(2)对话对由脸部侧面盒体的形状表示的实例2(对话对处于屏幕上的所显示用户的右向上的状况)。

图28(1)所图示的实例是所显示用户F和观看用户C是对话对的示范性状况。

观看用户C存在于所显示用户F之前。

对话对识别信息331是围绕所显示用户F的脸部设定的脸部侧面球体。

从脸部侧面球体的布置左右对称的事实，可以确定所显示用户F正在前向上注视，即，注视作为对话对的观看用户C。

相比之下，图28(2)所图示的实例是所显示用户F和观看用户A是对话对的示范性状况。

观看用户A存在于所显示用户F的右向上。

对话对识别信息332是围绕所显示用户F的脸部设定的脸部侧面球体。

从脸部侧面球体的布置形状向右倾斜的事实，可以确定所显示用户F正在右向上注视，即，注视作为对话对的观看用户A。

以此方式，脸部侧面盒体(或球体)围绕作为对话对的成员的所显示用户的脸部而设定，因此对话对可由已设定的所设定的脸部侧面盒体(或球体)的布置识别。

将参照图29所图示的流程图来描述本实例中的输出图像产生和输出处理的序列。

遵循图29所图示的流程的处理例如是在图11所图示的第二场所显示图像产生单元164等中执行，或是在图14所图示的第一场所显示图像产生单元201等中执行。

下文中，将依序描述图29所图示的流程图的步骤中的每一个的处理。

应注意，在下文描述中，假设第二场所显示图像产生单元164执行处理。

(步骤S331)

首先，第二场所显示图像产生单元164在步骤S331中输入所显示用户的所拍摄图像以及对话对确定信息。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

(步骤S332)

接着，第二场所显示图像产生单元164在步骤S332中从步骤S331中所输入的对话对确定信息获得进行对话的所显示用户和观看用户的位置。

(步骤S333)

接着，在步骤S333中，第二场所显示图像产生单元164将倾斜角α作为定义脸部侧面盒体(或球体)的布置的参数来决定。

将参照图30(1)来描述此处理。

在图30(1)所图示的实例中，对话对由对话对所显示用户305和对话对观看用户306形成。

如所述图所图示，当由从对话对所显示用户305指向对话对观看用户306的箭头和对话对所显示用户305的前向形成的角是α0时，通过以下计算公式使用默认倍率参数p0来计算倾斜角。

倾斜角：α＝p0×α0

在步骤S333中，计算上述公式来计算倾斜角α。

(步骤S334)

接着，第二场所显示图像产生单元164在步骤S334中基于默认消失点位置和倾斜角α而决定脸部侧面盒体(或球体)的设定(布置)。

将参照图30(2)和图30(3)来描述此处理。

图30(2)图示脸部侧面盒体(或球体)EF和GH的实例。

图30(3)图示脸部侧面盒体(或球体)EF和GH的示范性产生过程。

脸部侧面盒体(或球体)布置决定处理是在以下过程中执行。

对话对的所显示用户的脸部的中心位置被定义为C。

垂直远离C预定义的距离L0的点被定义为P和Q。

OC的距离＝L1，并且角β是默认值。

在上述设定之后，执行以下步骤(S1)到(s4)。

(s1)从对话对的位置关系计算倾斜角α。

(s2)在以角α偏移的线条上在与点C相距预定义的距离L1的上方位置中获得点O。

(s3)绘制相对于O以角β偏移的线条OF和OG。

(s4)获得穿过C、P和Q的平行线条以及OF和OG的交叉点EFGHIJ，并且将交叉点EFGHIJ中的每一个定义为脸部侧面盒体(或球体)的布置位置。

通过这些过程的执行，决定了如图30(2)所图示的脸部侧面盒体(或球体)的布置。

在步骤S334中，根据上述处理来决定脸部侧面盒体(或球体)的布置。

(步骤S335)

接着，在步骤S335中，第二场所显示图像产生单元164产生通过将脸部侧面盒体(或球体)作为指示进行对话的所显示用户与观看用户之间的位置关系的对话对识别信息叠加在所显示用户的所拍摄图像上而获得的显示图像，并将所产生的图像输出到显示单元。

在本实例中，脸部侧面盒体(或球体)围绕作为对话对的成员的所显示用户的脸部而设定，因此对话对可由已设定的所设定的脸部侧面盒体(或球体)的布置识别。

例如，鉴于显示单元上所显示的作为“对话对识别信息”的“脸部侧面盒体(或球体)”，第二场所处的观看用户可立即准确地领会所显示用户中的哪一用户正对哪一观看用户讲话，从而导致通畅通信的实现。

[7-4.(4)将背景图像的透视变换用作对话对识别信息的实例]

接着，将描述将背景图像透视变换用作对话对识别信息的实例。

此处理实例对应于通过应用上文参照图16到图20所述的背景图像的视角变换图像(透视变换图像)而识别对话对的处理的具体处理实例。

图31图示将背景图像的视角变换图像(透视变换图像)用作对话对识别信息的具体实例。

图31图示以下两个实例。

(1)对话对由背景图像的视角变换图像(透视变换图像)表示的实例1(对话对处于屏幕上的所显示用户的前向上的状况)。

(2)对话对由背景图像的视角变换图像(透视变换图像)表示的实例2(对话对处于屏幕上的所显示用户的右向上的状况)。

图31(1)所图示的实例是所显示用户E和观看用户B是对话对的示范性状况。

观看用户B存在于所显示用户E之前。

背景图像是从观看用户B的视角所见的虚拟视角图像(透视变换图像)。

作为对话对的观看用户B可确定作为对话对的所显示用户E正在前向上注视，即，注视作为对话对的观看用户B。

相比之下，图31(2)所图示的实例是所显示用户E和观看用户A是对话对的示范性状况。

观看用户A存在于所显示用户E的右向上。

背景图像是从观看用户A的视角所见的虚拟视角图像(透视变换图像)。

作为对话对的观看用户A可确定作为对话对的所显示用户E正在右向上注视，即，注视作为对话对的观看用户A。

以此方式，作为对话对的成员的所显示用户的背景图像变换到从作为对话对的构成标记的观看用户的视角观察的视角变换图像(透视变换图像)，因此使得可以识别对话对。

将参照图32所图示的流程图来描述本实例中的输出图像产生和输出处理的序列。

遵循图32所图示的流程的处理例如是在图11所图示的第二场所显示图像产生单元164等中执行，或是在图14所图示的第一场所显示图像产生单元201等中执行。

下文中，将依序描述图32所图示的流程图的步骤中的每一个的处理。

应注意，在下文描述中，假设第二场所显示图像产生单元164执行处理。

(步骤S341)

首先，第二场所显示图像产生单元164在步骤S341中输入所显示用户的所拍摄图像以及对话对确定信息。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

(步骤S342)

接着，第二场所显示图像产生单元164在步骤S342中从步骤S341中所输入的对话对确定信息获得进行对话的所显示用户和观看用户的位置。

(步骤S343)

接着，第二场所显示图像产生单元164在步骤S343中执行背景图像的视角变换图像(透视变换图像)的产生处理。

步骤S343的详细序列是图32的右侧所图示的流程。下文中，将描述此流程的步骤S351到S355中的每一个的处理。

(步骤S351)

步骤S351是将人图像与背景图像分离的处理。

此处理类似于由上文参照图17所述的第二场所显示图像产生单元164的人/背景图像分离单元255执行的处理。

第二场所显示图像产生单元164执行将第一场所所拍摄图像r 172r中所包含的人图像区域与背景图像区域分离的处理。

应注意，例如从第一场所输入的第一场所所拍摄图像对象距离信息(深度数据)255r应用到此处理。

或者，也允许具有如上文在第三示范性实施例中所述的配置，即，将从多个不同视角拍摄的多个图像传输到第二场所的配置，并且接着，人/背景图像分离单元255可基于多个图像来执行将人图像区域与背景图像区域分离的处理。

(步骤S352和S353)

在步骤S352中，执行从背景图像检测直线边缘部分的处理。

步骤S353执行从步骤S352中所检测的边缘确定图像是否适用于透视变换的处理。

步骤S352执行检测直线边缘的处理，其中直线边缘是直线部分，例如背景区域中所包含的墙、书桌等的轮廓。步骤S353从所检测的边缘确定图像是否是适用于透视变换的图像。

将参照图33到图35来描述此具体处理实例。

图33包含以下附图。

(1)边缘检测实例a(检测到适用于透视变换的边缘的实例)

(2)边缘检测实例b(并未检测到适用于透视变换的边缘的实例)

(3)边缘检测、透视变换一致性确定处理过程

边缘检测和透视变换一致性确定处理是根据以下处理(s1)到(s3)来执行。

(s1)围绕作为中心的脸部位置而将背景划分为右侧部分/左侧部分。

(s2)获得左侧区域和右侧区域的背景中的每一个中所包含的直线边缘。

(s3)通过以下条件而获得边缘方向上的频率分布：

“(条件1)边缘在左侧区域中在向右上方的对角方向上对准”；以及

“(条件2)边缘在左侧区域中在向左上方的对角方向上对准”。

在满足条件1和2的状况下(例如，图33(1)中的实例a)，将作为适用于透视变换的图像来执行透视变换。

在并未满足条件1和2的状况下(例如，图33(2)中的实例b)，将不作为不适用于透视变换的图像来执行透视变换。

图34是图示背景图像的边缘检测处理的具体实例的图式。

对于包含背景区域的验证目标像素和周围八个像素的九个像素Pi来说，边缘检测滤波器Dxi和Dyi被倍增以计算以下评分Sx和Sy。

Sx＝ΣiPi×Dxi，

Sy＝ΣiPi×Dyi

其中i＝0，...，8

应注意，例如可将图34所图示的Sobel滤波器、Previtt滤波器等作为边缘检测滤波器来应用。

此外，执行默认阈值Sth与所计算的评分Sx和Sy之间的比较。

|Sx|<Sth以及，

|Sy|<Sth

在满足上述确定公式的状况下，确定验证目标像素并非边缘区域，并且对下一验证目标像素执行确定。

对背景图像的所有像素执行验证处理，并且针对被确定为边缘区域的像素，通过以下公式来计算边缘角α2。

α2＝tan^-1(Sx/Sy)

其中，0°≤α2<180°

对所有像素执行上述边缘角计算处理以便获得边缘角的频率分布。

图35图示边缘角的分布的实例。

如图35所图示，对形成对话对的所显示用户的脸部的所划分的左侧区域和右侧区域中的每一个计算边缘角的频率分布，并且此后，根据以下过程而对背景的所有像素计算容差内范围边缘角占用比p。

θ0≤α2≤θ1(在左侧区域的状况下)，以及

180°-θ1≤α2≤180°-θ0(在右侧区域的状况下)

落入上述范围内的像素的比例被定义为容差内范围边缘角占用比p。

应注意，θ0和θ1是预定义的值，并且0°≤θ0<θ1≤180°将得以建立。

接着，针对默认阈值pth，

pth≤p

在右侧区域与左侧区域两者中满足上述确定公式的状况被确定为“适用于透视变换的图像”。

右侧区域与左侧区域中的任一个不满足上述确定公式的状况被确定为“不适用于透视变换的图像”。

在步骤S352到S353中，根据此处理过程而从背景图像检测直线边缘部分，并且从所检测的边缘确定图像是否适用于透视变换。

在确定不适用于透视变换的状况下，处理停止。

在确定图像适用于透视变换的状况下，处理进行到步骤S354。

(步骤S354)

在确定图像适用于透视变换的状况下，处理进行到步骤S354，并且执行透视变换(剪切(倾斜)变换)。这对应于虚拟视角图像(透视变换图像)的产生处理。

此处理实例执行比虚拟视角变换图像的产生简单的剪切(倾斜)变换，以便产生伪虚拟视角图像。

将参照图36来描述此处理。

在图36(1)所图示的实例中，对话对包含对话对所显示用户305和对话对观看用户306。

如所述图所图示，当由从对话对所显示用户305指向对话对观看用户306的箭头和对话对所显示用户305的前向形成的角是α0时，通过以下计算公式使用默认倍率参数p0来计算倾斜角。

倾斜角：α＝p0×α0

首先，根据上述公式来计算倾斜角α。

如图36(2)所图示，使用倾斜角α来执行剪切(倾斜)变换(＝透视变换)。

图36(2)图示；

(a)透视变换之前的坐标

(b)透视变换之后的坐标

这两个图像坐标图示在所述图中。

(a)透视变换之前的坐标(x，y)被变换为透视变换之后的坐标(x′，y′)。

变换公式如下所述。

x′＝x+tanα×y

y′＝y

遵循上述变换公式，(a)透视变换之前的坐标(x，y)被变换为透视变换之后的坐标(x′，y′)。

步骤S354执行此透视变换处理。

(步骤S355)

接着，在步骤S355中，第二场所显示图像产生单元164产生通过将背景图像的视角变换图像(透视变换图像)作为指示进行对话的所显示用户与观看用户之间的位置关系的对话对识别信息叠加在所显示用户的所拍摄图像上而获得的显示图像，并将所产生的图像输出到显示单元。

应注意，此图像组合处理在一些状况下需要遗失区域的内插处理。

将参照图37来描述此内插处理。

如图37所图示的对应于人区域的遗失区域有时在对已被切除人区域的背景图像执行透视变换之后组合人区域时发生。

针对此遗失区域，预定像素值由内插处理设定。

此内插处理可例如使用“图像修补技术”的现有技术来执行。此内插处理的实例描述在文献【A.Criminisi等人，Region filling and object removal by exemplar-based image inpainting，IEEE Trans.on Image Processing，2004】中。

以此方式，在本实例中，可以设定背景图像的视角变换图像(透视变换图像)，并且可以通过背景图像的视角变换图像(透视变换图像)来识别对话对。

例如，鉴于显示单元上所显示的作为“对话对识别信息”的“背景图像的视角变换图像(透视变换图像)”，第二场所处的观看用户可立即准确地领会所显示用户中的哪一用户正对哪一观看用户讲话，从而导致通畅通信的实现。

[7-5.(5)将脸部阴影用作对话对识别信息的实例]

接着，将描述将脸部阴影用作对话对识别信息的实例。

图38图示将脸部阴影用作对话对识别信息的具体实例。

图38图示以下两个实例。

(1)对话对由脸部的阴影表示的实例1(对话对处于屏幕的所显示用户的前向上的状况)。

(2)对话对由脸部的阴影表示的实例2(对话对处于屏幕的所显示用户的右向上的状况)。

图38(1)所图示的实例是所显示用户E和观看用户B是对话对的示范性状况。

观看用户B存在于所显示用户E之前。

脸部阴影是在围绕所显示用户E的中心左右划分为两个部分(即，明部分和暗部分)的状态下提供。

作为对话对的观看用户B可确定作为对话对的所显示用户E正在前向上注视，即，注视作为对话对的观看用户B。

相比之下，图38(2)所图示的实例是所显示用户E和观看用户C是对话对的示范性状况。

观看用户C存在于所显示用户E的左向上。

脸部阴影被设定成使得相对于所显示用户E的中心处于右侧上的明部分大于处于左侧上的暗部分。

作为对话对的观看用户C可确定作为对话对的所显示用户E正在左向上注视，即，注视作为对话对的观看用户C。

以此方式，阴影设定在作为对话对的成员的所显示用户的脸部图像中，从而使得可以识别对话对。

将参照图39所图示的流程图来描述本实例中的输出图像产生和输出处理的序列。

遵循图39所图示的流程的处理例如是在图11所图示的第二场所显示图像产生单元164等中执行，或是在图14所图示的第一场所显示图像产生单元201等中执行。

下文中，将依序描述图39所图示的流程图的步骤中的每一个的处理。

应注意，在下文描述中，假设第二场所显示图像产生单元164执行处理。

(步骤S361)

首先，第二场所显示图像产生单元164在步骤S361中输入所显示用户的所拍摄图像以及对话对确定信息。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

(步骤S362)

接着，第二场所显示图像产生单元164在步骤S362中从步骤S361中所输入的对话对确定信息获得进行对话的所显示用户和观看用户的位置。

(步骤S363)

接着，在步骤S363中，第二场所显示图像产生单元164将倾斜角α作为定义脸部阴影的形状的参数来决定。

将参照图40(1)来描述此处理。

在图40(1)所图示的实例中，对话对包含对话对所显示用户305和对话对观看用户306。

如所述图所图示，当由从对话对所显示用户305指向对话对观看用户306的箭头和对话对所显示用户305的前向形成的角是α0时，通过以下计算公式使用默认倍率参数p0来计算倾斜角。

倾斜角：α＝p0×α0

在步骤S363中，根据上述公式来计算倾斜角α。

(步骤S364)

接着，第二场所显示图像产生单元164在步骤S364中执行脸部阴影的产生处理。

步骤S364的详细序列是图39的右侧所图示的流程。下文中，将描述此流程的步骤S371到S374中的每一个的处理。

(步骤S371)

步骤S371是检测形成对话对的人的脸部区域的处理。

如上文参照图11所述，第一场所所拍摄图像r 172r与第一场所处的对话对确定单元153所产生的对话对第一确定信息r 173r一起输入到第二场所显示图像产生单元164。

对话对确定信息包含对话对的用户的用户识别信息和用户位置信息。用户位置信息是对于显示对话对识别信息来说所需的位置信息，并且包含形成对话对的所显示用户的显示位置以及显示单元之前的观看用户相对于显示单元的相对位置。

现有技术也可应用到脸部检测。

(步骤S372和S373)

步骤S372是脸部区域的亮度分布测量处理。

在步骤S373中，基于步骤S372中所检测的脸部区域亮度分布来执行确定图像是否适用于脸部图像中的设定阴影的阴影校正的处理。

将参照图40(2)来描述此具体处理实例。

图40(2)图示图式，这些图式图示以下内容；

(2a)亮度分布测量处理的实例

(2b)亮度分布测量结果的实例

(2c)阴影校正一致性确定处理的实例

如下所述执行脸部图像的亮度分布的测量处理。

独立地针对相对于所显示用户的脸部区域的左侧区域和右侧区域中的每一个，独立地测量亮度分布。

如下进行定义：

左侧区域的亮度分布：HL(I)

右侧区域的亮度分布：HR(I)

(I是亮度)

因此，如图40(2a)所图示，例如，获得左侧区域和右侧区域中的每一个的亮度分布数据(直方图)。

如下执行阴影校正一致性确定处理。

根据以下计算公式来计算左侧区域和右侧区域的亮度分布的差Sd。

Sd＝ΣI((HL(I)-HR(I))²/(HL(I)+HR(I)))

此外，将所计算的值Sd与默认阈值Sd0比较。

Sd0≤Sd

在满足上述确定公式的状况下，左侧区域和右侧区域的亮度分布极其不同，并且因此，确定图像适用于阴影校正。

在不满足上述确定公式的状况下，确定图像不适用于阴影校正。

步骤S372和S373使用这些过程而执行脸部区域的亮度分布测量处理以及图像是否适用于阴影校正的确定。

在确定图像不适用于透视变换的状况下，处理停止。

在确定图像适用于阴影校正的状况下，处理进行到步骤S374。

(步骤S374)

在步骤S374中，执行脸部图像的亮度变换(阴影校正)。

将参照图41来描述具体处理实例。

图41将脸部图像的亮度变换(阴影校正)的具体序列作为流程来描述。

脸部图像的亮度变换(阴影校正)是根据以下处理过程来执行。

(步骤S381)镜面反射/漫反射分量的分离

(步骤S382)镜面反射分量的膨胀/收缩

(步骤S383)组合镜面反射/漫反射分量

脸部图像的像素值的输出包含与物体表面上所反射的入射光相同的颜色的镜面反射分量以及在物体内复杂地反射并将确定物体颜色的漫反射分量。步骤S381执行将这些分量相互分离的处理。应注意，针对此分离处理，例如，可以使用以下文献中所述的现有技术[Higo等人，“Realtime Removal of Specular Reflection Component Based on Dichromatic Reflection Model”Research report of Information Processing Society of Japan(2006)]。

接着，步骤S382执行所分离的镜面反射分量的扩大/缩小处理。镜面反射分量的扩大被执行以便增大明区域，并且镜面反射分量的缩小被执行以便增大暗区域。

图41所图示的实例是放大镜面反射分量的实例。

步骤S383执行组合镜面反射/漫反射分量的处理。

以此方式，通过调整镜面分量来执行阴影校正。

图42是图示具体镜面反射分量的扩大/缩小处理的实例的图式。

脸部图像中所包含的像素中的每一个的镜面反射分量的区域通过以下坐标变换来扩大或缩小。

x′＝x-α×G(x，y)

y′＝y

其中，

x、y是变换之前的点的坐标，

x′、y′是变换之后的点的坐标，以及

G是增益函数。

作为增益函数，可应用以下增益函数。

G(x，y)＝R-sqrt(x²+y²)

其中，sqrt：平方根

应注意，R是表示脸部大小的值，并且在脸的形状近似圆形时对应于半径的长度。

图39所图示的步骤S374的阴影校正处理是在此过程中执行。

在本实例中，如上所述，可以设定脸部阴影以能够识别可通过脸部阴影来识别的对话对。

例如，鉴于显示单元上所显示的作为“对话对识别信息”的“脸部阴影”，第二场所处的观看用户可立即准确地领会所显示用户中的哪一用户正对哪一观看用户讲话，从而导致通畅通信的实现。

应注意，虽然已描述各种类型的对话对识别信息，但它们可被独立使用或可结合多段信息来使用。

[8.信息处理设备的硬件配置实例]

接着，将参照图43来描述信息处理设备的硬件配置的实例。

图43是图示根据本公开的执行处理的信息处理设备的硬件配置实例的图式。

中央处理单元(CPU)501充当根据只读存储器(ROM)502或存储单元508中所存储的程序而执行各种类型的处理的控制单元或数据处理单元。例如，根据上述示范性实施例中所述的序列的处理得以执行。随机存取存储器(RAM)503存储由CPU 501执行的程序、数据等。CPU 501、ROM 502和RAM 503通过总线504而相互连接。

CPU 501经由总线504而连接输入/输出接口505。输入/输出接口505连接到输入单元506(其输入成像单元521的所拍摄图像，并且包含可用于用户输入的各种开关、键盘、鼠标、麦克风等)，并且还连接到输出单元507(其可执行到显示单元522、扬声器等的数据输出)。CPU 501例如根据从输入单元506输入的指令而执行各种类型的处理，并将处理结果输出到输出单元507。

连接到输入/输出接口505的存储单元508例如包含硬盘等，并且存储将由CPU 501执行的程序和各种数据。通信单元509充当经由例如因特网和局域网等网络而进行Wi-Fi通信、Bluetooth(注册商标)(BT)通信和其它数据通信的传输/接收单元，并且与外部设备通信。

连接到输入/输出接口505的驱动器510驱动可移除式介质511(例如，磁盘、光盘、磁光盘、例如记忆卡等半导体存储器)，并执行数据记录或读取。

[9.本公开的配置的概述]

上文已参照具体示范性实施例来详细描述本公开的示范性实施例。然而，显然，本领域的技术人员可进行示范性实施例的修改和替代，而不偏离本公开的范围和精神。也就是说，本发明已按示范的形式公开，并且不应被限制性地解释。为了判断本公开的范围和精神，应考虑权利要求书的范围。

应注意，可如下配置本说明书所公开的技术。

(1)一种信息处理设备，包含显示图像产生单元，其中所述显示图像产生单元产生能够识别显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息，并将所述所产生的对话对识别信息与所述所显示用户一起输出到所述显示单元上。

(2)根据(1)的信息处理设备，

其中所述信息处理设备

经由数据传输/接收单元而输入所述所显示用户的图像数据，并且

所述显示图像产生单元显示所述对话对识别信息正叠加在所述所显示用户的所述图像数据上。

(3)根据(1)或(2)的信息处理设备，

其中所述显示图像产生单元

输入对话对确定信息，基于所述所输入的对话对确定信息而将形成对话对的所述所显示用户和所述观看用户相互区分，并且

将能够识别形成所述对话对的所述所显示用户和所述观看用户的所述对话对识别信息输出到所述显示单元。

(4)根据(1)到(3)中任一项的信息处理设备，

其中所述显示图像产生单元

产生从形成对话对的所显示用户指向形成对话对的观看用户的箭头而作为所述对话对识别信息，并且在所述显示单元上所显示的形成所述对话对的所述所显示用户的附近显示所述所产生的箭头。

(5)根据(1)到(3)中任一项的信息处理设备，

其中所述显示图像产生单元

产生能够识别形成对话对的观看用户的图标而作为所述对话对识别信息，并且在所述显示单元上所显示的形成所述对话对的所述所显示用户的附近显示所述所产生的图标。

(6)根据(3)的信息处理设备，

其中所述信息处理设备经由所述数据传输/接收单元而输入所述对话对确定信息，并且

所述显示图像产生单元

基于经由所述数据传输/接收单元输入的所述对话对确定信息而将形成所述对话对的所述所显示用户和所述观看用户相互区分。

(7)根据(3)或(6)的信息处理设备，

其中所述对话对确定信息是通过使用所述所显示用户的图像和观看用户的图像而产生的信息。

(8)根据(1)到(7)中任一项的信息处理设备，

其中所述显示图像产生单元将基于形成对话对的所显示用户的脸部图像而产生的正脸图像与所述对话对识别信息一起显示在所述显示单元上。

(9)根据(1)到(8)中任一项的信息处理设备，其中所述显示图像产生单元

在所述显示单元上显示从形成对话对的观看用户的视角观察的背景的虚拟视角图像。

(10)根据(9)的信息处理设备，

其中所述显示图像产生单元

基于根据形成所述对话对的所述观看用户的位置的改变而改变的所述视角来依序更新所述虚拟视角图像的所述视角，并在所述显示单元上显示所述所更新的虚拟视角图像。

(11)根据(1)到(10)中任一项的信息处理设备，

其中所述显示图像产生单元

围绕形成对话对的所显示用户的脸部图像而产生具有在形成所述对话对的观看用户的方向上倾斜的轮廓的脸部围绕框而作为所述对话对识别信息，并且围绕所述显示单元上所显示的形成所述对话对的所述所显示用户的所述脸部而显示所述所产生的脸部围绕框。

(12)根据(1)到(10)中任一项的信息处理设备，

其中所述显示图像产生单元

围绕形成对话对的所显示用户的脸部图像而产生具有在形成所述对话对的观看用户的方向上倾斜的线条的脸部侧面线条而作为所述对话对识别信息，并且在所述显示单元上所显示的形成所述对话对的所述所显示用户的所述脸部的两侧显示所述所产生的脸部侧面线条。

(13)根据(1)到(10)中任一项的信息处理设备，

其中所述显示图像产生单元

围绕形成对话对的所显示用户的脸部图像而产生在形成所述对话对的观看用户的方向上倾斜的线条上所布置的标记而作为所述对话对识别信息，并且在所述显示单元上所显示的形成所述对话对的所述所显示用户的所述脸部的两侧显示所述所产生的标记。

(14)根据(1)到(10)中任一项的信息处理设备，

其中所述显示图像产生单元

产生具有根据形成对话对的观看用户的方向而改变的形成所述对话对的所显示用户的脸部图像的亮度的阴影校正脸部图像而作为所述对话对识别信息，并且在所述显示单元上显示所述所产生的阴影校正脸部图像。

(15)一种信息处理设备，包含对话对确定单元，其中所述对话对确定单元确定显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话，

其中对话对确定单元

输入通过拍摄所述所显示用户而获得的第一图像数据以及通过拍摄所述观看用户而获得的第二图像数据，并通过分析所述图像中的每一个而产生指示形成对话对的一对所显示用户和观看用户的对话对确定信息。

(16)一种信息处理系统，包含：传输设备，执行图像传输；以及接收设备，从所述传输设备接收传输图像并在显示单元上显示所述传输图像，

其中所述传输设备传输：

将显示在所述接收设备的所述显示单元上的所显示用户图像；以及

指示哪一所显示用户正对观看所述显示单元的多个观看用户中的哪一观看用户讲话的对话对确定信息，并且

所述接收设备

基于所述对话对确定信息而产生能够识别哪一所显示用户正对哪一观看用户讲话的对话对识别信息，并将所述所产生的对话对识别信息与所述所显示用户一起输出到所述显示单元。

(17)一种在信息处理设备中执行的信息处理方法，

其中，所述信息处理设备包含产生针对显示单元的显示图像的显示图像产生单元，并且

所述显示图像产生单元产生

能够识别所述显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息，并将所述所产生的对话对识别信息与所述所显示用户一起输出到所述显示单元。

(18)一种程序，其使信息处理设备执行信息处理，

其中，所述信息处理设备包含产生显示单元的显示图像的显示图像产生单元，并且

所述程序使所述显示图像产生单元

执行产生能够识别所述显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息的处理以及将所述所产生的对话对识别信息与所述所显示用户一起输出到所述显示单元的处理。

此外，本说明书中所述的一系列处理可由硬件、软件或两者的组合执行。在由软件执行处理的状况下，可以允许记录处理序列的程序安装并执行在计算机内的存储器上，并入在专用硬件中，可以允许程序安装并执行在能够执行各种类型的处理的通用计算机上。例如，程序可预先记录在记录介质中。程序可从记录介质安装到计算机，或可经由例如局域网(LAN)等网络来接收，并安装在例如内置硬盘等记录介质中。

应注意，除了遵循本说明书以时间序列执行以外，本说明书中所述的各种类型的处理可根据执行处理的设备的处理能力或根据必要性而并行地或个别地执行。此外，在本说明书中，系统表示多个设备的逻辑集合，并且所有构成设备不需要处于同一外壳中。

工业适用性

如上所述，根据本公开的示范性实施例的配置，可以实现能够识别显示单元上的所显示用户正对哪一观看用户讲话的配置。

具体来说，所述配置包含显示图像产生单元，其中所述显示图像产生单元产生能够识别显示单元上的所显示用户正对多个观看用户中的哪一观看用户讲话的对话对识别信息，并将所产生的信息与所显示用户一起输出到显示单元。显示图像产生单元产生从形成对话对的所显示用户指向形成对话对的观看用户的箭头或图标、脸部围绕框或脸部侧面线条、虚拟视角背景图像等作为对话对识别信息，并在显示单元上显示所产生的对话对识别信息与所显示用户。

通过此配置，可以实现能够识别显示单元上的所显示用户正对哪一观看用户讲话的配置。

附图标记列表

10、20 数据处理单元

11、21 显示单元(显示器)

12、22 相机

13、23 扬声器

30 网络

101 显示单元

102 相机

103 扬声器

110 所显示用户

121至124 对话对识别信息

130 观看用户

151 第一场所成像单元

152 第一场所用户信息获取单元

153 对话对确定单元

154 第一场所传输/接收单元

155 第一场所显示单元

161 第二场所成像单元

162 第二场所用户信息获取单元

163 第二场所传输/接收单元

164 第二场所显示图像产生单元

165 第二场所显示单元

201 第一场所显示图像产生单元

211 对话对确定单元

251 正脸产生单元

255 人/背景图像分离单元

256 图像组合单元

260 人图像校正单元

261 正脸图像产生单元

270 背景图像校正单元

271 视角变换图像产生单元

280 桌子

281 显示单元

282 观看用户

283 所显示用户

284 相机

301、302 对话对识别信息

305 对话对所显示用户

306 对话对观看用户

311、312 对话对识别信息

321、322 对话对识别信息

331、332 对话对识别信息

341、342 对话对识别信息

351、352 对话对识别信息

501 CPU

502 ROM

503 RAM

504 总线

505 输入/输出接口

506 输入单元

507 输出单元

508 存储单元

509 通信单元

510 驱动器

511 可移除式介质

521 成像单元

522 显示单元。