本公开涉及信息处理装置、信息处理方法和程序。
背景技术：
近年来，已经提出了一种视频会议系统，该系统使用通信技术的发展以允许存在多个参与者的两个地点之间的对话。具体地，例如，在每个地方设置显示装置、相机、MIC和扬声器。在其中一个地方分别被捕捉和拾取的视频和声音数据可以从被安装在另一个地方的显示装置和扬声器实时输出。
关于这样的双向通信技术，例如，下面的专利文献1提出了一种技术，在使用窗口式成像显示装置来执行双向通信时，该技术允许观看者(viewer)侧人员观看与观看者侧人员的位置和角度的改变对应的视频。这解决了通过电视进行对话的用户之间的注视差异。
此外，下面的专利文献2提出有可能基于用户的状态信息来确定用户与通信伙伴之间的通信请求的程度，并且执行不会对彼此不方便的舒适通信。利用这种布置，有可能防止用户接收到不方便的呼叫(诸如由错过状态信息的伙伴进行的呼叫以及由伙伴进行的强制呼叫)。
引文列表
专利文献
专利文献1：JP 4576740B
专利文献2：JP 4645355B
技术实现要素：
技术问题
但是，在上述专利文献1中，窗口式成像显示装置的使用获得了使用户感觉到相互分开的空间通过一个窗口连接的效果，但是这些空间相互零距离接触。因而，在一些情况下，让伙伴在近处使用户感到不舒服(reluctant)。
此外，上述专利文献2对用于连接空间的定时(即，呼叫定时)采取适当的措施，但是也没有提及关于空间之间的距离的任何内容。
于是，本公开提出了能够通过使用三维表达连接空间来产生到通信伙伴的距离并且实现更舒适的通信的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开，提出了一种信息处理装置，包括：接收单元，被配置为从通信目的地接收数据；生成单元，被配置为生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署在三维空间中的预定位置处；以及显示控制单元，被配置为执行控制，使得生成的空间图像信息在通信源中的显示单元上显示。
根据本公开，提出了一种信息处理方法，包括：由处理器：从通信目的地接收数据；生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署在三维空间中的预定位置处；以及执行控制，使得生成的空间图像信息在通信源中的显示单元上显示。
根据本公开，提出了一种使计算机用作以下的程序：接收单元，被配置为从通信目的地接收数据；生成单元，被配置为生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署在三维空间中的预定位置处；以及显示控制单元，被配置为执行控制，使得生成的空间图像信息在通信源中的显示单元上显示。
发明的有益效果
如上所述，根据本公开，有可能通过使用三维表达连接空间来产生到通信伙伴的距离并且实现更舒适的通信。
注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书掌握的其它效果。
附图说明
图1是示出根据本公开实施例的远程呈现系统的概述的图。
图2是示出根据本实施例的通信控制装置的配置的示例的框图。
图3A是描述根据本实施例的三维空间中的空间之间的距离的图。
图3B是描述根据本实施例的三维空间中的空间之间的距离的图。
图4是示出根据本实施例的用户的连接请求级别的计算公式的示例的图。
图5是示出根据本实施例的最优连接程度的计算公式的示例的图。
图6是示出根据本实施例的空间距离为零的显示示例的图。
图7是示出根据本实施例的具有一些空间距离的显示示例的图。
图8是示出根据本实施例的具有更多空间距离的显示示例的图。
图9是描述根据本实施例的、在3D庭院空间中存在猫的情况的图。
图10是描述根据本实施例的、在3D庭院空间中部署花盆的情况的图。
图11是描述根据本实施例的客厅视频中在3D庭院空间中仅部署了特殊对象情况的图。
图12是描述根据本实施例的通信目的地的区域的天气信息被反映在3D空间中的情况的图。
图13是描述根据本实施例的3D空间的场景应用示例的图。
图14是描述根据本实施例的3D空间的场景应用示例的图。
图15A是描述根据本实施例的与视线移动对应的屏幕改变的图。
图15B是描述根据本实施例的与其它视线移动对应的屏幕改变的图。
图16是示出根据本实施例的通信控制处理的序列图。
图17是示出根据本实施例的通信控制处理的序列图。
图18是示出根据本实施例的场景设置处理的流程图。
图19是示出根据本实施例的应用示例的通信控制装置的配置的示例的框图。
图20是示出根据应用示例的发送处理的流程图。
图21是描述根据应用示例根据清晰度显示伙伴空间图像的图。
具体实施方式
在下文中，将参考附图详细描述本公开的一个或多个优选实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的结构元件，并且省略这些结构元件的重复解释。
此外，将按照以下次序进行描述。
1.根据本公开的实施例的信息处理装置的概述
2.通信控制装置的配置
3.空间信息的显示示例
3-1.分离距离
3-2.使用3D庭院空间
3-3.场景案例
3-4.与视线移动对应的屏幕变化
4.操作处理
4-1.通信控制处理
4-2.场景设置处理
5.应用示例
6.结论
<<1.根据本公开实施例的信息处理装置的概述>>
将参考图1描述根据本公开实施例的远程呈现系统1的概况。根据本实施例的远程呈现系统1通过使用视频/声音/其它信息通道来连接彼此分开的空间，并使得感觉如同这些地方被连接并且感觉伙伴是存在的成为可能。例如，当父母与小孩分开生活时，根据本实施例的远程呈现系统1使得使他们的客厅空间被表现为经由窗户或门连接成为可能。例如，在他们客厅空间被连接的情况下，用户能够过上大致掌握伙伴空间的状况(例如，孩子的状况、父母的状况等)的生活。
一般的视频聊天技术能够在通过视频声音通道进行远程通信时切换0和1(诸如显示/不显示视频或开启/关闭声音(静音))，但无法精细地调整连接程度。因此，一般的视频聊天技术不能满足用户不希望以真实的存在感持续地连接到伙伴而是希望感受伙伴的状况的用户需求。此外，用户需要手动切换连接状态。从运营成本的角度来看，这也阻止使用频率的增加。
此外，作为远程呈现通信装置能够逐渐调整连接程度的情况，可以想到的是例如对伙伴的客厅视频执行二维平面过滤处理(诸如模糊处理(模糊)或遮罩(mask)处理(遮挡))。但是，虽然伙伴的视频不清晰可见，但用户感觉到好像伙伴就在用户旁边存在。这无法表达令人愉快的间隔。
于是，在本实施例中，使用三维表达来连接空间，并且控制所连接的空间之间的距离，从而使得实现更舒适的通信并且为用户提供令人愉快的连接程度成为可能。关于空间之间的距离，例如，当通信目的地的视频(客厅空间的视频)显示在通信源中的显示单元上时，可能通过将通信目的地的视频(客厅空间的视频)部署在反映预定场景的三维空间中分开一点的位置处来表达深度，并且使用户感觉到通信伙伴不在用户的正前方，而且在分开一点的地方。
此外，根据用户状态等自动且连续地优化与连接程度对应的空间之间的距离，由此使得甚至可以减少用户操作的负担。
更具体地，如图1中所示，根据本实施例的远程呈现系统1具有经由网络20连接的通信控制装置10A、10B和10C。此外，网络20连接到处理服务器30。
通信控制装置10A、10B和10C中每一个包括输入单元。通信控制装置10A、10B和10C分别获取用户A、用户B和用户C所存在的空间的信息，并将该信息发送到另一个通信控制装置10或处理服务器30。此外，通信控制装置10A、10B和10C中每一个包括输出单元，并且输出从另一个通信控制装置10或处理服务器30接收的信息。
当通信控制装置10A至10C中的两个或更多个连接时，处理服务器30执行用于双向通信的同步处理，或者基于来自两者的连接请求级别执行分离距离的计算/控制等。注意，这些同步处理、分离距离的计算/控制等可以在每个通信控制装置10A、10B和10C中执行，并且系统配置可以免除处理服务器30。
<<2.通信控制装置的配置>>
接下来，将参考图2描述根据本实施例的通信控制装置10的配置。图2是示出根据本实施例的通信控制装置10的配置的示例的框图。
如图2中所示，通信控制装置10包括输入单元101、空间信息获取单元102、状态确定单元103、空间距离控制单元104、操作接口(I/F)105、3D庭院空间生成单元106、通信单元107、空间信息生成单元108、输出单元109和存储单元110。
输入单元101具有接收空间信息的功能。例如，输入单元101由相机1011、MIC(麦克风的缩写)1012和传感器1013实现。也可以包括多个相机1011。多个相机1011对空间(例如起居室)的内部进行成像并获取所捕获的图像。此外，可以包括多个MIC 1012。多个MIC 1012拾取空间中的声音，以及围绕该空间(例如，下一个房间、走廊、房子外部等)的环境声音，以获取声音数据。此外，传感器1013具有感测空间内部或围绕空间的区域的各种信息的功能。传感器1013的示例包括温度传感器、湿度传感器、照度(illuminance)传感器、运动传感器、门打开关闭传感器等。
空间信息获取单元102从输入单元101获取各种空间信息。空间信息获取单元102准备数据，使得状态确定单元103能够使用该数据作为用于状态确定的材料，并且输出数据。准备数据是指例如噪声处理、图像分析、对象识别、声音分析等。另外，空间信息获取单元102基于所获取的空间信息来识别用户。为了识别用户，假设识别那个空间中的个人用户，或者识别用户的位置(用户在房间中什么地方等)、姿态(用户是站立、坐着、躺着等)、情绪(用户是否快乐、悲伤等)、行动(用户正在做晚饭、看电视、读书等)、忙碌程度(用户是否正在忙碌等)。此外，空间信息获取单元102基于所获取的空间信息来识别环境。为了识别环境，假设识别空间的当前时间(早上、中午、晚上或午夜)、亮度(房间的亮度，或来自窗户的光)、温度、音频(在空间中拾取的声音)、区域(存在空间的地方)、有序程度(房间被清理的程度)等。
状态确定单元103基于由空间信息获取单元102获取并输出的信息来确定空间的状态或用户的状态(即，用作通信源的空间的上下文)。例如，状态确定单元103基于空间信息获取单元102的用户识别结果和环境识别结果来确定空间的状态或用户的状态。注意，用作通信源的空间的上下文可以包括用户的状态、用户所在的真实空间的状态、时间、季节、天气、地点或与伙伴用户的关系。
空间距离控制单元104具有控制三维空间中所连接的空间之间的距离(深度分离距离)的功能。在本实施例中，从通信目的地的空间获取的信息以适当的距离被部署在三维空间中，以示出连接的深度。这实现了令人愉快的连接状态。在这里，参考图3A和3B，将描述根据本实施例的三维空间中的空间之间的距离。在图3A和3B所示的示例中，将描述基于通信源的显示器1091A上显示的窗框40来在三维空间中的深度方向上以预定距离部署伙伴空间图像41的情况。
图3A的上部示出了部署示例400a，其中在三维空间中以离窗框0距离来部署伙伴空间图像41。在这种情况下，伙伴空间图像41被显示为充满窗框40，并且用户能够经由一个窗户感觉到在用户正前方的伙伴的空间。图3A的下部示出了部署示例400b，其中伙伴空间图像41被部署成与窗框40有一些距离。在这种情况下，伙伴空间图像41被显示为在深度方向上与窗框40有一定距离。由于伙伴的空间位置稍微分开，因此用户感觉到没有在零距离的情况下用户感觉的那么物理上不舒服。接下来，图3B的上部示出了部署示例400c，其中伙伴空间图像41部署为具有更多距离。在这种情况下，由于伙伴的空间分开定位，因此用户感觉到没有图3A下部所示的距离的情况下用户感觉的那么物理上不舒服。接下来，图3B的下部示出了部署示例400d，其中伙伴空间图像41以比图3B上部中的部署示例400c还要更多的距离部署。在这种情况下，由于伙伴的空间位置更加分开，因此用户感觉到没有图3B上部所示的距离的情况下用户感觉的那么物理上不舒服。
例如，基于用户的连接请求级别和通信目的地用户的连接请求级别来调整到伙伴空间的距离。首先，例如由空间距离控制单元104基于从状态确定单元103输出的确定结果(通信源的空间的上下文)来计算用户的连接请求级别。在这里，图4示出了用户的连接请求级别的计算公式的示例。如图4的公式1所示，可以通过将用户元素(用户的状态)乘以环境元素(空间的状态)来计算连接请求级别。例如，在用户是母亲并且状态显示用户正在洗脸并且希望检查通信目的地空间的状况、并且空间状态显示空间内部嘈杂、时间在清洁之前并且是晴天的情况下，连接请求级别的强度被计算为0到100的数值。注意，在本实施例中也可以计算“间隔”和“清晰度”作为连接请求级别，如图4中所示。即，“间隔”意味着在三维空间中的分离距离。输出“间隔”以维持到所连接的伙伴的适当距离使得有可能实现令人愉快的连接状态。“清晰度”意味着通信目的地空间的视频可见的程度。在本实施例中，模糊或遮挡使得可以防止伙伴的视频看起来清晰。视频可见的程度被称为“清晰度”。
通信目的地用户的连接请求级别经由通信单元107从用作通信目的地的通信控制装置10发送。
然后，空间距离控制单元104基于计算出的用户的连接请求级别和接收到的通信目的地用户的连接请求级别来计算最优连接程度。在这里，图5示出了最优连接程度的计算公式。如图5的公式2所示，例如，在计算用户A和用户B的连接程度的情况下，将用户A的连接请求级别乘以用户B的连接请求级别，以计算最优连接程度。在本实施例中，当最优连接程度越强时，空间之间的距离变得越短并且视频看起来越清晰。因而，使得连接具有真实的存在感。当最优连接程度越低时，空间之间的距离变得越长并且视频看起来越不清晰。因而，使得连接具有不太真实的存在感。注意，作为示例，这里将计算公式描述为具有被认为包括“间隔”和“清晰度”两者的“连接程度”。但是，本实施例不限于此。可以使计算具有被认为仅包括“间隔”的“连接程度”。
操作界面(I/F)105接收来自用户的操作输入，并且将操作输入输出到空间距离控制单元104或3D庭院空间生成单元106。这使得用户能够可选地设置例如“用户的连接请求级别”或设置接下来将描述的空间的场景。此外，来自用户的对部署在三维空间中的各种对象的操作输入也是可能的。
3D庭院空间生成单元106将根据由空间距离控制单元104设置的、到通信伙伴的距离而部署在三维空间中的通信目的地的空间的视频与通信源用户侧的前景(foreground)侧之间的3D空间称为“3D庭院空间”，并且生成该空间。在“3D庭院空间”中，反映来自通信源或通信目的地的信息。此外，还有可能在“3D庭院空间”中部署指定的对象。这使得有可能显示似乎是通过虚拟庭院而连接到通信伙伴的空间的屏幕。此外，在庭院空间中反映通信伙伴的用户状态、空间状态、伙伴空间的周围信息等使得有可能间接地识别伙伴的状态。下面将描述由3D庭院空间生成单元106生成的这样的3D庭院空间的细节。
通信单元107经由网络20连接到另一个通信控制装置10和处理服务器30，并且发送和接收数据。例如，通信单元107将从空间信息获取单元102输出的空间信息、从空间距离控制单元104输出的空间距离以及从3D庭院空间生成单元106输出的3D庭院空间的信息发送到用作通信目的地的通信控制装置10或处理服务器30。此外，通信单元107接收从用作通信目的地的通信控制装置10或处理服务器30接收的空间信息、空间距离、3D庭院空间的信息等。在本实施例中，可以同步在通信源和通信目的地中显示的3D庭院空间与三维空间中的距离。此外，通信单元107还能够接收由处理服务器30从网络上的相关服务服务器获取的信息(天气信息、新闻、日程信息等)，或者直接从网络上的相关服务服务器接收信息。
基于由3D庭院空间生成单元106生成的3D庭院空间和经由通信单元106接收的通信目的地的空间的视频，空间信息生成单元108生成空间信息并将空间信息发送到输出单元109。例如，空间信息生成单元108生成通过组合经由通信单元107接收的通信目的地的空间的视频和由3D庭院空间生成单元106生成的3D庭院空间而获得的空间图像信息，并且执行控制以使得空间图像信息被显示在显示器1091上。
输出单元109具有将由空间信息生成单元108生成的空间信息呈现给通信源的用户的功能。例如，输出单元109由显示器1091、扬声器1092或指示器1093实现。
存储单元110存储经由通信单元107发送和接收的数据。此外，在图2所示的示例中，通信单元107被连接，但是本实施例不限于此。存储单元110可以用作通信控制装置10中包括的每个部件的存储区域。
<<3.空间信息的显示示例>>
接下来，将参考图6至图15描述根据本实施例的空间信息的显示示例。
<3-1.分离距离>
如上所述，在本实施例中，基于三维空间中通信源和通信目的地两者的连接请求级别将伙伴空间图像41部署为具有与连接程度对应的距离(分离距离)。在这里，将在图6至图8中示出分离距离从分离距离为零的情况逐渐增加的通信源的显示器1091A的显示示例。
图6是示出根据本实施例的具有为零的空间距离的显示示例的图。如图6中所示，窗框40被显示在安装在用户A所在空间的墙上的显示器1091A上。伙伴空间图像41被一直显示为充满窗框40的内侧。伙伴空间图像41是例如伙伴用户B所存在的客厅的所捕获图像。例如，视频是在伙伴空间中捕获的实时视频。注意，在图6所示的示例中，相机1011安装在显示器1091A周围。此外，虽然未示出，但是扬声器1092和MIC 1012也可以安装在显示器1091A周围，并且可以在连接的空间之间发送和接收声音。
图7是示出根据本实施例的具有一些空间距离的显示示例的图。如图7中所示，在远离窗框40的后部显示伙伴空间图像41允许用户在视觉上感觉到与伙伴的距离，并且在一些情况下提供舒适的连接程度，而不是使得用户感觉到就存在于用户面前。伙伴空间图像41例如与三维空间中的虚拟结构51的窗户部分组合。此外，在用户A和伙伴空间图像41之间存在3D庭院空间S1。用户A能够感觉到用户A经由3D庭院空间S1连接到伙伴空间。此外，空间距离和3D庭院空间也在伙伴空间中同步。伙伴侧显示器也以相同的空间距离实时地显示这一侧的视频，并类似地在其间显示3D庭院空间。
图8是示出根据本实施例的具有更多空间距离的显示示例的图。这里的空间距离在深度方向上比图7情况下的空间距离更长。因而，如图8中所示，伙伴空间图像41被显示为离窗框40更远，并且用户在视觉上更加强烈地感觉到与合作伙伴的距离。
在上述图6至图8中，应用了这种场景：作为通信伙伴的用户住在森林对面的木屋中。通信源用户或通信目的地用户有可能预先选择这种场景。
<3-2.3D庭院空间的使用>
接下来，将描述三维空间中的部署有伙伴空间图像41的3D庭院空间的使用示例。在本实施例中，例如，有可能经由在3D庭院空间中显示的对象实现相互通信。即，允许你自己一侧和伙伴侧都在3D庭院空间中部署的各种目标上互相执行操作或影响这些目标启用通过对象的通信。
例如，虚拟宠物可以部署在3D庭院空间S1中，通信源用户和通信目的地用户可以能够给虚拟宠物食物，并且可以根据给多少食物或多久给食物而使宠物的领土靠近他们中的任何一个。图9是描述根据本实施例的虚拟猫52存在于3D庭院空间S1中的情况的图。在图9所示的示例中，通信源用户给予很多食物。因而，猫52坐在通信源用户一侧的窗框40的飘窗部分上，这更现实地表达猫52的存在。食物可能会被收费。此外，假设从链接的移动装置执行或者在显示器1091A是触摸面板显示器(操作I/F 105)的情况下根据触摸操作执行影响3D庭院空间S1中的虚拟对象的技术(诸如给予食物)。可替代地，假设技术是根据安装在其周围的杠杆、开关等执行的，或者是根据由相机1011接收的手势操作执行的。
此外，在3D庭院空间S1中部署有虚拟花卉和植物，并且通信源用户和通信目的地用户在3D庭院空间S1上洒水并播种，由此使得有可能实现一起种植植物的通信。此外，如图10中所示，植物53可以布置在窗框40的飘窗部分上。通信源用户可以购买和部署喜爱的虚拟植物，或者部署由伙伴呈现的虚拟植物。
此外，可以在3D庭院空间S1中部署篝火，并且可以执行显示控制，使得在从通信源用户和通信目的地用户投掷柴的情况下，火焰向上飞跃。
另外，从伙伴空间图像41中提取的特殊对象可以被部署在3D庭院空间S1中。这使得在不期望示出整个房间但是期望仅向祖父母示出正在玩耍的孩子的状况等的情况下(例如，在房间较乱的情况下)能够与通信伙伴选择性地共享房间的特定部分。图11是描述在3D庭院空间S1中仅部署客厅视频中的特定对象的情况的图。
如图11的左侧部分所示，从伙伴空间图像41中仅提取由通信伙伴准许的孩子图像60的视频。如图11的左侧部分所示，提取出的孩子图像60'显示在伙伴空间图像41的前方的3D庭院空间S1中。通利用这种配置，即使在伙伴空间图像41较远并难以查看的情况下，也有可能在3D庭院空间S1中仅显示和查看提取出的特殊部分。提取出的特殊部分不限于人，也可以是动物或人造物(artifact)。例如，有可能在伙伴空间中提取宠物并将宠物部署在3D庭院空间S1中。可替代地，有可能仅将伙伴空间中的钢琴及其演奏者部署在3D庭院空间S1中，并且听演奏者弹奏钢琴。
为了从伙伴空间图像41中提取孩子图像60，例如，假设使用对伙伴空间图像41执行对象识别(深度识别)并仅提取移动对象(移动对象识别)的背景分离技术，或者识别人的骨骼(骨)、将关节或每个部分的移动应用于规定的3D模型并仅提取目标人物的人物分离技术。通过将孩子图像60应用于一般3D模型(或预先获取的孩子的3D模型)，通信控制装置10能够更真实地在3D庭院空间S1中表达移动的孩子。
此外，在本实施例中，通信控制装置10将从伙伴空间获取的各种信息反映在3D庭院空间中，从而使得有可能间接地示出伙伴的状况。
例如，通信控制装置10可以通过在通信源用户侧反映3D庭院空间中伙伴空间的照明(色温，亮度或闪烁)或具有近距离的飘窗部分等来反映通信目的地的真实空间的环境信息。此外，在伙伴空间中炊具被操作(点燃等)的情况下，通信控制装置10可以执行控制，使得烟从伙伴空间视频被部署于其上的虚拟结构的虚拟烟囱排出。
此外，通信控制装置10可以在3D庭院空间中反映伙伴空间内部的温度、湿度、风(气流)等(例如，用部署在3D空间中的虚拟动物或植物表达)，或者用通信源空间中的空调控制装置等再现。
此外，通信控制装置10可以反映通信目的地的地区的天气。具体地，例如，当台风接近通信伙伴的地区时，通信控制装置10执行控制，使得伙伴的房屋(虚拟结构51)上方变为多云，并且房屋周围的树被大风吹动。此外，在通信伙伴的地区具有火山的情况下，通信控制装置10可以参考天气信息并实时再现烟流(plume)的状况。在这里，图12是描述天气信息反映在3D空间中的情况的图。如图12中所示，通信目的地的地区的烟流的状况(对象54)或天气被反映在其上部署有伙伴空间图像41的虚拟结构51周围。用户A能够实时掌握通信目的地的天气情况。
此外，当虚拟植物部署在3D庭院空间中时，通信控制装置10可以在虚拟植物中反映通信目的地的地区或通信源的地区的天气信息。例如，在保持晴朗的情况下，通信控制装置10可以执行控制，以使植物长大并开花等。
此外，通信控制装置10可以获取一天中通信伙伴的行动信息，并在安装在3D庭院空间中的虚拟广告牌上共同显示将其摘要。
<3-3.场景案例>
各种地点可以被考虑为其中部署有伙伴空间图像的3D空间的场景。图13至图14示出了应用场景的示例。
图13的左侧部分示出了应用了通信伙伴住在森林中相对侧的木屋中的场景S2。伙伴空间图像显示在虚拟结构55的窗户部分42上。此外，图13的右侧部分示出了应用了通信伙伴住在城市中面对高层住宅的房间中的场景S3。伙伴空间图像被显示在虚拟结构56的窗户部分43上。
图14的左侧部分示出了应用了通信伙伴(游戏伙伴)住在某个格斗游戏中的房间中的场景S4。伙伴空间图像被显示在虚拟结构57的门部分44上。此外，图14的右侧部分示出了应用了通信伙伴在并列行进的列车中的场景S5。伙伴空间图像被显示在虚拟结构58的门部分45上。
如同如上所述的每个场景，除了预先登记的一般场景之外，还假设从电影内容提取的场景或从游戏内容提取的场景。此外，在通信源用户连接到移动空间(诸如汽车或电车)中的通信伙伴的情况下，可以应用通信伙伴处于并列行进的列车中的场景S5。
<3-4.与视线移动对应的屏幕切换>
此外，根据本实施例的通信控制装置10能够通过根据观看显示器1091A的用户A的视线移动改变显示屏幕而使得用户A更加强烈地感觉到空间的存在。
图15A是描述根据本实施例的与视线移动对应的屏幕变化的图。当用户A从用户A站在显示器1091A的前方观看伙伴空间图像41的状态(如图15A的左侧部分所示)移动到显示器1091A的右侧(如图15A的右侧部分所示)时，通信控制装置10生成并显示其角度根据视线移动而改变的伙伴空间图像41-1。在图15A所示的示例中，当用户A从右侧观看被视为窗口的显示器1091A时，房间的左侧是可见的。此外，在窗框40被表达为在深度方向上厚的飘窗图像的情况下，通过根据视点移动类似地改变飘窗的厚度的宽度和角度，通信控制装置10能够呈现似乎实际上经由窗户连接了伙伴空间的视觉效果。图15B是描述根据本实施例的与其它视线移动对应的屏幕改变的图。图15B的左侧部分中所示的示例是在用户A(未示出)移动到被视为窗户的显示器1091A的左侧的情况下显示的伙伴空间图像41-2的示例。当从左侧观看显示器1091A时，房间的右侧经由窗户可见。此外，图15B中间所示的示例是在用户A相对于显示器1091A向上方向移动的情况下显示的伙伴空间图像41-3的示例。当从上方观看显示器1091A时，房间的下侧经由窗户可见。此外，图15B的右侧上所示的示例是在用户A相对于显示器1091A向下方向移动的情况下显示的伙伴空间图像41-4的示例。当从下方观看显示器1091A时，房间的上侧经由窗户可见。
视线移动可以由相机1011感测。但是，有可能通过不仅检测用户A的视线而且还检测头部的朝向并跟随头部来执行类似的显示控制。
<<4.操作处理>>
接下来，将参考图16至图18具体描述根据本实施例的操作处理。
<4-1.通信控制处理>
图16和图17是各自示出根据本实施例的通信控制处理的序列图。在这里，作为示例，将描述通信控制装置10A是通信源(空间A)、通信控制装置10B是通信目的地(空间B)并且经由处理服务器30发送和接收数据的情况。
如图16中所示，首先，通信控制装置10A呼叫通信控制装置10B的连接目的地(步骤S103)。一旦从通信控制装置10B接收到连接许可(步骤S106)，通信控制装置10A就建立会话(步骤S109)。
接下来，通信控制装置10A通过空间信息获取单元102获取空间信息(步骤S112)，并且通过状态确定单元103确定用户A的状态和空间A的状态(步骤S115)。
接下来，通信控制装置10A将空间信息和状态信息从通信单元107发送到通信控制装置10B(步骤S118)。
同时，类似地，通信控制装置10B侧也获取空间信息(步骤S121)并确定用户B的状态和空间B的状态(步骤S124)。通信控制装置10B侧将各种类型的信息发送到通信控制装置10A(步骤S127)。
接下来，通信控制装置10A通过空间距离控制单元104计算用户A的连接请求级别(步骤S130)，并且将连接请求级别发送到处理服务器30(步骤S133)。用户A的连接请求级别可以是可选的由用户A输入的，或者可以基于用户的状态或空间的状态的确定结果来计算。
接下来，通信控制装置10B侧类似地通过空间距离控制单元104计算用户B的连接请求级别(步骤S136)，并且将连接请求级别发送到处理服务器30(步骤S139)。
接下来，处理服务器30基于用户A的连接请求级别和用户B的连接请求级别来调整距离(步骤S142)。即，处理服务器30基于用户A的连接请求级别和用户B的连接请求级别来计算最优连接程度。可以利用上面参考图5描述的公式2来计算连接程度。
接下来，处理服务器30将计算出的距离发送到通信控制装置10A和10B中的每一个(步骤S145和S148)。
接下来，通信控制装置10A和10B使用空间距离控制单元104来最优地控制空间距离(步骤S151和S154)。具体地，空间距离控制单元104将从处理服务器30发送的距离设置为空间距离。
接下来，处理服务器30将场景信息发送到通信控制装置10A和10B中的每一个(步骤S157和S163)。所发送的场景信息可以是由用户A或用户B选择的场景的信息，或者由处理服务器30自动决定的场景的信息。
接下来，通信控制装置10A通过3D庭院空间生成单元106使用从处理服务器30发送的场景信息、在上面的步骤S127中接收的空间信息、状态确定信息来生成3D庭院空间(步骤S160)。此外，在发送了相关信息(天气信息、伙伴空间的照度、炊具的状态、伙伴用户的日程信息、行动历史等)的情况下(步骤S169)，3D庭院空间生成单元106还在3D庭院空间中反映相关信息(步骤S172)。
同时，类似地，通信控制装置10B侧也生成3D庭院空间(步骤S166)，并将接收到的相关信息反映在3D庭院空间中(步骤S175和S178)。
接下来，通信控制装置10A从输出单元(显示器或扬声器)呈现由空间信息生成单元108生成并且包括3D庭院空间以及伙伴空间图像(空间B的视频)的空间信息(步骤S181)。同时，类似地，通信控制装置10B侧也从输出单元(显示器或扬声器)呈现包括3D庭院空间以及伙伴空间图像(空间A的视频)的空间信息(步骤S184)。
上述3D庭院空间和每个伙伴空间图像可以由处理服务器30同步，并以相同的距离感在相同的定时显示在每个显示器上。
接下来，在更新了一些信息的情况下(步骤S187/是)，通信控制装置10A重复从步骤S112开始的处理。此外，在更新一些信息的情况下(步骤S190/是)，通信控制装置10B也重复从步骤S121开始的处理。
然后，一旦通信控制装置10A被指示结束了连接(步骤S193/是)，通信控制装置10A就检查通信控制装置10B是否结束连接(步骤S196)。在从通信控制装置10B接收到结束连接的准许时(步骤S199)，通信控制装置10A断开会话(步骤S202)。
以上描述了根据本实施例的通信控制处理。注意，在这里，作为示例，由处理服务器30执行同步处理、计算最优连接程度、发送场景信息等。但是，本实施例不限于此。通信控制装置10也有可能执行这些类型的处理。
<4-2.场景设置处理>
接下来，将参考图18描述场景(3D空间场景)设置处理。如图18中所示，首先，处理服务器30向通信控制装置10A发送(呈现)场景候选(步骤S303)。
接下来，通信控制装置10A在显示器上显示接收到的场景候选，并接收用户A的选择(步骤S306)。
接下来，选择的场景是付费场景(步骤S309/是)，在处理服务器30中执行扣费处理(步骤S312)。
接下来，处理服务器30将部署在3D庭院空间中的对象候选发送(呈现)给通信控制装置10A(步骤S315)。
接下来，通信控制装置10A在3D庭院空间中部署对象(步骤S318)。通信控制装置10A然后可以让用户A可选地选择要被部署的对象。
接下来，部署的对象是付费对象(步骤S321/是)，在处理服务器30中执行扣费处理(步骤S324)。
场景设置在此终止。注意，作为示例，这里描述了操作通信控制装置10A的用户A设置与通信伙伴共享的场景的情况。但是，本实施例不限于此。多个用户可以一起设置场景。
接下来，将描述设定场景的应用。一旦通信控制装置10A使用空间信息获取单元102获取空间信息(步骤S327)，通信控制装置10A就将空间信息与场景相关联(步骤S330)。具体地，通信控制装置10A将空间信息反映在场景中或者将通信伙伴的空间信息部署在场景中。
接下来，当通信控制装置10A获取相关服务信息时(步骤S333)，通信控制装置10A将相关信息与场景相关联(步骤S336)。具体地，通信控制装置10A在场景中反映相关信息。
<<5.应用示例>>
接下来，将参考图19至图21描述本实施例的应用示例。
图19是示出根据本实施例的应用示例的通信控制装置100的配置的示例的框图。如图19中所示，通信控制装置100包括输入单元101、空间信息获取单元102、状态确定单元103、空间距离控制单元104、操作接口(I/F)105、3D庭院空间生成单元106、通信单元107、空间信息生成单元108、输出单元109、存储单元110和发送信息生成单元111。
通信控制装置100的配置与参考图2描述的根据本实施例的通信控制装置10的配置的不同之处在于通信控制装置100还包括发送信息生成单元111。因此这里主要描述与通信控制装置10的不同点。该配置的其它描述与参考图2进行的描述相似，因此将被省略。
发送信息生成单元111能够调整经由通信单元107发送到通信目的地的数据量。发送信息生成单元111能够通过在低分辨率可行(do)的情况下根据与由空间距离控制单元104设置的最优连接程度对应的距离的长度将由相机1011捕获的通信源侧的空间的视频压缩成低分辨率的视频，并发送压缩视频等来降低通信成本。
例如，在与最优连接程度对应的距离为10m的间隔的情况下，发送信息生成单元111将要发送到通信目的地的HD分辨率的视频压缩成四分之一视频图形阵列的视频(QVGA)分辨率(即，降低分辨率)的视频。
此外，在通过在通信目的地中执行时间积分(长期曝光)来执行显示的情况下，例如，可以以从60fps降低到5fps的帧速率执行发送。
此外，更新最优连接程度。因而，例如，发送信息生成单元111可以在连接程度变得更强的情况下(在距离变短的情况下)以增加到视频图形阵列(VGA)分辨率的QVGA分辨率执行传输。此外，在多个伙伴空间图像部署在三维空间中并且其中一侧上伙伴空间X的图像更接近的情况下(即，与该侧上的通信目的地的连接程度变强)，发送信息生成单元111可以执行控制，使得要被发送到其中一侧上的通信目的地的视频从QVGA分辨率增加到VGA分辨率。此外，在由于一侧上的伙伴空间图像变得更接近而使得另一侧的伙伴空间Y的图像可见的情况下，这一侧也通过伙伴空间X而从另一侧上的伙伴空间可见。因而，发送信息生成单元111可以停止视频的发送。
图20是示出根据应用示例的发送处理的流程图。如图20中所示，首先，通信控制装置100的发送信息生成单元111从空间信息获取单元102获取空间信息(步骤S403)，并从空间距离控制单元104获取最优连接程度(步骤S406)。
接下来，发送信息生成单元111基于伙伴用户和调整后的最优连接程度来确定是否所有数据都呈现在伙伴用户侧上(步骤S409)。例如，在与最优连接程度对应的距离小于或等于预定阈值的情况下，发送信息生成单元111确定所有数据都呈现在伙伴用户侧上。
接下来，在不是所有数据都呈现在伙伴用户侧的情况下(步骤S409/否)，发送信息生成单元111生成(最少量)在伙伴用户侧呈现数据所必需的数据(步骤S412)。例如，发送信息生成单元111降低分辨率或减小图像。
然后，在所有数据都呈现在伙伴用户侧的情况下(步骤S409/是)，通信单元107将所有数据发送到伙伴用户方，而在不是所有数据都呈现的情况下，通信单元107将由发送信息生成单元111生成的必需数据发送到伙伴用户侧(步骤S415)。
在上述示例中，已经描述了根据与最优连接程度对应的距离(间隔)确定数据是否被压缩。但是，本实施例不限于此。例如，在最优连接程度包括“清晰度”并且清晰度小于或等于预定阈值的情况下，可以类似地压缩数据。
图21是描述了根据清晰度显示伙伴空间图像46的图。除了控制三维空间中的距离之外，还有可能根据所显示的伙伴空间的视频的清晰度来调整连接程度的实现。例如，如图21中所示，通过编辑伙伴空间图像46以使得伙伴空间图像46在某种程度上被帘幕遮挡，有可能即使对于相同的分离距离也减小连接程度。被遮挡的状态在通信源和通信目的地中同步。因而，发送信息生成单元111编辑要发送到伙伴侧的视频，使得视频被遮挡，并且使得有可能减少数据量并保护隐私。此外，视频清晰度的调整不限于通过帘幕的视频。例如，可以在通过窗户示出伙伴的侧影(silhouette)的视频或者通过执行时间积分(长期曝光)而仅清楚地显示伙伴的房间的内部(静止对象)并以透射方式显示移动的人的视频中进行调整。
<<6.结论>>
如上所述，根据本公开实施例的信息处理系统使得有可能通过使用三维表达连接空间来产生到通信伙伴的距离，并且实现更舒适的通信。
具体地，将安装在通信源的空间中的显示器视为窗户(或门)，并且将在三维空间中具有预定距离的地方显示部署有通信伙伴的空间的视频的空间图像，由此使得有可能在视觉上表达到通信伙伴的距离。注意，可以根据实际的窗户或门的维度来实现安装在墙上的显示器的高宽比。此外，在显示器被认为是门的情况下，显示器被部署为使得显示器的下侧位于地板附近，由此使得有可能更现实地表达门上方空间的存在。
此外，可以执行控制，使得部署在三维空间中的通信伙伴的空间的视频的显示区域的宽高比与显示器的宽高比相同。
以上参考附图描述了本公开的一个或多个优选实施例，但本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种更改和变形，并且应当理解的是，它们将自然地落入本公开的技术范围内。
例如，还有可能创建用于使上述通信控制装置10或在处理服务器中建立的硬件(诸如中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM))执行通信控制装置10或处理服务器30的功能的计算机程序。此外，还提供了一种其中存储有计算机程序的计算机可读存储介质。
此外，在上述实施例中，已经描述了显示器1091安装在墙上的情况。但是，本实施例不限于此。在信息处理终端设置的显示单元可以被用作显示器1091。此外，例如，透射式或非透射式头戴式显示器(HMD)的显示单元可以被用作显示器1091。
另外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，与上述效果一起或代替上述效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其它效果。
此外，本技术也可以如下配置。
(1)一种信息处理装置，包括：
接收单元，被配置为从通信目的地接收数据；
生成单元，被配置为生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署在三维空间中的预定位置处；以及
显示控制单元，被配置为执行控制，使得生成的空间图像信息在通信源中的显示单元上显示。
(2)如(1)所述的信息处理装置，还包括：
距离控制单元，被配置为控制三维空间中通信源与通信目的地之间的虚拟分离距离，其中
生成单元将与通信目的地的空间对应的图像部署在与由距离控制单元调整的分离距离对应的位置处。
(3)如(2)所述的信息处理装置，其中
距离控制单元基于来自通信源的连接请求级别和来自通信目的地的连接请求级别来控制分离距离。
(4)如(2)或(3)所述的信息处理装置，其中
距离控制单元基于通信源用户的上下文和通信目的地用户的上下文来控制分离距离，其中所述通信源用户的上下文是基于通信源的空间信息确定的，而所述通信目的地用户的上下文是基于通信目的地的空间信息确定的。
(5)如(4)所述的信息处理装置，其中
上下文包括用户的状态、用户所在的真实空间的状态、时间、季节、天气、地点以及与伙伴用户的关系中的至少任何一个。
(6)如(1)至(5)中任一项所述的信息处理装置，其中
基于示出通信目的地的空间内部的所捕获图像，生成部署在三维空间中的与通信目的地的空间对应的图像，其中所捕获图像是从通信目的地接收的。
(7)如(6)所述的信息处理装置，其中
生成单元还使用与通信目的地的空间相关的相关信息来生成空间图像信息。
(8)如(7)所述的信息处理装置，其中
所述相关信息至少包括通信目的地的天气信息、通信目的地的空间的照度、炊具的状态、通信目的地的用户的日程信息或行动历史。
(9)如(6)至(8)中任一项所述的信息处理装置，其中
生成单元生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署于在三维空间中部署的虚拟建筑物或虚拟移动对象的窗户区域或门区域中。
(10)如(6)至(9)中任一项所述的信息处理装置，其中
生成单元基于通信目的地的空间的实时信息来生成空间图像信息。
(11)如(1)至(10)中任一项所述的信息处理装置，其中
显示控制单元控制要在显示单元上显示的空间图像信息，使得跟随用户的视点的移动。
(12)如(1)至(11)中任一项所述的信息处理装置，其中
生成单元生成反映设定的预定场景的三维空间。
(13)如(1)至(12)中任一项所述的信息处理装置，其中
显示控制单元使得从通信源或通信目的地获取的信息被反映在部署了与通信目的地的空间对应的图像的位置前方的空间中所显示的对象中。
(14)如(1)至(13)中任一项所述的信息处理装置，其中
生成单元生成空间图像信息，在所述空间图像信息中，基于与通信目的地的空间对应的图像而生成的对象被部署在与通信目的地的空间对应的图像所部署的位置前方的空间中。
(15)如(2)所述的信息处理装置，还包括：
数据生成单元，被配置为根据从通信源的空间所获取的数据，基于虚拟分离距离来生成要发送到通信目的地的数据。
(16)如(1)至(15)中任一项所述的信息处理装置，其中
信息处理装置执行控制，使得与通信目的地的空间对应的图像的显示与通信目的地的空间中与通信源的空间对应的图像的显示同步。
(17)一种信息处理方法，包括由处理器：
从通信目的地接收数据；
生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署在三维空间中的预定位置处；以及
执行控制，使得生成的空间图像信息在通信源中的显示单元上显示。
(18)一种程序，使计算机用作以下：
接收单元，被配置为从通信目的地接收数据；
生成单元，被配置为生成空间图像信息，在所述空间图像信息中，与通信目的地的空间对应的图像被部署在三维空间中的预定位置处；以及
显示控制单元，被配置为执行控制，使得生成的空间图像信息在通信源中的显示单元上显示。
附图标记列表
1 远程呈现系统
10(10A至10C) 通信控制装置
20 网络
30 处理服务器
40 窗框
41 伙伴空间图像
41' 伙伴空间图像
100 通信控制装置
101 输入单元
1011 相机
1012 MIC
1013 传感器
102 空间信息获取单元
103 状态确定单元
104 空间距离控制单元
105 操作I/F
106 庭院空间生成单元
107 通信单元
108 空间信息生成单元
109 输出单元
1091 显示器
1092 扬声器
1093 指示器
110 存储单元
111 发送信息生成单元