信息处理设备、信息处理方法和程序的制作方法
【专利摘要】一种信息处理设备包括消息登记单元和消息再现单元。消息登记单元被构造为登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知。消息再现单元被构造为再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
【专利说明】信息处理设备、信息处理方法和程序
[0001]相关申请的交叉引用
[0002]本申请要求于2013年7月10日提交的日本优先权专利申请JP2013-144501的利益，其全部内容通过引用包含于此。
【技术领域】
[0003]本公开涉及一种信息处理设备、信息处理方法和程序，更具体地讲，涉及一种能够使不在现场的用户彼此交换消息的信息处理设备、信息处理方法和程序。
【背景技术】
[0004]已知将用户自己的视频消息记录在记录介质中并且将记录介质邮寄给另一个人，即所谓的视频信。另外，与视频信不同，已提出一种能够在可连接到互联网的环境中将视频消息分发给另一设备而不需要邮寄视频消息的电影分发系统(参见例如日本专利申请公开 N0.2003-078901)。
【发明内容】
[0005]然而，利用已有的技术，因为源用户在视频消息中单方面地对目的地用户说话，所以虽然视频消息能够被发送给另一个人，但即使视频消息被再现，也可能无法在用户之间进行交互式通信。由于这个原因，需要允许不在现场的用户彼此交换消息。
[0006]考虑到以上情况提出本公开，并且希望允许不在现场的用户彼此交换消息。
[0007]根据本公开的实施例，提供一种信息处理设备，所述信息处理设备包括:消息登记单元，被构造为登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；和消息再现单元，被构造为再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
[0008]第二消息包括通过组合第一用户的视频和第二用户的视频而获得的合成视频。
[0009]消息再现单元被构造为再现第一消息，并且消息登记单元被构造为在再现第一消息的状态下登记第二消息。
[0010]在合成视频中，第一用户的视频和第二用户的视频位于同一空间中。
[0011]消息登记单元被构造为分离每个用户的视频与背景视频并且登记第一消息，并且消息再现单元被构造为再现通过组合多个用户的视频与背景视频而获得的合成视频。
[0012]信息处理设备还包括:位置检测单元，被构造为检测空间中的用户的位置，其中消息再现单元被构造为再现根据用户的检测到的位置调整用户的视频的合成视频。
[0013]根据用户的检测到的位置调整合成视频中的用户的视频的显示位置。
[0014]根据用户的检测到的位置调整合成视频中的用户的视频的透明度。
[0015]根据消息的登记时间调整合成视频中的用户的视频的排列次序。
[0016]根据用户的设置调整合成视频中的用户的视频的排列次序。
[0017]消息再现单元被构造为再现在多个用户的视频彼此交叠的情况下被调整以使得每个用户的视频不彼此交叠的合成视频。
[0018]根据本公开的实施例，提供一种与根据本公开的实施例的信息处理设备对应的信息处理方法或程序。
[0019]在根据本公开的实施例的信息处理设备、信息处理方法和程序中，登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知，并且再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
[0020]根据本公开的实施例，可允许不在现场的用户彼此交换消息。
[0021 ] 考虑到下面对如附图中所示的本公开的最佳实施方式的详细描述，本公开的这些和其它目的、特征和优点将会变得更加清楚。
【专利附图】
【附图说明】
[0022]图1是显示应用本公开的实施例的显示设备的外观的示图；
[0023]图2是显示应用本公开的实施例的显示设备的内部结构的示图；
[0024]图3是显示控制器的功能结构例子的示图；
[0025]图4是显示记录单元的细节的示图；
[0026]图5是用于解释消息发送/接收处理的流程图；
[0027]图6是分别显示在选择菜单屏幕时的显示设备的显示例子的示图；
[0028]图7是用于解释消息发送处理的细节的流程图；
[0029]图8是分别显示在发送视频消息时的显示设备的显示例子的示图；
[0030]图9是用于解释消息接收处理的细节的流程图；
[0031]图10是分别显示在接收视频消息时的显示设备的显示例子的示图；
[0032]图11是用于解释消息返回处理的细节的流程图；
[0033]图12是分别显示在返回视频消息时的显示设备的显示例子的示图；
[0034]图13是显示在再现返回视频消息时的显示设备的显示例子的示图；
[0035]图14是显示消息数据库的结构例子的示图；
[0036]图15是显示按照时间顺序排列的视频消息的示图；
[0037]图16是显示空间中的用户位置的示图；
[0038]图17是按照时间顺序显示视频消息的时序图；
[0039]图18是显示组合用户的视频的例子的示图；
[0040]图19是用于解释用户的显示位置的调整的示图；和
[0041]图20是显示计算机的结构例子的示图。
【具体实施方式】
[0042]以下，将参照附图描述本公开的实施例。
[0043]<显示设备的结构>
[0044](显示设备的外观)
[0045]图1是显示应用本公开的实施例的显示设备的外观的示图。
[0046]如图1中所示，显示设备10包括具有大屏幕的板状壳体，并且假设设置显示设备10以使得大屏幕是垂直的或者显示设备10将会被悬挂在墙壁上作为主要使用方式。
[0047]除了集成触摸传感器和显示单元的触摸面板之外，显示设备10还包括照相机单元和麦克风。因此，显示设备10能够根据触摸面板的用户操作登记(记录)一个用户给不同的用户的视频消息，并且所述不同的用户能够再现登记的视频消息。
[0048](显示设备的内部结构)
[0049]图2是显示应用本公开的实施例的显示设备的内部结构的示图。
[0050]如图2中所示，图1中示出的显示设备10包括控制器101、存储单元102、操作单元103、照相机单元104、麦克风105、触摸面板106、扬声器107、记录单元108和通信单元109。
[0051]控制器101控制显示设备10的各单元的操作。存储单元102在控制器101的控制下暂时存储各种类型的数据。
[0052]操作单元103是布置在显示设备10上的按钮等，并且将与用户的操作对应的操作信号提供给控制器101。控制器101基于来自操作单元103的操作信号控制各单元的操作。
[0053]照相机单元104在控制器101的控制下拍摄对象。照相机单元104将通过拍摄获得的视频数据提供给控制器101。麦克风105在控制器101的控制下将来自外部的音频转换成音频数据并且将音频数据提供给控制器101。控制器101将来自照相机单元104的视频数据与来自麦克风105的音频数据关联，并且将其作为视频消息记录在记录单元108中。应该注意的是，虽然这里未描述细节，但例如视频消息根据预定压缩格式被压缩并且被记录为文件。
[0054]触摸面板106包括显示单元151和叠加在显示单元151的屏幕上的触摸传感器152。显示单元151包括液晶显示器(IXD)等并且在控制器101的控制下显示各种类型的信息。另外，触摸传感器152检测由用户I对触摸面板106进行的输入操作以及在触摸面板106上进行操作的位置，并且将检测信号提供给控制器101。控制器101根据来自触摸传感器152的检测信号控制各单元的操作。
[0055]应该注意的是，各种检测方法(诸如，电容方法和电磁感应方法)能够被用于触摸面板106。
[0056]扬声器107在控制器101的控制下将音频数据转换成音频并且将音频输出到外部。记录单元108包括例如HDD (硬盘驱动器)。记录单元108在控制器101的控制下记录各种类型的数据。
[0057]通信单元109在控制器101的控制下经网络与其它电子设备和各种服务器(未示出)通信。
[0058]显示设备10被如上所述构造。
[0059](控制器的功能结构例子)
[0060]图3是显示图2中示出的控制器101的功能结构例子的示图。
[0061]如图3中所示，控制器101包括用户检测单元201、消息登记单元202、消息再现单元203、位置检测单元204和显示控制器205。
[0062]用户检测单元201将预定图像处理应用于来自照相机单元104的视频数据以在显示设备10的前方附近检测用户。用户检测单元201将用户检测结果提供给显示控制器205坐寸O
[0063]在登记视频消息时，来自照相机单元104的视频数据和来自麦克风的音频数据被提供给消息登记单元202。消息登记单元202将包括视频数据和音频数据的视频消息登记在记录单元108中的消息数据库232 (图4)中。
[0064]应该注意的是，如图4中所示，记录单元108包括用户数据库231和消息数据库232。用户数据库231存储关于每个用户的用户信息。因此，通过使用存储在用户数据库231中的用户信息，一个用户给其他用户的视频消息能够被登记(记录)在消息数据库232中。应该注意的是，用户数据库231存储用户信息，诸如例如用户姓名和用户的脸的图像。此外，除了视频消息之外，消息数据库232还存储例如源、目的地、发送时间和日期以及关于用户的位置的信息。
[0065]现在，再次描述图3。消息再现单元203在再现视频消息时参照记录单元108中的消息数据库232读取视频消息。消息再现单元203将构成视频消息的视频数据和音频数据分别提供给显示单元151和扬声器107。因此，再现一个用户给其他用户的视频消息。
[0066]位置检测单元204通过将预定图像处理应用于来自照相机单元104的视频数据来检测空间中的用户的三维位置，并且将检测到的位置与待检测的用户关联以将其存储在消息数据库232中。应该注意的是，检测三维位置的方法不限于使用图像处理的方法，并且可以是其他检测方法，诸如使用用于位置检测的传感器的方法。
[0067]显示控制器205使显示单元151显示各种屏幕。例如，显示控制器205根据从用户检测单元201获得的用户检测结果使显示单元151显示菜单屏幕。
[0068]控制器101被如上所述构造。
[0069]〈特定使用例子〉
[0070]接下来，将描述如何使用显示设备10。这里，作为特定使用例子，将描述不在现场的用户经显示设备10交换视频消息的情况。在这个例子中，假设显示设备10被设置在房子中的客厅中并且生活在房子中的家庭成员在房子中交换视频消息，以便给出简单的描述。应该注意的是，这个家庭有五个成员，即父亲、母亲和三个孩子(两个儿子和一个女儿)。
[0071](消息发送/接收处理)
[0072]参照图5的流程图，将首先描述由显示设备10执行的消息发送/接收处理。
[0073]在步骤Sll中，确定是否指示了显示设备10的激活。在指示了显示设备10的激活的情况下，该处理前进至步骤S12。
[0074]在步骤S12中，用户检测单元201执行用户检测处理。在用户检测处理中，预定图像处理被应用于来自照相机单元104的视频数据，并且在用户位于显示设备10的前方附近的情况下检测到视频中的对象(用户)。
[0075]应该注意的是，例如，通过在用户操作触摸面板时走近显示设备10，即使用户离开屏幕，也可通过将关于检测到的用户的脸图像的数据存储在存储单元102中来继续识别目标用户。此外，用户检测单元201参照用户数据库231以识别与检测到的用户的脸图像对应的用户。因此，执行用户验证，并且识别谁是检测到的用户。因此，可根据每个用户执行处理。
[0076]在步骤S13中，确定在步骤S12中的用户检测处理中是否检测到用户。在步骤S13中确定未检测到用户的情况下，该处理返回到步骤S12，并且重复步骤S12和S13的处理直至检测到用户。
[0077]另一方面，在步骤S13中确定检测到用户的情况下，该处理前进至步骤S14。在步骤S14中，显示控制器205使显示单元151显示检测到的用户的视频和菜单屏幕。
[0078]图6是分别显示从检测用户时到显示菜单屏幕时的显示设备10的显示例子的示图。图6A显示在检测到用户之前的显示状态。在检测到用户之前，显示没有人的客厅的视频。应该注意的是，在模糊状态下显示在检测到用户之前的视频。
[0079]其后，在父亲进入客厅并且站在显示设备10前面的情况下，例如，父亲被检测为用户，并且显示父亲的视频。应该注意的是，此时，可在模糊状态下显示除了在父亲的脸附近的区域之外的区域。此外，显示父亲的视频，并且菜单屏幕251叠加在父亲的视频上。在菜单屏幕251上，显示发送图标252、接收图标253和答复图标254。当发送新视频消息时，选择发送图标252，当接收来自不同用户的视频消息时，选择接收图标253，并且当答复来自不同用户的视频消息时，选择答复图标254。
[0080]现在，再次描述图5的流程图。在步骤S15中，确定是否从菜单屏幕选择了消息的发送。在例如在触摸面板上在菜单屏幕251中操作了发送图标252并且在步骤S15中确定选择了消息的发送的情况下，该处理前进至步骤S16。
[0081]在步骤S16中，消息登记单元202执行消息发送处理。在消息发送处理中，在父亲被检测为用户的情况下，例如，登记(记录)从父亲到女儿的新视频消息。视频消息被登记在消息数据库232中。应该注意的是，稍后将参照图7的流程图描述消息发送处理的细节。
[0082]当消息发送处理完成时，该处理前进至步骤S20。
[0083]在步骤S15中确定未选择消息的发送的情况下，该处理前进至步骤S17。在步骤S17中，确定是否从菜单屏幕选择了视频消息的接收。在步骤S17中，在例如在触摸面板上在菜单屏幕251中操作了接收图标253并且确定选择了消息的接收的情况下，该处理前进至步骤S18。
[0084]在步骤S18中，消息再现单元203执行消息接收处理。在消息接收处理中，在父亲被检测为用户的情况下，例如，从消息数据库232读取已被预先记录的从女儿到父亲的视频消息并且再现该视频消息。应该注意的是，将参照图9的流程图描述消息接收处理的细节。
[0085]当消息接收处理完成时，该处理前进至步骤S20。
[0086]在例如在步骤S17中在触摸面板上在菜单屏幕中操作了答复图标254并且确定未选择视频消息的接收的情况下，该处理前进至步骤S19。
[0087]在步骤S19中，消息登记单元202执行消息答复处理。在消息答复处理中，在已观看来自女儿的视频消息的父亲被检测为用户的情况下，例如，登记(记录)从父亲到女儿的答复视频消息。答复视频消息被登记在消息数据库232中。应该注意的是，稍后将参照图11的流程图描述消息答复处理的细节。
[0088]应该注意的是，当视频消息的再现在步骤S18中的消息接收处理中完成时，可显示答复图标254。在这种情况下，当在触摸面板上操作了答复图标254并且执行消息答复处理时，登记针对最近再现的视频消息的答复视频消息。
[0089]当消息答复处理完成时，该处理前进至步骤S20。
[0090]在步骤S20中，确定是否由用户执行了针对视频消息的其他操作。在步骤S20中确定执行了其他操作的情况下，该处理返回到步骤S14并且重复步骤S14的处理和随后的处理。另一方面，在步骤S20中确定未执行其他操作，该处理前进至步骤S21。
[0091]在步骤S21中，确定是否指示了显示设备10的禁用。在步骤S21中确定未指示显示设备10的禁用的情况下，该处理返回到步骤S12并且重复步骤S12的处理和随后的处理。然后，在步骤S21中指示了显示设备10的禁用的情况下，图5中示出的消息发送/接收处理结束。
[0092]这是消息发送/接收处理的描述的结束。
[0093](消息发送处理)
[0094]接下来，参照图7的流程图，将描述与图5的步骤S16对应的消息发送处理的细节。
[0095]在步骤S61中，显示控制器205参照用户数据库231并且使显示单元151显示用于选择视频消息的目的地(目的地:其他用户)的屏幕。因此，用户能够通过在触摸面板上的操作从用于选择目的地的屏幕选择预期目的地。
[0096]在步骤S62中，确定是否通过触摸面板上的用户的操作选择了视频消息的目的地。当选择了视频消息的目的地时，该处理前进至步骤S63。
[0097]在步骤S63中，确定是否开始登记视频消息。在步骤S63中确定开始登记视频消息的情况下，该处理前进至步骤S64。
[0098]在步骤S64中，位置检测单元204通过例如将预定图像处理应用于视频数据来检测空间中的用户的三维位置，并且将检测到的位置登记在消息数据库232中。
[0099]在步骤S65中，消息登记单元202将来自照相机单元104的视频数据和来自麦克风105的音频数据作为视频消息登记在消息数据库232中。
[0100]因此，登记(记录)从一个用户到不同的用户的视频消息，并且所述不同的用户能够再现该视频消息。换句话说，视频消息被从一个用户发送给不同的用户。
[0101]当视频消息的登记完成时，该处理返回到图5的步骤S16，并且执行步骤S16的处理和随后的处理。
[0102]图8是分别显示在发送视频消息时的显示设备10的显示例子的示图。
[0103]如图8A中所示，当从菜单屏幕251选择发送图标252时，显示叠加在站在显示设备10前面的父亲的视频上的用于选择目的地的屏幕261。这里，通过预先将关于家庭成员的用户信息登记在用户数据库231中，除通过用户验证识别的父亲之外的母亲和孩子的脸图像被显示在选择屏幕261上。然后，当通过触摸面板上的父亲的操作从选择屏幕261选择了女儿的脸图像时，女儿被选择为视频消息的目的地。
[0104]由于如上所述显示作为视频消息的目的地的用户的脸图像，所以登记视频消息的用户能够直观地选择目的地。此外，虽然这里描述了仅选择一个目的地的例子，但可选择多个目的地，例如，除自己之外的家庭成员被选择为目的地。
[0105]当选择了目的地时，如图SB中所示，例如，在开始登记视频消息之前显示预定倒计数。因此，如图8C中所示，登记(记录)视频消息。
[0106]在父亲选择女儿作为目的地并且发送视频消息的情况下，例如，父亲站在显示设备10前面并且利用手势对并不同时位于该空间(客厅)中的女儿说话。因此，给女儿的视频消息被记录。作为结果，除了给女儿的视频消息之外，例如，关于源(父亲)、目的地(女儿)、发送时间和日期以及用户的位置(父亲站在的位置)也被存储在消息数据库232中。
[0107]这是消息发送处理的描述的结束。
[0108](消息接收处理)
[0109]接下来，参照图9的流程图，将描述与图5的步骤S18对应的消息接收处理的细节。
[0110]在步骤Slll中，显示控制器205参照消息数据库232并且使显示单元151显示用于选择其目的地(地址)是用户的视频消息的屏幕。
[0111]在步骤S112中，确定是否通过触摸面板的用户的操作选择了作为再现目标的视频消息。当选择了作为再现目标的视频消息时，该处理前进至步骤S113。
[0112]在步骤SI 13中，消息再现单元203参照消息数据库232并且再现作为再现目标的视频消息。
[0113]因此，用户能够再现由不同的用户登记(记录)的视频消息。换句话说，用户接收来自不同的用户的视频消息。
[0114]当视频消息的再现完成时，该处理返回到图5的步骤S18并且执行步骤S18的处理和随后的处理。
[0115]图10是分别显示在接收视频消息时的显示设备10的显示例子的示图。
[0116]如图1OA中所示，当从菜单屏幕251选择接收图标253时，显示叠加在站在显示设备10前面的父亲的视频上的用于选择视频消息的屏幕262。这里，在选择屏幕262上，显示已向父亲发送视频消息的家庭成员的脸图像以及视频消息的发送时间和日期。例如，在母亲和女儿已分别在9:00和10:10向父亲发送视频消息的情况下，母亲和女儿的脸图像以及发送时间和日期被显示在选择屏幕262上。然后，当通过触摸面板上的父亲的操作选择了女儿的脸图像时，例如，选择了来自女儿的视频消息。
[0117]由于如上所述显示视频消息的源的脸图像，所以再现视频消息的用户能够直观地选择消息。
[0118]当选择了脸图像时，开始再现视频消息。例如，如图1OB中所示，当再现来自女儿的视频消息时，显示女儿的视频。此外，可将父亲的实时视频叠加在女儿的记录的图像上并且显示叠加的视频。此时，可通过调整父亲的视频的透明度以使得父亲的视频变得半透明来强调作为视频消息的源的女儿的视频并且显示强调的视频。
[0119]当视频消息的再现完成时，其透明度被调整的父亲的视频恢复到原始状态，并且显示父亲的实时视频，如图1OC中所示。另一方面，通过调整已被作为视频消息再现的女儿的视频的透明度以使得女儿的视频变得半透明，例如，可清楚地指示再现完成。此外，在再现完成的情况下，可显示指示重放的图标。因此，在触摸面板上操作了该图标的情况下，来自女儿的视频消息能够被再次再现。另外，当再现完成时，可显示答复图标。在触摸面板上操作了答复图标的情况下，登记针对最近再现的来自女儿的视频消息的来自父亲的答复视频消息。
[0120]应该注意的是，参照图10描述的在再现视频消息时的显示方式仅是例子，并且可采用其他显示方式，例如在女儿的视频消息的再现期间不显示父亲的实时视频。
[0121]这是消息接收处理的描述的结束。
[0122](消息答复处理)
[0123]接下来，参照图11的流程图，将描述与图5的步骤S19对应的消息答复处理的细节。
[0124]在步骤S161中，消息再现单元203参照消息数据库232并且再现作为答复目标的视频消息。应该注意的是，由已再现视频消息的用户针对作为视频消息的源的不同的用户执行视频消息的答复。因此，作为答复目标的视频消息是图9的步骤S113中的作为再现目标的视频消息。
[0125]在步骤S162中，确定是否开始登记视频消息。在步骤S162中确定开始登记视频消息的情况下，该处理前进至步骤S163。
[0126]在步骤S163中，位置检测单元204通过例如将预定图像处理应用于视频数据来检测空间中的用户的三维位置，并且将检测到的位置登记在消息数据库232中。
[0127]在步骤S164中，消息登记单元202将来自照相机单元104的视频数据和来自麦克风105的音频数据登记在消息数据库232中作为视频消息。
[0128]在步骤S165中，确定视频消息的登记是否完成。在步骤S165中确定视频消息的登记未完成的情况下，该处理前进至步骤S164，并且重复步骤S164的处理和随后的处理。具体地讲，在这种情况下，在作为答复目标的视频消息被再现并且被显示在显示单元151上的同时，登记答复视频消息。
[0129]当答复视频消息的登记完成时，该处理返回到图5的步骤S19，并且执行步骤S19的处理和随后的处理。
[0130]图12是分别显示在答复视频消息时的显示设备10的显示例子的示图。
[0131]当选择了显示在菜单屏幕251上的答复图标254或在再现完成时显示的答复图标时，如图12A中所示显示预定倒计数。其后，开始登记答复视频消息。因此，如图12B中所示，登记(记录)答复视频消息。
[0132]例如，在父亲答复来自女儿的视频消息的情况下，在再现来自女儿的视频消息的同时显示父亲的实时视频。因此，父亲能够在观看女儿的视频的同时根据女儿的视频做出手势。具体地讲，在图12B中示出的例子中，显示叠加在报告学校成绩作为视频消息的女儿的记录的视频上的在抚摸其女儿的头的同时表扬其女儿的学校成绩的父亲的实时视频。换句话说，虽然父亲和女儿并不同时位于同一空间(客厅)中，但显示看起来好像父亲和女儿同时位于同一空间中的父亲和女儿的合成视频，并且该合成视频能够被登记(记录)为视频消息。
[0133]如上所述，即使例如当父亲下班回家时女儿已上床睡觉，如果女儿已给父亲留下视频消息，则父亲也能够看见他的女儿过得怎么样。此外，父亲能够给女儿留下父亲和女儿同时位于同一空间中的视频消息。因此，如图13中所示，女儿能够在第二天再现来自父亲的视频消息并且接收到来自表扬女儿的学校成绩的父亲的答复。
[0134]这是消息答复处理的描述的结束。
[0135](叠加视频的原理)
[0136]如上所述，在本公开的实施例中，通过叠加由不同时位于同一空间中的用户单独记录的视频，能够再现看起来好像用户位于同一地点的合成视频。以下，将描述根据本公开的实施例的叠加视频的原理。这里，图14中示出的视频消息被按照时间顺序顺序地登记在消息数据库232中。
[0137]在图14中示出的消息数据库232中，由用户A (母亲)在时间t0登记给所有家庭成员的视频消息“We have some ice cream in the fridge”,并且在时间tl登记从用户B和C(儿子)到用户A(母亲)的视频消息“The ice cream was yummy”。另外,在时间t2登记从用户D (女儿)到用户M(父亲)的视频消息“Welcome back, daddy”。然后,在当前时间(现在)正在登记从用户M(父亲)到用户D (女儿)的视频消息“Thank you”。
[0138]在图14中示出的例子中，为了方便描述，通过字符书写视频消息。然而，实际上登记源用户利用手势对不在现场的目的地用户说话的视频。
[0139]具体地讲，如图15中所示，沿时间t的箭头的方向确定时间轴，并且登记在消息数据库232中的视频消息按照时间顺序排列，这代表用户A (母亲)、用户B和C(儿子)、用户D(女儿)和用户M(父亲)的视频消息已被按照所描述的次序登记。应该注意的是，在图15中，按照时间顺序仅示出构成每个视频消息的多个帧中的一个帧。
[0140]应该注意的是，如图16中所示，如果当从上方观看设置显示设备10的客厅时已登记视频消息的用户位于同一空间中，则站立位置是不同的。此外，在这种情况下登记的视频消息不仅包括用户的视频，还包括背景的视频，并且每个视频消息的背景基本相同。然后，当组合视频以产生合成视频时仅需要一个背景，并且不需要另一背景。在这个方面，当登记视频消息时，将用户的视频与背景的视频分离。
[0141]具体地讲，如图15中所示，登记用户A(母亲)的视频与背景的视频分离的在时间t0的视频、用户B和C(儿子)的视频与背景的视频分离的在时间tl的视频以及用户D (女儿)的视频与背景的视频分离的在时间t2的视频。因此，当再现包括所有用户的合成视频时，例如，再现通过将与背景的视频分离的母亲、儿子和女儿的视频叠加在包括背景的父亲的实时视频上而获得的合成视频。
[0142]此外，作为分离每个用户的视频与背景的视频并且登记视频的方法，例如，能够采用下面的方法。具体地讲，通过在显示设备10中提供多个照相机单元104-1至104-3并且使用在由每个照相机单元104拍摄的图像之间引起的位移经立体视觉分离背景，每个用户的视频能够与背景的视频分离。应该注意的是，使用立体视觉的方法仅是分离每个用户的视频与背景的视频的方法的例子。例如，可通过采用应用红外线以形成图案的方法、背景减法方法、使用从各种传感器(诸如，相位传感器)获得的检测结果的方法等来分离每个用户的视频与背景的视频。通过使用这些方法，可实时分离每个用户的图像与背景的图像并且登记图像。
[0143]图17是按照时间顺序显示登记在图14中示出的消息数据库232中的视频消息的时序图。在图17中，水平方向代表时间轴并且垂直方向代表当叠加视频时的层。如图17的时序图中所示，用户的视频与背景的视频分离的每个视频消息被登记(记录)在消息数据库232中。此外，当用户M(父亲)在当前时间(现在)登记答复视频消息时，再现来自用户D (女儿)的视频消息并且显示合成视频。仅用户D (女儿)的记录的视频叠加在父亲的实时视频上，因为背景的图像被分离。
[0144]此外，虽然在图14中未示出，但代表用户的站立位置的关于每个用户的位置的信息与每个视频消息关联并且被存储在消息数据库232中。具体地讲，虽然如图16中所示每个用户的站立位置不同，但每个用户的实际站立位置被检测为三维位置，由此当叠加视频时将检测到的位置反映到层的次序。
[0145]在图16中示出的例子中，当将用户D(女儿)的检测到的位置与用户M(父亲)的检测到的位置进行比较时，女儿相对于显示设备10位于父亲的前方。在这种情况下，如图18中所示，通过叠加视频以使得位于前面的女儿的视频在父亲的视频前方能够再现根据每个用户的站立位置的视频消息。应该注意的是，通过调整视频的透明度，例如，以浅色显示位于女儿后面的父亲的视频，也能够获得类似效果。
[0146]此外，如图19的左侧部分中所示，在每个用户在显示设备10前面登记视频消息的情况下，应该难以观看视频，因为当再现视频消息时每个用户的视频叠加。在这种情况下，能够调整每个用户的显示位置以免叠加每个用户的视频。例如，在在女儿站在显示设备10前面的中心位置并且登记给父亲的视频消息之后父亲类似地站在中心位置并且登记给女儿的视频消息的情况下，女儿的视频的显示位置与父亲的实时视频的显示位置交叠。
[0147]在这种情况下，能够检测每个用户的站立位置，并且能够移动用户的显示位置以免每个用户的显示位置交叠。例如，如图19的右上部分中所示，在已登记女儿和儿子的视频消息的情况下，女儿的视频能够从中心位置向图19的右侧方向移动距离d，并且儿子的视频能够从中心位置向右侧方向移动距离2d，以免将父亲的实时视频叠加在女儿和儿子的记录的视频上。应该注意的是，在这种情况下，例如，距离d和距离2d被设置为预先定义的预定距离。
[0148]此外，例如，如图19的右下部分中所示，可在移动显示位置之前确定是否存在登记的视频消息中所包括的将会被叠加的用户的视频。例如，在父亲的实时视频叠加在女儿和儿子的记录的视频上的情况下，女儿的视频能够从中心位置向图19的右侧方向移动距离3d，并且儿子的视频向图19的左侧方向移动距离4d，以免同时显示的三人的视频交叠。应该注意的是，在这种情况下，例如，距离3d和距离4d被设置为一定距离，以使得每个用户的视频不交叠。
[0149]应该注意的是，在以上描述中，检测每个用户的站立位置，并且根据检测到的位置确定叠加用户的视频的次序。然而，例如，可根据视频消息的登记时间或用户设置确定叠加用户的视频的次序。具体地讲，在使用视频消息的登记时间的情况下，例如，其登记时间新或旧的视频消息中所包括的用户的视频能够被显示在另一视频消息中所包括的用户的视频的前面。例如，如图15中所示，在用户的视频以其登记时间旧的次序被显示在前面的情况下，母亲、儿子、女儿和父亲的视频以描述的次序叠加。
[0150]此外，通过用户设置，可调整用户的视频叠加在任意用户的视频的前面或后面。另夕卜，在一个用户的显示位置与不同的用户的显示位置交叠的情况下，可通过用户设置或预定图像处理来调整用户的显示位置。另外，根据用户的操作，可增加或删除作为叠加目标的视频消息。因此，例如，可删除已在过去登记的自己的视频消息。
[0151]应该注意的是，因为显示设备10在这个例子中布置在这客厅中，所以用户位于同一空间中。然而，例如，通过在具有相同物理设置(例如，房间的大小和安装的高度)的其它空间中设置另一显示设备并且由通信单元109通过网络执行通信，用户可彼此交换视频消息。此外，在图16中示出的例子中，为了方便描述，示出布置多个照相机单元104的结构。然而，根据分离视频的方法，可仅包括一个照相机单元104。
[0152]如上所述，根据本公开，不在现场的用户能够经显示设备10交换消息。例如，在上述例子，即使父亲和女儿并不同时位于同一空间中，父亲和女儿也能够通过交换包括父亲和女儿同时位于同一地点的合成视频的视频消息来进行交互式通信。此外，通过产生这种合成视频，可在再现视频消息时产生并不同时位于同一地点的父亲和女儿好像位于同一地点的效果。
[0153]此外，使用显示设备10的用户能够登记(记录)包括自己的视频叠加在其他用户的视频上的合成视频的视频消息，而无需编辑登记的视频消息。
[0154](应用本公开的计算机的描述)
[0155]上述一系列处理可由硬件或软件执行。为了使软件执行上述一系列处理，软件中的程序被安装在计算机上。这里，计算机包括例如为其专门设计的硬件中的计算机或可通过安装各种程序来执行各种功能的通用个人计算机。
[0156]图20是显示通过运行程序来执行上述一系列处理的计算机的示例性硬件结构的方框图。
[0157]在计算机300中，总线314将CPU (中央处理单元)311、ROM(只读存储器)312和RAM (随机存取存储器)313连接在一起。
[0158]总线314还与输入/输出接口 315连接。输入/输出接口 315与输入单元316、输出单元317、记录单元318、通信单元319和驱动器320连接。
[0159]输入部分316包括键盘、鼠标、麦克风等，并且输出单元317包括显示器、扬声器等。记录单元318是例如硬盘或非易失性存储器。通信单元319是例如网络接口。驱动器320驱动可移动介质321，诸如磁盘、光盘、磁光盘、半导体存储器等。
[0160]在如上所述构造的计算机300中，例如，CPU311经输入/输出接口 315和总线314将存储在记录单元318中的程序加载到RAM313中并且执行该程序以执行上述一系列处理。
[0161]由计算机300 (CPU311)执行的程序能够被记录在可移动介质321上作为例如封装介质并且被提供。此外，能够经有线或无线传输介质(诸如，局域网、互联网和数字卫星广播)提供该程序。
[0162]在计算机300中，通过在驱动器320中加载可移动介质321，程序能够经输入/输出接口 315被安装在记录单元318中。程序还能够由通信单元319经有线或无线传输介质接收并且被安装在记录单元318中。替代地，程序能够被预先安装在R0M312或记录单元318 中。
[0163]应该注意的是，将要由计算机300执行的程序可以是以本说明书中描述的次序按照时间顺序执行处理的程序或者并行地或在必要的时刻(例如，当调用时)执行处理的程序。
[0164]这里，描述用于使计算机300执行各种类型的处理的程序的处理步骤并不必然需要以在本说明书中描述为流程图的次序按照时间顺序处理，并且还包括并行地或单独地执行的处理(例如，并行处理或使用对象的处理)。
[0165]另外，程序可由一个计算机处理，或者可由多个计算机分散地处理。替代地，程序可被传送到远程计算机以被执行。
[0166]另外，在本说明书中，系统表示多个组成元件(设备、模块(部件)等)的群组，并且所有组成元件是否布置在同一壳体中是无关紧要的。因此，被容纳在不同壳体中并且经网络连接的多个设备和多个模块与被容纳在单个壳体中的单个设备都被称为系统。
[0167]应该注意的是，本公开的实施例不限于上述实施例并且能够在不脱离本公开的主旨的情况下以各种方式修改。
[0168]例如，本公开能够采用一个功能由多个设备经网络共享并且以协作方式处理的云计算结构。
[0169]此外，在流程图中描述的步骤能够被分派给多个设备并且由所述多个设备执行，来替代由单个设备执行这些步骤。
[0170]另外，当单个步骤包括多个处理时，所述单个步骤中所包括的所述多个处理能够被分派给多个设备并且由所述多个设备执行，来替代由单个设备执行这些处理。
[0171]应该注意的是，本公开也可采用下面的结构。
[0172](I) 一种信息处理设备,包括:
[0173]消息登记单元，被构造为登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；和
[0174]消息再现单元，被构造为再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
[0175](2)如⑴所述的信息处理设备，其中
[0176]所述第二消息包括通过组合第一用户的视频和第二用户的视频而获得的合成视频。
[0177](3)如⑴或⑵所述的信息处理设备，其中
[0178]所述消息再现单元被构造为再现第一消息，以及
[0179]消息登记单元被构造为在再现第一消息的状态下登记第二消息。
[0180](4)如⑵或(3)所述的信息处理设备，其中
[0181]在合成视频中，第一用户的视频和第二用户的视频位于同一空间中。
[0182](5)如⑵至(4)中任何一项所述的信息处理设备，其中
[0183]所述消息登记单元被构造为分离每个用户的视频与背景视频并且登记第一消息，以及
[0184]消息再现单元被构造为再现通过组合多个用户的视频与背景视频而获得的合成视频。
[0185](6)如⑵至(5)中任何一项所述的信息处理设备，还包括:
[0186]位置检测单元，被构造为检测空间中的用户的位置，其中
[0187]所述消息再现单元被构造为再现根据用户的检测到的位置调整用户的视频的合成视频。
[0188](7)如(6)所述的信息处理设备，其中
[0189]根据用户的检测到的位置调整合成视频中的用户的视频的显示位置。
[0190](8)如(6)所述的信息处理设备，其中
[0191]根据用户的检测到的位置调整合成视频中的用户的视频的透明度。
[0192](9)如⑵至(6)中任何一项所述的信息处理设备，其中
[0193]根据消息的登记时间调整合成视频中的用户的视频的排列次序。
[0194](10)如⑵至(5)中任何一项所述的信息处理设备，其中
[0195]根据用户的设置调整合成视频中的用户的视频的排列次序。
[0196](11)如(I)至(10)中任何一项所述的信息处理设备，其中
[0197]所述消息再现单元被构造为再现在多个用户的视频彼此交叠的情况下被调整以使得每个用户的视频不彼此交叠的合成视频。
[0198](12) 一种用于信息处理设备的信息处理方法，包括:由所述信息处理设备
[0199]登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；以及
[0200]再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
[0201](13) 一种程序，使计算机用作:
[0202]消息登记单元，被构造为登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；和
[0203]消息再现单元，被构造为再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
[0204]本领域技术人员应该理解，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换，只要其在所附权利要求或其等同物的范围内。
【权利要求】
1.一种信息处理设备,包括: 消息登记单元，被构造为登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；和 消息再现单元，被构造为再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
2.如权利要求1所述的信息处理设备，其中 所述第二消息包括通过组合第一用户的视频和第二用户的视频而获得的合成视频。
3.如权利要求2所述的信息处理设备，其中 所述消息再现单元被构造为再现第一消息，以及 消息登记单元被构造为在再现第一消息的状态下登记第二消息。
4.如权利要求3所述的信息处理设备，其中 在合成视频中，第一用户的视频和第二用户的视频位于同一空间中。
5.如权利要求2所述的信息处理设备，其中 所述消息登记单元被构造为分离每个用户的视频与背景视频并且登记第一消息，以及 消息再现单元被构造为再现通过组合多个用户的视频与背景视频而获得的合成视频。
6.如权利要求2所述的信息处理设备，还包括: 位置检测单元，被构造为检测空间中的用户的位置，其中 所述消息再现单元被构造为再现根据用户的检测到的位置调整用户的视频的合成视频。
7.如权利要求6所述的信息处理设备，其中 根据用户的检测到的位置调整合成视频中的用户的视频的显示位置。
8.如权利要求6所述的信息处理设备，其中 根据用户的检测到的位置调整合成视频中的用户的视频的透明度。
9.如权利要求2所述的信息处理设备，其中 根据消息的登记时间调整合成视频中的用户的视频的排列次序。
10.如权利要求2所述的信息处理设备，其中 根据用户的设置调整合成视频中的用户的视频的排列次序。
11.如权利要求2所述的信息处理设备，其中 所述消息再现单元被构造为再现在多个用户的视频彼此交叠的情况下被调整以使得每个用户的视频不彼此交叠的合成视频。
12.一种用于信息处理设备的信息处理方法，包括:由所述信息处理设备 登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；以及 再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
13.一种程序，使计算机用作: 消息登记单元，被构造为登记具有第一用户的视频的第一消息，第一消息是从第一用户到与第一用户不同时位于同一空间中的第二用户的通知；和 消息再现单元，被构造为再现具有第一用户和第二用户同时存在的视频的第二消息，第二消息是来自第二用户的对第一消息的响应。
【文档编号】G06F3/0488GK104281371SQ201410314236
【公开日】2015年1月14日 申请日期:2014年7月3日 优先权日:2013年7月10日
【发明者】阪井祐介 申请人:索尼公司