信息处理设备和信息处理方法

专利名称：信息处理设备和信息处理方法
技术领域：
本公开涉及信息处理设备和信息处理方法。
背景技术：
电话(所谓的视频电话)、视频会议系统等用作用于在远程位置上的用户之间的互动的设备。进一步，也使用如下方法:使用个人计算机等通过因特网连接进行文字聊天或者具有视频和语音的视频聊天。在此背景下，诸如电子设备之类的设备变得越发复杂和多功能，并且电视接收器例如具有网络通信功能，从而它不仅可以从广播站接收和显示节目的视频及语音内容也可以与另一接收器交换各种信息。例如，JP2006-50370A公开了如下技术:当用户用电视接收器观看电视广播的节目内容时，显示与该节目内容共同注册的其它用户相关的信息(例如，其它用户的视频、其它用户的缩略像、姓名、由其它用户查看的内容的频道或视频等)。引文列表专利文献PTLl JP2006-50370A

发明内容
技术问题在上述JP2006-50370A中公开的技术中，例如，电视接收器从在一个位置或多个位置的其它(多个)接收器接收视频或语音并且与节目内容的显示共同地播放所接收到的视频或语音，以由此使得用户能够共享相同的节目内容并且与在远程位置的用户面对面地通信。然而，在一个位置存在其它接收器的多个用户的情况下，例如，当其它接收器的多个用户中的任何一个进行诸如语音之类的行为的某种动作时，对于电视接收器的用户难以从其它接收器接收的视频或语言的回放中知道其它接收器的多个用户的哪个用户进行了该行为。考虑以上，期望提供新颖和改进的信息处理设备以及信息处理方法，其使得用户能够知道另一信息处理设备的哪个用户已经进行了行为。技术方案依据一个实施例，信息处理装置可以包括:用户识别单元，用以在捕获图像中识别用户；以及，行为识别单元，用以识别用户的行为。另外，该装置可以包括:生成单元，用以生成包括已识别用户的信息和已识别用户的已识别行为的用户行为信息；以及，通信单元，用以向外部装置传输用户行为信息。依据另一实施例，信息处理装置可以包括:通信单元，用以从外部装置接收包括已识别用户的信息和已识别用户的已识别行为的用户行为信息；以及，生成单元，用以控制包括与已识别用户的信息对应的用户图像以及与已识别行为的信息对应的视觉表现的图像在显示屏幕上的显示。依据另一实施例，信息处理的方法可以包括在捕获图像中识别用户并且识别用户的行为。进一步，方法可以包括由处理器生成包括已识别用户的信息和已识别用户的已识别行为的用户行为信息，并且向外部装置传输用户行为信息。依据另一实施例，信息处理的方法可以包括从外部装置接收包括已识别用户的信息和已识别用户的已识别行为的用户行为信息，并且由处理器控制包括与已识别用户的信息对应的用户图像以及与已识别行为的信息对应的视觉表现的图像在显示屏幕上的显示。依据另一实施例，非临时记录介质可以记录有计算机可执行的计算机可读程序。该程序可以包括在捕获图像中识别用户并且识别用户的行为。该程序可以进一步包括生成包括已识别用户的信息和已识别用户的已识别行为的用户行为信息，并且向外部装置传输用户行为信息。依据另一实施例，非临时记录介质可以记录有计算机可执行的计算机可读程序。该程序可以包括从外部装置接收包括已识别用户的信息和已识别用户的已识别行为的用户行为信息，并且控制包括与已识别用户的信息对应的用户图像以及与已识别行为的信息对应的视觉表现的图像在显示屏幕上的显示。技术效果如上所述，本公开使得用户能够知道另一信息处理设备的哪个用户进行了行为。


图1是图示根据本公开的实施例的显示系统的示例的示例性视图。图2是图示根据本发明的第一实施例的信息处理设备的功能配置的示例的示例性视图。图3是图示图2中的信息处理设备的硬件配置的示例的示例性视图。图4是由图2中的信息处理设备执行的显示处理的流程图。图5是在图4的显示处理中的步骤S114中进行的用户显示处理的流程图。图6A到图6D是图示本公开的示例I的示例性视图。图7A到图7D是图示本公开的示例I的示例性视图。图8A到图8D是图示本公开的示例2的示例性视图。图9A到图9D是图示本公开的示例3的示例性视图。图1OA到图1OB是图示本公开的示例4的示例性视图。图1lA到图1lE是图示本公开的示例5的示例性视图。图12A到图12B是图示本公开的示例6的示例性视图。图13A到图13L是图示本公开的示例7的示例性视图。图14是根据本公开的第二实施例的信息处理设备的功能配置的示例的示例性视图。
具体实施例方式以下，将参考附图详细地描述本公开的优选实施例。注意，在说明书和附图中，具有基本相同的功能和结构的结构要素用相同的附图标记表示，并且省略这些结构要素的重复说明。注意，将以如下次序提供描述。1、显示系统2、信息处理设备的功能配置(第一实施例)3、信息处理设备的硬件配置4、显示处理5、示例6、信息处理设备的功能配置(第二实施例)(1、显示系统)首先描述根据本公开的实施例的显示系统。图1是图示根据本公开的实施例的显示系统的示例的示例性视图。图1是从前方观看显示系统的前视图。在图1中，显示系统100例如包括显示设备102和成像设备104。显示设备102可以基于驱动信号显示静态图像或运动图像。例如，显示设备102通过液晶显示静态图像或运动图像。注意，显示设备102可以使用诸如有机EL (电致发光)之类的自发光显示器件显示静态图像或运动图像。图像设备104放置于显示设备102的上部的中央，并且它可以在显示设备102的显示方向上捕获被摄体图像。成像设备104可以使用CCD (电荷耦合器件)图像传感器或使用CMOS (互补金属氧化物半导体)图像传感器，捕获静态图像或运动图像。注意，尽管在此实施例中成像设备104安装在显示设备102的上部的中央，但是成像设备104安装的地点不限于显示设备102的上部的中央。例如，成像设备104可以安装在显示设备102的下部的中央。进一步，尽管在此实施例中安装了一个成像设备104，但是成像设备104的数量不限于一个。例如，可以安装两个或更多成像设备104。此外，尽管显示设备102和成像设备104在此实施例中以单片集成，但是显示设备102和成像设备104可以分为不同的部分。注意，在显示系统100中，可以安装检测用户在显示设备102的前方的存在与不存在的传感器(未示出)、能够通过红外线或无线电波从遥控器(未示出)接收控制信号的信号接收单元(未示出)。该控制信号是本公开的操作信号的示例。进一步，传感器可以能够检测显示设备102和在显示设备102的前方的用户之间的距离。此外，例如，能够获取周围声音的声音获取装置(诸如麦克风)可以安装在显示系统100中。根据本实施例的显示设备102可以显示静态图像或运动图像的内容，并且在图4的显示处理中显示由信息处理设备200生成的显示图像，如稍后所述。进一步，根据本实施例的成像设备104可以捕获在图2中正在看显示设备102的显示屏幕的用户A和B的静态图像或运动图像。( 2、信息处理设备的功能配置(第一实施例))接着，描述根据本公开的第一实施例的信息处理设备的功能配置。图2是图示根据本发明的第一实施例的信息处理设备的功能配置的示例的示例性视图。注意，图2示出向信息处理设备200 (是根据本实施例的信息处理设备)传输捕获图像并从信息处理设备200接收用于驱动显示设备102的信号的显示系统100，以及作为显示系统100和信息处理设备200的用户的用户A和B。图2进一步示出了信息处理设备200可以与之连接的通信网络800、可以连接到通信网络800的通信服务器300及其它信息处理设备500和700、向信息处理设备500传输捕获图像并从信息处理设备500接收信号的另一显示系统400、作为显示系统400和信息处理设备500的用户的用户C和D、向信息处理设备700传输捕获图像并从信息处理设备700接收信号的另一显示系统600、以及作为显示系统600和信息处理设备700的用户的用户E和F。其它显示系统400和600具有和显示系统100相同的配置，并且省略其详细说明。进一步，其它信息处理设备500和700具有与信息处理设备200相同的配置，并且省略其详细说明。其它信息处理设备500和700是本公开中的通信目标设备的示例。在图2中，例如，信息处理设备200包括图像输入单元202、脸部识别单元204、显示图像生成单元206、输出单元208、显示控制单元210、通信单元212、语音输入单元214、语音识别单元216、操作信号输入单元218、动作识别单元220和存储单元222。作为本公开中的输入单元的示例的图像输入单元202接收通过在成像设备104中成像而生成的捕获图像。然后，图像输入单元202向通信单元212传输所接收(所输入)的捕获图像。注意，图像输入单元202可以向脸部识别单元204或显示图像生成单元206传输所接收到的捕获图像。作为本公开中的识别单元的示例的脸部识别单元204接收由通信单元212接收到的、来自其它信息处理设备500、700的捕获图像、从所接收到的捕获图像中检测信息处理设备500、700的用户的脸部，并且基于脸部的检测结果，识别其它信息处理设备500、700的用户，g卩，用户C和D或者用户E和F。来自其它信息处理设备500、700的捕获图像是与根据本公开的通信目标设备的用户的行为有关的预定信号的示例。例如，脸部识别单元204通过从所接收到的捕获图像中检测每一个用户的脸部部分、从用户的所检测的脸部部分计算关于用户的脸部的信息(以下，称为“用户脸部信息”)并且将所计算的脸部信息与之前计算并存储在存储单元222中的每个用户的用户脸部信息223进行比较，来识别出现在捕获图像中的用户。出现在捕获图像中的动作是本公开中的行为的示例。注意，脸部识别单元204可以进一步识别出现在捕获图像中的用户的性别、年龄等。然后，脸部识别单元204向显示图像生成单元206传输信息处理设备500、700的用户的识别结果。进一步，脸部识别单元204可以通过从图像输入单元202接收捕获图像并且从所接收到的捕获图像识别信息处理设备200的用户的脸部，来识别信息处理设备200的用户(用户A和B)。来自图像输入单元202的捕获图像是与根据本公开的信息处理设备的用户的行为有关的预定信号的示例。脸部识别单元204可以随后向显示图像生成单元206或通信单元212传输信息处理设备200的用户的识别结果。进一步，脸部识别单元204可以从来自其它信息处理设备500、700的捕获图像识别其它信息处理设备500、700的用户的脸部行为。改变脸部行为的动作是本公开中的行为的示例。然后，脸部识别单元204可以向显示图像生成单元206传输其它信息处理设备500,700的用户的脸部行为的识别结果。注意，脸部识别单元204可以从来自图像输入单元202的捕获图像识别信息处理设备200的用户的脸部行为。然后，脸部识别单元204可以向显示图像生成单元206或通信单元212传输信息处理设备200的用户的脸部行为的识别结果。
作为本公开中的控制单元的示例的显示图像生成单元206从脸部识别单元204接收其它信息处理设备500、700的用户的识别结果并且进一步接收在其它显示系统400中捕获的捕获图像或者在其它显示系统600中捕获的捕获图像(其是由通信单元212接收到的)。然后，基于所接收到的其它信息处理设备500、700的用户的识别结果，显示图像生成单元206生成显示图像，在该显示图像中，对于每一个用户显示代表其它信息处理设备500、700的用户的用户图像。稍后描述显示图像的细节。注意，通过从在其它显示系统400中捕获的所接收到的捕获图像或者在其它显示系统600中捕获的所接收到的捕获图像中提取用户的脸部部分，显示图像生成单元206可以生成显示图像中的用户图像。进一步，显示图像生成单元206可以使用代表每一个用户的化身图像例如作为显示图像中的用户图像。然后，显示图像生成单元206向显示控制单元210传输所生成的显示图像。进一步，当显示图像生成单元206从图像输入单元202接收在显示系统100中捕获的捕获图像，从脸部识别单元204接收信息处理设备200的用户的识别结果和其它信息处理设备500、700的用户的识别结果，并且接收在其它显示系统400中捕获的捕获图像或者在其它显示系统600中捕获的捕获图像(其是由通信单元212接收的)时，该显示图像生成单元206生成显示图像，在该显示图像中，基于信息处理设备200的用户和其它信息处理设备500、700的用户的所接收到的识别结果，对于每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像。进一步，当通信单元212接收从在其它显示系统400中捕获的捕获图像的用户的识别结果或者从在其它显示系统600中捕获的捕获图像的用户的识别结果时，显示图像生成单元206可以接收该识别结果并且基于从通信单元212接收到的识别结果代替脸部识别单元204的识别结果而生成显示图像。在此情况下，上述脸部识别单元204可以跳过从其它信息处理设备500、700的捕获图像的用户的识别。进一步，当显示图像生成单元206进一步从脸部识别单元204接收其它信息处理设备500、700的用户的脸部行为的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500、700的用户的脸部行为的识别结果，代表脸部行为已经改变的用户的用户图像和脸部行为在上述显示图像中彼此关联地显示。例如，当显示图像生成单元206识别特定用户的脸部行为已经变为微笑时，显示图像生成单元206生成在其中代表用户的用户图像像跳跃一样显示的显示图像。进一步，当显示图像生成单元206进一步从脸部识别单元204接收信息处理设备200的用户的脸部行为的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户的脸部行为的识别结果，代表脸部行为已经改变的用户的用户图像和脸部行为在上述显示图像中彼此关联地显示。进一步，当通信单元212接收从在其它显示系统400中捕获的捕获图像的用户的脸部行为的识别结果或者从在其它显示系统600中捕获的捕获图像的用户的脸部行为的识别结果时，显示图像生成单元206可以接收到该识别结果并且基于从通信单元212接收的识别结果代替脸部识别单元204的识别结果而生成显示图像。进一步，当显示图像生成单元206从语音识别单元216接收其它信息处理设备500,700的用户中的讲话者的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500、700的用户中的讲话者的识别结果，在上述显示图像中彼此关联地显示代表讲话者的用户图像和语音的存在。例如，显示图像生成单元206生成在其中以放大形式显示代表讲话者的用户图像的显示图像。进一步，当显示图像生成单元206进一步从语音识别单元216接收信息处理设备200的用户中的讲话者的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户中的讲话者的识别结果，彼此关联地显示代表讲话者的用户图像和语音的存在。进一步，当通信单元212接收从输入到其它信息处理设备500的语音的讲话者的识别结果或者从输入到其它信息处理设备700的语音的讲话者的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果代替语音识别单元216的识别结果来生成显示图像。进一步，当显示图像生成单元206进一步从语音识别单元216接收其它信息处理设备500、700的用户中的讲话者的语音的内容的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500、700的用户中的讲话者的语音的内容的识别结果，互相关联地显示代表讲话者的用户图像、语音的存在以及语音的内容。例如，显示图像生成单元206从代表讲话者的用户图像中生成显示图像，在该显示图像中，在对话气球中显示代表语音的内容的字符图像。进一步，当显示图像生成单元206进一步从语音识别单元216接收信息处理设备200的用户中的讲话者的语音的内容的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户中的讲话者的语音的内容的识别结果，互相关联地显示代表讲话者的用户图像、语音的存在以及语音的内容。进一步，当通信单元212接收从输入到其它信息处理设备500的语音的讲话者的语音的内容的识别结果或者从输入到其它信息处理设备700的语音的讲话者的语音的内容的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果代替语音识别单元216的识别结果来生成显示图像。进一步，当显示图像生成单元206从动作识别单元220接收其它信息处理设备500、700的用户的动作的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500、700的用户的动作的识别结果，彼此关联地显示代表操作者用户的用户图像和具体操作。例如，显示图像生成单元206从代表操作者用户的用户图像中生成显示图像，在该显示图像中，在对话气球中显示操作者用户意图显示的内容图像。进一步，当显示图像生成单元206从动作识别单元220接收信息处理设备200的用户的动作的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户的动作的识别结果，彼此关联地显示代表操作者用户的用户图像和具体操作。进一步，当通信单元212接收从输入到其它信息处理设备500的操作信号的用户的动作的识别结果或者从输入到其它信息处理设备700的操作信号的用户的动作的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果而非动作识别单元220的识别结果来生成显示图像。输出单元208从显示控制单元210接收用于驱动显示设备102的信号，并且向显示设备102传输所接收到的信号。进一步，当输出单元208接收输入到其它信息处理设备500,700的语音(该语音由通信单元212接收)时，输出单元208可以向显示系统100的扬声器单元(未示出)等传输所接收到的语音。作为公开中的控制的示例的显示控制单元210从显示图像生成单元206接收显示图像。进一步，向显示控制单元210供应静态图像或运动图像的内容。然后，显示控制单元210向输出单元208传输用于在显示设备102的显示屏幕上显示由显示图像生成单元206生成的显示图像的信号。进一步，显示控制单元210可以向输出单元208传输用于在显示设备102的显示屏幕上显示内容的信号。通信单元212接收在其它显示系统400中捕获的捕获图像，以及通过通信网络800从通信服务器300输入到其它信息处理设备500中的语音及操作信号。进一步，通信单元212接收在其它显示系统600中捕获的捕获图像和通过通信网络800从通信服务器300输入到其它信息处理设备700中的语音及操作信号。注意，通信单元212可以接收在其它显示系统400中捕获的捕获图像以及通过通信网络800从其它信息处理设备500直接输入到其它信息处理设备500中的语音及操作信号。类似地，通信单元212可以接收在其它显示系统600中捕获的捕获图像和通过通信网络800从其它信息处理设备700直接输入到其它信息处理设备700中的语音及操作信号。进一步，通信单元212可以接收从在其它显示系统400中捕获的捕获图像的用户的识别结果、从语音的识别结果或从输入到其它信息处理设备500的操作信号的识别结果、从在其它显示系统600中捕获的捕获图像的用户的识别结果、或者从语音的识别结果或从通过通信网络800从通信服务器300输入到其它信息处理设备700的操作信号的识别结果。注意，通信单元212可以接收从在其它显示系统400中捕获的捕获图像的用户的识别结果以及从语音的识别结果或从通过通信网络800从其它信息处理设备500直接输入到其它信息处理设备500的操作信号的识别结果。类似地，通信单元212可以接收从在其它显示系统600中捕获的捕获图像的用户的识别结果以及从语音的识别结果或从通过通信网络800从其它信息处理设备700直接输入到其它信息处理设备700的操作信号的识别结果O进一步，通信单元212可以接收来自图像输入单元202的捕获图像、来自语音输入单元214的语音以及来自操作信号输入单元218的操作信号，并且通过通信网络800向通信服务器300传输所接收到的捕获图像、语音和操作信号。进一步，通信单元212可以从脸部识别单元204接收从在显示系统100中捕获的捕获图像的用户的识别结果、从语音识别单元216接收从输入到信息处理设备200的语音的识别结果以及从动作识别单元220接收从输入到信息处理设备200的操作信号的识别结果，并且通过通信网络800向通信服务器300传输所接收到的识别结果。注意，通信单元212可以通过通信网络800直接向其它信息处理设备500、700传输捕获图像、语音及操作信号、所接收到的从该捕获图像的用户的识别结果、从该语音的识别结果以及从该操作信号的识别结果。作为本公开中的输入单元的示例的语音输入单元214从用户A和B接收语音，它们例如是信息处理设备200的用户。然后，语音输入单元214向通信单元212传输所接收(所输入)的语音。进一步，语音输入单元214向语音识别单元216传输所接收到的语音。作为在本公开中的识别单元的示例的语音识别单元216从其它信息处理设备500,700接收语音(该语音由通信单元212接收)，并且从所接收到的语音识别其它信息处理设备500、700的用户中的讲话者。讲话的动作是本公开中的行为的示例。来自其它信息处理设备500、700的语音是与根据本公开的通信目标设备的用户的行为有关的预定信号的示例。例如，语音识别单元216通过从所接收到的语音提取特征、生成关于用户的语音的信息(以下称为“用户语音信息”)并且将所生成的用户语音信息与之前生成并存储在存储单元222中的每个用户的用户语音信息224进行比较，来识别讲话者。然后，语音识别单元216向显示图像生成单元206传输信息处理设备500、700的用户中的讲话者的识别结果。进一步，语音识别单元216可以从语音输入单元214接收语音并且从所接收到的语音识别信息处理设备200的用户中的讲话者。来自语音输入单元214的语音是与根据本公开的信息处理设备的用户的行为有关的预定信号的示例。语音识别单元216可以随后向显示图像生成单元206或通信单元212传输信息处理设备200的用户中的讲话者的识别结果。进一步，语音识别单元216可以从其它信息处理设备500、700的语音中识别其它信息处理设备500、700的用户中讲话者的语音的内容。例如，语音识别单元216分析所接收到的语音并且由此提取并识别用户的语音的内容作为字符数据。然后，语音识别单元216可以向显示图像生成单元206传输其它信息处理设备500、700的用户中的讲话者的语音的内容的识别结果。进一步，显示图像生成单元206可以从来自语音输入单元214的语音，识别信息处理设备200的用户中的讲话者的语音的内容。然后，语音识别单元216可以向显示图像生成单元206或通信单元212传输信息处理设备200的用户中的讲话者的语音的内容的识别结果。作为本公开中的输入单元的示例的操作信号输入单元218接收用户A或B(例如，信息处理设备200的用户)的操作信号，该操作信号是例如使用遥控器(未示出)传输的。然后，操作信号输入单元218向通信单元212传输所接收(所输入)的操作信号。进一步，操作信号输入单元218可以向动作识别单元220传输所接收到的操作信号。作为本公开中的识别单元的示例的动作识别单元220从其它信息处理设备500、700接收操作信号(由通信单元212接收)，并且从所接收到的操作信号识别其它信息处理设备500、700的用户的动作。采取动作的行动是本公开中的行为的示例。来自其它信息处理设备500、700的操作信号是与根据本公开的通信目标设备的用户的行为有关的预定信号的示例。例如，动作识别单元220通过提取包含在来自所接收到的操作信号的操作信号中的关于操作者用户的装备的信息(以下，称为“用户装备信息”)并且将所提取的用户装备信息与之前生成并存储在存储单元222中的每个用户的用户装备信息224进行比较，来识别用户为操作者。进一步，例如，动作识别单元220通过提取在来自所接收到的操作信号的操作信号中包含的关于具体操作的信息，识别操作者的具体操作。例如，动作识别单元220通过将包含在关于具体操作的信息中的关于操作者用户意图显示在显示屏幕上的内容的信息(以下称为“用户内容信息”)与之前存储在存储单元222中的用户内容信息225进行比较，识别操作者用户意图在显示屏幕上显示的内容。然后，动作识别单元220向显示图像生成单元206传输其它信息处理设备500、700的用户的动作的识别结果。进一步，动作识别单元220可以从操作信号输入单元218接收操作信号并且从所接收到的操作信号识别信息处理设备200的用户的动作。来自操作信号输入单元218的操作信号是与根据本公开的信息处理设备的用户的行为有关的预定信号的示例。然后，动作识别单元220可以向显示图像生成单元206或通信单元212传输信息处理设备200的用户的动作的识别结果。存储单元222存储作为关于其它信息处理设备500、700或者信息处理设备200的用户的脸部的信息的用户脸部信息223、作为关于其它信息处理设备500、700或者信息处理设备200的用户的语音的信息的用户语音信息224、作为关于其它信息处理设备500、700或者信息处理设备200的用户的内容的信息的用户内容信息225以及作为关于由其它信息处理设备500、700或者信息处理设备200的用户使用的装备的信息的用户装备信息226。应当注意，与根据本公开的通信目标设备的用户的行为有关的预定信号不限于来自上述其它信息处理设备500、700的捕获图像、语音和操作信号，并且它可以是来自其它信息处理设备500、700的、作为其它信息处理设备500、700的用户进行一些动作的结果而生成的任何信号。进一步，与根据本公开的信息处理设备的用户的行为有关的预定信号不限于输入到上述其它信息处理设备500、700的捕获图像、语音和操作信号，并且它可以是作为信息处理设备200的用户进行一些动作的结果而生成的任何信号。(3、信息处理设备的硬件配置)以下描述图2中的信息处理设备200的硬件配置。图3是图示图2中的信息处理设备的硬件配置的示例的示例性视图。在图3中，信息处理设备200例如包括MPU230、R0M232、RAM234、记录介质236、输入/输出接口 238、操作输入设备240、显示设备242以及通信接口 244。进一步，在信息处理设备200中，例如，通过作为输出传输线的总线246连接各组件。MPU230被配置为MPU (微处理器)、在其中集成用于实现诸如图像处理之类的各种功能的多个电路的集成电路等，并且用作作为整体控制信息处理设备200的控制单元(未示出)。进一步，MPU230用作信息处理设备200中的脸部识别单元204、显示图像生成单元206、显示控制单元210、语音识别单元216以及动作识别单元220。R0M232存储由MPU230使用的程序、诸如操作参数之类的控制数据等。RAM234临时地存储例如由MPU230执行的程序。记录介质236用作存储单元222，并且存储诸如用户脸部信息、用户语音信息、用户内容信息以及用户装备信息之类的各种数据(或数据库)、应用等。记录介质236可以是磁记录介质，诸如硬盘、诸如EEPROM (电可擦可编程只读存储器)、闪存、MRAM (磁阻随机存取存储器)、FeRAM (铁电体随机存取存储器、PRAM (相变随机存取存储器)之类的非易失性存储器等。进一步，信息处理设备200可以包括从信息处理设备200可移除的记录介质236。输入/输出接口 238连接到例如操作输入设备240和显示设备242。进一步，输入/输出接口 238可以用作图像输入单元202、输出单元208、语音输入单元214以及操作信号输入单元218。操作输入设备240用作操作单元(未示出)，而显示设备242用作图15中稍后描述的显示单元254。输入/输出接口 238可以是例如USB (通用串行总线)端子、DVI (数字视频接口)端子、HDMI (高清晰多媒体接口)端子或者各种处理电路。进一步，操作输入设备240例如在信息处理设备200上安装并且与信息处理设备200内的输入/输出接口 238连接。操作输入设备240例如可以是按钮、光标按键、诸如拨号盘之类的旋转选择器或者这些的组合。此外，显示设备242例如在信息处理设备200上安装并且与信息处理设备200内的输入/输出接口 238连接。显示设备242例如可以是液晶显示器(IXD)或者有机EL显示器(有机电发光显示器。例如，也称为OLED显示器(有机电发光二极管显示器))等。注意，输入/输出接口 238可以也连接到信息处理设备200的外部设备，诸如操作输入设备(例如，键盘、鼠标)、显示设备(例如，诸如显示设备102之类的外部显示设备)和成像设备(例如，成像设备104)。进一步，显示设备242例如可以是能够进行显示和用户操作的设备,诸如触摸屏。通信接口 244是包括在信息处理设备200中的通信装置，并且用作用于例如通过通信网络800 (或直接地)与诸如通信服务器300及其它信息处理设备500、700之类的外部设备进行无线/有线通信的通信单元212。例如，通信接口 244可以是通信天线和RF电路(无线通信)、IEEE802.15.1端口和传输及接收电路(无线通信)、IEEE802.1lb端口和传输及接收电路(无线通信)、或者LAN端子和传输及接收电路(有线通信)等。应当注意，根据本实施例的信息处理设备200的硬件配置不限于在图3中示出的配置。例如，信息处理设备200可以包括由DSP (数字信号处理器)、放大器、扬声器等构成的语音输出设备，该语音输出设备用作语音输出单兀(未不出)。进一步，例如，信息处理设备200可以包括由镜头/图像拾取器件以及信号处理电路构成的成像设备，该成像设备用作图15中的成像单元。在此情况下，信息处理设备200可以处理在其自己的设备中生成的捕获图像。例如，该镜头/图像拾取器件由光学透镜和图像传感器组成，该图像传感器由诸如CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体)之类的多个图像拾取器件构成。信号处理电路包括例如AGC (自动增益控制)电路和ADC (模数转换器)，并且将由图像拾取器件生成的模拟信号转换为数字信号(图像数据)并且进行各种信号处理。由信号处理电路进行的该信号处理例如可以是白平衡校正、内插、色调校正、伽马校正、YCbCr转换、边缘增强、编码等。进一步，信息处理设备200可以例如具有不包括在图3示出的显示设备242和操作输入设备240的配置。(4、显示处理)以下描述由图2中的信息处理设备200执行的显示处理。图4是由图2中的信息处理设备200执行的显示处理的流程图。参考图4，当从用户A给出与用户C及D和用户E及F的网络连接的指令时，例如，在信息处理设备200中，通信单元212变得能够通过网络800与通信服务器300通信(步骤S100)。注意，在步骤SlOO中，通信单元212可以变得能够通过通信网络800直接与其它信息处理设备500、700通信。接着，通信单元212通过通信网络800向通信服务器300传输捕获图像，该捕获图像通过在显示系统100中的成像设备104中成像而生成并且经由图像输入单元202接收(步骤S102)。注意，在步骤S102中，通信单元212可以通过通信网络800向通信服务器300传输从脸部识别单元204接收的信息处理设备200的用户的识别结果和信息处理设备200的用户的脸部行为的识别结果。进一步，在步骤S102中，通信单元212可以直接通过通信网络800向其它信息处理设备500、700传输捕获图像、用户的识别结果以及用户的脸部行为的识别结果。然后，通信单元212通过通信网络800向通信服务器300传输语音，该语音已经输入到信息处理设备200并且经由语音输入单元214接收(步骤S104)。注意，在步骤S104中，通信单元212可以通过通信网络800向通信服务器300传输从语音识别单元216接收的信息处理设备200的用户中的讲话者的识别结果以及信息处理设备200的用户中的讲话者的语音的内容的识别结果。进一步，在步骤S104中，通信单元212可以直接通过通信网络800向其它信息处理设备500、700传输语音、用户中的讲话者的识别结果、用户中的讲话者的语音的内容的识别结果。然后，通信单元212通过通信网络800向通信服务器300传输操作信号，该操作信号已经输入到信息处理设备200并且经由操作信号输入单元218接收(步骤S106)。注意，在步骤S106中，通信单元212可以通过通信网络800向通信服务器300传输从动作识别单元220接收的信息处理设备200的用户的动作的识别结果。进一步，在步骤S106中，通信单元212可以直接通过通信网络800向其它信息处理设备500、700传输操作信号和用户的动作的识别结果。此后，通信单元212从通信服务器300接收已经在显示系统400中捕获并从其它信息处理设备500传输的捕获图像。进一步，通信单元212从通信服务器300接收已经在显示系统600中捕获并从其它信息处理设备700传输的捕获图像(步骤S108)。注意，在步骤S108中，通信单元212可以从通信服务器300接收从已经在显示系统400中捕获并从其它信息处理设备500传输的捕获图像的用户的识别结果和用户的脸部行为的识别结果，以及从已经在显示系统600中捕获并从其它信息处理设备700传输的捕获图像的用户的识别结果和用户的脸部行为的识别结果。进一步，在步骤S108中，通信单元212可以直接通过通信网络800从其它信息处理设备500、700接收捕获图像、用户的识别结果以及用户的脸部行为的识别结果。然后，通信单元212从通信服务器300接收已经输入到其它信息处理设备500并且从其它信息处理设备500传输的语音。进一步，通信单元212从通信服务器300接收已经输入到其它信息处理设备700并且从其它信息处理设备700传输的语音(步骤S110)。注意，在步骤SllO中，通信单元212从通信服务器300接收从已经输入到其它信息处理设备500并从其它信息处理设备500传输的语音的用户中的讲话者的识别结果和该语音的用户中的讲话者的语音内容的识别结果、和从已经输入到其它信息处理设备700并从其它信息处理设备700传输的语音的用户中的讲话者的识别结果和该语音的用户中的讲话者的语音内容的识别结果。进一步，在步骤SllO中，通信单元212可以直接通过通信网络800从其它信息处理设备500、700接收语音、用户中的讲话者的识别结果、用户中的讲话者的语音内容的识别结果。然后，通信单元212从通信服务器300接收已经输入到其它信息处理设备500并且从其它信息处理设备500传输的操作信号。进一步，通信单元212从通信服务器300接收已经输入到其它信息处理设备700并且从其它信息处理设备700传输的操作信号(步骤S112)。注意，在步骤S112中，通信单元212从通信服务器300接收从已经输入到其它信息处理设备500并从其它信息处理设备500传输的操作信号的用户的动作的识别结果、和从已经输入到其它信息处理设备700并从其它信息处理设备700传输的操作信号的用户的动作的识别结果。进一步，在步骤S112中，通信单元212可以直接通过通信网络800从其它信息处理设备500、700接收操作信号和用户的动作的识别结果。此后，信息处理设备200进行稍后描述的图5中的用户显示处理(步骤S114)，从而例如对每一个用户显不代表信息处理设备200和其它信息处理设备500、700的用户的用户图像，以及代表已经进行行为的用户的用户图像和该行为的细节彼此关联地在显示设备102的显示屏幕上显示。图5是在图4的显示处理中的步骤S114中进行的用户显示处理的流程图。参考图5，脸部识别单元204首先从其它信息处理设备500、700接收由通信单元212接收的捕获图像、从所接收到的捕获图像检测信息处理设备500、700的用户的脸部，并且基于脸部的识别结果识别信息处理设备500、700的用户，即，用户C和D或者用户E和F。进一步，在步骤S200中，脸部识别单元204可以从所接收到的捕获图像检测信息处理设备500、700的用户的脸部，并且基于脸部的识别结果识别信息处理设备500、700的用户(SP，用户C和D或者用户E和F)的脸部行为。此外，在步骤S200中，脸部识别单元204可以从图像输入单元202中接收捕获图像，从接收的捕获图像检测信息处理设备200的用户的脸部，并且识别信息处理设备200的用户，8卩，用户A和B，或者基于脸部检测结果识别信息处理设备200的用户(B卩，用户A和B)的脸部行为。接着，语音识别单元216从其它信息处理设备500、700接收由通信单元212接收的语音，并且从所接收到的语音中识别信息处理设备500、700的用户中的讲话者(步骤S202)。进一步，在步骤S202中，语音识别单元216可以从其它信息处理设备500、700接收由通信单元212接收的语音，并且从所接收到的语音中识别信息处理设备500、700的用户中的讲话者的语音的内容。进一步，在步骤S202中，语音识别单元216可以从语音输入单元214中接收语音并且识别信息处理设备200的用户中的讲话者，或者从所接收到的语音识别用户中的讲话者的语音的内容。然后，动作识别单元220从其它信息处理设备500、700接收由通信单元212接收的操作信号，并且从所接收到的操作信号识别信息处理设备500、700的用户的动作(步骤S204)。进一步，在步骤S204中，动作识别单元220可以从操作信号输入单元218接收操作信号并且从所接收到的操作信号识别信息处理设备200的用户的动作。此后，显示图像生成单元206从脸部识别单元204接收其它信息处理设备500、700的用户的识别结果，并且接收由通信单元212接收的、在其它显示系统400中捕获的捕获图像或者在其它显示系统600中捕获的捕获图像。然后，基于所接收到的其它信息处理设备500、700的用户的识别结果，显示图像生成单元206生成显示图像，在该显示图像中，对每一个用户显示代表其它信息处理设备500、700的用户的用户图像。(步骤S206)。进一步，在步骤S206中，当显示图像生成单元206从图像输入单元202中接收在显示系统100中捕获的捕获图像，从脸部识别单元204接收信息处理设备200的用户的识别结果以及其它信息处理设备500、700的用户的识别结果，并且接收由通信单元212接收的、在其它显示系统400中捕获的捕获图像或者在其它显示系统600中捕获的捕获图像时，显示图像生成单元206生成显示图像，在该显示图像中，基于所接收到的信息处理设备200的用户和其它信息处理设备500、700的用户的识别结果，对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像。进一步，在步骤S206中，当通信单元212接收从在其它显示系统400中捕获的捕获图像的用户的识别结果或从在其它显示系统600中捕获的捕获图像的用户的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果而非脸部识别单元204的识别结果而生成显示图像。
进一步，在步骤S206中，当显示图像生成单元206进一步从脸部识别单元204接收其它信息处理设备500、700的用户的脸部行为的识别结果时，显示图像生成单元206进一步基于所接收到的其它信息处理设备500、700的用户的脸部行为的识别结果，生成显示图像，在该显示图像中，代表其脸部行为已经改变的用户的用户图像的显示图像和脸部行为在上述显示图像中彼此关联地显示。进一步，在步骤S206中，当显示图像生成单元206进一步从脸部识别单元204中接收信息处理设备200的用户的脸部行为的识别结果时，显示图像生成单元206进一步基于所接收到的信息处理设备200的用户的脸部行为的识别结果，生成显示图像，在该显示图像中，代表其脸部行为已经改变的用户的用户图像和脸部行为彼此关联地显示。进一步，在步骤S206中，当通信单元212接收从在其它显示系统400中捕获的捕获图像的用户的脸部行为的识别结果或者从在其它显示系统600中捕获的捕获图像的用户的脸部行为的识别结果时，显示图像生成单元206可以接收识别结果，并且基于从通信单元212接收的识别结果而非脸部识别单元204的识别结果而生成显示图像。进一步，在步骤S206中，当显示图像生成单元206从语音识别单元216接收其它信息处理设备500、700的用户中的讲话者的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500、700的用户中的讲话者的识别结果，在上述显示图像中彼此关联地显示代表讲话者的用户图像和语音的存在。进一步，在步骤S206中，当显示图像生成单元206进一步从语音识别单元216接收信息处理设备200的用户中的讲话者的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户中的讲话者的识别结果，彼此关联地显示代表讲话者的用户图像和语音的存在。进一步，在步骤S206中，当通信单元212接收从输入到其它信息处理设备500的语音的讲话者的识别结果或者从输入到其它信息处理设备700的语音的讲话者的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果而非语音识别单元216的识别结果来生成显示图像。进一步，在步骤S206中，当显示图像生成单元206进一步从语音识别单元216接收其它信息处理设备500、700的用户中的讲话者的语音的内容的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500,700的用户中的讲话者的语音的内容的识别结果，互相关联地显示代表讲话者的用户图像、语音的存在以及语音的内容。进一步，在步骤S206中，当显示图像生成单元206进一步从语音识别单元216接收信息处理设备200的用户中的讲话者的语音的内容的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户中的讲话者的语音的内容的识别结果，互相关联地显示代表讲话者的用户图像、语音的存在以及语音的内容。进一步，在步骤S206中，当通信单元212接收从输入到其它信息处理设备500的语音的讲话者的语音的内容的识别结果或者从输入到其它信息处理设备700的语音的讲话者的语音的内容的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果而非语音识别单元216的识别结果来生成显示图像。进一步，在步骤S206中，当显示图像生成单元206从动作识别单元220接收其它信息处理设备500、700的用户的动作的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的其它信息处理设备500、700的用户的动作的识别结果，彼此关联地显示代表操作者用户的用户图像和具体操作。进一步，在步骤S206中，当显示图像生成单元206从动作识别单元220接收信息处理设备200的用户的动作的识别结果时，显示图像生成单元206生成显示图像，在该显示图像中，进一步基于所接收到的信息处理设备200的用户的动作的识别结果，彼此关联地显示代表操作者用户的用户图像和具体操作。进一步，在步骤S206中，当通信单元212接收从输入到其它信息处理设备500的操作信号的用户的动作的识别结果或者从输入到其它信息处理设备700的操作信号的用户的动作的识别结果时，显示图像生成单元206可以接收识别结果并且基于从通信单元212接收的识别结果而非动作识别单元220的识别结果来生成显示图像。此后，显示控制单元210从显示图像生成单元206接收显示图像，并且向输出单元208传输用于在显示设备102的显示屏幕上显示所接收到的显示图像的信号。然后，输出单元208向显示设备102传输用于显示所接收到的显示图像的信号。其结果是，在显示设备102的显示屏幕上显示其中对每一个用户显示代表其它信息处理设备500、700的用户的用户图像的显示图像，其中对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像的显示图像，其中对每一个用户显示代表其它信息处理设备500、700的用户的用户图像并且彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节的显示图像，以及其中对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像并且彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节的显示图像。处理由此结束。根据图4的显示处理，在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表其它信息处理设备500、700的用户的用户图像。因此，例如，即使当存在其它信息处理设备500的多个用户时，信息处理设备200的用户可以确切地知道其它信息处理设备500的任何用户的存在，因为在显示设备102的显示屏幕上对每一个用户显示了代表其它信息处理设备500的各个用户的用户图像。进一步，根据图4的显示处理，在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像。因此，信息处理设备200的用户可以确切地知道其它信息处理设备500的任何用户的存在并且可以仿佛与他们在同一地方通信一样地感知到现实的感觉、在一起的感觉、接近的感觉等。进一步，根据图4的显示处理，在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表其它信息处理设备500、700的用户的用户图像并且彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节。因此，信息处理设备200的用户可以确切地知道其它信息处理设备500的任何用户的存在，并且例如，即使当存在其它信息处理设备500的多个用户时，也可以确切地知道其它信息处理设备500的哪个用户已经进行了行为，因为在显示设备102的显示屏幕上彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节。进一步，根据图4的显示处理，在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像，并且彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节。因此，信息处理设备200的用户可以确切地知道其它信息处理设备500的任何用户的存在，可以仿佛与他们在同一地方通信一样地感知到现实的感觉、在一起的感觉、接近的感觉等，并且进一步可以确切地知道其它信息处理设备500的哪个用户已经进行了行为。(5、示例)以下描述本公开的示例。图6A到图6D和图7A到图7D是图示本公开的示例I的示例性视图。在示例I中，以图示的方式描述如下情况:其中，例如，在图2中的信息处理设备200中与用户C和D的网络连接的指令由用户A给出，并且在图2中的显示设备102的显示屏幕和显示系统400中的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像，且彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节。首先，信息处理设备200接收在图6A中示出的捕获图像以及在图6B中示出的捕获图像，并且通过上述脸部识别来识别信息处理设备200的用户A和B以及其它信息处理设备500的用户C和D。然后，如图6C所示，信息处理设备200在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200的用户A的用户图像110、代表信息处理设备200的用户B的用户图像112、代表其它信息处理设备500的用户C的用户图像114以及代表其它信息处理设备500的用户D的用户图像116。类似地，如图6D所示，其它信息处理设备500在显示系统400的显示设备402的显示屏幕显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200的用户A的用户图像410、代表信息处理设备200的用户B的用户图像412、代表其它信息处理设备500的用户C的用户图像414以及代表其它信息处理设备500的用户D的用户图像416。接着，如图7A所示，例如，当使得说“我想看到富士山”的语音作为用户D的行为时，其它信息处理设备500接收语音并且识别用户D为其它信息处理设备500的用户中的讲话者并且通过上述语音识别来识别用户D的语音的内容。然后，如图7B所示，其它信息处理设备500显示如下显示图像:在该显示图像中，从代表作为讲话者的用户D的用户图像416在对话气球417内显示代表语音的内容的字符图像(该图像是图像“我想看到富士山”)。尽管未示出，但是类似地，信息处理设备200在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，从代表作为讲话者的用户D的用户图像116在对话气球(未示出)内显示代表语音的内容的字符图像(该图像是图像“我想看到富士山”)。进一步，如图7A所示，当例如使用遥控器进行字符数据“我想看到富士山”的传输作为用户D的行为时，其它信息处理设备500接收操作信号并且识别用户D为其它信息处理设备500的用户中的操作者并且通过上述动作识别来识别由操作者进行的具体操作。然后，如图7B所示，其它信息处理设备500在显示设备402的显示屏幕上显示如下显示图像:在该显示图像中，从代表作为讲话者的用户D的用户图像416在对话气球418内显示代表操作者的具体操作的字符图像(该图像是图像“我想看到富士山”)。尽管未示出，但是类似地，信息处理设备200在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，从代表操作者用户D的用户图像116在对话气球(未示出)内显示代表操作者的具体操作的字符图像(该图像是图像“我想看到富士山”)。然后，如图7C所示，当例如使用遥控器进行用于“富士山的内容”的显示的请求的传输作为用户B的行为时，信息处理设备200接收操作信号并且识别用户B作为信息处理设备200的用户中的操作者并且通过上述动作识别来识别由操作者进行的具体操作。然后，如图7D所示，信息处理设备200在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，从代表操作者用户B的用户图像112在对话气球118中显示操作者用户B意图显示的内容图像(是“富士山的内容”的图像)。尽管未示出，但是类似地，其它信息处理设备500在显示设备402的显示屏幕上显示如下显示图像:在该显示图像中，从代表操作者用户B的用户图像412在对话气球(未示出)中显示操作者用户B意图显示的内容图像(是“富士山的内容”的图像)。此时，其它信息处理设备500可以从信息处理设备200接收操作者用户B意图显示的内容图像(是“富士山的内容”的图像)或者例如通过通信网络800从另一设备接收该内容图像。根据示例1，信息处理设备200和其它信息处理设备500的用户可以确切地知道信息处理设备200和其它信息处理设备500的任何用户的存在，可以仿佛与他们在同一地方通信一样地感知到现实的感觉、在一起的感觉、接近的感觉等，并且可以进一步确切地知道信息处理设备200和其它信息处理设备500的哪个用户已经进行了行为。图8A到图8D是图示本公开的示例2的示例性视图。在示例2中，以图示的方式描述如下情况，其中，例如在图2的信息处理设备200中，由用户A给出用于与用户C和D的网络连接的指令，并且用户A在与用户C和D的网络连接期间离去。当如图8A和图8B所示，用户A在与用户C和D的网络连接期间离去时，在显示设备102的显示屏幕上显示在用户A离去的相同时间删除代表信息处理设备200的用户A的用户图像120的显示图像。尽管未示出，但是类似地，在显示系统400中的显示设备402的显示屏幕上显示在用户A离去的相同时间删除代表信息处理设备200的用户A的用户图像(未示出)的显示图像。根据示例2，因为在显示设备402的显示屏幕上显示的显示图像中用户A离去的相同时间删除代表信息处理设备200的用户A的用户图像120，所以其它信息处理设备500的用户可以确切地知道信息处理设备200的用户A已经离去。图9A到图9D是图示本公开的示例3的示例性视图。在示例3中，以图示的方式描述如下情况:其中，例如在图2的信息处理设备200中，由用户A给出用于与用户C和D的网络连接的指令，并且在与用户C和D的网络连接期间用户A的脸部行为已经变为微笑。当如图9A到图9D所示，在与用户C和D的网络连接期间用户A的脸部行为已经变为微笑时，在显示设备102的显示屏幕上显示其中类似跳跃地显示代表其脸部行为已经变为微笑的用户A的用户图像130。尽管未示出，但是类似地，在显示系统400中的显示设备402的显示屏幕上显示其中类似跳跃地显示代表其脸部行为已经变为微笑的用户A的用户图像(未示出)。根据示例3，因为在显示在显示设备402的屏幕上的显示图像中类似跳跃地显示代表其脸部行为已经变为微笑的用户A的用户图像130，所以其它信息处理设备500的用户可以确切地知道信息处理设备200的用户A的脸部行为已经变为微笑。
图1OA到图1OB是图示本公开的示例4的示例性视图。在示例4中，以图示的方式描述如下情况:例如，在信息处理设备200中用于与用户C和D的网络连接的指令由用户A给出，并且在图2中的显示设备102的显示屏幕和显示系统400中的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像，和彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节。如图1OA和图1OB所示，信息处理设备200通过上述脸部识别来识别信息处理设备200的用户A和用户B以及其它信息处理设备500的用户C和D并且进一步识别信息处理设备200的用户A和用户B以及其它信息处理设备500的用户C和D的性别，并且随后在显示设备102的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户及每一个性别显示代表信息处理设备200的用户A的用户图像140、代表信息处理设备200的用户B的用户图像144、代表其它信息处理设备500的用户C的用户图像142以及代表其它信息处理设备500的用户D的用户图像146。类似地，尽管未示出，但是其它信息处理设备500通过上述脸部识别来识别信息处理设备200的用户A和用户B以及其它信息处理设备500的用户C和D并且进一步识别信息处理设备200的用户A和用户B以及其它信息处理设备500的用户C和D的性别，并且随后在显示设备402的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户及每一个性别显示代表信息处理设备200的用户A的用户图像(未示出)、代表信息处理设备200的用户B的用户图像(未示出)、代表其它信息处理设备500的用户C的用户图像(未示出)以及代表其它信息处理设备500的用户D的用户图像(未示出)。根据示例4，信息处理设备200和其它信息处理设备500的用户可以确切地知道信息处理设备200及其它信息处理设备500的任何用户的性别。图1lA到图1lE是图示本公开的示例5的示例性视图。在示例5中，例如，以图示的方式描述如下情况:其中例如在其它信息处理设备500中用于与用户A和B的网络连接的指令由用户C给出，并且当由其它信息处理设备500的显示图像生成单元(未示出)生成的显示图像420正显示在显示系统400的显示屏幕上时,在图2的显示系统400中的显示屏幕上新显示内容图像430。如图1lA到图1lE所示，在当显示图像420正显示在显示系统400的显示屏幕上时在该屏幕上显示内容图像430的情况下，显示图像420逐渐地向右平移以淡出屏幕，并且内容图像430从左向右平移以出现在屏幕上，由此显示内容图像430。然后，如图1lE所示，指示处于网络连接下的显示440在显示系统400的显示屏幕上显示。根据示例5，其它信息处理设备500的用户可以确切地知道其处于与用户A和B的网络连接下。图12A和图12B是图示本公开的示例6的示例性视图。在示例6中，以图示的方式描述如下情况:其中，例如在图2的信息处理设备200中用于与用户C的网络连接的指令由用户A给出，并且在显示设备102的显示屏幕上重叠地显示由显示图像生成单元206生成的内容图像和显示图像。如图12A和图12B所示，在显示设备102的显示屏幕上重叠地显示由显示图像生成单元206生成的内容图像和显示图像的情况下，用户图像150和152逐渐地移出屏幕。然后，如图12B所示，当由用户图像150、152代表的用户进行某些行为的动作(诸如语音)时，例如从与用户图像150、152已经移动的地方对应的位置做出类波型行为。根据示例6，信息处理设备200的用户可以查看整个内容图像并且可以确切地知道其处于与用户C的网络连接下。图13A到图13L是图示本公开的示例7的示例性视图。在示例7中，以图示的方式描述如下情况:例如，在图2的信息处理设备700中用于与用户A和B及用户C和D的网络连接的指令由用户E给出，并且在图2的显示系统600中的显示屏幕上显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备200和其它信息处理设备500、700的用户的用户图像，并且彼此关联地显示代表已经进行行为的用户的用户图像和该行为的细节。如图13A到图13L所示，在显示系统600的显示屏幕上，设置公共内容区域Al作为其中信息处理设备200和其它信息处理设备500、700的用户共享内容的区域并且设置用户具体内容区域A2作为代表其它信息处理设备700的用户E和F的内容的区域。然后，当由用户E选择内容图像602作为要在公共内容区域Al中显示的内容时，例如，显示与内容图像602对应的内容图像604并且在下部逐渐扩展为与在公共内容区域Al中的用户E对应的位置(图13B到图13D)。进一步，当内容图像(未示出)由用户A选择为要在公共内容区域Al中显示的内容时，例如，扩展代表用户A的用户图像，并且与由用户A选择的内容图像(未示出)对应的内容图像606被显示并且在下部逐渐扩展为与在公共内容区域Al中的用户A对应的位置(图13F到图13H)。进一步，当内容图像(未示出)由用户C选择为要在公共内容区域Al中显示的内容时，例如，扩展代表用户C的用户图像，并且与由用户C选择的内容图像(未示出)对应的内容图像608被显示并且在左上部逐渐扩展为与在公共内容区域Al中的用户C对应的位置(图13J到图13L)。此时，由用户A选择的内容图像606可以如图13K所示地淡出。根据示例7，其它信息处理设备700的用户可以确切地知道信息处理设备200和其它信息处理设备500的任何用户的存在，可以仿佛与他们在同一地方通信一样地感知到现实的感觉、在一起的感觉、接近的感觉等，并且进一步可以确切地知道信息处理设备200和其它信息处理设备500的哪个用户已经进行了行为。(6、信息处理设备的功能配置(第二实施例))描述根据本公开的第二实施例的信息处理设备的功能配置。图14是根据本公开的第二实施例的信息处理设备的功能配置的示例的示例性视图。作为根据实施例的信息处理设备的信息处理设备250不同于根据上述第一实施例的信息处理设备，仅在于其包括成像单元252和显示单元254，并且因而省略重复要素和功能的说明，而在下面提供不同要素和功能的说明。注意，图14示出作为信息处理设备250的用户的用户A和B、该信息处理设备250可以连接的通信网络800、可以连接到该通信网络800的通信服务器300和其它信息处理设备550和750，作为其它信息处理设备550的用户的用户C和D以及作为其它信息处理设备750的用户的用户E和F。其它信息处理设备550和750具有和信息处理设备250相同的配置，并且省略其详细说明。其它信息处理设备550和750是本公开中的通信目标设备的示例。
在图13中，信息处理设备250例如包括成像单元252、脸部识别单元204、显示图像生成单元206、显示单元254、显示控制单元210、通信单元212、语音输入单元214、语音识别单元216、操作信号输入单元218、动作识别单元220和存储单元22。成像单元252可以捕获正在看显示单元254的显示屏幕的用户A和B的静态图像或运动图像。然后，成像单元252可以向通信单元212、脸部识别单元204和显示图像生成单元206传输通过成像生成的捕获图像。在显示单元254中，例如，可以显示如下显示图像:在该显示图像中，对每一个用户显示代表信息处理设备250和其它信息处理设备550、750的用户的用户图像并且彼此关联地显示的代表已经进行了行为的用户的用户图像和该行为的细节。根据实施例，信息处理设备250执行之前描述的图4的显示处理，由此具有和之前描述的第一实施例相同的效果。进一步，根据实施例，可以消除图2所示的分别准备显示系统100的需要，由此允许更简单的实现。进一步，通过提供诸如非临时存储介质之类的存储介质、存储实现上述每一个实施例的功能的软件的程序代码到系统或设备并且由系统或设备的计算机(或CPU、MPU等)读取并执行在存储介质中存储的程序代码，也可以完成本公开的目的。在此情况下，从存储介质读取的程序代码实现上述每一个实施例的功能，并且程序代码和存储该程序代码的存储介质构成本公开。进一步，用于提供程序代码的存储介质可以是例如软盘(注册商标)、硬盘、磁光盘、诸如 CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW 或者 DVD+RW 之类的光盘、磁带、非易失性存储卡、ROM等。替代地，程序代码可以通过网络下载。进一步，本公开不限于计算机执行读取程序代码以由此实现上述每一个实施例的功能的情况，并且也包括运行在计算机上的OS (操作系统)等基于程序代码的指令进行部分或整体的实际处理以由此实现上述每一个实施例的功能的情况。进一步，也包括将从存储介质读取的程序代码写入插入链接到计算机的功能扩展板或者连接到计算机的功能扩展单元中的存储器，并且随后在扩展板或扩展单元中的CPU等基于程序代码的指令，对扩展的功能进行部分或整体实际处理以由此实现上述每一个实施例的功能的情况。本领域技术人员应当明白，只要在所附权利要求或其等同的范围之内，取决于设计要求和其它因素可以发生各种变型、组合、部分组合和变更。例如，通信服务器300可以从来自其它信息处理设备500、700的捕获图像识别其它信息处理设备500、700的用户或用户的脸部行为。进一步，通信服务器300可以从来自其它信息处理设备500、700的语音，识别其它信息处理设备500、700的用户中的讲话者和用户中的讲话者的语音的内容。此外，通信服务器300可以从来自其它信息处理设备500、700的操作信号识别其它信息处理设备500、700的用户的动作。进一步，信息处理设备200可以向其它信息处理设备500、700传输内容以在用户之间共享该内容。本领域技术人员应当明白，只要在所附权利要求或其等同的范围之内，取决于设计要求和其它因素可以发生各种变型、组合、部分组合和变更。附图标记列表
100显示系统102显示设备104成像设备200信息处理设备202图像输入单元204面部识别单元206显示图像生成单元208输出单元210显示控制单元212通信单元214语音输入单元216语音识别单元218操作信号输入单元220动作识别单元222存储单元300通信服务器400、600其它通信系统500、700其它信息处理设备800通信网络
权利要求
1.一种信息处理装置，包括: 用户识别单元，用以在捕获图像中识别用户； 行为识别单元，用以识别用户的行为； 生成单元，用以生成包括已识别用户的信息和已识别用户的已识别行为的信息的用户行为信息；以及 通信单元，用以向外部装置传输所述用户行为信息。
2.根据权利要求1所述的装置，其中，所述用户识别单元基于脸部检测识别所述捕获图像中的用户。
3.根据权利要求1所述的装置，其中，所述用户行为信息指示出现在所述捕获图像中的动作、脸部行为、语音或操作动作中的至少一个。
4.根据权利要求1所述的装置，进一步包括: 图像捕获单元，用以捕获所述捕获图像。
5.根据权利要求1所述的装置，其中，所述用户行为信息包括所述捕获图像的一部分。
6.一种信息处理装置，包括: 通信单元，用以从外部装置接收包括已识别用户和所述已识别用户的已识别行为的信息的用户行为信息；以及 生成单元，用以控制在 显示屏幕上显示包括与所述已识别用户的信息对应的用户图像以及与所述已识别行为的信息对应的视觉表示的图像。
7.根据权利要求6所述的装置，其中，所述视觉表示指示出现在所述捕获图像中的动作、所述已识别用户的脸部行为、语音或操作动作中的至少一个。
8.根据权利要求6所述的装置，其中，所述视觉表示和所述用户图像彼此关联地显示。
9.根据权利要求6所述的装置，其中，所述用户行为信息包括所述捕获图像的一部分。
10.一种信息处理的方法，包括 在捕获图像中识别用户； 识别用户的行为； 由处理器生成包括已识别用户和所述已识别用户的已识别行为的信息的用户行为信息；并且 向外部装置传输所述用户行为信息。
11.根据权利要求10所述的方法，其中，基于脸部检测在所述捕获图像中识别所述用户。
12.根据权利要求10所述的方法，其中，所述用户行为信息指示出现在所述捕获图像中的动作、脸部行为、语音或操作动作中的至少一个。
13.根据权利要求10所述的方法进一步包括: 捕获所述捕获图像。
14.根据权利要求10所述的方法，其中，所述用户行为信息包括所述捕获图像的一部分。
15.—种信息处理的方法,包括: 从外部装置接收包括已识别用户和所述已识别用户的已识别行为的信息的用户行为信息；并且由处理器控制包括与所述已识别用户的信息对应的用户图像以及与所述已识别行为的信息对应的视觉表示的图像在显示屏幕上的显示。
16.根据权利要求15所述的方法，其中，所述视觉表示指示出现在所述捕获图像中的动作、所述已识别用户的脸部行为、语音或操作动作中的至少一个。
17.根据权利要求15所述的方法，其中，所述视觉表示和所述用户图像彼此关联地显示。
18.根据权利要求15所述的方法，其中，所述用户行为信息包括所述捕获图像的一部分。
19.一种非临时记录介质，记录有由计算机可执行的计算机可读程序，所述程序包括: 在捕获图像中识别用户； 识别用户的行为； 生成包括已识别用户和所述已识别用户的已识别行为的信息的用户行为信息；并且 向外部装置传输所述用户行为信息。
20.一种非临时记录介质，记录有由计算机可执行的计算机可读程序，所述程序包括: 从外部装置接收包括已识别用户和所述已识别用户的已识别行为的信息的用户行为信息；并且 控制包括与所述已识别用户的信息对应的用户图像以及与所述已识别行为的信息对应的视觉表示的图像在显示屏幕上的显示。
全文摘要
信息处理装置可以包括用户识别单元以在捕获图像中识别用户，以及行为识别单元以识别用户的行为。另外，该装置可以包括生成单元以生成包括已识别用户和已识别用户的已识别行为的信息的用户行为信息。进一步，该装置可以包括通信单元以向外部装置传输用户行为信息。
文档编号H04N21/658GK103141085SQ20118004727
公开日2013年6月5日 申请日期2011年9月30日 优先权日2010年10月7日
发明者阪井佑介, 近藤真生 申请人:索尼公司