显示装置及其视频通话执行方法_4

文档序号:9380843阅读:来源:国知局
S而启动系统。完成启动之后,主CPU 123将存储在存储单元130中的各种应用程序复制到RAM 121,运行复制到RAM 121的应用程序来执行各种动作。
[0156]图形处理单元124可以生成包含图标、图片、文本等各种客体的画面,并通过显示器114输出该画面。
[0157]另一方面,在上述示例中说明了:服务器200在显示装置100和其他显示装置300之间收发视频通话数据,显示装置100判断用户及视频通话对方的动作及所发出的声音是否具有预先设定的关联关系,并根据判断结果输出对应的反馈。
[0158]但是,这只是一个示例,也可以由服务器200将用于输出反馈的控制命令传送给显示装置100。
[0159]下面参照图3说明由服务器200控制从显示装置100输出的反馈的实施例。
[0160]图3是用于说明根据本发明一实施例的服务器的构造的框图。根据图3,服务器200包含通信单元210、存储单元220和控制单元230。
[0161]通信单元210与显示装置100和其他显示装置300执行通信。
[0162]具体来讲,通信单元210可以接收从显示装置100传送的视频通话数据并将接收的视频通话数据传送到其他显示装置300,以及接收从其他显示装置300传送的视频通话数据并将该视频通话数据传送到显示装置100
[0163]为此,通信单元210可以根据各种通信方式执行显示装置100及其他显示装置300与服务器200之间的通信,并可具有与各种通信方式对应的芯片。例如,通信单元210可以利用有线或无线LAN卡等通过互联网连接到显示装置100及其他显示装置300。
[0164]存储单元220存储各种信息。具体来讲,存储单元220可以存储关于与所发出的声音具有关联关系的动作的信息、关于与具有关联关系的动作和所发出的声音对应的反馈的信息等。在此情形下,控制单元230可利用这些信息来判断用户和视频通话对方的动作和所发出的声音是否具有预先设定的关联关系,且在具有预先设定的关联关系时进行控制以输出与其对应的反馈。
[0165]控制单元230控制服务器200的整体动作。具体来讲,控制单元230可以控制通信单元210分别从显示装置100及其他显示装置300接收视频通话数据。即,可以接收由显示装置100及其他显示装置300分别拍摄其用户的图像及用户所发出的声音。
[0166]而且,控制单元230可以判断分别从显示装置100及其他显示装置300接收的用户及视频通话对方的动作和所发出的声音是否具有预先设定的关联关系,且若判断结果为具有预先设定的关联关系,则将用于输出对应反馈的控制命令传送给显示装置100。
[0167]为此,存储单元220可以存储有关于与所发出的声音具有关联关系的动作的信息。
[0168]具体来讲,存储单元220可以按照所发出的声音,将关于具有该声音所表示的含义的动作的信息进行映射并存储。
[0169]例如,存储单元220可以存储这样一种信息:具有“High five”这一声音所表示的含义的动作相当于举手的动作;还可以存储这样一种信息:具有唱歌的声音所表示的含义的动作相当于将手掌卷起来移到嘴边的动作。
[0170]据此,控制单元230可利用预先存储的信息,来判断分别从显示装置100及其他显示装置300接收的用户及视频通话对方的动作与所发出的声音是否具有预先设定的关联关系O
[0171]具体来讲,控制单元230可以分别从由显示装置100及其他显示装置300接收的图像中识别出特定对象(例如,脸、手等),根据识别出的对象的形态、位置及移动等来判断用户的动作。
[0172]例如,控制单元230可以利用相邻像素之间的灰度值差异,在图像中识别用户的手,并判断手的形态、位置及移动等来判断用户是否采取举手的动作,是否采取将手掌卷起来移到嘴边的动作等。
[0173]而且,控制单元230可以针对分别从显示装置100及其他显示装置300接收的声首进行声首识别。
[0174]具体来讲,控制单元230可以针对分别从显示装置100及其他显示装置300接收的声音进行声音识别,判断用户及视频通话对方所发出的声音中是否包括特定关键词或语句,所发出的声音是否相当于具有一定音高音低的歌曲等。
[0175]例如,若分别从显示装置100及其他显示装置300接收的声音为“High five”或者“进行High five”,则因为相关声音中包含“High five”这一关键词,因此控制单元230可以判断为各个用户发出了 “High five”这一声音。
[0176]作为另一个例子,若分别从显示装置100及其他显示装置300接收的声音具有一定音高音低,则控制单元230可以判断为这些声音相当于特定歌曲。
[0177]据此,控制单元230可以利用预先存储的信息,来判断用户所采取的动作是否与所发出的声音具有预先设定的关联关系。
[0178]例如,假设分别从显示装置100及其他显示装置300接收的声音相当于“Highfive”,且基于分别从显示装置100及其他显示装置300接收的图像判断为用户和视频通话对方采取了举手动作。在此情形下,控制单元230可以判断为显示装置100的用户所采取的动作与所发出的声音具有预先设定的关联关系,其他显示装置300的用户采取的动作与所发出的声音具有预先设定的关联关系。
[0179]作为另一例,假设分别从显示装置100及其他显示装置300接收的声音相当于特定歌曲,且基于分别从显示装置100及其他显示装置300接收的图像判断为用户和视频通话对方采取了将手掌卷起来移到嘴边的动作。在此情形下,控制单元230可以判断为显示装置100的用户采取的动作与所发出的声音具有预先设定的关联关系,且其他显示装置300的用户采取的动作与所发出的声音具有预先设定的关联关系。
[0180]在此情形下,在用户及视频通话对方的动作及所发出的声音具有预先设定的关联关系,且用户的动作及所发出的声音与视频通话对方的动作具有相同含义时,控制单元230可以将用于输出对应的反馈的控制命令传送到显示装置100及其他显示装置300。
[0181]在此,具有相同含义可以指用户及视频通话对方采取了相同的动作,或者他们所发出的声音相同或者包含相同的关键词或语句的情形。
[0182]例如,在用户及视频通话对方采取举手的动作,且他们说“High five”或者“进行High five”的情形下,用户及视频通话对方的动作及所发出的声音可视为具有预先设定的关联关系,且具有相同含义。
[0183]如此,在各个用户的动作和所发出的声音具有关联关系,且他们具有相同含义时,控制单元230可以将用于输出对应的反馈的控制命令传送到显示装置100及其他显示装置300。
[0184]据此,显示装置100可以输出与具有关联关系的用户的动作及所发出的声音对应的反馈。
[0185]S卩,控制单元120可以基于接收的控制命令输出对应的反馈。
[0186]为此,显不装置100可以存储有关于与具有关联关系的动作和所发出的声首对应的反馈的信息。
[0187]具体来讲,显示装置100可以按照具有关联关系的动作和所发出的声音,将关于与该动作和所发出的声音对应的反馈的信息进行映射并存储。
[0188]例如,显示装置100可以针对“High five”这一声音和举手的动作,映射并存储击掌的动画符号和击掌时发出的声音,且针对唱歌的声音和将手掌卷起来移到嘴边的动作,映射并存储麦克风形态的符号和对该歌曲的伴奏。
[0189]据此,当从服务器200接收了控制命令时,控制单元120可以输出按照具有关联关系的动作和所发出的声音映射的反馈中的对应于控制命令的反馈。
[0190]例如,假设从服务器200接收了要求输出与“High five”这一声音和举手的动作对应的反馈的控制命令。在此情形下,控制单元120可以将映射到“High five”这一声音和举手动作的击掌的动画符号作为视觉效果而进行输出,将映射到“High five”这一声音和举手动作的击掌发出的声音作为音响效果而进行输出。
[0191]另一方面,在上述的例子中,以用户和视频通话对方的动作及所发出的声音具有相同含义时输出对应反馈的情形进行了书名,但是这只是示例。
[0192]S卩,即使用户和视频通话对方的动作及所发出的声音不具有相同含义,只要视频通话对方的动作及所发出的声音具有预先设定的关联关系,控制单元230也可以将用于输出对应的反馈的控制命令传送给显示装置100及其他显示装置300。
[0193]例如,假设其他显示装置300的用户一边唱歌一边采取将手掌卷起来移到嘴边的动作。
[0194]在此情形下,控制单元230可以不考虑显示装置100的用户的动作及所发出的声音,而将用于输出映射于唱歌的声音和将手掌卷起来移到嘴边的动作的反馈的控制命令传送给显示装置100。
[0195]据此,显示装置100可以将麦克风形态的⑶I作为视觉效果而输出到显示在画面上的视频通话对方的手中,将与该歌曲相配的伴奏作为音响效果而进行输出。
[0196]并且,在上面的例子中,以用户的动作及所发出的声音具有预先设定的关联关系时输出对应的反馈的情形进行了说明,但是这只是示例。
[0197]S卩,即使用户的动作及所发出的声音不具有预先设定的关联关系,在采取特定动作或发出特定声音的情形下,控制单元230也可以将用于输出对应的反馈的控制命令传送给显示装置100及其他显示装置300。
[0198]例如,假设其他显示装置300的用户不采取将手掌卷起来移到嘴边的动作,而只是唱歌。
[0199]此情形下,即使其他显示装置300的用户不采取将手掌卷起来移到嘴边的动作,控制单元230也可以将用于输出与歌曲相配的伴奏作为音响效果的控制命令传送给显示装置100。
[0200]下面,参照附图4a至图7b说明本发明的各种实施例。
[0201]如图4a至图7b所示,用户10可通过显示装置100与其他显示装置300的用户执行视频通话。
[0202]S卩,显示装置100可以以PIP形式显示显示装置100所拍摄的关于用户的图像和其他
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1