显示装置及其视频通话执行方法_2

文档序号:9380843阅读:来源:国知局
这一声音所表示的含义的动作,“High five”这一声音与举手的动作可被视为具有相关联的关系。
[0056]作为另一例,假设用户一边唱歌,一边采取将手掌卷起来(类似持握棒状物体的状态)并移到嘴边的动作。
[0057]此情形下,将手掌卷起来并移到嘴边的动作相当于通常的唱歌动作,因此将手掌卷起来并移到嘴边的动作相当于带有唱歌声音所表示的含义的动作,唱歌的声音与将手掌卷起来并移到嘴边的动作可以视为具有相关联的关系。
[0058]另外,在上面的例子中,说明了 “High five”这一声音和与其具有关联关系的动作,唱歌的声音和与其具有关联关系的动作,但是这只是示例,声音和与其具有关联关系的动作可以具有各种形态。
[0059]例如,“你好”这一用语是相见或道别时边挥手边说出的招呼语,因此举手左右挥动的动作相当于带有“你好”这一声音所表示的含义的动作,“你好”这一声音与挥手的动作可被视为具有相关联的关系。
[0060]如此,当动作具有发出的声音所表示的含义时,可以视为该动作和所发出的声音具有相关联的关系。
[0061]在此情况下,反馈可以是对应于动作及所发出的声音的视觉效果及音响效果中的至少一种效果。
[0062]例如,假设用户一边说“High five”,一边采取举手的动作。此情形下,控制单元120作为视觉效果可以输出手掌相互击打的动画符号(Animat1n Emoticon)形态的GUI (图形用户界面),作为音响效果可以输出击掌时发出的声音“啪”。
[0063]作为另一例,假设用户一边唱歌,一边采取将手掌卷起来移到嘴边的动作。在此情形下,控制单元120作为视觉效果可以输出麦克风形态的GUI (该GUI显示为位于用户手中),作为音响效果可以输出与歌曲相配的伴奏。
[0064]另一方面,控制单元120判断用户的动作和所发出的声音及从服务器200接收的视频通话对方的动作和所发出的声音是否具有预先设定的关联关系,若判断结果为存在预先设定的关联关系,则可以输出对应的反馈。
[0065]为此,显示装置100可以存储关于与所发出声音具有关联关系的动作的信息。
[0066]具体来讲,显示装置100可以按照所发出的声音,对针对具有该声音所表示的含义的动作的信息进行映射和存储。
[0067]例如,显示装置100可以存储这样一种信息:具有“High five”这一声音所表示的含义的动作相当于举手的动作;还可以存储这样一种信息:具有唱歌的声音所表示的含义的动作相当于将手掌卷起来移到嘴边的动作。
[0068]据此,控制单元120可利用预先存储的信息,来判断显示装置100及其他显示装置300各自的用户的动作及所发出的声音是否具有预先设定的关联关系。
[0069]具体来讲,控制单元120可以分别分析显示装置100所拍摄的图像及其他显示装置300所拍摄的图像,识别出特定对象(例如,脸、手等),根据识别出的对象的形态、位置及移动等来判断用户及视频通话对方所采取的动作。
[0070]例如,控制单元120可以利用相邻像素之间的灰度值差异来在各图像中识别用户的手,并判断手的形态、位置及移动等来判断用户是否采取举手的动作,是否采取将手掌卷起来移到嘴边的动作等。
[0071 ] 而且,控制单元120可以分别针对显示装置100所获取的声音及其他显示装置300所获取的声音执行声音识别。
[0072]具体来讲,控制单元120可以针对由显示装置100及其他显示装置300分别获取的声音执行声音识别,判断用户及视频通话对方所发出的声音中是否包括特定关键词或语句,所发出的声音是否相当于具有一定音高音低的歌曲等。
[0073]例如,若显示装置100及其他显示装置300各自获取的声音为“High five”或者“进行High five”,则因为相关声音中包含“High five”这一关键词,因此控制单元120可以判断为各用户发出了 “High five”这一声音。作为另一个例子,若显示装置100及其他显示装置300各自获取的声音具有一定音高音低,则控制单元120可以判断为各用户在唱歌。
[0074]据此,控制单元120可以利用预先存储的信息,来判断用户及视频通话对方所采取的动作是否与所发出的声音具有预先设定的关联关系。
[0075]例如,假设由显示装置100及其他显示装置300分别获取的声音相当于“Highfive”,且基于由显示装置100及其他显示装置300分别拍摄的图像判断为用户和视频通话对方采取了举手动作。在此情形下,控制单元120可以判断为显示装置100的用户所采取的动作与所发出的声音具有预先设定的关联关系,其他显示装置300的用户采取的动作与所发出的声音具有预先设定的关联关系。
[0076]作为另一例,假设其他显示装置300所获取的声音相当于特定歌曲,且基于其他显示装置300拍摄的图像判断为视频通话对方采取了将手掌卷起来移到嘴边的动作。在此情形下,控制单元120可以判断为其他显示装置300的用户采取的动作与所发出的声音具有预先设定的关联关系。
[0077]在此情形下,控制单元120在用户及视频通话对方的动作及所发出的声音具有预先设定的关联关系,且用户的动作及所发出的声音与视频通话对方的动作及所发出的声音具有相同含义时,可以输出对应的反馈。
[0078]在此,具有相同含义可以指用户及视频通话对方采取了相同的动作,且他们所发出的声音相同或者包含相同的关键词或语句的情形。
[0079]例如,在用户及视频通话对方采取举手的动作,且他们说“High five”或者“进行High five”的情形下,用户及视频通话对方的动作及所发出的声音可被视为具有预先设定的关联关系,且具有相同含义。
[0080]如此,控制单元120在各用户的动作和所发出的声音具有关联关系,且他们的动作及所发出的声音具有相同含义时,可以输出对应的反馈。
[0081]为此,显不装置100可以存储关于与具有关联关系的动作和所发出的声首对应的反馈的信息。
[0082]具体来讲,显示装置100可以按照具有关联关系的动作和所发出的声音,将关于与该动作和所发出的声音对应的反馈的信息进行映射并存储。
[0083]例如,显示装置100可以针对“High five”这一声音和举手的动作,映射并存储击掌的动画符号和击掌时发出的声音,且针对唱歌的声音和将手掌卷起来移到嘴边的动作,映射并存储麦克风形态的符号和对该歌曲的伴奏。
[0084]据此,控制单元120可以利用预先存储的信息来输出对应于具有关联关系的动作和所发出的声音的反馈。
[0085]例如,假设显示装置100的用户所发出的声音和所采取的动作为“Highfive”这一声音和举手的动作,其他显示装置300的用户所发出的声音和所采取的动作也是“Highfive”这一声音和举手的动作。
[0086]在此情形下,控制单元120可以输出映射到“High five”这一声音和举手的动作的反馈。即,控制单元120可以将击掌的动画符号形态的GUI作为视觉效果进行输出,将击掌发出的声音作为音响效果进行输出。
[0087]另一方面,控制单元120可以以PIP画面方式输出视频通话图像。S卩,控制单元120可以将拍摄视频通话对方的图像显示在主画面(尺寸相对较大的画面),将拍摄用户的图像显示在副画面(尺寸相对较小的画面)。
[0088]在此情形下,控制单元120可以将作为视觉效果而输出的GUI显示为叠加在视频通话对方的拍摄对象上。
[0089]另一方面,在上述的例子中,以用户和视频通话对方的动作及所发出的声音具有相同含义时输出对应反馈的情形进行了说明,但是这只是示例。
[0090]S卩,即使用户和视频通话对方的动作及所发出的声音不具有相同含义,只要视频通话对方的动作及所发出的声音具有预先设定的关联关系,控制单元120也可以输出对应的反馈。
[0091]例如,假设其他显示装置300的用户一边唱歌一边采取将手掌卷起来移到嘴边的动作。
[0092]在此情形下,控制单元120可以不考虑显示装置100的用户的动作及所发出的声音,而输出映射到唱歌的声音和将手掌卷起来移到嘴边的动作的反馈。即,控制单元120可以作为视觉效果而将麦克风形态的GUI输出在显示在画面上的视频通话对方的手中,将与该歌曲相配的伴奏作为音响效果而进行输出。
[0093]并且,在上面的例子中,以用户的动作及所发出的声音具有预先设定的关联关系时输出对应的反馈的情形进行了说明,但是这只是示例。
[0094]S卩,控制单元120即使用户的动作及所发出的声音不具有预先设定的关联关系,在用户采取特定动作或发出特定声音的情形下,也可以输出对应的反馈。
[0095]例如,假设其他显示装置300的用户不采取将手掌卷起来移到嘴边的动作,而只是唱歌。
[0096]在此情形下,控制单元120即使其他显示装置300的用户不采取将手掌卷起来移到嘴边的动作,也可以将与歌曲相配的伴奏作为音响效果进行输出。
[0097]另一方面,控制单元120在用户的动作及所发出的声音具有预先设定的关联关系的情形下,可以输出对应于用户的视线所停留的位置的反馈。
[0098]S卩,在显示有视频通话图像的状态下,控制单元120可以输出与视频通话图像上的用户的视线所停留的位置对应的反馈。
[0099]例如,假设用户说“请看这里”,并做出指画面上的特定地点的动作。
[0100]在此情形下,“请看这里”是引导用户的视线去看特定地点的声音,因此指特定地点的动作相当于具有“请看这里”这一声音所表示的含义的动作,“请看这里”这一声音和指特定地点的动作可被视为具有关联关系。
[0101]因此,控制单元120从拍摄显示装置100的用户的图像中判断用户的手的形态、位置等,且若用户的手指向画面上的特定地点,则可以判断为该动作与“请看这里”这一声音具有关耳关关系。
[0102]为此,显示装置100中可以存储有这样一种信息:具有“请看这里”这一声音所表示的含义的动作相当于指特定地点的动作。
[0103]在此情形下,控制单元120可以在画面上的用户视线所
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1