用户终端装置及其控制方法_4

文档序号:9650891阅读:来源:国知局
,第二图像文件可以是存储在存储器中的图像文件或通过相机单元110拍摄的并相应生成的新图像文件。当用户选择第二图像文件时,控制器140可以对包括在第一图像文件中的图像元数据和包括在第二图像文件中的静止图像数据进行解码。因此,关于第一目标850-1的面部表情的改变等可以应用于第二目标850-2,然后显示图像821。
[0103]图9是示出根据另一示例性实施例的用户终端100A的框图的示例。以下,将省略与图1重复的描述。
[0104]根据另一示例性实施例的用户终端设备100A还可以包括麦克风150和扬声器单元 160。
[0105]麦克风150是用于接收用户语音或其它声音并将其转换为音频数据的元件。用户语音可以在拍摄时被输入到麦克风150。麦克风150可以嵌入用户终端设备100A。另外,麦克风150可以通过设置来调整输入的用户语音的音量。
[0106]当用户语音被输入到麦克风150时,控制器140可以将输入的用户语音转换为语音元数据或声音元数据。在此情况下,控制器140可以基于用户语音生成语音元数据。此夕卜,可以通过控制器140基于用户语音来生成用户的图像元数据,并且图像元数据与语音元数据一起存储在存储器130中。将在图10至图11中详细描述关于生成语音元数据。
[0107]当输入的用户语音被转换为语音元数据时,控制器140可以将语音元数据与静止图像文件一起存储在存储器130中。在此情况下,静止图像文件可以包括通过相机单元110拍摄的且在输入用户语音时生成的静止图像。此外,包括静止图像的静止图像文件可以被预先存储在存储器130中。因此,控制器140可以将语音元数据包括在静止图像文件中。
[0108]扬声器单元160是将音频数据转换为用户语音或其它声音并且输出的元件。当选择静止图像文件时,扬声器单元160可以对语音元数据进行解码,并且控制器140可以生成与语音元数据相应的图像元数据,然后对图像元数据进行解码。因此,当选择静止图像文件时,扬声器单元160输出与语音元数据相应的用户语音,并且控制器140输出与语音元数据相应的用户图像。在此,与语音元数据相应的用户图像可以包括具有根据语音元数据改变的嘴形的图像。
[0109]图10是为了解释根据示例性实施例的检测嘴部区域而提供的处理的示图。
[0110]在图10中,示出与音位和与音位相应的可视音位(视位)。音位表示划分词的含义并且使划分的词能够理解的声音单位,可视音位(视位)表示描述特定声音的图像。例如,可视音位可以是与每个音位相应的嘴形的图像。
[0111]存储器130可以存储音位和与音位相应的嘴形的图像。参照图10,音标字母[a]音位9-1与发出[a]的嘴形19-1相应,并且[a]音位9_1和[a]的嘴形的图像19_1存储在存储器130中。同样,音标字母[e]音位9-2,[i]音位9-3,[ο]音位9_4和[u]音位9_5以及每个音标字母相应的嘴形的图像19-2,19-3,19-4,19-5存储在存储器130中。
[0112]存储器130可以预先存储普通用户的与每个音位相应的嘴形。在此情况下,当用户的嘴形的图像被输入到相机单元110时,控制器140可以通过将输入图像与音位的嘴形匹配生成关于嘴形的新图像,并且存储器130可以存储嘴形的新图像。例如,尽管普通用户的与[a]音位9-1匹配的嘴形的图像预先存储在存储器130中,但是当用户发出[a]音位
9-1时,存储器130可以在其中存储与用户发出的[a]音位相应的用户嘴形19-1的图像,代替预先存储的普通用户的嘴形的图像。
[0113]此外,当用户发出的音位被输入到麦克风150时,控制器140可以检测与输入的音位匹配或相应的嘴形的图像。例如,当用户发出[a]音位9-1时,控制器140可以检测与[a]音位9-1相应的嘴形19-1的图像。在下文中,将详细描述根据用户发出的音位以及与音位相应的嘴形的图像来部分改变用户图像的方法。
[0114]图11是为了解释根据示例性实施例的转换的图像而提供的示图。图11示出根据用户发出的声音“hello”依次改变包括在用户图像中的嘴形的图像的处理。
[0115]麦克风150接收用户发出的声音“hello”。如图11所示,控制器140将声音“hello”划分为[he-]音位9-6,[Ιο-]音位9_7和[u_]音位9_8。控制器140生成与划分的3个音位9-6,9-7,9-8的每一个音位相应的语音元数据,并且将语音元数据存储在存储器130中。
[0116]控制器140可以生成与每个语音元数据相应的图像元数据。图像元数据可以是关于与用户发出的音位相应的嘴形的图像的元数据。因此,与[he_]音位9-6相应的[he-]嘴形19-6的图像,与[lo_]首位9-7相应的[lo_]嘴形19-7的图像,与[u_]首位9_8相应的[u-]嘴形19-8的图像可以分别被生成作为图像元数据。生成的图像元数据可以包括在图像文件中,并且可以存储在存储器130中。
[0117]每个语音元数据可以包括声音的特征,声音的特征可以包括音调,音质,声音的高和低等。声音的特征可以包括在语音元数据中,并且可以生成图像元数据以与声音的特征相应。
[0118]如上所述,语音元数据可以连同背景图像数据、用户静止图像数据和图像元数据一起包括在图像文件中。因此,当选择图像文件时,背景图像与用户图像组合并显示,具体地,根据生成以与语音元数据相应的图像元数据显示用户的嘴形的图像。也就是说,依次显示包括嘴形[he-] 19-6的图像的第一图像921-6、包括嘴形[lo_] 19_7的图像的第二图像921-7和包括嘴形[u-] 19-8的图像的第三图像921-8。因此,尽管用户图像是静止图像,但是用户终端设备100可以生动逼真地表达用户图像。
[0119]图12是根据示例性实施例的用于控制用户终端设备100或100A的方法的流程图的示例。在下文中,将省略重复描述。参照图12,下面描述用于控制用户终端设备100或100A的方法。
[0120]用户终端设备拍摄用户(S1210)。在此情况下,用户终端设备通过使用一个相机可以同时拍摄背景和用户两者,并且通过使用两个相机可以同时拍摄背景和用户两者。此外,用户终端设备可以在拍摄用户的同时接收用户声音或其它声音。
[0121]用户终端设备从拍摄的图像检测用户图像(S1220)。可以从拍摄的图像分割用户图像。背景图像可以被分割并转换为背景图像数据,并且可以被插入图像文件中。此外,用户图像的静止图像可以被转换为用户静止图像数据,并被插入图像文件中。在此情况下,图像文件可以是静止图像文件。当使用运动背景图像时,可以生成运动图像文件。
[0122]用户图像可以被转换为图像元数据。因此,用户终端设备100可以生成用于改变用户图像的特征部分的至少一部分的图像元数据(S1230)。另外,输入的用户语音可以被转换为语音元数据。
[0123]因此,图像元数据和语音元数据可以与背景图像数据和用户静止图像数据一起插入图像文件中。在此情况下,可以通过将用户图像与图像元数据匹配来生成图像文件(S1240) ο用户终端设备可以存储图像文件(S 1250),并且图像文件可以包括背景图像数据、用户静止图像数据、图像元数据和语音元数据。
[0124]然后,当选择图像文件时,可以显示特征部分的至少一部分根据图像元数据自动改变的用户图像(S 1260)。也就是说,显示的用户图像是静止图像,但是用户图像的特征部分的至少一部分根据图像元数据改变和显示,因此可以更加生动和逼真表达用户图像。在此,如果特征部分是用户的嘴巴,则可以根据语音元数据以相应的语音或声音显示用户图像。
[0125]图13为了全面解释根据再一示例性实施例的用户终端设备100Β的配置而提供的框图。
[0126]图13示出根据示例性实施例的用户终端设备100Β包括相机单元110,显示器120,存储器130,控制器140,麦克风150和扬声器单元160。
[0127]相机单元110是执行拍摄操作的元件。设置在用户终端设备100Β上的相机单元110拍摄外部图像。在此情况下,外部图像可以是静止图像或运动图像。相机单元110可以被实现为多个相机,诸如安装在用户终端设备100Β的正面的前置相机和安装在用户终端设备100Β的背面的后置相机。
[0128]显示器120显示如上所述的各种图像。显示器120可以被实现为各种类型的显示器,诸如液晶显示器0XD),有机发光二极管(0LED)显示器,等离子体显示面板(TOP)等。在显示器120中,可以包括驱动电路、背光单元等,背光单元可以被实现为非晶硅、低温多晶硅(LTPS)TFT、有机 TFT(OTFT)等。
[0129]显示器120可以被实现为普通液晶显示器或触摸屏类型。当实现为触摸屏时,用户可以触摸屏幕,并且控制用户终端设备100B的操作。
[0130]视频处理器(未示出)是用于处理存储在存储器130中的图像文件的各种图像数据的元件。也就是说,视频处理器(未示出)可以执行各种图像处理,诸如图像数据的解码、缩放、噪声过滤、帧速率变换、分辨率变换等。在此情况下,显示器120可以显示在视频处理器(未示出)生成的图像帧。
[0131]麦克风150是接收用户语音或其它声音并将其转换为音频数据的元件。麦克风15
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1