一种基于可调模板头像的人人交互的方法_2

文档序号:9924054阅读:来源:国知局
据;
[0037]S37:发送者用户终端预存发送者的加有时间戳的音频数据。
[0038]进一步,所述平面可调模板头像包括由多条Bezier曲线构成的具有脸部特征的数据模型。
[0039]优选的,所述表情变化数据至少包括24个关键点位置信息,所述关键点作为一个控制点,根据其位置信息驱动与关键点相连的Bezier曲线动作,从而使得具有脸部特征的数据模型显示出用户脸部画面中的脸部表情。
[0040]进一步,所述24个关键点分别如下:
[0041]脖子:左侧脖子轮廓线的中点,右侧脖子轮廓线的中点;
[0042]脸型:下颂最低点,左下颂角处的拐点,右下颂角处的拐点,左侧颧骨最高点,右侧颧骨最高点,额头中心点;
[0043]眉毛:左眉最左点,左眉最右点;右眉最左点,右眉最右点;
[0044]眼睛:左眼上眼皮轮廓线的中点,左眼下眼皮轮廓线的中点,左眼珠的中心点;右眼上眼皮轮廓线的中点,右眼下眼皮轮廓线的中点,右眼珠的中心点;
[0045]鼻子:左鼻翼中心点,右臂翼中心点;
[0046]嘴巴:嘴角最左点,嘴角最右点,上嘴唇轮廓线的中点,下嘴唇轮廓线的中点。
[0047]本发明的有益效果在于:
[0048]I)本发明首先在用户终端上建立可调的基本模板头像,然后根据摄像头采集到的头像画面,获取关键点处用户的脸部表情动作相关的表情变化数据,然后接收者用户终端上共享的发送用户的用户虚拟头像跟随发送用户进行同样的脸部表情动作。在此过程中,只需要较小的数据运算而且用户终端仅需获取内存较小的表情变化数据,有利于在交互的过程中,实现快速传输、降低流量耗费的目的,并且使得体验更加流畅、有趣。
[0049]2)本发明中米取了两种传输方式,即实时传输和延时传输,实时传输能够使得整个交互的过程得以及时的传输;延时传输有效地解决了接收用户不在线的问题,方便接收用户在事后能观看到发送用户发送的视频信息,使得交互过程更为完善。
[0050]3)本发明在数据传输出现中断的情况下,分别采用了两种急救措施,对于实时传输,采用的方法是调取用户终端内部已寄存的表情动作的表情变化数据来代替遗失的表情变化数据,从而使得整个交互画面完整,不至于出现空白情况;对于延时传输,采用的方法是在中断前后之间进行插值算法,使得整个交互画面达到平滑过渡。
【附图说明】
[0051 ]图1为本发明的流程图。
[0052]图2为本发明中数据传输的流程图。
[0053]图3为本发明中实时传输时传输的流程图。
[0054]图4为本发明中延时传输时预存的流程图。
[0055]图5为本发明中基本模板头像的示意图。
[0056]图6为本发明中基本模板头像上设有24个关键点的示意图。
[0057]图7为本发明中用户模板头像增加头发、服饰的示意图。
[0058]图8为本发明中用户模拟头像的显示状态图。
[0059]图中标注符号的含义如下:
[0060]01—左侧脖子轮廓线的中点 02—左下颂角处的拐点
[0061]03 一下颂最低点 04—下嘴唇轮廓线的中点 05—嘴角最左点
[0062]06—上嘴唇轮廓线的中点 07—左鼻翼中心点
[0063]08一左侧福骨最尚点 09—左眼下眼皮轮廓线的中点
[0064]10—左眼珠的中心点 11—左眼上眼皮轮廓线的中点
[0065]12—左眉最右点 13—左眉最左点 14 一额头中心点
[0066]15 一右眉最左点 16—右眉最右点
[0067]17—右眼上眼皮轮廓线的中点 18—右眼珠的中心点;
[0068]19一右眼下眼皮轮廓线的中点 20—右侧福骨最尚点
[0069]21—右臂翼中心点 22—嘴角最右点
[0070]23—右下颂角处的拐点 24—右侧脖子轮廓线的中点
【具体实施方式】
[0071]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0072]发送者用户终端也可以作为接收者用户终端,接收者用户终端也可以作为发送者用户终端;发送者为发送者用户终端的持有者或用户,接收者为接收者用户终端的持有者或用户。
[0073]如图1所示,一种基于可调模板头像的人人交互的方法,包括如下步骤:
[0074]S1:通过摄像头对发送者用户终端的用户脸部进行定位捕捉,并获取一帧用户脸部画面,摄像头对用户的脸部进行定位捕捉,对脸部进行自动对焦,使得人的脸部表情达到最清楚的状态,有利于获取更为准确的一帧用户脸部画面;
[0075]所述发送者用户终端上设有一个平面可调的基本模板头像,如图5所示;所述基本模板头像上设有多个用于表达脸部表情的关键点;
[0076]S2:发送者用户终端根据获取的用户脸部画面与所述基本模板头像进行匹配,在用户头像画面与基本模板头像匹配的过程中,通过匹配算法,例如sift算法,并将所述基本模板头像的脸部特征修改成与所述用户脸部画面中的脸部特征相似,以生成用户模板头像;所述用户模板头像通过发送者设定即手动添加头发、服饰及肤色等生成用户虚拟头像,如图7、图8所示;
[0077]发送者用户终端将所述用户虚拟头像保存并发送至服务器,所述服务器使接收者用户终端和发送者用户终端彼此共享所述用户虚拟头像;
[0078]S3:发送者用户终端从所述用户脸部画面中获取用于表达该用户脸部画面表情的关键点的表情变化数据,并将所得表情变化数据发送至接收者用户终端,然后转入步骤S4和/或步骤S5 ;
[0079]S4:接收者用户终端根据接收到的表情变化数据,驱动接收者用户终端上的发送者的用户模拟头像跟随发送者显示同样的脸部表情,并在接收者用户终端上的显示窗口上显不;
[0080]S5:发送者用户终端根据获取的表情变化数据,驱动发送者用户终端自身的用户模拟头像跟随发送者做同步脸部表情动作,并在发送者用户终端的显示窗口上显示。
[0081]在显示的过程中,针对不同性能的用户终端设备,可根据自身的性能参数对显示的画面作出适当的调整,从而使得整个画面更加清晰。
[0082]所述发送者用户终端获取发送者的音频数据,并对所述音频数据及表情变化数据加时间戳,所述时间戳用于使发送者的表情与声音在播放的过程中达到同步,然后再进行传输。
[0083]如图2所示,所述加有时间戳的音频数据及表情变化数据的传输步骤具体如下:
[0084]Sll:判断接收者是否在线;
[0085]S12:若接收者在线时,则进行实时传输,转入步骤S13 ;否则,进行延时传输,转入步骤S14 ;
[0086]S13:实时传输时
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1