一种实时的人脸交互方法及其系统的制作方法_2

文档序号:9929287阅读:来源:国知局
一步地,所述步骤S400之后,还包括:
[0036] S500、进行动作检测,用于捕捉当前用户的面部动作,如果捕捉到预设动作,实时 将当前用户的哈哈镜视觉画面变化为当前同一用户的另一种不同的哈哈镜视觉画面。
[0037] 优选的,所述S500中实时将当前用户的哈哈镜视觉画面变化为当前同一用户的另 一种不同的哈哈镜视觉画面,包括下述步骤:
[0038] S501、基于前次确定的特征点,改变多个特征点的影响半径,在各个变形五官的影 响半径不完全相同的情况下,计算受变形影响的每个像素点的新位置和新灰度值;
[0039] S502、利用步骤S501中计算得到的每个像素点的新位置和新灰度值更新图像上相 关的像素点。
[0040] 可选的,所述动作检测包括下述步骤:
[0041] S511、基于提取的特征点,利用神经网络来判断面部动作状态,并对人脸图像的连 续性进行判断。
[0042] S512、在连续的若干视频帧图像中寻找所述面部动作状态的值连续增大的图像序 列;
[0043] S513、通过所述图像序列的所述面部动作状态的值的变化来判断面部动作状态的 完成情况。
[0044] 优选的,在步骤S512之前,还包括对人脸图像的连续性进行判断。具体方法例如使用 一个线性分类器来进行判断。将一帧图像分为3X3个区域,在每个区域上建立颜色直方图 和灰度的均值和方差,把相邻两张人脸图像的直方图的距离 <、灰度值的距离以及灰度 方差的距离磚当作特征向量,来判断线性分类器乏12^诉+ 是 否大于或等于〇,其中#f,%为线性分类器的预设参数,可以通过标注的样本训练 得到。如果线性分类器被判断为大于或等于零,则为上述的相邻的两张人脸图像在时间和 空间上是连续的;否则为不连续的。
[0045] 优选的,所述步骤S300在在人脸检测识别之后,还包括进行跟踪检测;所述跟踪检 测,用于判断当前检测到的人脸是否与先前检测到的人脸相同。通过跟踪摄像头拍到的现 实人脸,追踪人脸的位置变化,若是相同的人脸,再跟进一步跟踪五官的变化,比如微笑张 嘴,可以通过上下唇的关键点,追踪关键点点间距离变化;睁大眼镜或者笑成眯眯眼,通过 上下眼险的关键点,追踪关键点点间距尚变化等。
[0046] 优选的,所述步骤S303在跟踪检测到相同人脸时,利用之前已提取的同一人脸的 特征点结合当前人脸角度进行特征点匹配。
[0047] 优选的,所述跟踪检测的步骤包括:
[0048] S3011、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重 合度;
[0049] S3012、若所述面积重合度大于指定阈值,则认为当前检测到人脸与先前检测到的 人脸相同。
[0050] 优选的,所述哈哈镜视觉画面还包括文字。在增加了文字输出的方式中,可以增加 人机交互的趣味性和智能性。
[0051] 优选的,在所述动作检测的同时还包括人脸属性检测。所述人脸属性包括年龄、颜 值、表情等。所述人脸属性的检测也有利于增加文字时表达的准确性,选择合适的输出对 象。
[0052] 在一个实施例中,所述步骤S300中所述级联回归模型包括N个回归器,每个回归器 上的参数矩阵Wi需满下列要求:
[0054] 其中:
[0055] K是输入的人脸图片样本数目;
[0056] X」是标定第j张人脸图片样本中的人脸形状;
[0057] ;;;是第j张人脸图片样本经过第i个回归器后的人脸形状;
[0058] 巾i是在人脸形状<下的SURF特征;
[0059] A是正则化参数。
[0060]所述SURF特征采用SURF算子提取,具有速度快,稳定性好的特点。所述回归器能够 防止人脸形状过渡拟合匹配;通过多个回归器级联使用可以减少匹配时的偏差。优选的,A 取值0.1。
[0061] 优选的,所述级联回归模型通过下述步骤进行训练:
[0062] S3131、采集大量人脸图片样本数据,并对人脸图片进行人工特征点标记,所标记 的特征点包括眼球中心点、眼角、鼻尖、嘴角9个特征点;
[0063] S3132、根据标记的眼球中心点、眼角、鼻尖、嘴角9个特征点评估图片中的人脸角 度;
[0064] S3133、根据人脸角度范围判别正脸样本、左侧脸样本、右侧脸样本;
[0065] S3134、将属于同一类型的样本作为级联回归模型的输入进行训练,分别获得正脸 级联回归模型、左侧脸级联回归模型以及右侧脸级联回归模型。
[0066]基于所述方法,在一个实施例中实现了一种实时的人脸交互系统,所述系统包括 下述模块:
[0067] Ml 00、视频获取模块:获取电子哈哈镜前的、当前用户的实时视频;
[0068] M200、人脸检测识别模块:基于所述实时视频获取视频帧图像,对所述视频帧图像 进行人脸检测识别;
[0069] M300、人脸变形模块:在人脸检测识别之后,使用级联回归模型提取人脸特征,并 进行人脸变形;
[0070] M400、视觉呈现模块:在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视 觉画面。
[0071] 在这个实施例中,所述系统可以应用于手机、平板、带摄像头的广告机、带摄像头 的电脑等场合,能够通过脸部动作状态智能控制视频中的输出对象,通过输出对象真实地 反映操作者的喜怒哀乐等脸部动作变化。在通过摄像头拍摄获得脸部后,摄像机拍摄的同 时,就完全实时地对屏幕上的视频做出同步脸部动作控制效果。比如在捕捉到摄像头前对 象的眨眼动作,每捕捉到一次,将在视频输出时重新生成并实时显示另一对象同样的眨眼 动作。摄像头前对象和重新生成的另一对象可以是人,也可以是动物,或者其他具有脸部的 对象。当摄像头前对象是人,重新生成的另一对象是动物或卡通形象时,就相当于把摄像头 前对象拟动物化或拟卡通化。
[0072] 优选的,所述M300中所述使用级联回归模型提取人脸特征包括下述步骤:
[0073 ] S301、通过自动识别方式确定要提取的特征点的数量;
[0074] S302、获取包括眼球中心点、眼角、鼻尖、嘴角9个点在内的特征点,并根据该9个点 的位置关系评估人脸角度;
[0075] S303、根据所述人脸角度选择适合该人脸角度范围的级联回归模型,将检测的图 像作为输入,获取人脸特征点。
[0076] 优选的,所述M300中所述人脸变形包括下述流程:
[0077] S311、确定某个要变形五官的特征点,基于确定的特征点及其影响半径,计算受变 形影响的每个像素点的新位置和新灰度值;
[0078] S312、利用步骤S311中计算得到的每个像素点的新位置和新灰度值更新图像上相 关的像素点。
[0079] 在通过摄像头拍摄获得人脸后,检测人脸,并对人脸进行跟踪,对体现五官、人脸 轮廓的特征点进行提取,所述特征点的数量可以是21点,106点,或者是196点。在提取到特 征点后,可以基于多个要变形的五官的特征点,按照不同影响半径,计算变形区域像素点的 几何位置变化,制作出一些变形效果,比如五官的放大缩小,脸型正反三角,方形圆形,嘴角 上扬下垂等等,类似哈哈镜,可以变成独眼龙、蛤蟆嘴,大方脸,大鼻子,等等搞笑的结果。摄 像机拍摄的同时,就对屏幕上
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1