一种实时的人脸变形方法及其系统的制作方法
【技术领域】
[0001] 本公开设及计算机图形图像处理领域，特别是一种实时的人脸变形方法及其系 统。
【背景技术】
[0002] 随着科技的发展，硬件设备的性能提升和图像处理技术的增强，使得很多摄像头 设备可W自身进行图像处理，而其中一些图像处理可W产生哈哈镜的效果，但是当前运类 处理都是基于静态图片，不能对视频进行实时处理，且大多存在图片中变化区域和不变区 域的连接不自然的问题，使得处理后的图像整体效果不自然。
【发明内容】
[0003] 针对上述部分问题，本公开提供了一种实时的人脸变形方法及系统，所述方法能 够对实时视频中的人脸进行变形处理，并且处理后的人脸图像整体效果自然。所述系统基 于所述方法实现，方便方法的应用。
[0004] 提供了一种实时的人脸变形方法，所述方法包括下述步骤：
[0005] S100、检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；
[0006] S200、将检测的图像作为级联回归模型的输入，获取人脸特征点；
[0007] S300、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变 形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度 值；
[000引S400、利用步骤S300中计算得到的每个像素点的新位置和新灰度值更新图像上相 关的像素点。
[0009] 基于所述方法，实现了一种实时的人脸变形系统，所述系统包括下述模块：
[0010] M100、人脸检测模块:检测图像中的人脸，通过自动识别方式确定要提取的特征点 的数量；
[0011] M200、人脸特征点提取模块:将检测的图像作为级联回归模型的输入，获取人脸特 征点；
[0012] M300、变形模块：确定多个要变形五官的特征点，基于确定的特征点及其影响半 径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新 位置和新灰度值；
[0013] M400、图像更新模块:利用M300中计算得到的每个像素点的新位置和新灰度值更 新图像上相关的像素点。
【附图说明】
[0014] 图1本公开一个实施例中的方法流程示意图；
[0015] 图2本公开一个实施例中使用OpenGL GPU进行擅染的原理示意图。
【具体实施方式】
[0016] 在一个基础的实施例中，提供了一种实时的人脸变形方法，所述方法包括下述步 骤，如图1所示：
[0017] S100、检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；
[0018] S200、将检测的图像作为级联回归模型的输入，获取人脸特征点；
[0019] S300、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变 形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度 值；
[0020] S400、利用步骤S300中计算得到的每个像素点的新位置和新灰度值更新图像上相 关的像素点。
[0021] 在运个实施例中，采用上述方法可W对实时视频中的人脸进行变形处理，并且处 理后的人脸图像整体效果自然。若处理的图像来自视频，可实时播放，因此可应用于手机、 平板、带摄像头的广告机、带摄像头的电脑等场合。
[0022] 在通过摄像头拍摄获得人脸后，检测人脸，并对人脸进行跟踪，对体现五官、人脸 轮廓的特征点进行提取，所述特征点的数量可W是21点，106点，或者是196点。在提取到特 征点后，可W基于多个要变形的五官的特征点，按照不同影响半径，计算变形区域像素点的 几何位置变化，制作出一些变形效果，比如五官的放大缩小，脸型正反S角，方形圆形，嘴角 上扬下垂等等，类似哈哈镜，可W变成独眼龙、始膜嘴，大方脸，大鼻子，等等搞笑的结果。摄 像机拍摄的同时，就对屏幕上的视频作出效果，完全实时。
[0023] 运里的变形是指在人脸图像的一小部分区域内做变形，只改变某些范围的特征， 但是保持其它区域不发生变化。在现有技术中常用的变形方法有:基于网格的变形，即在图 像上嵌入一张网格，通过改变网格的形状实现图像变形，包括后续发展出的自由变形(FFD) 和建立网格的层次结构等;基于特征线的变形，如Beier和化ely等人提出的根据像素点相 对于图像中一系列线段的位置而决定变形的方法;基于散乱点插值的变形，即在图像上指 定一系列点后，用径向基函数方法完成指定点对的插值。对后一个问题，主要使用插值技术 来解决，包括=次卷积、S inc函数、线性函数和=次B样条等。
[0024] 优选的，所述步骤S300中新灰度值计算使用双线性插值进行求解，可使变形自然。 设(x，y)的4个最邻近像素为A，B，C，D，它们的坐标分别为（i，j)，（i+l，j)，（i，j+l)，（i+l，j+ 1)，它们的灰度值分别为g(A)，g(B)，g(C)，g(D)，则插值点(x，y)的灰度值为：
[0025] G(x,y) = (x-i){(y-j)[g(D)-g(B)]+g(B)-(y-j)[g(C)-g(A)]-g(A)}
[00%] +(y-j)[g(C)-g(A)]-g(A)
[0027]可选的，所述步骤S400中更新使用化en化GPU对视频帖图像进行擅染，加快图像 更新。使用化en化GPU可W能够帮助得到更加流杨的界面体验，其处理过程如图2所示:像 素和顶点数据可W选择存储在显示列表中，我们可W把显示列表看成是存储数据的媒介， 用于加速擅染速度。顶点数据经过求值器，产生法向量、纹理坐标、点的空间坐标等，通过顶 点操作和图元装配，生成相应的像素信息，进行光栅化处理，光栅化是把几何和像素数据转 化成片段，每个片段块对应帖缓冲区中的一个像素。其中，顶点操作和图元装配中又可W细 分出一条擅染管线，运里称为顶点处理管线。在光栅化完成后，还可W根据命令，对每个像 素进行处理，最后写入帖缓冲区内。
[0028] 优选的，所述自动识别方式根据检测到的人脸区域的清晰度来确定要采集的特征 点的数量，W满足实时性的要求。更优地，所述人脸区域的清晰度通过采用图像模糊检测方 法来度量。本申请不限制具体的方法，可W采用现有技术中的适当图像模糊检测方法。
[0029] 可选的，所述自动识别方式考虑实施本公开方法的硬件性能确定，W满足实时性 的要求。
[0030] 在一个实施例中，所述步骤Sioo在检测到图像中的人脸之后，还包括进行跟踪检 测;所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸相同。
[0031] 优选的，所述步骤S300在跟踪检测到相同人脸时，利用之前已提取的同一人脸的 特征点结合当前人脸角度进行特征点匹配。对同一人脸提高人脸特征提取速度，W保证人 脸变形的呈现实时流杨。
[0032] 可选的，所述跟踪检测的步骤包括：
[0033] S311、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合 度；
[0034] S312、若所述面积重合度大于指定阔值，则认为当前检测到人脸与先前检测到的 人脸相同。
[0035] 在一个实施例中，所述步骤S300中的级联回归模型包括N个回归器，每个回归器上 的参数矩阵Wi需满下列要求：
[0036]
[0037] 其中；
[0038] K是输入的人脸图片样本数目；
[0039] Xj是标定第j张人脸图片样本中的人脸形状；
[0040] 乂是第j张人脸图片样本经过第i个回归器后的人脸形状；
[0041] 與i是在人脸形状?下的SURF特征；
[0042] A是正则化参数。
[0043] 所述SURF特征采用SURF算子提取，具有速度快，稳定性好的特点。所述回归器能够 防止人脸形状过渡拟合匹配;通过多个回归器级联使用可W减少匹配时的偏差。优选的，A 取值0.1。
[0044] 优选的，所述级联回归模型通过下述步骤进行训练：
[0045] S301、采集大量人脸图片样本数据，并对人脸图片进行人工特征点标记，所标记的 特征点包括眼球中屯、点、眼角、鼻尖、嘴角9个特征点；
[0046] S302、根据标记的眼球中屯、点、眼角、鼻尖、嘴角9个特征点评估图片中的人脸角 度；
[0047] S303、根据人脸角度范围判别正脸样本、左侧脸样本、右侧脸样本；
[004引S304、将属于同一类型的样本作为级联回归模型的输入进行训练，分别获得正脸 级联回归模型、左侧脸级联回归模型W及右侧脸级联回归模型。
[0049] 在一个实施例中，基于所述方法，实现了一种实时的人脸变形系统，其特征在于， 所述系统包括下述模块：
[0050] M100、人脸检测模块:检测图像中的人脸，通过自动识别方式确定要提取的特征点 的数量；
[0051] M200、人脸特征点提取模块:将检测的图像作为级联回归模型的输入，获取人脸特 征点；
[0052] M300、变形模块：确定多个要变形五官的特征点，基于确定的特征点及其影响半 径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新 位置和新灰度值；
[0053] M400、图像更新模块:利用M300中计算得到的每个像素点的新位置和新灰度值更 新图像上相关的像素点。
[0054] 在运个实施例中，所述系统可W对实时视频中的人脸进行变形处理，并且处理后 的人脸图像整体效果自然。若处理的图像来自视频，可实时播放，因此可应用于手机、平板、 带摄