基于人脸特征点的实时视频人脸卡通化生成方法
【技术领域】
[0001] 本发明属于图像处理和计算机视觉技术领域，具体地说，是对实时输入的摄像头 视频信息进行处理，生成相应的卡通动画的方法。
【背景技术】
[0002] 目前视频人脸卡通动画生成方法主要有基于视频流的方法，基于素材重用的方 法，物理模型方法，行为驱动方法。
[0003] 基于视频流的方法可分为：直接卡通绘制、视频信息提取绘制、表情驱动绘制。直 接卡通绘制是依次将视频流的内容通过图像处理，得到某种特定艺术风格的卡通图片序 列，这种方法未对视频帧与帧之间十分相关的信息进行利用，冗余度很大，对单幅图的处理 时间有很高的要求，因此，对精细、复杂的处理不能达到较好的实时性要求。视频信息提取 绘制对视频流中有用的信息进行了参考，其中，关键帧插值方法是获取所需要的最有代表 性的关键帧，并对其进行处理得到对应的卡通图像，然后在关键帧之间进行插值，得到中间 时刻的相应卡通图像，该算法的局限性很强，鲁棒性较差，只能针对同一个人的一类视频， 对关键帧的得到也是一个难点。表情驱动绘制是利用一些绘画图片以及有限的参数来描述 特定的人脸及表情，然后通过视频信息记录中人脸部表情的变化来驱动卡通图像，形成一 个动画序列，因为脸部表情变化是比较细微的运动，因此，这种方法对人脸部表情变化的追 综有很尚的要求。
[0004] 基于素材重用的方法是将以往积累的大量动画素材进行提取，得到运动信息、内 容信息、纹理信息等，然后应用到新的卡通动画中，这种技术关键在于寻找有相似规律的动 画素材，以便将素材里的规律运用到新的卡通中，有很大的局限性，另外，对于摄像头的输 入有不可预测性，这个方法是不太合适的。
[0005] 基于物理模型的动画是将人脸视为一个可变型的弹性体，由弹性矢量单元将人脸 的皮肤层、软组织、肌肉层和骨骼层的各个节点链接起来，将这些弹性矢量单以不同的方式 组合在一起，就形成可以发生形变的曲线和可以发生形变的曲面，然后利用物理模型的方 法模拟肌肉的运动，通常是采用Newtonian运动方程来模拟人脸的肌肉运动。该方法使人 脸表情动画更具有真实性，但是人脸模型很复杂，计算量相当的大，不适用于实时处理。
[0006] 行为驱动方法是指通过运动捕捉设备，获取视频摄像头拍摄的人脸运动的数据， 然后用这些运动数据控制计算机生成虚拟的人脸表情运动。为了更好的获取人脸表情变化 的数据，可以在待跟踪的人脸上选取特征点，通过对特征点的跟踪来记录人脸的运动数据。 根据数据的变化对卡通图像进行相应的处理形成卡通动画。现有的光流法对特征点的跟踪 准确度不高，对光照十分敏感，尤其当特征点附近的纹理复杂时容易产生漂移，使人脸表情 变化的数据产生错误，从而导致卡通人脸的变化与真实人脸的表情变化不一致。
【发明内容】
[0007] 本发明的发明目的在于：针对上述存在的问题，提供一种基于人脸特征点的实时 视频人脸卡通化生成方法。
[0008] 本发明的基于人脸特征点的实时视频人脸卡通化生成方法包括下列步骤：
[0009] 步骤1 :从输入视频选择一帧正面中性表情图像作为参考帧，对参考帧进行人脸 卡通化处理并保存参考帧的卡通眼睛、卡通眉毛、卡通鼻子以及包含头发的面部轮廓的卡 通面部轮廓；
[0010] 步骤2 :基于视频帧的人脸特征点，提取参考帧与视频帧的人脸变化量并进行归 一化处理，查找与参考帧的人脸变化量满足变化阈值的输入视频帧作为卡通视频的起始 帧；
[0011] 步骤3 :对起始帧及起始帧的后续帧进行视频卡通生成：
[0012] 将参考帧的卡通面部轮廓作为当前帧的卡通面部轮廓；
[0013] 将参考帧的卡通鼻子作为当前帧的卡通鼻子；
[0014] 基于视频帧的人脸特征点，分别计算当前帧与起始帧的眼睛高度并进行归一 化处理，基于当前帧的眼睛高度T与参考帧的眼睛高度V的比值a得到仿射变换矩阵
基于仿射变换矩阵W对参考帧的卡通眼睛进行仿射变化得到当前帧的卡 通眼睛；
[0015] 将参考帧的卡通眉毛作为当前帧的卡通眉毛，取参考帧的卡通眉毛与卡通眼睛的 竖直距离并记为L，当前帧的眼睛高度T与参考帧的眼睛高度V的差记为M，若M大于零，则 当前帧的卡通眉毛与卡通眼睛的竖直距离设置为：L+K*M，其中预设值K大于或等于1 ;否 贝1J，当前帧的卡通眉毛与卡通眼睛的竖直距离设置为L ;
[0016] 基于当前帧的人脸特征点，对嘴巴特征点进行多边形拟合，得到当前帧的卡通嘴 巴；
[0017] 基于当前帧的人脸特征点的位置，以鼻子上的点为参考点，将当前帧的卡通面部 轮廓、卡通鼻子、卡通眉毛、卡通眼睛、卡通嘴巴放到相应位置，得到当前帧的卡通帧。
[0018] 综上所述，由于采用了上述技术方案，本发明的有益效果是：提供了一种视频人 脸卡通化方法，此方法生成的卡通视频效果较好，满足视频的实时要求，对操作环境要求简 单。【附图说明】
[0019] 图1 :【具体实施方式】的流程示意图；
[0020] 图2 :对参考帧的剪裁流程不意图；
[0021] 图3 :查找卡通视频的起始帧的流程示意图。
【具体实施方式】
[0022] 为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发 明作进一步地详细描述。
[0023] 参见图1，本发明的基于人脸特征点的实时视频人脸卡通生成方法包括下列步 骤：
[0024] 步骤1 :开启视频采集设备，如开启视频或摄像头；
[0025] 步骤2 :暂停视频帧，对输入的视频截取一帧正面中性表情图像，并将该视频帧定 义为参考帧。为了更好的支持后续处理，所截取的正面中性表情图像的人脸最好无遮挡。
[0026] 步骤3 :对所截取的图像自动剪裁得到适合处理的人脸图像并进行卡通化，得到 具有某种艺术风格的卡通人脸C，此过程可通过样本学习实现或其他惯用处理方式。同时保 存参考帧包含头发的面部轮廓卡通面部轮廓、卡通眼睛、卡通眉毛、卡通鼻子。
[0027] 结合本专利实时性的要求，在确定视频帧的人脸特征点时，可选择ERT (Ensemble of Regression Trees)方法得到各帧的人脸特征点，同时对视频进行下采样，以再次提高 处理速度，减少此过程中的时间开销。如对参考帧进行卡通化处理时，参考图2,首先用ERT 方法进行人脸特征点定位，然后再计算两眼坐标，基于眼睛坐标按一定比例裁剪出需要处 理的人脸图像后，再基于预设尺寸进行上/下采样至所预设尺寸，如250*300大小。
[0028] 步骤4 :相似帧查找。由于完成步骤1所花费的时间是秒级别的，这个时候摄像头 输入的图像与参考帧相比可能已经有了很大的差别，而卡通视频开始的图像依然是和参考 帧相对应的卡通人脸C。为了保证人脸视频卡通化的连贯性和准确性，要求视频卡通化开始 时的人的表情、姿态和位置要和步骤1中尽可能相似。在以人脸为研究对像时，判断两帧图 像是否相似重点在于对变化较大的五官的分析，因此，可通过人脸特征点得到描述人脸变 化的主要因素：头部偏移角度（描述头部正不正）、上下眼框高度（描述眼睛睁开程度）、嘴 唇高度（描述嘴巴张开程度）等。考虑到头部和摄像头之间的距离会对这些绝对变化量有 影响，因此可引入一个参考量对上述变化量进行归一化处理，该参考量选择的标准是脸部 在做任何表情时都没有太大的改变，在本【具体实施方式】中，所引入的参考量为根据参考帧 的人脸特征点所计算得到的人脸宽度。参考图3,首先基于视频帧的人脸特征点提取参考 帧、当前