一种基于特征跟踪的人脸图像序列生成方法及装置的制造方法
【技术领域】
[0001] 本发明属于计算机图形图像处理，模式识别技术领域，涉及视频中人脸特征点检 测、人脸特征点形变及网格生成和人脸纹理映射的方法，特别涉及一种基于特征跟踪的人 脸图像序列生成方法及装置。
【背景技术】
[0002] 随着互联网，社交网站的爆发式发展，人际之间通过视频的交互受到了更多的关 注，无论是通过PC客户端，还是通过移动设备终端(手机，平板电脑）等含摄像头的硬件产 品，几乎都能实现用户之间的视频交流。这其中的软件产品主要包括Skype(Mi Cr〇S〇ft)，QQ (Tecent)，Facetime(Apple)等，在传输这些视频流数据的时候均会将发送端实时采集的摄 像头每一帧图像通过网络发送到接收端，尽管这其中采用相应的编解码的压缩算法，但在 某些网络低带宽的使用场景下，给用户带来的网络流量仍然会相对偏高。
【发明内容】
[0003] 本发明的目的是为了克服现有人脸视频序列传输技术的缺陷，解决网络低带宽条 件下人脸视频序列的传输数据量大的问题，提出一种基于特征跟踪的人脸图像序列生成方 法及装置，减轻用户的流量负担和整个网络不必要的网络负载。
[0004] 本发明的思想是改变传统视频交流时传送每一帧图像的网络带宽消耗大的方式， 只传送人脸图像的差异数据，使通过网络传输的数据量大幅降低。
[0005] 本发明的目的是通过以下技术方案实现的：
[0006] -种基于特征跟踪的人脸图像序列生成方法，包括以下内容：
[0007] 通过实时的跟踪摄像头米集人脸图像序列帧；
[0008] 对每一帧图像检测出其中人脸特征点的具体的坐标信息；
[0009] 将当前图像帧的特征点数据与初始图像的特征点数据的差值高于预设变化阈值T 的特征点变化值，通过网络传送到接收方；
[0010]接收端将接收到的图像特征点的变化值，根据已经保存的初始人脸图像及人脸特 征点信息，对人脸图像作纹理重绘，生成对应发送端的实时人脸图像。
[0011] 作为优选，所述人脸特征点在视频交流时动作较多的部位定义较多。
[0012] 作为优选，所述人脸特征点具体的坐标信息采用ASM方法提取，并且采用Adaboost 方法提取出人脸的初始区域作为ASM搜索的初始区域。
[0013] 作为优选，所述人脸特征点的选取通过大量手工标注好特征点的人脸图像样本作 为训练集，建立人脸形状统计模型，该模型用于新的（非训练集中的）人脸图像中的特征点 定位。
[0014] 作为优选，所述纹理重绘采用基于Delaunay三角网格的纹理映射实现。
[0015] -种基于特征跟踪的人脸图像序列生成装置，包括发送端模块和接收端模块，发 送端模块用于对每一帧摄像头采集的人脸图像序列帧进行人脸特征点的具体的坐标信息 检测，并将检测到的位置变化超过预设阈值T的特征点发送至接收端模块;接收端模块用于 根据接收到的当前帧的特征点变化值，根据已经保存的初始人脸图像及人脸特征点信息， 对人脸图像作纹理重绘，生成对应发送端当前帧的实时人脸图像。
[0016] 作为优选，所述发送端模块包括人脸特征点检测单元和特征点发送单元，人脸特 征点检测单元用于按时间先后顺序对每一帧摄像头采集的人脸图像序列帧进行人脸特征 点的坐标信息检测，并将检测到的人脸特征点的坐标信息与初始图像的特征点数据求差 值，将高于预设变化阈值Τ的特征点变化值输出;特征点发送单元用于按时间先后顺序对人 脸特征点检测单元输出的每一帧图像的特征点变化值，通过网络传送到接收端模块。
[0017] 作为优选，所述进行人脸特征点的坐标信息检测采用ASM方法提取，并且采用 Adaboos t方法提取出人脸的初始区域作为ASM搜索的初始区域。
[0018] 作为优选，所述接收端模块包括人脸特征点接收单元和人脸图像重绘单元，人脸 特征点接收单元按时间先后顺序接收发送端模块发来的每一帧图像的特征点变化值并输 出，人脸图像重绘单元根据特征点变化值采用基于Delaunay三角网格的纹理映射对人脸图 像作纹理重绘，生成对应发送端的实时人脸图像并显示。
[0019] 作为优选，所述发送端模块在处理第一帧图像时，将该图像和由该图像提取的特 征点坐标信息发送到接收端模块，所述接收端模块在处理第一帧图像对应的数据时，将该 帧图像及其特征点坐标作为初始数据进行存储并用于对后面的图像进行重绘。
[0020] 有益效果
[0021] 对比现有视频交流技术，本发明极大减少了每一帧人脸图像传输的信息量，从而 有效降低了用户的流量负担和整个网络不必要的网络负载。
【具体实施方式】
[0022] 下面将通过具体实施例对本发明进行详细说明。
[0023] 实施例1
[0024] 考虑到实际视频聊天的场景中，人脸基本处于正面面向摄像头的状态，而且整个 过程中的头部在空间上的移动不会特别明显，本发明提出的一种基于特征跟踪的人脸图像 序列生成方法具体技术细节实现描述如下：
[0025] 1.人脸视频数据的发送端通过实时的跟踪摄像头采集的人脸图像序列帧，检测出 每一帧图像中人脸特征点的具体的坐标信息。
[0026] 特征点提取采用主动形状模型ASM(Active Shape Model)，该模型使用一系列训 练样本图像，用一组特征点描述样本的形状信息，然后对所有样本在同一坐标系下对齐，利 用主成分分析(PCA)建立物体的形状的统计学模型，最后利用建立的模型，通过一组参数来 逼近当前需要匹配对象的形状，从而定位出目标物体。运用ASM，能够实时完成对摄像头采 集人脸图像特征点的定位，并且具有一定的鲁棒性。
[0027] 在建模过程中，需要定义好人脸特征点，考虑到在视频交流中，唇部和眼睛，眉毛 的动作会相对较多，则在这些部位多定义特征点。同样，通过大量手工标注好特征点的人脸 图像样本训练出一个通用的人脸模型对后续步骤也具有重要意义。
[0028] 在匹配过程中，为了防止ASM模型在陷入局部最优（算法本身的局限），采用 Adaboo st方法提取出人脸的初始区域作为ASM搜索的初始区域，这样既能保证特征点提取 的精确性，同时也提高了匹配的性能。
[0029] 2.发送端将当前图像帧的特征点数据与初始图像的特征点数据差值，通过网络传 送到接收方。
[0030] 每一个数据点的数据包含其在图像中的横纵坐标与初始图像对应特征点的数据 差值，即每个数据点数据传输格式为:特征点Index，特征点横坐标变化值，特征量纵坐标变 化值。实际过程中，对于人脸的微小动作，大部分特征点的变化幅度均不大，对于这些位置 变化不大的特征点，通过设置一个变化阈值，小于阈值的点认为是没有变化的点，这样传输 每一帧数据有效数据传输量=2*sizeof( doub 1 e) *变化特征点个数。可见网络带宽在极限 条件可以控制在1KB以下，对比分辨率在480p左右的图像原始数据，数据传输量能得到有效 的控制。
[0031] 3.接收端将接收到的图像特征点变化值，并根据已经保存的初始人脸图像及人脸 特征点信息，对人脸图像作纹理重绘，生成对应发送端的实时人脸图像。
[0032]纹理的重绘采用基于Delaunay三角网格的纹理映射，开始时，对得到的初始的人 脸特征点