用于跟踪人脸的设备和方法
【技术领域】
[0001] 本发明涉及针对人脸以及人脸上关键点进行跟踪的设备和方法。
【背景技术】
[0002] 对图像或视频中的人脸以及人脸上关键点的位置进行跟踪，在很多以人脸图像或 视频作为输入的应用中具有十分重要的作用，这里，所述关键点可以是诸如眼睛、鼻子、眉 毛、嘴等处于人脸关键位置的点。例如，在基于视频的人脸识别系统中，需要使用每帧图像 上的人脸关键点位置对待匹配的人脸图像进行几何归一化。在面部动作和表情捕捉系统 中，需要根据人脸关键点的位置分析面部器官的形状和运动。在一些三维人脸建模系统中， 也需要根据人脸关键点的位置信息对不同姿态的人脸图像进行配准和融合。
[0003] 对于一般物体的跟踪，常常使用基于特征点或特征区域匹配的技术。首先，从当前 帧图像中选择或者检测到若干特征点或者特征区域，记录特征点周围或者特征区域内的像 素颜色值，对这些像素颜色值进行变换来得到用于表示特征点或特征区域的特征向量。然 后，从下一帧图像中以同样的方法选择或者检测特征点或者特征区域并计算特征向量。最 后，根据特征向量间的相似性对来自两帧图像的特征点或者特征区域进行匹配，从而估计 出物体在视频中的运动。或者，在对当前帧中的特征点或特征区域提取特征向量之后，直接 在下一帧图像的感兴趣区域内搜索具有最相似特征向量的特征点或特征区域，从而实现运 动跟踪。或者，用于表示特征点或特征区域的特征向量不是从当前帧图像中获得，而是从手 工标定的样本图像中获得。
[0004] 人脸关键点跟踪与一般物体跟踪存在两点明显的区别。第一，人脸是一个非刚性 物体，除了具有在空间中运动时产生的平移、旋转等六个自由度外，还会由于表情的变化产 生各种复杂的变形。第二，人脸具有相似性，也就是说，所有自动人脸跟踪系统所需要处理 的人脸对象都具有相似但不完全一样的形状和纹理。基于以上两点，大部分人脸跟踪系统 都会使用可以描述人脸相似性，同时可以适应不同人脸个性的模型，这些模型可以表示为 一组感兴趣的关键点。例如，在基于主动表观模型的跟踪方法中，需要对人脸的形状和面部 纹理建立参数模型，人脸形状用一系列关键点的坐标组成的向量表示，面部纹理用将模型 覆盖的人脸像素映射到平均形状模版后的纹理向量表示。当设置不同的参数时，可以产生 不同的人脸形状和面部纹理。通过改变参数，使得产生的人脸形状和纹理与输入的当前帧 图像中人脸形状和纹理相同，就可以得到当前帧图像中人脸和人脸上关键点的坐标。
[0005] 人脸跟踪技术需要处理很多方面的困难。例如，当被跟踪的人脸发生剧烈的运动 或姿态变化时，相邻两帧图像中的人脸距离较远或存在较大的外观差异，这时有些方法会 跟踪失败。当人脸处于强烈的非均匀光照环境中时，由于阴影的存在，随着姿态、表情的变 化，不同帧图像上人脸区域的外观会产生巨大的变化，从而导致跟踪失败。
[0006] 而且，人脸区域上经常存在遮挡，例如墨镜、头发、口罩等，这会给跟踪带来困难。 尤其当遮挡面积较大，以及遮挡的位置随时间会发生变化时，现有的技术难以提供稳定可 靠的跟踪结果。通常，在现有技术中，为了解决遮挡条件下的跟踪问题，需要首先根据不同 帧图像之间的差别，或者根据人脸模型给出的人脸外观与实际图像中人脸区域外观的差 另IJ，估计出可能的遮挡发生的区域，然后将这些遮挡区域排除在跟踪时使用的特征区域范 围之外。然而，如何准确地估计出遮挡区域，从而使人脸跟踪得以准确进行，仍然是一个难 以解决的问题。
【发明内容】
[0007] 本发明的目的在于提供一种能够在人脸存在遮挡的情况下有效地进行人脸跟踪 的设备和方法。
[0008] 根据本发明的一方面，提供一种用于跟踪人脸的设备，包括：人脸位置确定单元， 用于从当前帧图像确定人脸位置；分割单元，用于将人脸位置的图像分割成组成人脸的各 部分图像；遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概 率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概 率；关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人 脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置， 以完成对人脸的跟足示。
[0009] 所述设备可还包括：跟踪效果确定器，用于利用分类器来确定对人脸的跟踪是否 成功。
[0010] 在所述设备中，分割单元可使用基于颜色和位置坐标的像素聚类算法将人脸位置 的图像分割成至少一个图像片，并且，遮挡估计单元可基于图像片遮挡概率模型来估计每 个图像片被遮挡的概率，并基于每个图像片被遮挡的概率来估计人脸位置的图像中每个像 素被遮挡的概率。
[0011] 在所述设备中，分割单元可将人脸位置的图像分割成与各个人脸器官对应的至少 一个图像区域，并且，遮挡估计单元可基于图像区域遮挡概率模型来估计每个图像区域被 遮挡的概率，并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡 的概率。
[0012] 在所述设备中，分割单元可将人脸位置的图像分割成至少一个图像片和至少一个 图像区域，并且，遮挡估计单元基于遮挡概率模型来分别估计每个图像片和每个图像区域 被遮挡的概率，并基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中 每个像素被遮挡的概率。
[0013] 在所述设备中，分割单元可使用基于颜色和位置坐标的像素聚类算法将人脸位置 的图像分割成至少一个图像片，并按照预先定义的人脸器官，将所述至少一个图像片中对 应于相同人脸器官的图像片合并为图像区域。
[0014] 在所述设备中，人脸位置确定单元可在当前帧图像中检测人脸特征点，在关键帧 数据库中选择与人脸特征点在特征向量方面匹配的对应特征点，然后通过使对应特征点在 当前帧图像上的投影与人脸特征点之间的距离度量最小，来计算一种人脸三维形状模型的 三维位置和旋转参数，使用此三维位置和旋转参数计算人脸二维形状模型的关键点在图像 中的位置，从而确定当前帧图像中人脸的位置，其中，关键帧数据库包括与之前成功跟踪到 的人脸对应的人脸关键帧，在跟踪开始时建立，在成功跟踪每一帧图像后更新，其中，所述 人脸关键帧中保存有所述之前成功跟踪到的人脸上被成功匹配的特征点的三维位置坐标 和特征向量。
[0015] 在所述设备中，人脸位置确定单元可基于人脸特征点与计算出的所述一种人脸三 维形状模型中的对应特征点在当前帧图像上的投影之间的距离是否小于预定阈值来确定 所述人脸特征点是否为被成功匹配的特征点。
[0016] 在所述设备中，遮挡估计单元可包括：图像片遮挡估计单元，用于基于图像片遮挡 概率模型来估计每个图像片被遮挡的概率；图像区域遮挡估计单元，用于基于图像区域遮 挡概率模型来估计每个图像区域被遮挡的概率；综合估计单元，用于基于每个图像片和每 个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。
[0017] 在所述设备中，如果跟踪效果确定器确定对人脸的跟踪成功，则图像片遮挡估计 单元可在当前帧没有被遮挡的情况下利用相应的图像片来更新图像片遮挡概率模型，图像 区域遮挡估计单元可在当前帧没有被遮挡的情况下利用相应的图像区域来更新图像区域 遮挡概率模型。
[0018] 在所述设备中，在所述匹配误差函数中，基于每个像素被遮挡的概率来调整人脸 表观模型与人脸形状