无关纹理图像的表观向量之间的差异。
[0019] 在所述设备中，所述匹配误差函数还可包括人脸二维形状模型与人脸三维形状模 型的二维投影之间的偏差项。
[0020] 根据本发明的另一方面，提供一种用于跟踪人脸的方法，包括：从当前帧图像确定 人脸位置；将人脸位置的图像分割成组成人脸的各部分图像；基于遮挡概率模型来估计分 割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的 图像中每个像素被遮挡的概率；通过最小化与每个像素被遮挡的概率有关的匹配误差函 数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点 的位置，以完成对人脸的跟踪。
[0021] 所述方法可还包括：利用分类器来确定对人脸的跟踪是否成功。
[0022] 在所述方法中，分割图像的步骤可包括：使用基于颜色和位置坐标的像素聚类算 法将人脸位置的图像分割成至少一个图像片；并且，估计人脸位置的图像中每个像素被遮 挡的概率的步骤可包括：基于每个图像片被遮挡的概率来估计人脸位置的图像中每个像素 被遮挡的概率。
[0023] 在所述方法中，分割图像的步骤可包括：将人脸位置的图像分割成与各个人脸器 官对应的至少一个图像区域；并且，估计人脸位置的图像中每个像素被遮挡的概率的步骤 可包括：基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率，并基于每个图像 区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。
[0024] 在所述方法中，分割图像的步骤可包括：将人脸位置的图像分割成至少一个图像 片和至少一个图像区域；并且，估计人脸位置的图像中每个像素被遮挡的概率的步骤可包 括：基于遮挡概率模型来分别估计每个图像片和每个图像区域被遮挡的概率，并基于每个 图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。
[0025] 在所述方法中，分割图像的步骤可包括：使用基于颜色和位置坐标的像素聚类算 法将人脸位置的图像分割成至少一个图像片，并按照预先定义的人脸器官，将所述至少一 个图像片中对应于相同人脸器官的图像片合并为图像区域。
[0026] 在所述的方法中，从当前帧图像确定人脸位置的步骤可包括：在当前帧图像中检 测人脸特征点，在关键帧数据库中选择与人脸特征点在特征向量方面匹配的对应特征点， 然后通过使对应特征点在当前帧图像上的投影与人脸特征点之间的距离度量最小，来计算 一种人脸三维形状模型的三维位置和旋转参数，使用此三维位置和旋转参数计算人脸二维 形状模型的关键点在图像中的位置，从而确定当前帧图像中人脸的位置，其中，关键帧数据 库包括与之如成功跟踪到的人脸对应的人脸关键巾贞，在跟踪开始时建立，在成功跟踪每一 帧图像后更新，其中，所述人脸关键帧中保存有所述之前成功跟踪到的人脸上被成功匹配 的特征点的三维位置坐标和特征向量。
[0027] 在所述方法中，基于人脸特征点与计算出的所述一种人脸三维形状模型中的对应 特征点在当前帧图像上的投影之间的距离是否小于预定阈值来确定所述人脸特征点是否 为被成功匹配的特征点。
[0028] 在所述方法中，估计人脸位置的图像中每个像素被遮挡的概率的步骤可包括：基 于图像片遮挡概率模型来估计每个图像片被遮挡的概率；基于图像区域遮挡概率模型来估 计每个图像区域被遮挡的概率；基于每个图像片和每个图像区域被遮挡的概率，估计人脸 位置的图像中每个像素被遮挡的概率。
[0029] 在所述方法中，如果确定对人脸的跟踪成功，则可在当前帧没有被遮挡的情况下 利用相应的图像片来更新图像片遮挡概率模型，并利用相应的图像区域来更新图像区域遮 挡概率模型。
[0030] 在所述方法中，在所述匹配误差函数中，可基于每个像素被遮挡的概率来调整人 脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。
[0031] 在所述方法中，所述匹配误差函数可还包括人脸二维形状模型与人脸三维形状模 型的二维投影之间的偏差项。
[0032] 根据本发明示例性实施例的人脸跟踪设备和方法，可基于划分出的各部分图像被 遮挡的概率来估计每个像素被遮挡的概率，并基于每个像素被遮挡的概率来构建匹配误差 函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而在人脸被遮挡的情况下有效 地跟踪关键点。此外，还采取了有效的人脸位置估计技术，并采取了特定的遮挡概率估计方 法和匹配误差函数，这些有助于提高人脸跟踪的效果。
【附图说明】
[0033] 通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的和优点 将会变得更加清楚，其中：
[0034] 图1示出根据本发明示例性实施例的用于跟踪人脸的设备的框图；
[0035] 图2示出根据本发明示例性实施例的遮挡估计单元的结构；
[0036] 图3示出根据本发明示例性实施例的人脸像素遮挡概率示意图；
[0037] 图4示出根据本发明示例性实施例的用于跟踪人脸的方法的流程图；
[0038] 图5示出根据本发明示例性实施例的确定人脸位置的方法的流程图；以及
[0039] 图6示出根据本发明示例性实施例的估计遮挡概率的方法的流程图。
【具体实施方式】
[0040] 现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标 号始终指的是相同的部件。
[0041] 首先，根据本发明的示例性实施例，为了进行人脸跟踪并在跟踪过程中处理遮挡， 本文中使用了人脸的二维形状模型、三维形状模型和表观模型。
[0042] 二维形状模型用来表达面部关键点在二维图像上的几何位置，可以表示为：
[0043]
【主权项】
1. 一种用于跟踪人脸的设备，包括： 人脸位置确定单元，用于从当前峽图像确定人脸位置； 分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像； 遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并 基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率； 关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使 人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前峽图像上人脸关键点的位 置，W完成对人脸的跟踪。
2. 如权利要求1所述的设备，还包括： 跟踪效果确定器，用于利用分类器来确定对人脸的跟踪是否成功。
3. 如权利要求1或2所述的设备，其中，分割单元使用基于颜色和位置坐标的像素聚类 算法将人脸位置的图像分割成至少一个图像片，并且，遮挡估计单元基于图像片遮挡概率 模型来估计每个图像片被遮挡的概率，并基于每个图像片被遮挡的概率来估计人脸位置的 图像中每个像素被遮挡的概率。
4. 如权利要求1或2所述的设备，其中，分割单元将人脸位置的图像分割成与各个人脸 器官对应的至少一个图像区域，并且，遮挡估计单元基于图像区域遮挡概率模型来估计每 个图像区域被遮挡的概率，并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每 个像素被遮挡的概率。
5. 如权利要求1所述的设备，其中，分割单元将人脸位置的图像分割成至少一个图像 片和至少一个图像区域，并且，遮挡估计单元基于遮挡概率模型来分别估计每个图像片和 每个图像区域被遮挡的概率，并基于每个图像片和每个图像区域被遮挡的概率，估计人脸