位置的图像中每个像素被遮挡的概率。
6. 如权利要求5所述的设备，其中，分割单元使用基于颜色和位置坐标的像素聚类算 法将人脸位置的图像分割成至少一个图像片，并按照预先定义的人脸器官，将所述至少一 个图像片中对应于相同人脸器官的图像片合并为图像区域。
7. 如权利要求1、2或5所述的设备，其中，人脸位置确定单元在当前峽图像中检测人脸 特征点，在关键峽数据库中选择与人脸特征点在特征向量方面匹配的对应特征点，然后通 过使对应特征点在当前峽图像上的投影与人脸特征点之间的距离度量最小，来计算一种人 脸H维形状模型的H维位置和旋转参数，使用此H维位置和旋转参数计算人脸二维形状模 型的关键点在图像中的位置，从而确定当前峽图像中人脸的位置， 其中，关键峽数据库包括与之前成功跟踪到的人脸对应的人脸关键峽，在跟踪开始时 建立，在成功跟踪每一峽图像后更新，其中，所述人脸关键峽中保存有所述之前成功跟踪到 的人脸上被成功匹配的特征点的H维位置坐标和特征向量。
8. 如权利要求7所述的设备，其中，人脸位置确定单元基于人脸特征点与计算出的所 述一种人脸H维形状模型中的对应特征点在当前峽图像上的投影之间的距离是否小于预 定阔值来确定所述人脸特征点是否为被成功匹配的特征点。
9. 如权利要求5或6所述的设备，其中，遮挡估计单元包括： 图像片遮挡估计单元，用于基于图像片遮挡概率模型来估计每个图像片被遮挡的概 率； 图像区域遮挡估计单元，用于基于图像区域遮挡概率模型来估计每个图像区域被遮挡 的概率； 综合估计单元，用于基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的 图像中每个像素被遮挡的概率。
10. 如权利要求9所述的设备，其中，如果跟踪效果确定器确定对人脸的跟踪成功，贝U 图像片遮挡估计单元在当前峽没有被遮挡的情况下利用相应的图像片来更新图像片遮挡 概率模型，图像区域遮挡估计单元在当前峽没有被遮挡的情况下利用相应的图像区域来更 新图像区域遮挡概率模型。
11. 如权利要求1、2或5所述的设备，其中，在所述匹配误差函数中，基于每个像素被遮 挡的概率来调整人脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。
12. 如权利要求1、2或5所述的设备，其中，所述匹配误差函数还包括人脸二维形状模 型与人脸H维形状模型的二维投影之间的偏差项。
13. -种用于跟踪人脸的方法，包括： 从当前峽图像确定人脸位置； 将人脸位置的图像分割成组成人脸的各部分图像； 基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像 被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率； 通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相 对于人脸形状进行匹配，从而获取当前峽图像上人脸关键点的位置，W完成对人脸的跟踪。
14. 如权利要求13所述的方法，还包括： 利用分类器来确定对人脸的跟踪是否成功。
15. 如权利要求13或14所述的方法，其中，分割图像的步骤包括；使用基于颜色和位 置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片；并且，估计人脸位置的 图像中每个像素被遮挡的概率的步骤包括：基于每个图像片被遮挡的概率来估计人脸位置 的图像中每个像素被遮挡的概率。
16. 如权利要求13或14所述的方法，其中，分割图像的步骤包括；将人脸位置的图像 分割成与各个人脸器官对应的至少一个图像区域；并且，估计人脸位置的图像中每个像素 被遮挡的概率的步骤包括：基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概 率，并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。
17. 如权利要求13所述的方法，其中，分割图像的步骤包括；将人脸位置的图像分割成 至少一个图像片和至少一个图像区域；并且，估计人脸位置的图像中每个像素被遮挡的概 率的步骤包括：基于遮挡概率模型来分别估计每个图像片和每个图像区域被遮挡的概率， 并基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡 的概率。
18. 如权利要求17所述的方法，其中，分割图像的步骤包括；使用基于颜色和位置坐标 的像素聚类算法将人脸位置的图像分割成至少一个图像片，并按照预先定义的人脸器官， 将所述至少一个图像片中对应于相同人脸器官的图像片合并为图像区域。
19. 如权利要求13、14或17所述的方法，其中，从当前峽图像确定人脸位置的步骤包 括；在当前峽图像中检测人脸特征点，在关键峽数据库中选择与人脸特征点在特征向量方 面匹配的对应特征点，然后通过使对应特征点在当前峽图像上的投影与人脸特征点之间的 距离度量最小，来计算一种人脸H维形状模型的H维位置和旋转参数，使用此H维位置和 旋转参数计算人脸二维形状模型的关键点在图像中的位置，从而确定当前峽图像中人脸的 位置， 其中，关键峽数据库包括与之前成功跟踪到的人脸对应的人脸关键峽，在跟踪开始时 建立，在成功跟踪每一峽图像后更新，其中，所述人脸关键峽中保存有所述之前成功跟踪到 的人脸上被成功匹配的特征点的H维位置坐标和特征向量。
20. 如权利要求19所述的方法，其中，基于人脸特征点与计算出的所述一种人脸H维 形状模型中的对应特征点在当前峽图像上的投影之间的距离是否小于预定阔值来确定所 述人脸特征点是否为被成功匹配的特征点。
21. 如权利要求17或18所述的方法，其中，估计人脸位置的图像中每个像素被遮挡的 概率的步骤包括；基于图像片遮挡概率模型来估计每个图像片被遮挡的概率；基于图像区 域遮挡概率模型来估计每个图像区域被遮挡的概率；基于每个图像片和每个图像区域被遮 挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。
22. 如权利要求21所述的方法，其中，如果确定对人脸的跟踪成功，则在当前峽没有被 遮挡的情况下利用相应的图像片来更新图像片遮挡概率模型，并利用相应的图像区域来更 新图像区域遮挡概率模型。
23. 如权利要求13、14或17所述的方法，其中，在所述匹配误差函数中，基于每个像素 被遮挡的概率来调整人脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。
24. 如权利要求13、14或17所述的方法，其中，所述匹配误差函数还包括人脸二维形状 模型与人脸H维形状模型的二维投影之间的偏差项。
【专利摘要】本发明提供一种用于跟踪人脸的设备和方法，所述设备包括：人脸位置确定单元，用于从当前帧图像确定人脸位置；分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪。
【IPC分类】G06K9-62, G06K9-00
【公开号】CN104573614
【申请号】CN201310499586
【发明人】冯雪涛, 沈晓璐, 张辉, 金亭培, 金智渊
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社
【公开日】2015年4月29日
【申请日】2013年10月22日