专利名称：对象拟合系统和方法
技术领域：
本发明涉及一种对象拟合系统和方法，更具体地说，涉及一种基于多个二维三维复合模型对图像中的对象进行拟合的系统和该系统所使用的方法。
背景技术：
近年来，基于视觉的人机交互技术得到了迅速的发展。对于人类来说，视觉能传递最为丰富的信息。随着视频采集装置(例如，照相机、摄像机、网络摄像头、手机摄像头)的价格逐步降低以及普及程度的不断扩大，基于视觉的人机交互技术的应用范围和场合也越来越广泛。因此，视觉成为人机交互方式中非常具有前景的手段。对于二维图像或二维视频中的对象，计算机与其进行交互的先决条件是获得该对象的位置、姿态、形状等信息。现有技术已经提出多种基于二维模型的对象拟合技术。基于主动外观模型(Active Appearance Model)算法的对象拟合方法是常用的一种。但是，该方法并没有给出计算对象的三维信息的方式。因此，必须使用一种方法估计该对象上一系列关键点的三维位置。为适应实际应用需求，对于拍摄各个角度下或处于运动中的对象的图像或视频，此方法必须快速、准确地识别和计算出关键点的三维位置以进行对象拟合，并且该方法应该能适应不同光照与拍摄环境。为了达到上述的要求，除了诸如摄像头、相机的图像输入设备以及用于执行对象拟合的设备(例如，计算机)之外，现有技术需要额外的设备(结构光投影仪器、超声测距仪等)，增加了成本和设备便携性。现有技术通常对一个特定姿态范围内的对象拟合的效果良好，而当旋转角度增大，输入的外观变化较大时，对象拟合的效果明显劣化。另外，由于对象拟合受到拟合模型的限制，因此必须从一个特定姿态开始执行拟合。如果在线进行对象拟合，例如，对在线视频中的对象进行拟合，则一旦丢失目标对象，必须要求该目标对象回到特定姿态方能重新开始拟合。由于现有技术通常仅采用二维模型来进行对象拟合，因此无法同时提供对象的精确的二维位置与三维姿态，限制了获取的信息量。另外，现有的对象拟合技术通常也仅使用单一模型，这样的算法对某一固定角度的位置的对象效果最佳，但是随着对象偏离该固定角度的位置的角度增大，拟合效果迅速劣化。
发明内容
本发明旨在克服上述的缺点。为解决现有技术问题，本发明使用二维三维复合模型来进行图像或视频中的对象拟合，其中，利用二维模型来定位对象的平面特征，利用三维模型给出对象的姿态信息并对结果进行校正，同时最小化二维代价函数与三维代价函数。同时，本发明将现有的单一模型算法扩展为多模型算法，每一模型表达较小角度范围内的物体特征，通过合理的角度估计与模型选择策略，准确地捕捉物体各个角度的关键点。在初始拟合以及丢失目标对象后，通过轮流尝试各模型对检测出的物体进行拟合，大大提高了拟合成功率。本发明提出的对象拟合方法能适应角度变化大、形变较丰富、运动较快的对象以及较为复杂的光照情况，能快速精确定位对象的关键点，进而给出对象的三维结构与位置姿态信息。根据本发明的一方面，提供了一种基于二维三维复合模型的对象拟合系统，包括 模型存储模块，用于存储训练好的二维三维复合模型；拟合对象计算模块，分析接收的图像数据中的对象，根据对象的预定参数从模型存储模块读取与对象相应的二维三维复合模型，对对象进行拟合以获得二维三维复合模型的各个关键点在输入的图像中的二维模型参数和三维模型参数，其中，二维三维复合模型包括关于对象的二维模型和三维模型，三维模型表示三维对象上一系列预先定义的三维关键点的位置，其中，拟合对象计算模块计算合适的对象的二维形状参数、二维纹理参数以及三维参数，使得经二维变换后的图像与图像的二维纹理之间的差异加上对象的三维结构的投影与二维形状的之间的差异所得之加权和最小。根据本发明的一方面，拟合对象计算模块选择多个二维三维复合模型进行对象拟合，并根据预定参数是否达到门限值来确定是否在第一二维三维复合模型和第二二维三维复合模型之间进行切换。根据本发明的一方面，用于确定从第一二维三维复合模型切换到第二二维三维复合模型的所述预定参数的门限值与用于从第二二维三维复合模型切换到第一二维三维复合模型的所述预定参数的门限值不同。根据本发明的一方面，二维纹理参数包括对于光照不敏感的图像特征参数。根据本发明的另一方面，二维纹理参数是图像的灰度。根据本发明的另一方面，还提供了一种基于二维三维复合模型的对象拟合方法， 包括以下步骤从外部接收图像数据，分析图像中的对象的预定参数并根据所述预定参数选择相应的二维三维复合模型；基于主动外观模型算法进行对象拟合，以计算二维三维复合模型的各个关键点在输入的图像中的二维位置和三维位置，其中，二维三维复合模型包括关于对象的二维模型和三维模型，三维模型表示三维对象上一系列预先定义的数量固定的三维关键点的位置，其中，在所述计算步骤中，计算合适的对象的二维形状参数、二维纹理参数以及三维参数，使得经二维变换后的图像与图像的二维纹理之间的差异加上对象的三维结构的投影与二维形状的之间的差异所得之加权和最小。本发明的复合模型技术使得能够在三维空间中进行对象拟合，并输出对象的三维位置与姿态；多模型技术使得系统能处理较大角度范围内和外观变化较大的目标，从而提供更多的关于拟合对象的信息并适应于实时操作。
通过下面结合附图对实施例的详细描述，本发明的上述和/或其他方面将会变得清楚和更容易理解，其中图1是根据本发明实施例的基于二维三维复合模型的对象拟合系统；图2是示出将根据本发明实施例的对象拟合系统应用于目标对齐系统的示意图；图3是示出将根据本发明实施例的对象拟合系统应用于人脸跟踪定位系统的示意图；图4是示出将根据本发明实施例的对象拟合系统应用于口型识别系统的示意图5是根据本发明实施例的基于二维三维复合模型的对象拟合方法的流程图。
具体实施例方式下面将参照附图来说明根据本发明的实施例的基于二维三维复合模型的对象拟合系统的配置和操作。如图1所示，根据本发明实施例的对象拟合系统100包括模型存储模块110、对象拟合计算模块120和拟合结果输出模块130。根据本发明实施例的对象拟合系统100从外部接收图像数据。例如，对象拟合系统100可以与照相机或摄像头连接，从而获得实时的图像数据。对象拟合系统100也可以从与其连接的外部的存储器读取待分析的图像数据。图像数据被输入到对象拟合系统100 的对象拟合计算模块120。模型存储模块110用于存储与要拟合的对象相应的二维三维复合模型，这些复合模型可通过训练或预先设置的方法而获得。在接收到待分析的图像数据之后，对象拟合计算模块120分析图像数据中的对象，从模型存储模块110读取与对象相应的二维三维复合模型以进行拟合。可根据预定参数来确定采用的模型。例如，以人脸模型为例，可根据人脸的角度来选择模型。下面将介绍本发明的对象拟合计算模块120所采用的基于二维三维复合模型的改进的(Active Appearance Model)算法。该算法所采用的二维三维复合模型包括二维模型和三维模型。以下的描述中，以人脸作为拟合对象的示例。当然，本发明不限于人脸的拟合。本领域的技术人员应理解，可将本发明的对象拟合应用于其他对象。在二维模型中，通常，主动外观模型(AAM)算法采取以下方式寻找合适的二维形状参数P，q与二维纹理参数λ，使得输入图像I在经过形状s (P，q)的二维变换后的结果 I(s(p，q))与纹理模型的拟合结果Α( λ)差异最小。其中，在本发明中，该二维变换可采用分段仿射变换(piecewise affine warp)。该过程可表达为使用高斯-牛顿方法最小化如下代价函数，如等式(1)所示Eai=IlA(X)-I(S(Pd))II2 (1)下面对等式1进行具体的说明。在等式1中，二维纹理A表示对象的一定范围内的外观信息。以人脸为例，A包含了人脸区域内图像的灰度值。在本发明中可以将灰度值替换为其他图像特征，如xy方向梯度或边角强度等。这类图像特征是对于光照不敏感的高阶图像特征，因此，采用这些图像特征的算法具有更强的光照适应性。主动外观模型由二维形状模型以及二维纹理模型组成。二维形状模型包含一个平均形状Stl，以及一系列形状基S1, S2, S3. . . O每一个形状基Si描述形状的一种变化方式，例如人脸中的张嘴变化，或者扬眉变化。类似地，二维纹理模型包含一个平均纹理Atl，以及一系列纹理基A1,A2,A3...。每一个纹理基Ai描述二维纹理的一种变化方式，例如人脸中的左侧变暗右侧变亮。AAM算法中包含如下参数。柔性形状参数ρ 柔性形状参数ρ = [Pi，P2，P3...]表示各个形状变化方式的强度。
任意形状可以表示为平均形状与形状基的加权和s(p)，其中
权利要求
1.一种基于二维三维复合模型的对象拟合系统，包括 模型存储模块，用于存储训练好的二维三维复合模型；拟合对象计算模块，分析接收的图像数据中的对象，根据对象的预定参数从模型存储模块读取与对象相应的二维三维复合模型，对对象进行拟合以获得二维三维复合模型的各个关键点在输入的图像中的二维模型参数和三维模型参数，其中，二维三维复合模型包括关于对象的二维模型和三维模型，三维模型表示三维对象上一系列预先定义的三维关键点的位置，其中，拟合对象计算模块计算合适的对象的二维形状参数、二维纹理参数以及三维参数，使得经二维变换后的图像与图像的二维纹理之间的差异加上对象的三维结构的投影与二维形状的之间的差异所得之加权和最小。
2.如权利要求1所述的对象拟合系统，其中，拟合对象计算模块选择多个二维三维复合模型进行对象拟合，并根据预定参数是否达到门限值来确定是否在第一二维三维复合模型与第二二维三维复合模型之间进行切换。
3.如权利要求2所述的对象拟合系统，用于确定从第一二维三维复合模型切换到第二二维三维复合模型的所述预定参数的门限值与用于从第二二维三维复合模型切换到第一二维三维复合模型的所述预定参数的门限值不同。
4.如权利要求1所述的对象拟合系统，其中，二维纹理参数包括对于光照不敏感的图像特征参数。
5.如权利要求1所述的对象拟合系统，其中，二维纹理参数是图像的灰度。
6.如权利要求1所述的对象拟合系统，其中，所述二维变换是二维形状的分段仿射变换。
7.一种基于二维三维复合模型的对象拟合方法，包括以下步骤从外部接收图像数据，分析图像中的对象的预定参数并根据所述预定参数选择相应的二维三维复合模型；进行对象拟合，以计算二维三维复合模型的各个关键点在输入的图像中的二维模型参数和三维模型参数，其中，二维三维复合模型包括关于对象的二维模型和三维模型，三维模型表示三维对象上一系列预先定义的三维关键点的位置，其中，在所述计算步骤中，计算合适的对象的二维形状参数、二维纹理参数以及三维参数，使得经二维变换后的图像与图像的二维纹理之间的差异加上对象的三维结构的投影与二维形状的之间的差异所得之加权和最小。
8.如权利要求7所述的对象拟合方法，其中，在所述计算步骤中，选择多个二维三维复合模型进行对象拟合，并根据预定参数是否达到门限值来确定是否在第一二维三维复合模型和第二二维三维复合模型之间进行切换。
9.如权利要求8所述的对象拟合方法，其中，用于确定从第一二维三维复合模型切换到第二二维三维复合模型的所述预定参数的门限值与用于从第二二维三维复合模型切换到第一二维三维复合模型的所述预定参数的门限值不同。
10.如权利要求7所述的对象拟合方法，其中，二维纹理参数包括对于光照不敏感的图像特征参数。
11.如权利要求7所述的对象拟合方法，其中，二维纹理参数是图像的灰度。
12.如权利要求7所述的对象拟合方法，其中，所述二维变换是二维形状的分段仿射变换。
13.一种应用了如权利要求1所述的对象拟合系统的人脸识别系统。
14.一种应用了如权利要求1所述的对象拟合系统的口型识别系统。
15.一种目标对齐系统，包括模型存储模块，用于存储训练好的二维三维复合模型；拟合对象计算模块，分析接收的多张图像中的目标对象，根据目标对象的预定参数从模型存储模块读取与目标对象相应的二维三维复合模型，对该目标对象进行拟合以获得二维三维复合模型的各个关键点在输入的图像中的二维模型参数和三维模型参数；拟合结果输出模块，输出与二维三维复合模型上的某一点在各张图像上的对应点，以对齐各张图像，其中，二维三维复合模型包括关于对象的二维模型和三维模型，三维模型表示三维对象上一系列预先定义的三维关键点的位置，其中，拟合对象计算模块计算合适的对象的二维形状参数、二维纹理参数以及三维参数，使得经二维变换后的图像与图像的二维纹理之间的差异加上对象的三维结构的投影与二维形状的之间的差异所得之加权和最小。
全文摘要
提供了一种对象拟合系统和方法，所述系统包括模型存储模块，用于存储训练好的二维三维复合模型；拟合对象计算模块，分析接收的图像数据中的对象，根据对象的预定参数从模型存储模块读取与对象相应的二维三维复合模型，对对象进行拟合以获得二维三维复合模型的各个关键点在输入的图像中的二维模型参数和三维模型参数；拟合结果输出模块，接收拟合对象计算模块所计算的位置信息，根据应用输出相应的拟合结果，其中拟合对象计算模块计算合适的对象的二维形状参数、二维纹理参数以及三维参数，使得经二维变换后的图像与图像的二维纹理之间的差异加上对象的三维结构的投影与二维形状的之间的差异所得之加权和最小。
文档编号G06T7/00GK102402786SQ201010282950
公开日2012年4月4日 申请日期2010年9月14日 优先权日2010年9月14日
发明者冯雪涛, 沈晓璐, 金培亭, 黄向生 申请人:三星电子株式会社, 北京三星通信技术研究有限公司