对象形状对准装置、对象处理装置及其方法
【技术领域】
[0001] 本发明一般涉及图像处理、计算机视觉和模式识别的领域，特别涉及对象形状对 准装置、对象处理装置及其方法。
【背景技术】
[0002] 在图像处理、计算机视觉和模式识别的领域中，自动且精确地对准通过一组特征 点描述的对象形状（或检测特征点）是关键的任务，并且这可被广泛用于例如面部识别、姿 势识别、表情分析、3D面部模拟、面部卡通动画等。
[0003] 当前的对象形状对准方法采用基于模型的方法（诸如主动形状模型（Active ShapeModel,ASM)和主动外观模型（ActiveAppearanceModel,AAM))或基于回归的方法 (诸如显形回归（ExplicitShapeRegression,ESR)和监管下降方法（SupervisedDescent Method,SDM)) 〇
[0004] 由于对象形状对准自然是回归问题，因此，基于回归的方法在近些年已取得了大 的进步。基于回归的方法通常通过初始化对象形状而开始，并然后更新初始的对象形状，以 接近真值。各种基于回归的方法之间的区别主要在于特征提取步骤和回归形状增量预测步 骤。
[0005] 以SDM为例。该方法通过最小化非线性最小二乘（Non-linearLeastSquare,NLS) 函数来估计形状增量。在训练期间，SDM学习使在不同的点处采样的NLS函数的平均值最 小化的一系列下降方向；并且，在对准期间，SDM通过在不计算Jacobian或Hessian的情况 下使用学习到的下降方向使NLS目标最小化。
[0006] 图1示意性地示出SDM的流程图。步骤10属于训练过程，而步骤20至40属于对 准过程。
[0007] 如图1所示，首先，在步骤10处，从多个训练样本获取包含一个回归函数（或回归 器（regressor))的对象形状回归模型。
[0008] 然后，在步骤20处，设定用于对象图像的初始对象形状。
[0009] 接下来，在步骤30处，计算关于初始对象形状的多个特征点的一个特征向量。
[0010] 更具体而言，例如，从所述多个特征点周围的局部图像块提取SIFT(Scale InvariantFeatureTransform,尺度不变特征变换）特征，以针对照明实现鲁棒的表示(robustrepresentation)，然后，所述多个特征点的提取的SIFT特征被组装成关于所述多 个特征点的一个特征向量。图11示意性地示出三个特征点（即，两个眼睛的外眼角和左嘴 角，其位于各自的局部图像块的中心处）的提取的SIFT特征描述符（S卩，提取的SIFT特征 的结构示意）。在图11中，例如，从每个特征点周围的4X4格子的图像块提取SIFT特征， 并且每个格子中的提取的SIFT特征的维数是8。图12示意性地解释了如何关于图11的包 围区域得到SIFT特征描述符。在图12中，每个格子包括例如4X4个像素，并且，在每个像 素中，可以获得图像梯度并将其表示为向量（具有某个长度且指向某个方向的箭头）。对于 每个格子，可从其中的图像梯度获得维数为8的SIFT特征描述符。图13给出与图12中的 图像梯度对应的在图11的包围区域内所获得的SIFT特征描述符的放大图。从以上可以看 出，对于每个特征点，提取的SIFT特征的维数可如4X4X8 = 128那样高，由此，对于关于 所述多个特征点的一个特征向量，其维数可如128X(特征点的数量）那样高。这意味着， 在SDM中，获得的特征向量包含非常丰富的特征，但又具有非常高的维数。
[0011] 最后，在步骤40处，对于初始对象形状的特征点的多个坐标，基于获得的所述一 个特征向量和所述一个回归函数预测坐标增量。
[0012] 例如，SDM通过将所述一个特征向量投影到学习到的一个回归函数（S卩，学习到的 下降方向）上来预测所述多个坐标的坐标增量。这可由下式（1)表示：
[0013] AS=F*Rt(1)
[0014] 这里，ΛS表示所述多个坐标的坐标增量，F表示获得的关于所述多个特征点的一 个特征向量，1^表示对于某个对准处理（即，第t次对准处理）的学习到的一个回归函数， 并且符号表示双方的投影或交互作用（诸如相乘、点积等）。图14给出式（1)的结构 示意。要注意，虽然F表示组装的关于所述多个特征点的一个特征向量，但在图14中，为了 简化，仅示出1个特征点的4个格子的SIFT特征描述符。从以上可以看出，SDM采用包含 多个特征的一个高维数特征向量（即，致密特征集）和用于整个对象形状的一个统一的回 归函数来预测多个坐标的坐标增量。
[0015] 可选地，图1中的对准处理可被重复几次（例如，T次）以逐步接近对象形状的真 值（这是为什么式（1)中的所述一个回归函数具有上标"t"的原因）。换句话说，可在对准 期间采用级联的T个回归器。图2给出级联SDM的示意流程图。其主要步骤与图1的基本 上相同，由此在这里省略其描述。
[0016] 但是，SDM具有许多限制。
[0017] 第一，由于对象形状上的特征点的坐标通常是高度相关的，因此，提取的特征通常 具有两个或更多个高度相关的维数（称为多重共线性（multicolinearity))。这使得难以 在特征点的数量增加（例如，大于50)时创建有效的回归器，并由此使得模型训练过程不稳 定。
[0018] 第二，这种方法在每个特征点周围提取诸如SIFT的丰富特征，并且，为了得到较 好的预测性能，直接使用具有几千个维数的特征（包含有用特征和无用特征两者）。该高维 数特征向量对于对准处理来说是高度冗余的，并由此使模型尺寸或者字典尺寸太大。
[0019] 第三，由于特征向量的高维数，因此这种方法在训练期间需要巨量的训练样本，以 避免过拟合（over-fitting)问题。
[0020] 因此，希望可以提供能够应对以上问题中的至少一个的新的对象形状对准装置、 新的对象处理装置及其方法。
【发明内容】
[0021] 鉴于以上问题中的至少一个，提出了本发明。
[0022] 本发明的一个目的是提供新的对象形状对准装置、新的对象处理装置及其方法。
[0023] 本发明的另一目的是提供使得能够减小模型尺寸的对象形状对准装置、对象处理 装置及其方法。
[0024] 本发明的又一目的是提供使得能够实现更高的精度和/或更高的速度和/或更高 的鲁棒性的对象形状对准装置、对象处理装置及其方法。
[0025] 根据本发明的第一方面，提供一种用于对象图像的对象形状对准装置，该对象形 状对准装置包括：被配置为从多个训练样本获取对象形状回归模型的单元，所述对象形状 回归模型包含平均对象形状、多个回归函数和多个特征选择图；被配置为基于平均对象 形状设定对象图像的初始对象形状的单元；被配置为计算关于初始对象形状的多个特征 点的至少一个特征向量的单元；被配置为对于初始对象形状的所述多个特征点的每个坐 标，基于所述多个特征选择图中的相应一个从计算出的特征向量选择特征片段（feature fragment)并将特征片段组装成子特征向量的单元；以及被配置为对于初始对象形状的至 少一个特征点的至少一个坐标，基于相应的子特征向量和所述多个回归函数中的相应一个 预测坐标增量的单元。
[0026] 根据本发明的第二方面，提供一种用于对象图像的对象处理装置，该对象处理装 置包括：被配置为检测对象图像中的对象的单元；被配置为通过本发明的对象形状对准装 置对准检测到的对象的单元；以及被配置为基于对准的对象识别对象的属性的单元。
[0027] 根据本发明的第三方面，提供一种用于对象图像的对象形状对准方法，该对象形 状对准方法包括以下步骤：从多个训练样本获取对象形状回归模型，所述对象形状回归模 型包含平均对象形状、多个回归函数和多个特征选择图；基于平均对象形状设定对象图像 的初始对象形状；计算关于初始对象形状的多个特征点的至少一个特征向量；对于初始对 象形状的所述多个特征点的每个坐标，基于所述多个特征选择图中的相应一个从计算出的 特征向量选择特征片段并将特征片段组装成子特征向量；以及对于初始对象形状的至少一 个特征点的至少一个坐标，基于相应的子特征向量和所述多个回归函数中的相应一个预测 坐标增量。
[0028] 根据本发明的第四方面，提供一种用于对象图像的对象处理方法，该对象处理方 法包括以下步骤：检测对象图像中的对象；通过根据本发明的对象形状对准方法对准检测 到的对象；以及基于对准的对象识别对象的属性。
[0029] 通过以上特征，本发明的对象形状对准装置、对象处理装置及其方法能够减小模 型尺寸。
[0030] 另外，通过以上特征，本发明的对象形状对准装置、对象处理装置及其方法能够实 现更高的精度和/或更高的速度和/或更高的鲁棒性。
[0031] 从参照附图对示例性实施例的以下详细描述，本发明的进一步的目的、特征和优 点将变得明显。
【附图说明】
[0032] 被并入说明书中并构成其一部分的附图示出本发明的实施例，并与描述一起用于 解释本发明的原理。
[0033] 图1示意性地示出SDM的流程图；
[0034] 图2示意性地示出级联SDM的流程图；
[0035] 图3是可实现根据本发明的对象形状对准方法和对象处理方法的计算设备的硬 件配置的示意性框图；
[0036] 图4示意性地示出根据本发明的对象形状对准方法的一般流程图；
[0037] 图5示意性地示出根据本发明的获取对象形状回归模型的步骤的流程图；
[0038] 图6示意性地示出根据本发明的预测坐标增量的步骤的流程图；
[0039] 图7示意性地示出根据本发明的级联对象形状对准方法的一般流程图；
[0040] 图8示意性地示出根据本发明的对象处理方法的一般流程图；
[0041] 图9示意性地示出根据本发明的对象形状对准装置的一般框图；
[0042] 图10示意性地示出根据本发明的对象处理装置的一般框图；
[0043] 图11示意性地示出SDM中来自三个特征点周围的局部图像块的提取特征；
[0044] 图12示意性地示出图11的包围区域内的图像梯度；
[0045] 图13示意性地示出图11的包围区域内的提取特征的放大图；
[0046] 图14示意性地示出SDM的坐标增量预测公式；
[0047] 图15包含（a)、（b)和（c)，其示意性地示出根据本发明的获取对象形状回归模型 的步骤中的三个训练样本的标注对象形状；
[0048] 图16包含（a)、（b)和（c)，其示意性地示出根据本发明的获取对象形状回归模型 的步骤中的三个训练样本的初始对象形状；