对象形状对准装置、对象处理装置及其方法_2

文档序号:9667796阅读:来源:国知局
[0049] 图17包含(a)、(b)和(c),其示意性地示出根据本发明的获取对象形状回归模型 的步骤中的三个训练样本的提取特征;
[0050] 图18示意性地示出根据本发明的设定初始对象形状的步骤中的初始对象形状;
[0051] 图19示意性地示出根据本发明的计算至少一个特征向量的步骤中的提取特征;
[0052] 图20示意性地示出根据本发明的将特征点移动到它们的更新位置的步骤中的特 征点移动;
[0053] 图21示意性地示出本发明中的一个特征向量、三个特征选择图和三个子特征向 量;
[0054] 图22比较性地示出本发明中的提取特征和相应的所选特征,其中,(a)示意性地 示出提取特征,而(b)~(d)示意性地示出相应的所选特征的三个例子;
[0055] 图23示意性地示出本发明中的坐标增量预测公式;
[0056] 图24分别示意性地示出SDM和本发明的模型尺寸生长曲线;以及
[0057] 图25示意性地示出模型尺寸比(SDM与本发明之比)曲线。
【具体实施方式】
[0058] 以下将参照附图详细描述本发明的示例性实施例。应注意,以下的描述在本质上 仅是说明性的和示例性的,决不是意在限制本发明及其应用或用途。除非另外具体说明,否 贝1J,在实施例中阐述的组件和步骤的相对布置、数值表达式以及数值不限制本发明的范围。 另外,本领域技术人员已知的技术、方法和设备可能不被详细讨论,但是在适当的情况下意 在成为说明书的一部分。
[0059] 如前所述,SDM采用包含多个特征的一个高维数特征向量(即,致密特征集)和 用于整个对象形状的一个统一的回归函数来预测多个坐标的坐标增量,并由此具有许多 问题,诸如多重共线性、特征冗余、过拟合等。在广泛及深入的研究之后,本发明的发明人 发现了可通过执行特征选择来减少特征向量维数的新的对象形状对准方法和新的对象处 理方法。更具体而言,在本发明中,如后面将看到的那样,使用L1范数正则化(Ll-norm regularized)线性回归方法,在所述L1范数正则化线性回归方法中,引入具有L1范数正则 化的平方损失函数(squarelossfunction)的残差和(residualsum),并采用具有Lasso 的最小角度回归(LeastAngleRegression),以使具有L1范数正则化的平方损失函数的残 差和最小化。因此,本发明可对于对象形状的特征点的每个坐标,采用具有低得多的维数的 特定的子特征向量(即,对坐标最相关或最有价值的特征片段)和特定的回归函数来预测 其坐标增量。以这种方式,与现有技术的方法相比,本发明的对象形状对准方法和对象处理 方法能够减小模型尺寸。并且,以这种方式,与现有技术的方法相比,本发明的对象形状对 准方法和对象处理方法还能够实现更高的精度和/或更高的速度和/或更高的鲁棒性。
[0060] 以下,首先,将参照图3描述可实现根据本发明的对象形状对准方法和/或对象处 理方法的计算设备9000的示意性硬件配置。为了简化,仅示出一个计算设备。但是,也可 根据需要使用多个计算设备。
[0061] 如图3所示,计算设备9000可包含CPU9110、芯片集9120、RAM9130、存储控制 器9140、显示控制器9150、硬盘驱动器9160、⑶-ROM驱动器9170和显示器9180。计算设 备9000还可包含连接在CPU9110和芯片集9120之间的信号线9210、连接在芯片集9120 和RAM9130之间的信号线9220、连接在芯片集9120和各种外围设备之间的外围设备总线 9230、连接在存储控制器9140和硬盘驱动器9160之间的信号线9240、连接在存储控制器 9140和⑶-ROM驱动器9170之间的信号线9250和连接在显示控制器9150和显示器9180 之间的信号线9260。
[0062] 客户机9300可直接或者经由网络9400与计算设备9000连接。客户机9300可向 计算设备9000发送对象形状对准任务和/或对象处理任务,并且计算设备9000可将对象 形状对准结果和/或对象处理结果返回到客户机9300。
[0063] 接下来,将详细描述根据本发明的对象形状对准方法。这里,作为例子,假定要被 对准的对象形状是面部形状。但是,很显然,其不必限于此。例如,根据本发明的对象形状 对准方法也可被应用于各种其它的对象形状,诸如体部形状等。
[0064] 图4示意性地示出根据本发明的对象形状对准方法的一般流程图。
[0065]如图4所示,首先,在步骤100处,从多个训练样本获取对象形状回归模型,所述对 象形状回归模型包含平均对象形状、多个回归函数和多个特征选择图。
[0066] 一般地,通过使用具有手动标注的对象形状的多个训练样本离线地预学习对象形 状回归模型。图5给出对象形状回归模型获取步骤100的示例性流程图。
[0067] 在图5中,首先,在步骤110处,获得具有标注对象形状的多个训练样本。
[0068] 作为例子,多个面部图像可首先被收集并然后被手动地标注有预定的面部特征 点,即,面部形状的真值(参见图15)。在图15中,示出了作为训练样本的三个面部图像 (a)~(c);并且,对于每个面部图像,示出了例如15个标注特征点(即,用于每个眼睛的4 个特征点,用于鼻子的3个特征点和用于嘴的4个特征点)。但是,训练样本的数量和特征 点的数量不被特别限制,而是它们可被适当地选择。另外,可获得平均对象形状作为所述多 个训练样本的标注对象形状的平均。
[0069] 接下来,在步骤120处,对于每个训练样本,基于平均对象形状设定初始对象形状 (参见图16(a)~(c)),并计算其多个特征点的每个坐标在其标注对象形状与其初始对象 形状之间的残差。
[0070] 这里,初始对象形状可被设定为平均对象形状自身。作为替代方案,可通过随机扰 动平均对象形状来设定初始对象形状。如从图15与图16之间的比较可以看出的那样,对 于每个训练样本,通常在标注对象形状与初始对象形状之间存在差异,并且可获得所述差 异作为特征点坐标的残差。
[0071] 然后,在步骤130处,对于每个训练样本,计算关于其初始对象形状的所述多个特 征点的至少一个特征向量。
[0072] 作为例子,对于每个训练样本,可从所述多个特征点周围的局部图像块提取SIFT 特征,并然后可将所述多个特征点的提取的SIFT特征组装成关于所述多个特征点的一个 特征向量。在图17(a)~(c)中示意性地示出提取的SIFT特征。在图17(a)~(c)中,为 了简化,如图11那样,对于每个训练样本示出了仅用于三个特征点的SIFT特征描述符;从 每个特征点(其位于其相应的局部图像块的中心处)周围的4X4格子的局部图像块提取 SIFT特征;每个格子中的提取的SIFT特征的维数是8 ;并且,每个特征点的提取的SIFT特 征的维数如4X4X8 = 128那样高。显然,每个训练样本的获得的特征向量是致密特征集, 其包含非常丰富的特征,但具有非常高的维数。
[0073] 顺便提及的是,要注意,局部图像块的尺寸不被特别限制,由此特征向量的维数不 必限于以上情况。
[0074] 另外,顺便提及的是,在图17(a)~(c)的例子中,提取了SIFT特征。但是,提取 的特征的类型不被特别限制。而是,也可采用各种其它的特征,诸如加速鲁棒特征(Speeded UpRobustFeatures,SURF)、取向梯度直方图(HistogramofOrientedGradients,HOG) 等。
[0075] 随后,在步骤140处,对于所述多个训练样本的相应特征点的相应坐标,使用LI范 数正则化线性回归方法在所述多个训练样本的特征向量与所述相应坐标的残差之间拟合 对象形状回归模型。
[0076] 步骤140的目的是学习特征向量与坐标残差之间的关系,以获得要在对准期间使 用的特征选择图和回归函数。为此目的,在本发明中,使用L1范数正则化线性回归方法,在 所述L1范数正则化线性回归方法中,引入具有L1范数正则化的平方损失函数的残差和,并 采用具有Lasso的最小角度回归,以使具有L1范数正则化的平方损失函数的残差和最小 化。
[0077] 这例如可由下式(2)表示:
[0078]
[0079] 这里,匕表示从第i个训练样本提取的特征向量的第j个维度;ΛSi表示第i个 训练样本的特征点的某个坐标的残差;λ表示控制用于特征选择的稀疏度的系数;N表示 训练样本的总数;Ρ表示特征向量的维数的总数;β(诸如和h)表示一系列的回归器 参数;以及r表示所述某个坐标的回归函数。式(2)的含义是:寻找适当的β,使得括号中 的表达式的值被最小化。很显然,只要获得了参数β,就获得了回归函数r。
[0080] 在本发明中,引入L1范数正则化(参见式(2)中的最后项)。由于L1范数正则化 的稀疏性能,因此学习到的参数矩阵将是主要由零占据的稀疏矩阵。只有与对于对准处理 最相关或最有用的特征对应的元素才不为零。也就是说,它使得能够从致密特征集进行特 征选择,由此减少特征向量的维数。由于只需要存储与最有用的特征对应的参数,因此有望 大大减小模型尺寸。
[0081] 也可通过下式(3)以向量的形式来表示式(2):
[0082]
[0083] 式(2)或式(3)是典型的Lasso问题,并可通过使用各种求解器(solver)来求解。 在本发明中,例如采用具有Lasso的最小角度回归,其对于计算整个Lasso路径是极有效的 算法。
[0084] 顺便提及的是,如从式(2)和式(3)可容易地看出的那样,它们针对所述多个训练 样本的相应特征点的相应坐标。更具体而言,假定对象形状S包含Μ个特征点,则它可由下 式⑷表示:
[0085]S= [χ1;χ2, ···,χΜ,γ1;y2,. . . ,yM] (4)
[0086] 这里,x和y表示特征点的坐标。于是,形状残差(或形状增量)ΛS可由每个坐 标的坐标增量如下表示:
[0087]ΔS= [ΔΧι,Δχ2,···,ΔχΜ,Δγ1;Δy2, . . . ,ΔyM] (5)
[0088] 这里,在式(2)和式(3)中,采用As表示来自Μ个特征点的某个坐标,其可指示 Λ七至ΛχΜ和Λyi至ΛyM中的任一个。因此,例如,上述的"所述多个训练样本的相应特征 点的相应坐标"指的是所述多个训练样本的所有的△x2、所述多个训练样本的所有的ΔyM 等。
[0089] 在拟合步骤140之后,最后,在步骤150处,对于所述多个训练样本的相应特征点 的相应坐标,记录特征向量中的所选特征片段的索引作为特征选择图,并记录与所选特征 片段对应的参数作为回归函数的参数向量。
[0090] 如前所述,由于引
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1