对象形状对准装置、对象处理装置及其方法_4

文档序号:9667796阅读:来源:国知局
>[0123] 并且,表2示出相对于特征点数的SDM与本发明的模型尺寸和模型尺寸之比,并且 在图24~25中示意性地示出这些结果。
[0124] 表 2
[0125]
[0126] 如从图24可以看出的那样,基本上,模型尺寸生长速率对于SDM是二次的,而其对 于本发明的对象形状对准方法仅是线性的。因此,如从图25可以看出的那样,基本上,SDM 与本发明之间的模型尺寸比的曲线是线性的。也就是说,与现有技术相比,本发明能够大大 减小模型尺寸,并且该效果对于具有更多特征点的情况更明显。例如,在7个特征点的情况 下,本发明的模型尺寸约为SDM的1/5 ;而在88个特征点的情况下,本发明的模型尺寸仅约 为SDM的 1/60。
[0127] 概括而言,本发明的对象形状对准方法仅使用最相关的特征以用于预测,并由此 去除了随机误差或不相关特征的噪声。这使得只需要更少量的训练样本,并由此克服了过 拟合问题。另外,由于特征选择,因此,与现有技术相比,本发明的对象形状对准方法可进一 步克服多重共线性问题,并大大地减小模型尺寸。结果,模型训练过程和对象形状对准过程 两者都可被加速。并且,在级联过程的情况下,本发明的对象形状对准方法的收敛速率是二 次的,并通常仅需要4~5次循环。
[0128] 不用说,本发明的对象形状对准方法可被应用于各种领域。图8示意性地示出根 据本发明的用于对象图像的对象处理方法的一般流程图。
[0129] 如图8所示,首先,在步骤800处,检测对象图像中的对象。对象检测方法不被特 另IJ限制。
[0130] 接下来,在步骤900处,通过根据本发明的对象形状对准方法来对准检测到的对 象。也就是说,检测或定位特征点。
[0131] 最后,在步骤1000处,基于对准的对象来识别对象的属性。对象的属性不被特别 限制。例如,它们可包含但不限于表情、年龄、种族、性别、体部姿势及其组合。获得的属性可 被广泛用于面部识别、表情分析、3D面部模拟、面部卡通动画、交互游戏控制、机器人控制、 视觉监控系统中的人行为分析等。
[0132] 更具体而言,一个应用例子涉及面部识别。例如,可根据本发明的对象形状对准方 法来对准输入图像中检测到的面部,并然后可基于对准的面部来识别面部的属性。基于识 别出的属性,可确定被检体的表情(诸如喜悦、悲伤、愤怒等)、年龄、种族、性别等。
[0133] 另一应用例子涉及人行为分析。例如,可根据本发明的对象形状对准方法来对准 输入图像中检测到的人体,并然后可基于对准的人体来识别人体的属性。基于识别出的属 性,可确定被检体的诸如站、蹲、坐、躺等的人体姿势信息。
[0134] 以下,简要概述本发明的对象形状对准方法和对象处理方法。
[0135] 本发明的用于对象图像的对象形状对准方法可包括以下步骤:从多个训练样本获 取对象形状回归模型,所述对象形状回归模型包含平均对象形状、多个回归函数和多个特 征选择图;基于平均对象形状设定对象图像的初始对象形状;计算关于初始对象形状的多 个特征点的至少一个特征向量;对于初始对象形状的所述多个特征点的每个坐标,基于所 述多个特征选择图中的相应一个从计算出的特征向量选择特征片段并将特征片段组装成 子特征向量;以及对于初始对象形状的至少一个特征点的至少一个坐标,基于相应的子特 征向量和所述多个回归函数中的相应一个预测坐标增量。
[0136] 在本发明的一些实施例中,在获取对象形状回归模型的步骤中,可使用L1范数正 则化线性回归方法,在所述L1范数正则化线性回归方法中,引入具有L1范数正则化的平方 损失函数的残差和,并采用具有Lasso的最小角度回归,以使具有L1范数正则化的平方损 失函数的残差和最小化。
[0137] 在本发明的一些实施例中,获取对象形状回归模型的步骤可进一步包括以下步 骤:获得具有标注对象形状的多个训练样本,平均对象形状是所述多个训练样本的标注对 象形状的平均;对于每个训练样本,基于平均对象形状设定初始对象形状,并计算其多个特 征点的每个坐标在其标注对象形状与其初始对象形状之间的残差;对于每个训练样本,计 算关于其初始对象形状的所述多个特征点的至少一个特征向量;对于所述多个训练样本的 相应特征点的相应坐标,使用L1范数正则化线性回归方法在所述多个训练样本的特征向 量与所述相应坐标的残差之间拟合对象形状回归模型;以及对于所述多个训练样本的相应 特征点的相应坐标,记录特征向量中的所选特征片段的索引作为特征选择图并记录与所选 特征片段对应的参数作为回归函数的参数向量。
[0138] 在本发明的一些实施例中,在设定初始对象形状的步骤中,平均对象形状自身或 随机扰动之后的平均对象形状可被设定为初始对象形状。
[0139] 在本发明的一些实施例中,在计算所述至少一个特征向量的步骤中,可从初始对 象形状的每个特征点周围的局部图像块提取SIFT特征。
[0140] 在本发明的一些实施例中,在选择特征片段的步骤中,可基于所述多个特征选择 图中的相应一个中的特征索引,从计算出的特征向量选择特征片段;并且,在组装特征片段 的步骤中,可基于所述多个特征选择图中的相应一个中的特征次序,将特征片段组装成子 特征向量。
[0141] 在本发明的一些实施例中,预测坐标增量的步骤可进一步包括以下步骤:对于所 述至少一个特征点的所述至少一个坐标,获取所述多个回归函数中的相应一个的参数向 量;以及对于所述至少一个特征点的所述至少一个坐标,将相应的子特征向量投影到参数 向量上以获得坐标增量。
[0142] 在本发明的一些实施例中,对象形状对准方法可进一步包括以下步骤:通过对于 所述至少一个特征点的所述至少一个坐标添加相应的坐标增量而将所述至少一个特征点 移动到其更新位置。
[0143] 在本发明的一些实施例中,可通过使用不同的对象形状回归模型并将当前更新的 对象形状设定为下一对象形状回归模型的初始对象形状,来依次重复执行获取对象形状回 归模型的步骤、设定初始对象形状的步骤、计算所述至少一个特征向量的步骤、选择特征片 段并组装特征片段的步骤、以及预测坐标增量的步骤。
[0144] 在本发明的一些实施例中,对象形状可包含面部形状或体部形状。
[0145] 另外,本发明的用于对象图像的对象处理方法可包括以下步骤:检测对象图像中 的对象;通过根据本发明的对象形状对准方法来对准检测到的对象;以及基于对准的对象 来识别对象的属性。
[0146] 在本发明的一些实施例中,对象的属性可包含表情、年龄、种族、性别和体部姿势 的任何组合。
[0147] 以下,将参照图9~10简要描述本发明的对象形状对准装置和对象处理装置。
[0148] 如图9所示,本发明的用于对象图像的对象形状对准装置1200可包括:被配置为 从多个训练样本获取对象形状回归模型的单元1210,所述对象形状回归模型包含平均对象 形状、多个回归函数和多个特征选择图;被配置为基于平均对象形状设定对象图像的初始 对象形状的单元1220 ;被配置为计算关于初始对象形状的多个特征点的至少一个特征向 量的单元1230 ;被配置为对于初始对象形状的所述多个特征点的每个坐标,基于所述多个 特征选择图中的相应一个从计算出的特征向量选择特征片段并将特征片段组装成子特征 向量的单元1240 ;以及被配置为对于初始对象形状的至少一个特征点的至少一个坐标,基 于相应的子特征向量和所述多个回归函数中的相应一个预测坐标增量的单元1250。
[0149] 在本发明的一些实施例中,在被配置为获取对象形状回归模型的单元1210中,使 用L1范数正则化线性回归方法,在所述L1范数正则化线性回归方法中,引入具有L1范数 正则化的平方损失函数的残差和,并采用具有Lasso的最小角度回归,以使具有L1范数正 则化的平方损失函数的残差和最小化。
[0150] 在本发明的一些实施例中,被配置为获取对象形状回归模型的单元1210可进一 步包含:被配置为获得具有标注对象形状的多个训练样本的单元,平均对象形状是所述多 个训练样本的标注对象形状的平均;被配置为对于每个训练样本,基于平均对象形状设定 初始对象形状,并计算其多个特征点的每个坐标在其标注对象形状与其初始对象形状之间 的残差的单元;被配置为对于每个训练样本,计算关于其初始对象形状的所述多个特征点 的至少一个特征向量的单元;被配置为对于所述多个训练样本的相应特征点的相应坐标, 使用L1范数正则化线性回归方法在所述多个训练样本的特征向量与所述相应坐标的残差 之间拟合对象形状回归模型的单元;以及被配置为对于所述多个训练样本的相应特征点的 相应坐标,记录特征向量中的所选特征片段的索引作为特征选择图并记录与所选特征片段 对应的参数作为回归函数的参数向量的单元。
[0151] 在本发明的一些实施例中,在被配置为设定初始对象形状的单元1220中,平均对 象形状自身或随机扰动之后的平均对象形状可被设定为初始对象形状。
[0152] 在本发明的一些实施例中,在被配置为计算所述至少一个特征向量的单元1230 中,可从初始对象形状的每个特征点周围的局部图像块提取SIFT特征。
[0153] 在本发明的一些实施例中,在被配置为选择特征片段并组装特征片段的单元1240 中,可基于所述多个特征选择图中的相应一个中的特征索引,从计算出的特征向量选择特 征片段;并且可基于所述多个特征选择图中的相应一个中的特征次序,将特征片段组装成 子特征向量。
[0154] 在本发明的一些实施例中,被配置为预测坐标增量的单元1250可进一步包含:被 配置为对于所述至少一个特征点的所述至少一个坐标,获取所述多个回归函数中的相应一 个的参数向量的单元;以及被配置为对于所述至少一个特征点的所述至少一个坐标,将相 应的子特征向量投影到参数向量上以获得坐标增量的单元。
[0155] 在本发明的一些实施例中,对象形状对准装置1200可进一步包括:被配置为通过 对于所述至少一个特征点的所述至少一个坐标添加相应的坐标增量而将所述至少一个特 征点移动到其更新位置的单元。
[0156] 在本发明的一些实施例中,可通过使用不同的对象形状回归模型并将当前更新的 对象形状设定为下一对象形状回归模型的初始对象形状,来依次重复执行被配置为获取对 象形状回归模型的单元1210、被配置为设定初始对象形状的单元1220、被配置为计算所述 至少一个特征向量的单元1230、被配置为选择特征片段并组装特征片段的单元1240、以及 被配置为预测坐标增量的单元1250的操作。
[0157] 在本发明的一些实施例中,对象形状可包含面部形状或体部形状。
[0158] 另外,如图10所示,本发明的用于对象图像的对象处理装置2000可包括:被配置 为检测对象图像中的对象的单元2010 ;被配置为通过本发明的对象形状对准装置来
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1