基于多实例子空间学习的图像中局部反射对称轴提取方法与流程

本发明属于计算机视觉技术，涉及一种基于多实例子空间学习的图像中局部反射对称轴提取方法。

背景技术：

对称轴，又被称为中轴或者骨架，是一种重要的局部图像底层特征，可以用来描述图像中物体的形状。近几年来，它被广泛应用在基于形状的物体识别，生物医学图像分析，人体姿态识别，动作捕捉等诸多热门领域。对称轴分为反射对称轴、旋转对称轴、平移对称轴等几类，其中最常用的是反射对称轴，是研究和应用的重点，以下将反射对称轴简称为对称轴。

目前大多数对称轴提取方法依赖于对图像前、背景的有效分割，然而自然图像的轮廓提取、图像分割等仍是学术界以及工业界的难题，这导致对称轴这一特征难以被应用于自然图像分析处理中。因此，直接针对自然图像提取对称轴就成为了一个非常具有现实意义的课题。

自然图像具有很多更底层的局部特征，比如亮度、颜色和纹理，这些特征是对自然图像提取局部对称轴的基础。图像局部对称轴上的像素点应该具有一些相同的局部特征，可以从两个方面来思考这一共性。一方面，对称轴与轮廓之间有着十分紧密的联系，在局部上看，一段对称轴的两侧应该存在关于其对称的两段轮廓。而相比于对称轴，我们能更容易地从局部图像信息中确定轮廓，因此轮廓强度将是从自然图像中提取对称轴时的一个关键点。另一方面，一段对称轴可以指示的物体的某个局部区域，在这个区域里的像素点应该具有较强的自相似性特征。同时考虑这两点，便可以从图像提取用于确定对称轴的局部特征。

20世纪90年代人们在研究药物活性时提出了多实例学习这一机器学习概念。在多实例学习中，从不同方面求取同一个样本点的特征，“打包”后作为一个整体描述该样本点。多实例学习仅对“包”作标签，而对于“包”中的实例不做标注，只要“包”中含有一个正实例，即认为该“包”为“正包”，只有当“包”中不含任何正实例时，该“包”才为“负包”。

用机器学习方法提取自然图像对称轴的一个难点在于图像中物体的尺度、方向往往具有很大差异。像素点的对称轴特征由其相邻像素组成的局部图像块决定，如果仅从单一尺度、方向考虑，很难从像素点周围裁取合适的图像块来描述该像素点应有的对称轴特征。采用多实例学习后，我们可以对同一个像素点在不同尺度、不同方向上选取图像块(实例)来描述其对称轴特征，同时不必关注每个实例的标签。多实例学习相比普通的机器学习方法，能更好地利用图像信息，对于自然图像对称轴的提取有重要意义。

但是另一方面，对于像提取对称轴这样的比较复杂的问题，样本差异性较大，很难在完整的特征空间上训练出一个合适的分类器。因此，本发明提出了一种新型方法——多实例子空间学习法来解决这个问题。

技术实现要素：

本发明的目的在于提供一种基于多实例子空间学习的图像中局部反射对称轴提取方法，该方法的特征提取过程简单易行，并且提取结果召回率、准确率较高。

根据本发明的一个方面，提供一种基于多实例子空间学习的图像中局部反射对称轴提取方法，其特征在于，该方法包括下述步骤：

步骤一，获取自然图像的局部图像多实例特征包：对待提取对称轴的自然图像中的各像素，都先依据图像的亮度、颜色、纹理信息，在不同尺度、不同角度下，分别提取其局部图像的轮廓强度特征和自相似性特征，得到该像素的多实例特征簇；随后将这些实例的特征打包并赋予特征包以标签；

步骤二，构建分部随机投影树：利用得到的多实例特征包，构建分部随机投影树，完成对数据的划分，以便于训练；

步骤三，判决分析：将待提取对称轴的自然图像的多实例特征包与训练数据集中的多实例特征包用子空间分类器分析，得到分析结果。

优选地，所述步骤二包括以下步骤：

步骤二十一，对于训练数据集中的第i个样本，求得其多实例特征包xi及其标签yi，需要注意的是，这里的xi是该样本在不同方向、不同尺度下求出的对称轴特征的集合，即：

用[·]j表述从·中取出第j个实例的运算，则第i个样本的第j个实例表示为：xij＝[xi]j，而这里的每个实例都代表了一种方向、尺度的组合；

假设训练样本中正样本(正包)的集合为s＝{(xi，yi)|i∈i}，这里

步骤二十二，首先多次随机选取参数对φ＝(j，b)，这里j是实例编号，而b是一个随机的单位方向向量；对每个φ，都按下式计算σ(φ)：

并求出使σ(φ)最大时的φ，即φ^*＝(j^*，b^*)；

步骤二十三，然后，根据φ^*按如下方法把正样本集s分为左右两个子集：

sl(φ^*)＝{(xi，yi)|i∈il(φ^*)}，sr(φ^*)＝s\sl(φ^*)

其中

对已分好的各子集再按照以上相同的方法划分，直至树形结构达到规定的最大深度，或者所有叶子节点中的子集大小均小于规定的最小值时停止继续划分；这样就由训练数据集中的正样本得到了分部随机投影树；

步骤二十四，对于负样本xi，从根节点开始，依次按步骤二十三中学习到的判断法则进行划分，直至分至叶子结点，即划分至某个子空间，对于每个这样的子空间都学习出一个判决分类器。

优选地，所述步骤一包括以下步骤：

步骤十一，对待提取对称轴特征的自然图像上的某一点p，在每个尺度s以及每个角度θ上，都考虑这样的两个点p^t和p^b:它们距离p点s，且它们与p点的连线均垂直于过p点角度为θ的直线；

步骤十二，对于点p，以p^t和p^b为中心，以连线pp^t、pp^b的垂线方向θ为一条边的方向，分别以σ、2σ为边长，得到围绕这两个点的两组正方形区域；其中σ根据实际情况调整，通常取σ＝4；

为了书写的方便，分别用r(p，a，θ)、r^t(p，a，θ)、r^b(p，a，θ)表示中心位于p，边长为a，角度为θ的正方形、该正方形的上半部分以及其下半部分；用hr表示矩形区域r的局部特征直方图，这里的局部特征取了图像的亮度、颜色和纹理；用d(h1,h2)表示直方图h1和h2之间的距离，这里使用欧氏距离；则p点的轮廓强度特征用以下式子表示：

步骤十三，对称轴将局部图像分成对称的两个区域，两个区域中的前景像素应该具有较强的相似性，两个区域外侧中的背景像素也应该具有较强的相似性；分别用以下两个式子定义前景和背景的自相似性：

最后整合得到p点在s尺度、θ角度下的自相似性特征：

步骤十四，对于点p，在每个尺度和角度上，都通过亮度l*、颜色a*、颜色b*和纹理t*这四个通道计算特征，得到的轮廓强度特征为12维，自相似性特征为8维，组合之后为20维的对称轴特征：

在13个尺度和8个角度上分别计算对称轴特征，得到104个实例的对称轴特征，最后依照一定的顺序组合为一个2080维的特征，即得到p点的多实例特征包。

优选地，所述步骤三包括以下步骤：

步骤三十一，从训练数据集的自然图像中提取正、负样本点

训练数据集的自然图像是由高清照相机照取的，对于其中的每一个图像，人为标定好对称轴像素点，这些点即为训练所用的正样本点；然后，对于每张训练图像，都在其上随机选取一定数量的与标定像素不重合的点，即为训练所用的负样本点；在每张图像上采集的正、负样本点数量比例应近似为1：1，负样本应该尽可能选取到图像的各个位置上，以提高负样本质量；

步骤三十二，提取样本点的多实例特征包；

步骤三十三，分配负样本至子空间中；

步骤三十四，在每个子空间中训练分类器；

对于每个子空间，利用其中的正负样本特征，分别训练各自子空间的分类器；这里的分类器属于二分类，即只需判断样本正、负；在子空间中训练分类器归结为以下过程：

假设该子空间中包含的样本及其标签为集合这里的是第i个样本的多实例特征包，而yi＝maxj(yij)∈{0，1}是第i个样本的标签，其中yij∈{0，1}是第i个样本第j个实例的标签；在训练时只知道yi而不知道yij；训练的实质即是解决下列损失函数的最小化问题：

其中条件概率:p(yi|xi)＝1-πj(1-p(yij|xij))

p(yij|xij)＝(1+exp(-w^txij))^-1

上式的w即为最终要优化的参数，这里采用了逻辑斯特形式的损失函数，其梯度为：

最后，采用随机梯度下降法解决优化问题，得到每个子空间上用于判断样本是否属于对称轴点的分类器。

总之，与现有技术相比，本发明具有以下技术效果：一，自然图像的多实例对称轴特征包能在多个尺度、多个角度上对样本点的对称轴相关特性做出更加全面、准确的描述，有利于最终的提取结果；二，本发明方法的特征提取过程简单易行，易于实现；三，本发明采用的分部随机投影树的训练和测试方法易于实现，是一种有效的多实例聚类方法；四，本发明方法的提取结果召回率、准确率高。

附图说明

图1是本发明基于多实例子空间学习的图像中局部反射对称轴提取方法的流程图。

图2(a)至图2(b)是轮廓强度特征和自相关性特征示意图。

图3(a)至图3(d)是利用本技术提取自然图像对称轴的过程中各阶段的效果示意图。

图4(a)至图4(d)是利用分部随机投影树划分子空间的过程示意图。

具体实施方式

如图1至图4所示，本发明提供的对称轴提取技术提出了一种新的多实例学习方法即多实例子空间学习法。该方法利用分部随机投影树，将多实例特征划分到合适的子空间，而后再对每个子空间分别训练分类器以实现更简便、更准确的对称轴提取，是一种新型对称轴提取方法。首先，对于训练数据集中的自然图像上的各样本点，在多个尺度和角度上提取轮廓强度特征和自相似性特征，合并为这些样本点的多实例特征包，利用正样本的特征包构建分部随机投影树，再将负样本按构建的投影规则分配到合适的叶子节点(子空间)，对于每个子空间训练各自的分类器，最后将测试图像中各样本点按构建的投影规则分配到合适的子空间并利用该子空间的分类器完成对称轴判断，提取得到测试图像的对称轴。本发明是基于多实例子空间学习，利用分部随机投影树对自然图像提取对称轴的。本发明的学习方法区别于现有的方法。

训练数据集：训练数据集是一个自然图像的集合。训练数据集通过用高清照相机采集自然图像得到，图像应该有比较明显的前、背景差别，以便于对其对称轴进行人为标定。对于同一张自然图像，可以只采用一人次的标定结果，也可以对多人次的标定结果进行合成。训练数据集的大小最好要有300至500张左右的图像，过大的数据集会导致运算消耗很大，而较小的数据集效果亦不够理想。对于每张自然图像，我们都可以从其上采样出一些样本点，若样本点与标定的对称轴点重合，则为正样本点，反之为负样本点。简记第i个样本点为xi。

本发明方法包括两个阶段，第一阶段是对训练集合的学习，第二阶段是对测试图像对称轴的提取。

(一)对训练集合的学习

步骤一，获取自然图像的局部图像多实例特征包：对待提取对称轴的自然图像中的各像素，都先依据图像的亮度、颜色、纹理信息，在不同尺度、不同角度下，分别提取其局部图像的轮廓强度特征和自相似性特征，得到该像素的多实例特征簇。随后将这些实例的特征打包并赋予特征包以标签，具体过程如下：对待提取对称轴特征的自然图像上的某一点p，在每个尺度s以及每个角度θ上，我们都考虑这样的两个点pt和pb:它们距离p点s，且它们与p点的连线均垂直于过p点角度为θ的直线，如附图1所示。下面以样本点p为例说明其提取过程，其余点的提取过程相同。过点p作一条与图像底边平行的直线，将这条直线逆时针旋转θ角度，如图1中虚线所示。在该虚线两侧可以找到两个距离p点s长度的两个点p^t和p^b，且要求这两点连线与该虚线垂直。以p^t和p^b为中心，以连线pp^t、pp^b的垂线方向θ为一条边的方向，分别以σ、2σ为边长，可以得到围绕这两个点的两组正方形区域。其中σ可以根据实际情况调整，通常取σ＝4。

为了书写的方便，分别用r(p，a，θ)、r^t(p，a，θ)、r^b(p，a，θ)表示中心位于p，边长为a，角度为θ的正方形、该正方形的上半部分以及其下半部分。用hr表示矩形区域r的局部特征直方图，这里的局部特征我们取了图像的亮度、颜色和纹理。用d(h1,h2)表示直方图h1和h2之间的距离，这里使用欧氏距离。则p点的轮廓强度特征可以用以下式子表示：

对称轴将局部图像分成对称的两个区域，两个区域中的前景像素应该具有较强的相似性，两个区域外侧中的背景像素也应该具有较强的相似性。我们分别用以下两个式子定义前景和背景的自相似性：

最后整合得到p点在s尺度、θ角度下的自相似性特征：

在每个尺度和角度上，我们都通过亮度l*、颜色a*、颜色b*和纹理t*这四个通道计算特征，得到的轮廓强度特征为12维，自相似性特征为8维，组合之后为20维的单实例特征：

对于样本点p，在13种不同的尺度s和8种不同的角度θ上重复计算上述的单实例特征x(p，s，θ)，即可得到关于该样本点的104个单实例特征，将这些特征按一定顺序(比如按尺度、角度依次从小到大)排列、合并为一个特征包，即得到样本点p的多实例特征包。

步骤二、构建分部随机投影树：利用得到的多实例特征包，构建分部随机投影树，完成对数据的划分，以便于训练，具体过程如下：

对于训练数据集中的第i个样本，假设其特征为xi，标签为yi，xi是该样本在不同方向、不同尺度下求出的对称轴特征的集合，即：

用[·]j表述从·中取出第j个实例的运算，则第i个样本的第j个实例可以表示为：xij＝[xi]j，这里的每个实例都代表了一种方向、尺度的组合。

假设训练样本中正样本(正包)的集合为s＝{(xi，yi)|i∈i}，这里那我们可以利用这些正样本，根据以下的方法初步构建树形结构：

首先多次随机选取参数对φ＝(j，b)，这里j是实例编号，而b是一个随机的单位方向向量。对每个φ，都按下式计算σ(φ)：

并求出使σ(φ)最大时的φ，即φ^*＝(j^*，b^*)。

然后，我们可以根据φ^*按如下方法把正样本集s分为左右两个子集：

sl(φ^*)＝{(xi，yi)|i∈il(φ^*)}，sr(φ^*)＝s\sl(φ^*)(2.1-4)

其中

对已分好的各子集再按照以上相同的方法划分，直至树形结构达到规定的最大深度，或者所有叶子节点中的子集大小均小于规定的最小值时停止继续划分。这样就由训练数据集中的正样本得到了分部随机投影树。

步骤三，判决分析：将待提取对称轴的自然图像的多实例特征包与训练数据集中的多实例特征包用子空间分类器分析，得到分析结果。

3.1从训练数据集的自然图像中提取正、负样本点

训练数据集的自然图像是由高清照相机照取的，对于其中的每一个图像，人为标定好对称轴像素点，这些点即为训练所用的正样本点。然后，对于每张训练图像，都在其上随机选取一定数量的与标定像素不重合的点，即为训练所用的负样本点。在每张图像上采集的正、负样本点数量比例应近似为1：1，负样本应该尽可能选取到图像的各个位置上，以提高负样本质量。

3.2提取样本点的多实例特征包

对于训练数据集中每张自然图像上被提取的正、负样本点xi，在不同角度、方向上提取用于计算对称轴特征的两种局部特征：轮廓强度特征fb(xi，s，θ)和自相关性特征fs(xi，s，θ)。

3.3分配负样本至子空间中

对于负样本xi，从根节点开始，依次按步骤二十三中学习到的判断法则进行划分，直至分至叶子结点，即划分至某个子空间，对于每个这样的子空间我们都可以学习出一个判决分类器。这一操作方法同样适用于将测试数据集中的样本划分至子空间中，以便于随后利用该子空间的判决分类器对测试样本进行判别。对于负样本，先利用(2.1-2)式和(2.1-3)式计算φ^*。然后从2.1节构建好的随机投影树的根节点开始，逐层将φ^*代入2.1节中构建的投影法则进行判断：若满足则将该样本分配至该层的左侧子节点；否则，将该样本分配至该层的右侧子节点。直至将该样本分配至某个叶子节点为止。

每个叶子结点即为训练样本空间的一个子空间，在这个子空间中训练分类器要比在总的样本空间中训练分类器简单得多。

3.4在每个子空间中训练分类器

对于每个子空间，利用其中的正负样本特征，可以分别训练各自子空间的分类器。这里的分类器属于二分类，即只需判断样本正(是对称轴上的点)、负(不是对称轴上的点)。在子空间中训练分类器可以归结为以下过程：

假设该子空间中包含的样本及其标签为集合这里的是第i个样本的多实例特征包，而yi＝maxj(yij)∈{0，1}是第i个样本的标签，其中yij∈{0，1}是第i个样本第j个实例的标签。在训练时我们只知道yi而不知道yij。训练的实质即是解决下列损失函数的最小化问题：

其中条件概率:p(yi|xi)＝1-∏j(1-p(yij|xij))(2.3-2)

p(yij|xij)＝(1+exp(-w^txij))^-1(2.3-3)

(2.3-3)式的w即为最终要优化的参数，这里采用了逻辑斯特形式的损失函数，其梯度为：

最后，我们采用随机梯度下降法解决对(2.3-1)式的优化问题，得到每个子空间上用于判断样本是否属于对称轴点的分类器。

(二)测试待识别的图像

1.提取图像特征，同训练过程。

2.分配测试样本至子空间中，与训练过程2.2节中将负样本分配至子空间相同。

上面二个步骤和学习过程一样，对于用户给定的待提取对称轴的自然图像，其上每个像素应均被作为测试样本，提取图像特征，并分配至各自的子空间中。

3.测试待提取对称轴的自然图像

最后，利用相应子空间中的分类器，对测试图像每个样本点(每个像素)进行判别，判断其是否属于该图像的对称轴上的点，得到该图像的对称轴特征图。

假设待测图像上某个样本点的多实例特征包为xt,标签为yt，按照上述方法将其分配到子空间中，则可以由下列式子得到该样本点属于对称轴点集的概率p(yt|xt)：

p(yt|xt)＝1-∏j(1-p(ytj|[xt]j))(3.3-1)

对待测图像上个像素均按上式求出其属于对称轴点集的概率，综合起来即得到待测图像的对称轴分布的概率图，如图3(b)所示。由于本方法是逐像素进行判断的，所以要对上述概率图做非极大值抑制，结果如图3(c)所示。

如果有需要，还可以对于概率图设定一个阈值，只取大于该阈值的点作为对称轴点，即完成对于输出的对称轴概率图的二值化处理，其结果如图3(d)中绿色实线所示。

本发明的过程包括两个阶段，第一阶段是对训练集合的学习，第二阶段是对测试图像对称轴的提取。本发明的学习方法是区别于现有的方法。本发明方法是基于多实例特征以及分部随机投影树的。首先对训练数据集的自然图像采集正负样本点，对这些样本点提取多实例对称轴特征包。然后本发明采用分部随机投影树的方法将提取到的特征划分到不同的子空间。先通过正样本特征构建分部随机投影树，然后将负样本按照构建的投影树分配到叶子结点(子空间)。随后，每个子空间中的正负样本可以训练出该子空间的分类器，在子空间训练这样的分类器比在整个特征空间训练分类器更容易实现。对于待提取对称轴的自然图像中的每个样本点，可以按相同的方法计算出多实例对称轴特征包，并根据构建好的分部随机投影树找到合适的子空间，随后利用该子空间的分类器判断该样本点是否属于对称轴点，最后得到待测图像的对称轴特征。本发明公开了一种基于多实例子空间学习的图像中局部反射对称轴提取方法。对于用户给定的一幅自然图像，本发明会对图像中的局部反射对称轴进行识别和提取，本发明就是基于自然图像的多实例对称轴特征，通过分部随机投影树对图像中的对称轴进行提取的。

本发明公开的多实例子空间学习方法，比现有的方法只在总体特征空间训练分类器更容易训练出合适的分类器；本发明公开的分部随机投影树方法，比现有的其他聚类方法更能抓住对称轴特征的特点，能更合理地将样本点分配至合适的子空间；特征提取过程简单易行，易于实现；提取结果召回率、准确率高；对于自然图像的对称轴提取有较好的效果。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的思路，做一些简单的变化或更改，都落入本发明保护的范围。