一种图像对象共定位及无关样本判定方法
【技术领域】
[0001] 本发明属于图像处理、计算机视觉技术领域，是一种图像对象共定位及无关样本 判定方法。
【背景技术】
[0002] 给定可能包含相同类别物体的输入图片集，图像对象共定位（Co-localization) 主要研究在缺乏标注的情景下如何能够从中定位出相似物体的具体位置，以便更好的，更 快速地自动识别单一类别的物体。对此首先需要进行无标注图像的对象性（〇bjectness) 分析研究，在2010年，Alexe等人提出了图像对象性的概念，利用显著前景分析等方法在 没有任何标注的图像上提取可能包含对象的区域，该方法综合考虑了颜色对比度（Color Contrast)，边缘密度（Edge Density)以及超像素跨度（Superpixels Straddling)，可以对 无标注的图像生成多个检测区域并给出对象性检测得分（Objectness score)。
[0003] 另外需要考虑的是图像显著性检测，2013年Jiang等人提出了一种区域特征整合 的显著性检测方法，该方法将显著性检测问题看做一个回归模型，利用多层图像分割结果 十分有效地获取图像显著图。
[0004] 而在特征优化理论方面，最大流最小割定理是图像处理及计算机视觉领域的常用 分析算法。最大流最小割定理指：假设N = (V，e)是一个有向图，其中结点S和t分别是N的 起点和终点。在一个网络流中，能够从起点到达终点的最大流量，等于如果从网络中移除就 能够导致网络流中断的边的集合的最小容量和。网络流定义f定义为|f| = sum {f(s，v)}， 代表从源点流入汇点的流量。最大流问题即是求得|f|的最大值。在比率函数的应用与优 化方面，2014年Bai等人提出了一种结合用户输入与使用比率能量函数优化graph cut图 像分割结果的方法。该方法中对于比率函数：
，则可将比率能量函数改写为如下线性形式：
[0008] 改写之后的线性形式，可以使用牛顿迭代法对比率能量函数进行迭代优化，而且 有较高的迭代效率，且可以获得稳定的等价最优解。
[0009] 在相关技术方面，2010年，Alexe等人提出了图像对象性的概念，利用显著前景分 析等方法在没有任何标注的图像上提取可能包含对象的区域，该方法综合考虑了颜色对比 度（Color Contrast)。2010年Shai Bagon等人提出了一种物体协同检测与素描生成方 法。输入少量包含同一物体的图片，可以检测出其中包含的物体并且给出一个二值的草图。 该算法由两部分组成：（1)通过所有输入图片检测出一个相互一致的总体性的"自相似描 述子"(self-similar)。（2)找到这样一个全体性描述子之后，经过转化精炼得到一个最能 表现该对象的草图。这些草图适用于检测，检索，协同分割，以及绘图等。在图结构应用方 面，2012年Thomas Deselaers等在IJCV上的论文中提出了一种基于属性知识的弱监督学 习和定位方法。该方法首先提供一些经过弱标注（Weakly Supervised Localization)的 图片，物体定位信息并没有给出，弱监督学习需要学习一个物体类别模型，可以被用来决定 一张测试图片是否包含一个类别甚至将其定位出来。方法中的定位模型是一个稠密的CRF 模型。其中每个训练图片都是一个节点，节点空间大小足以包含图片内的窗口集。其中的 单点势能（Unary potential)测量的是一个窗口包含一个种类物体的可能性，而对于成对 点势能（Pairwise potential)则是表示两个窗口是否包含同一未知类别的物体。
[0010] 2014年澳大利亚国立大学的Zeeshan Hayder等人发明了 一种通过建立一个 稠密的条件随机场并进行协同检测的方法，该方法旨在利用整个图像集的协同信息解决 co-detection的问题，其中关键的步骤在于建立了一个以代表物体之间相似性为边缘值的 CRF模型。该方法学习一个相似函数使得可以更有效率地进行能效推断，这与之前许多方法 利用贪婪性算法进行搜索计算不同。首先该方法给出了一些物体代表区域，利用事先训练 的检测器在保证高度查全率的基础上进行物体检测，然后将检测结果输入全连接的CRF模 型，最终计算优化结果。2014年，Kevin Tang等人提出了一种对真实图像进行共定位的方 法，该方法运用了一种图片与包围盒相结合的模型来进行联合求解。首先对输入图片进行 对象窗口显著性分析（〇b jectness measure)，然后生成对象包围盒，将原始输入图片和包 围盒（Bounding boxes)信息分别输入各自模型进行处理。最后将两者进行联合求解得到 最佳的包围盒信息。包含物体的包围盒标注为1，不包含物体的包围盒标注0。组合两个模 型时，需要依靠图像模型来防止包围盒模型受到无关样本的干扰，且模型中需要引入对每 个包围盒的先验信息来判断无关样本。
【发明内容】
[0011] 根据上述实际需求和关键问题，本发明的目的在于：提出了一种图像对象共定位 及无关样本判定方法，在标准测试数据集上有良好的表现。
[0012] 为完成本发明的目的，本发明采用的技术方案是：图像对象共定位及无关样本判 定方法，主要包括如下步骤：
[0013] (1)给定由η张图片组成的可能包含同一类物体的图片集：11= 对每张图像?使用对象性分析（〇bjectness measure)，对象性分析主要用于对无标注图像 提取假设区域，在每输入图像上得到K个对象假设区域，总共n*K个假设区域，每个区域的 对象性检测得分为八/G= I么…人）_·.对每个对象假设区域赋予一个二值变量 = 1，2,…，n ;j = 1，2,…，Κ)，1表示第i张图像中的第j个对象区域被选中， Χ?^= 0则表示该区域被认为是无关样本排除。
[0014] (2)对给定的图片集中的所有图像的每个像素点均生成128维的dense sift 特征，后利用Kmeans算法生成1000维的特征字典。根据特征字典对于每个区域均可得 到1000维的Bag-of-words特征直方图，每个区域的特征表示为4 j (i = 1，2,…，η ; j = 1，2,…，K)，& ,表示第i张图像中的第j个对象区域的特征，将所有特征组合表示为矩阵 形式，可以得到特征矩阵D。
[0015] (3)对给定的图片集中的所有图像生成显著图，显著图以灰度图像表示。通过计 算第i张图像中的第j个对象区域的的平均灰度得到每个区域显著性检测得分项\ , (i = 1，2,…，n ;j = 1，2,…，Κ) 〇
[0016] (4)通过以下几步构建全连接的图结构关系，以比率函数形式：
[0017] 1、计算区域总得分项作为顶点惩罚值（unary cost)，得到区域对象性得分以及显 著性得分后，第i张图像中的第j个对象区域的总得分项uu的计算方式如下：
[0019] 其中a、,为显著性得分，Φ i,为对象性检测得分，μ为大于0小于1的调节系数， 为最终的总得分。
[0020] 2、计算区域特征距离的函数作为边惩罚值（pairwise cost)，对于所有区域的特 征距离矩阵S的计算公式如下：
[0022] 其中，fkl、fk2分别为第k p k2个假设区域的特征向量。γ为特征系数，取值为 (10d) 1/2,其中d为特征维度，取值为1000。特征距离的计算使用到了卡方距离，卡方距离 公式如下：
[0024] 3、在计算得到特征距离矩阵S后，为了便于进行优化计算，引入拉普拉斯矩阵转 换，将特征矩阵S改写为正定矩阵L。拉普拉斯矩阵的计算公式为L = I-D1/2SD1/2,其中I 单位矩阵，D为度矩阵，S为特征矩阵。由于拉普拉斯矩阵是正定的，该优化问题化解成为一 个求解凸函数的过程，可以进行有效求解。根据拉普拉斯矩阵和总得分项得到的二次优化 问题：
[0028] 优化式的最终解X为{0, 1}二值向量。对于单张图片中所有的区域的解之和，加 以一个约束向量v，使得每张图像中的区域解
目的在于进行无关样本判定。如 此，将二次优化式改写为比率函数形式：
[0032] 比率函数形式的含义在于最小化能量惩罚项的同时使得每张图像上所有的假设 区域的解尽可能偏大，防止〇解。
[0033] (5)在将表达式改写成为比率函数形式之后，为了便于计算，将自变量松弛为0到 1之间的连续值，同时将约束向量也作为自变量加入优化式中，比率函数变为：
[0037] 其中新自变量y = [x;v]，Lext表示为0元素扩展后的拉普拉斯矩阵，uext为0元 素扩展后的区域得分向量，Μ为常量，c是系数矩阵使得