对于多分类器的属性分析图；
[0028] 图4是本发明中多分类器类别独特性与类别无关性的分布图；
[0029] 图5是本发明的检测效果图；
[0030] 图6是本发明的联合检测过程示意图。
【具体实施方式】
[0031] 本发明提出了一种多分类器联合的弱标注图像对象检测方法，包括以下步骤：
[0032] (1)给定包含m个类别的多类别训练图片集，每个，对每个类别给予一个类别标 签，定义为L= {Li，L2,. ..，LJ(i= 1，2,. . .，M)。每个类别包含Ni张图像（i= 1，2,. . .，M)。
[0033] (2)利用对象性检测方法对所有图像进行对象性分析（ObjectnessMeasure)，每 张图像生成K个候选区域。
[0034] (3)对每个区域块，利用在ImageNet数据集上已训练好的卷积神经网络（CNN)模 型，对于每个区域抽取fc7层4096维特征。
[0035] (4)对每个类别生成的目标区域特征分别使用聚类算法（如Kmeans算法）进行聚 类，对第i类别得到(；=[Ni/100]个聚类中心以及对所有区域特征的聚类结果。
[0036] (5)根据之前的聚类结果，对上述每个类别集合分别训练线性SVM分类器，采用 10-fold交叉验证法进行迭代优化（即把数据集分成10个子集，10个子集中得1个作为测 试集，而其余的9个数据集作为训练集），得到个图像中层区域分类器。每个中层分类 器的训练时使用这个区域特征集的全部特征作为正样本，而使用其他特征集合内随即挑选 的特征作为负样本。
[0037] (6)计算分类器之间的相似性，需要估计两个聚类集合之间的相似性：首先在验 证集合validation集合上生成对象性检测区域。然后利用每个中层分类器在validation set上进行检测，依据可信度对测试结果进行由大到小排序，排序编号进行记为P(i，k)，取 前Tr个可信度最高的区域，比对其重合度，重合度的计算式如下所示：
[0038]
[0039] 其中P(i，k)表示第i个分类器在第k个类别上的测试结果，M表示类别的总个数。
[0040] (7)如图2所示，需要在计算分类器的相似性后，分别可以由类内和类间相似性度 量得到分类器的类别独特性（TF)和类别无关性（DF)。将i类的分类器集合记为gl，则有：
[0041]
[0042]
[0043]大致的T(i)，D(i)分布情况如图4,所示。
[0044] (8)对于输入的图片集合利用对象性分析对每张图像生成K个候选区域，并以 相同方式生成区域特征，对于每个候选区域利用多分类器进行联合检测，检测得分的计算 式：
[0045]
[0046] (9)最终的得分可被认为是用有该类别独有的特征而排除了类间共同特征，即拥 有最小的类内同性和类间异性。而为了改善联合检测的效果我们在得分项中添加对象性估 计：F(R) =F。(R) +A? 〇 (R)
[0047] 最终结果选取排名最靠前的区域作为检测结果。
【主权项】
1. 一种多分类器联合的弱标注图像对象检测方法，其特征在于包括如下步骤： (1) 图片集预处理：输入包含M个类别标签的弱标注的图像数据集，进行对象性分析得 到对象性区域集化OXproposals); (2) 生成区域特征，依据不同类别标签进行特征聚类； (3) 根据聚类结果，对每个对象性区域集训练中层区域分类器； (4) 计算每个中层区域分类器类别属性； (5) 根据多分类器联合分析结果，得到联合检测器，用于图像对象检测。2. 如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于：其中， 在所述步骤（1)中，选取的输入训练图片集可包含M个类别，每个类别包含Ni张图像，i= 1，2,...，M;利用对象性检测方法对所有图像进行对象性分析，每张图像生成K个候选区 域;M个类别的类别标签集定义为L= {Li，Lz,. ..，LJ(i= 1，2,. . .，M)，对于每个弱标注训 练集，仅需输入图像集合的类别标签，而不需要输入对图像内部对象位置的具体标注信息。3. 如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于，其中 所述步骤（2)，对于生成的所有图像候选区域进行特征分析时，使用ImageNet数据集训练 的卷积神经网络模型，抽取神经网络模型的层的特征作为代表特征共4096维；之后对 每个类别生成的目标区域特征分别使用聚类算法进行聚类，对第i类别得到Ci= [Ni/lOO] 个聚类中屯、W及对所有目标区域特征的聚类结果。4. 如权利要求3所述的多分类器联合的弱标注图像对象检测方法，其特征在于：所述 步骤（3)，根据之前的聚类结果，对上述每个类别集合分别训练线性SVM分类器，得到 个图像中层区域分类器；每个中层分类器的训练时使用运个区域特征集的全部特征作为正 样本，而使用其他特征集合内随机挑选的特征作为负样本。5. 如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于：所述 步骤（4)，对于每个中层区域分类器，计算与相同类别内其他分类器的相关性，得到分类器 的类别独一性；对于每个中层区域分类器，计算每个分类器与不同类别其他分类器的相关 性，得到分类器的类别无关性。6. 如权利要求5所述的多分类器联合的弱标注图像对象检测方法，其特征在于：对 于多分类器的相关性，根据多分类器分析结果，需要计算分类器之间的相似性对输入图片 进行联合分析与检测；在计算分类器的相似性时，首先需要估计两个聚类集合之间的相似 性：先在验证集合validation集合上生成对象性检测区域；然后利用每个中层分类器在 validationset上进行检测，依据可信度对测试结果进行由大到小排序，排序编号进行记 为P(i，k)，取前Tr个可信度最高的区域，比对其重合度，重合度的计算式如下所示：其中P(i，k)表示第i个分类器在第k个类别上的测试结果，M表示类别的总个数。7. 如权利要求5所述的多分类器联合的弱标注图像对象检测方法，其特征在于： 在计算分类器的相似性后，分别由类间相似性和类内相似性得到分类器的类别独一性 (category-specificattribute) 及类另U无关t生（category-irrelevantattribute) !尋 i类的分类器集合记为gl，则有：T(i)是类别gi内的第i个分类器的类别独一性，Da)是类别g1内的第i个分类器的 类别无关性；T(i)表示一个分类器在类内的相似度，拥有较大T(i)的分类器，被认为能更 好的代表运个类别的特征；T(i)表示一个分类器在类间的相似度，拥有较大D(i)的分类器 有较大的类间相似度，被认为是更能表现不同类别物体中的相同场景区域特征。8.如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于：获取 的多个中层区域分类器W及相对应的属性分析结果，后利用多分类器进行联合测试；对于 输入的测试图片集合同样生成K个候选区域，并W相同方式生成区域特征，对于每个候选 区域利用多分类器进行联合检测，检测得分的计算式：式中，T(i)是区域R在第i个分类器上的检测得分，T(i)，D(i)可W被认为是第个分类 器的词频属性和逆向文件频率属性；最终的得分被认为是用有该类别独有的特征而排除了 类间共同特征，即拥有最小的类内相似性和类间相异性；得分项F(R)计算方式： F(R) = Fo(R) +入? O(R) 而为了改善联合检测的效果我们在得分项中添加对象性估计，其中A是0到1的值， 加入A能有效调节最终的结果，使得对于物体的识别性能达到最佳；最终结果选取排名最 靠前的区域作为检测结果。
【专利摘要】本发明是一种多分类器联合的弱标注图像对象检测方法，包括：输入M个不同标签的弱标注图像集，对其中的所有图片进行对象性分析，生成对象性区域集；对区域集生成图像特征，后对不同标签特征集分别进行聚类；根据聚类的结果，对每个聚类后区域集合训练中层区域分类器；每个分类器分别计算类别属性；输入测试图像，进行对象性分析得到区域块，生成区域特征。使用多分类器进行联合检测，判断出包含该类别对象的区域。本发明在多类别图像对象联合检测方面有良好的表现，可应用于图像对象自动标注，图像对象识别等领域。
【IPC分类】G06K9/62
【公开号】CN105205501
【申请号】CN201510643148
【发明人】李甲, 陈小武, 张宇, 赵沁平, 王晨
【申请人】北京航空航天大学
【公开日】2015年12月30日
【申请日】2015年10月4日