一种基于多示例包特征学习的图像多标签标注算法
【技术领域】
[0001]本发明涉及多媒体内容理解和计算机网络内容检索领域，特别涉及一种基于多示 例包特征学习的图像多标签标注算法。
【背景技术】
[0002]随着计算机技术、通信技术和多媒体技术的飞速发展，Internet已成为一个浩瀚 的海量多媒体信息源，人们迫切希望可以利用计算机对规模急剧增长的数字化图像/视频 信息加以自动理解，从而方便用户选择有效的技术手段对这些视觉信息进行有效的组织、 管理和查找。基于内容的图像检索成为了一个重要的研究课题。
[0003]传统的监督学习假设一个图像被表不为一个不例并被标注一个标签。虽然这些方 法已有成功的应用案例，但是随着网络图像种类和语义复杂性的增高，单示例单标签的图 像标注方法已经不能适应实际需求，因此多示例多标签的方法开始被应用于图像多标签的 标注中。Zhou等首先提出了 MMIL-B00ST和MML-SVM分别将多示例多标签退化为多示例单 标签和单示例多标签方法来解决多示例多标签问题。随着这两种方法在图像多标签标注领 域的成功应用，继而又出现了基于排序损失的多示例多标签学习算法，基于迭代度量的多 示例多标签学习算法，快速多示例多标签学习算法，基于隐狄利克雷方法的多示例多标签 学习算法等。
[0004] 这些算法虽然已经较好的应用于图像多标签标注中，但仍存在各种问题。其中较 突出的一个问题是，由于图像包内包含的示例标签不确定性，导致与标签无关的示例带来 了诸多的干扰，使得图像包特征的判别性降低，如何通过学习选择更优的图像包特征是一 个亟待解决的问题。
【发明内容】
[0005] 为解决现有技术存在的不足，本发明公开了一种基于多示例包特征学习的图像多 标签标注算法，本发明的包特征学习算法可以提高图像包的判别性，继而提高分类器的识 别精度，使图像标签的预测更准确，标注更全面可靠。
[0006] 为实现上述目的，本发明的具体方案如下：
[0007] -种基于多示例包特征学习的图像多标签标注算法，包括以下步骤：
[0008] 步骤一:获得训练图像集合并对其中的所有训练图像进行分割，得到所有训练图 像的图像分块的集合；
[0009] 步骤二:对训练图像的图像分块的集合中的每个图像分块提取颜色直方图特征和 方向梯度直方图特征；
[0010] 步骤三:将一个训练图像看作一个图像包，该训练图像的颜色直方图特征和方向 梯度直方图特征看作图像包内的示例，则得到多示例学习框架所需的图像包结构；
[0011] 步骤四：将训练图像集合中所有图像包中的示例组成投影示例集合，每个图像包 通过向该投影示例集合投影得到图像包的投影特征；
[0012] 步骤五:将图像包的投影特征经过范式约束的稀疏表示模型进行特征学习，选择 出判别性高的特征作为图像包的分类特征；
[0013] 步骤六:将学习出的训练图像集合的图像包的分类特征送入SVM分类器进行训练， 得到训练模型的参数，用训练好的SVM分类器对未知标签信息的测试图像标签进行预测。
[0014] 进一步的，所述步骤一中，对训练图像进行分割时，以像素RGB颜色值作为聚类目 标，采用模糊C均值聚类算法进行图像分割。
[0015] 进一步的，所述步骤二中，颜色直方图特征和方向梯度直方图特征的提取具体步 骤如下：
[0016] 步骤2.1:分别提取图像分块中每个像素的R，G，B颜色值；
[0017] 步骤2.2:将颜色值平均分为16组，以16作为组距，分别统计R，G，B三种颜色值在每 组颜色值范围内的像素数，并采用最大值归一化后，得到R，G，B三种颜色的直方图；
[0018] 步骤2.3:将R，G，B三种颜色直方图首尾相接得到48维的分块图像的颜色直方图特 征列向量，继而得到颜色直方图；
[0019] 步骤2.4:将图像分块进行灰度化，并提取每个像素灰度值；
[0020]步骤2.5:采用Gamma校正法对输入图像分块进行颜色空间的标准化；
[0021]步骤2.6:计算图像分块每个像素的梯度；
[0022]步骤2.7:将梯度方向360度分为12组，组距30度，来统计每个图像分块的方向梯度 直方图；
[0023]步骤2.8:将颜色直方图与方向梯度直方图首尾相接，则得到图像分块的特征值向 量，用列向量表示。
[0024]进一步的，步骤2.6中，在计算图像分块每个像素的梯度时具体的计算步骤如下：
[0025] 步骤2.6.1:计算每个像素点(X，y)的梯度如下：
[0026] Gi(x,y)=H(x+l ,y)-H(x-l ,y)
[0027] G2(x,y)=H(x,y+l)-H(x,y-l)
[0028] 式中，Gi(x,y)，G2(x,y)，H(x,y)，分别表示像素点(x,y)处的水平方向梯度、垂直方 向梯度和像素灰度值；
[0029]步骤2.6.2:计算每个像素点(x，y)处的梯度幅值和梯度方向如下：
[0030]
[0031] 进一步的，所述步骤2.7中，所述统计过程为：如果一个像素的梯度方向在直方图 某组梯度方向数值范围内，则该组统计计数根据该像素梯度大小增加相应的计数;统计好 的方向梯度直方图进行最大值归一化后，则得到维数为12维的图像分块方向梯度直方图， 用列向量表示。
[0032]进一步的，所述步骤三中，用一个矩阵表示一个图像包，矩阵的每列为步骤2.8中 所得到的每个图像分块示例的特征向量。
[0033] 进一步的，所述步骤四中，具体步骤为：
[0034] 步骤4.1:收集所有训练图像集合的所有示例，组成投影示例集合P={P1，…，
[0036] pm，···，pM}，其中，Μ表示所有示例数，pm为投影示例集合的第m个示例；[0035] 步骤4.2:计筧图像包到毎个投影示例的距离，其计算如下：
[0037]
[0038] 其中，Xi为第i个图像包，xi,j为第i个图像包的第j个示例，pm为投影示例集合中的 第m个示例，σ为高斯距离参数，取1~2之间的值，s( Xld，pm)所求的是包内示例到投影示例 的高斯距离，图像包到投影示例的距离dUuPm)所求为图像包内所有示例到投影示例高斯 距离中的最小距离；
[0039]步骤4.3:将图像包到所有投影示例的距离值排成一列，得到图像包的投影特征。 [0040]进一步的，所述步骤五中的具体步骤为：
[0041]步骤5.1:将训练图像集合中每个图像包的投影特征作为矩阵的列，得到训练集投 影特征矩阵ζ=[ζι，…，Ζι，···ΖΝ]，其中，N为训练集图像包的数量，将训练图像集中每个图像 包的标签值作为列，得到训练集合图像包标签矩阵Υ = [ yi，…，y i，…yN ]，其中每个图像包的 标签值yi为一个列向量，其维度为图像集的标签总数，其元素数取值为[0，1]，如果元素值 为1，则对应的标签被标注到该图像，否则，该标签不被标注到该图像；
[0042] 步骤5.2:构造 12, i范式约束稀疏表示模型如下：
[0043]
[0044]其中，W为l2a范式约束稀疏表示模型要求解的特征选择系数；
[0045] 步骤5.3:采用增广拉格朗日算法求解出12>1范式约束稀疏表示模型中的特征选择 系数W;
[0046] 步骤5.4:记录W中的非零行序号集合为IX，选取训练集投影特征矩阵Z中序号为IX 的行则得到学习的图像包分类特征。
[0047] 进一步的，所述步骤六中，具体步骤为：
[0048]步骤6.1:将步骤五中学习到的训练图像集合图像包分类特征分别送入不同标签 对应的SVM分类器进行训练，则每一个标签学习得到一个SVM分类器；
[0049] 步骤6.2:用模糊C均值聚类算法将测试图像进行图像分割，得到测试图像分块；
[0050] 步骤6.3:对每个测试图像分块提取颜色直方图特征和方向梯度