一种融合深度特征和语义邻域的自动图像标注方法与流程
技术特征：
1.一种融合深度特征和语义邻域的自动图像标注方法，其特征在于，包括以下步骤：
步骤S1：对训练图像进行语义分组，将一个标签所包含的所有图像作为一个语义组，并按组将所述训练图像输入训练好的CNN深度网络；
步骤S2：通过逐层卷积和逐层采样将训练图像转化为特征向量，并提取每个语义组的训练图像的特征；
步骤S3：将待标注图像输入所述训练好的CNN深度网络，按步骤S2对所述待标注图像进行特征提取；
步骤S4：计算所述待标注图像和每一个语义组中所有训练图像的视觉相似度，并构建邻域图像集；
步骤S5：计算待标注图像的标签的贡献值，并根据贡献值大小得到预测关键词。
2.根据权利要求1所述的融合深度特征和语义邻域的自动图像标注方法，其特征在于：所述步骤S2的具体内容如下：
步骤S21：构建AlexNet网络，并用训练集充分训练整个网络，以得到训练好的网络模型；
步骤S22：对待提取特征的图像进行尺寸缩放，令I＝{I0,I1,…,IN-1}为尺寸缩放后的图像集；其中N为图像数，Ii＝[f1,f2,…,fM]T为图像Ii的原始像素，M为像素数；
步骤S23：用训练好的卷积核执行前馈卷积运算，输出卷积层特征图；设第i层神经元的输入特征为I(i)，第i层神经元和第i+1层神经元间的卷积核为K(i+1)，则第i+1层神经元的输入，即第i层卷积层的输出为：其中，
为卷积运算，b(i+1)为第i层和第i+1层间的偏置，f(·)为激活函数；
步骤S24：对所述卷积层特征图执行下采样运算，输出简化后的特征图；设第i层采样层的输入为I(i)，将I(i)划分为区域Rk,k＝1,…,m，m为划分出来的总的区域数，计算方法如下：令I(i)为n×n的特征图，则采样操作可按如下方式实现：
pool(Rk)表示对区域Rk中的像素点取最大值；
步骤S25：执行全连接运算，输出图像特征；设第l层为全连接层，所述全连接层的权重为Wl，则图像特征F为：F＝f(Wl·I(l-1)+b(l))；其中，I(l-1)为全连接层的前一层输出，b(l)为全连接层的偏置，f(·)为激活函数。
3.根据权利要求2所述的融合深度特征和语义邻域的自动图像标注方法，其特征在于：所述激活函数取ReLu函数，即f(x)＝max(0,x)。
4.根据权利要求2所述的融合深度特征和语义邻域的自动图像标注方法，其特征在于：所述步骤S4的具体内容如下：
步骤S41：首先对图像标注问题进行符号定义，用I＝{I1,I2,…IN}，表示训练图像，其中N为训练图像数，并用W＝{w1,w2,…,wM}表示训练集中包含的关键词，M为关键词数；则图像标注问题的训练集可以记为：Ω＝{(I1,W1),(I2,W2),…,(IN,WN)}，这里的Wi为M维向量Wi∈{0,1}M，当Wij＝1时，表示图像i包含关键词wj；而当Wij＝0时，表示图像i不含关键词wj；
步骤S42：定义图像的语义邻域，将每个关键词所包含的所有图像看成一个语义组，那么，所有关键词对应的语义组集按如下方式表示：其中，wi为关键词，
为和关键词wi关联的所有图像，
步骤S43：构建待标注图像的邻域图像集；令为关键词wi对应的语义组，对待标注图像I，我们从Gi中选出与图像I视觉相似度最高的k幅图像得到局部子集
其中，k为正整数且3≤k≤8；当所有语义组的局部子集都获取到后，对它们进行合并，最终得到针对待标注图像I的邻域图像集：
5.根据权利要求4所述的融合深度特征和语义邻域的自动图像标注方法，其特征在于：所述步骤S5的具体内容如下：
步骤S51：将图像标注的预测问题转化为求后验概率的问题，首先定义条件概率P(I|wk)，它表示关键词wk和图像I的概率关系；由概率转换公式可知，图像关键词的预测值可按如下式子计算：其中，P(wk)和P(I)为先验概率；因此，给定一幅待标注图像I，它的预测关键词可以通过对所有关键词的预测值排序得到，即：
步骤S52：根据公式可知，对P(wk|I)的计算就转化为对P(I|wk)的计算；对于给定关键词wk∈W，它与图像I构成的概率关系定义如下：
其中，P(wk|Ii)∈{0,1}用于控制在图像Ii中哪些关键词需要增加贡献值，哪些不需要增加贡献值，具体表示为：
即，当图像Ii包含关键词wk时，P(wk|Ii)＝1，当图像Ii不包含关键词wk时，P(wk|Ii)＝0；
步骤S53：公式中的
为图像Ii对于图像I的贡献值，计算方法定义如下：
其中，χ为固定常数，β为正整数，Dis(I,Ii)为图像I和图像Ii间的归一化后的视觉距离，计算方法如下：
其中，L(.)表示为两个向量间的距离公式。
6.根据权利要求5所述的融合深度特征和语义邻域的自动图像标注方法，其特征在于：所述步骤S53中，固定常数的取值为：χ＝1.0；β的取值为5≤β≤30。
- 还没有人留言评论。精彩留言会获得点赞！