一种多视图图像自动标注方法与流程

技术特征：

1.一种多视图图像自动标注方法，其特征在于，所述方法包括如下步骤：

(1)设置已标注图像的语义标签和多种视觉特征作为多种视图，输入到多视图稀疏模型中进行训练学习，得到各视图字典和各视图权值因子；所述各视图字典包括多个视觉特征视图字典和一个标签视图字典；

(2)输入待标注图像的多种视觉特征；

(3)利用所述各视图字典和所述各视图权值因子稀疏重构所述待标注图像，计算得到标签视图的稀疏重构系数；

(4)将所述标签视图字典和所述标签视图的稀疏重构系数相乘，得到待标注图像语义标签的分值；

(5)将分值从高到低排列，选择前5个语义标签标注所述待标注图像。

2.如权利要求1所述的多视图图像自动标注方法，其特征在于，步骤(1)在进行训练学习前，对所述稀疏模型的目标函数进行修正，设置各视图使用不同的稀疏系数，增设加权的一致性正则项，得到修正后的目标函数，其表达式为：

式中，v为视图序号，v＝1,2,…,V+1；V为视觉特征数目；X^(v)为所有训练图像第v个视图的特征矩阵，N为训练图像数目，Pv为第v个视图的特征维度；D^(v)为第v个视图字典，Nd为字典原子数目；α^(v)为第v个视图的稀疏系数矩阵，F为Frobenius范数；||α^(v)||1，∞为控制稀疏系数各行之间稀疏性的正则项；||(D^(v))^T||1,∞为控制字典结构各列之间稀疏性的正则项；为一致矩阵；为控制各视图稀疏系数矩阵和一致矩阵之间不一致性的正则项；ω^(v)为第v个视图的权值因子，取值归一化在[0,1]范围内，且其中σ是熵的限制值；λ1为稀疏系数正则项的调节系数；λ2为稀疏字典正则项的调节系数；λ3为一致正则项的调节系数。

3.如权利要求1所述的多视图图像自动标注方法，其特征在于，步骤(1)所述多种视觉特征包括手工设计特征和基于VGG的深度学习特征；

所述手工设计特征包括RGB、LAB、HSV、DenseHue、HarrisHue、DenseSIFT、HarrisSIFT、DenseSIFTV3H1、HarrisSIFTV3H1、DenseHueV3H1、HarrisHueV3H1、RGBV3H1、LABV3H1、HSVV3H1和GIST；

当多种视图输入到多视图稀疏模型中进行训练学习，语义标签作为一个视图参与训练学习。

4.如权利要求2所述的多视图图像自动标注方法，其特征在于，采用轮流优化方法求解所述修正后的目标函数，包括：

固定第v个视图字典D^(v)和第v个视图的权值因子ω^(v)的值，简化所述修正后的目标函数为：

利用上式更新所述稀疏系数矩阵α^(v)的值；

当在一次迭代中所述稀疏系数矩阵α^(v)的值更新后，计算一致矩阵表达式为：

固定第v个视图的稀疏系数矩阵α^(v)和第v个视图的权值因子ω^(v)的值，简化所述修正后的目标函数为：

利用上式更新所述第v个视图字典D^(v)的值；

固定第v个视图字典D^(v)和稀疏系数矩阵α^(v)的值，简化所述修正后的目标函数为：

上式中，ξ是拉格朗日乘子，ξ＞0；更新所述第v个视图的权值因子ω^(v)的表达式为：

5.如权利要求4所述的多视图图像自动标注方法，其特征在于，步骤(3)利用所述各视图字典和所述各视图权值因子稀疏重构所述待标注图像，计算得到标签视图的稀疏重构系数，具体包括：

通过对下式求解，得到待标注图像各视觉特征视图的重构系数向量αt^(v)：

式中，为待标注图像的视觉特征视图，v＝1,2,…,V；为待标注图像视觉特征视图的稀疏系数的均值向量；

通过加权平均所述待标注图像各视觉特征视图的重构系数向量估计待标注图像的标签视图的稀疏系数向量，表达式为：

式中，为待标注图像的标签视图的稀疏系数向量。