一种基于弱监督学习的图像语义解析方法与流程

文档序号:17465900发布日期:2019-04-20 05:30阅读:199来源:国知局

本发明涉及多媒体内容的自动分析与理解技术领域,具体为一种基于弱监督学习的图像语义解析方法。



背景技术:

图像语义解析是将图像分割和区域标注结合在一起的一个任务,是一种更高级别的图像理解技术,它不仅可以给图像添加语义标签,还可以将标签添加到图像中的对应区域,实现更细粒度的图像语义理解;

随着互联网进入web2.0时代,越来越多的用户使用语义标签对网络图像进行标注,并在图片分享网站flickr,picasa上进行分享,这些图像数据呈现爆炸式的增长,给图像的索引和检索带来了巨大挑战,为此,快速、有效的自动图像标注成为了当前研究的热点问题,图像分割和区域标注两者是密不可分并且相互促进的,准确的图像分割可以为区域标注提供精确的视觉特征表示,反之,好的区域标注结果同样可以促进图像分割,因为具有同样语义标签的像素就属于同一个物体;

图像语义解析是一种细尺度的图像标注技术,它不仅仅要指出图像中“有什么”,还要指出“在哪里”,即把语义标签映射到图像中相应的区域上去,从而实现更细致准确的标注效果,目前已有的图像语义解析方法,大部分都依赖于精确标注的训练数据,即人工标注到像素级别的训练图像,但是大数据时代的网络图像内容变化多端,语义分散各异,耗费人力的手工标注方法越来越不能满足需要。



技术实现要素:

本发明的目的在于提供一种基于弱监督学习的图像语义解析方法,以解决上述背景技术中提出的问题。

为实现上述目的,本发明提供如下技术方案:一种基于弱监督学习的图像语义解析方法,包括以下步骤;

步骤一、将图像分割成45-55个大小适中的块,提取具有判别力的区域特征;

步骤二、采用线性分类器作为判别的聚类方式,并采用范数对分类器进行约束;

步骤三、将分割后的图像区域特征进行聚类,将聚类后的图像集划分为若干个类别的子区域;

步骤四、将同一类别的子区域聚在一类得出结果;

s1、通过图像级别标签与图像子区域标签的对应约束关系建立目标模型;

s2、将图像子区域的聚类集合分配语义标签;

s3、输入带有语义标签的图像,使用shdc方法对同一类别的子区域进行聚类;

步骤五、输出语义一致的图像区域进行合并,得到图像的最终解析结果。

优选的,步骤一中,区域的特征可以从颜色、纹理和形状作为特征来提取。

优选的,步骤一中,区域的特征可以从图像中的显著点作为特征进行提取。

优选的,步骤一中,采用范数重构的方式计算子区域之间的视觉相似度,同时使用cccp的优化方法与非负乘子法的迭代更新过程对范数项进行优化。

优选的,步骤一中,使用slic的分割方法来对每幅图像进行分割。

优选的,在图像区域进行合并时根据颜色直方图距离的大小,判断是否对图像区域a和图像区域b进行合并。

与现有技术相比,本发明的有益效果是:本发明提供了一种基于弱监督学习的图像语义解析方法;

1、通过分割方法得到的图像子区域进行聚类,利用图像级别标注与图像子区域标签的关系建立了误差最小化的弱监督学习模型,为各图像子区域分配语义标签,可以达到精度高,准确度高,使用较少的参数就达到较高的语义描述精度;

2、充分利用了区域之间的上下文关系,减少了信息损失,使用shdc方法对同一类别的子区域进行聚类,聚类的效果更好,可以对物体类样本和背景类样本分别度量,从而增强了对物体类和背景类之间的判别力,可以很好地满足实际应用的需要,适用性强。

具体实施方式

下面将结合本发明的实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:

本发明提供一种技术方案:一种基于弱监督学习的图像语义解析方法,包括以下步骤;

步骤一、将图像分割成48个大小适中的块,使用slic的分割方法来对每幅图像进行分割,提取具有判别力的区域特征,采用范数重构的方式计算子区域之间的视觉相似度,对噪声不那么的敏感,而且能够隐式的反映空间信息,更适用于分类任务,同时使用cccp的优化方法与非负乘子法的迭代更新过程对范数项进行优化;

区域的特征可以从颜色、纹理和形状作为特征来提取,颜色特征是图像最底层,最直观最明显的物理特征,纹理特征是某些近似形状的重复分布,形状特征是物体的外边界,从颜色、纹理和形状作为特征来提取具有计算简单表达直观的特点;

步骤二、采用线性分类器作为判别的聚类方式,并采用范数对分类器进行约束;

步骤三、将分割后的图像区域特征进行聚类,将聚类后的图像集划分为若干个类别的子区域;

步骤四、将同一类别的子区域聚在一类得出结果;

s1、通过图像级别标签与图像子区域标签的对应约束关系建立目标模型;

s2、将图像子区域的聚类集合分配语义标签;

s3、输入带有语义标签的图像,使用shdc方法对同一类别的子区域进行聚类,使用shdc方法代替了传统的谱聚类,实现更佳的聚类效果;

步骤五、输出语义一致的图像区域进行合并,得到图像的最终解析结果,在图像区域进行合并时根据颜色直方图距离的大小,判断是否对图像区域a和图像区域b进行合并。

实施例2:

本发明提供一种技术方案:一种基于弱监督学习的图像语义解析方法,包括以下步骤;

步骤一、将图像分割成50个大小适中的块,使用slic的分割方法来对每幅图像进行分割,提取具有判别力的区域特征,采用范数重构的方式计算子区域之间的视觉相似度,对噪声不那么的敏感,而且能够隐式的反映空间信息,更适用于分类任务,同时使用cccp的优化方法与非负乘子法的迭代更新过程对范数项进行优化;

区域的特征可以从图像中的显著点作为特征进行提取,可以灵活的描述出图像的局部信息和细节内容

步骤二、采用线性分类器作为判别的聚类方式,并采用范数对分类器进行约束;

步骤三、将分割后的图像区域特征进行聚类,将聚类后的图像集划分为若干个类别的子区域;

步骤四、将同一类别的子区域聚在一类得出结果;

s1、通过图像级别标签与图像子区域标签的对应约束关系建立目标模型;

s2、将图像子区域的聚类集合分配语义标签;

s3、输入带有语义标签的图像,使用shdc方法对同一类别的子区域进行聚类,使用shdc方法代替了传统的谱聚类,实现更佳的聚类效果;

步骤五、输出语义一致的图像区域进行合并,得到图像的最终解析结果,在图像区域进行合并时根据颜色直方图距离的大小,判断是否对图像区域a和图像区域b进行合并。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1