图像语义检索方法及其系统的制作方法
【技术领域】
[0001]本发明涉及技术领域，特别涉及一种图像语义检索方法及其系统。
【背景技术】
[0002]随着计算机、多媒体和网络技术的迅速发展，互联网上出现了海量的数字图像信息资源。近几年图像搜索是增长速度最快的分类搜索应用，全球几大搜索引擎的图像搜索次数均成倍增长。目前，图像检索技术已成为国内外研宄的热点。
[0003]图像检索技术主要分为基于文本的图像检索技术(Text-based ImageRetrieval，简称 TBIR)和基于内容的图像检索(Content-based Image Retrieval，简称CBIR)。其中，基于内容的图像检索是当前图像检索技术的主流。
[0004]基于内容的图像检索过程包括:首先，从图像中自动提取底层视觉特征，如颜色、纹理、轮廓和形状等底层视觉特征；接着，根据所述底层视觉特征提取高级语义特征并构建图像语义检测模型；然后，利用所述图像语义检测模型检索出符合要求的结果图像。
[0005]在图像语义检测模型构建过程中，由于人工无法获取足够的语义标记，因此有必要充分利用大量未标记的图像数据来完善图像语义检测模型。为此，通常从未标记样本中挖掘有用信息来提高图像语义检测模型的语义检测准确率。
[0006]目前，基于增量式学习方法得到的半监督自适应概率超图模型虽然可以实现图像的多种语义检索，但是却无法检索出模型建立时未学习过的异类图像语义。因此，如何解决现有的图像语义检索方法无法检索出图像语义检测模型建立时未学习过的异类图像语义的问题已经成为本领域技术人员亟需解决的技术问题。
【发明内容】
[0007]本发明的目的在于提供一种图像语义检索方法及其系统，以解决现有的图像语义检索方法无法检索出图像语义检测模型建立时未学习过的异类图像语义的问题。
[0008]为解决上述技术问题，本发明提供一种图像语义检索方法，所述图像语义检索方法包括:
[0009]提取图像的底层视觉特征，并将不同类别的底层视觉特征进行组合形成综合特征；
[0010]根据所述综合特征构建图像语义检测模型，并通过增量式学习方法完善所述图像语义检测模型；
[0011]提供一待检索图像；以及
[0012]利用完善后的图像语义检测模型对所述待检索图像中含有的所有图像语义进行标注；
[0013]根据标注的图像语义类别进行图像显示。
[0014]优选的，在所述的图像语义检索方法中，所述底层视觉特征包括颜色特征、形状特征、纹理特征和局部二值特征。
[0015]优选的，在所述的图像语义检索方法中，根据所述综合特征构建所述图像语义检测模型的过程包括:
[0016]将所述综合特征映射为半监督自适应概率超图模型的顶点；
[0017]根据各顶点之间的欧氏距离计算各顶点之间的亲密度；
[0018]根据所有的亲密度值构造一个衡量顶点之间亲疏关系的阈值函数；
[0019]根据所述阈值函数确定各顶点所属的超边。
[0020]优选的，在所述的图像语义检索方法中，通过增量式学习方法完善所述图像语义检测模型的过程包括:
[0021]提供一图像训练集，
[0022]从所述图像训练集中选取一部分未知标记的训练样本加入所述图像语义检测模型中；
[0023]根据所述图像语义检测模型的鲁棒性对这部分未知标记的训练样本进行筛选；
[0024]将选中的训练样本及学习得到的标记加入到已标记的样本集中，并重构超图以完善所述图像语义检测模型。
[0025]优选的，在所述的图像语义检索方法中，所述图像训练集具有人物、风景和静物三类语义。
[0026]优选的，在所述的图像语义检索方法中，利用所述图像语义检测模型对所述待检索图像中含有的所有图像语义进行标注的过程包括:
[0027]根据完善后的图像语义检测模型计算所述待检索图像中各样本不同语义的概率值；
[0028]根据计算得到的概率值分别定义不同语义的判别函数；
[0029]若样本的最大语义概率值大于这类语义对应的判别函数值，则对该样本进行正常标注；否则，将该样本的语义标注为异类。
[0030]本发明还提供一种图像语义检索系统，所述图像语义检索系统包括:
[0031]信息输入模块，用于从系统外部设备获得待检索图像；
[0032]底层视觉特征提取模块，与所述信息输入模块连接，并经由所述信息输入模块提取所述待检索图像的底层视觉特征；
[0033]图像语义检测模块，与所述底层视觉特征提取模块连接，并根据所述底层视觉特征提取模块所提取的底层视觉特征对所述待检索图像中含有的所有图像语义进行标注；
[0034]显示终端，与所述图像语义检测模块连接，并根据所述图像语义检测模块标注的图像语义的类别进行图像显示。
[0035]优选的，在所述的图像语义检索系统中，所述图像语义检测模块设置有图像语义检测模型，所述图像语义检测模型是基于增量式学习方法得到的半监督自适应概率超图模型。
[0036]优选的，在所述的图像语义检索系统中，所述图像语义检测模型学习过的语义类别包括人物、风景、静物，所述图像语义检测模型未学习过的图像语义定为异类。
[0037]优选的，在所述的图像语义检索系统中，所述显示终端根据所述待检索图像的语义类别选择显示色调。
[0038]在本发明提供的图像语义检索方法及其系统中，利用完善后的图像语义检测模型检索出待检测图像中含有的所有图像语义，包括图像语义检测模型未学习过的图像语义，并给予合理的语义标注。而且，显示终端能够根据图像的语义类别选择不同的显示方案，实现智能显示。
【附图说明】
[0039]图1是本发明实施例的图像语义检索方法的流程图；
[0040]图2是本发明实施例的图像语义检索系统的结构示意图。
【具体实施方式】
[0041]以下结合附图和具体实施例对本发明提出的图像语义检索方法及其系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0042]请参考图1，其为本发明实施例的图像语义检索方法的流程图。如图1所示，所述图像语义检索方法包括:
[0043]步骤SlO:提取图像的底层视觉特征，并将不同类别的底层视觉特征进行组合形成综合特征；
[0044]步骤S20:根据所述综合特征构建图像语义检测模型，并通过增量式学习方法完善所述图像语义检测模型；
[0045]步骤S30:提供一待检索图像；
[0046]步骤S40:利用完善后的图像语义检测模型对所述待检索图像中含有的所有图像语义进行标注；
[0047]步骤S50:根据标注的图像语义类别进行图像显示。
[0048]具体的，首先，提取图像的底层视觉特征。本实施例中，所述底层视觉特征包括颜色特征、形状特征、纹理特征和局部二值特征这四类特征。在其他实施例中，所述底层视觉特征不一定是颜色特征、形状特征、纹理特征和局部二值特征，也可以是其他特征，在此不作限定。图像的底层视觉特征提取之后，将各类特征进行组合，形成为一种综合特征。
[0049]接着，根据所述综合特征构建图像语义检测模型。构建所述图像语义检测模型的具体过程包括:
[0050]步骤S21:将所述综合特征映射为半监督自适应概率超图模型的顶点；
[0051]步骤S22:根据各顶点之间的欧氏距离计算各顶点之间的亲密度；
[0052]步骤S23:根据所有的亲密度值构造一个衡量顶点之间亲疏关系的阈值函数；
[0053]步骤S24:根据所述阈值函数确定各顶点所属的超边。
[0054]如果一顶点的亲密度值大于该阈值，则判定该顶点属于某条超边。各顶点所属的超边确定之后，所述图像语义检测模型构建完成。
[0055]之后，通过增量式学习方法完善所述图像语义检测模型。所述图像语义检测模型进行增量式学习的具体过程包括:
[0056]步骤S25:提供一图像训练集；
[0057]步骤S26:从所述图像训练集中选取一部分未知标记的训练样本加入所述图像语义检测模型中；
[0058]步骤S27:根据所述图像语义检测模型的鲁棒性对这部分未知标记的训练样本进行筛选；
[0059]步骤S28:将选中的训练样本及学习得到的标记加入到已标记的样本集中，并重构超图以完善所述图像语义检测模型。
[0060]对所述图像语义检测模型进行训练的图像训练集包括已知标记的训练样本和大量未标记语义的训练样本。在增量式学习过程中，每次只选取一部分未知标记的训练样本加入所述图像语义检测模型中并进行筛选，筛选的具体方式是:首先，判断加入的样本是否会影响所述图像语义检测模型的鲁棒性；若不影响鲁棒性，则保留这些样本并给于相应的语义标注；若影响鲁棒性，则丢弃这些样本。
[0061]之后，提供一待检索图像。通常的，所述待检索图像中各样本均具有多种语义类别。
[0062]此后，根据完善后的图像语义检测模型对所述待检索图像中含有的所有图像语义进行语义标注，对所述待检索图像进行语义标注的具体过程包括: