[0063]步骤S41:根据完善后的图像语义检测模型计算所述待检索图像中各样本不同语义的概率值；
[0064]步骤S42:根据计算得到的概率值分别定义不同语义的判别函数；
[0065]步骤S43:如果样本的最大语义概率值大于这类语义对应的判别函数值，则对该样本进行正常标注；否则，将该样本的语义标注为异类。
[0066]通过步骤S41获得所述待检索图像中各样本不同语义的概率值之后，依据这些概率值以加权方式分别定义各类语义的衡量公式(即判别函数)。由此，每类语义都有相应的衡量公式。如果一个样本的最大语义概率值大于这类语义所对应的判别函数值，则说明该样本包含这类语义，可以正常标注；如果该样本的最大语义概率值小于或等于这类语义所对应的判别函数值，则说明该样本不包含模型训练时学习过的任何一类语义，应该将该样本的语义标注为异类。
[0067]本实施例中，通过定义的判别函数能够检索出所述待检索图像中含有的所有图像语义，不管这些语义在模型建立的时候是否已经学习过，都能以较高的准确率给予所述待检索图像合理的语义标注。本实施例提供的图像语义检索方法能够实现图像的多种语义检索，即使图像语义检测模型建立时未学习过的异类图像语义也能被检出，检索准确率更高。
[0068]最后，根据标注的图像语义类别进行图像显示。标注的图像语义类别为异类时图像显示不需要调整显示色调，标注的图像语义类别为其他类时，图像显示需要分别调整为相应的显示色调。
[0069]相应的，本实施例还提供了一种图像语义检索系统。
[0070]请参考图2，其为本发明实施例的图像语义检索系统的结构示意图。如图2所示，所述图像语义检索系统10包括:信息输入模块110，用于从系统外部设备获得待检索图像；底层视觉特征提取模块120，与所述信息输入模块110连接，并经由所述信息输入模块110提取所述待检索图像的底层视觉特征；图像语义检测模块130，与所述底层视觉特征提取模块120连接，并根据所述底层视觉特征提取模块120所提取的底层视觉特征对所述待检索图像中含有的所有图像语义进行标注；显示终端140，与所述图像语义检测模块130连接，并根据所述图像语义检测模块130标注的图像语义的类别进行图像显示。
[0071]具体的，所述信息输入模块110根据用户指令从系统外部设备获得待检索图像，所述底层视觉特征提取模块120经由所述信息输入模块110提取所述待检索图像的底层视觉特征。所述底层视觉特征模块120从所述待检索图像提取的底层视觉特征包括颜色特征、形状特征、纹理特征和局部二值特征四类，并将这四类底层视觉特征组合成一综合特征输送给所述图像语义检测模块130。
[0072]所述图像语义检测模块130设置有图像语义检测模型，所述图像语义检测模型是基于增量式学习得到的半监督自适应概率超图模型。所述图像语义检测模块130根据所述图像语义检测模型计算所述待检索图像中各样本不同语义的概率值，并根据计算得到的概率值分别定义不同语义的判别函数，通过所述判别函数检索出所述待检索图像含有的所有图像语义并进行语义标注。
[0073]如果一个样本的最大语义概率值大于这类语义所对应的判别函数值，则进行正常标注；如果该样本的最大语义概率值小于或等于这类语义所对应的判别函数值，则将该样本的语义标注为异类。
[0074]本实施例中，采用具有人物、风景、静物三类语义的图像训练集对所述图像语义检索模型进行训练。因此，所述图像语义检索模型得到的语义类别包括人物、风景、静物和异类。在其他实施例中，可以采用不同语义的图像训练集对所述图像语义检索模型进行训练，所述图像语义检索模型得到的语义类别可以包括人物、风景、静物和异类，也可以包括其他语义类别，在此不作限定。
[0075]语义标注完成之后，所述图像语义检测模块130将图像的语义输送至显示终端140，所述显示终端140根据图像的语义类别进行图像显示。其中，语义类别为人物、风景、静物时所述显示终端140需要调整图像的显示色调，语义类别为异类时所述显示终端140不需要调整图像的显示色调。
[0076]在本实施例中，若图像的语义类别为人物，则采用暖色调显示，凸显柔和；若图像的语义类别为风景，则采用冷色调显示，增加对比度，增强美景对人的冲击力；若图像的语义类别为静物，则采用偏暖色调显示，所述偏暖色调介于所述暖色调与冷色调之间，体现一种静谧；若是异类语义的图像，则按原本的色调显示。
[0077]采用所述图像语义检索系统10显示某一张图像时，输入的图像先通过所述图像语义检索模型得到图像语义，之后由所述显示终端140为这张图像选择适合的显示方案，所述显示终端140根据图像的语义类别为图像选择合适的色调，能够实现更智能的美图显不O
[0078]综上，在本发明实施例提供的图像语义检索方法及其系统中，利用完善后的图像语义检测模型分别定义不同语义的判别函数，从而检索出待检测图像中含有的所有图像语义，包括图像语义检测模型未学习过的图像语义，并都给予合理的语义标注。而且，最终显示时能够根据图像的语义类别选择不同的显示方案，实现智能显示。
[0079]上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
【主权项】
1.一种图像语义检索方法，其特征在于，包括: 提取图像的底层视觉特征，并将不同类别的底层视觉特征进行组合形成综合特征；根据所述综合特征构建图像语义检测模型，并通过增量式学习方法完善所述图像语义检测模型； 提供一待检索图像；以及 利用完善后的图像语义检测模型对所述待检索图像中含有的所有图像语义进行标注； 根据标注的图像语义类别进行图像显示。
2.如权利要求1所述的图像语义检索方法，其特征在于，所述底层视觉特征包括颜色特征、形状特征、纹理特征和局部二值特征。
3.如权利要求1所述的图像语义检索方法，其特征在于，根据所述综合特征构建所述图像语义检测模型的过程包括: 将所述综合特征映射为半监督自适应概率超图模型的顶点； 根据各顶点之间的欧氏距离计算各顶点之间的亲密度； 根据所有的亲密度值构造一个衡量顶点之间亲疏关系的阈值函数； 根据所述阈值函数确定各顶点所属的超边。
4.如权利要求1所述的图像语义检索方法，其特征在于，通过增量式学习方法完善所述图像语义检测模型的过程包括: 提供一图像训练集， 从所述图像训练集中选取一部分未知标记的训练样本加入所述图像语义检测模型中； 根据所述图像语义检测模型的鲁棒性对这部分未知标记的训练样本进行筛选； 将选中的训练样本及学习得到的标记加入到已标记的样本集中，并重构超图以完善所述图像语义检测模型。
5.如权利要求4所述的图像语义检索方法，其特征在于，所述图像训练集具有人物、风景和静物二类语义。
6.如权利要求1所述的图像语义检索方法，其特征在于，利用所述图像语义检测模型对所述待检索图像中含有的所有图像语义进行标注的过程包括: 根据完善后的图像语义检测模型计算所述待检索图像中各样本不同语义的概率值； 根据计算得到的概率值分别定义不同语义的判别函数； 若样本的最大语义概率值大于这类语义对应的判别函数值，则对该样本进行正常标注；否则，将该样本的语义标注为异类。
7.一种图像语义检索系统，其特征在于，包括: 信息输入模块，用于从系统外部设备获得待检索图像； 底层视觉特征提取模块，与所述信息输入模块连接，并经由所述信息输入模块提取所述待检索图像的底层视觉特征； 图像语义检测模块，与所述底层视觉特征提取模块连接，并根据所述底层视觉特征提取模块所提取的底层视觉特征对所述待检索图像中含有的所有图像语义进行标注； 显示终端，与所述图像语义检测模块连接，并根据所述图像语义检测模块标注的图像语义的类别进行图像显示。
8.如权利要求7所述的图像语义检索系统，其特征在于，所述图像语义检测模块设置有图像语义检测模型，所述图像语义检测模型是基于增量式学习方法得到的半监督自适应概率超图模型。
9.如权利要求8所述的图像语义检索系统，其特征在于，所述图像语义检测模型学习过的语义类别包括人物、风景、静物，所述图像语义检测模型未学习过的图像语义定为异类。
10.如权利要求7所述的图像语义检索系统，其特征在于，所述显示终端根据所述待检索图像的语义类别选择显示色调。
【专利摘要】本发明提供了一种图像语义检索方法及其系统，其中，所述图像语义检索方法包括：提取图像的底层视觉特征，并将不同类别的底层视觉特征进行组合形成综合特征；根据所述综合特征构建图像语义检测模型并通过增量式学习方法完善所述图像语义检测模型；提供一待检索图像；以及利用完善后的图像语义检测模型对待所述检索图像进行语义标注。在本发明提供的图像语义检索方法及其系统中，利用完善后的图像语义检测模型检索出待检测图像中含有的所有图像语义，包括图像语义检测模型未学习过的图像语义，并给予合理的语义标注。而且，显示终端能够根据图像的语义类别选择不同的显示方案，实现智能显示。
【IPC分类】G06F17-30
【公开号】CN104834757
【申请号】CN201510306112
【发明人】朱修剑, 孙佳瑶, 吉豪
【申请人】昆山国显光电有限公司
【公开日】2015年8月12日
【申请日】2015年6月5日