一种图像检索方法及装置与流程

文档序号:12733797阅读:233来源:国知局
一种图像检索方法及装置与流程

本发明涉及图像检索技术领域,尤其涉及一种图像检索方法及装置。



背景技术:

在当前图像检索技术的研究,以及图像检索技术的应用中,通常会将检索图像的手段分为三个层次。其中,对图像底层特征进行提取并进行检索分析的过程称为第一层次的检索,而第二、三层次的检索,实际上是在第一层次的检索的基础上进一步加入图像的语义、属性、类别、地域和时间等图像文件的信息,从而进行的基于其他角度的检索。

因此高层次的检索实现方式是以低层次的检索实现方式为基础,并且对于图像底层特征的检索方式的改进,是提高检索的准确率的最有效的途径。目前通常使用的图像底层特征的检索方式,主要采用Krawtchouk矩阵(或称K矩阵)提取图像的形状特征,并基于该形状特征进行检索的方式。

虽然在对图像的形状特征的提取上,Krawtchouk矩阵相较以往的算法具有较好的性能,并在一定程度上提高了对于内容较为简洁的图像的检索的准确率。但是,实际应用中被检索的图像往往千差万别、繁简各异,尤其是在图像中存在异常的轮廓线或是异常点时,采用Krawtchouk矩阵提取的形状特征还是会出现偏差,因此在处理复杂图像时,目前的采用Krawtchouk矩阵进行形状特征提取并进行检索的方案,检索的准确率依然较低。



技术实现要素:

本发明的实施例提供一种图像检索方法及装置,能够提高处理对于复杂图像时的检索的准确率。

为达到上述目的,本发明的实施例采用如下技术方案:

第一方面,本发明的实施例提供一种图像检索方方法,包括:

对数据库图像进行分割,得到至少两个数据库图像的子图像,并获取每一个子图像的综合特征值,所述综合特征值包括:形状特征值和纹理特征值;

获取待检索图像的综合特征值,并根据所述待检索图像的综合特征值和子图像的综合特征值,得到所述待检索图像与数据库图像的欧氏距离;

根据所得欧氏距离,确定检索召回的先后关系。

结合第一方面,在第一方面的第一种可能的实现方式中,所述对数据库图像进行分割,得到至少两个数据库图像的子图像,并获取每一个子图像的综合特征值,包括:

对于一份数据库图像,将所述一份数据库图像分割为指定数量的互不重叠的子图像;

针对一个子图像:通过Krawtchouk矩阵不变量计算,得到所述一个子图像的形状特征值,并通过sharlet变换,得到所述一个子图像的纹理特征值;

并根据所述一个子图像的形状特征值和纹理特征值,获取所述一个子图像的综合特征值;

将每一个子图像的综合特征值在数据库中保存为列表形式。

结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述根据所述待检索图像的综合特征值和子图像的综合特征值,得到所述待检索图像与数据库图像的欧氏距离,包括:

通过相似度计算,得到所述待检索图像与数据库图像的欧氏距离:Dω(fQ,fI)=ωD(ftQ,ftI)+(1-ω)D(fsQ,fsI);

其中,所述一个子图像的形状特征向量表示为fs=[Q00,Q01,Q10....Qnm],fs表示形状特征向量,Qnm表示通过K矩阵不变量计算得出的矩阵不变量;所述一个子图像的纹理特征向量表示为ft=[E00,E01,E10....Enm],ft表示纹理特征向量,Enm表示通过Shearlet变换在各个子带系数计算得到的均值与标准差形成的纹理特征矢量,n,m为其在各层次上的分解方向;ω表示权重值;

Dω(fQ,fI)表示在权重值ω调节下的待检索图像与数据库图像之间的欧式距离,D(ftQ,ftI)表示待检索图像与数据库图像之间的纹理特征向量的欧式距离,D(fsQ,fsI)表示待检索图像与数据库图像之间的形状特征的欧式距离。

结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述权重值ω=0.5。

结合第一方面,在第一方面的第四种可能的实现方式中,所述根据所得欧氏距离,确定检索召回的先后关系,包括:

将所述待检索图像与各个数据库图像的欧氏距离,按照由小到大排序,并根据排序结果确定检索召回的先后关系。

第二方面,本发明的实施例提供一种图像检索方方法,包括:

预处理模块,用于对数据库图像进行分割,得到至少两个数据库图像的子图像,并获取每一个子图像的综合特征值,所述综合特征值包括:形状特征值和纹理特征值;

计算模块,用于获取待检索图像的综合特征值,并根据所述待检索图像的综合特征值和子图像的综合特征值,得到所述待检索图像与数据库图像的欧氏距离;

分析模块,用于根据所得欧氏距离,确定检索召回的先后关系。

结合第二方面,在第二方面的第一种可能的实现方式中,所述预处理模块,具体用于包括:

对于一份数据库图像,将所述一份数据库图像分割为指定数量的互不重叠的子图像;并针对一个子图像:通过Krawtchouk矩阵不变量计算,得到所述一个子图像的形状特征值,并通过sharlet变换,得到所述一个子图像的纹理特征值;并根据所述一个子图像的形状特征值和纹理特征值,获取所述一个子图像的综合特征值;再将每一个子图像的综合特征值在数据库中保存为列表形式。

结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所 述计算模块,具体用于通过相似度计算,得到所述待检索图像与数据库图像的欧氏距离:Dω(fQ,fI)=ωD(ftQ,ftI)+(1-ω)D(fsQ,fsI);其中,所述一个子图像的形状特征向量表示为fs=[Q00,Q01,Q10....Qnm],fs表示形状特征向量,Qnm表示通过K矩阵不变量计算得出的矩阵不变量;所述一个子图像的纹理特征向量表示为ft=[E00,E01,E10....Enm],ft表示纹理特征向量,Enm表示通过Shearlet变换在各个子带系数计算得到的均值与标准差形成的纹理特征矢量,n,m为其在各层次上的分解方向;ω表示权重值;Dω(fQ,fI)表示在权重值ω调节下的待检索图像与数据库图像之间的欧式距离,D(ftQ,ftI)表示待检索图像与数据库图像之间的纹理特征向量的欧式距离,D(fsQ,fsI)表示待检索图像与数据库图像之间的形状特征的欧式距离。

结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述权重值ω=0.5。

结合第二方面,在第二方面的第四种可能的实现方式中,所述分析模块,具体用于将所述待检索图像与各个数据库图像的欧氏距离,按照由小到大排序,并根据排序结果确定检索召回的先后关系。

本发明实施例提供的图像检索方法及装置,采用shearlet变换作为纹理提取工具,并结合Krawtchouk矩阵不变量提取的图像的形状特征,形成了能够体现纹理特征又能够体现形状特征的综合特征值,再利用综合特征值计算欧氏距离进行相似度计算。相对于现有技术中仅采用Krawtchouk矩阵的图像检索方案,由于综合了纹理特征和形状特征,因此缓减了仅通过形状特征进行判定时出现偏差的问题,尤其提高了处理对于复杂图像时的检索的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的检索服务器的架构示意图;

图2为本发明实施例提供的系统结构示意图;

图3为本发明实施例提供的图像检索方法的流程图;

图4为本发明实施例提供的图像检索装置的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。

本发明实施例中方法流程,可以由一种用于图像检索功能的服务器执行,在本实施例中可称为检索服务器,例如:如图1所示为根据本发明一个具体实施方式的检索服务器。所述检索服务器包括输入单元、处理器单元、输出单元、 通信单元、存储单元、外设单元等组件。这些组件通过一条或多条总线进行通信。本领域技术人员可以理解,图中示出的检索服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施方式中。

输入单元用于实现操作人员、技术人员与检索服务器的交互和/或信息输入到检索服务器中。例如,输入单元可以接收操作人员、技术人员输入的数字或字符信息,以产生与操作人员、技术人员设置或功能控制有关的信号输入。在本发明具体实施方式中,输入单元可以是触控面板,也可以是其他人机交互界面,还可是其他外部信息撷取装置。处理器单元为检索服务器的控制中心,利用各种接口和线路连接整个检索服务器的各个部分,通过运行或执行存储在存储单元内的软件程序和/或模块,以及调用存储在存储单元内的数据,以执行检索服务器的各种功能和/或处理数据。例如:处理器单元可以仅包括中央处理器(Central ProcessingUnit,简称CPU),也可以是GPU、数字信号处理器(Digital Signal Processor,简称DSP)、及通信单元中的控制芯片(例如基带芯片)的组合。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。所述通信单元用于建立通信信道,使检索服务器通过所述通信信道以连接至其他的服务器设备,或是通过有线或无线网络与数据库进行数据交互,从而读取数据库图像,比如:检索服务器通过接口接入互联网,并向用于存储数据库图像的数据库设备请求读取需要参数相似度计算分析的数据库图像;或者检索服务器通过数据线/线缆与数据库设备直接相连并交互;再或者检索服务器也可以与数据库设备集成在同一个服务器设备上。输出单元包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文字、图像和/或视频。所述影像输出单元可包括显示面板。存储单元可用于存储软件程序以及模块,处理单元通过运行存储在存储单元的软件程序以及模块,从而执行检索服务器的各种功能应用以及实现数据处理。存储单元主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程序,比如用于执行本 实施例方法流程的数据分析程序和降权模块等等。存储单元可以包括易性存储器,例如非挥发性动态随机存取内存(Nonvolatile RandomAccess Memory,简称NVRAM)、相变化随机存取内存(Phase Change RAM,简称PRAM)、磁阻式随机存取内存(Magetoresistive RAM,简称MRAM)等,还可以包括非易失性存储器,例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-OnlyMemory,简称EEPROM)、闪存器件,例如反或闪存(NOR flash memory)或是反及闪存(NAND flash memory)。电源用于给检索服务器的不同部件进行供电以维持其运行。作为一般性理解,所述电源可以是内置的电池,例如常见的锂离子电池、镍氢电池等,也包括直接向检索服务器供电的外接电源,例如AC适配器等。在本发明的一些实施方式中,所述电源还可以作更为广泛的定义,例如还可以包括电源管理系统、充电系统、电源故障检测电路、电源转换器或逆变器、电源状态指示器(如发光二极管),以及与检索服务器的电能生成、管理及分布相关联的其他任何组件。

在本实施例中,如图1所示的检索服务器可以与用户的终端设备、数据库设备组成如图2所示的图像检索系统,其中用户的终端设备向检索服务器发送检索请求和待检索图像,检索服务器向数据库设备请求读取数据库图像,其中检索服务器与数据库之间可以通过数据线直接相连,或者可以通过网络进行连接。数据库设备可以包括:用于承担数据库管理、监控、数据读写等功能的服务器,以及相应的存储系统(例如:分布式存储系统或者是传统的磁盘存储系统等)。

需要说明的是,本实施例中所述的“数据库图像”所指的是预先存储在数据库中的图像数据,在实际应用中,这类图像数据可以通过网络爬虫(又被称为网页蜘蛛,网络机器人)或者是其他图像抓取工具从网络中获取,也可以由用户上传提供(例如网络购物平台的商户将所拍摄的商品图像上传数据库设备),形成图像数据存储在数据库设备中,并周期性更新。并被用于与待检索图像进行相似度计算,将相似程度高的一个或是多个图像数据作为图像检索的结果反馈给用户的终端设备。在本实施例的具体的应用场景中“数据库图像”也可称为“存储在数据库中的图像”、“图像资源池”等其他称呼,本发明实施例并不限定。

本发明实施例提供一种图像检索方法,如图3所示,包括:

101,对数据库图像进行分割,得到至少两个数据库图像的子图像,并获取每一个子图像的综合特征值。

其中,所述综合特征值包括:形状特征值和纹理特征值。具体的,检索服务器可以采用matlab编程语句对数据库图像进行分割,并通过灰度变化将分割后的图像转变成黑色,形成子图像。检索服务器再对分割后的每一个子图像分别进行特征计算,得到每一个子图像的综合特征值。

再将划分得到的各子图像和对应的综合特征值,以数据列表的形式保存在数据库中。需要说明的是,保存所述数据列表的可以是检索服务器,也可以由检索服务器将所述数据列表传输回数据库设备,并在对待检索数据进行相似度计算时再从数据库设备读取所述数据列表。

102,获取待检索图像的综合特征值,并根据所述待检索图像的综合特征值和子图像的综合特征值,得到所述待检索图像与数据库图像的欧氏距离。

在本实施例中,检索服务器计算待检索图像和每个子图像的欧氏距离,并对子图像按照欧氏距离从小到大进行排序。例如:采用的欧式距离计算公式为: 其中,fI表示数据库图像的特征向量,fQ表示待检索图像的特征向量,K表示特征向量的子分量的个数,需要说明的是,上述特征向量可以理解为本实施例中的综合特征值。

103,根据所得欧氏距离,确定检索召回的先后关系。

例如:检索服务器按照欧式距离从小到大的顺序对数据库图像进行排序,并以排序顺序作为图像检索召回的先后关系。

在本实施例中,所述对数据库图像进行分割,得到至少两个数据库图像的子图像,并获取每一个子图像的综合特征值,其具体实现可以包括:

对于一份数据库图像,将所述一份数据库图像分割为指定数量的互不重叠的子图像。针对一个子图像:通过Krawtchouk矩阵不变量计算,得到所述一个子图像的形状特征值,并通过sharlet变换,得到所述一个子图像的纹理特征值。并根据所述一个子图像的形状特征值和纹理特征值,获取所述一个子图像的综 合特征值。并将每一个子图像的综合特征值在数据库中保存为列表形式。

其中,Krawtchouk矩构成的矩不变量具有良好的旋转、平移和尺度不变性,因此本实施例中基于Krawtchouk矩不变量来提取图像的形状特征,具体采用的Krawtchouk矩阵不变量计算的表达式可以是:

其中 为具有仿射不变性的几何矩.i,n=0,1,2,…N,N>0,j,m=0,1,2,…M,M>0,p∈(0,1),在本实施例中,Krawtchouk矩也可简称为K矩。

由于仅提取形状特征参与相似度计算的准确度较低,而shearlet变换在表征边缘轮廓的优异性能和在奇异点表示上的优异性能,因此本实施例还利用shearlet变换的剪切函数剪切出的各子带系数并求取均值和标准差,并作为标准图像纹理特征的特征矢量。其中,具体采用的shearlet变换的表达式可以是:上式同样可以写成 的形式,这里由于公式变化较为复杂,只对具体的公式两部分进行解释,为对此图像的在不同尺度下分解成低通和高通成分的函数,为利用窗口函数将高通成份进行方向剖分的函数,在本实施例中,所述根据所述待检索图像的综合特征值和子图像的综合特征值,得到所述待检索图像与数据库图像的欧氏距离,包括:

通过相似度计算,得到所述待检索图像与数据库图像的欧氏距离:

Dω(fQ,fI)=ωD(ftQ,ftI)+(1-ω)D(fsQ,fsI)。

其中,所述一个子图像的形状特征向量表示为fs=[Q00,Q01,Q10....Qnm],fs表示形状特征向量,Qnm表示通过K矩阵不变量计算得出的矩阵不变量。所述一个子图像的纹理特征向量表示为ft=[E00,E01,E10....Enm],ft表示纹理特征向量,Enm表示通过Shearlet变换在各个子带系数计算得到的均值与标准差形成的纹理特征矢量,n,m为其在各层次上的分解方向。

Dω(fQ,fI)表示在权重值ω调节下的待检索图像与数据库图像之间的欧式 距离,D(ftQ,ftI)表示待检索图像与数据库图像之间的纹理特征向量的欧式距离,D(fsQ,fsI)表示待检索图像与数据库图像之间的形状特征的欧式距离。

其中,ω表示权重值,在本实施例中,0<ω<1。检索服务器可以利用训练学习算法,基于图像检索的整体召回率调节权重值,从而来调整纹理特征和形状特征在相似度计算(即计算具体的欧式距离数值)中所占的比重。在本实施例的优选方案中,权重值ω=0.5。

在本实施例中,所述根据所得欧氏距离,确定检索召回的先后关系,包括:

将所述待检索图像与各个数据库图像的欧氏距离,按照由小到大排序,并根据排序结果确定检索召回的先后关系。具体的,也可以通过设定阈值,并筛选出欧式举例小于该阈值的数据库图像进行召回。

其中,对于待检索图像的综合特征值的计算,可以参照对于数据库图像的计算,例如:对于待检索图像,先分割为待检索子图像,再依次对待检索子图像利用k矩计算形状特征值,利用sharlet变换计算待检索子图像的纹理特征值,并得到待检索子图像的综合特征值。

并通过实验验证本实施例的效果:数据库图像可以采用来自麻省理工学院brodatz纹理库,其中包括从不同的自然场景拍摄的40幅512*512的图像。

通过检索服务器将每一张512*512的图像分割为互不重叠的16幅128*128的图像,并将这16幅图像作为一个类别。提取16幅相似子图像中的一个作为待检索图像的子图像,当检索结果返回其他相似15幅子图像以及这一个子图像本身,则为检索效能最佳,即返回了全部的正确的结果。本实施例中对于一幅图像的检索,通过对图像的整体检索识别率这一指标评价效能,例如:

其中,r表示图像的整体检索识别率,x表示单次检索返回结果中,正确的返回图像个数,ns为16,1≤n≤16,n为整数。又由 于若设定返回图像为16,则r既表示查准率,也表示查全率。若ns=16则表示应该返回的正确结果的最大数目(即每一类别包括的最多16幅相似图像),r表示查全率。当ns=16时r表示查准率。通过matlab作为运行工具,由运行结果得出,本实施例中综合利用K矩和sharlet变换的提取方式,相较于现有技术中单纯的利用K矩提取形状特征的方式,在检索的召回率上提升了1到3个百分点。

本发明实施例提供的图像检索方法,采用shearlet变换作为纹理提取工具,并结合Krawtchouk矩阵不变量提取的图像的形状特征,形成了能够体现纹理特征又能够体现形状特征的综合特征值,再利用综合特征值计算欧氏距离进行相似度计算。相对于现有技术中仅采用Krawtchouk矩阵的图像检索方案,由于综合了纹理特征和形状特征,因此缓减了仅通过形状特征进行判定时出现偏差的问题,尤其提高了处理对于复杂图像时的检索的准确率。

本发明实施例还提供一种如图4所示的图像检索装置,其中包括:

预处理模块,用于对数据库图像进行分割,得到至少两个数据库图像的子图像,并获取每一个子图像的综合特征值,所述综合特征值包括:形状特征值和纹理特征值。

计算模块,用于获取待检索图像的综合特征值,并根据所述待检索图像的综合特征值和子图像的综合特征值,得到所述待检索图像与数据库图像的欧氏距离。

分析模块,用于根据所得欧氏距离,确定检索召回的先后关系。

在本实施例中,所述预处理模块,具体用于包括:

对于一份数据库图像,将所述一份数据库图像分割为指定数量的互不重叠的子图像;并针对一个子图像:通过Krawtchouk矩阵不变量计算,得到所述一个子图像的形状特征值,并通过sharlet变换,得到所述一个子图像的纹理特征值。 并根据所述一个子图像的形状特征值和纹理特征值,获取所述一个子图像的综合特征值。再将每一个子图像的综合特征值在数据库中保存为列表形式。

在本实施例中,所述计算模块,具体用于通过相似度计算,得到所述待检索图像与数据库图像的欧氏距离:Dω(fQ,fI)=ωD(ftQ,ftI)+(1-ω)D(fsQ,fsI)。其中,所述一个子图像的形状特征向量表示为fs=[Q00,Q01,Q10....Qnm],fs表示形状特征向量,Qnm表示通过K矩阵不变量计算得出的矩阵不变量。所述一个子图像的纹理特征向量表示为ft=[E00,E01,E10....Enm],ft表示纹理特征向量,Enm表示通过Shearlet变换在各个子带系数计算得到的均值与标准差形成的纹理特征矢量,n,m为其在各层次上的分解方向。ω表示权重值。Dω(fQ,fI)表示在权重值ω调节下的待检索图像与数据库图像之间的欧式距离,D(ftQ,ftI)表示待检索图像与数据库图像之间的纹理特征向量的欧式距离,D(fsQ,fsI)表示待检索图像与数据库图像之间的形状特征的欧式距离。

在本实施例的优选方案中,所述权重值ω=0.5。

在本实施例中,所述分析模块,具体用于将所述待检索图像与各个数据库图像的欧氏距离,按照由小到大排序,并根据排序结果确定检索召回的先后关系。

本发明实施例提供的图像检索装置,采用shearlet变换作为纹理提取工具,并结合Krawtchouk矩阵不变量提取的图像的形状特征,形成了能够体现纹理特征又能够体现形状特征的综合特征值,再利用综合特征值计算欧氏距离进行相似度计算。相对于现有技术中仅采用Krawtchouk矩阵的图像检索方案,由于综合了纹理特征和形状特征,因此缓减了仅通过形状特征进行判定时出现偏差的问题,尤其提高了处理对于复杂图像时的检索的准确率。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相 似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1