基于信息安全的图像检索方法与流程

文档序号:11830570阅读:230来源:国知局
基于信息安全的图像检索方法与流程

本发明涉及信息安全领域,具体涉及基于信息安全的图像检索方法。



背景技术:

随着移动互联网、物联网等技术的兴起,全球范围内数据量迅猛增长,大数据时代己经来临。伴随着大数据的产生,其在现代社会和经济活动中发挥着极其重要的作用。

信息安全主要包括以下五方面的内容,即需保证信息的保密性、真实性、完整性、未授权拷贝和所寄生系统的安全性。信息安全本身包括的范围很大,其中包括如何防范商业企业机密泄露、防范青少年对不良信息的浏览、个人信息的泄露等。网络环境下的信息安全体系是保证信息安全的关键,包括计算机安全操作系统、各种安全协议、安全机制,直至安全系统,只要存在安全漏洞便可以威胁全局安全。信息安全是指信息系统受到保护,不受偶然的或者恶意的原因而遭到破坏、更改、泄露,系统连续可靠正常地运行,信息服务不中断,最终实现业务连续性。

大规模数据给传统的多媒体研究,尤其是基于图像的应用和研究带来了新的挑战和机遇。



技术实现要素:

针对上述问题,本发明提供基于信息安全的图像检索方法。

本发明的目的采用以下技术方案来实现:

基于信息安全的图像检索方法,其特征是,包括信息安全控制和图像检索,信息安全控制方法包括以下步骤:

(1)信息安全显示设备接收服务器发送的携带第一检索信息请求消息,所述检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中;

(2)信息安全显示设备显示利用私钥解密后的所述检索信息;

(3)在用户对所述检索信息确认后,通过客户端向所述服务器发送确认消息。

优选地,所述信息安全显示设备接收第三方平台发送的携带第二检索信息的确认请求消息,所述第二检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中。

优选地,所述第二检索信息和所述第一检索信息包括相同的检索标识。

本发明的有益效果为:通过关键词和标记的运用,预先将数据库划分为多个子数据库,检索时先在相关度高的子数据库中进行检索,减少了计算量,提高了运算速度;基于单词包表示图像时,提出了加权表示和第一视觉相似度,减少了时间开销;基于特征组合表示图像时,利用了局部特征之间的空间包含关系,提出将相关的局部特征组合在一起以增强其视觉表达能力;该特征组合不但具有良好的尺度和旋转不变性,而且还能够自然地利用各特征元素之间的相对位置信息进行局部几何校验,剔除可能存在的错误匹配,以提高图像检索的准确率;特征量化以及组合表达大幅地提高了检索的精度。

附图说明

利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。

图1是基于信息安全的图像检索方法的示意图。

图2是基于信息安全的图像检索方法的另一示意图。

具体实施方式

结合以下实施例对本发明作进一步描述。

实施例1:基于信息安全的图像检索方法,其特征是,包括信息安全控制和图像检索,信息安全控制方法包括以下步骤:

(1)信息安全显示设备接收服务器发送的携带第一检索信息请求消息,所述检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中;

(2)信息安全显示设备显示利用私钥解密后的所述检索信息;

(3)在用户对所述检索信息确认后,通过客户端向所述服务器发送确认消息。

优选地,所述信息安全显示设备接收第三方平台发送的携带第二检索信息的确认请求消息,所述第二检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中。

优选地,所述第二检索信息和所述第一检索信息包括相同的检索标识。

优选地,其特征是,图像检索通过以下步骤实现:

(1)由云服务器获取信息数据,将图像信息和非图像信息进行分类后,分别储存到图像数据库和非图像数据库中,并将来源相同的图像信息和非图像信息作标记;

(2)将非图像数据库按照预先设定的多个关键词划分为多个第一子数据库,同时按照所述关键词对非图像信息进行分类,分别储存到对应的所述第一子数据库中,未匹配到关键词的非图像信息单独划分为一类;

(3)将图像数据库按照所述关键词划分为多个第二子数据库,并对图像信息根据与其来源相同的非图像信息进行分类,分别储存到对应所述第二子数据库中,无来源相同标记的图像信息,或者其对应的非图像信息未匹配到关键词的图像信息单独划分为一类;

(4)当用户输入关键词进行检索时,按照输入的关键词与预先设定的关键词的相关度排序依次在各个第一字数据库和第二子数据库中分别进行检索,并分别输出图像数据和非图像数据的检索结果;每个第二子数据库的图像检索中还提供了通过输入查询图像Ip来检索相似图像的功能,该功能由以下步骤实现:

(1-1)采用SIFT特征对图像局部区域进行描述;

(1‐2)基于单词包的图像表示:

a.采用基于单词包模型对局部特征进行量化,设由M个局部特征向量组成的样本空间X={x1,…,xM},以无监督方式快速聚类生成初始视觉码本,采用最近邻策略建立局部特征xj与相对应的视觉单词的映射关系,j=1,…,M;

b.设码本空间中包含N个视觉单词,则任一图像表示为高维稀疏向量{w1,…,wN},wi表示视觉单词i的权值,i=1,…,N;

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow>

式中,表示该图像中视觉单词i出现的次数,ti表示图像数据库中视觉单词i出现的总次数,fi表示图像数据库中包含视觉单词i的图像数目;

对权值wi进行归一化处理,令∑iδi=1,此时任一图像的高维稀疏向量表示为{δ1,…,δN};

c.对于任意两幅图像p和q,定义两幅图像之间的第一视觉相似度S(p,q):

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>

S(p,q)越大,表明两幅图像越接近。

优选地,其特征是,步骤(4)还包括:

(1‐3)基于特征组合的图像表示:

a、将包含一个具有较大尺度的主特征和由这个主特征空间覆盖的若干个具有较小尺度的元素特征的集合定义为特征组合,给定任一图像P,抽取其包含的特征组合集其中,Cl=(Zl,Yl);

式中,Cl表示第l个特征组合,Zl为第l个特征组合的主特征,Yl为第l个特征组合的一组元素特征,Zl和Yl满足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl对应的局部空间区域完全被主特征Cl的局部空间覆盖,a(·)表示覆盖空间区域的面积;

b、对于任意两个特征组合Cf(Zf,Yf)和Cg(Zg,Yg),定义两个特征组合的第二视觉相似度R:

当cos(Zf,Zg)>T1时:

R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当T1≥cos(Zf,Zg)>T2时:

R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当cos(Zf,Zg)≤T2时:

R(Cf,Cg)=0

式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示两个特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征数;

(1‐4)图像检索:对于给定的查询图像Ip,首先提取其特征组合集,将每个特征的主特征映射到视觉单词,找出包含该视觉单词的数据库图像Iq,计算其与查询图像的相似度距离,通过将相似度距离与设定阈值比较,完成图像检索;

所述的相似度距离采用以下公式计算:

d=S(Ip,Iq)×maxR(Ip,Iq)

其中,S(p,q)表示两幅图像的第一视觉相似度度量,maxR(Ip,Iq)表示对两幅图像的所有特征组合进行第二视觉相似度度量的最大值。

在本实施例的基于信息安全的图像检索方法中,通过关键词和标记的运用,预先将数据库划分为多个子数据库,检索时先在相关度高的子数据库中进行检索,减少了计算量,提高了运算速度;基于单词包表示图像时,提出了加权表示和第一视觉相似度,减少了时间开销;基于特征组合表示图像时,利用了局部特征之间的空间包含关系,提出将相关的局部特征组合在一起以增强其视觉表达能力;该特征组合不但具有良好的尺度和旋转不变性,而且还能够自然地利用各特征元素之间的相对位置信息进行局部几何校验,剔除可能存在的错误匹配,以提高图像检索的准确率;特征量化以及组合表达大幅地提高了检索的精度;T1=0.95,T2=0.78,检索精度提高了50%,检索速度提高了1%。

实施例2:基于信息安全的图像检索方法,其特征是,包括信息安全控制和图像检索,信息安全控制方法包括以下步骤:

(1)信息安全显示设备接收服务器发送的携带第一检索信息请求消息,所述检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中;

(2)信息安全显示设备显示利用私钥解密后的所述检索信息;

(3)在用户对所述检索信息确认后,通过客户端向所述服务器发送确认消息。

优选地,所述信息安全显示设备接收第三方平台发送的携带第二检索信息的确认请求消息,所述第二检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中。

优选地,所述第二检索信息和所述第一检索信息包括相同的检索标识。

优选地,其特征是,图像检索通过以下步骤实现:

(1)由云服务器获取信息数据,将图像信息和非图像信息进行分类后,分别储存到图像数据库和非图像数据库中,并将来源相同的图像信息和非图像信息作标记;

(2)将非图像数据库按照预先设定的多个关键词划分为多个第一子数据库,同时按照所述关键词对非图像信息进行分类,分别储存到对应的所述第一子数据库中,未匹配到关键词的非图像信息单独划分为一类;

(3)将图像数据库按照所述关键词划分为多个第二子数据库,并对图像信息根据与其来源相同的非图像信息进行分类,分别储存到对应所述第二子数据库中,无来源相同标记的图像信息,或者其对应的非图像信息未匹配到关键词的图像信息单独划分为一类;

(4)当用户输入关键词进行检索时,按照输入的关键词与预先设定的关键词的相关度排序依次在各个第一字数据库和第二子数据库中分别进行检索,并分别输出图像数据和非图像数据的检索结果;每个第二子数据库的图像检索中还提供了通过输入查询图像Ip来检索相似图像的功能,该功能由以下步骤实现:

(1-1)采用SIFT特征对图像局部区域进行描述;

(1‐2)基于单词包的图像表示:

a.采用基于单词包模型对局部特征进行量化,设由M个局部特征向量组成的样本空间X={x1,…,xM},以无监督方式快速聚类生成初始视觉码本,采用最近邻策略建立局部特征xj与相对应的视觉单词的映射关系,j=1,…,M;

b.设码本空间中包含N个视觉单词,则任一图像表示为高维稀疏向量{w1,…,wN},wi表示视觉单词i的权值,i=1,…,N;

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow>

式中,表示该图像中视觉单词i出现的次数,ti表示图像数据库中视觉单词i出现的总次数,fi表示图像数据库中包含视觉单词i的图像数目;

对权值wi进行归一化处理,令∑iδi=1,此时任一图像的高维稀疏向量表示为{δ1,…,δN};

c.对于任意两幅图像p和q,定义两幅图像之间的第一视觉相似度S(p,q):

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>

S(p,q)越大,表明两幅图像越接近。

优选地,其特征是,步骤(4)还包括:

(1‐3)基于特征组合的图像表示:

a、将包含一个具有较大尺度的主特征和由这个主特征空间覆盖的若干个具有较小尺度的元素特征的集合定义为特征组合,给定任一图像P,抽取其包含的特征组合集其中,Cl=(Zl,Yl);

式中,Cl表示第l个特征组合,Zl为第l个特征组合的主特征,Yl为第l个特征组合的一组元素特征,Zl和Yl满足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl对应的局部空间区域完全被主特征Cl的局部空间覆盖,a(·)表示覆盖空间区域的面积;

b、对于任意两个特征组合Cf(Zf,Yf)和Cg(Zg,Yg),定义两个特征组合的第二视觉相似度R:

当cos(Zf,Zg)>T1时:

R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当T1≥cos(Zf,Zg)>T2时:

R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当cos(Zf,Zg)≤T2时:

R(Cf,Cg)=0

式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示两个特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征数;

(1‐4)图像检索:对于给定的查询图像Ip,首先提取其特征组合集,将每个特征的主特征映射到视觉单词,找出包含该视觉单词的数据库图像Iq,计算其与查询图像的相似度距离,通过将相似度距离与设定阈值比较,完成图像检索;

所述的相似度距离采用以下公式计算:

d=S(Ip,Iq)×maxR(Ip,Iq)

其中,S(p,q)表示两幅图像的第一视觉相似度度量,maxR(Ip,Iq)表示对两幅图像的所有特征组合进行第二视觉相似度度量的最大值。

在本实施例的基于信息安全的图像检索方法中,通过关键词和标记的运用,预先将数据库划分为多个子数据库,检索时先在相关度高的子数据库中进行检索,减少了计算量,提高了运算速度;基于单词包表示图像时,提出了加权表示和第一视觉相似度,减少了时间开销;基于特征组合表示图像时,利用了局部特征之间的空间包含关系,提出将相关的局部特征组合在一起以增强其视觉表达能力;该特征组合不但具有良好的尺度和旋转不变性,而且还能够自然地利用各特征元素之间的相对位置信息进行局部几何校验,剔除可能存在的错误匹配,以提高图像检索的准确率;特征量化以及组合表达大幅地提高了检索的精度;T1=0.95,T2=0.78,检索精度提高了50%,检索速度提高了1%。

实施例3:基于信息安全的图像检索方法,其特征是,包括信息安全控制和图像检索,信息安全控制方法包括以下步骤:

(1)信息安全显示设备接收服务器发送的携带第一检索信息请求消息,所述检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中;

(2)信息安全显示设备显示利用私钥解密后的所述检索信息;

(3)在用户对所述检索信息确认后,通过客户端向所述服务器发送确认消息。

优选地,所述信息安全显示设备接收第三方平台发送的携带第二检索信息的确认请求消息,所述第二检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中。

优选地,所述第二检索信息和所述第一检索信息包括相同的检索标识。

优选地,其特征是,图像检索通过以下步骤实现:

(1)由云服务器获取信息数据,将图像信息和非图像信息进行分类后,分别储存到图像数据库和非图像数据库中,并将来源相同的图像信息和非图像信息作标记;

(2)将非图像数据库按照预先设定的多个关键词划分为多个第一子数据库,同时按照所述关键词对非图像信息进行分类,分别储存到对应的所述第一子数据库中,未匹配到关键词的非图像信息单独划分为一类;

(3)将图像数据库按照所述关键词划分为多个第二子数据库,并对图像信息根据与其来源相同的非图像信息进行分类,分别储存到对应所述第二子数据库中,无来源相同标记的图像信息,或者其对应的非图像信息未匹配到关键词的图像信息单独划分为一类;

(4)当用户输入关键词进行检索时,按照输入的关键词与预先设定的关键词的相关度排序依次在各个第一字数据库和第二子数据库中分别进行检索,并分别输出图像数据和非图像数据的检索结果;每个第二子数据库的图像检索中还提供了通过输入查询图像Ip来检索相似图像的功能,该功能由以下步骤实现:

(1-1)采用SIFT特征对图像局部区域进行描述;

(1‐2)基于单词包的图像表示:

a.采用基于单词包模型对局部特征进行量化,设由M个局部特征向量组成的样本空间X={x1,…,xM},以无监督方式快速聚类生成初始视觉码本,采用最近邻策略建立局部特征xj与相对应的视觉单词的映射关系,j=1,…,M;

b.设码本空间中包含N个视觉单词,则任一图像表示为高维稀疏向量{w1,…,wN},wi表示视觉单词i的权值,i=1,…,N;

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow>

式中,表示该图像中视觉单词i出现的次数,ti表示图像数据库中视觉单词i出现的总次数,fi表示图像数据库中包含视觉单词i的图像数目;

对权值wi进行归一化处理,令∑iδi=1,此时任一图像的高维稀疏向量表示为{δ1,…,δN};

c.对于任意两幅图像p和q,定义两幅图像之间的第一视觉相似度S(p,q):

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>

S(p,q)越大,表明两幅图像越接近。

优选地,其特征是,步骤(4)还包括:

(1‐3)基于特征组合的图像表示:

a、将包含一个具有较大尺度的主特征和由这个主特征空间覆盖的若干个具有较小尺度的元素特征的集合定义为特征组合,给定任一图像P,抽取其包含的特征组合集其中,Cl=(Zl,Yl);

式中,Cl表示第l个特征组合,Zl为第l个特征组合的主特征,Yl为第l个特征组合的一组元素特征,Zl和Yl满足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl对应的局部空间区域完全被主特征Cl的局部空间覆盖,a(·)表示覆盖空间区域的面积;

b、对于任意两个特征组合Cf(Zf,Yf)和Cg(Zg,Yg),定义两个特征组合的第二视觉相似度R:

当cos(Zf,Zg)>T1时:

R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当T1≥cos(Zf,Zg)>T2时:

R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当cos(Zf,Zg)≤T2时:

R(Cf,Cg)=0

式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示两个特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征数;

(1‐4)图像检索:对于给定的查询图像Ip,首先提取其特征组合集,将每个特征的主特征映射到视觉单词,找出包含该视觉单词的数据库图像Iq,计算其与查询图像的相似度距离,通过将相似度距离与设定阈值比较,完成图像检索;

所述的相似度距离采用以下公式计算:

d=S(Ip,Iq)×maxR(Ip,Iq)

其中,S(p,q)表示两幅图像的第一视觉相似度度量,maxR(Ip,Iq)表示对两幅图像的所有特征组合进行第二视觉相似度度量的最大值。

在本实施例的基于信息安全的图像检索方法中,通过关键词和标记的运用,预先将数据库划分为多个子数据库,检索时先在相关度高的子数据库中进行检索,减少了计算量,提高了运算速度;基于单词包表示图像时,提出了加权表示和第一视觉相似度,减少了时间开销;基于特征组合表示图像时,利用了局部特征之间的空间包含关系,提出将相关的局部特征组合在一起以增强其视觉表达能力;该特征组合不但具有良好的尺度和旋转不变性,而且还能够自然地利用各特征元素之间的相对位置信息进行局部几何校验,剔除可能存在的错误匹配,以提高图像检索的准确率;特征量化以及组合表达大幅地提高了检索的精度;T1=0.95,T2=0.78,检索精度提高了50%,检索速度提高了1%。

实施例4:基于信息安全的图像检索方法,其特征是,包括信息安全控制和图像检索,信息安全控制方法包括以下步骤:

(1)信息安全显示设备接收服务器发送的携带第一检索信息请求消息,所述检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中;

(2)信息安全显示设备显示利用私钥解密后的所述检索信息;

(3)在用户对所述检索信息确认后,通过客户端向所述服务器发送确认消息。

优选地,所述信息安全显示设备接收第三方平台发送的携带第二检索信息的确认请求消息,所述第二检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中。

优选地,所述第二检索信息和所述第一检索信息包括相同的检索标识。

优选地,其特征是,图像检索通过以下步骤实现:

(1)由云服务器获取信息数据,将图像信息和非图像信息进行分类后,分别储存到图像数据库和非图像数据库中,并将来源相同的图像信息和非图像信息作标记;

(2)将非图像数据库按照预先设定的多个关键词划分为多个第一子数据库,同时按照所述关键词对非图像信息进行分类,分别储存到对应的所述第一子数据库中,未匹配到关键词的非图像信息单独划分为一类;

(3)将图像数据库按照所述关键词划分为多个第二子数据库,并对图像信息根据与其来源相同的非图像信息进行分类,分别储存到对应所述第二子数据库中,无来源相同标记的图像信息,或者其对应的非图像信息未匹配到关键词的图像信息单独划分为一类;

(4)当用户输入关键词进行检索时,按照输入的关键词与预先设定的关键词的相关度排序依次在各个第一字数据库和第二子数据库中分别进行检索,并分别输出图像数据和非图像数据的检索结果;每个第二子数据库的图像检索中还提供了通过输入查询图像Ip来检索相似图像的功能,该功能由以下步骤实现:

(1-1)采用SIFT特征对图像局部区域进行描述;

(1‐2)基于单词包的图像表示:

a.采用基于单词包模型对局部特征进行量化,设由M个局部特征向量组成的样本空间X={x1,…,xM},以无监督方式快速聚类生成初始视觉码本,采用最近邻策略建立局部特征xj与相对应的视觉单词的映射关系,j=1,…,M;

b.设码本空间中包含N个视觉单词,则任一图像表示为高维稀疏向量{w1,…,wN},wi表示视觉单词i的权值,i=1,…,N;

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow>

式中,表示该图像中视觉单词i出现的次数,ti表示图像数据库中视觉单词i出现的总次数,fi表示图像数据库中包含视觉单词i的图像数目;

对权值wi进行归一化处理,令∑iδi=1,此时任一图像的高维稀疏向量表示为{δ1,…,δN};

c.对于任意两幅图像p和q,定义两幅图像之间的第一视觉相似度S(p,q):

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>

S(p,q)越大,表明两幅图像越接近。

优选地,其特征是,步骤(4)还包括:

(1‐3)基于特征组合的图像表示:

a、将包含一个具有较大尺度的主特征和由这个主特征空间覆盖的若干个具有较小尺度的元素特征的集合定义为特征组合,给定任一图像P,抽取其包含的特征组合集其中,Cl=(Zl,Yl);

式中,Cl表示第l个特征组合,Zl为第l个特征组合的主特征,Yl为第l个特征组合的一组元素特征,Zl和Yl满足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl对应的局部空间区域完全被主特征Cl的局部空间覆盖,a(·)表示覆盖空间区域的面积;

b、对于任意两个特征组合Cf(Zf,Yf)和Cg(Zg,Yg),定义两个特征组合的第二视觉相似度R:

当cos(Zf,Zg)>T1时:

R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当T1≥cos(Zf,Zg)>T2时:

R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当cos(Zf,Zg)≤T2时:

R(Cf,Cg)=0

式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示两个特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征数;

(1‐4)图像检索:对于给定的查询图像Ip,首先提取其特征组合集,将每个特征的主特征映射到视觉单词,找出包含该视觉单词的数据库图像Iq,计算其与查询图像的相似度距离,通过将相似度距离与设定阈值比较,完成图像检索;

所述的相似度距离采用以下公式计算:

d=S(Ip,Iq)×maxR(Ip,Iq)

其中,S(p,q)表示两幅图像的第一视觉相似度度量,maxR(Ip,Iq)表示对两幅图像的所有特征组合进行第二视觉相似度度量的最大值。

在本实施例的基于信息安全的图像检索方法中,通过关键词和标记的运用,预先将数据库划分为多个子数据库,检索时先在相关度高的子数据库中进行检索,减少了计算量,提高了运算速度;基于单词包表示图像时,提出了加权表示和第一视觉相似度,减少了时间开销;基于特征组合表示图像时,利用了局部特征之间的空间包含关系,提出将相关的局部特征组合在一起以增强其视觉表达能力;该特征组合不但具有良好的尺度和旋转不变性,而且还能够自然地利用各特征元素之间的相对位置信息进行局部几何校验,剔除可能存在的错误匹配,以提高图像检索的准确率;特征量化以及组合表达大幅地提高了检索的精度;T1=0.95,T2=0.78,检索精度提高了50%,检索速度提高了1%。

实施例5:基于信息安全的图像检索方法,其特征是,包括信息安全控制和图像检索,信息安全控制方法包括以下步骤:

(1)信息安全显示设备接收服务器发送的携带第一检索信息请求消息,所述检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中;

(2)信息安全显示设备显示利用私钥解密后的所述检索信息;

(3)在用户对所述检索信息确认后,通过客户端向所述服务器发送确认消息。

优选地,所述信息安全显示设备接收第三方平台发送的携带第二检索信息的确认请求消息,所述第二检索信息被利用用户的用户数字证书公钥加密后携带在所述确认请求消息中。

优选地,所述第二检索信息和所述第一检索信息包括相同的检索标识。

优选地,其特征是,图像检索通过以下步骤实现:

(1)由云服务器获取信息数据,将图像信息和非图像信息进行分类后,分别储存到图像数据库和非图像数据库中,并将来源相同的图像信息和非图像信息作标记;

(2)将非图像数据库按照预先设定的多个关键词划分为多个第一子数据库,同时按照所述关键词对非图像信息进行分类,分别储存到对应的所述第一子数据库中,未匹配到关键词的非图像信息单独划分为一类;

(3)将图像数据库按照所述关键词划分为多个第二子数据库,并对图像信息根据与其来源相同的非图像信息进行分类,分别储存到对应所述第二子数据库中,无来源相同标记的图像信息,或者其对应的非图像信息未匹配到关键词的图像信息单独划分为一类;

(4)当用户输入关键词进行检索时,按照输入的关键词与预先设定的关键词的相关度排序依次在各个第一字数据库和第二子数据库中分别进行检索,并分别输出图像数据和非图像数据的检索结果;每个第二子数据库的图像检索中还提供了通过输入查询图像Ip来检索相似图像的功能,该功能由以下步骤实现:

(1-1)采用SIFT特征对图像局部区域进行描述;

(1‐2)基于单词包的图像表示:

a.采用基于单词包模型对局部特征进行量化,设由M个局部特征向量组成的样本空间X={x1,…,xM},以无监督方式快速聚类生成初始视觉码本,采用最近邻策略建立局部特征xj与相对应的视觉单词的映射关系,j=1,…,M;

b.设码本空间中包含N个视觉单词,则任一图像表示为高维稀疏向量{w1,…,wN},wi表示视觉单词i的权值,i=1,…,N;

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow>

式中,表示该图像中视觉单词i出现的次数,ti表示图像数据库中视觉单词i出现的总次数,fi表示图像数据库中包含视觉单词i的图像数目;

对权值wi进行归一化处理,令∑iδi=1,此时任一图像的高维稀疏向量表示为{δ1,…,δN};

c.对于任意两幅图像p和q,定义两幅图像之间的第一视觉相似度S(p,q):

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>p</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <mfrac> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>q</mi> </msubsup> </mrow> </mfrac> <mo>&times;</mo> <mfrac> <mn>1</mn> <msub> <mi>f</mi> <mi>i</mi> </msub> </mfrac> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>

S(p,q)越大,表明两幅图像越接近。

优选地,其特征是,步骤(4)还包括:

(1‐3)基于特征组合的图像表示:

a、将包含一个具有较大尺度的主特征和由这个主特征空间覆盖的若干个具有较小尺度的元素特征的集合定义为特征组合,给定任一图像P,抽取其包含的特征组合集其中,Cl=(Zl,Yl);

式中,Cl表示第l个特征组合,Zl为第l个特征组合的主特征,Yl为第l个特征组合的一组元素特征,Zl和Yl满足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl对应的局部空间区域完全被主特征Cl的局部空间覆盖,a(·)表示覆盖空间区域的面积;

b、对于任意两个特征组合Cf(Zf,Yf)和Cg(Zg,Yg),定义两个特征组合的第二视觉相似度R:

当cos(Zf,Zg)>T1时:

R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当T1≥cos(Zf,Zg)>T2时:

R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}

当cos(Zf,Zg)≤T2时:

R(Cf,Cg)=0

式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示两个特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征数;

(1‐4)图像检索:对于给定的查询图像Ip,首先提取其特征组合集,将每个特征的主特征映射到视觉单词,找出包含该视觉单词的数据库图像Iq,计算其与查询图像的相似度距离,通过将相似度距离与设定阈值比较,完成图像检索;

所述的相似度距离采用以下公式计算:

d=S(Ip,Iq)×maxR(Ip,Iq)

其中,S(p,q)表示两幅图像的第一视觉相似度度量,maxR(Ip,Iq)表示对两幅图像的所有特征组合进行第二视觉相似度度量的最大值。

在本实施例的基于信息安全的图像检索方法中,通过关键词和标记的运用,预先将数据库划分为多个子数据库,检索时先在相关度高的子数据库中进行检索,减少了计算量,提高了运算速度;基于单词包表示图像时,提出了加权表示和第一视觉相似度,减少了时间开销;基于特征组合表示图像时,利用了局部特征之间的空间包含关系,提出将相关的局部特征组合在一起以增强其视觉表达能力;该特征组合不但具有良好的尺度和旋转不变性,而且还能够自然地利用各特征元素之间的相对位置信息进行局部几何校验,剔除可能存在的错误匹配,以提高图像检索的准确率;特征量化以及组合表达大幅地提高了检索的精度;T1=0.95,T2=0.78,检索精度提高了50%,检索速度提高了1%。

最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1