一种快速高效的近似重复图像匹配方法
【专利摘要】本发明公开了一种快速高效的近似重复图像匹配方法。本方法为：1)提取训练图像库中每一图像的ORB特征并对每一图像的ORB特征进行非线性映射，构建该训练图像库的视觉词汇表；2)根据已构建的视觉词汇表，利用局部约束线性编码对训练图像库中每一图像非线性映射的ORB特征进行稀疏编码；3)提取待匹配图像的ORB特征并对其进行非线性映射，然后根据所建视觉词汇表对该待匹配图像非线性映射的ORB特征进行稀疏编码；4)计算待匹配图像的稀疏编码与该训练图像库中图像的稀疏编码相似度，若相似度超过设定阈值，则匹配成功，否则匹配失败。本发明降低了硬量化方法的重构误差，极大地提高了匹配的速度，可以用来实时匹配。
【专利说明】-种快速高效的近似重复图像匹配方法
【技术领域】
[0001] 本发明设及计算机视觉领域，特别设及一种近似图像匹配（Near-Duplicate Image Match)方法。
【背景技术】
[0002] 随着多媒体技术和现代信息处理技术的快速发展，特别是云计算、微信、微博等大 规模移动应用的推广，图像/视频数量正在呈爆炸式增长，该就不可避免的存在了大量的 近似重复图像，给信息存储和用户检索带来非常的不便。因此近似重复图像匹配吸引了一 些学者的兴趣。通过近似重复图像匹配的研究，一方面可W实现图像版权保护，其次在图像 捜索引擎中，用于过滤掉检索结果中的重复图像，从而提高用户的检索质量，另外，在基于 内容的敏感信息监控中，用于监控敏感图像的传播，因此，近似重复图像匹配有非常重要的 研究意义和应用价值。
[0003] 通常近似重复图像是由某幅源图像通过某些变换得到的，一般可W产生近似重复 图像的变换包括平移、缩放、旋转、图像色调的变化、添加网址或商标、格式变化、分辨率变 化等等。近似重复图像匹配最常用的框架有W下两类：基于词包模型炬ag of Words)的方 法和基于索引的方法。词包模型的框架主要包括提取表示图像视觉的局部特征，对局部特 征量化或编码，然后通过编码融合形成最终的直方图向量来表示图像，最后度量图像直方 图向量之间的相似性。基于索引的框架比较流行的是将提取的图像的特征通过哈希编码处 理成一个紧凑的显著的哈希串，该样相近的特征点W很高的概率被处理成相似的哈希串， 在捜索的过程中，仅仅捜索那些相似的哈希串，从而降低了捜索的时间复杂度，但是最终的 检测结果并不是很令人满意，同时它还需要大量的存储空间。因此，近年来，研究工作基本 上是采用词包模型的框架来做近似重复图像匹配。
[0004] 当前非常流行的词包模型框架不仅用在近似重复图像匹配上，还用在图像检索、 图像分类等其他应用上。由于SIFT特征具有旋转、尺度不变性等良好的特征，目前匹配方 法中广泛使用SIFT局部特征，并配合欧式距离的聚类算法进行图像匹配，但是目前的方法 存在速度慢、噪声大且准确度较差等问题。另一方面，词包模型的另外一个缺陷就是词量化 的问题，一般的技术都采用硬量化的方式，从而导致了一个局部特征点只能映射到词汇表 中的一个单词上，相似的局部特征有可能映射为不同的单词，因此造成了明显的重构误差。
【发明内容】
[0005] 针对现有的词包模型技术中局部特征点提取速度慢、噪声大、单词硬量化、图像匹 配速度慢等技术问题，本发明的目的是提供一种快速高效的近似重复图像匹配方法。本发 明综合分析了各项技术的特点，首先提取图像的ORB局部特征，并对ORB特征进行非线性映 射，然后利用局部约束线性编码对非线性映射后的局部特征进行稀疏编码，W及对得到的 稀疏编码构建倒排索引，通过该一系列综合技术处理，使得方案在避免噪声大的同时，能够 提高匹配速度。
[0006] 本发明的技术方案为；
[0007] 一种快速高效的近似重复图像匹配方法，其步骤为：
[000引 1)提取训练图像库中每一图像的ORB特征并对每一图像的ORB特征进行非线性映 射，构建该训练图像库的视觉词汇表；
[0009] 2)根据已构建的视觉词汇表，利用局部约束线性编码对训练图像库中每一图像非 线性映射的ORB特征进行稀疏编码；
[0010] 3)提取待匹配图像的ORB特征并对其进行非线性映射，然后根据所建视觉词汇表 对该待匹配图像非线性映射的ORB特征进行稀疏编码；
[0011] 4)计算待匹配图像的稀疏编码与该训练图像库中图像的稀疏编码相似度，若相似 度超过设定阔值，则匹配成功，否则匹配失败。
[0012] 进一步的，所述构建所述视觉词汇表的方法为：
[0013] 21)对每一图像的每一 ORB特征进行非线性映射，即首先对ORB特征1范数归一 化，然后对ORB特征向量的每一维进行开平方根运算；
[0014] 22)对训练图像库中所有图像经过非线性映射后的ORB特征利用聚类算法进行聚 类，根据聚类结果构建视觉词汇表。
[0015] 进一步的，所述聚类算法中根据非线性映射后的ORB特征之间的己氏距离进行聚 类。
[0016] 进一步的，利用公
【权利要求】
1. 一种快速高效的近似重复图像匹配方法，其步骤为： 1) 提取训练图像库中每一图像的ORB特征并对每一图像的ORB特征进行非线性映射， 构建该训练图像库的视觉词汇表； 2) 根据已构建的视觉词汇表，利用局部约束线性编码对训练图像库中每一图像非线性 映射的ORB特征进行稀疏编码； 3) 提取待匹配图像的ORB特征并对其进行非线性映射，然后根据所建视觉词汇表对该 待匹配图像非线性映射的ORB特征进行稀疏编码； 4) 计算待匹配图像的稀疏编码与该训练图像库中图像的稀疏编码相似度，若相似度超 过设定阈值，则匹配成功，否则匹配失败。
2. 如权利要求1所述的方法，其特征在于，所述构建所述视觉词汇表的方法为： 21) 对每一图像的每一ORB特征进行非线性映射，即首先对ORB特征1范数归一化，然 后对ORB特征向量的每一维进行开平方根运算； 22) 对训练图像库中所有图像经过非线性映射后的ORB特征利用聚类算法进行聚类， 根据聚类结果构建视觉词汇表。
3. 如权利要求2所述的方法，其特征在于，所述聚类算法中根据非线性映射后的ORB特 征之间的巴氏距离进行聚类。
4. 如权利要求2所述的方法，其特征在于
对ORB特征进行所述非线 性映射；其中，ORB特征向量X的第i维分量，d为ORB特征向量的维数。
5. 如权利要求1所述的方法，其特征在于，利用下列公式对所述ORB特征进行稀疏编
其中，条件I1Ci= 1保证了局部约束编码的平移不变性， JT SJ-IrCi -I5Vi 表示元素都为1的向量的转置，Y=Iiy1,y2, . . .，Yi, . . .，yN]表示N个维数为d的非线 性映射后的ORB特征，〇表示向量内元素两两相乘，d为ORB特征的维数，CiGRM是对非线 性映射后的第i个ORB特征yi局部约束线性编码后的稀疏向量。
6. 如权利要求5所述的方法，其特征在于，采用最大值融合方法对图像进行编码融合， 得到该图像的稀疏编码。
7. 如权利要求1-5任一所述的方法，其特征在于，根据图像的稀疏编码对该训练图像 库建立倒排索引，得到一倒排索引文件，步骤4)中利用该倒排索引文件，计算该待匹配图 像与训练图像库中的所有图像的相似度。
8. 如权利要求7所述的方法，其特征在于，所述倒排索引文件的结构为：倒排索引的每 一条记录表示一个单词，对应的值为所包含该视觉单词的图像ID列表以及对应的TF-IDF 值。
9. 如权利要求8所述的方法，其特征在于，计算该视觉单词对应的TF-IDF值的方法为： TF为该视觉单词的频率，即在其所在图像稀疏编码中的非零元素，
|d|表示该训练图像库中图像的总数，IDiI表示的是包含视觉单词i的图像数目。
【文档编号】G06K9/64GK104504406SQ201410733832
【公开日】2015年4月8日 申请日期:2014年12月4日 优先权日:2014年12月4日
【发明者】李莉, 戴帅夫, 刘丙双 申请人:长安通信科技有限责任公司