面向二进制特征的图像匹配方法及其系统的制作方法
【技术领域】
[0001] 本发明涉及图像检索技术领域，尤其涉及一种面向二进制特征的图像匹配方法及 其系统。
【背景技术】
[0002] 互联网图像视觉信息的迅速增长，给信息的组织与管理带来了巨大挑战，对海量 图像进行内容分析与检测的需求越来越大，基于内容的图像检索技术应运而生。基于内容 的图像检索技术主要分为两个部分，第一部分主要是图像特征的提取，包括特征点的位置， 特征点的主方向以及特征点的描述子。第二部分主要是图片匹配技术，包括图片特征索引 以及相应的匹配规则，由于图片特征库往往是巨大的海量数据，因此需要高效、稳定的索引 技术配合合理的匹配规则，才能满足实时海量数据的检索需求。
[0003] 现有的主流的图像匹配方法主要是用到了B0W(bag of word，词袋模型）以及倒排 索引技术，配合（Hamming_Embedding，海明嵌入）等匹配规则，达到海量图片匹配检索的目 的。然后，在词袋模型中，首先需要训练视觉单词中心，再把特征描述子分配到距离最近的 视觉中心，这个过程中视觉中心的个数难以确定，如果个数太多，需要巨大的计算量，往往 需要GPU协助，如果太小，则检索效果不好，同时分配特征描述子的过程也是计算密集型的 过程。另外一方面，词袋模型以及海明嵌入的规则往往只应用于实数特征描述子（即每个 描述子分量是个实数），不能满足实时监控领域的图像检索需求。
[0004] 综上可知，现有的图像匹配技术在实际使用上，显然存在不便与缺陷，所以有必要 加以改进。
【发明内容】
[0005] 针对上述的缺陷，本发明的目的在于提供一种面向二进制特征的图像匹配方法及 其系统，以提高图像匹配的准确性及速度。
[0006] 为了实现上述目的，本发明提供一种面向二进制特征的图像匹配方法，所述方法 包括：
[0007] 特征提取步骤：提取待检测的图片的多个特征点的信息以及多个所述特征点的第 一二进制描述子；
[0008] 第一匹配步骤：将多个所述第一二进制描述子与预设的图片库中的所有图片的第 二二进制描述子进行比较，找出与多个所述第一二进制描述子匹配数最多的第二二进制描 述子所对应的第一图片；
[0009] 第二匹配步骤：将所述待检测的图片和所述第一图片进行特征点的信息的匹配， 获得所述待检测图片的匹配结果信息。
[0010] 根据所述的图像匹配方法，所述特征点的信息包括：所述特征点的特征点主方向、 特征点位置和特征点覆盖面积；
[0011] 所述特征提取步骤包括：提取所述待检测的图片的多个特征点的特征点主方向、 特征点位置以及所述特征点的第一二进制描述子；
[0012] 在所述第一匹配步骤之前包括：
[0013] 二进制索引建立步骤：建立所述图片库的二进制索引，所述二进制索引包括由多 个第二二进制描述子组成的二进制特征空间和每个所述第二二进制描述子所在图片的图 片序号。
[0014] 根据所述的图像匹配方法所述第一匹配步骤包括：
[0015] 分别将每个所述第一二进制描述子在所述二进制特征空间中与所述第二二进制 描述子进行匹配；
[0016] 选择包括与多个所述第一二进制描述子匹配数最多的所述第二二进制描述子的 所述第一图片，若所述匹配数大于预设的第一阈值，则记录匹配的多个所述第一二进制描 述子和第二二进制描述子所对应的特征点对，并执行所述第二匹配步骤，否则所述第一匹 配步骤失败。
[0017] 根据所述的图像匹配方法所述第二匹配步骤包括：
[0018] 特征点方向匹配步骤：分别计算匹配的多个所述特征点对的特征点的主方向变化 率；若两者的所述主方向变化率小于预设的第二阈值，则执行特征点位置匹配步骤，否则所 述第一图片不是与所述待检测的图片匹配的图片；
[0019] 特征点位置匹配步骤：通过分别计算匹配的多个所述特征点对之间的透视变化矩 阵以计算多个所述特征点对的内点比率，若所述内点比率大于预设的第三阈值，则执行特 征点覆盖面积匹配步骤，否则所述第一图片不是与所述待检测的图片匹配的图片；
[0020] 特征点覆盖面积匹配步骤：计算多个所述特征点对中所述待检测图片中的特征点 的特征点覆盖面积，若所述覆盖面积大于预设的第四阈值，则第一图片是与所述待检测的 图片匹配的图片，否则所述第一图片不是与所述待检测的图片匹配的图片。
[0021] 根据所述的图像匹配方法所述特征提取步骤还包括：将所述第一二进制描述子进 行精简；
[0022] 所述二进制索引建立步骤还包括：将所述图片库的二进制索引中的第二二进制描 述子进行精简。
[0023] 为了实现本发明的另一发明目的，本发明还提供了一种面向二进制特征的图像匹 配系统，所述系统包括：
[0024] 特征提取模块，用于提取待检测的图片的多个特征点的信息以及多个所述特征点 的第一二进制描述子；
[0025] 第一匹配模块，用于将多个所述第一二进制描述子与预设的图片库中的所有图片 的第二二进制描述子进行比较，找出与多个所述第一二进制描述子匹配数最多的第二二进 制描述子所对应的第一图片；
[0026] 第二匹配模块，用于将所述待检测的图片和所述第一图片进行特征点的信息的匹 配，获得所述待检测图片的匹配结果信息。
[0027] 根据所述的图像匹配系统，所述特征点的信息包括：所述特征点的特征点主方向、 特征点位置和特征点覆盖面积；
[0028] 所述特征提取模块提取所述待检测的图片的多个特征点的特征点主方向、特征点 位置以及所述特征点的第一二进制描述子；
[0029] 所述系统还包括：
[0030] 二进制索引建立模块，用于建立所述图片库的二进制索引，所述二进制索引包括 由多个第二二进制描述子组成的二进制特征空间和每个所述第二二进制描述子所在图片 的图片序号。
[0031] 根据所述的图像匹配系统，所述第一匹配模块包括：
[0032] 第一匹配子模块，用于分别将每个所述第一二进制描述子在所述二进制特征空间 中与所述第二二进制描述子进行匹配；
[0033] 第一选择子模块，用于选择包括与多个所述第一二进制描述子匹配数最多的所述 第二二进制描述子的所述第一图片，若所述匹配数大于预设的第一阈值，则记录匹配的多 个所述第一二进制描述子和第二二进制描述子所对应的特征点对，并执行所述第二匹配模 块的匹配操作，否则所述第一匹配模块的匹配操作失败。
[0034] 根据所述的图像匹配系统，所述第二匹配模块包括：
[0035] 特征点方向匹配子模块，用于分别计算匹配的多个所述特征点对的特征点的主方 向变化率；若两者的所述主方向变化率小于预设的第二阈值，则执行特征点位置匹配模块 的匹配操作，否则所述第一图片不是与所述待检测的图片匹配的图片；
[0036] 特征点位置匹配子模块，用于通过分别计算匹配的多个所述特征点对之间的透视 变化矩阵以计算多个所述特征点对的内点比率，若所述内点比率大于预设的第三阈值，则 执行特征点覆盖面积匹配模块的匹配操作，否则所述第一图片不是与所述待检测的图片匹 配的图片；
[0037] 特征点覆盖面积匹配子模块，用于计算多个所述特征点对中所述待检测图片中的 特征点的特征点覆盖面积，若所述覆盖面积大于预设的第四阈值，则第一图片是与所述待 检测的图片匹配的图片，否则所述第一图片不是与所述待检测的图片匹配的图片。
[0038] 根据所述的图像匹配系统，所述特征提取模块将所述第一二进制描述子进行精 简；
[0039] 所述二进制索引建立模块将所述图片库的二进制索引中的第二二进制描述子进 行精简。
[0040] 本发明通过提取待检测的图片的多个特征点的信息以及多个所述特征点的第 一二进制描述子；然后，将多个所述第一二进制描述子与预设的图片库中的所有图片的第 二二进制描述子进行比较，找出与多个所述第一二进制描述子匹配数最多的第二二进制描 述子所对应的第一图片；最后，将所述待检测的图片和所述第一图片进行特征点的信息的 匹配，获得所述待检测图片的匹配结果信息，由此，提高了图片匹配的效率及准确性能。具 体的，在本发明中，创新的引入了四个匹配准则，依次通过待检测图片与图片库中的二进制 描述子个数匹配、特征点主方向匹配、特征点位置匹配、以及特征点覆盖面积匹配，实现在 保证速度以及召回率的同时，保证了极高的匹配精度。在现在主流的CPU(酷睿i74770)平 台上，检索索引能覆盖一百万的图片所包含的特征库，内存仅需占用2GB，单核单线程每秒 能检索500张图片，速度极快。在精度保证99%的情况下，召回率保证在85%以上，因此， 本发明的技术方案极其适合应用在对速度要求高的嵌入式平台以及实时监控平台上。
【附图说明】
[0041] 图1是本发明实施例提供的面向二进制特征的图像匹配系统的组成示意图；
[0042] 图2是本发明实施例提供的面向二进制特征的图像匹配系统的组成示意图；
[0043] 图3是本发明实施例提供的二进制倒排索引的示意图；
[0044] 图4A是本发明实施例提供的二进制描述子匹配规则示意图；
[0045] 图4B是本发明实施例提供的二进制描述子匹配规则示意图；
[0046] 图5A是本发明实施例提供的特征点主方向匹配规则示意图；
[0047] 图5B是本发明实施例提供的特征点主方向匹配规则示意图；
[0048] 图5