基于大数据矩阵稳定性分析的图像匹配与识别系统的制作方法

本发明属于图像识别技术领域，尤其涉及一种基于大数据矩阵稳定性分析的图像匹配与识别系统、方法与计算机可读存储介质。

背景技术：

移动互联网、智能手机以及社交网络的发展带来了海量图片信息，instagram每天图片上传量约为6000万张；whatsapp每天的图片发送量为5亿张；国内的微信朋友圈也是以图片分享为驱动。不受地域和语言限制的图片逐渐取代了繁琐而微妙的文字，成为了传词达意的主要媒介。图片成为互联网信息交流主要媒介的原因主要在于两点：第一，从用户读取信息的习惯来看，相比于文字，图片能够为用户提供更加生动、容易理解、有趣及更具艺术感的信息；第二，从图片来源来看，智能手机为我们带来方便的拍摄和截屏手段，帮助我们更快的用图片来采集和记录信息。

但伴随着图片成为互联网中的主要信息载体，难题随之出现。当信息由文字记载时，我们可以通过关键词搜索轻易找到所需内容并进行任意编辑，而当信息是由图片记载时，我们却无法对图片中的内容进行检索，从而影响了我们从图片中找到关键内容的效率。图片给我们带来了快捷的信息记录和分享方式，却降低了我们的信息检索效率。在这个环境下，计算机的图像识别技术就显得尤为重要。

图像识别是计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。识别过程包括图像预处理、图像分割、特征提取和判断匹配。简单来说，图像识别就是计算机如何像人一样读懂图片的内容。借助图像识别技术，我们不仅可以通过图片搜索更快的获取信息，还可以产生一种新的与外部世界交互的方式，甚至会让外部世界更加智能的运行。

图片搜索不同于文字搜索。现有技术的图片搜索功能大致是，给定一张源图像，对其进行预处理，输入到搜索引擎(例如图片匹配系统)中，从而得出至少一张符合特定要求的目标图像作为输出。在这个过程中，需要对源图像进行复杂的预处理，提取大量的特征信息，然后依据处理后的图像特征信息进行基于语义的检索。

授权公告号为cn103927387b的中国发明专利公开的检索系统及其相关方法和装置，对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括：样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。其中，在利用分类器对样本图像的特征描述信息进行分类之前，还包括：判断是否已有分类器；若是，则根据已有分类器对样本图像的特征描述信息进行分类；若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。优选的，对特征描述信息所组成的数据集合进行训练，生成分类器，具体为：采用k均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。优选的，所述对特征描述信息进行降维是采用主成分分析pca方法生成降维矩阵。

申请号为cn201811608994.x的中国发明专利申请提出一种图像检索方法及相关产品，图像检索装置可将第一人脸图像集中的每一人脸图像与第二人脸图像集中的每一人脸图像进行比对，得到多个比对值，该比对值可以理解为第一人脸图像中的每一人脸图像与第二人脸图像中的每一人脸图像的相似度，若比对值越大，表示相似度越大，则表示为同一个人脸图像的概率越大，可从多个比对值中选取最大比对值，并将该最大比对值对应的人脸图像作为目标对象，如此，能够确认出目标对象，并且提高了识别目标对象的准确率；

申请号为cn201810903853.4的中国发明专利提出基于图像分割和模糊模式识别的图像检索方法及系统，通过对图像进行分割，依次将查询图像和每幅被检索图像所对应的相同位置处的各个图像区域进行相似度匹配，并综合考虑各个图像区域之间的相似度来衡量查询图像和每幅被检索图像之间的相似度，能进一步增强图像之间的对比度；在图像特征提取过程中，综合考虑了图像的颜色特征和纹理特征，使得图像特征的代表性更优于单独考虑颜色特征或纹理特征时的代表性；在提取图像的颜色特征和纹理特征过程中，引入了模糊数学算法，能进一步提高颜色特征和纹理特征对图像的代表性；利用查询图像的k个近邻图像与每幅被检索图像的k个近邻图像之间的相似度来综合衡量查询图像与每幅被检索图像之间的相似度，能进一步提高图像检索系统的性能；将近邻数k通过函数设置为动态参数，能进一步提高图像检索系统对不同查询图像的适应能力；通过用户满意度进行信息反馈，能进一步提高图像检索系统的性能。

申请号为cn201810296979.x的中国发明专利申请提出一种图像检索方法以及图像存储方法，，索服务集群的节点对输入的图像提取特征，将图像和图像的特征数据分开存储，原始图像存储到数据库中，将特征数据存储在各个节点，这样使得在图像检索时各个节点可分别独立从本地存储的图像特征数据中进行匹配，与现有技术中到数据库中遍历获取特征数据进行匹配的方法相比，减少了从数据库中遍历获取特征数据的耗时，相比可以提高检索速度。

然而，现有技术的上述图片识别或者检索方案，大多需要对要查询或者检索的图像进行预处理，包括图像自动化处理、人工标注等环节，并且针对每一幅图像，都需要提取尽可能多的识别特征，对于单张图片来说，其计算量还勉强可以接受；然而，如果是针对大规模的海量图片检索引擎，上述过程将会同时带来海量的计算复杂度，使得检索效率降低。

技术实现要素：

为解决上述技术问题，本发明提出一种基于大数据矩阵稳定性分析的图像匹配与识别系统、方法与计算机可读存储介质。本发明的技术方案对于输入的原始图像，不用进行预处理，而是在查询之前首先进行识别处理，从原始图像中识别出一个或者一组包含原始图像的最多关键要素的子图像，再基于子图像进行图像匹配搜索。识别出包含最多关键要素的方法包括相似度判断以及特征矩阵稳定性判断，从而使得输入的查询检索要素既能够包含原始输入图像的关键信息，又能够极大的降低数据处理量，从而保证了在不丢失图像主要信息的前提下来提高图像检索速度。本发明的上述方案能够通过自动化的计算机图像识别程序与匹配程序进行，无需人工干预与先验经验。

具体来说，在本发明的第一个方面，提供一种基于大数据矩阵稳定性分析的识别系统，所述识别系统包括图像分割模块、图像特征提取模块、特征数据矩阵化引擎、特征数据稳定性判断组件以及识别特征输出界面，

所述图像分割组件，用于拾取初始输入图像的至少一个子图像，所述子图像的大小小于所述初始输入图像；

所述特征提取模块，用于针对所述子图像提取若干个子图像特征点；

所述特征数据矩阵化引擎，用于基于所述提取的若干个子图像特征点，形成子图像特征数据矩阵；

所述特征数据稳定性判断组件，用于判断特征数据矩阵的稳定性，并在所述识别特征输出界面上输出；

作为体现本发明创新点的关键技术之一，所述特征数据稳定性判断组件，用于判断所述特征数据矩阵的稳定性，具体包括：

基于所述针对所述子图像提取的若干个子图像特征点，采用图像重建技术恢复出至少一幅比较图像；

判断所述比较图像与所述初始输入图像的相似度，

如果相似度小于预定阈值，则利用所述特征提取模块从初始输入图像中提取若干个初始图像特征点；

所述特征数据矩阵化引擎，用于基于所述提取的若干个初始图像特征点，形成初始图像特征数据矩阵；

得到所述子图像特征数据矩阵与所述初始图像特征数据矩阵的组合矩阵，

如果所述组合矩阵的迹大于预定数值，则在所述识别特征输出界面上输出识别结果；

如果相似度大于预定阈值，则将初始输入图像更新为当前拾取的至少一个子图像；其中，所述子图像特征数据矩阵以及始图像特征数据矩阵为大小相等的n阶矩阵，n为大于1的正整数。

需要注意的是，在上述识别过程中，所述子图像与所述初始输入图像的大小比例大于预设比例值。

作为一个优选，可将所述子图像特征数据矩阵与所述初始图像特征数据矩阵进行差值运算，得到所述组合矩阵。

作为补充，如果所述组合矩阵的迹小于预定数值，则将初始输入图像更新为当前拾取的至少一个子图像。

在本发明的第二个方面，提供一种图像识别的方法，所述图像识别方法采用前述基于大数据矩阵稳定性分析的识别系统来执行图形识别过程，并输出至少一个初始输入图像，作为后续图像匹配或者检索系统的源输入图像(待查询检索图像)，所述方法包括如下步骤：

步骤s501：获取原始输入图像，将原始输入图像作为初始输入图像；

步骤s502：基于设定的预设比例值，从初始输入图像中拾取至少一个子图像；

步骤s503：提取所述子图像的若干个子图像特征点；

步骤s504：基于所述提取的若干个图像特征点，重建出至少一幅比较图像；

步骤s505：判断所述比较图像与初始输入图像的相似度；

步骤s506：判断所述相似度是否大于预定阈值；

如果是，则将当前拾取的至少一个子图像作为初始输入图像，返回步骤s502；

如果否，则进入步骤s507；

步骤s507：提取所述初始输入图像的若干个初始输入图像特征点；

步骤s508：基于步骤s503和步骤s507提取的的图像特征点，分别得到子图像特征数据矩阵和初始图像特征数据矩阵；

步骤s509：基于子图像特征数据矩阵和初始图像特征数据矩阵，得到组合矩阵；

步骤s510：判断所述组合矩阵的迹是否小于预定数值，

如果是，则将当前拾取的至少一个子图像作为初始输入图像，返回步骤s502；

否则，在所述识别特征输出界面上输出初始输入图像。

所述方法在步骤s509中，将所述子图像特征数据矩阵和初始图像特征数据矩阵，结合所述预设比例值进行差值运算，得到所述组合矩阵。

在本发明的第三个方面，提供一种图像匹配系统，所述图像匹配用于检索匹配图像，例如，输入一幅待查询图像，所述图像匹配系统输出至少一幅满足预定条件的目标图像。

不同于现有技术，本发明的图像匹配系统在输入待查询图像之后，先通过本发明提供的图像识别系统进行处理，从而得到至少一幅初始输入图像之后，再进行查询。

作为优选，如果输出多幅初始输入图像，则将其中与原始输入图像相似度最大的初始输入图像作为输入查询图像。

在本发明的第四个方面，还提供图像匹配方法，所述方法针对一幅源输入图像，在海量图像库中查询匹配度符合预定要求的至少一幅目标图像，具体包括：将所述源输入图像利用所述的图像识别方法进行识别，输出至少一幅初始输入图像，将所述初始输入图像作为输入查询图像，在海量图像库中查询匹配度符合预定要求的至少一幅目标图像。

本发明的上述方法均可以通过计算机指令程序的形式自动化实现，执行过程无需人工干预，因此，本发明还提供一种计算机可读存储介质，其上存储有计算机可执行程序指令集，通过处理器和存储器，执行所述指令集，用于实现前述图像识别方法和图像匹配方法。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的图像识别系统的整体架构图

图2是本发明一个实施例的图像识别方法的流程图

图3是本发明另一个实施例的图像识别方法的流程图

图4是本发明一个实施例的图像匹配系统的整体架构图

图5是本发明一个实施例的图像匹配方法的流程图

图6是本发明的图像匹配准确度与现有技术的对比图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面，结合附图以及具体实施方式，对发明做出进一步的描述：

请参阅图1，是本发明一个实施例的一个实施例的图像识别系统的整体架构图。

在图1中，提供一种基于大数据矩阵稳定性分析的识别系统，所述识别系统包括图像分割模块、图像特征提取模块、特征数据矩阵化引擎、特征数据稳定性判断组件以及识别特征输出界面。

在本实施例中，图像分割组件，用于拾取初始输入图像的至少一个子图像，所述子图像的大小小于所述初始输入图像。

作为一个优选，所述子图像与所述初始输入图像的大小比例大于预设比例值。

预设比例值可以事先在系统中设定，例如设定为90％或者0.95。值得注意的是，为了使得本发明的技术方案能够取得较好的识别效果并且识别结果能够用于后续的匹配，预设比例值应当相对较高，例如90％或者以上。

作为一个实例，假设最初的初始输入图像大小为x＊y，则子图像的大小可以是a＊b，其中1＞a/x＞0.9，1＞b/y＞0.9

图1中，所述特征提取模块，用于针对所述子图像提取若干个子图像特征点。

针对一个图像提取若干图像特征点，在本领域有多种常见的图像特征提取方法，本发明对此不作任何限制，作为一个示意性的例子，可以针对图像的每一个像素点提取特征值，例如rgb三通道值，或者其平均值；还可以针对图像进行边缘识别，提取每一个边缘子图片的特征值；或者，将图片进行变换，例如，每p个像素点计算出一个特征值等；

在此基础上，所述特征数据矩阵化引擎，用于基于所述提取的若干个子图像特征点，形成子图像特征数据矩阵；

参照前述实例，所述特征数据矩阵可以是z阶矩阵，z小于x并且小于y；

作为体现本发明创新点的关键技术手段，所述识别系统通过如下方式进行图像识别：

所述特征数据稳定性判断组件，用于判断特征数据矩阵的稳定性，并在所述识别特征输出界面上输出；

具体而言，所述特征数据稳定性判断组件，用于判断所述特征数据矩阵的稳定性，包括如下方式：

基于所述针对所述子图像提取的若干个子图像特征点，采用图像重建技术恢复出至少一幅比较图像；

判断所述比较图像与所述初始输入图像的相似度，

如果相似度小于预定阈值，则利用所述特征提取模块从初始输入图像中提取若干个初始图像特征点；

所述特征数据矩阵化引擎，用于基于所述提取的若干个初始图像特征点，形成初始图像特征数据矩阵；

得到所述子图像特征数据矩阵与所述初始图像特征数据矩阵的组合矩阵，

如果所述组合矩阵的迹大于预定数值，则在所述识别特征输出界面上输出识别结果；

如果所述组合矩阵的迹小于预定数值，则将初始输入图像更新为当前拾取的至少一个子图像；

如果相似度大于预定阈值，则将初始输入图像更新为当前拾取的至少一个子图像；

其中，所述子图像特征数据矩阵以及初始图像特征数据矩阵为大小相等的n阶矩阵，n为大于1的正整数，n≤z；

在本实例中，所述子图像特征数据矩阵为pnext，初始图像特征数据矩阵为pcurrent；

则组合矩阵可以是pcurrent—pcurrent，即二者的差值矩阵。

本实施例的上述识别系统，其执行的图像识别方法可以进一步参见图2-3所述的流程。

在图2中，所述方法包括步骤s501-s510组成的迭代循环，具体而言：

步骤s501：获取原始输入图像，将原始输入图像作为初始输入图像；

步骤s502：基于设定的预设比例值，从初始输入图像中拾取至少一个子图像；

步骤s503：提取所述子图像的若干个子图像特征点；

步骤s504：基于所述提取的若干个图像特征点，重建出至少一幅比较图像；

步骤s505：判断所述比较图像与初始输入图像的相似度；

步骤s506：判断所述相似度是否大于预定阈值；

如果是，则将当前拾取的至少一个子图像作为初始输入图像，返回步骤s502；

如果否，则进入步骤s507；

作为本发明的核心构思之一，如果子图像与初始输入图像的相似度大于阈值，则意味着当前拾取的子图像仍然可以再精简；因此，将初始输入图像进行更新，继续上述流程，直到拾取的子图像不能再精简；

步骤s507：提取所述初始输入图像的若干个初始输入图像特征点；

步骤s508：基于步骤s503和步骤s507提取的的图像特征点，分别得到子图像特征数据矩阵和初始图像特征数据矩阵；

步骤s509：基于子图像特征数据矩阵和初始图像特征数据矩阵，得到组合矩阵；

步骤s510：判断所述组合矩阵的迹是否小于预定数值，

如果是，则将当前拾取的至少一个子图像作为初始输入图像，返回步骤s502；

否则，在所述识别特征输出界面上输出初始输入图像。

由于组合矩阵是子图像特征数据矩阵和初始图像特征数据矩阵的差值，如果二者保留的信息类似，组合矩阵的迹就会小于预定数值，意味着子图像还可以继续精简，因此，因此，将初始输入图像进行更新，继续上述流程，直到拾取的子图像不能再精简。

作为更进一步的优选，将所述子图像特征数据矩阵和初始图像特征数据矩阵，结合所述预设比例值进行差值运算，得到所述组合矩阵。

例如，所述子图像特征数据矩阵为pnext，初始图像特征数据矩阵为pcurrent，预设比例值为0.95，

则组合矩阵可以是pnext-0.95pcurrent。

通过上述过程，可以输出保留原始图像关键信息但是尺寸最小的子图像，在实现中，如果输出多幅初始输入图像，则将其中与原始输入图像相似度最大的初始输入图像作为输入查询图像。

图2所述方法包括的步骤可以选择部分进行执行，使得效率更高。其中关键的技术手段就是利用组合矩阵的迹进行循环判断。因此，参见图3，还给出另一个实施例的图像识别方法的流程图，图3的方法包括如下流程：

针对初始输入图像，从初始输入图像中拾取至少一个子图像，提取所述子图像的若干个子图像特征点，得到子图像特征数据矩阵

针对初始输入图像，提取所述初始输入图像的若干个初始输入图像特征点，得到初始图像特征数据矩阵；

上述两个步骤可以并行执行，不分先后，从而提高计算效率；

在此基础上，获得组合矩阵，然后判断所述组合矩阵的迹是否小于预定数值，如果是，则将当前拾取的至少一个子图像作为初始输入图像，返回前述针对初始输入图像的处理步骤；

否则，在所述识别特征输出界面上输出初始输入图像。

图4是本发明一个实施例的图像匹配系统的整体架构图。

所述图像匹配用于检索匹配图像，例如，输入一幅待查询图像，所述图像匹配系统输出至少一幅满足预定条件的目标图像。

不同于现有技术，本发明的图像匹配系统在输入待查询图像之后，先通过本发明提供的图像识别系统进行处理，从而得到至少一幅初始输入图像之后，再进行查询。

图1-4所述的图像识别与匹配过程，无需对图片本身进行类似于现有技术那样的降噪、平滑等预处理操作，也无需进行标注，包括人工标注或者自动化标注。

作为优选，如果输出多幅初始输入图像，则将其中与原始输入图像相似度最大的初始输入图像作为输入查询图像。

接下来参见图5，图5是本发明一个实施例的图像匹配方法的流程图。

图5所述方法针对一幅源输入图像，在海量图像库中查询匹配度符合预定要求的至少一幅目标图像，具体包括：将所述源输入图像利用所述的图像识别方法进行识别，输出至少一幅初始输入图像，将所述初始输入图像作为输入查询图像，在海量图像库中查询匹配度符合预定要求的至少一幅目标图像。

图6是本发明的图像匹配准确度与现有技术的对比图。

图6中，比较了本发明的技术方案在不同数量级的图像识别与匹配过程中，所用的处理时间以及准确度，与两种常见现有技术的区别的示意性图示。

一类现有技术为包含预处理过程的方案，另一类现有技术为包含人工标注过程的方案。

可以看到，在图片数量极少时，采用人工标注方法的识别准确率最高，并且处理时间也可以接受；但是，随着图片数量显著增大后，采用人工标注方法几乎无法进行(例如图6中处理时间未显示到10⁵之后)，并且准确度急剧降低；而包含预处理过程的方案，虽然可以自动化实现，但是其处理时间随着图片数量级的增大也呈指数级增长，而准确度也呈下降趋势，无法适用于大数据级别下的图像识别与匹配；

相比之下，本发明的方案虽然在图片数量较少时，处理时间较长，准确度降低，但是随着图片数量级的增大，在处理时间和准确度二者上均得到了较好的效果；由于本发明基于大数据图片特征的矩阵稳定性判据，根据矩阵性质，数量越大，其矩阵迹体现出的稳定性准确度越高，因此，随着图片数量的增大，准确度也逐渐得到稳定的保障；而处理时间上，由于本发明的技术方案不存在复杂的预处理过程以及标注过程，仅仅通过特征提取以及矩阵迹计算，因此，计算量也得到显著降低，在图片数量急剧增大时，处理时间却趋于稳定。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。