一种图像匹配方法及装置与流程

文档序号:17479791发布日期:2019-04-20 06:22阅读:166来源:国知局
一种图像匹配方法及装置与流程

本申请涉及图像处理技术领域,更具体地说,涉及一种图像匹配方法及装置。



背景技术:

交通部门为了大众能够安全有序的行驶,通常将道路交通标志以标注的形式放置在路面两侧的标志牌或直接绘制在路面上,用于对驾驶员的驾驶进行警告、禁止、限制或指示。

在智能交通领域,道路交通标志有着巨大的作用,如导航服务商可以基于道路交通标志规划道路行程;智能汽车可以根据道路交通标志实时判断道路是否可以行驶等。因此,道路交通标志的识别显得尤为重要。现有道路交通标志的识别一般是,使用数据采集车在路面上进行图片或视频拍摄以采集图像,进而对采集的图像进行自动识别,得到识别出的各交通标志图像,并将识别出的各交通标志图像输出给作业人员审核,由作业人员确定最有效的信息并将其更新到数据库中,为地图等行业提供服务。

但是,由于自动识别的输入源是数据采集车采集的连续图像,因此同一个交通标志可能存在于多张连续的图像中,进而会被连续识别多次,导致作业人员需要对属于同一个交通标志的各个交通标志图像进行重复审核,浪费时间,审核效率低。



技术实现要素:

有鉴于此,本申请提供了一种图像匹配方法及装置,用于解决作业人员需要对属于同一个交通标志的各个交通标志图像进行重复审核,浪费时间,审核效率低的问题。

为了实现上述目的,现提出的方案如下:

一种图像匹配方法,包括:

确定第一目标图像与第二目标图像的匹配度,所述第一目标图像为从第一原始采集图像中识别出,所述第二目标图像为从第二原始采集图像中识别出;

根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像;

将所述第一目标图像及与之唯一匹配的第二目标图像确定为对同一目标的识别结果。

优选的,所述确定第一目标图像与第二目标图像的匹配度,包括:

采用图像相似度计算方法,计算第一目标图像与第二目标图像的相似度作为第一匹配度;

或,

根据所述第一原始采集图像的像素运动场和所述第二原始采集图像的像素运动场,确定第一目标图像与第二目标图像的第二匹配度;

或,

根据第一目标图像在所述第一原始采集图像中所占第一区域,以及第二目标图像在所述第二原始采集图像中所占第二区域,计算所述第一区域与所述第二区域的重合度,作为第一目标图像与第二目标图像的第三匹配度。

优选的,所述确定第一目标图像与第二目标图像的匹配度,还包括:

根据所述第一匹配度、所述第二匹配度和所述第三匹配度,确定第一目标图像与第二目标图像的总匹配度。

优选的,所述根据所述第一原始采集图像的像素运动场和所述第二原始采集图像的像素运动场,确定第一目标图像与第二目标图像的第二匹配度,包括:

若确定所述第一原始采集图像和所述第二原始采集图像的纹理均满足设定纹理条件,则根据第一目标图像对应的第一原始采集图像,以及第二目标图像对应的第二原始采集图像,确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量;

根据所述第一运动向量和所述第二运动向量,确定第一目标图像与第二目标图像的第二匹配度。

优选的,所述根据所述第一原始采集图像的像素运动场和所述第二原始采集图像的像素运动场,确定第一目标图像与第二目标图像的第二匹配度,包括:

若确定所述第一原始采集图像或所述第二原始采集图像的纹理不满足设定纹理条件,则在所述第一原始采集图像和所述第二原始采集图像中分别识别道路直线,并根据识别出的道路直线确定道路消失点;

根据述第一目标图像在所述第一原始采集图像中的位置,计算该位置到所述第一原始采集图像中的道路消失点的第三运动向量;

根据所述第二目标图像在所述第二原始采集图像中的位置,计算该位置到所述第二原始采集图像中的道路消失点的第四运动向量;

根据所述第三运动向量和所述第四运动向量,确定第一目标图像与第二目标图像的第二匹配度。

优选的,所述根据第一目标图像对应的第一原始采集图像,以及第二目标图像对应的第二原始采集图像,确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量,包括:

根据所述第一目标图像在所述第一原始采集图像中的第一位置坐标,以及所述第二目标图像在所述第二原始采集图像中的第二位置坐标,计算所述第一位置坐标至所述第二位置坐标的运动向量,作为第一运动向量;

确定所述第一目标图像在所述第二原始采集图像中对应的映射位置坐标;

计算所述第一位置坐标至所述映射位置坐标的运动向量,作为第二运动向量。

优选的,所述根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像,包括:

利用各所述第一目标图像及各所述第二目标图像,构建二分图;

按照二分图km最佳匹配算法,计算与各所述第一目标图像唯一匹配的第二目标图像。

优选的,还包括:

根据同一目标的各识别结果所在原始采集图像的采集时间、各识别结果在对应原始采集图像中所占像素面积大小及各识别结果在对应原始采集图像中所处位置,从各识别结果中确定最优的识别结果。

一种图像匹配装置,包括:

匹配度确定单元,用于确定第一目标图像与第二目标图像的匹配度,所述第一目标图像为从第一原始采集图像中识别出,所述第二目标图像为从第二原始采集图像中识别出;

目标图像匹配单元,用于根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像;

识别结果确定单元,用于将所述第一目标图像及与之唯一匹配的第二目标图像确定为对同一目标的识别结果。

优选的,所述匹配度确定单元,包括:

相似度计算单元,用于采用图像相似度计算方法,计算第一目标图像与第二目标图像的相似度作为第一匹配度;

或,

运动场计算单元,用于根据所述第一原始采集图像的像素运动场和所述第二原始采集图像的像素运动场,确定第一目标图像与第二目标图像的第二匹配度;

或,

区域重合度计算单元,用于根据第一目标图像在所述第一原始采集图像中所占第一区域,以及第二目标图像在所述第二原始采集图像中所占第二区域,计算所述第一区域与所述第二区域的重合度,作为第一目标图像与第二目标图像的第三匹配度。

优选的,所述匹配度确定单元,还包括:

总匹配度计算单元,用于根据所述第一匹配度、所述第二匹配度和所述第三匹配度,确定第一目标图像与第二目标图像的总匹配度。

优选的,所述运动场计算单元包括:

第一运动场计算子单元,用于若确定所述第一原始采集图像和所述第二原始采集图像的纹理均满足设定纹理条件,则根据第一目标图像对应的第一原始采集图像,以及第二目标图像对应的第二原始采集图像,确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量;

第二运动场计算子单元,用于根据所述第一运动向量和所述第二运动向量,确定第一目标图像与第二目标图像的第二匹配度。

优选的,所述运动场计算单元,包括:

第三运动场计算子单元,用于若确定所述第一原始采集图像或所述第二原始采集图像的纹理不满足设定纹理条件,则在所述第一原始采集图像和所述第二原始采集图像中分别识别道路直线,并根据识别出的道路直线确定道路消失点;

第四运动场计算子单元,用于根据述第一目标图像在所述第一原始采集图像中的位置,计算该位置到所述第一原始采集图像中的道路消失点的第三运动向量;

第五运动场计算子单元,用于根据所述第二目标图像在所述第二原始采集图像中的位置,计算该位置到所述第二原始采集图像中的道路消失点的第四运动向量;

第六运动场计算子单元,用于根据所述第三运动向量和所述第四运动向量,确定第一目标图像与第二目标图像的第二匹配度。

优选的,所述第一运动场计算子单元,包括:

第一运动向量确定子单元,用于根据所述第一目标图像在所述第一原始采集图像中的第一位置坐标,以及所述第二目标图像在所述第二原始采集图像中的第二位置坐标,计算所述第一位置坐标至所述第二位置坐标的运动向量,作为第一运动向量;

映射位置确定子单元,用于确定所述第一目标图像在所述第二原始采集图像中对应的映射位置坐标;

第二运动向量确定子单元,用于计算所述第一位置坐标至所述映射位置坐标的运动向量,作为第二运动向量。

优选的,所述目标图像匹配单元,包括:

二分图构建单元,用于利用各所述第一目标图像及各所述第二目标图像,构建二分图;

km计算单元,用于按照二分图km最佳匹配算法,计算与各所述第一目标图像唯一匹配的第二目标图像。

优选的,所述装置还包括:

最优识别结果确定单元,用于根据同一目标的各识别结果所在原始采集图像的采集时间、各识别结果在对应原始采集图像中所占像素面积大小及各识别结果在对应原始采集图像中所处位置,从各识别结果中确定最优的识别结果。

从上述的技术方案可以看出,本申请的图像匹配方法,对于从第一原始采集图像中识别出的第一目标图像,以及从第二原始采集图像中识别出的第二目标图像,首先确定第一目标图像与第二目标图像的匹配度,然后根据两者的匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像,将第一目标图像及与之唯一匹配的第二目标图像确定为同一目标的识别结果,由此将同一目标的所有图像一一识别出来,进而可以从识别出的同一目标的所有图像中选取设定张数输出给作业人员,减少了作业人员的审核工作量,节约了大量审核时间,从而使审核效率得到极大提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种图像匹配方法的流程图;

图2为示例了第一区域与第二区域的重合情况的示意图;

图3为示例了第一运动向量和第二运动向量位置的示意图;

图4为本申请实施例公开的一种图像匹配装置的逻辑结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例公开了一种图像匹配方法,对于从第一原始采集图像中识别出的第一目标图像,以及从第二原始采集图像中识别出的第二目标图像,首先确定第一目标图像与第二目标图像的匹配度,然后根据两者的匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像,将第一目标图像及与之唯一匹配的第二目标图像确定为同一目标的识别结果,由此将同一目标的所有匹配图像一一识别出来。接下来对本申请的图像匹配方法进行介绍,一种可选实施方式中,可以将相邻连续的两张原始采集图像作为一组实施图像匹配过程,得到每一组的图像匹配结果,并将每一组的图像匹配结果进行汇总,以实现识别出同一目标的所有图像。其中,图像匹配的过程参见图1,可以包括以下步骤:

步骤s100、确定第一目标图像与第二目标图像的匹配度。

本实施例中,所述第一目标图像为从第一原始采集图像中识别出,所述第二目标图像为从第二原始采集图像中识别出。第一原始采集图像和第二原始采集图像可以是连续图像,但因采集的距离和视角变化,第一原始采集图像和第二原始采集图像不同。

可以理解的是,第一原始采集图像可以包括至少一个第一目标图像,第二原始采集图像可以包括至少一个第二目标图像,在从两个相邻连续的原始采集图像中识别出所有的第一目标图像和第二目标图像后,需要确定任意一个第一目标图像与任意一个第二目标图像的匹配度。

步骤s110、根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像。

本实施例中,采用根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像的方式,确定所述第一目标图像和与之唯一匹配的第二目标图像为同一目标。

可以理解的是,若根据所述匹配度,确定存在与第一目标图像匹配的第二目标图像,则可以从匹配的第二目标图像中确定出与第一目标图像唯一匹配的第二目标图像。

需要说明的是,一个第二目标图像仅与一个第一目标图像存在匹配关系,不会与多个第一目标图像存在匹配关系。

步骤s120、将所述第一目标图像及与之唯一匹配的第二目标图像确定为对同一目标的识别结果。

如步骤s110中所述,所述第一目标图像和与之唯一匹配的第二目标图像为同一目标,因此将所述第一目标图像及与之唯一匹配的第二目标图像确定为对同一目标的识别结果。

本实施例中,以任意两个相邻连续的原始采集图像为一组,执行步骤s100-s120,得到每一组的图像匹配结果,并将每一组的图像匹配结果进行汇总,识别出同一目标的所有图像后,可以从同一目标的所有图像中任意选取设定张数的图像,作为该目标的输出图像。该目标的输出图像可以输出给作业人员审核,由作业人员确定最有效的信息并将其更新到数据库中,为地图等行业提供服务。

进一步地,本申请可以从同一目标的所有识别结果中选取最优的识别结果进行输出。最优的识别结果可以是清楚、完整的图像。本实施例示例了一种从同一目标的所有识别结果中选取最优识别结果的可选实施方式,如下:

根据同一目标的各识别结果所在原始采集图像的采集时间、各识别结果在对应原始采集图像中所占像素面积大小及各识别结果在对应原始采集图像中所处位置,从各识别结果中确定最优的识别结果。

一种可选的实施方式中,确定最优识别结果的过程可以包括:

s1、根据识别结果所在原始采集图像的采集时间与其余识别结果所在原始采集图像的采集时间的先后顺序,确定识别结果的第一选取权重;

其中,识别结果所在原始采集图像的采集时间相比于其余识别结果所在原始采集图像的采集时间越靠后,其第一选取权重越大。

s2、根据识别结果在对应原始采集图像中所占像素面积大小,确定识别结果的第二选取权重;

其中,识别结果在对应原始采集图像中所占像素面积越大,其第二选取权重越大。

s3、根据识别结果在对应原始采集图像中所处位置,确定识别结果的第三选取权重;

其中,识别结果在对应原始采集图像中所处位置越远离边界,其第三选取权重越大。

s4、根据识别结果的第一选取权重、第二选取权重、第三选取权重,确定识别结果的总选取权重,并依据每一识别结果的总选取权重,从中确定最优识别结果。

可以理解的是,识别结果所在原始采集图像采集时间越靠后,则该原始采集图像的拍摄距离越近,清晰度越高。识别结果在对应原始采集图像中所在像素面积越大,则表示识别结果拍摄的越清晰。识别结果在对应原始采集图像中越远离边界,则表示识别结果处于原始采集图像中心区域,不会出现拍摄缺失,代表识别结果越完整。

本实施例中,图像匹配方法应用在交通领域时,第一目标图像和第二目标图像具体可以包括但不局限于交通标志,例如黄色三角(黄三角)标识:例如减速慢行\注意施工\注意行人等标志;红色圆形(红圆)标识:例如最大限速\限宽\禁止左转\禁止非机动车等标志;蓝色圆形(蓝圆)标识:例如直行\向左转弯\向右转弯等标志;蓝绿方牌标识;地线标识。

本申请的图像匹配方法,对于从第一原始采集图像中识别出的第一目标图像,以及从第二原始采集图像中识别出的第二目标图像,首先确定第一目标图像与第二目标图像的匹配度,然后根据两者的匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像,将第一目标图像及与之唯一匹配的第二目标图像确定为同一目标的识别结果,由此将同一目标的所有图像一一识别出来,进而可以从识别出的同一目标的所有图像中选取设定张数输出给作业人员,减少了作业人员的审核工作量,节约了大量审核时间,从而使审核效率得到极大提高。

本申请的实施例,示例了几种可选的实施方式,来确定第一目标图像与第二目标图像的匹配度,几种可选方式分别如下:

(1)、采用图像相似度计算方法,计算第一目标图像与第二目标图像的相似度作为第一匹配度。

本实施例中,可以将第一匹配度作为前述实施例步骤s100中确定的第一目标图像与第二目标图像的匹配度。

(2)、根据所述第一原始采集图像的像素运动场和所述第二原始采集图像的像素运动场,确定第一目标图像与第二目标图像的第二匹配度。

本实施例中,可以将第一目标图像与第二目标图像的第二匹配度作为前述实施例步骤s100中确定的第一目标图像与第二目标图像的匹配度。

(3)、根据第一目标图像在所述第一原始采集图像中所占第一区域,以及第二目标图像在所述第二原始采集图像中所占第二区域,计算所述第一区域与所述第二区域的重合度,作为第一目标图像与第二目标图像的第三匹配度。

本实施例中,可以通过第一目标图像的像素点在所述第一原始采集图像中的位置坐标,来确定第一目标图像在所述第一原始采集图像中所占第一区域。同理,可以通过第二目标图像的像素点在所述第二原始采集图像中的位置坐标,来确定第二目标图像在所述第二原始采集图像中所占第二区域。

可选的,所述第一区域与所述第二区域的重合度可以采用如下公式计算:

c=o/s

上述公式中,c表示所述第一区域与所述第二区域的重合度;

o表示所述第一区域与所述第二区域的重叠区域;

s表示所述第一区域与所述第二区域的并集。

所述第一区域与所述第二区域的重合情况可分为三种情况:完全不重合、部分重合或完全重合。请参见图2,其示出了第一区域与第二区域的重合情况,如图2(a)所示,第一区域与第二区域完全不重合,如图2(b)所示,第一区域与第二区域部分重合,如图2(c)所示,第一区域与所述第二区域完全重合。

需要说明的是,完全不重合情况对应的重合度为零;部分重合情况对应的重合度的取值范围为大于0且小于100%;完全重合情况对应的重合度为100%。

本实施例中,可以将第一目标图像与第二目标图像的第三匹配度作为前述实施例步骤s100中确定的第一目标图像与第二目标图像的匹配度。

可以理解的是,可以采用上述(1)、(2)和(3)三种实施方式中的任意一种来确定第一目标图像与第二目标图像的匹配度,保证第一目标图像与第二目标图像的匹配度的确定方式多样化,灵活性高。

可选的,本申请还可以将上述(1)、(2)、(3)三种确定第一目标图像与第二目标图像的匹配度的实施方式进行结合,来确定第一目标图像与第二目标图像的匹配度,如:

s1、采用图像相似度计算方法,计算第一目标图像与第二目标图像的相似度作为第一匹配度。

s2、根据所述第一原始采集图像和所述第二原始采集图像之间的像素运动场,确定第一目标图像与第二目标图像的第二匹配度。

s3、根据第一目标图像在所述第一原始采集图像中所占第一区域,以及第二目标图像在所述第二原始采集图像中所占第二区域,计算所述第一区域与所述第二区域的重合度,作为第一目标图像与第二目标图像的第三匹配度。

s4、根据所述第一匹配度、所述第二匹配度和所述第三匹配度,确定第一目标图像与第二目标图像的总匹配度。

具体地,本步骤确定的第一目标图像与第二目标图像的总匹配度可以作为前述实施例中步骤s100所确定的第一目标图像与第二目标图像的匹配度。

本实施例中,可以直接将所述第一匹配度、所述第二匹配度和所述第三匹配度相加,三者之和作为第一目标图像与第二目标图像的总匹配度。

另外一种实施方式可以包括:将所述第一匹配度、所述第二匹配度和所述第三匹配度分别乘以三者各自对应的权重并求和,求和结果作为第一目标图像与第二目标图像的总匹配度。

可以理解的是,将前述实施例中的实施方式(1)、(2)和(3)结合,来确定第一目标图像与第二目标图像的匹配度,从多个因素综合考虑匹配度的计算,提高了确定匹配度的精确性。

需要说明的是,原始采集图像可以按照纹理分布情况划分为两类,一类纹理清楚,另一例纹理不清楚。根据原始采集图像的纹理是否清楚,上述确定第一目标图像与第二目标图像的第二匹配度的过程不同。接下来,通过不同实施例分别介绍。

首先,若确定第一原始采集图像和第二原始采集图像的纹理均满足设定纹理条件,即纹理清楚的话,则第二匹配度确定过程可以包括:

s1、根据第一目标图像对应的第一原始采集图像,以及第二目标图像对应的第二原始采集图像,确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量。

具体地,第一目标图像相对于第二目标图像的第一运动向量可以包括运动方向和位移。

若确定所述第一原始采集图像和所述第二原始采集图像的纹理均满足设定纹理条件,说明所述第一原始采集图像和所述第二原始采集图像中的像素为有纹理的像素,由于对于有纹理的像素,可以通过计算得到像素的运动向量,因此可以通过计算确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量。

具体可以通过稠密匹配的方法计算确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量。

s2、根据所述第一运动向量和所述第二运动向量,确定第一目标图像与第二目标图像的第二匹配度。

本实施例中,可以通过计算所述第一运动向量和所述第二运动向量的偏差,来确定第一目标图像与第二目标图像的第二匹配度,具体可以包括:确定所述第一运动向量和所述第二运动向量的夹角,根据夹角确定第一目标图像与第二目标图像的第二匹配度。其中,夹角越小,表明第一目标图像与第二目标图像的匹配度越高,则第二匹配度的值越大;反之,夹角越大,表明第一目标图像与第二目标图像的匹配度越低,则第二匹配度的值越小。

可选的,上述步骤s1,确定第一运动向量和第二运动向量的过程具体可以包括以下步骤:

s11、根据所述第一目标图像在所述第一原始采集图像中的第一位置坐标,以及所述第二目标图像在所述第二原始采集图像中的第二位置坐标,计算所述第一位置坐标至所述第二位置坐标的运动向量,作为第一运动向量。

具体地,可以将所述第一目标图像的中心像素点在所述第一原始图像中的位置坐标作为所述第一位置坐标。同理,可以将所述第二目标图像的中心像素点在所述第二原始图像中的位置坐标作为所述第二位置坐标。

本步骤中可以将所述第一位置坐标与所述第二位置坐标进行相减运算,得到的差值为所述第一位置坐标至所述第二位置坐标的运动向量。

s12、确定所述第一目标图像在所述第二原始采集图像中对应的映射位置坐标。

本步骤中可以通过计算全局的图像匹配关系,计算第一目标图像在所述第二原始采集图像中对应的映射位置坐标。

s13、计算所述第一位置坐标至所述映射位置坐标的运动向量,作为第二运动向量。

具体地,可以将所述第一位置坐标与所述映射位置坐标进行相减运算,得到的差值作为所述第一位置坐标至所述映射位置坐标的运动向量。

需要说明的是,将所述第一位置坐标与所述第二位置坐标进行相减运算,以及将所述第一位置坐标与所述映射位置坐标进行相减运算,需要保持相减运算规则一致,如两种相减运算均将所述第一位置坐标作为减数,所述第二位置坐标和所述映射位置坐标分别作为被减数;或者,两种相减运算均将所述第一位置坐标作为被减数,所述第二位置坐标和所述映射位置坐标分别作为减数。

现结合图3,举例对本实施例中的步骤s1-s3进行说明,例如第一目标图像在所述第一原始采集图像中的第一位置坐标为(x0,y0),第二目标图像在所述第二原始采集图像中的第二位置坐标为(x1,y1),将第二位置坐标(x1,y1)减去第一位置坐标(x0,y0),得到所述第一位置坐标至所述第二位置坐标的运动向量为(x1-x0,y1-y0)。并通过计算全局的图像匹配关系,计算第一位置坐标(x0,y0)在所述第二原始采集图像中对应的映射位置坐标为(x2,y2),将映射位置坐标(x2,y2)减去第一位置坐标(x0,y0),得到所述第一位置坐标至所述映射位置坐标的运动向量为(x2-x0,y2-y0)。

在本申请的另一个实施例中,若确定所述第一原始采集图像或所述第二原始采集图像的纹理不满足设定纹理条件,即第一原始采集图像或第二原始采集图像的纹理不清楚,则按照上一实施例介绍的第二匹配度确定过程所确定的第二匹配度会出现误差,因此,本实施例介绍了另外一种第二匹配度确定方式,具体可以包括以下步骤:

s1、在所述第一原始采集图像和所述第二原始采集图像中分别识别道路直线,并根据识别出的道路直线确定道路消失点。

若确定所述第一原始采集图像或所述第二原始采集图像的纹理不满足设定纹理条件,说明所述第一原始采集图像和所述第二原始采集图像中的像素为无纹理或纹理不清晰的像素,由于对于没有纹理或纹理不清晰的像素,不容易通过计算直接得到像素的运动向量,因此本实施例中首先在所述第一原始采集图像和所述第二原始采集图像中分别识别道路直线,并根据识别出的道路直线确定道路消失点。

在所述第一原始采集图像中识别出的若干条道路直线存在公共的交点,通过的道路直线最多的公共交点可以认定为道路消失点。基于此,根据识别出的道路直线确定道路消失点的具体过程可以包括:确定识别出的道路直线的公共交点,将通过道路直线最多的公共交点作为道路消失点。

同理,在所述第二原始采集图像中识别出的若干条道路直线存在公共的交点,通过的道路直线最多的公共交点可以认定为道路消失点。基于此,根据识别出的道路执行确定道路消失点的具体过程可以包括:确定识别出的道路直线的公共交点,将通过道路直线最多的公共交点作为道路消失点。

s2、根据所述第一目标图像在所述第一原始采集图像中的位置,计算该位置到所述第一原始采集图像中的道路消失点的第三运动向量。

s3、根据所述第二目标图像在所述第二原始采集图像中的位置,计算该位置到所述第二原始采集图像中的道路消失点的第四运动向量。

s4、根据所述第三运动向量和所述第四运动向量,确定第一目标图像与第二目标图像的第二匹配度。

本实施例中,可以通过计算所述第三运动向量和所述第四运动向量的差值,来确定第一目标图像与第二目标图像的第二匹配度,具体可以包括:确定所述第三运动向量和所述第四运动向量的夹角,根据夹角确定第一目标图像与第二目标图像的第二匹配度。其中,夹角越小,表面第一目标图像与第二目标图像的匹配度越高,则第二匹配度的值越大;反之,夹角越大,表明第一目标图像与第二目标图像的匹配度越低,则第二匹配度的值越小。

需要说明的是,确定所述第三运动向量和所述第四运动向量的夹角时,可以将所述第三运动向量和所述第四运动向量平移到同一个平面内,且两者的起点相同,在两者起点相同且在同一个平面内时,计算所述第三运动向量和所述第四运动向量的夹角。

在本申请的另一个实施例中,对前述实施例中步骤s110,根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像的过程进行介绍。本申请可以根据所述匹配度,通过二分图来计算与各所述第一目标图像唯一匹配的第二目标图像,具体实施方式如下:

s1、利用各所述第一目标图像及各所述第二目标图像,构建二分图。

在确定第一目标图像与第二目标图像的匹配度,根据所述匹配度计算时,每个第一目标图像可能会匹配若干个第二目标图像。不同的第一目标图像匹配的第二目标图像之间可能会存在重叠,举例如,第一目标图像a1匹配的第二目标图像为b1和b2;第一目标图像a2匹配的第二目标图像为b2和b3。由此可见,第一目标图像a1和a2各自匹配的第二目标图像中存在相同对象:b2。

为了为每个第一目标图像确定唯一匹配的第二目标图像,本申请可以构建二分图,利用二分图来解决该问题。二分图中一个顶点集是各第一目标图像组成的集合,另一个顶点集是各第二目标图像组成的集合。上述已经计算得到第一目标图像与各第二目标图像的匹配度,也即二分图中,从各第一目标图像组成的顶点集合中任意取出一个第一目标图像,其与二分图中另一顶点集合中任意一第二目标图像的匹配度都是已知的。基于此,可以执行下述步骤。

s2、按照二分图最佳匹配算法km算法,计算与各所述第一目标图像唯一匹配的第二目标图像。

具体地,本申请将二分图的两个顶点集合分别定义为x和y,其中集合x为各第一目标图像组成的顶点集合,集合y为各第二目标图像组成的顶点集合。集合x中包含对象为xi(i=1,2,3,……n);集合y中包含对象为yj(j=1,2,3,……m)。连接对象xi和对象yj的边的权值为wij,且权值wij等于该边关联的对象xi和对象yj的匹配度。

通过km(kuhnandmunkres,最佳匹配)算法,得到在集合y中的每一对象仅关联一条边的情况下,集合x中所有对象关联的边的权值和值;选择权值和值最大的集合x中的对象关联的边对应的集合y中的对象作为与集合x中的对象唯一匹配的对象。

比如,一个分组中有对象x1和x2,对象x1与y1、y2分别匹配,匹配度分别为50和60;x2也与y1、y2分别匹配,匹配度分别为55和50;则基于唯一关联的原则,假定x1和y1匹配,此时x2和y2匹配,得到权值的和值为50+50=100;再假定x1和y2匹配,此时x2和y1匹配,得到权值的和值为60+55=115;115大于100,因此,将x1和y2匹配,x2和y1匹配作为最终的匹配结果。

通过本实施例的二分图匹配方法,能够确定与各所述第一目标图像唯一匹配的第二目标图像,保证图像匹配的准确度。

下面对本申请实施例提供的图像匹配装置进行描述,下文描述的图像匹配装置与上文描述的图像匹配方法可相互对应参照。

请参见图4,其示出了本申请提供的图像匹配装置的一种逻辑结构示意图,图像匹配装置包括:匹配度确定单元11、目标图像匹配单元12和识别结果确定单元13。

匹配度确定单元11,用于确定第一目标图像与第二目标图像的匹配度,所述第一目标图像为从第一原始采集图像中识别出,所述第二目标图像为从第二原始采集图像中识别出。

目标图像匹配单元12,用于根据所述匹配度,计算与各所述第一目标图像唯一匹配的第二目标图像。

识别结果确定单元13,用于将所述第一目标图像及与之唯一匹配的第二目标图像确定为对同一目标的识别结果。

本实施例中,匹配度确定单元11,具体可以包括:

相似度计算单元,用于采用图像相似度计算方法,计算第一目标图像与第二目标图像的相似度作为第一匹配度;

或,

运动场计算单元,用于根据所述第一原始采集图像的像素运动场和所述第二原始采集图像的像素运动场,确定第一目标图像与第二目标图像的第二匹配度;

或,

区域重合度计算单元,用于根据第一目标图像在所述第一原始采集图像中所占第一区域,以及第二目标图像在所述第二原始采集图像中所占第二区域,计算所述第一区域与所述第二区域的重合度,作为第一目标图像与第二目标图像的第三匹配度。

本实施例中,上述匹配度确定单元11还可以包括:

总匹配度计算单元,用于根据所述第一匹配度、所述第二匹配度和所述第三匹配度,确定第一目标图像与第二目标图像的总匹配度。

基于上述内容,所述运动场计算单元,具体可以包括:

第一运动场计算子单元,用于若确定所述第一原始采集图像和所述第二原始采集图像的纹理均满足设定纹理条件,则根据第一目标图像对应的第一原始采集图像,以及第二目标图像对应的第二原始采集图像,确定第一目标图像相对于第二目标图像的第一运动向量,以及第一原始采集图像相对于第二原始采集图像的第二运动向量;

第二运动场计算子单元,用于根据所述第一运动向量和所述第二运动向量,确定第一目标图像与第二目标图像的第二匹配度。

或者,所述运动场计算单元,具体可以包括:

第三运动场计算子单元,用于若确定所述第一原始采集图像或所述第二原始采集图像的纹理不满足设定纹理条件,则在所述第一原始采集图像和所述第二原始采集图像中分别识别道路直线,并根据识别出的道路直线确定道路消失点;

第四运动场计算子单元,用于根据述第一目标图像在所述第一原始采集图像中的位置,计算该位置到所述第一原始采集图像中的道路消失点的第三运动向量;

第五运动场计算子单元,用于根据所述第二目标图像在所述第二原始采集图像中的位置,计算该位置到所述第二原始采集图像中的道路消失点的第四运动向量;

第六运动场计算子单元,用于根据所述第三运动向量和所述第四运动向量,确定第一目标图像与第二目标图像的第二匹配度。

本实施例中,第一运动场计算子单元,具体可以包括:

第一运动向量确定子单元,用于根据所述第一目标图像在所述第一原始采集图像中的第一位置坐标,以及所述第二目标图像在所述第二原始采集图像中的第二位置坐标,计算所述第一位置坐标至所述第二位置坐标的运动向量,作为第一运动向量;

映射位置确定子单元,用于确定所述第一目标图像在所述第二原始采集图像中对应的映射位置坐标;

第二运动向量确定子单元,用于计算所述第一位置坐标至所述映射位置坐标的运动向量,作为第二运动向量。

本实施例中,所述目标图像匹配单元12,具体可以包括:

二分图构建单元,用于利用各所述第一目标图像及各所述第二目标图像,构建二分图;

km计算单元,用于按照二分图km最佳匹配算法,计算与各所述第一目标图像唯一匹配的第二目标图像。

本实施例中,所述图像匹配装置还可以包括:最优识别结果确定单元,用于根据同一目标的各识别结果所在原始采集图像的采集时间、各识别结果在对应原始采集图像中所占像素面积大小及各识别结果在对应原始采集图像中所处位置,从各识别结果中确定最优的识别结果。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1