双目立体相机图像区域匹配优化方法、设备及存储介质与流程

文档序号:14099064阅读:167来源:国知局

本发明涉及图像处理技术领域,尤其涉及一种双目立体相机图像区域匹配优化方法、设备及存储介质。



背景技术:

双目立体视觉利用两台成像设备从不同的位置获取被测物体的两幅图像,并通过计算两幅图像对应像素点间的位置偏差(称作“视差disparity”),来得到物体与成像设备之间的距离,从而得到物体在摄像机坐标系中的三维信息。而要计算两幅图像对应像素点间的位置偏差,就要将其中一幅图像划分为若干个小区域,再将每个小区域(下文称“参考图像”)在另一幅图像的某一范围内(下文称“实时图像”)进行区域匹配计算,找到实时图像中与参考图像最为相似的位置。



技术实现要素:

本发明目的在于公开一种对双目立体相机图像区域匹配计算进行优化的方法及系统,以提高图像区域匹配的计算效率。

为实现上述目的,本发明公开了一种双目立体相机图像区域匹配优化方法,包括:

第一步、以图像灰度信息为基础,确定区域匹配的的相似性度量指标,将参考图像在实时图像偏移(u,v)处的归一化相关系数r定义为:

式中,I为实时图像,M为参考图像,m和n分别为参考图像的宽度和高度,N=m×n;其中,与实时图像相关的基本项包括和项:以及平方和项:

第二步、构建动态规划表,所述动态规划表计算有实时图像中每一个像素位置处左上角区域每一个像素点灰度值的累加和以及灰度值平方的累加和;

第三步、根据所述动态规划表,遍历计算参考图像在实时图像中各偏移量所对应的归一化相关系数的所述和项及所述平方和项,基于动态规划原理将所述归一化相关系数计算中的和项与平方和项计算转换为关联像素点之间的累加和运算,转换公式具体为:

其中,Sμ为和项动态规划表,Sσ为平方和项动态规划表。

为实现上述目的,本发明公开一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:

第一步、以图像灰度信息为基础,确定区域匹配的的相似性度量指标,将参考图像在实时图像偏移(u,v)处的归一化相关系数r定义为:

式中,I为实时图像,M为参考图像,m和n分别为参考图像的宽度和高度,N=m×n;其中,与实时图像相关的基本项包括和项:以及平方和项:

第二步、构建动态规划表,所述动态规划表计算有实时图像中每一个像素位置处左上角区域每一个像素点灰度值的累加和以及灰度值平方的累加和;

第三步、根据所述动态规划表,遍历计算参考图像在实时图像中各偏移量所对应的归一化相关系数的所述和项及所述平方和项,基于动态规划原理将所述归一化相关系数计算中的和项与平方和项计算转换为关联像素点之间的累加和运算,转换公式具体为:

其中,Sμ为和项动态规划表,Sσ为平方和项动态规划表。

可选地,作为一种变劣的实现,本发明可以仅以动态规划表对上述归一化相关系数计算过程中的和项或者平方和项进行优化。

进一步的,本发明还公开一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现上述方法的步骤。

本发明具有以下有益效果:

基于动态规划原理和动态规划表将和项和/或平方和项的计算转化为关联像素点之间的累加和运算,极大提高了在图像区域匹配的相关系数计算中和项和/或平方和项的计算效率。

下面将参照附图,对本发明作进一步详细的说明。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的实时图像与参考图像的空间关系示意图;

图2是本发明实施例基于动态规划的区域值累加和计算原理示意图;

图3是本发明实施例公开的动态规划表构造原理示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案,下面将结合附图对本发明作进一步的详细介绍。

实施例1

本实施例公开一种对双目立体相机图像区域匹配计算进行优化的方法,详述如下:

本实施例中,归一化相关系数是图像区域匹配的度量指标。其中,图像的区域匹配计算一般是以图像灰度信息为基础(当然也可以图像彩色信息为基础,原理相同),用归一化相关系数为相似性度量指标,在实时图像中搜索和参考图像特征相一致的位置。

实时图像和参考图像的空间关系如图1所示。数学上,参考图像在实时图像偏移(u,v)处的相关系数r定义为:

式中,I为实时图像,M为参考图像,m和n分别为参考图像的宽度和高度,N=m×n。其中,相关公式中,(*,*)所限定的为具体像素的位置坐标,后续不做赘述。

r的值域范围在[-1,1],值为1.0表示实时图像和参考图像区域完全匹配,值为-1.0表示完全误匹配。通常,可以直接用相关系数作为相似性度量。但更优选地,可以用r2的形式,其基于以下两点理由:(1)在相关系数计算中,对分子取平方较对分母开平方根运算速度更快;(2)对r取平方,其拓宽高端的动态范围,并压缩低端的动态范围,而我们更加关注高端,而不关注低端。对r2形式的相似性度量,我们称为分数,其有以下两种形式:

归一化分数:n(u,v)=[max(r(u,v),0)]2

绝对分数:n(u,v)=[r(u,v)]2

为了提升计算效率,通常可以通过一些搜索策略来实现。例如:对实时图像和参考图像进行多分辨率表示,在降维的图像上进行搜索定位,然后逐层求精的方式完成相关系数计算;或者设置接收阈值、混淆阈值对搜索过程进行控制,提前终止无意义的计算过程。这些都是通过搜索策略进行效率优化的方式。本实施例提出的方法是在搜索策略优化的基础上,对归一化相关计算过程本身进行优化,旨在进一步降低计算量从而提高计算效率的一种方法。

在上述r的计算公式中,分别由后续5个基本项构成:前两项仅和参考图像相关,对于给定的某一参考图像其为常数;第三项和第四项仅和实时图像相关;第五项为相关项,与参考图像和实时图像相关,构成了相关系数计算量的最主要来源。为便于描述,本实施例将第三项称为“和项”,将第四项称为“平方和项”。

本实施例方法主要是基于动态规划原理将所述和项和/或所述平方和项的计算转化为关联像素点之间的累加和运算。

其中,如图2所示,动态规划原理为:

以图像灰度信息为所述相似性度量指标的基础,矩形区域aceg被内部正交的线段hd和bf切割,线段hd垂直于ag和ce,线段bf垂直于ac和ge,线段hd和bf相交于点i,矩形区域idef内灰度值累加和为:

其中aceg、abfg、acdh和abih分别为对应矩形区域内灰度值累加和,分别对应左上角区域每一个像素值灰度值累加和。

在动态规划计算中,必须先计算实时图像中每一个像素位置处左上角区域每一个像素点灰度值的累加和、和/或灰度值平方的累加和,称之为动态规划表,其构造原理如图3所示,计算公式为:

其中,x为PRSQ区域的灰度值,分别为动态规划表对应位置处的计算值(考虑到灰度值累加特性,实现中要避免溢出)。

基于图2所示的动态规划原理和图3所述的动态规划表的构建,与图1所述图像匹配相对应的动态规划表的构建计算式包括:

Su(u,v)=I(u,v)+Su(u-1,v)+Su(u,v-1)-Su(u-1,v-1);

Sσ(u,v)=I2(u,v)+Sσ(u-1,v)+Sσ(u,v-1)-Sσ(u-1,v-1);

其中,Sμ为和项动态规划表,Sσ为平方和项动态规划表,(*,*)所限定的为具体像素的位置坐标,例如:Sμ(u-1,v)为实时图像中像素位置(u-1,v)左上角区域每一个像素点的灰度值累加和;同理,Sσ(u-1,v)为实时图像中像素位置(u-1,v)左上角区域每一个像素点的灰度值平方的累加和,I(u,v)为实时图像中像素位置(u,v)的灰度值。在本发明实施例中,动态规划表是二维的,其宽度高度与实时图像的宽度高度完全一致,Sμ的每个元素的值就是实时图像中对应像素位置处左上角区域的灰度值的累加和;Sσ的每个元素的值就是实时图像中对应像素位置处左上角区域的灰度值平方的累加和。

藉此,根据动态规划表,上述归一化相关系数中的和项与平方和项的计算可以转换为:

需要说明的是:上述和项与平方和项的关系则类似于下述例子:东北三省每个人体重和=黑龙江每个人体重和+辽宁每个人体重和+吉林每个人体重和;则东北三省每个人体重平方和=黑龙江每个人体重平方和+辽宁每个人体重平方和+吉林每个人体重平方和。即对于上述图2中的动态规划原理,只要是区域累加和,无论是灰度的累加和量,还是灰度的平方的累加和量,都是成立的,后续不再赘述。

综上,根据动态规划表,则可遍历计算参考图像在实时图像中各偏移量所对应的归一化相关系数的所述和项及所述平方和项,基于动态规划原理将所述归一化相关系数计算中的和项与平方和项计算转换为关联像素点之间的累加和运算。换言之,在具体的区域匹配的过程中:参考图像在实时图像中进行搜索遍历,在每一个被遍历到的像素点进行归一化相关系数计算,此时通过参考图像所覆盖的实时图像区域的四个角点坐标去查找之前构建的动态规划表,并通过动态规划表中的数值对该系数计算过程中的和项与平方和项的进行替换。

基于动态规划方法的归一化相关计算和传统方法的计算效率比较如表1所示。从表中可以看出,加减操作降低将近3倍,平方操作降低倍。

表1:

本实施例中对于在大邻域内的归一化相关计算,上述动态规划方法对效率的提升明显。

可选地,作为一种变劣的实现,本领域技术人员可以仅以动态规划表对上述归一化相关系数计算过程中的和项或者平方和项进行优化。

进一步的,本发明还公开一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法的步骤。

显而易见地,本领域技术人员还可以基于上述技术启示,开发一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中步骤。具体例如:

一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:

第一步、以图像灰度信息为基础,确定区域匹配的的相似性度量指标,将参考图像在实时图像偏移(u,v)处的归一化相关系数r定义为:

式中,I为实时图像,M为参考图像,m和n分别为参考图像的宽度和高度,N=m×n;其中,与实时图像相关的基本项包括和项:以及平方和项:

第二步、构建动态规划表,所述动态规划表计算有实时图像中每一个像素位置处左上角区域每一个像素点灰度值的累加和以及灰度值平方的累加和;

第三步、根据所述动态规划表,遍历计算参考图像在实时图像中各偏移量所对应的归一化相关系数的所述和项及所述平方和项,基于动态规划原理将所述归一化相关系数计算中的和项与平方和项计算转换为关联像素点之间的累加和运算,转换公式具体为:

其中,Sμ为和项动态规划表,Sσ为平方和项动态规划表。

或者,一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:

第一步、以图像灰度信息为基础,确定区域匹配的的相似性度量指标,将参考图像在实时图像偏移(u,v)处的归一化相关系数r定义为:

式中,I为实时图像,M为参考图像,m和n分别为参考图像的宽度和高度,N=m×n;其中,与实时图像相关的基本项包括和项:

第二步、构建动态规划表Sμ,所述动态规划表计算有实时图像中每一个像素位置处左上角区域每一个像素点灰度值的累加和;

第三步、根据所述动态规划表,遍历计算参考图像在实时图像中各偏移量所对应的归一化相关系数的所述和项,基于动态规划原理将所述归一化相关系数计算中的和项计算转换为关联像素点之间的累加和运算,转换公式具体为:

又或者,一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:

第一步、以图像灰度信息为基础,确定区域匹配的的相似性度量指标,将参考图像在实时图像偏移(u,v)处的归一化相关系数r定义为:

式中,I为实时图像,M为参考图像,m和n分别为参考图像的宽度和高度,N=m×n;其中,与实时图像相关的基本项包括平方和项:

第二步、构建动态规划表Sσ,所述动态规划表计算有实时图像中每一个像素位置处左上角区域每一个像素值灰度值平方的累加和;

第三步、根据所述动态规划表,遍历计算参考图像在实时图像中各偏移量所对应的归一化相关系数的所述平方和项,基于动态规划原理将所述归一化相关系数计算中的平方和项计算转换为关联像素点之间的累加和运算,转换公式具体为:

综上,本发明公开的双目立体相机图像区域匹配优化方法、设备及存储介质,基于动态规划原理和动态规划表将和项和/或平方和项的计算转化为关联像素点之间的累加和运算,极大提高了在图像区域匹配的相关系数计算中和项和/或平方和项的计算效率。

以上只通过说明的方式描述了本发明的某些示范性实施例,毋庸置疑,对于本领域的普通技术人员,在不偏离本发明的精神和范围的情况下,可以用各种不同的方式对所描述的实施例进行修正。因此,上述附图和描述在本质上是说明性的,不应理解为对本发明权利要求保护范围的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1