图像特征点的匹配、视差提取和深度信息提取方法与流程

文档序号:15560983发布日期:2018-09-29 02:14阅读:294来源:国知局
本发明实施例涉及图像处理
技术领域
,尤其涉及一种图像特征点的匹配、视差提取和深度信息提取方法。
背景技术
:随着计算机技术的不断发展,立体视觉技术受到广泛的关注与应用,并且成为热门研究课题。立体视觉系统根据生物视觉感知深度信息的原理,采用摄像机获取标定图像和目标图像,通过摄像机对标定图像进行摄像机标定,获得摄像机内外参数。根据摄像机的位置信息、结合目标图像中匹配的特征点的视差值,最终恢复空间点的深度信息。对于上述过程中特征点的匹配,基于灰度的图像匹配算法是主流方向,现有技术中包括平均绝对差算法(mad)、绝对误差和算法(sad)、误差平方和算法(ssd)、平均误差平方和算法(msd)、归一化积相关算法(ncc)、序贯相似性算法(ssda)等具体实现方式。通过分析,我们发现绝对误差和算法(sumofabsolutedifferences,简称sad算法)是一种广泛使用的特征点匹配方法,其具有匹配精度高等优点,但其存在无法满足d1分辨率以上的实时性要求,逻辑运算量大的缺点,对于现有技术的上述缺点,目前还没有一种完善的解决方案。技术实现要素:有鉴于此,本发明实施例提供了一种图像特征点的匹配、视差提取和深度信息提取方法,以解决现有技术中使用sad算法进行图像匹配时,逻辑运算量大且不能满足d1分辨率以上的实时性要求的技术缺陷。在第一方面,本发明实施例提供了一种图像特征点的匹配方法,所述方法包含以下步骤:步骤一:图像获取,获取的图像为左侧视图和右侧视图;步骤二:设置搜索块,在所述左侧视图和所述右侧视图中各设置一个搜索块,分别为左侧视图搜索块和右侧视图搜索块,所述搜索块在对应视图中水平滑动,覆盖搜索块大小的像素点;步骤三:计算第1位置,即左侧视图的感兴趣区域的第a像素行中最左侧像素点的hsad值,当所述左侧视图搜索块的中心位于所述第1位置时,所述右侧视图搜索块的中心在所述右侧视图中对应于所述第1位置的搜索范围内由右向左水平滑动m个位置,并在每个滑动位置处以左右视图搜索块的行为单位计算所述左侧视图搜索块和所述右侧视图搜索块内对应像素点的灰度值差的绝对值之和,记为hsad值,其中,m为预设最大视差值,a∈[1,感兴趣区域的像素总行数];步骤四:计算所述第1位置对应的m个sad值,并将所述第1位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为所述第1位置的匹配特征点;步骤五:计算第n位置的hsad值,所述第n位置具体为所述第1位置右侧的第n个像素点,将所述第n位置作为所述左侧视图搜索块的中心,相应地,将所述右侧视图中对应于所述第1位置的搜索范围整体向右平移n个像素点得到所述右侧视图中对应于所述第n位置的搜索范围,所述右侧视图搜索块在所述对应于所述第n位置的搜索范围内由右向左水平滑动m个位置,基于第n-1位置的hsad值,通过双边计算确定所述左侧视图搜索块的中心位于第n位置的hsad值,其中,n∈[2,第a像素行的像素点总数];步骤六:计算第n位置对应的m个sad值,并将所述第n位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为所述第n位置的匹配特征点。在上述方法中,优选的是,存储第1位置到第n-1位置的hsad值,所述双边计算根据所存储的第n-1位置hsad值通过迭代的方式计算所述左侧视图搜索块中心位于第n位置的hsad值。在上述方法中,优选的是,所述步骤一中左右视图来源于双目视觉系统,所述左侧视图由双目视觉系统中左侧相机拍摄得到,所述右侧视图由双目视觉系统中右侧相机拍摄得到。在上述方法中,优选的是,所述步骤一中左右视图来源于单目视觉系统,所述左侧视图和右侧视图分别由单目视觉系统在不同位置拍摄得到。在上述方法中,优选的是,预先获取双目视觉系统的内外参数,建立摄像机坐标系。在上述方法中,优选的是,预先获取单目视觉系统的内外参数,建立摄像机坐标系。在上述方法中,优选的是,所述步骤一之后还包括:预处理所述左侧视图和所述右侧视图。在上述方法中,优选的是,所述预处理所述左侧视图和所述右侧视图,包括:对所述左侧视图和所述右侧视图进行sobel滤波处理。在上述方法中,优选的是,所述左侧视图搜索块和所述右侧视图搜索块包括:winsize×winsize大小的正方形搜索块。在上述方法中,优选的是,所述winsize为奇数,且5≤winsize≤21。在上述方法中,优选的是,所述步骤三中第1位置的hsad值采用以下方式计算得到:其中,l_sobel为经过预处理的左侧视图,l_sobeli表示在l_sobel图中,左侧视图搜索块的中心在第1位置时,左侧视图搜索块中第j行第i个像素点的灰度值,r_sobel为经过预处理的右侧视图,r_sobeli表示在r_sobel图中,右侧视图搜索块的中心位于对应于所述第1位置的搜索范围内的第m个搜索位置时,右侧视图搜索块中第j行第i个像素点的灰度值,其中,i,j∈[0,winsize-1],1≤m≤m。在上述方法中,优选的是,所述右侧视图中对应于所述第1位置的搜索范围所在像素行由所述第1位置基于对极几何原理确定;所述右侧视图中对应于所述第n位置的搜索范围像素行由所述第n位置基于对极几何原理确定。在上述方法中,优选的是,所述步骤四中的第1位置的m个sad值采用以下方式计算得到:其中,hsadmj为当所述左侧视图搜索块的中心位于所述第1位置,所述右侧视图搜索块的中心位于对应于所述第1位置的搜索范围内的第m个搜索位置时,第j行的hsad值,j∈[0,winsize-1],1≤m≤m。在上述方法中,优选的是,所述步骤五中通过双边计算确定所述左侧视图搜索块的中心位于第n位置的hsad值,具体采用以下方式:hsadnmj=hsadn-1mj-adl+adr其中,hsadn-1mj表示所述左侧视图搜索块的中心位于所述第n-1位置,所述右侧视图搜索块的中心位于对应于所述第n-1位置的搜索范围内的第m个搜索位置时,第j行的hsad值,hsadnmj表示所述左侧视图搜索块的中心位于所述第n位置,所述右侧视图搜索块的中心位于对应于所述第n位置的搜索范围内的第m个搜索位置时,第j行的hsad值,adl表示所述左侧视图搜索块的中心位于第n-1位置,所述右侧视图搜索块的中心位于对应于所述第n-1位置的搜索范围内的第m个搜索位置时,所述右侧视图搜索块的第j行最左侧像素点与所述左侧视图搜索块的第j行最左侧像素点的灰度值差的绝对值,adr表示所述左侧视图搜索块的中心位于第n位置,所述右侧视图搜索块的中心位于对应于所述第n位置的搜索范围内的第m个搜索位置时,所述右侧视图搜索块的第j行最右侧像素点与所述左侧视图搜索块的第j行最右侧像素点的灰度值差的绝对值。在上述方法中,优选的是,所述步骤六中的第n位置对应的m个sad值采用以下方式计算得到:其中,hsadnmj为当所述左侧视图搜索块的中心位于第n位置,所述右侧视图搜索块的中心位于对应于所述第n位置的搜索范围内的第m个搜索位置时,第j行的hsad值,j∈[0,winsize-1],1≤m≤m。在上述方法中,优选的是,在步骤六之后还包括:步骤九:采用唯一性验证与视差验证函数验证所述第1位置的匹配特征点和所述第n位置的匹配特征点用以去除噪声点。在第二方面,本发明实施例提供了一种视差提取方法,利用本发明实施例所述的图像特征点的匹配方法所得到的所述第1位置的匹配特征点和所述第n位置的匹配特征点确定视差值。在第三方面,本发明实施例提供了一种深度信息提取方法,根据本发明实施例所述的视差提取方法,确定深度信息。本发明实施例提供了一种图像特征点的匹配、视差提取和深度信息提取方法,通过先获取左侧视图和右侧视图,并在左侧视图和右侧视图中分别设置搜索块,然后将第1位置作为左侧视图搜索块的中心,将右侧视图中对应于第1位置的搜索范围内的m个位置依次作为右侧视图搜索块的中心,分别计算每一个右侧视图搜索块的中心位置对应的各个hsad值,再计算第1位置对应的m个sad值并确定第1位置的匹配特征点,最后将第n位置作为左侧视图搜索块的中心,将右侧视图中对应于第n位置的搜索范围内的m个位置依次作为右侧视图搜索块的中心,依据第n-1位置的hsad值和双边计算确定第n位置的hsad值,再计算第n位置对应的m个sad值并确定第n位置的匹配特征点,解决了现有技术中使用sad算法进行图像匹配时,逻辑运算量大且不能满足d1分辨率以上的实时性要求的技术缺陷,大大降低了sad算法的计算量,提高了计算速度,使得sad算法可以适应d1分辨率以上的图像的实时匹配需求。附图说明图1是本发明实施例一提供的一种图像特征点的匹配方法的流程图;图2是本发明实施例二提供的一种图像特征点的匹配方法的流程图;图3是本发明实施例三提供的一种视差提取方法的流程图;图4是本发明实施例四提供的一种深度信息提取方法的流程图。具体实施方式为了使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一本发明实施例一具体可以应用在需要场景建模的产品,如智能安防检测物体的定位,无人机三维定位,自动驾驶障碍物判断等,机器人导航,3d打印等。图1为本发明实施例一提供的一种图像特征点的匹配方法的流程图。本实施例的方法具体包括:110、图像获取,获取的图像为左侧视图和右侧视图。在本实施中,左侧视图和右侧视图具体是指从两个不同位置获取的包括同一目标物体的两幅图像,具体而言,即可以是通过不同位置的两个相同或不同的摄像头获取左侧视图和右侧视图,也可以是通过移动同一摄像头获取左侧视图和右侧视图,本实施例对此不进行限制。其中,目标物体具体是指左侧视图的感兴趣区域包括的物体。可以理解的是,一般两幅图在进行图像匹配时,主要是将其中一幅图像中重要物体的图像区域与另外一幅图像的整体或一部分图像区域进行匹配,以确定两幅图的关联性,因此,在本实施例中,左侧视图和右侧视图应包括同一目标物体,以完成左侧视图和右侧视图的特征点匹配。120、设置搜索块,在左侧视图和右侧视图中各设置一个搜索块,分别为左侧视图搜索块和右侧视图搜索块,搜索块在对应视图中水平滑动,覆盖搜索块大小的像素点。在本实施例中,通过左侧视图搜索块和右侧视图搜索块分别获取左侧视图和右侧视图中用于进行图像特征点匹配的所有像素点,左侧视图搜索块和右侧视图搜索块的尺寸应一致。130、计算第1位置,即左侧视图的感兴趣区域的第a像素行中最左侧像素点的hsad值。在本实施例中,左侧视图的感兴趣区域具体是指用户选取的,用于与右侧视图进行图像特征点匹配的图像区域,进一步地,感兴趣区域既可以是规则的正方形或长方形等图形,也可以是不规则图像,本实施例对此不进行限制。在本实施例中,第1位置具体是指左侧视图的感兴趣区域中的第a像素行中最左侧像素点,其中a∈[1,感兴趣区域的像素总行数],可见,感兴趣区域包含有多少个像素行,就对应有多少个第1位置,在本实施例中需要计算每一个第1位置的hsad值。下面对第1位置的hsad的计算方法举例进行具体说明:本领域技术人员可以理解的是,在现有的图像匹配技术中,可以通过对极几何等计算方法确定右侧视图中与左侧视图中的单一像素点相匹配的像素点搜索范围,该像素点搜索范围必包含与左侧视图中的该单一像素点相匹配的像素点,同样,在本实施例中,可以通过现有技术中的计算方法确定右侧视图中与各个第1位置对应的搜索范围,这里需要说明的是,本实施例及之后的所有实施例中涉及的右侧视图中与感兴趣区域中的各个第1位置对应的各个搜索范围必须均为右侧视图中某一像素行中的m个连续像素点,也就是说,与第1位置对应的搜索范围不应包含不同像素行的像素点,其中,m是预设最大视差值。在本实施例中,计算第1位置的hsad值时,左侧视图搜索块的中心应位于该第1位置,右侧视图搜索块的中心在右侧视图中对应于该第1位置的搜索范围内由右向左水平滑动m个位置,其中,m是预设最大视差值,其实通过现有的计算方法确定的右侧视图中与该第1位置对应的搜索范围是某一整个像素行,但是,在本实施例及之后的所有实施例中所使用的搜索范围具体是该某一整个像素行中m个连续的像素点。具体而言,右侧视图搜索块的中心每滑动一个位置就会计算一次hsad值,每次计算得到的hsad值的个数为左侧视图搜索块的行数(左侧视图搜索块与右侧视图搜索块的行数相同),可见,各个第1位置所对应的hsad值的个数均为m与左侧视图搜索块的行数的乘积。其中,第1位置的hsad值具体是指当左侧视图搜索块的中心位于该第1位置时,右侧视图搜索块的中心位于右侧视图中对应于该第1位置的搜索范围内的某一个像素点时,以左右视图搜索块的行为单位计算得到的左侧视图搜索块和右侧视图搜索块内对应像素点的灰度值差的绝对值之和。示例性的,左侧视图搜索块和右侧搜索块均为5×5的正方形搜索块,左侧视图搜索块的中心位于第1位置,左侧视图搜索块包含的所有像素点的灰度值如表1所示,右侧视图搜索块的中心位于右侧视图中对应于该第1位置的搜索范围内最右侧的像素点,右侧视图搜索块包含的所有像素点的灰度值如表2所示。1001051121341509098110122140959998130142999598125139979698128130表150656670657085899280759095958278929590887590969392表2那么,当左侧视图搜索块的中心位于第1位置,右侧视图搜索块的中心位于右侧视图中对应于该第1位置的搜索范围内最右侧的像素点时,该第1位置的5个hsad值分别为:hsad1=|100-50|+|105-65|+|112-66|+|134-70|+|150-65|=285hsad2=|90-70|+|98-85|+|110-89|+|122-92|+|140-80|=144hsad3=|95-75|+|99-90|+|98-95|+|130-95|+|142-82|=127hsad4=|99-78|+|95-92|+|98-95|+|125-90|+|139-88|=113hsad5=|97-75|+|96-90|+|98-96|+|128-93|+|130-92|=103进一步地,当右侧视图搜索块的中心从右侧视图中对应于该第1位置的搜索范围内最右侧的像素点向左滑动一个像素点之后,表2中的灰度值会产生变化,此时需要继续计算第1位置的另外5个hsad值,直至右侧视图搜索块的中心滑动至右侧视图中对应于该第1位置的搜索范围内最左侧的像素点并计算此位置对应于第1位置的5个hsad值,至此,该第1位置的所有hsad值计算完毕。140、计算第1位置对应的m个sad值,并将第1位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为第1位置的匹配特征点。在本实施例中,在步骤130中计算完成第1位置的所有hsad值之后,会依据计算得到的所有hsad值计算第1位置对应的m个sad值。其中,第1位置的各个sad值与右侧视图中对应于该第1位置的搜索范围的各个像素点一一对应,也就是说,当左侧视图搜索块的中心位于第1位置时,右侧视图搜索块的中心在右侧视图中对应于该第1位置的搜索范围内滑动,当每滑动一个位置就计算一次hsad值之后,会同时依据计算得到的hsad值计算该滑动位置对应的sad值。示例性的,步骤130中计算得到5个hsad值,此时左侧视图搜索块的中心位于第1位置,右侧视图搜索块的中心位于右侧视图中对应于该第1位置的搜索范围内最右侧的像素点,那么,对应于右侧视图中对应于该第1位置的搜索范围内最右侧的像素点的第1位置的sad值为772,计算公式如下:sad=hsad1+hsad2+hsad3+hsad4+hsad5=285+144+127+113+103=772进一步地,在本实施例中,在计算得到第1位置对应的m个sad值之后,会将该m个sad值中的最小值所对应的右侧视图搜索块的中心作为该第1位置的匹配特征点。150、计算第n位置的hsad值。在本实施例中,在计算完成第1位置的hsad值、sad值,并确定第1位置的匹配特征点之后,会依据计算得到的第1位置的hsad值以及双边计算确定在感兴趣区域内第1位置所在像素行中其余像素点,在右侧视图中的匹配特征点。在本实施例中,第n位置具体是指第1位置右侧的第n-1个像素点,其中,第1位置为左侧视图的感兴趣区域的第a像素行中最左侧像素点,相应地,n的取值范围为n∈[2,第a像素行的像素点总数]。进一步地,在计算第n位置的hsad值时,左侧视图搜索块的中心滑动至第n位置,此时,右侧视图中对应于第n位置的搜索范围为右侧视图中对应于第1位置的搜索范围整体向右平移n-1个像素点得到的像素点范围,举例而言,当右侧视图中对应于第1位置的搜索范围为右侧视图第10像素行中列坐标为15至34的20个像素点,那么,右侧视图中对应于第n位置的搜过范围为右侧视图中第10像素行中列坐标为15+n-1至34+n-1的20个像素点。在本实施例中,第n位置的hsad值是基于第n-1位置的hsad值通过双边计算确定的,在计算得到第1位置的所有hsad值之后,会从左至右依次计算该第1位置所在像素行中第1位置右侧的各个像素点的hsad值。下面对第n位置的hsad的计算方法举例进行具体说明:在本实施例中,计算第n位置的hsad值时,左侧视图搜索块的中心应位于该第n位置,右侧视图搜索块的中心在右侧视图中对应于该第n位置的搜索范围内由右向左水平滑动m个位置。同样,右侧视图搜索块的中心每滑动一个位置就会计算一次hsad值,每次计算得到的hsad值的个数为左侧视图搜索块的行数(左侧视图搜索块与右侧视图搜索块的行数相同),可见,各个第n位置所对应的hsad值的个数均为m与左侧视图搜索块的行数的乘积。其中,第n位置的hsad值具体也是指当左侧视图搜索块的中心位于该第n位置时,右侧视图搜索块的中心位于右侧视图中对应于该第n位置的搜索范围内的某一个像素点时,以左右视图搜索块的行为单位计算得到的左侧视图搜索块和右侧视图搜索块内对应像素点的灰度值差的绝对值之和。示例性的,左侧视图搜索块和右侧搜索块均为5×5的正方形搜索块,左侧视图搜索块的中心位于第n位置,左侧视图搜索块包含的所有像素点的编号如表3所示,右侧视图搜索块的中心位于右侧视图中对应于该第n位置的搜索范围内从右数第5个像素点,右侧视图搜索块包含的所有像素点的编号如表4所示。表3a’1a’2a’3a’4a’5b’1b’2b’3b’4b’5c’1c’2c’3c’4c’5d’1d’2d’3d’4d’5e’1e’2e’3e’4e’5表4在本步骤150中,并不直接利用表3和表4中各像素点的灰度值直接计算第n位置的hsad,而是基于第n-1位置的hsad值,通过双边计算确定左侧视图搜索块的中心位于第n位置的hsad值。下面对基于第n-1位置的hsad值,通过双边计算确定左侧视图搜索块的中心位于第n位置的hsad值进行具体说明:当左侧视图搜索块的中心位于第n-1位置时,左侧视图搜索块包含的所有像素点的编号如表5所示,当右侧视图搜索块的中心位于右侧视图中对应于该第n-1位置的搜索范围内从右数第5个像素点时,右侧视图搜索块包含的所有像素点的编号如表6所示。表5a’6a’1a’2a’3a’4b’6b’1b’2b’3b’4c’6c’1c’2c’3c’4d’6d’1d’2d’3d’4e’6e’1e’2e’3e’4表6如表5和表6所示,可知,此时第n-1位置的第一像素行的hsad值的计算公式为:hsad1n-1=|a1-a'1|+|a2-a'2|+|a3-a'3|+|a4-a'4|+|a6-a'6|其中,a1至a4、a’1至a’4、a6和a’6分别为像素点编号为a1至a4、a’1至a’4、a6和a’6的像素点的灰度值。如表3和表4所示,如果第n位置的第一像素行的hsad值的计算方法与第n-1位置的第一像素行的hsad值的计算方法一致,那么,此时第n-1位置的第一像素行的hsad值的计算公式为:hsad1n=|a1-a'1|+|a2-a'2|+|a3-a'3|+|a4-a'4|+|a5-a'5|其中,a5和a’5分别为像素点编号为a5和a’5的像素点的灰度值。根据hsad1n和hsad1n-1的计算公式可知,当右侧视图搜索块的中心位于右侧视图中对应于该第n位置的搜索范围内从右数第5个像素点时,第n位置的第一像素行的hsad值的计算公式为:hsad1n=hsad1n-1-|a6-a'6|+|a5-a'5|160、计算第n位置对应的m个sad值,并将第n位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为第n位置的匹配特征点。在本实施例中,在步骤150中计算完成第n位置的所有hsad值之后,同样会依据计算得到的所有hsad值计算第n位置对应的m个sad值,第n位置对应的m个sad值的计算方法与第1位置对应的m个sad值的计算方法一致。其中,第n位置的各个sad值与右侧视图中对应于该第n位置的搜索范围的各个像素点一一对应,也就是说,当左侧视图搜索块的中心位于第n位置时,右侧视图搜索块的中心在右侧视图中对应于该第n位置的搜索范围内滑动,当每滑动一个位置就计算一次hsad值之后,会同时依据计算得到的hsad值计算该滑动位置对应的sad值。进一步地,在本实施例中,在计算得到某一个第n位置对应的m个sad值之后,会将该m个sad值中的最小值所对应的右侧视图搜索块的中心作为该第n位置的匹配特征点。本发明实施例二提供了一种图像特征点的匹配、视差提取和深度信息提取方法,通过先获取左侧视图和右侧视图,并在左侧视图和右侧视图中分别设置搜索块,然后将第1位置作为左侧视图搜索块的中心,将右侧视图中对应于第1位置的搜索范围内的m个位置依次作为右侧视图搜索块的中心,分别计算每一个右侧视图搜索块的中心位置对应的各个hsad值,再计算第1位置对应的m个sad值并确定第1位置的匹配特征点,最后将第n位置作为左侧视图搜索块的中心,将右侧视图中对应于第n位置的搜索范围内的m个位置依次作为右侧视图搜索块的中心,依据第n-1位置的hsad值和双边计算确定第n位置的hsad值,再计算第n位置对应的m个sad值并确定第n位置的匹配特征点,解决了现有技术中使用sad算法进行图像匹配时,逻辑运算量大且不能满足d1分辨率以上的实时性要求的技术缺陷,大大降低了sad算法的计算量,提高了计算速度,使得sad算法可以适应d1分辨率以上的图像的实时匹配需求。实施例二图2是本发明实施例二提供的一种图像特征点的匹配方法的流程图。本实施例以上述实施例为基础进行优化,在本实施例中,步骤一中左右视图优化为:来源于双目视觉系统,左侧视图由双目视觉系统中左侧相机拍摄得到,右侧视图由双目视觉系统中右侧相机拍摄得到。进一步地,优化为还包括:预先获取双目视觉系统的内外参数,建立摄像机坐标系。进一步地,在步骤一之后还优化包括:预处理左侧视图和右侧视图。进一步地,将预处理左侧视图和右侧视图,优化为:对左侧视图和右侧视图进行sobel滤波处理。进一步地,将左侧视图搜索块和右侧视图搜索块优化为:winsize×winsize大小的正方形搜索块。进一步地,将winsize优化为奇数且5≤winsize≤21。进一步地,将步骤三中第1位置的hsad值的计算方法优化为:其中,l_sobel为经过预处理的左侧视图,l_sobeli表示在l_sobel图中,左侧视图搜索块的中心在第1位置时,左侧视图搜索块中第j行第i个像素点的灰度值,r_sobel为经过预处理的右侧视图,r_sobeli表示在r_sobel图中,右侧视图搜索块的中心位于对应于第1位置的搜索范围内的第m个搜索位置时,右侧视图搜索块中第j行第i个像素点的灰度值,其中,i,j∈[0,winsize-1],1≤m≤m。进一步地,右侧视图中对应于第1位置的搜索范围所在像素行由第1位置基于对极几何原理确定;右侧视图中对应于第n位置的搜索范围像素行由第n位置基于对极几何原理确定。进一步地,将步骤四中的第1位置的m个sad值的计算方法优化为:其中,hsadmj为当左侧视图搜索块的中心位于第1位置,右侧视图搜索块的中心位于对应于第1位置的搜索范围内的第m个搜索位置时,第j行的hsad值,j∈[0,winsize-1],1≤m≤m。进一步地,将步骤五中通过双边计算确定左侧视图搜索块的中心位于第n位置的hsad值,优化为采用以下方式计算:hsadnmj=hsadn-1mj-adl+adr其中,hsadn-1mj表示左侧视图搜索块的中心位于第n-1位置,右侧视图搜索块的中心位于对应于第n-1位置的搜索范围内的第m个搜索位置时,第j行的hsad值,hsadnmj表示左侧视图搜索块的中心位于第n位置,右侧视图搜索块的中心位于对应于第n位置的搜索范围内的第m个搜索位置时,第j行的hsad值,adl表示左侧视图搜索块的中心位于第n-1位置,右侧视图搜索块的中心位于对应于第n-1位置的搜索范围内的第m个搜索位置时,右侧视图搜索块的第j行最左侧像素点与左侧视图搜索块的第j行最左侧像素点的灰度值差的绝对值,adr表示左侧视图搜索块的中心位于第n位置,右侧视图搜索块的中心位于对应于第n位置的搜索范围内的第m个搜索位置时,右侧视图搜索块的第j行最右侧像素点与左侧视图搜索块的第j行最右侧像素点的灰度值差的绝对值。进一步地,将步骤六中的第n位置对应的m个sad值的计算方法优化为:其中,hsadnmj为当左侧视图搜索块的中心位于第n位置,右侧视图搜索块的中心位于对应于第n位置的搜索范围内的第m个搜索位置时,第j行的hsad值,j∈[0,winsize-1],1≤m≤m。进一步地,在步骤六之后还优化包括:步骤九:采用唯一性验证与视差验证函数验证第1位置的匹配特征点和第n位置的匹配特征点用以去除噪声点。相应的,本实施例的方法具体包括:210、预先获取双目视觉系统的内外参数,建立摄像机坐标系。在本实施例中,在通过双目视觉系统获取左侧视图和右侧视图之前,会预先获取双目视觉系统的内外参数,并建立摄像机坐标系,本过程属于现有技术,在此不再进行详细阐述。220、获取由双目视觉系统中左侧相机拍摄得到左侧视图,以及由双目视觉系统中右侧相机拍摄得到右侧视图。在本实施例中,左侧视图和右侧视图具体是分别通过双目视觉系统中的左侧相机和右侧相机拍摄得到的。230、对左侧视图和右侧视图进行sobel滤波处理。在本实施例中,在获取左侧视图和右侧视图之后,会对它们进行soble滤波处理,以减少或去除左侧视图和右侧视图中的噪声等不良影响。240、设置搜索块,在预处理之后的左侧视图和右侧视图中各设置一个边长为奇数的正方形搜索块,分别为左侧视图搜索块和右侧视图搜索块,搜索块在对应视图中水平滑动,覆盖搜索块大小的像素点。在本实施例中,左侧视图搜索块和右侧视图搜索块的尺寸一致,且两均为winsize×winsize大小的正方形搜索块,该正方形搜索块的边长winsize为奇数,取值范围是5≤winsize≤21。250、根据公式计算第1位置,即左侧视图的感兴趣区域的第a像素行中最左侧像素点的hsad值。在本实施例中,由第1位置基于对极几何原理确定右侧视图中对应于第1位置的搜索范围所在像素行,该像素行必包含与左侧视图中第1位置相匹配的像素点。在本实施例中,根据公式计算第一位置的hsad值。其中,l_sobel为经过soble滤波处理的左侧视图,l_sobeli表示在l_sobel图中,左侧视图搜索块的中心在第1位置时,左侧视图搜索块中第j行第i个像素点的灰度值,r_sobel为经过soble滤波处理的右侧视图,r_sobeli表示在r_sobel图中,右侧视图搜索块的中心位于右侧视图中对应于第1位置的搜索范围内的第m个搜索位置时,右侧视图搜索块中第j行第i个像素点的灰度值,其中,i,j∈[0,winsize-1],1≤m≤m。其中,在本实施例以及其他各个实施例中,右侧视图中对应于第1位置的搜索范围内的第m个搜索位置均是指右侧视图中对应于第1位置的搜索范围包括的m个像素点中,从最右侧的第一个像素点开始计数为1,继续向左数计数为m的像素点的位置。260、根据公式计算第1位置对应的m个sad值,并将第1位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为第1位置的匹配特征点。在本实施例中,由第n位置基于对极几何原理确定右侧视图中对应于第1位置的搜索范围所在像素行,该像素行必包含与左侧视图中第n位置相匹配的像素点。在本实施例中,根据公式计算当第1位置对应的m个sad值,其中,hsadmj为当左侧视图搜索块的中心位于第1位置,右侧视图搜索块的中心位于对应于第1位置的搜索范围内的第m个搜索位置时,第j行的hsad值,j∈[0,winsize-1],1≤m≤m。在本实施例中,在计算得到第1位置对应的m个sad值之后,会将第1位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为第1位置的匹配特征点。示例性的,右侧视图中对应于第1位置的搜索范围为右侧视图中第20像素行中列坐标为5至14的10个像素点,右侧搜索块的中心依次为上述列坐标值为14的像素点至列坐标值为5的像素点时,对应的第1位置的sad值分别为52、60、45、33、20、70、62、80、30和40,其中最小的sad值为20,该sad值对应的位置为右侧视图中第20像素行中列坐标为10的像素点,因此,将该像素点作为该第1位置的匹配特征点。270、根据公式hsadnmj=hsadn-1mj-adl+adr计算第n位置的hsad值。在本实施例中,根据公式hsadnmj=hsadn-1mj-adl+adr计算第n位置的hsad值,其中,hsadn-1mj表示左侧视图搜索块的中心位于第n-1位置,右侧视图搜索块的中心位于对应于第n-1位置的搜索范围内的第m个搜索位置时,第j行的hsad值,hsadnmj表示左侧视图搜索块的中心位于第n位置,右侧视图搜索块的中心位于对应于第n位置的搜索范围内的第m个搜索位置时,第j行的hsad值。同样,在本实施以及其他各个实施例中,第n-1位置的搜索范围内的第m个搜索位置是指右侧视图中对应于第n-1位置的搜索范围包括的m个像素点中,从最右侧的第一个像素点开始计数为1,继续向左数计数为m的像素点的位置;第n位置的搜索范围内的第m个搜索位置是指右侧视图中对应于第n位置的搜索范围包括的m个像素点中,从最右侧的第一个像素点开始计数为1,继续向左数计数为m的像素点的位置。其中,adl表示左侧视图搜索块的中心位于第n-1位置,右侧视图搜索块的中心位于对应于第n-1位置的搜索范围内的第m个搜索位置时,右侧视图搜索块的第j行最左侧像素点与左侧视图搜索块的第j行最左侧像素点的灰度值差的绝对值,adr表示左侧视图搜索块的中心位于第n位置,右侧视图搜索块的中心位于对应于第n位置的搜索范围内的第m个搜索位置时,右侧视图搜索块的第j行最右侧像素点与左侧视图搜索块的第j行最右侧像素点的灰度值差的绝对值。280、根据公式计算第n位置对应的m个sad值,并将第n位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为第n位置的匹配特征点。在本实施例中,根据公式计算第n位置对应的m个sad值,其中,hsadnmj为当左侧视图搜索块的中心位于第n位置,右侧视图搜索块的中心位于对应于第n位置的搜索范围内的第m个搜索位置时,第j行的hsad值,j∈[0,winsize-1],1≤m≤m。在本实施例中,在计算得到第n位置对应的m个sad值之后,会将第n位置对应的m个sad值中的最小值所对应的右侧视图搜索块的中心作为第n位置的匹配特征点。示例性的,右侧视图中对应于第n位置的搜索范围为右侧视图中第32像素行中列坐标为75至84的10个像素点,右侧搜索块的中心依次为上述列坐标值为84的像素点至列坐标值为75的像素点时,对应的第1位置的sad值分别为80、59、34、21、88、120、90、45、33和47,其中最小的sad值为21,该sad值对应的位置为右侧视图中第32像素行中列坐标为81的像素点,因此,将该像素点作为该第n位置的匹配特征点。290、采用唯一性验证与视差验证函数验证第1位置的匹配特征点和第n位置的匹配特征点用以去除噪声点。本发明实施例二提供了一种图像特征点的匹配方法,具体优化了左侧视图和右侧视图的获取方法,通过双目视觉系统获取左侧视图和右侧视图,还优化增加了对左侧视图和右侧视图进行sobel滤波的步骤,还将左右搜索块优化限定为winsize×winsize大小的正方形搜索块,同时将winsize的取值范围限定为5≤winsize≤21,同时还优化了第1位置的hsad值和sad值的计算方法以及第n位置的hsad值和sad值的计算方法。该方法通过增加对左侧视图和右侧视图的sobel滤波过程可以使图像的匹配结果更加准确,通过使用双边计算法计算第n位置的hsad值和sad值,大大降低了sad算法的计算量,提高了计算速度,使得sad算法可以适应d1分辨率以上的图像的实时匹配需求。在上述实施例的基础上,优选的是将步骤一中左右视图优化为:来源于单目视觉系统,左侧视图和右侧视图分别由单目视觉系统在不同位置拍摄得到,同时,进一步优化包括预先获取单目视觉系统的内外参数,建立摄像机坐标系。这样设置的好处是:由于左侧视图和右侧视图是同一个摄像头获取的图像,因此,两幅图像具有更高的匹配度。实施例三图3是本发明实施例三提供的一种视差提取方法的流程图。本实施例的方法具体包括:310、获取相机内外参数,建立摄像机坐标系;320、根据实施例一或实施例二的方法获得匹配的特征点;330、在已建立的摄像机坐标系中,获取匹配的特征点在摄像机坐标系中的视差。实施例四图4是本发明实施例四提供的一种深度信息提取方法的流程图。本实施例的方法具体包括:410、获取相机内外参数,建立摄像机坐标系;420、根据实施例一或实施例二的方法获得匹配的特征点;430、在已建立的摄像机坐标系中,获取匹配的特征点在摄像机坐标系中的视差;440、根据获取的视差信息,通过三角法确定匹配的特征点对应的目标点在摄像机坐标系中的深度信息。在此请注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1