一种图像的鸟瞰视角重投影方法、装置及便携式终端与流程

文档序号:15561018发布日期:2018-09-29 02:14阅读:119来源:国知局

本发明属于数字图像处理领域,尤其涉及一种图像的鸟瞰视角重投影方法、装置及便携式终端。



背景技术:

图像的鸟瞰视角重投影是设定一个虚拟视角到图像正上方,从而获得图像的鸟瞰图效果。图像的鸟瞰视角重投影方法常用于汽车的全景视图,用于汽车全景视野的360度重建,消除盲区,减少汽车安全事故的发生。在汽车的监视画面中,为了获取汽车附近区域的图像,一般选择使用鱼眼镜头获取较大视角范围内的图像信息,通过四个大广角的鱼眼镜头,分别拍摄汽车前后左右四个方向的图像。并对图像进行畸变校正,将四张校正图全部调整到鸟瞰图视角后再进行拼接。

调整为鸟瞰图的算法中可以利用映射表将图像经过变换投射到俯视图的视角。但在此过程中,对于视角转换等过程需要人为进行参数调整以保证结果的准确。另外,对于从校正图中提取标定板的角点,现有技术需要获取标定板上所有角点,由于实际情况下图像由于角度、光源等原因质量可能较差,因此获取图像中全部角点的精确坐标比较困难,这导致最终得到的鸟瞰图效果无法达到预期。



技术实现要素:

本发明的目的在于提供一种图像的鸟瞰视角重投影方法、装置、计算机可读存储介质及便携式终端,旨在解决现有技术需要获取标定板上所有角点,然而实际情况下获取图像中全部角点的精确坐标比较困难,导致最终得到的鸟瞰图效果无法达到预期的问题。

第一方面,本发明提供了一种图像的鸟瞰视角重投影方法,所述方法包括:

检测标定板图像中的四边形;

将检测到的四边形进行分组,将连接在一起的多个四边形划分到相同的四边形组,将四边形的数量大于n的任意一四边形组或者四边形最多的四边形组作为候选四边形组,n大于或等于2;

检测候选四边形组中,面积排列前m位的m个四边形,并确定m个四边形之间的相邻位置关系,其中m大于或等于2;

针对m个四边形,结合m个四边形之间的相邻位置关系,分别计算每个四边形对应标定板每个格子的权重值,将权重值最大时对应的标定板的格子位置作为四边形在标定板上的最可能位置;

根据m个四边形之间的相邻位置关系和m个四边形在标定板上的最可能位置的关系,找出适合作为图像中的特征角点的四边形顶点;

根据特征角点计算得到单应性变换矩阵;

根据单应性变换矩阵,将图像重投影获得鸟瞰图图像。

第二方面,本发明提供了一种图像的鸟瞰视角重投影装置,所述装置包括:

第一检测模块,用于检测标定板图像中的四边形;

分组模块,用于将检测到的四边形进行分组,将连接在一起的多个四边形划分到相同的四边形组,将四边形的数量大于n的任意一四边形组或者四边形最多的四边形组作为候选四边形组,n大于或等于2;

第二检测模块,用于检测候选四边形组中,面积排列前m位的m个四边形,并确定m个四边形之间的相邻位置关系,其中m大于或等于2;

位置确定模块,用于针对m个四边形,结合m个四边形之间的相邻位置关系,分别计算每个四边形对应标定板每个格子的权重值,将权重值最大时对应的标定板的格子位置作为四边形在标定板上的最可能位置;

特征触点确定模块,用于根据m个四边形之间的相邻位置关系和m个四边形在标定板上的最可能位置的关系,找出适合作为图像中的特征角点的四边形顶点;

计算模块,用于根据特征角点计算得到单应性变换矩阵;

重投影模块,用于根据单应性变换矩阵,将图像重投影获得鸟瞰图图像。

第三方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述的图像的鸟瞰视角重投影方法的步骤。

第四方面,本发明提供了一种便携式终端,包括:

一个或多个处理器;

存储器;以及

一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述处理器执行所述计算机程序时实现如上述的图像的鸟瞰视角重投影方法的步骤。

在本发明中,由于通过检测标定板图像中的四边形,确定候选四边形组,根据候选四边形组中面积排列前m位的m个四边形来确定图像中采集的特征角点,根据特征角点计算得到单应性变换矩阵,根据单应性变换矩阵,将图像重投影获得鸟瞰图图像。因此可以在图像清晰度不够高或标定板上角点由于遮挡、光源影响或摄像机角度等影响不能够提取全部角点的情况下,无需获取标定板上所有角点,只需确定部分对应点的情况下将图像视角调整到鸟瞰图模式,同时能够保证图像的精确度,适用于目前所有的系统要求,可以适用更广阔的范围。

附图说明

图1是本发明实施例一提供的图像的鸟瞰视角重投影方法流程图。

图2是标定板示意图。

图3是检测到的标定板图像中的四边形以及连接在一起的四边形分组示意图。

图4是在原图中整个标定板中所有格子可能的位置示意图。

图5是本发明实施例二提供的图像的鸟瞰视角重投影装置的功能模块框图。

图6是本发明实施例四提供的便携式终端的具体结构框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。

实施例一:

请参阅图1,本发明实施例一提供的图像的鸟瞰视角重投影方法包括以下步骤:需注意的是,若有实质上相同的结果,本发明的图像的鸟瞰视角重投影方法并不以图1所示的流程顺序为限。

s101、检测标定板图像中的四边形。

由于不能提取到标定板上所有角点的精确坐标,因此需要检测标定板图像中的四边形,从中选择合适的特征角点求取单应性变换矩阵。标定板由黑白格子组成(如图2所示),因此图像中的灰度值对比比较明显。因此在本发明实施例一中,s101具体包括以下步骤:

将标定板图像转化成二值图像;

计算标定板图像中每个像素点附近预定区域内的方差;

将方差大于预设阈值(例如预设阈值为100)的像素点作为四边形边缘的点(如图3所示),从而检测出标定板图像中的四边形;

确定标定板图像中的四边形的四个顶点的图像坐标。

方差小于预设阈值的像素点视为背景。一般显示效果较好的标定板格子边缘可以被检测到,对于光照不均匀或是标定板与背景地面相似的格子将被视为背景。

在本发明实施例一中,所述将方差大于预设阈值的像素点作为四边形边缘的点之后,所述方法还可以包括以下步骤:

判断根据方差大于预设阈值的像素点组成的四边形的面积、宽高和宽高比等是否符合标定板中标定格的基本尺寸要求,如果符合,则确认是标定板图像中的四边形,不符合的则视为背景。还可以根据实际情况自定义一些标准来筛选出标定板图像中的四边形。

由于在二值化的方差图像中,只能粗略确定四边形的边缘,为了进一步精确四边形,最好将四边形边缘向外扩展,避免提取四边形时由于精确度不高造成的粗略边缘。因此,在本发明实施例一中,如果标定板图像不够清晰,则确定标定板图像中的四边形的四个顶点的图像坐标之后,所述方法还可以包括以下步骤:

对于一个四边形的上下左右四条边,分别求每条边附近的平均梯度最大的线段作为四边形的准确边缘,每相邻两条边的交点为该四边形的顶点精确图像坐标。

s102、将检测到的四边形进行分组,将连接在一起的多个四边形划分到相同的四边形组,将四边形的数量大于n的任意一四边形组或者四边形最多的四边形组作为候选四边形组,n大于或等于2。

其中,n越大,准确性越高。

当将四边形最多的四边形组作为候选四边形组时,投影最准确。

如图3所示,将检测到的四边形分成5组,即四边形组1、2、3、4和5,将四边形最多的四边形组5作为候选四边形组。

s103、检测候选四边形组中,面积排列前m位的m个四边形,并确定m个四边形之间的相邻位置关系,其中m大于或等于2。

在本发明实施例一中,m优选等于4或5,准确性更高。

如图3所示,假设m是5,则面积排列前5位的5个四边形分别为四边形51、52、53、54和55。面积越大说明距离镜头较近或位于图像中心,受噪声影响较小。

在本发明实施例一中,确定m个四边形之间的相邻位置关系可通过以下方式:

根据四边形的四个顶点的图像坐标来比对两个四边形的顶点之间的关系来确定m个四边形的位置关系。

s104、针对m个四边形,结合m个四边形之间的相邻位置关系,分别计算每个四边形对应标定板每个格子的权重值,将权重值最大时对应的标定板的格子位置作为四边形在标定板上的最可能位置。

假设标定板是4*4个格子,以候选四边形组中最大的一个区域为例进行说明。

假定该区域是标定板上的每个格子,则在原图中整个标定板中所有格子可能的位置如图4所示。格子41代表当前区域,是在原图中检测获得。图4中除格子41以外的其他格子为标定板上的其他格子可能的所有覆盖位置。如果当前区域是标定板上第一行第一列,则标定板格子在矩形42的范围。如果当前区域是标定板上第四行第四列,则标定板格子在矩形43的范围。

假定当前区域是标定板中第一行第一列,可以确定标定板中所有角点坐标,即在矩形42的范围内,求此时标定板所有角点在图像上的梯度值,累加求和作为权值。通过该方法,可以求出当前区域是标定板不同行列数时的权值,最大的权值则对应了当前区域在标定板上的最可能行列数。

对于候选的每个区域都进行上述的操作,得到每个区域的最大权重值,从而获得每个区域在标定板上的最可能行列数。

s105、根据m个四边形之间的相邻位置关系和m个四边形在标定板上的最可能位置的关系,找出适合作为图像中的特征角点的四边形顶点。

根据s103、s104步骤获得候选区域的两种位置关系,第一个为m个四边形之间的相邻位置关系;第二个为m个四边形在标定板上的行列数,该行列数可能与实际行列数有偏差。因此在本发明实施例一中,s105具体可以为:

m个四边形在标定板上的最可能位置由行列数表示,针对m个四边形,分别根据每个四边形在标定板上的行列数,统计与其他四边形在标定板上的最可能位置的关系符合四边形之间的相邻位置关系的四边形数量,四边形数量称为频数,将频数最大时,四边形之间的相邻位置关系和四边形在标定板上的最可能位置的关系一致的所有四边形的顶点作为图像中的特征角点;当存在多组频数最大的情况时,则将任意一组频数最大时,四边形之间的相邻位置关系和四边形在标定板上的最可能位置的关系一致的所有四边形的顶点作为图像中的特征角点;或者,当存在多组频数最大的情况时,则将权重最大时,四边形之间的相邻位置关系和四边形在标定板上的最可能位置的关系一致的所有四边形的顶点作为图像中的特征角点。

在s104步骤中,检测到每个四边形在标定板上的最可能位置(即行列数),但检测到的行列数可能不是该四边形在标定板上的真实行列数,因此可能与m个四边形之间的相邻位置关系不一致。

1.假设m=5,第1个区域与第5个区域的行列数与这两个区域的相邻位置关系一致,与第2、3、4个区域不一致。第2、3、4个区域的行列数与这三个区域的相邻位置关系一致。说明第1、5个区域对应关系的频数是2;第2、3、4个区域对应关系的频数是3。选择频数较大的这几个区域(第2、3、4个区域)的四边形顶点作为图像采集特征点。

2.假设第2、3个区域的行列数与这两个区域的相邻位置关系一致,第4、5个区域的行列数与这两个区域的相邻位置关系一致,选择权重最大的几个区域的四边形顶点作为图像采集特征点(如果第2、3个区域的权重的和>第4、5个区域的权重的和,选择第2、3个区域的顶点作为图像特征点)。

s106、根据特征角点计算得到单应性变换矩阵。

在本发明实施例一中,s106具体为:

按照公式将图像中的特征角点坐标(x,y)与理想标定板上的角点坐标(u,v)进行对应,求解透视图像的单应性变换矩阵h,h是一个3*3的矩阵h,

s107、根据单应性变换矩阵,将图像重投影获得鸟瞰图图像。

在本发明实施例一中,s107具体为:

对于鸟瞰图中的每个点(u,v),利用公式进行坐标变换,

计算得到在原图中的对应点,利用双线性插值获取该点的像素值,即获得最终的鸟瞰图图像。

实施例二:

请参阅图5,本发明实施例二提供了一种图像的鸟瞰视角重投影装置,所述装置包括:

第一检测模块11,用于检测标定板图像中的四边形;

分组模块12,用于将检测到的四边形进行分组,将连接在一起的多个四边形划分到相同的四边形组,将四边形的数量大于n的任意一四边形组或者四边形最多的四边形组作为候选四边形组,n大于或等于2;

第二检测模块13,用于检测候选四边形组中,面积排列前m位的m个四边形,并确定m个四边形之间的相邻位置关系,其中m大于或等于2;

位置确定模块14,用于针对m个四边形,结合m个四边形之间的相邻位置关系,分别计算每个四边形对应标定板每个格子的权重值,将权重值最大时对应的标定板的格子位置作为四边形在标定板上的最可能位置;

特征触点确定模块15,用于根据m个四边形之间的相邻位置关系和m个四边形在标定板上的最可能位置的关系,找出适合作为图像中的特征角点的四边形顶点;

计算模块16,用于根据特征角点计算得到单应性变换矩阵;

重投影模块17,用于根据单应性变换矩阵,将图像重投影获得鸟瞰图图像。

本发明实施例二提供的图像的鸟瞰视角重投影装置及本发明实施例一提供的图像的鸟瞰视角重投影方法属于同一构思,其具体实现过程详见说明书全文,此处不再赘述。

实施例三:

本发明实施例三还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明实施例一提供的图像的鸟瞰视角重投影方法的步骤。

实施例四:

图6示出了本发明实施例四提供的便携式终端的具体结构框图,一种便携式终端100,包括:

一个或多个处理器101;

存储器102;以及

一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器执行所述计算机程序时实现如本发明实施例一提供的图像的鸟瞰视角重投影方法的步骤。

在本发明实施例中,由于通过检测标定板图像中的四边形,确定候选四边形组,根据面积排列前m位的m个四边形来确定图像中采集的特征角点,根据特征角点计算得到单应性变换矩阵,根据单应性变换矩阵,将图像重投影获得鸟瞰图图像。因此可以在图像清晰度不够高或标定板上角点由于遮挡、光源影响或摄像机角度等影响不能够提取全部角点的情况下,无需获取标定板上所有角点,只需确定部分对应点的情况下将图像视角调整到鸟瞰图模式,同时能够保证图像的精确度,适用于目前所有的系统要求,可以适用更广阔的范围。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1