一种基于几何特征的视觉重建方法与流程

本发明属于计算机视觉技术领域，具体涉及一种对目标场景进行几何特征提取和匹配的视觉重建技术。

背景技术：

地图重建和定位一直是计算机视觉领域的重要技术之一，在近十年内得到了工业界和学术界的广泛关注。现有技术“Google Map Indoor,https://www.google.com/maps/about/partners/indoormaps”公开了一种Google Map Indoor(GMI)，其由Google公司推出的室内定位系统基于Wi-Fi信号进行三角定位，并没有获得广泛的使用。主要原因是Wi-Fi信号的定位精度并不理想无法达到商用级别，同时无法绘制视觉地图无法给用户提供一种容易理解的定位方式。为克服这些缺点，现有技术“S.Sen,J.Lee,K.Kim,and P.Congdon.Avoiding Multipath to Revive Inbuilding WiFi Localization.In Proc.of the 11th ACM MobiSys,pages 249-262,2013”提出可以使用基于指纹的方法和AoA的测距方法来改进定位精度，使用现有技术中“R.Gao,M.Zhao,T.Ye,F.Ye,Y.Wang,K.Bian,T.Wang,and X.Li.Jigsaw:Indoor Floor Plan Reconstruction via Mobile Crowdsensing.In Proc.of the 20th ACM MobiCom,pages 249-260,2014”的crowdsensing来绘制地图等等。但是这些方法的定位精度仍然在数米级，而且并不能解决地图和定位结果和用户视觉理解地图定位并不匹配的问题。另外现有技术“G.R.Grompone,J.Jakubowicz,J.M.Morel,et al.LSD:a fast line segment detector with a false detection control[J].IEEE transactions on pattern analysis and machine intelligence,32(4):722-732,2010”公开了一种LSD方法，具体公开了如何提取图片中的线段。在实际生活中，用户使用视觉来确定自己的位置，因此计算机视觉技术是一种更直观的地图重建和定位的方法，同时基于计算机视觉的地图重建和定位精度还可以提供更高的精度。但是计算机视觉的算法通常具有很高的复杂性，需要大量的计算资源和存储资源，难以在资源受限的手机上或可穿戴设备上运行。现在手机上的光学传感器越来越丰富，表现通常手机配备了多个摄像头，例如华为荣耀V8、LG Optimus 3D、LG V10、HTC EVO 3D、HTC One(M8)等都配备了双后置摄像头。双(后置)摄像头给视觉重建、定位等提供了便利。但是传统的视觉重建定位方法通常是基于点的，即像素级别的计算，计算复杂消耗大量的计算和电池资源。

视觉重建的目标场景通常几何特征丰富的观察，如教室内的黑板、海报、窗户等都是规则的长方形。图1是办公楼走廊的一角，可以看出该场景中有丰富的几何形状。

技术实现要素：

本发明针对上述问题的不足，提出一种基于几何特征的视觉重建方法，本方法仅利用了几何组块而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度乃至场景重建精度。

本发明为解决上述技术问题提出的技术方案是：

一种基于几何特征的视觉重建方法，包括以下步骤：

步骤1，采用双摄像头对目标场景进行连续图像采集。

步骤2，对每一张的图片进行几何组块提取。

首先在图片中提取线，提取了线段后，矩形搜索算法将检查线段是否可以构成矩形。

步骤3，根据双摄像头中心坐标对不同时刻的场景照片中的几何组块进行3D重建，一个点P在物理世界的坐标(X,Y,Z)和图片上的坐标(x,y,1)转换的关系为：

其中f为焦距。

在场景重建时，并不对所有像素点进行3D重建，而仅对矩形的四个顶角进行3D重建，由此确定几何组件的3D位置和现实尺寸。

步骤4，根据步骤3中得到的3D重建恢复出几何组块匹配特征，根据恢复的几何组块匹配特征对不同时刻的场景照片中的对应的几何组块进行两两匹配。几何组块匹配特征包括几何组块的尺寸和像素特征，记为一个二元元祖Feature＝(Dimension,Texture)。Feature表示几何组块匹配特征，Dimension表示几何组块的尺寸，Texture表示像素特征。

步骤5，根据匹配的几何组块进行，将两个场景连接起来，最终重建完整的3D场景。

优选的：所述步骤2中矩形搜索算法：在同一平面内，从某一条线段出发，寻找是否有一条线段与之垂直，如果有则继续寻找是否存在第三条线段与第二条垂直，继续寻找第四条线段。如果四条线段都存在，则构成矩形。

所述步骤3中在进行几何组块匹配时，若两个组块的几何组块匹配特征Feature相差小于一定阈值，则表示两个几何组块是匹配的。如果相差超过一个阈值，则不匹配。

所述步骤4中几何组块的尺寸通过步骤3中得到的3D重建获取其对应的几何组块的尺寸。

像素特征通过对每个组块的像素矩阵都将使用压缩感知压缩为长度为M的矢量并进行归一化，压缩感知中的观测矩阵使用高斯随机矩阵，稀疏矩阵使用差分矩阵。

所述步骤5中若两个场景照片中的两个几何组块匹配，则基于该几何组块进行坐标系的统一，将两个场景连接起来，连续处理场景照片最终重建完整的3D场景。

相比现有技术，具有以下有益效果：

本发明在进行3D场景重建时并不针对每个像素进行重建，而是首先提取每个场景具有几何特征的物体(几何组件)，基于几何组块进行单张场景图片的3D场景重建，再使用几何组块的尺寸和像素信息等几何特征作为匹配特征进行多张场景图片之间的匹配，即主要利用场景照片的几何特征进行多图匹配，可以仅利用稀疏照片进行轻量级的场景重建以及精确定位，并最终完成3D场景重建。该方案仅利用了几何特征而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度和场景重建精度，同时可以便利的在手机或可穿戴设备上使用，并且达到很高的重建和定位精度。

附图说明

图1人造环境中有丰富的几何元素。

图2基于几何组件的匹配。图2(a)表示对场景照片进行几何组件的提取和匹配，如图2(b)表示完整的场景图。

图3系统框架图。

具体实施方式

附图非限制性地公开了本发明一个优选实施例的结构示意图，以下将结合附图详细地说明本发明的技术方案。

实施例

本发明提出的一种基于几何特征的视觉重建方法，如图3所示，利用几何特征进行场景之间的匹配。在进行3D场景重建时并不针对每个像素进行重建，而是首先提取每个场景的几何组块，如长方形的黑板和海报等，基于几何组块进行单张图片的3D场景重建，再使用几何组块的几何数据(如黑板的长宽等)，和几何组块的像素信息(如黑板的黑色)等作为特征进行多张图片之间的匹配，并最终完成3D场景重建。该方案仅利用了几何组块而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度乃至场景重建精度。具体实现过程为：

·用户会使用双摄像头的手机或可穿戴设备对目标场景进行连续图像采集；

·对每一张新的图片都会进行几何组块提取，几何组块包括具有长方形、圆形等几何图形的物体，如黑板、窗户等。

·基于几何组块进行3D重建，而并不是针对每个点(像素)进行3D重建。每个几何组块都会在数据库中存储。

·基于几何组块的匹配。重建的几何组块其几何信息，如长方形组块的长和宽，连同几何组块的像素信息将公式作为场景匹配的特征，与前一张图片提取的组块或数据库中存储的几何组块进行匹配。

·基于几何组块的重建。如果发现相匹配的图片即可将新图片重建的3D场景和数据库中已有的3D场景连接起来，并更新数据库。随着连续图片的匹配完成，一个完整的3D场景地图也随之完成。

可以看出，本发明主要包含4个功能模块：几何组块的提取模块、单张照片的3D重建、几何组块的匹配模块和3D场景重建模块。下面将分别叙述每个模块的具体方案。

1几何组块的提取模块

首先在图片中提取线，计算机视觉中已经有大量的工作研究如何提取图片中的线段。基于某种方法例如LSD方法提取了线段后，矩形搜索算法将检查线段是否可以构成矩形。其具体实现为：从某一条线段出发，寻找是否有一条线段与之垂直，如果有则继续寻找是否存在第三条线段与第二条垂直，继续寻找第四条线段。如果四条线段都存在，则构成矩形。值得注意的是，本发明也可以使用其他的改进算法，如引入机器学习的方法寻找矩形或其他几何图形，可以进一步提高提取精度。

2.单张场景照片的3D重建

一个点P在物理世界的坐标(X,Y,Z)和图片上的坐标(x,y,1)转换的关系为

其中f为焦距。

该式中有2个已知量、3个未知量(X,Y,Z)。由于本系统采用双摄像头，因此可以得到4个已知量与3个未知量的联立方程式，可以解出方程进行3D场景的重建。

本发明采用基于几何组件的重建，在场景重建时，并不对所有像素点进行3D重建，而仅对长方形的四个顶角(或圆形的圆点和半径等)进行3D重建，由此确定几何组件的3D位置和现实尺寸(长和宽)。与传统的基于像素点的重建方法相比，本发明可以大幅度的简化计算。

3.几何组块匹配问题

本发明的几何组块匹配特征包括几何组块的尺寸和像素特征，记为一个二元元祖Feature＝(Dimension,Texture)。

Dimension是一个(2×1))的矢量。前面已经提到几何组块的3D重建可以恢复出几何组块的尺寸，如长和宽等。

理想情况下，像素特征Texture应该包括几何组块的所有像素点，才能达到最好的匹配精度。但是几何组块的重建可能存在误差，导致两个场景的匹配无法在相同尺度下进行。同时保存和比较所有像素点也会增加计算、存储的开销和延时。在本发明中，考虑到现实生活中组块像素通常具有稀疏性，每个组块的像素矩阵都将使用压缩感知压缩为长度为M(例如M＝100)的矢量并进行归一化。压缩感知中的观测矩阵(measurement matrix)使用高斯随机矩阵，稀疏矩阵(reprehensive basis)使用差分矩阵。因此特征元祖中的Texture是一个(M×1)的矢量。

在进行几何组块匹配时，若两个组块的Feature相差小于一定阈值，则表示两个几何组块是匹配的；如果相差超过一个阈值，则不匹配。

4.基于几何组块的重建

若两个场景照片中的两个几何组块匹配，则基于该几何组块进行坐标系的统一，将两个场景连接起来。连续处理场景照片最终重建完整的3D场景。

如图2所示，图2(a)中对场景照片进行几何组件的提取和匹配，如图2(a)所示，图中的几何组件门被白色的边框给标示出，被认为匹配，通过该几何组件门可以将两个场景拼接起来，构成完整的场景图，如图2(b)所示。

上面结合附图所描述的本发明优选具体实施例仅用于说明本发明的实施方式，而不是作为对前述发明目的和所附权利要求内容和范围的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属本发明技术和权利保护范畴。