通过球幕相机进行三维建模的方法与流程

文档序号:15389522发布日期:2018-09-08 00:58阅读:1297来源:国知局

本发明涉及三维成像建模技术领域,具体涉及一种通过球幕相机进行三维建模的方法。



背景技术:

传统slam相机基于小孔成像原理,比如手机相机,实际上是对普通相机做的,特点是平面化且视角单一,其次,传统相机基于相机焦距的平面坐标系找邻域。另一方面,传统的闭环检测基于时间序列,即每间隔一段时间进行一次检测,缺点在于没办法判断合适的检测时机,有的甚至在不是闭环的情况下进行检测,占用存储空间,加大cpu计算消耗,造成资源浪费。



技术实现要素:

鉴于现有技术的不足,本发明旨在于提供一种通过球幕相机进行三维建模的方法,通过与球幕相机的结合,在同步定位与建图、特征点匹配、闭环检测等都更加准确和稳定。

为了实现上述目的,本发明采用的技术方案如下:

通过球幕相机进行三维建模的方法,其特征在于,包括至少一个或一组球幕相机;所述方法包括以下步骤:

s1球幕相机进行实时定位,得到至少一组照片或者视频流;

s2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配;

s3基于球幕相机三维数字化建模的闭环进行自动检测;

s4检测后,进行数字化建模;

s5结构化模型贴图。

需要说明的是,在所述一组照片或者视频流中,对单张照片用sift描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域,根据邻域控制所述特征点。

需要说明的是,所述闭环检测为:用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较,检测有无距离相近;若检测到两者距离在一定阈值范围内,就认为所述球幕相机又回到原来走过的地方,此时启动闭环检测。

需要进一步说明的是,所述步骤4中看可以为:

s4.1初步计算出所述球幕相机位置得到部分有噪音点稀疏点云,用距离和重投影的方式进行滤波滤掉噪音点;

s4.2对稀疏点云做标记即整体点云中,并进行对应的标记;

s4.3以每个稀疏点云为起点,以对应的球幕相机作一条虚拟直线,多个所述虚拟直线经过的空间交织在一起,形成一个可视空间;

s4.4将被射线包围的空间抠出来;

s4.5基于图论最短路径的方式做闭合空间。

需要说明的是,所述稀疏点云为每个所述球幕相机可看见过滤之后所获得的。

需要说明的是,在照片或视频流中确定一张来自于某个所述球幕相机的最优图片。

需要说明的是,即当多部所述球幕相机都看到某一目标并捕捉到画面,选取使用其中最优的一张进行贴图。

需要说明的是,所述最优一张图为某一所述球幕相机能够得到目标的像素最多,则所述球幕相机为最优。

需要进一步说明的是,利用公式计算出对应的相机及其拍到的图形颜色:

v1=normalize(cameramatrixi*v0)

式中:v0为任何一个需要采样的空间点坐标(x,y,z,1),对于一个模型需要光栅化所有点;v1为v0变换到相机空间的新位置坐标,通过向量归一化变换到单位球面上;tx和ty为v0所对应的纹理坐标(x,y),选用坐标系为opengl纹理坐标系;aspecti:采样用的第i个全景图片的长宽比;cameramatrixi:采样用的第i个全景图片的变换矩阵,将相机位置变换到原点,并重置相机面朝方向。

本发明有益效果在于,通过与球幕相机的结合,在同步定位与建图、特征点匹配、闭环检测等都更加准确和稳定。其次,基于结构化的建模速度更快、效率更高。

附图说明

图1为本发明的实施示意图;

图2为本发明的实施示意图;

图3为本发明的实施示意图;

图4为本发明的实施示意图;

图5为本发明的实施示意图。

具体实施方式

以下将结合实施例对本发明作进一步的描述,需要说明的是,以下实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。

本发明为通过球幕相机进行三维建模的方法,其特征在于,包括至少一个或一组球幕相机;所述方法包括以下步骤:

s1球幕相机进行实时定位,得到至少一组照片或者视频流;

s2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配;

s3基于球幕相机三维数字化建模的闭环进行自动检测;

s4检测后,进行数字化建模;

s5结构化模型贴图。

需要说明的是,在所述一组照片或者视频流中,对单张照片用sift描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域,根据邻域控制所述特征点。

需要说明的是,所述闭环检测为:用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较,检测有无距离相近;若检测到两者距离在一定阈值范围内,就认为所述球幕相机又回到原来走过的地方,此时启动闭环检测。

需要进一步说明的是,本发明为基于空间信息而非时间序列的闭环检测。

需要进一步说明的是,所述步骤4中看可以为:

s4.1初步计算出所述球幕相机位置得到部分有噪音点稀疏点云,用距离和重投影的方式进行滤波滤掉噪音点;

s4.2对稀疏点云做标记即整体点云中,并进行对应的标记;

s4.3以每个稀疏点云为起点,以对应的球幕相机作一条虚拟直线,多个所述虚拟直线经过的空间交织在一起,形成一个可视空间;

s4.4将被射线包围的空间抠出来;

s4.5基于图论最短路径的方式做闭合空间。

需要说明的是,所述稀疏点云为每个所述球幕相机可看见过滤之后所获得的。其中步骤s4.3也可理解为以每个稀疏点云为起点,以对应的球幕相机作一条虚拟直线,多个所述虚拟直线经过的空间交织在一起,形成一个可视空间;

需要进一步说明的是,过滤指的是:在确认了二维图片中某一点对应的三维坐标位置后,将这个三维坐标点重新投影到原来的球幕照片上,再次确认是否仍是那个点。其原因是,二维图片的点与其在三维世界的点的位置是一一对应关系,所以在确认了二维图片中某一点的三维坐标点后,可以将这个三维坐标点重新投射回去验证二维坐标点是否仍在原来的位置,以此来决定该像素点是否为噪点,是否需要过滤。需要说明的是,在照片或视频流中确定一张来自于某个所述球幕相机的最优图片。

需要说明的是,即当多部所述球幕相机都看到某一目标并捕捉到画面,选取使用其中最优的一张进行贴图。

需要说明的是,所述最优一张图为某一所述球幕相机能够得到目标的像素最多,则所述球幕相机为最优。

需要进一步说明的是,利用公式计算出对应的相机及其拍到的图形颜色:

v1=normalize(cameramatrixi*v0)

式中:v0为任何一个需要采样的空间点坐标(x,y,z,1),对于一个模型需要光栅化所有点;v1为v0变换到相机空间的新位置坐标,通过向量归一化变换到单位球面上;tx和ty为v0所对应的纹理坐标(x,y),选用坐标系为opengl纹理坐标系;aspecti:采样用的第i个全景图片的长宽比;cameramatrixi:采样用的第i个全景图片的变换矩阵,将相机位置变换到原点,并重置相机面朝方向。

实施例

通过附图进一步对本发明的三维建模进行描述,本发明主要的实施方法为:

s1球幕相机进行实时定位,得到至少一组照片或者视频流;

s2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配;

s3基于球幕相机三维数字化建模的闭环进行自动检测;

s4检测后,进行数字化建模;

s5结构化模型贴图。

基于上述,需要指出的是,所述闭环检测是一个动态过程,在拍摄球幕相片的过程中是持续进行的。

进一步的,如图1所示,是对一张球幕照片(样图)自动提取特征点,图中主要通过图片上的那些点表现;

更进一步的,如图2所示,是对提取后的特征点进行匹配;需要说明的是,在实际操作中可对拍摄某一场景的所有照片的特征点进行匹配;

更进一步的,如图3所示,是基于图2进一步进行处理,即可得到二维图片中各特征点的三维空间位置和相机位置,形成稀疏点(图片中面积较小的点就是稀疏点云,面积较大的是相机位置);

更进一步的,如图4所示,通过图3处理后得到点云,并进行结构化建模;

更进一步的,如图5所示,建模后,基于图4的空间结构进行自动化贴图,形成与现实世界吻合的虚拟空间模型。

对于本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及变形,而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1