一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统

文档序号:34461792发布日期:2023-06-15 03:41阅读:来源:国知局

技术特征:

1.一种基于多视图三维重建的自动驾驶数字孪生场景构建系统,其特征在于,所述自动驾驶数字孪生场景构建系统包括:

2.根据权利要求1所述的自动驾驶数字孪生场景构建系统,其特征在于,所述数据采集与处理模块(m100)对数据进行采集和处理的方法包括以下步骤:

3.根据权利要求1所述的自动驾驶数字孪生场景构建系统,其特征在于,所述相机位姿估计模块(m200)包括检索匹配单元和增量式重建单元;所述检索匹配单元以多视角图像作为输入,寻找经过几何验证的、具有重叠区域的图像对,并计算空间中的同一点在这些图像对中两张图像上的投影;所述增量式重建单元用于输出拍摄每张图像的相机对应的位置和姿态。

4.根据权利要求3所述的自动驾驶数字孪生场景构建系统,其特征在于,增量式重建单元输出拍摄每张图像的相机对应的位置和姿态的具体过程为:首先在多视角图像稠密位置选择一对初始图像对并配准;然后选择与当前已配准的图像之间配准点数量最多的图像;将新增加的视图与已确定位姿的图像集合进行配准,利用pnp问题求解算法估计拍摄该图像的相机位姿;之后对于新增加的已配准图像覆盖到的未重建出的空间点,三角化该图像并增加新的空间点到已重建出的空间点集合中;最后,对当前所有估计出的三维空间点和相机位姿进行一次光束平差法优化调整。

5.一种根据权利要求1所述自动驾驶数字孪生场景构建系统的场景构建方法,其特征在于,包括以下步骤:

6.根据权利要求5所述的场景构建方法,其特征在于,步骤s503中特征图序列的获取具体为:通过网络模型学习到卷积核方向向量的偏移量,使得卷积核能适应不同纹理结构的区域,提取更为细致的特征;其次,将不同尺寸的特征图上采样到原输入图像大小,并将它们连接到一起组成一张具有32通道的特征图;然后,将每个特征通道的二维信息uc(i,j)压缩成一维实数zc,并进行两级全连接;最后,使用sigmoid函数将每个实数zc的范围限制在[0,1]范围内,使得特征图的每个通道具有不同的权重,削弱匹配过程中的噪声数据与无关特征;对每张输入图像均重复上述操作步骤,得到特征图序列

7.根据权利要求5所述的场景构建方法,其特征在于,步骤s503中代价体的聚合具体为:选择特征图序列中的一张图像作为参考特征图f1,其余特征图作为源特征图然后根据相机内外参数序列将所有的特征图通过单应变换投影到参考图像下的若干个平行平面上,构成n-1个特征体最后,通过聚合函数将特征体聚合成一个代价体。

8.根据权利要求5所述的场景构建方法,其特征在于,步骤s503中概率体的形成具体为:将代价体切成d个片,其中d是深度先验,表示深度值可以取0~d中的任意一个值;然后将代价体切片序列视为时间序列,送入网络模型中的时空递归神经网络进行正则化,时空递归神经网络使用st-lstm在时序即水平方向和空域即垂直方向上传递存储状态,保留切片序列之间的联系,减少概率体出现多峰值的情况;在水平方向上,某时刻的第一层单元接受上一时刻最后一层单元的隐藏状态和记忆状态,并在垂直方向上逐层传递;最后使用softmax归一化操作输出每一像素在深度d∈[0,d]处的概率值,形成概率体。

9.根据权利要求5所述的场景构建方法,其特征在于,步骤s505具体为:对每一张图像经训练好的网络模型推理得到的概率体进行argmax操作,得到深度图序列,并基于光度一致性准则和几何一致性准则过滤掉置信度低的深度图,最后通过公式p=dm-1k-1p将深度图融合成三维稠密点云;其中p是像素坐标,d是网络模型推理得到的深度值,p是世界坐标系下的三维坐标。


技术总结
本发明提供了一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统。首先本发明提供了一种基于多视图三维重建的自动驾驶数字孪生场景构建系统,包括数据采集与处理、相机位姿估计、多视图三维重建、点云模型尺度矫正、空地点云模型融合、模型精度定量评价六个模块。还提出了自动驾驶场景多视图三维重建方法,克服了现有技术中在纹理复杂区域特征提取不足、受噪声数据影响大等问题,从而提升了自动驾驶场景三维模型重建精度并且降低了显存占用空间。另外,本发明还提供了一种基于无人机的自动驾驶室外场景图像采集方案,能有效且全面地采集多视图三维重建方法所需要的图像数据。

技术研发人员:李涛,李睿航,潘之杰
受保护的技术使用者:浙江大学
技术研发日:
技术公布日:2024/1/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1