一种基于隐空间拓扑结构约束的残缺点云补全方法

文档序号:26142430发布日期:2021-08-03 14:27阅读:来源:国知局

技术特征:

1.一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,按以下步骤进行处理:

s1、通过便携式深度相机拍摄目标对象的单视角深度图像,并根据已知的相机内参数将单视角深度图转换为三维空间坐标,并进行位置规范化预处理,得到原始残缺点云数据;

s2、对系统输入的原始残缺点云进行位姿估计,并根据所预测位姿进行点云姿态规范化,得到姿态规范化残缺点云;

s3、基于姿态规范化残缺点云预测其对应的完整关键点骨架;

s4、基于预测的完整关键点骨架,使用上采样网络恢复其对应的稠密完整点云,即完整三维点云;

s5、基于完整三维点云进行机器人感知任务优化。

2.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,步骤s1具体为:

s1.1、使用kinect二代深度相机拍摄目标对象的深度图片,利用图像分割获取对象实际对应的深度图像区域,并根据相机内参数与针孔相机模型将对象的深度图像转换为原始残缺点云数据;

s1.2、针对步骤s1.1获取的原始残缺点云数据,将根据当前的坐标范围通过平移和缩放将其变换到到半径为1的单位球体中,实现位置规范化。

3.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,步骤s2具体为:

s2.1、构建相对位姿特征向量,该位姿向量由旋转轴角、偏移量和缩放因子联合构成,根据罗德里格斯公式可根据位姿向量对点云进行为三维仿射变换,变换计算过程如下:

r=i+sinθ*k+(1-cosθ)*k2

p′=r*(s*p)+t

其中r为根据罗德里格斯公式计算得到的旋转矩阵,(kx,ky,kz)是单位转轴向量,k是由转轴向量构建的矩阵,θ为旋转角度;p为输入的非对齐点云,p’为经过变换后的对齐点云,s和t为缩放因子和偏移量;

s2.2、基于步骤s2.1构建的相对位姿特征向量,借助虚拟三维形状数据集shapenet构建训练数据集,对所有点云数据施加已知的位姿变换向量,形成点云-位姿向量数据对用于训练;

s2.3、构建位姿预测网络,主要由多层感知器a与全连接网络b组成,并利用步骤s2.2构建的数据集进行网络训练和测试,获取最优的网络训练模型;

s2.4、将原始残缺点云输入训练好的网络模型预测位姿,并根据步骤s2.1将位姿转换为三维仿射变换矩阵进一步施加于点云上,将其变换至归一化形状空间。

4.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,步骤s3具体为:

s3.1、利用已有完整点云数据训练关键点提取网络,即实现由稠密完整三维点云到稀疏关键点骨架的映射,chamfer距离作为深度神经网络的损失函数来监督该训练过程,该指标衡量了两个无序点集之间的相似程度,具体计算方法如下:

其中,p1是输入完整稠密点云,p2是预测得到的关键点骨架点云;

s3.2、构建残缺点云关键点补全网络,该网络主要由多层感知器c和全连接层网络d构成,将残缺三维点云输入网络,估计其对应潜在关键点骨架的点云坐标,其训练方法与步骤s3.1类似,使用预测关键点和真值关键点间的chamfer距离作为网络训练约束。

5.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,步骤s4具体为:

s4.1、在s3.1构建的关键点提取网络后增加关键点上采样网络,将提取得到的关键点骨架进一步恢复得到其对应的稠密完整点云,该训练过程将预测点云与真值稠密点云之间的chamfer距离作为训练约束;

s4.2、基于步骤s4.1预训练好的上采样网络,将残缺点云预测到的关键点骨架进行上采样,恢复出其对应的潜在完整稠密点云;

s4.3、为保证输入残缺点云中的细节结构信息不会在网络学习过程中丢失,最后采用最远点采样技术将输入的残缺点云和预测的完整点云进行混合采样,最终得到残缺点云的补全结果。

6.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,步骤s5具体为:基于该完整三维点云模型,机器人可以进行更加准确的目标检测任务,即基于三维点云进行目标检测,并与传统基于二维图片的检测方法相融合,实现基于多模态数据的目标检测,优化检测性能。

7.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法,其特征在于,步骤s5具体为:基于完整三维点云模型,可以优化机器人感知中的目标抓取任务,即基于完整的三维空间信息,机器人控制系统可以更加准确地对抓取位置进行计算。


技术总结
本发明公开一种基于隐空间拓扑结构约束的残缺点云补全方法,属于计算机视觉技术领域。基于单视角残缺点云的三维形状补全技术,对深度图转换得到的单视角残缺点云进行补全,获得对象的完整三维点云形状,实现感知对象几何信息的快速重构。S1、采集目标对象的三维空间坐标;S2、对系统输入的原始残缺点云进行点云姿态规范化;S3、基于姿态规范化残缺点云预测其对应的完整关键点骨架;S4、基于预测的完整关键点骨架,恢复其对应的稠密完整点云;S5、基于完整三维点云进行机器人感知任务优化。本发明可以针对任意位姿的真实三维点云进行形状补全,具有更强的泛化性和鲁棒性,应用范围广、速度快且抗噪声能力强。

技术研发人员:彭聪;朱一凡;王雁刚
受保护的技术使用者:南京航空航天大学
技术研发日:2021.05.10
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1