基于图卷积双流形状先验自适应类别级物体姿态估计方法

本发明涉及计算机视觉和物体姿态估计，尤其涉及一种基于图卷积双流形状先验自适应类别级物体姿态估计方法。

背景技术：

1、近年来，基于深度学习的六自由度(6d)物体姿态估计技术受到广泛关注。因为深度学习方法提取的物体特征具有较强的鲁棒性，使得结合深度学习的物体姿态估计技术在性能上取得了显著提升。同时，低成本的三维传感器的出现使得获取三维数据变得更加简单，丰富的公开数据集有助于研究人员对模型性能进行评估和分析，这进一步推动了物体姿态估计相关研究的发展。

2、但是在实际的应用中，6d物体姿态估计在真实环境中，获取物体的三维cad模型往往非常困难，因此实例级方法在实际应用中存在一定的局限性。为了克服这一困难，一些最近的研究开始探索在测试阶段无需物体cad模型的类别级6d物体姿态估计方法。由于物体的cad模型未知，类别级任务不仅需要预测未知实例的6d物体姿态，还需预测其3d尺寸。为解决上述的问题，现有的归一化物体坐标空间nocs，在规范化空间中为具有相同尺度和方向的不同实例重建其对应的三维模型，并根据重建的三维模型得到其对应的规范化坐标，通过实例点云和规范化坐标之间的稠密关联，再利用umeyama算法结合ransac算法实现姿态估计。同时现有的另一种规范形状空间表示方法cass，该方法的核心思想是利用与姿态无关的三维形状表示来重构物体三维模型。但是，由于以上两种方法提出的规范化表示缺乏对同一类别不同实例之间形状变化的明确表示，限制了其6d姿态估计的准确性。

3、针对上述问题，spd模型提出利用类别级形状先验重构规范化物体，尽管spd在一定程度上减轻了类内差异对姿态估计的准确率造成的影响，然而该方法将同一类别的所有实例限制在了同一个形状空间，忽略了同一类物体之间的形状差异。同时现有的另一种结构引导的类别级形状先验表示方法sgpa，利用transformer神经网络来学习实例点云与类别统一的形状先验之间的相关性，为不同形状的实例赋予各自的形状先验。但是形状先验适应方法通常只是将观测到的点云映射到标准化的物体空间，这样会导致提取的物体特征不足以感知物体的姿态。因此，如何提供一种基于图卷积双流形状先验自适应类别级物体姿态估计方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于图卷积双流形状先验自适应类别级物体姿态估计方法，本发明相对现有的方法来说更高效和准确，解决了类别级物体姿态估计中姿态感知不足的问题。

2、根据本发明实施例的一种基于图卷积双流形状先验自适应类别级物体姿态估计方法，包括：

3、s1、输入摄像机采集的物体rgb-d图像数据和物体三维cad模型集合数据；

4、s2、从物体三维cad模型集合数据库中获取物体类别级形状先验点云；

5、s3、对物体rgb-d图像数据进行预处理，获取物体在深度相机下的下采样前点云；

6、s4、通过多尺度图卷积网络从下采样前点云中提取多尺度姿态感知物体特征；

7、s5、通过多层感知机网络从先验点云中提取多尺度形状感知物体特征；

8、s6、对提取的多尺度姿态感知物体特征和多尺度形状感知物体特征进行信息传递与特征融合，得到物体描述符；

9、s7、利用形状先验适应方法从特征融合获得变形场和对应关系矩阵；

10、s8、根据变形场、对应关系矩阵以及物体类别级形状先验点云重构物体标准化坐标表示，并实现物体姿态估计。

11、可选的，所述s2具体包括：

12、s21、利用spd技术中的自动编码器网络对物体三维cad模型集合数据库进行训练；

13、s22、通过将同一类别的所有物体的平均编码作为解码器的输入，解码获得类别级的类别级形状先验点云。

14、可选的，所述s3具体包括：

15、s31、使用mask r-cnn对物体rgb-d图像数据中的物体进行分割和检测；

16、s32、将mask r-cnn得到的物体掩码区域映射到物体的深度图像上，获得物体的深度区域；

17、s33、利用摄像机参数将物体的深度区域信息转换为物体的三维点云，作为摄像机的下采样前点云。

18、可选的，所述摄像机的下采样前点云为：

19、

20、其中，p0表示点云，表示实数集，n0表示点云中点的个数，每个点具有x、y、z三个坐标。

21、可选的，所述s4具体包括：

22、s41、多尺度图卷积网络分为五个图卷积层和两个图最大池化层；

23、其中，图卷积层的卷积核个数为[128,128,256,256,512]，图最大池化层采用固定的下采样比例为4；

24、s42、图卷积层从下采样前点云中学习姿态感知的物体特征，图最大池化层对学习到的特征进行聚合和压缩；

25、s43、每两个连续的图卷积层之间插入一个图最大池化层，在多尺度图卷积网络的最后添加了一个传统的最大池化层，以获得每个点的全局物体描述符；

26、其中，多尺度图卷积网络产生六个输出特征fp分别对应不同尺度下的特征表示，fp为：

27、

28、其中，[n0，n0，n0/4，n0/4，n0/16，n0]分别表示六个尺度下下采样前点云的个数，[128,128,256,256,512,512]分别表示六个尺度下物体特征的维度。

29、可选的，所述s5具体包括：

30、s51、引入三层多层感知机捕获局部先验特征，引入一个两层多层感知机和一个通道最大池化层生成全局先验特征；

31、其中，三层多层感知机的维度设置为[64,64,64]，两层多层感知机的维度设置为[128,1024]；

32、s52、将全局先验特征被嵌入到每个先验点云中，用于提取多尺度形状感知物体特征；

33、多尺度形状感知物体特征包括具有不同尺度的局部先验特征和全局先验特征：

34、

35、其中，fs表示局部先验特征和全局先验特征的集合，nr表示先验点云中点的个数，64和1024分别表示每个先验点云中点对应的特征维度。

36、可选的，所述s6包括采用特征传播机制将不同尺度上的先验点云中点的个数对齐为相同。

37、可选的，所述s6具体包括：

38、s61、对于下采样前点云po中的每个点pn执行最近邻搜索算法，找到每个点在下采样点云qo中最近点的索引i：

39、

40、其中，函数表示求出满足{}中最近点条件的索引i，i∈{1,2,…,|qo|}，n∈{1,2,…,|po|}，|qo|表示下采样后点云中点的个数，|po|表示下采样前点云中点的个数，qi表示下采样后点云qo中的点，pn表示下采样前点云po中的点；

41、s62、对下采样前点云po中的每个点pn执行特征索引操作，通过索引点qi的特征来获取其在下采样后点云qo中对应的特征；

42、s63、通过最近邻搜索算法和特征索引操作，将下采样前点云po中每个点pn的特征与不同下采样尺度下的特定点的特征对齐；

43、s64、将对齐后的多尺度姿态感知物体特征fp'和多尺度形状感知物体特征fs进行拼接，得到全面的物体描述符fobj；

44、

45、其中，no表示经过特征传播机制后六个尺度上的特征都被对齐为具有no个点的特征，nr和no均设置为1024；

46、

47、其中，nr和no均设置为1024；

48、即fobj具有1024个2880维特征的物体描述符：

49、

50、可选的，所述s7中包含形变场解码器和对应矩阵解码器，分别用于回归形变场ddef和对应矩阵a；

51、

52、

53、形变场回归解码器由三个线性层组成，维度分别为[512,256,nr*3]，形变场解码器预测先验点云pr到重建的物体点云的每个点的形变，其中，ddef的每一行di表示了形变场中的一个向量，nr是先验点云中点的数量，即重建的物体点云

54、对应矩阵回归解码器由三个线性层组成，维度分别为[512,256,no*nr]，对应矩阵解码器预测下采样前点云po中每个点与其重建的物体点云中所有点之间的软对应关系。

55、可选的，所述s8中具体包括：

56、s81、物体标准化坐标通过将对应矩阵a与重建的点云进行矩阵相乘而获得：

57、

58、s82、每个下采样前点云po中的点都会被映射到其在重建点云中对应的物体标准化坐标上，通过得到的物体标准化坐标表示物体在三维空间中的位置和方向；

59、s83、给定下采样前点云po及其重建的物体标准化坐标使用umeyama算法结合ransac算法计算相似变换参数，包括旋转、平移和缩放，旋转和平移参数对应于物体6d姿态，缩放参数对应于物体尺寸，进而估计物体在在空间中的位置、方向和尺寸下的姿态信息。

60、本发明的有益效果是：

61、本发明在类别级别的物体姿态和尺寸估计方面具有显著的优势，通过采用新的双流形状先验适应方法，该方法能够提取姿态感知的物体特征和形状感知的物体特征，并通过多尺度特征传播机制将它们融合为综合的物体描述符，最终实现了精确的物体6d姿态及尺寸估计和准确的三维形状重构，与现有技术相比，本发明的方法不仅准确度更高，而且参数量更少，具有更好的实用性和效率。