一种位姿估计方法、装置、电子设备及存储介质与流程

本发明涉及工业互联网智能制造，尤其涉及一种位姿估计方法、装置、电子设备及存储介质。

背景技术：

1、柔性装配系统具有自动化、可移动、数字化等特点，能够有效降低生产成本，提高装配效率。

2、目前，柔性装配系统主要通过机器视觉识别来完成装配工作。由于二维视觉识别方法存在无法准确获取空间内物体的位置和姿态信息等问题，现有的柔性装配系统多采用三维视觉识别方法。但是，三维视觉识别方法的算法复杂度较高，导致柔性装配系统的开发和应用成本较高，并且三维视觉识别方法的实现依赖于物体的几何特征，算法的泛化性较差。

技术实现思路

1、本发明提供了一种位姿估计方法、装置、电子设备及存储介质，能够将二维图像技术和三维点云技术进行融合，在实现目标物的位姿估计的同时，降低算法复杂度和对硬件的依赖，提高位姿估计的效率和准确性。

2、根据本发明的一方面，提供了一种位姿估计方法，包括：获取目标场景的二维图像信息和三维点云信息，其中，目标场景包括至少一个目标物；根据二维图像信息，确定每个目标物的目标感兴趣区域roi；分别根据每个目标物的目标roi，从三维点云信息中确定每个目标物的点云集合；分别根据每个目标物对应的目标点对特征ppf特征点集，基于预设算法对每个目标物的点云集合依次进行粗略对齐和精细对齐，以完成每个目标物的位姿估计。

3、可选的，根据二维图像信息，确定每个目标物的目标roi，包括：将二维图像信息输入预先训练好的预设模型中，确定每个目标物的原始roi，其中，目标物的原始roi包括目标物的轴向包围盒；分别对每个目标物的原始roi进行优化，确定每个目标物的目标roi，其中，目标物的目标roi包括目标物的最小包围盒，一个目标物的目标roi小于或者等于该目标物的原始roi。

4、可选的，对于任意一个目标物，对目标物的原始roi进行优化，确定目标物的目标roi，包括：对目标物的原始roi进行二值化处理，并识别目标物的轴向包围盒的边界；根据轴向包围盒的边界，确定优化起始点，其中，优化起始点位于轴向包围盒的任意一条边界上、且与目标物存在交叠；以优化起始点为起点，沿目标物的边框进行边界生长；若生长的边界不为双向边界，则返回执行根据轴向包围盒的边界，确定优化起始点的步骤；若生长的边界为双向边界，则基于深度遍历算法，继续进行边界生长，直至形成目标物的最小包围盒为止，以确定目标物的目标roi。

5、可选的，在确定目标物的目标roi后，还包括：确定目标物的原始roi与目标物的目标roi之间的交集和并集；根据交集和并集，计算校验值；若校验值小于或者等于第一预设阈值，则返回执行根据轴向包围盒的边界，确定优化起始点的步骤。

6、可选的，对于任意一个目标物，根据目标物对应的目标ppf特征点集，基于预设算法对目标物的点云集合依次进行粗略对齐和精细对齐，以完成目标物的位姿估计，包括：根据目标物的类型，从ppf模板数据中查找目标物对应的目标ppf特征点集，其中，ppf模板数据包括若干组ppf特征点集，一组ppf特征点集关联一个标签信息，目标物的类型与目标ppf特征点集关联的标签信息匹配；根据目标ppf特征点集和目标物的点云集合，基于超四点全等集配准算法确定第一转换矩阵，并根据第一转换矩阵对目标物的点云集合进行粗略对齐；根据目标ppf特征点集，基于迭代最近点算法对粗略对齐后的目标物的点云集合进行精细对齐，以完成目标物的位姿估计。

7、可选的，根据目标ppf特征点集和目标物的点云集合，基于超四点全等集配准算法确定第一转换矩阵，并根据第一转换矩阵对目标物的点云集合进行粗略对齐，包括：从目标物的点云集合中随机选取四个参考点，计算四个参考点的仿射不变量；根据目标ppf特征点集和四个参考点，确定点对集合，并从点对集合中选择与四个参考点相似的点对；根据四个参考点和与四个参考点相似的点对，确定第一转换矩阵，其中，第一转换矩阵在最大化公共点集中的配准精度最高；根据第一转换矩阵对目标物的点云集合进行粗略对齐。

8、可选的，根据目标ppf特征点集，基于迭代最近点算法对粗略对齐后的目标物的点云集合进行精细对齐，以完成目标物的位姿估计，包括：从粗略对齐后的目标物的点云集合中选取第一样点，并从目标ppf特征点集中选取与第一样点对应的第二样点，其中，第一样点与第二样点之间的距离最小；根据第一样点和第二样点，确定第二转换矩阵；根据第二转换矩阵对粗略对齐后的目标物的点云集合进行精细对齐；若精细对齐后的目标物的点云集合与目标ppf特征点集之间对应点的距离大于或者等于第三预设阈值，则返回执行从目标ppf特征点集中选取与第一样点对应的第二样点的步骤，直至精细对齐后的目标物的点云集合与目标ppf特征点集之间对应点的距离小于第三预设阈值为止。

9、可选的，构建ppf模板数据的方法，包括：获取训练物的三维点云和标签信息，并分别计算三维点云中每个点的法向量；根据每个点的法向量，确定至少一组候选点集，其中，每组候选点集包括至少一对与候选点集关联的点对；将关联的点对数量最多的一组候选点集作为训练物的ppf特征点集，并将标签信息与训练物的ppf特征点集关联。

10、根据本发明的另一方面，提供了一种电子设备，电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的位姿估计方法。

11、根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的位姿估计方法。

12、本发明实施例的技术方案，通过获取包括至少一个目标物的目标场景的二维图像信息和三维点云信息；根据二维图像信息，确定每个目标物的目标roi；再分别根据每个目标物的目标roi，从三维点云信息中确定每个目标物的点云集合；最终分别根据每个目标物对应的目标ppf特征点集，基于预设算法对每个目标物的点云集合依次进行粗略对齐和精细对齐，以完成每个目标物的位姿估计。一方面，通过二维图像信息确定每个目标物的目标roi，由于二维图像技术比较成熟，可以更好的识别目标物，提高识别的泛化能力；另一方面，根据目标物的目标roi，从三维点云信息中确定目标物的点云集合，可以去除三维点云信息中的无关点云，大大降低了算法复杂度和对硬件的依赖；又一方面，根据目标物对应的目标ppf特征点集，基于预设算法对目标物的点云集合依次进行粗略对齐和精细对齐，通过两次对齐可以降低特征计算量，有效提高全局特征占比，以提高位姿估计的效率和准确性。

13、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种位姿估计方法，其特征在于，包括：

2.根据权利要求1所述的位姿估计方法，其特征在于，根据所述二维图像信息，确定每个目标物的目标roi，包括：

3.根据权利要求2所述的位姿估计方法，其特征在于，对于任意一个目标物，对所述目标物的原始roi进行优化，确定所述目标物的目标roi，包括：

4.根据权利要求3所述的位姿估计方法，其特征在于，在确定所述目标物的目标roi后，还包括：

5.根据权利要求1所述的位姿估计方法，其特征在于，对于任意一个目标物，根据目标物对应的目标ppf特征点集，基于预设算法对所述目标物的点云集合依次进行粗略对齐和精细对齐，以完成所述目标物的位姿估计，包括：

6.根据权利要求5所述的位姿估计方法，其特征在于，根据所述目标ppf特征点集和所述目标物的点云集合，基于超四点全等集配准算法确定第一转换矩阵，并根据所述第一转换矩阵对所述目标物的点云集合进行粗略对齐，包括：

7.根据权利要求5所述的位姿估计方法，其特征在于，根据所述目标ppf特征点集，基于迭代最近点算法对粗略对齐后的所述目标物的点云集合进行精细对齐，以完成所述目标物的位姿估计，包括：

8.根据权利要求5所述的位姿估计方法，其特征在于，构建所述ppf模板数据的方法，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的位姿估计方法。

技术总结
本发明公开了一种位姿估计方法、装置、电子设备及存储介质。涉及工业互联网智能制造技术领域，该方法包括：获取目标场景的二维图像信息和三维点云信息，其中，目标场景包括至少一个目标物；根据二维图像信息，确定每个目标物的目标感兴趣区域ROI；分别根据每个目标物的目标ROI，从三维点云信息中确定每个目标物的点云集合；分别根据每个目标物对应的目标点对特征PPF特征点集，基于预设算法对每个目标物的点云集合依次进行粗略对齐和精细对齐，以完成每个目标物的位姿估计。本发明提供的方案能够将二维图像技术和三维点云技术进行融合，在实现目标物的位姿估计的同时，降低算法复杂度和对硬件的依赖，提高位姿估计的效率和准确性。

技术研发人员：张硕,董李扬,李蕾,孟祥秀,崔书孝
受保护的技术使用者：卡奥斯工业智能研究院（青岛）有限公司
技术研发日：
技术公布日：2024/3/21