一种3D结构光相机系统、方法、电子设备和可读存储介质与流程

本申请涉及图像识别领域，尤其涉及一种3d结构光相机系统、方法、电子设备和可读存储介质。

背景技术：

1、随着各种光学传感器飞速发展，二维扫描测量在某些场景的局限性使得三维扫描测量的需求越来越大且应用越来越广泛。而3d结构光测量以其高精度、高密度等特点成为三维测量系统中的杰出代表。与线激光扫描测量设备相比，3d结构光具有对云台的依赖更少、成像速度快等特性。3d结构光相机一般采用了若干个工业可见光相机（光学相机）+投影仪（光机）的结构。它的系统测量原理是先采用投影仪投射已设计的光栅编码图案到测量对象表面，然后被相机同步采集，对于采集到的光栅图像（条纹图像）组做相位解包算法，利用相位信息对完成像素同名点匹配，最后利用三角重构方法完成对测量物体的三维点云重建。

2、目前市场上的3d结构光相机内部往往搭载了处理单元（小型工控机或者fpga）,该处理单元可以在内部完成三维点云重建而直接将最终点云结果输出给上位机，类似常见的tof相机或者闪斑结构光相机。这种3d结构光相机对用户来说使用方便，用户可以直接从中获取重建的三维点云，而不需要考虑其他的数据处理。3d结构光相机因其可直接生成被摄物体的3d信息，所以被广泛用于工业和物流行业中的无序抓取中。无序抓取需要利用3d结构光相机所精确识别到的场景中无序堆放的一个或多个目标的3d姿态，然后引导机械臂完成目标的有序归置。准确率和效率是无序抓取性能的两个重要评价。但是现有的3d结构光相机在恢复目标区域的三维点云时，不仅效率低，其恢复的点云信息会对后续的模型识别产生干扰，从而降低点云匹配的效率。

3、综上所述，需要提供一种能够高效恢复三维点云且能够提高点云匹配的效率的3d结构光相机系统、方法、电子设备和可读存储介质。

技术实现思路

1、为解决以上问题，本申请提出了一种3d结构光相机系统、方法、电子设备和可读存储介质。

2、一方面，本申请提出一种3d结构光相机系统，包括：光机、光学相机和处理模块；所述处理模块分别与所述光机以及所述光学相机相连接；

3、所述光机，用于投影结构光至待识别目标；

4、所述光学相机，用于采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像，发送至所述处理模块；

5、所述处理模块，用于根据预设模型识别所述灰度图像中的待识别目标的位置信息，所述预设模型为2d预设模型；根据所述位置信息和多个所述条纹图像，确定所述待识别目标的点云数据；对所述待识别目标的点云数据进行匹配，得到最终匹配结果。

6、优选地，所述处理模块，包括：

7、目标识别单元，用于将接收到的所述灰度图像输入至所述预设模型，确定所述灰度图像中的一个或多个所述待识别目标的位置信息；根据所述位置信息，生成所述待识别目标的蒙板图像，所述蒙板图像用于指示所述待识别目标所在的待识别区域。

8、优选地，所述处理模块，还包括：

9、相位解析单元，用于根据所述蒙板图像所指示的所述待识别区域和多个所述条纹图像，确定所述待识别区域的绝对相位数据；

10、点云重建单元，用于根据所述绝对相位数据，对所述待识别区域进行同名像素匹配，确定所述待识别目标的同名匹配像素；确定所述同名匹配像素的三维坐标；根据所述三维坐标重建所述待识别目标，确定所述待识别目标的点云数据。

11、优选地，所述处理模块，还包括：

12、点云匹配单元，用于将所述待识别目标的点云数据作为待识别点云，并获取待识别目标的参考点云；将所述待识别点云和所述参考点云划分为多个局部区域；将所述待识别点云的每个所述局部区域的中心点作为第一关键点，得到多个第一关键点；将所述参考点云的每个所述局部区域的中心点作为第二关键点，得到多个第二关键点；确定每个所述第一关键点的特征描述子，得到多个第一特征描述子；确定每个所述第二关键点的特征描述子，得到多个第二特征描述子；将多个所述第一关键点和多个所述第一特征描述子做为待识别集合，将多个所述第二关键点和多个所述第二特征描述子做为参考集合；将所述参考集合中的每个所述第二特征描述子与所述待识别集合中的所有所述第一特征描述子进行匹配，获得所述参考集合中的每个第二关键点的匹配结果；对所有所述匹配结果进行筛选，得到所述待识别点云和所述参考点云的最终匹配结果。

13、优选地，所述处理模块，还包括：

14、驱动单元，用于驱动与所述处理模块相连接的所述光机投射结构光；驱动与所述处理模块相连接的所述光学相机采集所述待识别目标的图像。

15、第二方面，本申请提出一种用于3d结构光相机系统的点云数据获取方法，包括：

16、投影结构光至待识别目标；

17、采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像；

18、根据预设模型识别所述灰度图像中的待识别目标的位置信息，所述预设模型为2d预设模型；

19、根据所述位置信息和多个所述条纹图像，确定所述待识别目标的点云数据；

20、对所述待识别目标的点云数据进行匹配，得到最终匹配结果。

21、优选地，根据预设模型识别所述灰度图像中的待识别目标的位置信息之前，还包括：

22、从上位机获取所述预设模型，存储所述预设模型。

23、优选地，所述根据预设模型识别所述灰度图像中的待识别目标的位置信息，包括：

24、将接收到的所述灰度图像输入至所述预设模型，确定所述灰度图像中的一个或多个所述待识别目标的位置信息；

25、根据所述位置信息，生成所述待识别目标的蒙板图像，所述蒙板图像用于指示所述待识别目标所在的待识别区域。

26、第三方面，本申请提出一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如上所述的方法。

27、第四方面，本申请提出一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的方法。

28、本申请的优点在于：通过预设模型从图像中识别待识别目标的位置信息，从而仅恢复待识别目标的点云数据，能够大量减少恢复点云过程种的计算量，提高效率，并且能够避免非待识别目标和背景的点云数据对点云匹配的过程产生干扰，从而提高点云匹配的效率。

技术特征：

1.一种3d结构光相机系统，其特征在于，包括：光机、光学相机和处理模块；所述处理模块分别与所述光机以及所述光学相机相连接；

2.如权利要求1所述的相机系统，其特征在于，所述处理模块，包括：

3.如权利要求1所述的相机系统，其特征在于，所述处理模块，还包括：

4.如权利要求3所述的相机系统，其特征在于，所述处理模块，还包括：

5.如权利要求1所述的相机系统，其特征在于，所述处理模块，还包括：

6.一种用于3d结构光相机系统的点云数据获取方法，其特征在于，包括：

7.如权利要求6所述的方法，其特征在于，根据预设模型识别所述灰度图像中的待识别目标的位置信息之前，还包括：

8.如权利要求6所述的方法，其特征在于，所述根据预设模型识别所述灰度图像中的待识别目标的位置信息，包括：

9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求6-8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求6-8任一项所述的方法。

技术总结
本申请涉及图像识别领域，公开了一种3D结构光相机系统、方法、电子设备和可读存储介质，包括：光机、光学相机和处理模块；处理模块分别与光机以及光学相机相连接；光机，用于投影结构光至待识别目标；光学相机，用于采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像，发送至处理模块；处理模块，用于根据2D预设模型识别灰度图像中的待识别目标的位置信息；根据位置信息和多个条纹图像，确定待识别目标的点云数据。通过预设模型从图像中识别待识别目标的位置信息，从而仅恢复待识别目标的点云数据，能够大量减少恢复点云过程中的计算量，提高效率，提高点云匹配的效率和成功率，避免非待识别目标和背景的点云数据干扰后续任务。

技术研发人员：靳展,林欢,何兵,安汝峤,任鹏,孙泽梁,张峰,陈静
受保护的技术使用者：浙江视觉智能创新中心有限公司
技术研发日：
技术公布日：2024/1/13