荔枝果梗识别定位方法及装置

本发明涉及机器人采摘，尤其涉及一种荔枝果梗识别定位方法及装置。

背景技术：

1、机器人采摘技术旨在解决人工采摘劳动力不足、成本高昂和效率低下等问题。荔枝作为一种具有商业价值的热带水果，其采摘过程对于保证果实的品质和减少损伤至关重要。然而，机器人采摘荔枝面临一些挑战。其中一个主要问题是如何准确识别和定位荔枝果梗。

2、果梗是连接果实和树枝的部分，其位置和形状变化较大，对采摘机器人的操作和策略产生直接影响。目前，针对果梗识别和定位问题，已经有一些研究使用计算机视觉技术进行了探索。然而，这些方法通常仅利用视觉图像信息进行果梗的检测和定位，而忽视了其他可能的信息来源，从而导致荔枝果梗识别定位的准确性较低。

技术实现思路

1、本发明提供一种荔枝果梗识别定位方法及装置，用以解决现有技术中荔枝果梗识别定位的准确性较低的缺陷，实现提高荔枝果梗识别定位的准确性。

2、本发明提供一种荔枝果梗识别定位方法，包括：

3、对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；

4、根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；

5、将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；

6、将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；

7、对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值。

8、根据本发明提供的一种荔枝果梗识别定位方法，所述根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域的步骤包括：

9、在同一张所述待处理图像中每个荔枝果梗感兴趣区域与至少一个所述荔枝感兴趣区域存在交集的情况下，确定每个荔枝果梗感兴趣区域为所述可采摘的荔枝果梗感兴趣区域。

10、根据本发明提供的一种荔枝果梗识别定位方法，所述将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像的步骤包括：

11、将所述待处理图像和所述可采摘的荔枝果梗感兴趣区域作为可见光模态，进行二维卷积编码；

12、将基于所述待处理图像和所述深度图像得到的三维点云作为点云模态，进行核点卷积编码；

13、将所述可见光模态的二维卷积编码结果经过第一自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第一自注意力机制用于捕捉所述可见光模态下的自适应感受野，所述第一互注意机制和第二互注意机制均用于将所述可见光模态和点云模态进行空间对齐；

14、将所述点云模态的核点卷积编码结果经过第二自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第二自注意力机制用于捕捉所述点云模态下的自适应感受野；

15、基于多头注意力机制将第一互注意机制和第二互注意机制的输出进行融合，得到荔枝果梗图像。

16、根据本发明提供的一种荔枝果梗识别定位方法，所述预处理包括背景去噪、二值化处理和形态学开运算。

17、根据本发明提供的一种荔枝果梗识别定位方法，所述确定所述荔枝果梗骨骼图中采摘点的坐标的步骤包括：

18、确定所述荔枝果梗骨骼图在竖直方向上的三条等分线；

19、在所述三条等分线中的中间等分线与所述荔枝果梗骨骼图中的荔枝果梗主干存在交点的情况下，将所述中间等分线对应交点的坐标作为所述采摘点的坐标；

20、在所述三条等分线中的中间等分线与所述荔枝果梗主干不存在交点，且最上一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最上一条等分线对应交点的坐标作为所述采摘点的坐标；

21、在所述三条等分线中的中间等分线、最上一条等分线与所述荔枝果梗主干均不存在交点，且最下一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最下一条等分线对应交点的坐标作为所述采摘点的坐标。

22、根据本发明提供的一种荔枝果梗识别定位方法，所述采摘点的深度值的获取步骤包括：

23、根据所述采摘点的坐标，从所述深度图像中提取所述采摘点的原始深度值和所述荔枝果梗骨骼图对应的深度值列表；

24、去除所述深度值列表中的异常深度值后，确定所述深度值列表中的深度值的平均值，以及所述原始深度值与所述平均值之间差值的绝对值；

25、在所述绝对值大于预设阈值的情况下，将所述平均值作为所述采摘点的深度值；

26、在所述绝对值小于或等于所述预设阈值的情况下，将所述原始深度值作为所述采摘点的深度值。

27、本发明还提供一种荔枝果梗识别定位装置，包括：

28、检测模块，用于对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；

29、筛选模块，用于根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；

30、融合模块，用于将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；

31、分割模块，用于将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；

32、定位模块，用于对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值。

33、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述荔枝果梗识别定位方法。

34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述荔枝果梗识别定位方法。

35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述荔枝果梗识别定位方法。

36、本发明提供的荔枝果梗识别定位方法及装置，通过利用目标检测得到的荔枝果梗感兴趣区域、图像数据和深度图像，进行多模态信息融合，得到荔枝果梗更全面和丰富的特征信息，包括形态、颜色、纹理等，提高荔枝果梗识别的准确性，确保机器人能够准确定位果梗的位置，增强机器人在不同环境条件下的适应性和鲁棒性，从而提高荔枝采摘效率和果实质量。

技术特征：

1.一种荔枝果梗识别定位方法，其特征在于，包括：

2.根据权利要求1所述的荔枝果梗识别定位方法，其特征在于，所述根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域的步骤包括：

3.根据权利要求1所述的荔枝果梗识别定位方法，其特征在于，所述将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像的步骤包括：

4.根据权利要求1-3任一项所述的荔枝果梗识别定位方法，其特征在于，所述预处理包括背景去噪、二值化处理和形态学开运算。

5.根据权利要求1-3任一项所述的荔枝果梗识别定位方法，其特征在于，所述确定所述荔枝果梗骨骼图中采摘点的坐标的步骤包括：

6.根据权利要求1-3任一项所述的荔枝果梗识别定位方法，其特征在于，所述采摘点的深度值的获取步骤包括：

7.一种荔枝果梗识别定位装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述荔枝果梗识别定位方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述荔枝果梗识别定位方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述荔枝果梗识别定位方法。

技术总结
本发明提供一种荔枝果梗识别定位方法及装置，该方法包括：对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；根据待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，获取可采摘的荔枝果梗感兴趣区域；将可采摘的荔枝果梗感兴趣区域、待处理图像和待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；将荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；对分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定荔枝果梗骨骼图中采摘点的坐标和深度值。本发明提高荔枝果梗识别定位的准确性，从而提高荔枝采摘效率和果实质量。

技术研发人员：谭志平,唐宇,方明伟,邢诗曼,黄文轩,黄明浩,黄华盛,郭琪伟
受保护的技术使用者：广东技术师范大学
技术研发日：
技术公布日：2024/1/15