一种地砖角点检测模型的训练、应用方法及装置与流程

本申请涉及计算机视觉，具体而言，涉及一种地砖角点检测模型的训练、应用方法及装置。

背景技术：

1、目前，角点检测方法通常是基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。然而，在实践中发现，传统的技术在面对实际施工场景下的地砖图像时，往往无法得到准确的检测结果，从而使得该类方法不适用于解决复杂环境下的地砖角点检测的问题。

技术实现思路

1、本申请的目的在于提供一种地砖角点检测模型的训练方法及装置，能够在实时的复杂环境下准确检测到地砖角点。

2、本申请实施例第一方面提供了一种地砖角点检测模型的训练方法，包括：

3、在获取到的地砖场景图像中标注地砖区域，并以所述地砖区域中的角点作为关键点生成标签数据；

4、基于特征金字塔网络、注意力机制和多任务联合损失函数，构建神经网络模型；所述多任务联合损失函数包括地砖区域分类损失函数、目标检测框回归损失函数以及关键点回归损失函数；

5、将所述地砖场景图像和所述标签数据输入至所述神经网络模型；

6、对所述神经网络模型进行训练，得到地砖角点检测模型。

7、在上述实现过程中，该方法可以优先获取地砖场景图像，并在地砖场景图像中进行标注，得到地砖区域，然后再以地砖区域中的角点作为关键点生成标签数据；实施这种实施方式，可以特别以地砖角点作为关键点，使得该标签数据在模型训练中可以给模型提供更多的有用信息，有利于模型的训练收敛。然后，该方法基于特征金字塔网络、注意力机制和多任务联合损失函数，构建神经网络模型；实施这种实施方式，能够通过该网络模型解决传统非端到端检测的问题，从而减少人为进行特征提取设计的繁重工作，对复杂多变的实际地砖图像具有较好的鲁棒性。任务联合损失函数包括地砖区域分类损失函数、目标检测框回归损失函数以及关键点回归损失函数；使用该种多任务联合损失函数能够使得多个函数联合作用于地砖场景图像，从而解决地砖角点定位精度不准的问题；具体的，多任务联合损失函数能够在一定程度上可以避免光照、水渍等对检测结果造成的影响，最终实现地砖角点的精确定位。再后，该方法将所述地砖场景图像和所述标签数据输入至所述神经网络模型，并对所述神经网络模型进行训练，得到地砖角点检测模型；实施这种实施方式，能够训练出最佳的神经网络模型，以便在后续的地砖角点检测过程中提高检测准确性。

8、进一步地，所述在获取到的地砖场景图像中标注地砖区域，并以所述地砖区域中的角点作为关键点生成标签数据的步骤之前，所述方法还包括：

9、基于不同的拍摄条件对多个地砖场景进行拍摄，得到地砖场景图像。

10、进一步地，所述在获取到的地砖场景图像中标注地砖区域，并以所述地砖区域中的角点作为关键点生成标签数据的步骤包括：

11、在获取到的地砖场景图像中标注地砖区域；

12、以所述地砖区域中的角点作为关键点，以所述地砖区域中的角线、角度、裂纹、切缝为区域信息，共同生成标签数据。

13、进一步地，所述特征金字塔网络为三层网络；其中，第一层特征网络包括13个卷积层，第二层特征网络包括bn层和14个卷积层，第三层特征网络包括bn层和5个卷积层。

14、进一步地，所述多任务联合损失函数为：

15、ltotal＝0.3*lcla+0.4*lbox+0.3*lpts；

16、ltotal为所述多任务联合损失函数；

17、lcla为所述地砖区域分类损失函数；

18、lbox为所述目标检测框回归损失函数；

19、lpts为所述关键点回归损失函数。

20、进一步地，所述地砖区域分类损失函数使用hinge loss函数进行度量，所述地砖区域分类损失函数用于将地砖场景图像分类为地砖区域和背景区域；其中，所述地砖区域分类损失函数为：

21、lcla＝max(0，1-ys)；

22、lcla为所述地砖区域分类损失函数；

23、y为预测类别；

24、s为标注类别。

25、进一步地，所述目标检测框回归损失函数使用均方误差损失函数，所述目标检测框回归损失函数为：

26、

27、lbox为所述目标检测框回归损失函数；

28、yi为标注框位置点；

29、为预测的位置点。

30、进一步地，所述关键点回归损失函数使用huber loss函数，所述关键点回归损失函数为：

31、

32、lpts为所述关键点回归损失函数；

33、y为标注的关键点；

34、p为预测的地砖关键点；

35、δ为可迭代优化的数值，用于处理异常关键点，提高角点检测精度。

36、本申请实施例第二方面提供了一种地砖角点检测模型的训练装置，所述地砖角点检测模型的训练装置包括：

37、采集单元，用于在获取到的地砖场景图像中标注地砖区域，并以所述地砖区域中的角点作为关键点生成标签数据；

38、构建单元，用于基于特征金字塔网络、注意力机制和多任务联合损失函数，构建神经网络模型；所述多任务联合损失函数包括地砖区域分类损失函数、目标检测框回归损失函数以及关键点回归损失函数；

39、录入单元，用于将所述地砖场景图像和所述标签数据输入至所述神经网络模型；

40、训练单元，用于对所述神经网络模型进行训练，得到地砖角点检测模型。

41、在上述实现过程中，该地砖角点检测模型的训练装置能够自动对地砖场景图像进行采集与标注，并将采集标注的标签数据置入构件好的神经网络模型中，以使神经网络模型可以被训练成为最优的地砖角点检测模型。可见，实施这种实施方式，能够通过该地砖角点检测模型的训练装置自动化进行模型的训练，从而能够在保障模型训练精度的同时，提高模型训练的自动化，进而提高模型训练的效率。

42、本申请实施例第三方面提供了一种地砖角点检测模型的应用方法，所述的地砖角点检测模型是通过第一方面所述的地砖角点检测模型的训练方法训练得到的，所述方法包括：

43、接收用户输入的待检测图像；

44、将所述待检测图像输入至地砖角点检测模型中；

45、通过所述地砖角点检测模型对所述待检测图像进行地砖角点检测，得到地砖角点信息。

46、本申请实施例第四方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中的所述的地砖角点检测模型的训练方法。

47、本申请实施例第五方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中的所述的地砖角点检测模型的训练方法。

技术特征：

1.一种地砖角点检测模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的地砖角点检测模型的训练方法，其特征在于，所述在获取到的地砖场景图像中标注地砖区域，并以所述地砖区域中的角点作为关键点生成标签数据的步骤之前，所述方法还包括：

3.根据权利要求1所述的地砖角点检测模型的训练方法，其特征在于，所述在获取到的地砖场景图像中标注地砖区域，并以所述地砖区域中的角点作为关键点生成标签数据的步骤包括：

4.根据权利要求1所述的地砖角点检测模型的训练方法，其特征在于，所述特征金字塔网络为三层网络；其中，第一层特征网络包括13个卷积层，第二层特征网络包括bn层和14个卷积层，第三层特征网络包括bn层和5个卷积层。

5.根据权利要求1所述的地砖角点检测模型的训练方法，其特征在于，所述多任务联合损失函数为：

6.根据权利要求5所述的地砖角点检测模型的训练方法，其特征在于，所述地砖区域分类损失函数使用hinge loss函数进行度量，所述地砖区域分类损失函数用于将地砖场景图像分类为地砖区域和背景区域；其中，所述地砖区域分类损失函数为：

7.根据权利要求5所述的地砖角点检测模型的训练方法，其特征在于，所述目标检测框回归损失函数使用均方误差损失函数，所述目标检测框回归损失函数为：

8.根据权利要求5所述的地砖角点检测模型的训练方法，其特征在于，所述关键点回归损失函数使用huber loss函数，所述关键点回归损失函数为：

9.一种地砖角点检测模型的训练装置，其特征在于，所述地砖角点检测模型的训练装置包括：

10.一种地砖角点检测模型的应用方法，其特征在于，所述的地砖角点检测模型是通过权利要求1～8任一项所述的地砖角点检测模型的训练方法训练得到的，所述方法包括：

11.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至8中任一项所述的地砖角点检测模型的训练方法。

12.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至8任一项所述的地砖角点检测模型的训练方法。

技术总结
本申请提供一种地砖角点检测模型的训练、应用方法及装置，涉及计算机视觉技术领域，该地砖角点检测模型的训练方法包括：在获取到的地砖场景图像中标注地砖区域，并以地砖区域中的角点作为关键点生成标签数据；基于特征金字塔网络、注意力机制和多任务联合损失函数，构建神经网络模型；多任务联合损失函数包括地砖区域分类损失函数、目标检测框回归损失函数以及关键点回归损失函数；将地砖场景图像和标签数据输入至神经网络模型；对神经网络模型进行训练，得到地砖角点检测模型。实施这种实施方式，能够在实时的复杂环境下准确检测到地砖角点。

技术研发人员：张强,陈思延,蔡巍,董忠
受保护的技术使用者：广东博智林机器人有限公司
技术研发日：
技术公布日：2024/1/12