基于深度学习的白色球体检测方法、装置、设备及介质与流程

1.本发明属于机器视觉技术领域，更具体地说，涉及一种基于深度学习的白色球体检测方法、装置、电子设备及介质。


背景技术：

2.目前，随着人工智能的发展，基于深度学习的图像识别和目标检测已经逐渐走进人们的生活。
3.在高尔夫练习场的大面积多目标单一环境下，会在短时间内积累大量的白色球体，人工捡球的方式，需要在结束练习场运营后才能回收白色球体，捡球效率低，且影响运营效果，因而更多采用白色球体回收机器人对白色球体进行回收。
4.针对上述问题也进行了相应的改进。在现有白色球体回收机器人的设计中，需要草坪进行遍历扫描，确保尽可能的回收所有白色球体。传统图像识别检测白色球体的方法，如颜色、模板匹配等，因草坪面积过大，草坪遮挡等原因，会出现识别准确率低、误差大等问题；其他的现有技术改进中，如中国专利申请号cn202011425522.8，公开日为2021年03月09日，该专利公开了一种基于yolov4和嵌入式平台的高尔夫球检测方法，它先制作高尔夫球数据集；接着，在电脑端搭建darknet框架所需软件环境，嵌入式设备烧录系统镜像必需软件；然后，对数据集的白色球体目标框运行k-means++聚类；接着，使用yolov4模型对高尔夫数据集进行训练；之后，将电脑端训练好的yolov4权重转化为onnx格式；之后，将onnx格式文件转换为tensorrt引擎文件；最后，使用引擎文件对白色球体进行识别即可。采用该方法可基本避免漏检的情况，模型部署的难度较小，较darknet框架运行的速度更快。但上述方法仍存在以下不足：基于yolov4和嵌入式平台的白色球体检测方法需要对实时视频进行处理，采集到的庞大无用数据降低了资源利用率，提高了对硬件的要求，虽然提高了准确率，但提升了成本。


技术实现要素：

5.1、要解决的问题
6.针对现有技术中存在的对白色球体的识别准确率和检测成本之间无法平衡的问题，本发明提供一种基于深度学习的白色球体检测方法、装置、电子设备及介质，即使在大计算量的情况下，仍然能够控制计算的数据量，提高白色球体检测的准确性，进而能够有效改善机器人的检测功能，提高机器人回收白色球体的效率。
7.2、技术方案
8.为解决上述问题，本发明采用如下的技术方案。
9.本技术的第一个方面，提供一种基于深度学习的白色球体检测方法，包括以下步骤：
10.将待检测图像集输入白色球体检测模型中进行处理，确定所述待检测图像中白色球体的位置信息；
11.根据待检测图像集中白色球体的位置信息，在所述待检测图像中定位白色球体的位置；
12.其中，所述白色球体检测模型包括第一特征提取网络、区域生成网络rpn、生成对抗网络gan、第二特征提取网络以及目标检测网络。
13.在第一方面的一种可能的实现方式中，步骤s100中，将待检测图像集输入白色球体检测模型中进行处理，确定所述待检测图像中白色球体的位置信息包括：
14.步骤s1、将待检测图像集输入第一特征提取网络中进行处理，提取待检测图像集的图像特征信息；
15.步骤s2、依据所述图像特征信息，对提取得到的特征图进行筛选，得到包含明显物体的特征图；
16.步骤s3、利用区域生成网络rpn，在筛选后的特征图中框选明显物体所在的目标候选区域；
17.步骤s4、利用生成对抗网络gan，对筛选后的特征图进行精度还原；
18.步骤s5、将精度还原后的特征图以及所述目标候选区域输入第二特征提取网络中进行处理，得到待检测图像集的多个目标候选区域的区域特征信息；所述第二特征提取网络为相较于第一特征提取网络更大型精度更高的特征提取网络模型；
19.步骤s6、将所述区域特征信息输入目标检测网络中进行处理，确定所述待检测图像中白色球体的位置信息。
20.在第一方面的一种可能的实现方式中，步骤s1前，还包括：
21.对草坪进行遍历扫描；具体为：按照预设的时间段δt，定时获取周围环境信息。
22.在第一方面的一种可能的实现方式中，步骤s2中，依据所述图像特征信息，对提取得到的特征图进行筛选，得到包含明显物体的特征图，其具体包括：
23.使用susan边缘检测算法，用近似圆形模块遍历整个图像，再把模块内像素灰度与模快中心像素的灰度值进行比较，若灰度差异小于某个阈值，则认为他们是同值的，满足该条件的所有像素组成核同值区usan；
24.设定usan阈值，提取检测目标角点，计算查找小于该阈值的像素点，将查找到的像素点确定为边缘点，基于边缘特征判断草坪是否有异物。
25.在第一方面的一种可能的实现方式中，步骤s4中，所述生成对抗网络gan包括至少一个生成器g和一个判别器d，利用生成对抗网络gan的生成器g生成假样本，利用判别器d判别输入数据是真实样本数据或假样本数据；
26.训练过程中，两者各自更新自身参数使得损失最小，相互对抗并迭代优化，直至达到纳什均衡状态。
27.本技术的第二个方面，提供一种基于深度学习的白色球体检测装置，所述装置包括：
28.第一特征信息提取模块，用于对待检测图像集输入第一特征提取网络中进行处理，提取待检测图像集的图像特征信息；
29.筛选模块，用于依据图像特征信息提取模块提取到的特征图，对所述特征图进行筛选，得到包含明显物体的特征图；
30.框选模块，用于根据筛选模块筛选后的特征图中框选明显物体所在的目标候选区
域；
31.精度还原模块，用于对筛选模块筛选后的特征图进行精度还原；
32.第二特征信息提取模块，用于将精度还原模块精度还原后的特征图以及框选模块框选得到的目标候选区域进行处理，得到待检测图像集的多个目标候选区域的区域特征信息；
33.以及目标检测模块，用于依据所述区域特征信息，确定所述待检测图像中白色球体的位置信息。
34.本技术的第三个方面，提供一种电子设备，包括：
35.处理器；
36.用于存储处理器可执行指令的存储器；
37.其中，所述处理器被配置为执行如上任意一项所述的方法。
38.本技术的第四个方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行根据如上任意一项所述的方法。
39.3、有益效果
40.相比于现有技术，本发明的有益效果为：
41.(1)本发明利用摄像头连续性获取周围环境信息，生成较模糊的低精度图像；再对图像进行初步处理，将采集的图像与预先输入的常规草坪图像进行纹理对比，识别图像中草坪有无明显异物，抛弃无明显异物的图像；若图像中有明显不属于常规草坪的物体，则通过区域生成网络rpn选取异物，使用生成对抗网络gan对候选框中的物体进行高精度还原，然后通过faster-rcnn算法对还原的高精度图像进行识别检测；由于先对低精度的模糊图像进行一个初步甄别筛选，抛弃了大量无价值和低价值图像，聚焦针对明显目标信息进行处理，提高了效率；
42.(2)本发明中，基于faster-rcnn算法的优势，即使在大计算量的情况下，仍然能够控制计算的数据量，提高白色球体检测的准确性，进而能够有效改善机器人的检测功能，提高机器人回收白色球体的效率；同时降低了对图像清晰度的要求，硬件的配置要求较低，使用成本也较小。
附图说明
43.图1为本发明其中一个实施例的基于深度学习的白色球体检测方法流程图。
具体实施方式
44.下面结合具体实施例和附图对本发明进一步进行描述。
45.实施例1
46.图1是根据一示例性实施例示出的一种基于深度学习的白色球体检测方法流程图的流程图。如图1所示，该方法用于终端设备或服务器中，例如，手机、平板电脑等，本公开对此不作限制。根据本公开实施例的基于深度学习的白色球体检测方法包括：
47.将待检测图像集输入白色球体检测模型中进行处理，确定所述待检测图像中白色球体的位置信息；
48.根据待检测图像集中白色球体的位置信息，在所述待检测图像中定位白色球体的
位置；
49.其中，所述白色球体检测模型包括第一特征提取网络、区域生成网络rpn、生成对抗网络gan、第二特征提取网络以及目标检测网络。
50.通过本实施例，能够提高白色球体检测的准确性，进而能够有效改善机器人的检测功能，提高机器人回收白色球体的效率。
51.其中，所述白色球体检测模型可以为训练好的，用于确定待检测图像集中白色球体的位置信息。举例来说，该终端设备可以将待检测图像输入白色球体检测模型中进行处理，得到待检测图像中白色球体的位置信息。例如，该终端设备可以将待检测图像输入到白色球体检测模型中，由白色球体检测模型的特征提取网络对该待检测图像进行特征提取，得到该待检测图像的特征图像。该白色球体检测模型的区域生成网络rpn可以根据该待检测图像的特征图像，生成多个候选区域。该白色球体检测模型的特征提取网络根据该待检测图像的特征图像以及多个候选区域，得到多个候选区域的分辨率相同的特征图像。该白色球体检测模型的目标检测网络可以根据多个候选区域的特征图像，确定待检测图像中的倾斜对象的位置信息。
52.在一个具体的实施例中，所述白色球体检测模型可以是在更快速区域卷积神经网络(faster-region convolutional neural networks，faster-rcnn)基础上改进的，该白色球体检测模型包括第一特征提取网络、区域生成网络rpn、生成对抗网络gan、第二特征提取网络以及目标检测网络。值得说明的是，本实施例中，所述第二特征提取网络可以为相较于第一特征提取网络更大型精度更高的特征提取网络模型，所述第二特征提取网络也可以与第一特征提取网络为同一特征提取网络，例如faster-rcnn特征提取网络，以使得由卷积层获取的特征信息可以沿用至整个神经网络流程，效率更高。
53.在一种可能的实现方式中，将待检测图像集输入白色球体检测模型中进行处理，确定所述待检测图像中白色球体的位置信息具体包括：
54.步骤s1、将待检测图像集输入第一特征提取网络中进行处理，提取待检测图像集的图像特征信息；步骤s2、依据所述图像特征信息，对提取得到的特征图进行筛选，得到包含明显物体的特征图；步骤s3、利用区域生成网络rpn，在筛选后的特征图中框选明显物体所在的目标候选区域；步骤s4、利用生成对抗网络gan，对筛选后的特征图进行精度还原；步骤s5、将精度还原后的特征图以及所述目标候选区域输入第二特征提取网络中进行处理，得到待检测图像集的多个目标候选区域的区域特征信息；所述第二特征提取网络为相较于第一特征提取网络更大型精度更高的特征提取网络模型；步骤s6、将所述区域特征信息输入目标检测网络中进行处理，确定所述待检测图像中白色球体的位置信息。
55.具体地，在步骤s11前，在本技术一实施例中，还包括：对草坪进行遍历扫描；具体为：按照预设的时间段δt，定时获取周围环境信息。具体地，在机器人遍历草坪的扫描过程中，可以在时间δt内，摄像头拍摄图像获取周围环境信息，对该时间δt的图像处理完成后，再获取下一时间δt+1的图像。通过按照按照预设的时间段δt，定时获取周围环境信息，能够实时对当前的检测集合进行检测，提高检测的时效性。
56.具体地，在步骤s3中，利用区域生成网络rpn，在筛选后的特征图中框选明显物体所在的目标候选区域具体包括：
57.使用susan边缘检测算法，用近似圆形模块遍历整个图像，再把模块内像素灰度与
模快中心像素的灰度值进行比较，若灰度差异小于某个阈值，则认为他们是同值的，满足该条件的所有像素组成核同值区usan；
58.设定usan阈值，提取检测目标角点，计算查找小于该阈值的像素点，将查找到的像素点确定为边缘点，基于边缘特征判断草坪是否有异物。
59.更具体地，在步骤s4中，利用生成对抗网络gan，对筛选后的特征图进行精度还原具体包括：
60.所述生成对抗网络gan包括至少一个生成器g和一个判别器d，利用生成对抗网络gan的生成器g生成假样本，尽量和真实样本一样，利用判别器d判别输入数据是真实样本数据或假样本数据；
61.训练过程中，两者各自更新自身参数使得损失最小，相互对抗并迭代优化，直至达到纳什均衡状态。输入模糊的真实数据后，生成对抗网络gan就能生成一个具有更高感知质量、更清晰的输出图像，补充了高分辨率细节，有助于定位物体。
62.生成对抗网络gan可还原一个更高精度的目标物图像，弥补了低精度图像处理带来的误差，提高了目标检测的准确率。
63.本实施例在扫描过程中使用无需使用高性能的摄像头，对捕捉图像精度的要求较低；而在对图像进行目标检测前，先对图像进行一个预处理的筛选甄别过程，抛弃了大量的无价值图像，进一步控制了后续处理的计算量；最后通过区域生成网络rpn建立的候选框选取目标物，聚焦于目标信息的处理，提高了效率。
64.实施例2
65.本实施例提供一种基于深度学习的白色球体检测装置，所述装置包括：
66.第一特征信息提取模块，用于对待检测图像集输入第一特征提取网络中进行处理，提取待检测图像集的图像特征信息；
67.筛选模块，用于依据图像特征信息提取模块提取到的特征图，对所述特征图进行筛选，得到包含明显物体的特征图；
68.框选模块，用于根据筛选模块筛选后的特征图中框选明显物体所在的目标候选区域；
69.精度还原模块，用于对筛选模块筛选后的特征图进行精度还原；
70.第二特征信息提取模块，用于将精度还原模块精度还原后的特征图以及框选模块框选得到的目标候选区域进行处理，得到待检测图像集的多个目标候选区域的区域特征信息；
71.以及目标检测模块，用于依据所述区域特征信息，确定所述待检测图像中白色球体的位置信息。
72.本实施例中利用摄像头连续性获取周围环境信息，生成较模糊的低精度图像；再对图像进行初步处理，将采集的图像与预先输入的常规草坪图像进行纹理对比，识别图像中草坪有无明显异物，抛弃无明显异物的图像；若图像中有明显不属于常规草坪的物体，则通过区域生成网络rpn选取异物，使用生成对抗网络gan对候选框中的物体进行高精度还原，然后通过faster-rcnn算法对还原的高精度图像进行识别检测；由于先对低精度的模糊图像进行一个初步甄别筛选，抛弃了大量无价值和低价值图像，聚焦针对明显目标信息进行处理，提高了效率。
73.实施例3
74.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现任一基于深度学习的白色球体检测方法。
75.实施例4：
76.一种计算机可读存储介质，计算机可读存储介质存储有执行任一基于深度学习的白色球体检测方法的计算机程序。例如，移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
77.本发明即使在大计算量的情况下，仍然能够控制计算的数据量，提高白色球体检测的准确性，进而能够有效改善机器人的检测功能，提高机器人回收白色球体的效率。
78.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
79.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
80.另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
81.本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。