基于目标检测的避障方法及装置与流程

1.本发明涉及目标检测技术领域，尤其涉及一种基于目标检测的避障方法及装置。


背景技术：

2.随着工业4.0和智能制造的提出，工业领域由传统的制造业不断向数字化、智能化、无人化方向发展；智能仓储行业随着客户需求进一步趋向个性化和定制化，伴随着最小存货单位的增加以及物流作业场景的不断变化，智能驾驶在叉车领域占据越来越重要的地位，如何实现叉车的智能驾驶，避障是关键的一环。
3.目前，现存的智能避障通常采用激光校准判断障碍物距离智能叉车的距离，但现有技术仅能判断障碍物距离智能叉车的直线距离，无法实现对障碍物的类别和空间位置的确定，同时无法获取障碍物的类别属性。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供了一种基于目标检测的避障方法及装置，旨在解决现有技术无法实现对障碍物的类别和空间位置的确定，同时无法获取障碍物的类别属性的技术问题。
6.为实现上述目的，本发明提供了一种基于目标检测的避障方法，所述方法包括以下步骤：
7.获取预设区域的色彩图像和深度图像；
8.基于所述色彩图像通过预设识别模型进行物体识别，获得类别信息，所述预设识别模型为数据增强训练后的yolo模型；
9.对所述深度图像进行预处理，获得目标框点云信息；
10.将所述类别信息与所述目标框点云信息进行融合，获得目标框的车体位置信息；
11.基于所述目标框的车体位置信息进行障碍物检测，获得障碍物信息；
12.根据所述障碍物信息进行对应的避障处理。
13.可选地，所述基于所述色彩图像通过预设识别模型进行物体识别，获得类别信息的步骤之前，包括：
14.构建初始yolo模型；
15.通过bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
16.可选地，所述通过bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型，包括：
17.通过mixup对所述样本图像根据由beta分布确定的预设比例进行线性混合，获得混合后的样本图像；
18.通过mixup对所述样本图像对应的one-hot标签根据所述由beta分布确定的预设比例进行线性混合，获得混合后的one-hot标签；
19.根据所述混合后的样本图像和所述混合后的one-hot标签对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
20.可选地，所述bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型，还包括：
21.通过对所述样本图像对应的one-hot标签进行标签平滑处理；
22.根据处理后的所述样本图像对应的one-hot标签对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
23.可选地，所述bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型，还包括：
24.通过对所述样本图像进行随机变换处理；
25.通过处理后的所述样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
26.可选地，所述bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型，还包括：
27.根据余弦学习衰减调整所述初始yolo模型的学习率，以使所述初始yolo模型按照调整后的学习率根据所述样本图像进行训练，获得所述数据增强训练后的yolo模型。
28.可选地，所述bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型，还包括：
29.根据所述预设yolo模型的类型确定所述预设yolo模型对应的步长；
30.将批处理中所述样本图像的宽和高设定为所述预设yolo模型对应步长的任意整数倍数；
31.根据确定宽和高后的所述样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
32.可选地，所述基于目标检测的避障方法应用于基于目标检测的避障设备，所述基于目标检测的避障设备包括：单目相机和双目深度相机；所述获取预设区域的色彩图像和深度图像，包括：
33.通过所述单目相机获取预设区域的色彩图像，并通过双目深度相机获取预设区域的深度图像。
34.可选地，所述通过所述单目相机获取预设区域的色彩图像，并通过双目深度相机获取预设区域的深度图像的步骤之前，包括：
35.通过所述单目相机和所述双目深度相机分别获取色彩图像和深度图像；
36.基于棋盘格匹配算法将所述色彩图像与深度图像进行匹配；
37.根据匹配结果对所述单目相机和所述双目深度相机进行校准。
38.此外，为实现上述目的，本发明还提出一种基于目标检测的避障装置，所述装置包括：图像获取模块、图像识别模块、点云信息获取模块、融合模块、基于目标检测的避障模块和避障模块；
39.所述图像获取模块，用于获取预设区域的色彩图像和深度图像；
40.所述图像识别模块，用于基于所述色彩图像通过预设识别模型进行物体识别，获得类别信息，所述预设识别模型为数据增强训练后的yolo模型；
41.所述点云信息获取模块，用于对所述深度图像进行预处理，获得点云信息；
42.所述融合模块，用于将所述类别信息与所述目标框点云信息进行融合，获得目标框的车体位置信息；
43.所述基于目标检测的避障模块，用于基于所述目标框的车体位置信息进行障碍物检测，获得障碍物信息；
44.所述避障模块，用于根据所述障碍物信息进行对应的避障处理。
45.本发明主要涉及目标检测技术领域，主要涉及一种基于目标检测的避障方法及基于目标检测的避障装置，所述方法包括：获取预设区域的色彩图像和深度图像；基于所述色彩图像通过预设识别模型进行物体识别，获得类别信息，所述预设识别模型为数据增强训练后的yolo模型；对所述深度图像进行预处理，获得点云信息；将所述类别信息与所述点云信息进行融合，获得融合信息；基于所述融合信息进行基于目标检测的避障，获得障碍物信息。本发明通过获取预设区域的色彩图像和深度图像，将所述色彩图像输入数据增强训练后的yolo模型中获取类别信息，通过对深度图像进行预处理获得点云信息，根据类别信息和点云信息融合得到的融合信息进行障碍物的判断，从而获得所述预设区域中障碍物的类别和空间位置。
附图说明
46.图1是本发明实施例方案涉及的硬件运行环境的基于目标检测的避障设备的结构示意图；
47.图2为本发明基于目标检测的避障方法第一实施例的流程示意图；
48.图3为本发明基于目标检测的避障方法第一实施例的训练步长调整示意图；
49.图4为本发明基于目标检测的避障方法第三实施例流程示意图；
50.图5为本发明基于目标检测的避障装置第一实施例的结构框图。
51.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
52.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
53.参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于目标检测的避障设备结构示意图。
54.如图1所示，该基于目标检测的避障设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005(gpu或npu)。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
of-freebies进行训练后获得的模型。
71.步骤s30：对所述深度图像进行预处理，获得点云信息；
72.需要理解的是，所述预处理包括降采样和滤波处理，通过降采样和滤波处理，对采集到的上述深度图像中的各点进行处理，从而获得上述点云信息，所述点云信息包括：所述预设区域中各目标外观表面的点数据集合，所述点数据集合包括各点在的三维信息，上述三维信息可以用于识别上述目标距离检测位置距离；
73.步骤s40：将所述类别信息与所述点云信息进行融合，获得融合信息；
74.应当理解的是，将上述点云信息和类别信息进行融合，也即将预设区域中通过目标识别获取到的目标的形状类别与上述点云信息进行一一匹配，获得的融合信息中包括所述预设区域内各个目标的类别信息和位置信息，从而确定上述预设区域内的各个目标的形状及位置。
75.步骤s50：基于所述融合信息进行基于目标检测的避障，获得障碍物信息；
76.需要理解的是，上述障碍物信息为上述基于目标检测的避障设备根据上述融合信息中包含的类别信息和位置信息判断所述预设区域中的各目标是否为影响行进路线规划的目标信息；
77.应当理解的是，在预设区域中包含若干个被检测到的目标，上述基于目标检测的避障设备对根据上述融合信息对上述预设区域中的若干个被检测目标进行判断，确定上述目标是否有能力影响智能叉车的行驶。
78.步骤s60：根据所述障碍物信息进行对应的避障处理。
79.需要理解的是，上述避障处理包括调整上述智能叉车的避障策略，例如调整减速距离和停车距离。
80.应当理解的是，上述被检测出的障碍物存在多种情况，包括障碍物是否被完整检测和障碍物是否可被忽略，对应的智能叉车的避障处理也包括多种处理方式。
81.在具体实现中，在进行根据上述预设区域中的障碍物的融合信息规划最优的行进路线时，首先，在实际操作过程中，在进行基于目标检测的避障时，由于一次不一定能完整采集的预设区域内的目标的类别信息和位置信息，上述预设区域内的各目标可能由于遮挡或取景选择而无法完整出现在上述预设区域中，此时，需要对与上述预设区域边界连接的目标进行标记，并根据上述目标与上述预设区域的边界类型进行对应的图像扩展获取从而获得完整的目标的色彩图像和深度图像，具体的来说，某个目标有部分在上述预设区域之外，则选取与该目标连接的预设区域的边，向该边的外部进行图像的获取，直至整个目标被采集。
82.其次，需要根据上述障碍物的类别信息判断该障碍物是否可以被忽略，上述基于目标检测的避障设备将其进行标记，也即判断该障碍物是否能直接影响行进，当上述基于目标检测的避障设备识别到预设区域中存在某种不可移动、不可摧毁的目标时，将上述目标视为障碍物，获取上述障碍物信息。例如，数根钢骨或实心铁球等不可忽视又难以凭自身力量进行移动的目标时，将上述目标标记为障碍物，在进行路径规划时避开上述不能被忽略的障碍物。而当判断预设区域内存在的某个障碍物不影响上述智能叉车的行驶时，将其标记为非障碍物或低危险障碍物，也即检测到的预设区域内目标的融合信息显示该目标可以被移动或可以被改变，例如当检测到上述目标为塑料泡沫或是膨胀起来的空垃圾袋时，
上述基于目标检测的避障设备则将其判断为非障碍物，在进行路径规划时忽略上述目标或减小上述目标在路径规划时的权重。
83.最后，在路径规划时，上述预设区域内的各障碍物无法绕开时，也即根据上述障碍物的位置信息无法规划出合理路径避免上述障碍物时，则需要进行预设区域的再次选取，例如，以当前色彩图像和深度图像采集点为中心，顺时针旋转采集装置30度再次获取预设区域，并根据上述再次获取的预设区域进行上述基于目标检测的避障，从而获得一条合理的路径规划。
84.本实施例主要涉及目标检测技术领域，主要涉及一种基于目标检测的避障方法，所述方法包括：步骤s10：获取预设区域的色彩图像和深度图像；步骤s20：基于所述色彩图像通过预设识别模型进行物体识别，获得类别信息，所述预设识别模型为数据增强训练后的yolo模型；步骤s30：对所述深度图像进行预处理，获得点云信息；步骤s40：将所述类别信息与所述点云信息进行融合，获得融合信息；步骤s50：基于所述融合信息进行基于目标检测的避障，获得障碍物信息。本发明通过获取预设区域的色彩图像和深度图像，将所述色彩图像输入数据增强训练后的yolo模型中获取类别信息，通过对深度图像进行预处理获得点云信息，根据类别信息和点云信息融合得到的融合信息进行障碍物的判断，从而获得所述预设区域中障碍物的类别和空间位置。
85.基于上述第一实施例，在本实施例中，所述步骤s20之前，所述方法还包括：
86.步骤s21：构建初始yolo模型；
87.需要理解的是，上述初始yolo模型可以是yolov4-tiny模型。
88.步骤s22：通过bag-of-freebies目标检测训练方法和样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
89.进一步地，所述步骤s22可具体包括以下步骤：
90.步骤s2211：通过mixup对所述样本图像根据由beta分布确定的预设比例进行线性混合，获得混合后的样本图像；
91.需要理解的是，所述mixup，即以某个比例将一张图像与另外一张图像进行线性混合，同时，以相同的比例来混合这两张图像的one-hot标签。
92.需要理解的是，所述beta分布中存在α和β两个参数，这两个参数的取值直接影响上述mixup对上述yolo模型训练的效果，例如，上述beta分布的α值在0.2至2之间时，对mixup的影响较小，但α值如果过小，那上述mixup处理对yolo模型训练的影响也会不足，而α值如果过大，则无法体现输入的图像样本的多样性，从而造成模型的学习进度缓慢，所以在实际操作中，上述α的值取1.5，对应的β值也取1.5。
93.步骤s2212：通过mixup对所述样本图像对应的one-hot标签根据所述由beta分布确定的预设比例进行线性混合，获得混合后的one-hot标签；
94.应当理解的是，上述one-hot标签根据所述由beta分布确定的预设比例进行线性混合的，所述beta分布的α与β的取值与上述步骤s2211中的beta分布的取值相同，在本发明中，上述α与β的取值均为1.5。
95.步骤s2213：根据所述混合后的样本图像和所述混合后的one-hot标签对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
96.步骤s2221：通过对所述样本图像对应的one-hot标签进行标签平滑处理；应当理
解的是，上述标签平滑处理公式为：
[0097][0098]
其中，qi为样本的one-hot标签，k为类别数量，ε为平滑因子，ε以0.09为例，经过标签平滑后，“7”的one-hot标签变为：
[0099]
[0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.91 0.01 0.01]，可见通过使用标签平滑，可以防止被训练的模型在训练期间过于自信，从而提高模型的泛化能力，降低过拟合风险。
[0100]
步骤s2222：根据处理后的所述样本图像对应的one-hot标签对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
[0101]
步骤s2231：通过对所述样本图像进行随机变换处理；
[0102]
需要理解的是，上述随机变换处理包括对采集的图像进行形状上的随机变换，例如将样本图像进行随机翻转、随机旋转和随机剪裁处理，上述随机变换处理还包括对上述样本图像进行亮度、色度、对比度和饱和度的随机调整，并在上述样本图像中随机添加噪点。
[0103]
步骤s2232：通过处理后的所述样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
[0104]
步骤s2241：根据余弦学习衰减调整所述初始yolo模型的学习率，以使所述初始yolo模型按照调整后的学习率根据所述样本图像进行训练，获得所述数据增强训练后的yolo模型。
[0105]
参考图3，图3为本发明实施例的训练步长调整示意图，需要理解的是，上述根据余弦学习衰减调整所述初始yolo模型的学习率具体可以是在模型进行训练的初期，缓慢地降低大学习率，然后中途迅速降低学习率，最后缓慢地降低小学习率直至上述学习率等于0。
[0106]
步骤s2251：根据所述预设yolo模型的类型确定所述预设yolo模型对应的步长；
[0107]
应当理解的是，本发明以yolov4-tiny模型为例，上述yolov4-tiny模型对应的步长为32。
[0108]
步骤s2252：将批处理中所述样本图像的宽和高设定为所述预设yolo模型对应步长的任意整数倍数；
[0109]
应当理解的是，本发明yolov4-tiny模型对应的步长为32，则可以将批处理中样本图像的高和宽均设定为下列数组中的同一数值：
[0110]
{320，352，384，416，448，480，512，544，576，608
[0111]
上述数组均为上述本发明yolov4-tiny模型对应的步长为32的倍数。
[0112]
步骤s2253：根据确定宽和高后的所述样本图像对所述初始yolo模型进行训练，获得所述数据增强训练后的yolo模型。
[0113]
本实施例通过bag-of-freebies对上述初始模型进行训练，实现对yolov4-tiny模型的多方面优化，进一步增强了上述yolov4-tiny模型的精度和准确率，通过提高精度后的yolov4-tiny模型对色彩图像进行检测，进一步提高上述基于目标检测的避障方法的准确度。
[0114]
参考图4，图4为本发明基于目标检测的避障方法的第三实施例流程示意图，基于
上述实施例，为获得更稳定的基于目标检测的避障结果，提出本发明基于目标检测的避障方法第三实施例，所述步骤s11之前，还包括：
[0115]
步骤s01：通过所述单目相机和所述双目深度相机分别获取色彩图像和深度图像；
[0116]
步骤s02：基于棋盘格匹配算法将所述色彩图像与深度图像进行匹配；
[0117]
需要理解的是，上述棋盘格匹配算法是一种将上述色彩图像和上述深度图像均按照一定比例切分为若干图像块，通过将被切分后的图像色彩图像和被切分后的深度图像上的图像块进行一一匹配对应；
[0118]
步骤s03：根据匹配结果对所述单目相机和所述双目深度相机进行校准。
[0119]
需要理解的是，通过上述棋盘格匹配算法将所述色彩图像与深度图像进行匹配后，根据匹配的结果对所述单目相机和所述双目深度相机进行校准。
[0120]
在具体实现中，上述用于单目相机和双目深度相机进行校准的所述色彩图像和深度图像预先设置在上述基于目标检测的避障设备中，每当上述单目相机和双目深度相机进行图像采集之前，需要根据上述色彩图像与深度图像对上述单目相机和双目深度相机进行校准。
[0121]
本实施例在单目相机和双目深度相机进行图像采集之前，通过用色彩图像和深度图像进行棋盘格匹配算法进行匹配后，根据匹配结果对上述单目相机和双目深度相机进行校准，从而获得更加稳定基于目标检测的避障结果。
[0122]
参考图5，图5为本发明基于目标检测的避障装置的第一实施例的结构示意图。
[0123]
如图5所示，本发明实施例提出的基于目标检测的避障装置包括：
[0124]
图像获取模块501、图像识别模块502、点云信息获取模块503、融合模块504和基于目标检测的避障模块505；
[0125]
所述图像获取模块501，用于获取预设区域的色彩图像和深度图像；
[0126]
所述图像识别模块502，用于基于所述色彩图像通过预设识别模型进行物体识别，获得类别信息，所述预设识别模型为数据增强训练后的yolo模型；
[0127]
所述点云信息获取模块503，用于对所述深度图像进行预处理，获得点云信息；
[0128]
所述融合模块504，用于将所述类别信息与所述点云信息进行融合，获得融合信息；
[0129]
所述基于目标检测的避障模块505，用于基于所述融合信息进行基于目标检测的避障，获得障碍物信息；
[0130]
所述避障模块506，用于根据所述障碍物信息进行对应的避障处理。
[0131]
本发明基于目标检测的避障装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0132]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0133]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0134]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0135]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。