基于三维激光的集卡防砸检测方法、装置和计算机设备与流程

1.本技术涉及激光雷达技术领域，特别是涉及一种基于三维激光的集卡防砸检测方法、装置和计算机设备。


背景技术：

2.集卡装箱作业是指利用集装箱起重机的吊具夹住处于集装箱垛的集装箱，将其吊起，并控制其下落装裁至集卡的托架上。
3.在集装箱门式起重机进行集卡装箱作业时，由于集卡未停放到位，下落集装箱将会与集卡车头或托架上其他集装箱发生碰砸。为解决这一问题，集卡装箱作用引入了二维激光扫描仪进行检测，二维激光扫描仪沿平行于集卡车道中心线对集装箱及集卡进行扫描测距，实时计算集卡偏离场桥起吊点的距离值，通过led屏幕告知司机调整集卡位置，从而达到防砸的目的。
4.由于使用的是二维激光雷达，使得该方法只能对集卡在前后两个方向纠偏调整，且纠正的方向受激光雷达的安装位置的影响，从而导致防砸检测精度低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高检测精度的基于三维激光的集卡防砸检测方法、装置和计算机设备。
6.一种基于三维激光的集卡防砸检测方法，所述方法包括：
7.获取集卡装箱作业中集装箱起重机的吊具当前所夹住的集装箱的尺寸参数；
8.获取在所述吊具夹住所述集装箱下落时激光雷达采集的集装箱作业的三维点云；
9.获取所述激光雷达的姿态参数；
10.根据所述姿态参数，对所述三维点云进行转换，得到集装箱作业的全面点云；
11.获取吊具与所述激光雷达的相对平移量；
12.根据所述相对平移量以及所述集装箱的尺寸参数，在所述全面点云中确定集装箱下落区域范围；
13.当在所述集装箱下落区域范围内检测到障碍物时，发出防砸警报。
14.一种基于三维激光的集卡防砸检测装置，所述装置包括：
15.集装箱获取模块，用于获取集卡装箱作业中集装箱起重机的吊具当前所夹住的集装箱的尺寸参数；
16.点云获取模块，获取在所述吊具夹住所述集装箱下落时激光雷达采集的集装箱作业的三维点云；
17.姿态参数获取模块，用于获取所述激光雷达的姿态参数；
18.转换模块，用于根据所述姿态参数，对所述三维点云进行转换，得到集装箱作业的全面点云；
19.位置获取模块，用于获取吊具与所述基准激光雷达的相对平移量；
20.下落区域确定模块，用于根据所述相对平移量以及所述集装箱的尺寸参数，在所述全面点云中确定集装箱下落区域范围；
21.检测模块，用于当在所述集装箱下落区域范围内检测到障碍物时，发出防砸警报。
22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各实施例的方法的步骤。
23.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下上述各实施的方法的步骤。
24.上述基于三维激光的集卡防砸检测方法、装置、计算机设备和存储介质，利用激光雷达采集吊具夹住集装箱下落时集装箱作业的三维数据，数据精度高，在高精度三维点云数据的基础上，根据姿态参数对三维点云进行转换得到全面点云，从而监控范围不受激光雷达安装位置的影响，进而根据夹具所夹住的集装箱尺寸参数，吊具与基准激光雷达的平移量，在全面点云中确定集装箱下落区域范围，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。该方法的数据源精度高，且检测方法不受激光雷达安装位置的影响，极大地提高了防砸检测的精度。
附图说明
25.图1为一个实施例中基于三维激光的集卡防砸检测方法的应用环境图；
26.图2为一个实施例中集装箱装箱作业中集装箱下落区域无障碍物的场景示意图；
27.图3为一个实施例中集装箱装箱作业中集装箱下落区域有障碍物的场景示意图；
28.图4为一个实施例中基于三维激光的集卡防砸检测方法的流程示意图；
29.图5为一个实施例中吊具与基准激光雷达的相对位置关系示意图；
30.图6为另一个实施例中吊具与基准激光雷达的相对位置关系示意图；
31.图7为一个实施例中吊具吊起集装箱时吊具与基准激光雷达的相对位置关系示意图；
32.图8为一个实施例中集装箱下落区域的示意图；
33.图9为另一个实施例中基于三维激光的集卡防砸检测方法的应用环境图；
34.图10为另一个实施例中基于三维激光的集卡防砸检测方法的流程示意图；
35.图11为一个实施例中检测系统坐标系的设定示意图；
36.图12为一个实施例中获取基准激光雷达的第一姿态角步骤的流程示意图；
37.图13为一个实施例中当在集装箱下落区域范围内检测到障碍物时，发出防砸警报的步骤的流程示意图；
38.图14为一个实施例中集卡侧视图及其预警区域、高度阈值的关系示意图；
39.图15为另一个实施例中当在集装箱下落区域范围内检测到障碍物时，发出防砸警报的步骤的流程示意图；
40.图16为一个实施例中将全面点云投影为二维图像的步骤的流程示意图；
41.图17为一个实施例中集装箱下方无障碍物的二维图像示意图；
42.图18为一个实施例中集装箱下方有障碍物的二维图像示意图；
43.图19为一个实施例中对二维图像中的集装箱下落区域的位置范围的像素点进行图像检测，若检测到障碍物，发出防砸警报的步骤的流程示意图；
44.图20为一个实施例中基于三维激光的集卡防砸检测装置的结构框图；
45.图21为一个实施例中计算机设备的内部结构图。
具体实施方式
46.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
47.本技术提供的基于三维激光的集卡防砸检测方法，可以应用于如图1所示的应用环境中。其中，激光雷达101安装在集装箱起重机102的吊具103的下方的同一侧呈一定夹角，采集吊具夹住集装箱下落时集装箱作业的三维点云。激光雷达的安装位置根据集卡高度设置。主控设备105与激光雷达101通信连接。主控设备还与集装箱起重机102的控制设备106连接。主控设备105以及控制设备106均可设置在集装箱起重机的控制机房内。
48.在集卡进行装箱作业时，控制设备106控制集装箱起重机102的吊具103夹住处于集装箱堆垛中的集装箱107时，向主控设备105发送当前所夹住的集装箱的尺寸参数。当吊具作业吊起该集装箱时准备装载至集卡108时，控制设备106向主控设备105发送吊具开始下落的信号。主控设备105根据该信号向激光雷达101发送采集信号，激光雷达101采集集装箱作业的三维点云。
49.如图2所示，集装箱下落时，集装箱正下方的集装箱下落区域，无障碍物的物体，判定不会发生碰砸。如图3所示，集装箱下落，集装箱正下方的集装箱下落区域，激光雷达检测到有一定高度的障碍物(如集卡车头，集卡托架上的其它集装箱等)，输出防砸警报信号给集装箱起重机的控制设备。
50.如图4所示，提供一种基于三维激光的集卡防砸检测方法，以该方法应用于图1中的主控设备为例进行说明，包括以下步骤：
51.s202，获取集卡装箱作业中集装箱起重机的吊具当前所夹住的集装箱的尺寸参数。
52.集卡装箱作业是指利用集装箱起重机的吊具夹住处于集装箱垛的集装箱，将其吊起，并控制其下落装裁至集卡的托架上。当吊具作业夹住处于集装箱堆垛中的集装箱时，集装箱起重机的控制设备发送此时吊具夹住的集装箱尺寸参数给主控设备。其中，集装箱的尺寸参数包括集装箱的长、宽和高。
53.s204，获取在吊具夹住集装箱下落时激光雷达采集的集装箱作业的三维点云。
54.具体地，激达雷达采集集装箱作业现场的三维激光点云。当吊具作业吊起该集装箱时准备装载至集卡时，控制设备向主控设备发送吊具开始下落的信号。主控设备根据该信号向激光雷达发送采集信号，激光雷达采集集装箱作业的三维点云。
55.s206，获取激光雷达的姿态参数。
56.其中，姿态参数包括姿态角，是指激光雷达相对参照物的安装角度，包括但不限于翻滚角、俯仰角和偏航角。激光雷达的姿态角可根据集装箱作业的三维点云确定。在实际应用中，由于集卡防砸检测装置安装完成后，激光雷达的位置基本固定，激光雷达的姿态角，只需要计算一次，后续可以使用第一次的姿态角，进行点云校准，也可以实时性地对每一次检测都进行校准，这样校准的点云会更加精确。
57.一个实施例中，姿态角包括翻滚角、俯仰角和偏航角。具体地，获取激光雷达的姿态角的步骤包括：获取在标定状态激光雷达采集的集装箱作业的三维标定点云；根据激光雷达的安装高度，从三维标定点云中确定地面点云；计算地面点云的平面法向量；根据地面点云的平面法向量，计算激光雷达的翻滚角和俯仰角；根据激光雷达的安装高度、集卡托架高度、集装箱高度以及与激光雷达的距离，从集装箱作业三维点云中确定集装箱侧面点云；计算集装箱侧面点云的平面法向量；根据集装箱侧面点云的平面法向量，计算激光雷达的偏航角。
58.s208，根据姿态参数，对三维点云进行转换，得到集装箱作业的全面点云。
59.姿态角包括了翻滚角、俯仰角和偏航角，其中，翻滚角和俯仰角根据三维点云中的地面点云的平面法向量得到，偏航角根据三维点云中的集装箱侧面点云的平面法向量得到。具体地，根据姿态参数，对三维点云进行转换，转换至激光雷达坐标系。具体地，转换后，三维点云中的地面点云与激光雷达坐标系的底平面平行，转换后的集装箱侧面点云与激光雷达坐标系的侧平面平行。通过转换后，得到的点云数据不受激光雷达安装角度、安装位置以及集卡停放位置的影响，能够得到正面平视角度的地面点云。
60.s210，获取吊具与激光雷达的相对平移量。
61.具体地，吊具与基准激光雷达的相对平移量，反应了吊具与基准激光雷达的相对位置关系。本实施例中，手动测量吊具在缩紧状态，即位于最高位置时吊具最右下角到基准激光雷达的相对平移量t
d
＝(t
dx t
dy 0)。吊具与基准激光雷达的相对位置关系如图5所示，左侧为三维图，右侧为俯视图，此时吊具处于紧缩状态。如图6所示，d
x
为吊具紧缩时的长，d
y
为吊具的宽。
62.s212，根据相对平移量以及集装箱的尺寸参数，在全面点云中确定集装箱下落区域范围。
63.在实用应用中，集装箱以下的区域，都可以作为集装箱下落区域范围。
64.具体地，如图7所示，集装箱参数为长为x，宽为y，当吊具抓起长为x的集装箱时，吊具处于伸长状态，伸长部分长度为：
[0065][0066]
令吊具在伸长状态与地面的距离(表示吊具可继续伸长的长度)为δx，对上式变换，则可得到：
[0067][0068][0069]
则集装箱下落区域范围为：
[0070]
a＝{x,y+t
dy
,z}
[0071]
其中，
[0072]
集装箱下落区域作为预警区域，如图8所示，为整个图为rtg的俯视图，原点0为基准激光雷达，点(t
dx
,t
dy
)为上一步骤中测量得到的吊具最右下角在检测坐标系中的坐标值，x为集装箱长度参数，y
宽
表示的是大于集卡作业车道宽度的一个值，参考值为5。z表示集装箱下落区域范围a的高度，广义上来说，集装箱底面以下的区域，都可算进预警区域。但由于激光雷达安装位置限制，当集装箱位于高位(如>6米)时，可能无法检测得到集装箱的实际高度，所以可以人为设置z的取值范围，参考值可设为6米。
[0073]
s214，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。
[0074]
如前面所提及的，集装箱下落区域范围，是吊具夹住箱装箱下落时集装箱以下的区域。因此，可将在箱装箱下落区域进行障碍物检测，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。其中，障碍物是指集装箱下落区域范围内非集卡托架的一切物体。
[0075]
上述基于三维激光的集卡防砸检测方法，数据源精度高，且检测方法不受激光雷达安装位置的影响，极大地提高了防砸检测的精度。
[0076]
在实际应用中，对于超长的集卡车，如双20ft集装箱，受激光雷达扫描范围的影响，可能存在盲区，而导致防砸检测不准确。为避免盲区，提高检测准确度，激光雷达包括安装在集装箱起重机吊具下方的同一侧呈一定夹角设置的基准激光雷达和至少一个对准激光雷达。基准激光雷达采集扫描方向的第一三维点云，各对准激光雷达采集扫描方向的第二三维点云。本实施例中的第一和第二用于区分不同类型激光采集的点云。可以理解的是，当设置有多个对准激光雷达时，利用各对准激光雷达的姿态角和位置平移量，将各自采集的第二三维点云转换至检测系统坐标系。
[0077]
本实施例以采用两个激光雷达进行扫描为例进行说明。如图9所示，基准激光雷达101安装在集装箱起重机102的吊具103的下方的同一侧呈一定夹角，采集吊具夹住集装箱下落时集装箱作业的第一三维点云。激光雷达的安装位置根据集卡高度设置。激光雷达101的同侧呈一定角度安装有对准基光雷达104，对准激光雷达104采集集装箱作业的第二三维点云。其中，由于基准激光雷达和对准激光雷达位于吊具下方的同一侧呈一定夹角，因此，利用两个激光雷达采集的第一三维点云和第二三维点云综合为全面的集装箱作业三维点云，无死角扫描集装箱作业场景三维数据。主控设备105分别与基准激光雷达101、对准基光雷达104通信连接。主控设备还与集装箱起重机102的控制设备106连接。主控设备105以及控制设备106均可设置在集装箱起重机的控制机房内。
[0078]
在集卡进行装箱作业时，控制设备106控制集装箱起重机102的吊具103夹住处于集装箱堆垛中的集装箱107时，向主控设备105发送当前所夹住的集装箱的尺寸参数。当吊具作业吊起该集装箱时准备装载至集卡108时，控制设备106向主控设备105发送吊具开始下落的信号。主控设备105根据该信号向基准激光雷达101和对准基光雷达104发送采集信号，基准激光雷达101采集第一三维点云，对准激光雷达104采集第二三维点云。
[0079]
即，本实施例中，激光雷达包括安装在集装箱起重机吊具下方的同一侧呈一定夹角设置的基准激光雷达和对准激光雷达；姿态参数包括基准激光雷达的第一姿态角，对准
激光雷达的第二姿态角和对准激光雷达相对于基准激光雷达的位置平移量。
[0080]
获取在吊具夹住集装箱下落时激光雷达采集的集装箱作业的三维点云，包括：获取在吊具夹住集装箱下落时基准激光雷达采集的集装箱作业的第一三维点云，以及对准激光雷达采集的集装箱作业的第二三维点云。
[0081]
根据姿态参数，对三维点云进行转换，得到集装箱作业的全面点云，包括：根据第一姿态角将第一三维点云转换至检测系统坐标系；根据第二姿态角和位置平移量将第二三维点云转换至检测系统坐标系；融合转换后的第一三维点云和转换后的第二三维点云，得到集装箱作业的全面点云。
[0082]
其中，相对平移量为吊具与基准激光雷达的相对平移量。
[0083]
具体地，主控设备获取集卡装箱作业中集装箱起重机的吊具当前所夹住的集装箱的尺寸参数；获取在吊具夹住集装箱下落时基准激光雷达采集的第一三维点云，以及对准激光雷达采集的第二三维点云；其中，基准激光雷达和对准激光雷达安装在集装箱起重机吊具下方的同一侧呈一定夹角设置；获取基准激光雷达的第一姿态角，以及获取对准激光雷达的第二姿态角和位置平移量；根据第一姿态角将第一三维点云转换至检测系统坐标系；根据第二姿态角和位置平移量将第二三维点云转换至检测系统坐标系；融合转换后的第一三维点云和转换后的第二三维点云，得到集装箱作业的全面点云；获取吊具与基准激光雷达的相对平移量；根据相对平移量以及集装箱的尺寸参数，在全面点云中确定集装箱下落区域范围；当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。
[0084]
具体地，如图10所示，一种基于三维激光的集卡防砸检测方法，包括以下步骤：
[0085]
s402，获取集卡装箱作业中集装箱起重机的吊具当前所夹住的集装箱的尺寸参数。
[0086]
s404，获取在吊具夹住集装箱下落时基准激光雷达采集的第一三维点云，以及对准激光雷达采集的第二三维点云；其中，基准激光雷达和对准激光雷达安装在集装箱起重机吊具下方的同一侧呈一定夹角设置。
[0087]
集卡防砸检测用到了两个激光雷达，均安装在集装箱起重机吊具下方的同一侧呈一定夹角设置，任选其中一个为基准激光雷达，则另一个为对准激光雷达。例如，两个激光雷达安装在同一侧，一个在前，与x轴成一定角度向后扫描；一个在后，与x轴成一定角度向前扫描。从而，对准激光雷达和基准激光雷达能够从两个角度全面获取集卡装箱作业的三维点云。
[0088]
其中，如图11以基准激光雷达为原点，建立整个检测系统的坐标系，原点o代表了基准激光雷达的位置，x轴平行于集装箱起重机车臂，y轴方向垂直于集装箱起重机车臂，z轴方向为高度方向。图中正方体代表了集装箱和集卡位置。
[0089]
当集装箱起重机的吊具作业吊起集装箱时，集装箱起重机的控制设备发送吊具开始下落的信号给主控设备，主控设备向基准激光雷达和对准激光雷达发信采集信号，基准激光雷达和对准激光雷达均根据采集信号，以设定频率采集三维点云，并将采集的三维点云反馈给主控设备，由主控设备对在吊具下落过程中持续进行分析判断。具体地，基准激光雷达根据采集信号采集当前时刻在吊具夹住集装箱下落时的第一三维点云，对准激光雷达采集当前时刻在吊具夹住集装箱下落时的第二三维点云。
[0090]
s406，获取基准激光雷达的第一姿态角，以及获取对准激光雷达的第二姿态角和
位置平移量。
[0091]
其中，基准激光雷达的第一姿态角，是指基准激光雷达相对参照物的安装角度，包括但不限于翻滚角、俯仰角和偏航角。基准激光雷达的姿态角可根据集卡装箱作业的三维点云确定。
[0092]
在实际应用中，由于激光雷达安装的位置基本固定，基准激光雷达的姿态角，只需要计算一次并存储，后续可以读取已存储的第一次的姿态角，进行点云校准，也可以实时性地对每一次检测都进行校准，这样校准的点云会更加精确。
[0093]
其中，对准激光雷达的第二姿态角和位置平移量，是指对准激光雷达相对于检测系统坐标系的安装角度及距离，第二姿态角包括但不限于翻滚角、俯仰角和偏航角。对准激光雷达的第二姿态角和位置平移量可根据两个雷达对同一个标定物体进行标定得到。
[0094]
在一个实施例中，如图12所，获取基准激光雷达的第一姿态角，包括以下步骤：
[0095]
s602，获取在标定状态吊具夹住集装箱下落时基准激光雷达采集的第一方向标定三维点云。
[0096]
其中，可以将首次采用本技术方法进行防砸检测的集卡装箱作业作为标定状态，此时，第一方向标定三维点云为首次采用本技术方法进行防砸检测时，基准激光雷达采集的吊具夹住集装箱下落时的第一三维点云。为确保姿态角数据的准确性，还可以定时进行标定，如将每周首次采用本技术方法进行防砸检测的集卡装箱作业作为标定状态，此时，第一方向标定三维点云为每周首次采用本技术方法进行防砸检测时，基准激光雷达采集的吊具夹住集装箱下落时的第一三维点云。
[0097]
s604，根据基准激光雷达的安装高度，从第一方向标定三维点云中确定地面点云。
[0098]
地面点云，是指通过基准激光雷达安装位置确定的位于地面的点云。已知基准激光雷达的高度为a，取第一方向标定三维点云中z坐标值小于-a的点云，作为地面点云。
[0099]
s606，计算地面点云的平面法向量。
[0100]
法向量，是空间解析几何的一个概念，垂直于平面的直线所表示的向量为该平面的法向量。
[0101]
计算法向量的方法，首先计算地面点云的协方差矩阵，然后对协方差矩阵进行奇异值分解，奇异值分解得到的奇异向量描述了点云数据的三个主要方向，垂直于平面的法向量代表了方差最小的方向，方差最小代表了奇异值最小，所以最后选取奇异值最小的向量作为平面的法向量。
[0102][0103]
其中，c为协方差矩阵，s
i
为点云中的点，代表了点云的均值。
[0104]
s608，根据地面点云的平面法向量，计算基准激光雷达的翻滚角和俯仰角。
[0105]
其中，俯仰角为基准激光雷达坐标系x轴与水平面的夹角，翻滚角为激光雷达坐标y轴与激光雷达铅垂面的夹角。
[0106]
具体地，计算翻滚角和俯仰角的公式为：
[0107]
t1＝(a1,b1,c1)
[0108][0109]
其中，t1为地面的法向量，α为翻滚角，β为俯仰角。
[0110]
s610，根据激光雷达的安装高度、集卡托架高度、集装箱高度以及与激光雷达的距离，从第一方向标定三维点云中确定集装箱侧面点云。
[0111]
集装箱侧面点云是指采集的集装箱作业现场的第一方向标定三维点云中表示集装箱侧面部分的点云。具体可根据点云高度，以及点云与激光雷达的距离确定。
[0112]
具体地，集装箱侧面点云，已知激光雷达的高度为a，集卡托架高度为b，集装箱高度为c，取的z坐标范围为[-a+b,-a+b+c]的点云，作为一次过滤后的点云。由于集装箱侧面靠近激光雷达，设置距离阈值t，在一次过滤后的点云基础上，取与激光雷达的距离小于t的点云作为集装箱侧面点云。
[0113]
s612，计算集装箱侧面点云的平面法向量。
[0114]
集装箱侧面点云的平面法向量的计算方法与步骤s606相同，此处不再赘述。
[0115]
s614，根据集装箱侧面点云的平面法向量，计算基准激光雷达的偏航角，第一姿态角包括翻滚角、俯仰角和偏航角。
[0116]
其中，偏航角为激光雷达坐标系z轴与集装箱侧面的夹角。
[0117]
具体地，计算偏航角的计算公式为：
[0118]
t2＝(a2,b2,c2)
[0119][0120]
其中，t2为集装箱侧面点云的平面法向量，γ为偏航角。
[0121]
本实施例中，通过平面法向量的方法，计算激光雷达的翻滚角、俯仰角和偏航角。
[0122]
在另一个实施例中，获取对准激光雷达的第二姿态角和对准激光雷达相对于基准激光雷达的位置平移量，包括：获取对同一标定物，基准激光雷达采集的标定物第一三维点云，以及对准激光雷达采集的标定物第二三维点云；将标定物第一三维点云转换至检测系统坐标系；对标定物第二三维点云和转换后的标定物第一三维点云进行点云匹配，确定对准激光雷达第二姿态角以及对准激光雷达相对于基准激光雷达的平移量。
[0123]
其中，将标定物第一三维点云转换到检测系统坐标系，利用已标定的第一姿态角进行转换。具体地，通过根据转换后的基准激光雷达对对准激光雷达之间的姿态角与位置平移量进行标定，目的是将两个激光雷达标定，使其点云能转换到同一坐标系，减少检测系统的检测盲区。
[0124]
通过在基准激光雷达与对准激光雷达的共视区域摆放具有特定形态的标定物，将基准激光雷达采集的标定物第一三维点云转换到检测系统坐标系，然后对转换后的标定物第一三维点云和对准激光雷达采集的标定物第二三维点云，利用点云匹配计算激光雷达间姿态，根据相同物体在不同坐标系下的点云数据差异，确定对准基光雷达的第二姿态角和对准激光雷达相对于基准激光雷达的平移量。其中，点云匹配的方法可使用的是常用的icp(iterative closest point)、ndt(正态分布变换)等。
[0125]
在步骤s406之后，还包括：s408，根据第一姿态角将第一三维点云转换至检测系统
坐标系。
[0126]
如前面的，以基准激光雷达为原点，建立检测系统坐标系。通过根据第一姿态角将第一三维点云转换至与检测系统坐标系的平面平行。
[0127]
具体地，根据基准激光雷达的翻滚角和俯仰角，对第一三维点云进行转换，转换后的第一三维点云的地面点云与检测系统坐标系的xoy平面平行，根据基准激光雷达的偏航角，对转换后的第一三维点云进行转换，转换后的第一三维点云的集装箱侧面点云与检测系统坐标系的xoz平行。
[0128]
具体地，根据基准激光雷达的俯仰角，将第一三维点云绕检测系统坐标系的x轴旋转，根据基准激光雷达的翻滚角，将第一三维点云绕检测系统坐标系的y轴旋转，转换第一三维点云中的地面点云与激光雷达坐标系的底平面平行。如下所示：
[0129][0130][0131]
p
g
＝r
y
·
r
x
·
p
c
[0132]
其中，r
x
和r
y
为绕x轴与绕y轴的旋转矩阵，p
g
为转换后与检测系统坐标系xoy平面平行的第一三维点云中的地面点云，p
c
为原始地面点云。
[0133]
具体地，根据基准激光雷达的偏航角，将转换后的第一三维点云绕检测系统坐标系的z轴旋转，转换后第一三维点云中的集装箱侧面点云与激光雷达坐标系的侧平面平行。如下所示：
[0134][0135]
p＝r
z
·
p
g
[0136]
其中，r
z
为绕z轴的旋转矩阵，p
g
为转换后与地面与xoy平面平行的点云，p为最终转换后集装箱侧面点云与检测系统坐标系的xoz平面平行的点云。
[0137]
s410，根据第二姿态角和位置平移量将第二三维点云转换至检测系统坐标系。
[0138]
具体地，根据第二姿态角和位置平移量确定对准激光雷达相对于已转换到检测系统坐标系的基准激光雷达的旋转矩阵，根据旋转矩阵将第二三维点云转换至与检测系统坐标系的平面平行。
[0139]
其中，令α
l
为翻滚角，β
l
为俯仰角，γ
l
为偏航角，t
l
为位置平移量，则对准激光雷达相对于已转换到检测系统坐标系的基准激光雷达的旋转矩阵r为：
[0140][0141]
p
lg
＝r(α
l
,β
l
,γ
l
)
·
p
l
[0142]
p
l
为对准激光雷达采集的原始第二三维点云，p
lg
为检测系统坐标系下转换后的第二三维点云。
[0143]
s412,融合转换后的第一三维点云和转换后的第二三维点云，得到集装箱作业的全面点云。
[0144]
基准激光雷达在检测系统坐标系下的第一三维点云为p
g
，对准激光雷达在检测系统坐标系下的第二三维点云p
lg
，则融合得到的全面点云p
r
＝p
g
+p
lg
。
[0145]
s414，获取吊具与基准激光雷达的相对平移量。
[0146]
具体地，吊具与基准激光雷达的相对平移量，反应了吊具与基准激光雷达的相对位置关系。本实施例中，手动测量吊具在缩紧状态，即位于最高位置时吊具最右下角到基准激光雷达的相对平移量t
d
＝(t
dx t
dy 0)。吊具与基准激光雷达的相对位置关系如图5所示，左侧为三维图，右侧为俯视图，此时吊具处于紧缩状态。如图6所示，d
x
为吊具紧缩时的长，d
y
为吊具的宽。
[0147]
s416，根据相对平移量以及集装箱的尺寸参数，在全面点云中确定集装箱下落区域范围。
[0148]
在实用应用中，集装箱以下的区域，都可以作为集装箱下落区域范围。
[0149]
s418，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。
[0150]
如前面所提及的，集装箱下落区域范围，是吊具夹住箱装箱下落时集装箱以下的区域。因此，可将在箱装箱下落区域进行障碍物检测，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。其中，障碍物是指集装箱下落区域范围内非集卡托架的一切物体。
[0151]
一个实施例中，如图13所示，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报的步骤包括：
[0152]
s1102，根据集卡托架高度阈值，在全面点云中滤除集卡托架点云。
[0153]
具体地，集卡托架高度区间波动幅度不大，可以根据经验值，设置集卡托架高度阈值h
h
，集卡托架点云即全面点云中z坐标值小于高度阈值的点云，在全面点云p
r
进行直通滤波去除集卡托架区域。集卡侧视图及其预警区域、高度阈值如图14所示。
[0154]
s1104，对集装箱下落区域范围内的点云，进行滤波处理。
[0155]
在接收到控制设备给出的吊具开始下落信号后，检测系统对集装箱下落区域范围内的点云p
x
，进行点云去噪滤波处理。采用的去噪滤波算法为半径点滤波，根据空间点半径范围临近点数量来滤波，只有在一定范围内存在大于设定阈值数量的点云，才进行保留。
[0156]
s1106，对滤波处理后集装箱下落区域范围内的点云，进行障碍物检测。
[0157]
其中，对于滤波处理后的点云，可利用障碍物分类算法检测。
[0158]
s1108，若检测到障碍物点云，则发出防砸警报。
[0159]
若检测存在障碍物点云，则将判定有砸到的可能性，主控设备输出防砸警报信号
给集装箱起重机的控制设备，进行防砸预警。
[0160]
本技术的实施例中，通过滤除托架点云，在集装箱下落区域范围内进行障碍物检测。
[0161]
在另一个实施例中，如图15所示，当在集装箱下落区域范围内检测到障碍物时，发出防砸警报，包括：
[0162]
s1302，将全面点云投影为二维图像。
[0163]
具体地，对于每一个全面点云，以像素点表示，得到二维图像。
[0164]
如图16所示，将全面点云投影为二维图像的步骤包括：
[0165]
s1402，对全面点云，计算各全面点云的二维坐标。
[0166]
具体地，对于全面点云中的每一个三维点，可以以下公式计算其二维图像的坐标。
[0167]
u＝[(x
i-x
min
)/u
r
]
[0168]
v＝[(z
i-z
min
)/v
r
]
[0169]
其中，u和v为二维图像的行坐标和列坐标，x
i
和z
i
为第i个全面点云的x轴坐标和z轴坐标，x
min
和z
min
为全面点云在x轴和z轴的最小值，u
r
和v
r
为全面点云投影到二维图像上的精度，代表了二维图像上相邻像素点之间的实际距离。
[0170]
s1404，根据各全面点云的二维坐标，将点云转换为像素点。
[0171]
具体地，以像素点表示全面点云，像素点的坐标即为全面点云的二维坐标。
[0172]
s1406，将点云像素点和非点云像素点进行二值化处理，得到二值图像。
[0173]
具体地，二值化处理是指将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。一种方式可以为，将从点云转换的像素点的灰度值设为255，其它的非点云转换的像素点的灰度值设为0，得到二值图像。另一种方式可以为，将从点云转换的像素点的灰度值设为0，其它的非点云转换的像素点的灰度值设为255，得到二值图像。
[0174]
s1408，对二值图像进行图像预处理，得到二维图像。
[0175]
其中，图像的预处理包括：首先对二维图像进行中值滤波和双边滤波预处理操作，中值滤波是为了保护边缘信息，双边滤波是为了保边去噪；然后进行形态学膨胀操作。由于激光传感器的扫描方式，有些临近点之间的距离会大于图像的像素距离，导致图像出现孔洞，如果增大像素精度，又会降低图像的分辨率，在图像上进行膨胀操作能有效的减少孔洞。
[0176]
图像预处理方法，不仅限于形态学膨胀。也可以对图像进行形态学闭运算，以填充黑洞区域，然后进行形态学开运算，以增强边缘信息，过滤离散的干扰像素点。
[0177]
在步骤s1302之后，还包括：
[0178]
s1304，确定集装箱下落区域范围以及集卡托架在二维图像中的位置范围。
[0179]
具体地，利用上述的三维点云的二维图像的坐标的公式，对集装箱下落区域范围的三维点云，计算其对应的二维坐标，得到集装箱下落区域范围在二维图像中的位置范围。根据集卡托架高度阈值，利用上述的三维点云的二维图像的坐标的公式，对集卡托架的三维点云，计算其对应的二维坐标，得到集卡托架在二维图像中的位置范围。如图17代表了集装箱下方无障碍物的二维图像示意图，图18代表了集装箱下方有障碍物的二维图像示意图。
[0180]
s1306，根据确定的集卡托架在二维图像中的位置范围，去除二维图像中的集卡托架像素点。
[0181]
s1308，对二维图像中的集装箱下落区域范围进行图像检测，若检测到障碍物，发出防砸警报。
[0182]
具体地，对二维图像中的集装箱下落区域范围的像素点进行图像检测，得到集卡防砸检测结果。
[0183]
一种实施方式，如图19所示，对二维图像中的集装箱下落区域的位置范围的像素点进行图像检测，若检测到障碍物，发出防砸警报的步骤，包括：
[0184]
s1702，遍历二维图像中集装箱下落区域的位置范围内的各行，统计各行中点云像素点的数量。
[0185]
其中，点云像素点是指从点云转换的像素点。根据二值化的规则，点云像素点的灰度值可以为255，非点云像素点的灰度值为0。点云像素点的灰度值可以为0，非点云像素点的灰度值为255。具体地，根据点云像素点的灰度值，统计二维图像中集装箱下落区域的位置范围内的各行中像素点的灰度值为相应数值的像素点数量。例如，点云像素点的灰度值为255，则统计二维图像的各行中像素点的灰度值为255的像素点数量，即统计每行中有多少个像素点的像素值为255，从而得到每行中点云像素点的数量。
[0186]
s1704，将当前行点云像素点的数量与第一阈值进行比较。
[0187]
若当前行点云像素点的数量大于第一阈值，则执行步骤s1706，若当前行点云像素点的数量小于第一阈值，则执行步骤s1708。
[0188]
s1706，计数器增加预设值。
[0189]
具体地，预设值为1，若当前行点云像素点的数量大于第一阈值，则计数器加1。步骤s1706之后执行步骤s1708。
[0190]
s1708，判断集装箱下落区域的位置范围内的各行是否遍历完成。
[0191]
若是，则执行步骤s1710，若否，则返回步骤s1702。
[0192]
s1710，将计数器的统计值与第二阈值进行比较。
[0193]
若计数器的统计值大于第二阈值，则执行步骤s1712。
[0194]
s1712，得到检测到障碍物的检测结果，发出防砸警报。
[0195]
其中，如图17所示，集装箱下落区域无障碍物，集装箱下落区域的位置范围当未采集到三维点云，对应地，集装箱下落区域内的各行中点云像素点的数量为0。如图18所示，集装箱下落区域有障碍物，集装箱下落区域的位置范围采集到三维点云，如图头集卡车头部分位于集装箱下落区域的位置范围内，集装箱下落区域的位置范围内有部分行的像素个数都大于0，并且超出阈值t1的行数，即计数器的统计值大于t2，则可以检测到障碍物。第一阈值和第二阈值可以根据精度要求和经验值设定。
[0196]
该方法可应用在集装箱码头的集装箱门吊设备上，吊具吊着集装箱下落装载集卡时，系统能判断集卡车头或托架上其他集装箱被下落集装箱砸到的可能性，避免发生事故，适应集卡带20ft、双20ft、40ft和45ft集装箱状态。
[0197]
应该理解的是，虽然上述各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。
[0198]
在一个实施例中，如图20所示，提供了一种基于三维激光的集卡防砸检测装置，装
置包括：集装箱获取模块2002，用于获取集卡装箱作业中集装箱起重机的吊具当前所夹住的集装箱的尺寸参数；点云获取模块2004，获取在吊具夹住集装箱下落时激光雷达采集的集装箱作业的三维点云；姿态参数获取模块2006，用于获取激光雷达的姿态参数。转换模块2008，用于根据姿态参数，对三维点云进行转换，得到集装箱作业的全面点云；位置获取模块2010，用于获取吊具与激光雷达的相对平移量；下落区域确定模块2012，用于根据相对平移量以及集装箱的尺寸参数，在全面点云中确定集装箱下落区域范围；检测模块2014，用于当在集装箱下落区域范围内检测到障碍物时，发出防砸警报。
[0199]
在另一个实施例中，激光雷达包括安装在集装箱起重机吊具下方的同一侧呈一定夹角设置的基准激光雷达和对准激光雷达；姿态参数包括基准激光雷达的第一姿态角，对准激光雷达的第二姿态角和对准激光雷达相对于基准激光雷达的位置平移量。
[0200]
点云获取模块，用于获取在吊具夹住集装箱下落时基准激光雷达采集的集装箱作业的第一三维点云，以及对准激光雷达采集的集装箱作业的第二三维点云。
[0201]
转换模块，包括：第一转换模块，用于根据第一姿态角将第一三维点云转换至检测系统坐标系；第二转换模块，用于根据第二姿态角和位置平移量将第二三维点云转换至检测系统坐标系；融合模块，用于融合转换后的第一三维点云和转换后的第二三维点云，得到集装箱作业的全面点云；位置获取模块，用于获取吊具与基准激光雷达的相对平移量。
[0202]
在另一个实施例中，姿态参数获取模块，包括：标定点云获取模块，用于获取在标定状态吊具夹住集装箱下落时基准激光雷达采集的第一方向标定三维点云。地面点云确定模块，用于根据基准激光雷达的安装高度，从第一方向标定三维点云中确定地面点云；法向量计算模块，用于计算地面点云的平面法向量；角度确定模块，用于根据地面点云的平面法向量，计算基准激光雷达的翻滚角和俯仰角；侧面点云确定模块，用于根据基准激光雷达的安装高度、集卡托架高度、集装箱高度以及与基准激光雷达的距离，从第一方向标定三维点云中确定集装箱侧面点云；法向量计算模块，还用于计算集装箱侧面点云的平面法向量；角度确定模块，还用于根据集装箱侧面点云的平面法向量，计算基准激光雷达的偏航角，第一姿态角包括翻滚角、俯仰角和偏航角。
[0203]
在另一个实施例中，姿态参数获取模块还包括：标定模块，用于获取对同一标定物，对准激光雷达采集的标定物第一三维点云，以及基准激光雷达采集的标定物第二三维点云；第一转换模块，还用于将标定物第一三维点云转换至检测系统坐标系；匹配模块，用于对转换后的标定物第一三维点云和标定物第二三维点云进行点云匹配，确定对准激光雷达的第二姿态角以及位置平移量。
[0204]
在另一个实施例中，检测模块，包括：点云滤除模块，用于根据集卡托架高度阈值，在全面点云中滤除集卡托架点云；滤波处理模块，用于对集装箱下落区域范围内的点云，进行滤波处理；障碍物检测模块，用于对滤波处理后集装箱下落区域范围内的点云，进行障碍物检测；警报模块，用于若检测到障碍物点云，则发出防砸警报。
[0205]
在另一个实施例中，检测模块，还包括：投影模块，用于将全面点云投影为二维图像；位置确定模块，用于确定集装箱下落区域范围以及集卡托架在二维图像中的位置范围；像素点滤除模块，用于根据确定的集卡托架在二维图像中的位置范围，去除二维图像中的集卡托架像素点；像素点检测模块，用于对二维图像中的集装箱下落区域范围的像素点进行图像检测，若检测到障碍物，发出防砸警报。
[0206]
在另一个实施例中，投影模块，包括：坐标计算模块，用于对全面点云，计算各全面点云的二维坐标；像素点转换模块，用于根据各全面点云的二维坐标，将点云转换为像素点；二值化模块，用于将点云像素点和非点云像素点进行二值化处理，得到二值图像；预处理模块，用于对二值图像进行图像预处理，得到二维图像。
[0207]
在另一个实施例中，像素点检测模块包括：遍历模块，用于遍历二维图像中集装箱下落区域的位置范围内的各行，统计各行中点云像素点的数量；计数器，用于若当前行点云像素点的数量大于第一阈值，则计数器增加预设值；比较模块，用于在集装箱下落区域的位置范围内的各行遍历完成后，将计数器的统计值与第二阈值进行比较；防砸检测模块，用于若计数器的统计值大于第二阈值，则得到检测到障碍物的检测结果，发出防砸警报。
[0208]
关于基于三维激光的集卡防砸检测装置的具体限定可以参见上文中对于基于三维激光的集卡防砸检测方法的限定，在此不再赘述。上述基于三维激光的集卡防砸检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0209]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是图1中的主控设备，其内部结构图可以如图21所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于三维激光的集卡防砸检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0210]
本领域技术人员可以理解，图21中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定。
[0211]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例的三维激光的集卡防砸检测方法的步骤。
[0212]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下上述各实施例的三维激光的集卡防砸检测方法的步骤。
[0213]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种
形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0214]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0215]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。