基于雷达和相机融合的卸货方法、检测装置及存储介质与流程

1.本发明涉及自动化技术领域，尤其涉及基于雷达和相机融合的卸货方法、检测装置及存储介质。


背景技术：

2.自动装车搬运是agv自动化的最后一道工序，而目前agv搬运货物时，需要事先知道货物所在的预设位置，从而基于预设位置控制agv将货物从货车中卸下，但因为货车停靠位置不准确时，容易导致实际货物位置和货物预设位置偏差较大，进而导致货车装卸失败。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种基于雷达和相机融合的卸货方法、检测装置及存储介质，旨在解决货物位置检测不准确的问题。
5.为实现上述目的，本发明提供一种基于雷达和相机融合的卸货方法，应用于检测装置，包括激光雷达、相机以及运动单元，所述运动单元用于带动所述激光雷达以及相机运动，所述方法包括：
6.获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的图像数据，所述点云帧由所述激光雷达依次在各个预设采集点对货车进行扫描获取，所述图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取，各个所述点云帧与各个所述图像帧相匹配；
7.根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据；
8.根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；
9.根据所述目标点云数据确定各个货物的位姿信息；
10.根据各个货物的位姿信息控制卸货装置执行卸货操作。
11.可选地，所述根据每个点云帧对应的货物点云数据执行货物重建操作，以生成货车内的目标点云数据的步骤包括：
12.获取相邻的点云帧之间的位姿关系；
13.根据所述位姿关系将除第一点云帧以外的其他点云帧与第一点云帧进行拼接融合；
14.根据融合后的第一点云帧生成货车内的所述目标点云数据。
15.可选地，所述根据所述目标点云数据确定各个货物的位姿信息的步骤包括：
16.根据所述目标点云数据执行点云分割操作，以获取各个货物对应的目标点云数据；
17.根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐
标；
18.根据所述地图坐标确定所述位姿信息。
19.可选地，所述根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标的步骤包括：
20.获取激光雷达坐标系与地图坐标系的映射关系；
21.根据所述映射关系将所述目标点云数据映射到所述地图坐标系中，以获取所述货物在所述地图坐标系下的地图坐标。
22.可选地，所述根据所述图像数据以及所述点云数据获取每个点云帧对应的货物点云数据的步骤之前，还包括：
23.对各个所述点云帧进行点云校正，包括：
24.获取所述点云帧中各个激光点的采集时刻；
25.根据所述采集时刻对各个所述激光点进行运动量补偿，以完成对所述点云帧的校正，所述运动量补偿包括旋转补偿以及平移补偿。
26.可选地，所述根据所述图像数据以及所述点云数据获取每个点云帧对应的货物点云数据的步骤包括：
27.根据所述图像数据获取货物在图像坐标系下的货物图像坐标；
28.获取相机坐标系与激光雷达坐标系的相对位姿关系，根据所述相对位姿关系将所述点云数据映射到所述图像坐标系中，以获取所述货物图像坐标对应的各个像素点分别对应的货物点云数据。
29.可选地，所述获取相机坐标系与激光雷达坐标系的相对位姿关系的步骤包括：
30.获取所述激光雷达扫描标定板得到的历史点云数据，以及所述相机拍摄所述标定板得到的历史图像数据；
31.从所述历史点云数据中提取标定板中各个角点的目标历史点云数据，并根据所述目标历史点云数据确定在激光雷达坐标系下所述标定板的角点的第一坐标信息；
32.根据所述历史图像数据确定在图像坐标系下所述标定板的角点的第二坐标信息；
33.根据所述第一坐标信息和所述第二坐标信息确定所述相机坐标系以及所述激光雷达坐标系的相对位姿关系。
34.可选地，所述激光雷达包括多线激光雷达和/或固态激光雷达。
35.此外，为实现上述目的，本发明还提供一种检测装置，对所述检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于雷达和相机融合的货物位置程序，所述基于雷达和相机融合的卸货程序被所述处理器执行时实现如上所述的基于雷达和相机融合的卸货方法的步骤。
36.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于雷达和相机融合的卸货程序，所述基于雷达和相机融合的卸货程序被处理器执行时实现如上所述的基于雷达和相机融合的卸货方法的步骤。
37.本发明实施例提出的一种基于雷达和相机融合的卸货方法、检测装置及存储介质，所述基于雷达和相机融合的卸货方法应用于检测装置，所述检测装置包括激光雷达、相机以及运动单元，所述运动单元用于带动所述激光雷达以及相机运动，通过运动单元控制激光雷达依次在各个预设采集点对货车进行扫描获取各个点云帧以及控制所述相机依次
在各个所述预设采集点对货车分别拍摄获取的各个图像帧，所述点云帧与所述图像帧相匹配，进而根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据，根据所述货物点云数据执行货物点云重建操作，以生成货车内的目标点云数据，进而根据所述目标点云数据确定各个货物的位置信息，本技术通过设置运动单元控制激光雷达和相机围绕货车分别采集点云数据以及图像数据即可准确获取货物的准确位姿信息，不仅解决了传统的视觉系统获取位置信息的实现成本较高的技术问题，还提高了位姿检测的准确性。
附图说明
38.图1是本发明实施例方案涉及的硬件运行环境的检测装置结构示意图；
39.图2为本发明基于雷达和相机融合的卸货方法第一实施例的流程示意图；
40.图3为本发明基于雷达和相机融合的卸货方法第一实施例步骤s20的细化流程示意图；
41.图4为本发明基于雷达和相机融合的卸货方法第一实施例步骤s30的细化流程示意图；
42.图5为本发明基于雷达和相机融合的卸货方法第一实施例步骤s40的细化流程示意图；
43.图6为本发明基于雷达和相机融合的卸货方法第一实施例步骤s42的细化流程示意图。
44.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
45.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
46.本发明实施例的主要解决方案是：获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的图像数据，所述点云帧由所述激光雷达依次在各个预设采集点对货车进行扫描获取，所述图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取，各个所述点云帧与各个所述图像帧相匹配；根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据；根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；根据所述目标点云数据确定各个货物的位姿信息；根据各个货物的位姿信息控制卸货装置执行卸货操作。
47.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的检测装置结构示意图。
48.本发明实施例终端为检测装置。
49.如图1所示，该检测可以包括：处理器1001，例如cpu，gpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
50.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
51.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于雷达和相机融合的卸货程序。
52.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于雷达和相机融合的卸货程序，并执行以下操作：
53.获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的图像数据，所述点云帧由所述激光雷达依次在各个预设采集点对货车进行扫描获取，所述图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取，各个所述点云帧与各个所述图像帧相匹配；
54.根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据；
55.根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；
56.根据所述目标点云数据确定各个货物的位姿信息；
57.根据各个货物的位姿信息控制卸货装置执行卸货操作。
58.进一步地，处理器1001可以调用存储器1005中存储的基于雷达和相机融合的卸货程序，还执行以下操作：
59.获取相邻的点云帧之间的位姿关系；
60.根据所述位姿关系将除第一点云帧以外的其他点云帧与第一点云帧进行拼接融合；
61.根据融合后的第一点云帧生成货车内的所述目标点云数据。
62.进一步地，处理器1001可以调用存储器1005中存储的基于雷达和相机融合的卸货程序，还执行以下操作：
63.根据所述目标点云数据执行点云分割操作，以获取各个货物对应的目标点云数据；
64.根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标；
65.根据所述地图坐标确定所述位姿信息。
66.进一步地，处理器1001可以调用存储器1005中存储的基于雷达和相机融合的卸货程序，还执行以下操作：
67.获取激光雷达坐标系与地图坐标系的映射关系；
68.根据所述映射关系将所述目标点云数据映射到所述地图坐标系中，以获取所述货物在所述地图坐标系下的地图坐标。
69.进一步地，处理器1001可以调用存储器1005中存储的基于雷达和相机融合的卸货程序，还执行以下操作：
70.对各个所述点云帧进行点云校正，包括：
71.获取所述点云帧中各个激光点的采集时刻；
72.根据所述采集时刻对各个所述激光点进行运动量补偿，以完成对所述点云帧的校正，所述运动量补偿包括旋转补偿以及平移补偿。
73.进一步地，处理器1001可以调用存储器1005中存储的基于雷达和相机融合的卸货程序，还执行以下操作：
74.根据所述图像数据获取货物在图像坐标系下的货物图像坐标；
75.获取相机坐标系与激光雷达坐标系的相对位姿关系，根据所述相对位姿关系将所述点云数据映射到所述图像坐标系中，以获取所述货物图像坐标对应的各个像素点分别对应的货物点云数据。
76.进一步地，处理器1001可以调用存储器1005中存储的基于雷达和相机融合的卸货程序，还执行以下操作：
77.获取所述激光雷达扫描标定板得到的历史点云数据，以及所述相机拍摄所述标定板得到的历史图像数据；
78.从所述历史点云数据中提取标定板中各个角点的目标历史点云数据，并根据所述目标历史点云数据确定在激光雷达坐标系下所述标定板的角点的第一坐标信息；
79.根据所述历史图像数据确定在图像坐标系下所述标定板的角点的第二坐标信息；
80.根据所述第一坐标信息和所述第二坐标信息确定所述相机坐标系以及所述激光雷达坐标系的相对位姿关系。
81.参照图2，本发明第一实施例提供一种基于雷达和相机融合的卸货方法，所述基于雷达和相机融合的卸货方法包括：
82.步骤s10，获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的图像数据，所述点云帧由所述激光雷达依次在各个预设采集点对货车进行扫描获取，所述图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取，各个所述点云帧与各个所述图像帧相匹配；
83.步骤s20，根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据；
84.步骤s30，根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；
85.步骤s40，根据所述目标点云数据确定各个货物的位姿信息；
86.步骤s50，根据各个货物的位姿信息控制卸货装置执行卸货操作。
87.在本实施例中，应用于检测装置，所述检测装置包括激光雷达、相机以及运动单元，可选地，所述激光雷达包括固态激光雷达和/或多线激光雷达，多线激光雷达可以是16线激光雷达，还可以是32线激光雷达，所述相机包括rgb相机，所述运动单元用于带动所述激光雷达以及相机运动，所述运动单元包括叉车，其中，所述运动单元带动所述激光雷达以及所述相机运动的方式包括控制所述激光雷达以及所述相机沿着预设路径运动，其中，所述预设路径为围绕货车一周形成的路径，控制所述激光雷达以及所述相机沿着预设路径运动的方式包括确定所述相机以及所述激光雷达在所述叉车的放置位置、所述相机的拍摄角度以及所述激光雷达的扫描角度，根据所述放置位置、拍摄角度以及所述扫描角度将所述激光雷达和所述相机安装于所述叉车中，进而确定所述叉车的运动速度，所述叉车以所述运动速度带动所述激光雷达以及所述相机同时沿着预设路径运动，可选地，所述运动速度
为0.5m/s。在所述激光雷达以及所述相机被所述运动单元带动运动的过程中，所述激光雷达依次在各个预设采集点对货车进行扫描，以生成多个点云帧，各个点云帧包括多个激光点，所述相机依次在各个预设采集点对所述货车进行拍摄，以获取各个图像帧，其中，各个所述点云帧与各个所述图像帧相匹配，所述预设采集点可以为所述预设路径中的连续的采集点，所述激光雷达沿着所述预设运动路径连续采集点云数据，以获取各个点云帧的点云数据，基于所述激光雷达沿着预设路径连续的扫描，提高了点云密度，从而提高了货物位姿检测的精度，此时，所述检测装置调用多线激光雷达对货车进行连续性的扫描；可选地，所述预设采集点还可以为所述预设路径中的离散的采集点，所述激光雷达在运动至预设采集点时，所述运动单元控制所述激光雷达在所述预设采集点对应的位置处停留预设时长，以使所述激光雷达通过采集预设时长内的点云数据生成所述点云帧的点云数据，基于激光雷达停留于预设采集点以扫描预设时长内的点云数据，从而可提高点云密度，进一步提高了货车位姿检测的精度，此时，所述检测装置调用非重叠扫描的固态激光雷达对货车进行扫描。
88.可选地，为了获取各个点云帧分别匹配的图像帧，本技术实施例通过获取各个点云帧对应的时间戳以及所述图像帧的时间戳，将各个点云帧对应的时间戳以及所述图像帧的时间戳匹配，从而得到与各个点云帧分配匹配的图像帧。
89.可选地，基于所述运动单元带动所述激光雷达边运动边扫描，所述激光雷达扫描得到的同一点云帧中的各个激光点不是在同一时刻采集的，即不同激光点的坐标系不一致，也即各个点云帧由于运动引起了激光点云畸变，基于此，在获取各个点云帧对应的点云数据后，对各个点云帧进行点云校正，即对各个点云帧进行点云去畸变操作。
90.可选地，所述根据所述图像数据以及所述点云数据获取每个点云帧对应的货物点云数据的步骤之前，还包括：
91.对各个所述点云帧进行点云校正，包括：
92.获取所述点云帧中各个激光点的采集时刻；
93.根据所述采集时刻对各个所述激光点进行运动量补偿，以完成对所述点云帧的校正，所述运动量补偿包括旋转补偿以及平移补偿。
94.可选地，根据所述点云数据获取同一点云帧的各个激光点的采集时刻，将各个所述激光点均统一到相同的统一采集时刻，所述统一采集时刻可以是每完成一帧扫描的结束时刻，还可以是每一帧开始扫描的开始时刻，根据所述采集时刻对各个所述激光点进行运动量补偿，以完成对所述点云帧的校正，所述运动量补偿包括旋转补偿以及平移补偿，补偿方式为根据激光点的采集时刻利用imu传感器计算得出各个激光点对应的补偿矩阵，将各个激光点的点云与所述补偿矩阵相乘以及得到矫正后的各个所述激光点的点云，根据各个矫正后的各个所述激光点生成校正后的所述点云帧。
95.可选地，对各个点云帧均进行点云矫正后，各个所述点云帧的点云数据包括货物的点云数据以及背景信息的点云数据，所述图像数据包括货物的图像数据以及背景信息的图像数据，获取货物的位置信息时，只需根据货物的点云数据即可实现，基于此为了减少数据量，本技术还通过基于所述图像数据提取出所述点云数据中的货物点云数据，根据提取得到的货物点云数据计算得到各个货物的位姿信息。
96.可选地，参照图3，所述步骤s20包括：
97.步骤s21，根据所述图像数据获取货物在图像坐标系下的货物图像坐标；
98.步骤s22，获取相机坐标系与激光雷达坐标系的相对位姿关系，根据所述相对位姿关系将所述点云数据映射到所述图像坐标系中，以获取所述货物图像坐标对应的各个像素点分别对应的货物点云数据。
99.可选地，在获取所述点云数据以及所述图像数据后，根据所述图像数据检测所述货物的图像信息，所述图像信息包括所述货物对应的边框在所述图像数据中对应的像素点，进而可根据在所述图像数据中对应的像素点即可确定货物在图像坐标系下的货物图像坐标，具体地：根据所述相机采集到的rgb彩色数据，基于深度学习算法yolo框架获得货物的货物图像坐标，其中，yolo检测算法框架集成了数据增强功能，只需提供较少的训练样本即可完成训练任务并达到较好的训练结果，在背景环境单一的场景下应用效果极佳，且本技术实施例对yolo算法进行改进，添加带角度的边框检测功能，可检测带有旋转角度的货物，另外，所述检测装置还包括gpu，利用所述gpu对深度学习算法yolo框架进行加速，从而提高确定货物图像坐标的速度。
100.可选地，在获取所述货物在图像坐标系下的货物图像坐标后，获取与所述图像帧匹配的点云帧，根据相机坐标系与激光雷达坐标系的相对位姿关系以及所述点云帧获取所述货物在激光雷达坐标系下的货物点云数据。
101.可选地，所述获取相机坐标系与激光雷达坐标系的相对位姿关系的步骤包括：
102.获取所述激光雷达扫描标定板得到的历史点云数据，以及所述相机拍摄所述标定板得到的历史图像数据；
103.从所述历史点云数据中提取标定板中各个角点的目标历史点云数据，并根据所述目标历史点云数据确定在激光雷达坐标系下所述标定板的角点的第一坐标信息；
104.根据所述历史图像数据确定在图像坐标系下所述标定板的角点的第二坐标信息；
105.根据所述第一坐标信息和所述第二坐标信息确定所述相机坐标系以及所述激光雷达坐标系的相对位姿关系。
106.可选地，所述标定板可以是长方体薄木板，通过所述激光雷达多次获取所述长方体薄木板的点云数据，将所述点云数据作为所述历史点云数据，并通过所述相机多次获取所述长方体薄木板的历史图像数据，在获取所述历史点云数据以及所述历史图像数据后，根据所述目标历史点云数据确定所述标定板的角点的第一坐标信息，可以理解的是，所述第一坐标信息为所述角点在所述固态激光雷达坐标系下的角点点云坐标。
107.可选地，根据所述历史图像数据确定所述标定板的角点在货物图像坐标下的第二坐标信息，所述第二坐标信息包括所述角点在图像坐标系下的角点图像坐标。
108.可选地，在获取所述第一坐标信息以及所述第二坐标信息后，根据所述第一坐标信息以及所述第二坐标信息建立各个角点的第二坐标信息与第一坐标信息的映射关系，从而建立起非线性模型，利用ceres库求解，以根据所述映射关系确定所述相机坐标系以及所述激光雷达坐标系的相对位姿关系，完成对所述激光雷达与所述相机的标定。
109.可选地，在获取所述货物在图像坐标系下的货物图像坐标后，根据所述相机坐标系以及所述激光雷达坐标系的相对位姿关系将所述激光雷达采集的点云数据映射到图像坐标系下，以获取所述货物图像坐标对应的像素点分别对应的货物点云数据，所述货物图像坐标对应的货物点云数据包括所述货物在所述激光雷达坐标下的三维坐标，所述货物点
云数据为仅包含货物的点云数据。
110.可选地，所述货物图像坐标仅仅包含所述货物在图像坐标系下的坐标，所述货物图像坐标包括所述货物对应的边框的坐标，例如货物的边框左上角坐标，右下角坐标等，基于在获取所述货物在图像坐标系下的货物图像坐标时，容易出现检测到的货物的边框不稳定，从而导致利用货物图像坐标进行映射以获取对应的货物点云数据时，容易导致所述货物的边框无法包含完整的货物图像，进而导致获取的货物图像坐标与实际的货物图像坐标不一致，进而导致在货物点云数据时，无法映射到完整货物的货物点云数据，基于此，本技术实施例在根据图像帧的图像数据检测得到所述货物的边框的图像信息后，以预设比例扩充所述货物的边框，从而根据扩充后的边框得到货物图像坐标，进而根据货物图像坐标进行映射，从而得到完整的货物点云数据。
111.可选地，在依次获取各个点云帧中的货物点云数据后，根据每个点云帧对应的货物点云数据执行货物点云重建操作，可以理解的是，基于所述点云帧是由所述运动单元带动所述激光雷达边运动边采集的，各个点云帧对应的基准坐标系不同，也即无法根据基准坐标系不同的货物点云数据直接确定货物的位姿信息，基于此，本技术实施例通过根据各个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据，所述目标点云数据包括所有货物在同一基准坐标系的点云数据，基于本技术实施例只需根据货物点云数据进行货物点云重建操作，数据量大大减少，进而提升了货物位姿检测的速度。
112.可选地，参照图4，所述步骤s30包括：
113.步骤s31，获取相邻的点云帧之间的位姿关系；
114.步骤s32，根据所述位姿关系将除第一点云帧以外的其他点云帧与第一点云帧进行拼接融合；
115.步骤s33，根据融合后的第一点云帧生成货车内的所述目标点云数据。
116.可选地，相邻的点云帧例如包括第一点云帧和第二点云帧，第二点云帧和第三点云帧，...第n-2点云帧和第n-1点云帧，第n-1点云帧和第n点云帧，各组相邻的点云帧之间的位姿关系可根据所述激光雷达在运动过程中的位置信息确定。
117.可选地，在获取相邻的点云帧之间的位姿关系后，根据所述位姿关系将除第一点云帧以外的其他点云帧与第一点云帧进行拼接融合，具体地，根据第一点云帧和第二点云帧的位姿关系将第二点云帧的货物点云数据中的货物点云坐标进行变换后累加至所述第一点云帧的货物点云数据中，以完成第二点云帧与第一点云帧的拼接融合，进而根据第二点云帧与第三点云帧的位姿关系将第三点云帧货物点云数据中的货物点云坐标进行变换后累加至所述第二点云帧的货物点云数据中，进而将累加后的第二点云帧拼接融合至第一点云帧，以完成第三点云帧与第一点云帧的拼接融合；在完成第三点云帧与第一点云帧的拼接融合后，同时确定了所述第三点云帧与所述第一点云帧的位姿关系，进而根据第三点云帧和第四点云帧的位姿关系将第四点云帧货物点云数据中的货物点云坐标进行变换后累加至所述第三点云帧的货物点云数据中，进而根据所述第三点云帧与所述第一点云帧的位姿关系将累加后的第三点云帧拼接融合至第一点云帧，以完成第四点云帧与第一点云帧的拼接融合，以此类推，在完成第n-1点云帧与第一点云帧的拼接融合后，根据第n-1点云帧与第n点云帧的位姿关系将第n点云帧货物点云数据中的货物点云坐标进行变换后累加至所述第n-1点云帧的货物点云数据中，进而根据所述第n-1点云帧与所述第一点云帧的位姿
关系将累加后的第n-1点云帧拼接融合至第一点云帧，以完成第n点云帧与第一点云帧的拼接融合。
118.可选地，在完成除第一点云帧以外的其他点云帧与第一点云帧的拼接融合后，根据融合后的第一点云帧生成货车内的所述目标点云数据，以完成对各个点云帧对应的货物点云数据的货物点云重建操作。
119.可选地，在完成货物点云重建操作后，根据所述目标点云数据确定各个货物的位姿信息，参照图5，所述步骤s40包括：
120.步骤s41，根据所述目标点云数据执行点云分割操作，以获取各个货物对应的目标点云数据；
121.步骤s42，根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标；
122.步骤s43，根据所述地图坐标确定所述位姿信息。
123.可选地，基于所述目标点云数据包括货车内的所有货物的货物点云数据，为了获取各个货物的位姿信息，本技术实施例通过将目标点云数据进行点云分割，以得到各个货物对应的目标点云数据。
124.可选地，在获取各个货物对应的目标点云数据后，根据各个货物对应的目标点云数据计算各个货物在激光雷达坐标系下的位姿信息，所述位姿信息包括货物位置以及货物角度，在实际卸货过程中，为了让叉车卸货，需告知叉车货物的实际位姿信息，所述实际位姿信息是基于地图坐标系下的位姿信息，基于此，在获取各个货物在激光雷达坐标系下的位姿信息后，需将所述各个货物在激光雷达坐标系下的位姿信息转换为在地图坐标系下的实际位姿信息，基于此，参照图6，所述步骤s42包括：
125.步骤s421，获取激光雷达坐标系与地图坐标系的映射关系；
126.步骤s422，根据所述映射关系将所述目标点云数据映射到所述地图坐标系中，以获取所述货物在所述地图坐标系下的地图坐标。
127.可选地，所述映射关系即所述激光雷达坐标系与所述地图坐标系的相对位姿关系，具体地，获取所述映射关系的方式可以是获取相机坐标系与所述地图坐标系的相对位姿关系，进而根据所述相机坐标系与所述激光雷达坐标系的相对位姿关系以及相机坐标系与所述地图坐标系的相对位姿关系确定所述激光雷达坐标系与所述地图坐标系的映射关系。
128.可选地，获取所述相机坐标系与地图坐标系的相对位姿关系的方式可以是通过手眼标定法标定，具体地，将所述叉车作为具有四自由度的超长“机械臂”，将标定板固定在叉车上，多次移动叉车，获取每次移动叉车后叉车相对于地图坐标系的坐标和相机拍摄标定板的图像，进而得到标定板在图像坐标系下的坐标，在获取所述世界坐标以及所述坐标后，建立eye to hand(眼在手外)非线性求解模型，根据所述非线性求解模型获取所述相机坐标系与所述地图坐标下的标定外参。
129.可选地，在获取所述相机坐标系与所述地图坐标系的相对位姿关系后，通过所述相机坐标系与所述激光雷达坐标系的相对位姿关系，即可确定所述激光雷达坐标系与所述地图坐标系的映射关系。
130.可选地，在获取所述映射关系后，根据所述映射关系将所述货物对应的目标点云
数据映射到所述地图坐标系中，以获取所述货物在所述地图坐标系下的地图坐标。
131.可选地，在获取所述地图坐标后，根据所述地图坐标确定为所述货物的位姿信息。
132.可选地，在获取各个货物的位姿信息后，将所述位姿信息发送至卸货装置，以供卸货装置根据所述位姿信息对各个货物执行卸货操作，所述卸货装置包括叉车。
133.可选地，本技术实施例不仅可以应用于执行卸货操作，还可以执行装货操作，具体地，控制所述运动单元带动所述激光雷达和所述相机围绕待装货的货车运动一周，以采集货车对应的每个点云帧的点云数据以及每个图像帧图像数据，根据所述点云数据以及图像数据提取货车点云数据，所述货车点云数据为包含货车车厢且不包含背景信息的点云数据，根据所述货车点云数据对货车执行货车点云重建操作，生成货车的目标货车点云数据，在生成所述目标货车点云数据后，提取所述目标货车点云数据中的边缘货车点云数据，所述边缘点云数据包括所述货车车厢边缘的边缘三维坐标，进而根据所述边缘三维坐标计算得出所述货车对应的车厢的有效长度以及有效宽度。可选地，还可以根据所述边缘三维坐标计算得出所述货车车厢的高度。可选地，所述有效长度为所述货车车厢的剩余长度，所述有效宽度为所述货车车厢的剩余宽度。根据有效长度*有效宽度确定所述货车车厢的剩余面积。
134.可选地，在获取所述剩余面积后，获取待放置货物的面积信息；根据所述面积信息以及所述剩余面积为所述待放置货物分配对应的库位。可选地，所述待放置货物为需要放置于货车车厢的货物，所述面积信息为单个货物的标准面积信息，即一个货物的面积。可选地，所述面积信息还可以是所有货物的总面积信息，在获取所有货物的总面积信息后，根据所述总面积信息以及所述货物的数量计算得出单个货物的面积信息。
135.可选地，在获取所述货物的面积信息后，根据所述面积信息确定各个货物的标准面积信息后，根据所述标准面积信息以及所述剩余面积为货物分配对应的库位，所述库位可以是库位序号，还可以是所述库位在地图坐标系下的坐标，其中，一个库位可以放置一个标准面积的货物。
136.可选地，在确定各个待放置货物的库位后，将所述库位发送至所述叉车，所述叉车在接收到所述库位后，根据所述库位对应的坐标将所述待放置货物放置在所述库位上。
137.在本技术实施例中，通过设置检测装置，所述检测装置包括激光雷达、相机以及运动单元，所述运动单元用于带动所述激光雷达以及相机围绕货车运动一周，通过运动单元控制激光雷达依次在预设采集点对货车进行扫描获取各个点云帧以及控制所述相机依次在预设采集点对货车进行拍摄获取各个图像帧，进而根据各个所述点云帧的时间戳与所述图像帧的时间戳将各个点云帧与所述图像帧相匹配，进而根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据，所述货物点云数据为只包含货物的点云数据，进而根据所述货物点云数据执行货物点云重建操作，以生成货车内的目标点云数据，进而根据所述目标点云数据确定各个货物的位姿信息，本技术通过设置运动单元控制激光雷达和相机围绕货车分别采集点云数据以及图像数据即可准确获取货物的准确位姿信息，不仅解决了传统的视觉系统获取位姿信息的实现成本较高的技术问题，还提高了位姿检测的准确性，并且本技术实施例还通过根据相机坐标系与激光雷达坐标系的相对位姿关系提取所述点云数据中的货物点云数据，而无需对背景的点云数据进行点云重建操作，减少了执行点云重建操作时的数据量，并且本技术实施例还通过对货物点云数据进行货物点云重建操
作，提高了货物位姿检测的准确性，从而提高了自动卸货的准确性。
138.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于雷达和相机融合的卸货程序，所述基于雷达和相机融合的卸货程序被处理器执行时实现如上所述的实施例的步骤。
139.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
140.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
141.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
142.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。