一种补盲信息确定方法、装置、系统及电子设备与流程

1.本发明涉及工程机械的控制技术领域，具体涉及一种补盲信息确定方法、装置、系统及电子设备。


背景技术：

2.在自动驾驶系统中，作为识别周边环境的“感官”角色，感知模块是整个系统安全、高效运行的无比重要的一环。感知模块负责处理传感器捕获的数据，如光探测和测距lidar、无线电探测和测距(雷达)、摄像机、全球定位系统(gps)、惯性测量单元(imu)、里程表等。
3.不同于开放道路，封闭园区场景的特点更有利于建立v2x通信系统以补充自动驾驶车辆的综合能力。所谓v2x，意为vehicle to everything，即车对外界的信息交换。车联网通过整合全球定位系统(gps)导航技术、车对车交流技术、无线通信及远程感应技术奠定了新的汽车技术发展方向，实现了手动驾驶和自动驾驶的兼容。简单来说，搭配了该系统的车型，在自动驾驶模式下，能够通过对实时交通信息的分析，自动选择路况最佳的行驶路线，从而大大缓解交通堵塞。除此之外，通过使用车载传感器和摄像系统，还可以感知周围环境，做出迅速调整，从而实现“零交通事故”。例如，如果行人突然出现，可以自动减速至安全速度或停车。
4.常规的车端自动驾驶感知系统存在盲区机制，补盲感知方案是v2x通信系统很重要的一个应用。所谓盲区，就是车端感知系统无法检测到的道路位置。如图1所示，由于建筑物的遮挡，道路2中的车辆无法通过车载感知传感器检测到道路1中的行人，所以道路1成为车辆的盲区。
5.目前，由于补盲感知方案需要提供盲区内物体的大小、类别以及速度信息，从而大多数补盲方案会采用激光雷达，或者是给盲区内交通参与者加装传感器以提供车辆自动驾驶感知系统需要的信息。
6.而激光雷达由于造价过高难以在补盲感知方案中大规模应用，交通参与者除了机动车之外，还有行人、宠物等，难以给这类参与者加装传感器。由此可见，目前的补盲信息(例如盲区内物体的大小、类别以及速度信息)确定方案均存在缺陷的问题。


技术实现要素：

7.有鉴于此，本发明实施例提供了一种补盲信息确定方法、装置、系统及电子设备，以解决目前的补盲信息确定方案均存在缺陷的问题。
8.根据第一方面，本发明实施例提供了一种补盲信息确定方法，包括以下步骤：获取检测图像；将所述检测图像输入到经过训练的补盲模型中，得到补盲信息。
9.结合第一方面，在第一方面第一实施方式中，所述补盲模型采用resnet网络结构，所述resnet网络结构包括基础架构、像素聚合网络层和检测头三部分。
10.结合第一方面第一实施方式，在第一方面第二实施方式中，所述补盲模型为知识
蒸馏后的resnet网络结构。
11.结合第一方面第二实施方式，在第一方面第三实施方式中，在所述像素聚合网络层进行知识蒸馏特征层的学习。
12.结合第一方面第二实施方式，在第一方面第四实施方式中，在所述像素聚合网络层中上采样算子采用双线性差值。
13.结合第一方面，在第一方面第五实施方式中，在将所述检测图像输入到经过训练的补盲模型中之前，还包括：获取训练图像及与所述训练图像相对应的激光雷达点云数据，得到一组训练数据；利用多组训练数据对所述补盲模型进行训练。
14.结合第一方面第五实施方式，在第一方面第六实施方式中，所述激光雷达点云数据包括以下中一种或几种数据：目标物体的长、所述目标物体的宽、所述目标物体的高和所述目标物体的朝向。
15.根据第二方面，本发明实施例还提供了一种补盲信息确定装置，包括获取模块和处理模块，所述获取模块用于获取检测图像，所述处理模块用于将所述检测图像输入到经过训练的补盲模型中，得到补盲信息。
16.根据第二方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式所述的补盲信息确定方法。
17.根据第三方面，本发明实施例还提供了一种补盲信息确定系统，包括摄像装置、激光雷达和第二方面所述的电子设备，所述电子设备与所述摄像装置和所述激光雷达通信连接。
18.本发明实施例提供的补盲信息确定方法、装置、系统及电子设备，通过获取检测图像；将所述检测图像输入到经过训练的补盲模型中，得到补盲信息，与现有技术相比，本发明的技术方案仅需根据检测图像就能得到补盲信息，无需利用激光雷达，不存在造价过高的问题，可以大规模使用。
附图说明
19.通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
20.图1为盲区示意图；
21.图2为本发明实施例1中补盲信息确定方法的流程示意图；
22.图3为本发明实施例1中resnet网络结构示意图；
23.图4为本发明实施例2中补盲信息确定装置的结构示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例1
26.本发明实施例1提供了一种补盲信息确定方法，图2为本发明实施例1中补盲信息确定方法的流程示意图，如图1所示，本发明实施例1的补盲信息确定方法包括以下步骤：
27.s101：获取检测图像。
28.具体的，可以通过摄像装置获取检测图像。
29.进一步的，在获取检测图像之前，还包括：对摄像装置的内参和/或外参进行标定。
30.s102：将所述检测图像输入到经过训练的补盲模型中，得到补盲信息。
31.具体的，补盲信息包括盲区内物体的大小信息、类别信息以及速度信息等。
32.具体的，所述补盲模型采用resnet网络结构。图3为本发明实施例1中resnet网络结构示意图，如图3所示，resnet网络结构包括基础架构backbone、像素聚合网络层pan(pixel aggregation network)和检测头例如centerhead三部分，其中，backbone用于提取图片特征；pan用于融合图片特征，有利于后续检测任务；centerhead是基于centernet提出的，包含两类输出，box atrt和class，其中boxatrt包含目标的中心点坐标(x,y,z)、长宽高(h,w,l)以及朝向r；class包含目标的类别信息。
33.需要说明的是，backbone原意指的是人的脊梁骨，后来引申为支柱、核心的意思。在神经网络中，尤其是计算机视觉领域，一般先对图像进行特征提取，这一部分是整个图像分析任务的根基，因为后续的下游任务都是基于提取出来的图像特征去做文章(比如分类，生成等等)。所以将这一部分网络结构称为backbone十分形象，仿佛是一个人站起来的支柱。在backbone中包含基于深度可分离卷积的卷积模块，由此可以减少计算量。
34.pan也叫金字塔注意力模型，通常接在主干网络后成为整个网络的一部分，用于更好的提取不用尺度特征层的上下文信息。在所述像素聚合网络层中上采样算子采用双线性差值，由此直接使用无参数的双线性差值可以节省运算量
35.检测头的作用是输出检测物的坐标即属性。检测头多种多样，本技术采用centerhead，其对小目标效果更好。
36.在本发明实施例1中，在pan层上进行特征融合，特征融合可以采用element-wise。其中element-wise表示对应位置元素单独进行操作，例如element-wise add表示两个矩阵或者向量的同一位置的元素分别相加，结果的形状与相加的矩阵或向量相同。由此可以进一步减少计算量，提升模型推理速度，有利于在轻量计算平台部署。
37.进一步的，所述补盲模型为知识蒸馏后的resnet网络结构。由此可以使得补盲模型部署在轻量化计算平台上。
38.具体的，知识蒸馏采用教师模型和学生模型。教师模型和学生模型的模型框架均采用上一步设计的网络。
39.具体的，在所pan层进行知识蒸馏特征层的学习。在知识蒸馏之后，教师模型和学生模型中使用的深度可分离卷积的卷积核的数目不一致，其中教师模型中卷积核的数目大于学生模型中卷积核的数目。
40.具体的，知识蒸馏的训练流程为先训练教师模型，然后再协同训练学生模型和教师模型，此时教师模型的权重固定不变。在训练过程中，由于教师和学生模型中各个block的特征输出channel数不一致，对于学生模型中1/8、1/16、1/32 block的特征输出，各外接一层卷积层，使之与教师模型1/8、1/16、1/32 block中的特征输出channel维度一致，然后
在部署阶段将外接的卷积层去除，这是因为最终用于深度估计的结果不需要特征层输出。
41.具体的，block称作块，通常由个数不等的卷积层、激活层等组成，而后个数不等的block又可组成主干网络。channel指网络中卷积层的输入输出通道数。
42.进一步的，在将所述检测图像输入到经过训练的补盲模型中之前，还包括：获取训练图像及与所述训练图像相对应的激光雷达点云数据，得到一组训练数据；利用多组训练数据对所述补盲模型进行训练。
43.具体的，可以通过激光雷达获取激光雷达点云数据，所述激光雷达点云数据包括以下中一种或几种数据：盲区内物体的大小数据、所述盲区内物体的类别数据、所述盲区内物体的速度数据。
44.具体的，在获取激光雷达点云数据之前，还包括对激光雷达的外参进行标定。
45.需要说明的是，本发明实施例1虽然在补盲模型的训练过程中需要使用到激光雷达点云数据，例如需要部署100套产品，仅需1套带激光雷达的设备用来训练补盲模型即可。
46.也就是说，模型训练时，将图像信息作为模型输入，激光雷达信息作为模型的标签；在部署阶段，只需要输入图像信息，便可由推理出需要激光雷达才能得到的信息。所以在部署阶段只需要摄像头不需要激光雷达，以达到节省成本的目的。
47.本发明实施例1提供的补盲信息确定方法、装置、系统及电子设备，获取检测图像；将所述检测图像输入到经过训练的补盲模型中，得到补盲信息，与现有技术相比，本发明的技术方案仅需根据检测图像就能得到补盲信息，无需利用激光雷达，不存在造价过高的问题，可以大规模使用；进一步的补盲信息可以与自动驾驶车端感知结果融合，方便后续决策模块处理。
48.实施例2
49.与本发明实施例1相对应，本发明实施例2提供了一种补盲信息确定装置。如图2所示，本发明实施例2的补盲信息确定装置包括获取模块20和处理模块21。
50.具体的，获取模块20，用于获取检测图像；
51.处理模块21，用于将所述检测图像输入到经过训练的补盲模型中，得到补盲信息。
52.上述补盲信息确定装置具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
53.实施例3
54.本发明实施例3还提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例1所述的补盲信息确定方法。
55.进一步的，本发明实施例3还提供了一种补盲信息确定系统，包括车辆和上述电子设备，在所述车辆的车箱中设有摄像装置，所述电子设备与所述摄像装置通信连接。
56.处理器可以为中央处理器(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
57.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂
态计算机可执行程序以及模块，如本发明实施例中的补盲信息确定方法对应的程序指令/模块(例如，图4所示的和处理模块21)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的混凝土塌落度确定方法。
58.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
59.所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1至图3所示实施例中的混凝土塌落度确定方法。
60.上述补盲信息确定确定系统具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
61.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
62.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。