车载目标匹配方法及装置、系统、计算设备和存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及车载目标匹配方法及装置、系统、计算设备和存储介质。


背景技术：

2.传统的车辆在执行各种操作时，通常需要依靠地面指引人员与车辆驾驶员的交互、调整，才能完成操作动作。尤其是传统大型特种车辆，一般情况下需要依靠地面指引人员通过指挥与车辆驾驶员实现多次交互、多次调整才能完成的各类操作动作。对于大型车辆，环境复杂、视野不佳的场所，例如：矿区、危险品车辆、大型军用特种车辆，在执行操作时往往需要多人多次协同工作，在多人交互的过程中往往由于环境复杂，导致操作指引不够精确可靠，使得完成复杂操作十分困难，且作业精度不够理想。


技术实现要素：

3.鉴于现有技术的以上问题，本技术实施例提供一种车载目标匹配方法及装置、系统、计算设备和存储介质，结合激光定位装置和摄像装置采集到的信息，利用神经网络模型可实现快速高效的精确识别及辅助目标匹配的目的，能够为驾驶员提供可靠、多维、精确的辅助操作指引，从而可以轻松地完成复杂操作，提高作业精度。
4.达到上述目的，本技术第一方面提供了一种车载目标匹配方法，包括：
5.接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；
6.接收摄像装置采集到的目标物的图像信息；
7.将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；
8.其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。
9.作为第一方面的一种可能的实现方式，所述将所述距离与方位信息、所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息，包括：
10.所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；
11.将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。
12.作为第一方面的一种可能的实现方式，生成所述增广数据的方式包括以下至少之一：
13.对训练图像进行随机旋转；
14.对训练图像进行平移和尺度变化；
15.对训练图像的饱和度和亮度进行指数运算；
16.对训练图像添加噪声扰动。
17.作为第一方面的一种可能的实现方式，所述利用知识蒸馏对模型进行压缩，包括：
18.利用压缩之前的源网络的预测输出和温度参数，获得软标签；
19.将样本的真实标注作为硬标签；
20.将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。
21.本技术第二方面提供了一种车载目标匹配装置，包括：
22.第一接收单元，用于接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；
23.第二接收单元，用于接收摄像装置采集到的目标物的图像信息；
24.匹配单元，用于将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；
25.其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。
26.作为第二方面的一种可能的实现方式，所述匹配单元用于：
27.所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；
28.将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。
29.作为第二方面的一种可能的实现方式，所述装置还包括数据生成单元，所述数据生成单元用于采用以下至少之一的方式生成所述增广数据：
30.对训练图像进行随机旋转；
31.对训练图像进行平移和尺度变化；
32.对训练图像的饱和度和亮度进行指数运算；
33.对训练图像添加噪声扰动。
34.作为第二方面的一种可能的实现方式，所述装置还包括训练单元，所述训练单元用于：
35.利用压缩之前的源网络的预测输出和温度参数，获得软标签；
36.将样本的真实标注作为硬标签；
37.将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。
38.本技术第三方面提供了一种车载目标匹配系统，包括激光定位装置、摄像装置和上述任一项所述的目标匹配装置。
39.作为第三方面的一种可能的实现方式，所述系统还包括：
40.控制装置，用于接收来自所述匹配装置的目标物的位置和姿态的标记信息，根据所述目标物的位置和姿态的标记信息生成控制信息。
41.作为第三方面的一种可能的实现方式，所述系统还包括：
42.显示装置，用于展示所述目标物的位置和姿态的标记信息、所述控制信息中的至少之一。
43.本技术第四方面提供了一种计算设备，包括：
44.通信接口；
45.至少一个处理器，其与所述通信接口连接；以及
46.至少一个存储器，其与所述处理器连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述第一方面任一所述的方法。
47.本技术第五方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述第一方面任一所述的方法。
48.本发明的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
49.以下参照附图来进一步说明本发明的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本技术所涉及领域的惯常的且对于本技术非必要的特征，或是额外示出了对于本技术非必要的特征，附图所示的各个特征的组合并不用以限制本技术。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：
50.图1为本技术实施例提供的车载目标匹配方法的一实施例的示意图；
51.图2为本技术实施例提供的车载目标匹配方法的一实施例的硬件结构组成示意图；
52.图3为本技术实施例提供的车载目标匹配方法的一实施例的软件平台架构图；
53.图4为本技术实施例提供的车载目标匹配方法的一实施例的神经网络模型处理流程示意图；
54.图5为本技术实施例提供的车载目标匹配方法的一实施例的数据增广示意图；
55.图6为本技术实施例提供的车载目标匹配方法的一实施例的利用知识蒸馏进行模型压缩的示意图；
56.图7为本技术实施例提供的车载目标匹配装置的一实施例的示意图；
57.图8为本技术实施例提供的车载目标匹配装置的一实施例的示意图；
58.图9为本技术实施例提供的车载目标匹配系统的一实施例的设备连接关系示意图；
59.图10为本技术实施例提供的车载目标匹配系统的一实施例的硬件结构组成示意图；
60.图11为本技术实施例提供的计算设备的示意图。
具体实施方式
61.说明书和权利要求书中的词语“第一、第二、第三等”或模块a、模块b、模块c等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
62.在以下的描述中，所涉及的表示步骤的标号，如s110、s120
……
等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
63.说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置a和b的设备”不应局限为仅由部件a和b组成的设备。
64.本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。
65.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。如有不一致，以本说明书中所说明的含义或者根据本说明书中记载的内容得出的含义为准。另外，本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。为了准确地对本技术中的技术内容进行叙述，以及为了准确地理解本发明，在对具体实施方式进行说明之前先对本说明书中所使用的术语给出如下的解释说明或定义：
66.1)知识蒸馏(knowledge distillation，简称kd)：知识蒸馏是模型压缩的一种常用的方法。不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。这个大模型称之为teacher(教师模型)，小模型我们称之为student(学生模型)。来自teacher模型输出的监督信息称之为knowledge(知识)，而student学习迁移来自teacher的监督信息的过程称之为distillation(蒸馏)。知识蒸馏就是将已经训练好的模型包含的知识(knowledge)，蒸馏(distill)提取到另一个模型里面。
67.2)图像掩膜：用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩膜或模板。光学图像处理中，掩膜可以是胶片、滤光片等。数字图像处理中，掩膜为二维矩阵数组，有时也用多值图像。掩膜是一种图像滤镜的模板，实用掩膜经常处理的是遥感图像。当提取道路或者河流，或者房屋时，通过一个n*n的矩阵来对图像进行像素过滤，然后将需要的地物或者标志突出显示出来。这个矩阵就是一种掩膜。
68.下面先对现有的方法进行介绍，然后再对本技术的技术方案进行详细介绍。
69.传统的车辆在执行各种操作时，通常需要依靠地面指引人员与车辆驾驶员的交互、调整，才能完成操作动作。尤其是传统大型特种车辆，一般情况下需要依靠地面指引人员通过指挥与车辆驾驶员实现多次交互、多次调整才能完成的各类操作动作。对于大型车辆，环境复杂、视野不佳的场所，例如：矿区、危险品车辆、大型军用特种车辆，在执行操作时往往需要多人多次协同工作，在多人交互的过程中往往由于环境复杂，导致操作指引不够精确可靠，使得完成复杂操作十分困难，且作业精度不够理想。
70.现有技术存在着以下的缺陷：执行操作需要多人多次协同工作，交互繁琐、操作指引不够精确可靠、完成复杂操作十分困难，且作业精度不够理想。
71.基于上述现有技术所存在的技术问题，本技术提供了一种车载目标匹配方法及装置、计算设备和存储介质，结合激光定位装置和摄像装置采集到的信息，利用神经网络模型
实现快速高效的精确识别及辅助目标匹配的目的，能够为驾驶员提供可靠、多维、精确的辅助操作指引，可以轻松地完成复杂操作，提高作业精度。对于传统需要多人多次协作、核对才能完成的工作，应用该方法由精确识别算法给予实现，可以一气呵成地顺利完成操作，从而解决了现有技术中提到的交互繁琐、操作困难、操作指引不够精确可靠、作业精度不够理想的技术问题。
72.图1为本技术实施例提供的车载目标匹配方法的一实施例的示意图。如图1所示，该方法可以包括：
73.步骤s110，接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；
74.步骤s120，接收摄像装置采集到的目标物的图像信息；
75.步骤s130，将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；
76.其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。
77.车辆在执行各种操作任务时，需要为驾驶员或者执行相关操作的机械设备提供可靠、多维、精确的辅助操作指引。提供操作指引需要展示目标物的位置和姿态的标记信息。目标物可包括目标车或目标装备。例如，操作任务a要求本车将货物运送到目标车上，则提供操作指引需要展示目标车的位置和姿态的标记信息。又如，操作任务b要求本车的机械臂将氧气罐搬运到目标装备上，目标装备可能设置于目标车上或者设置于指定地点，则提供操作指引需要展示目标装备的位置和姿态的标记信息。
78.本技术实施例中，为实现精确匹配目标物，可在本车上设置目标匹配系统。在目标匹配系统中，可采用激光定位测距仪作为激光定位装置，采用多目景深摄像机作为摄像装置，将激光测距定位仪和多目景深摄像机集成为多目多用途景深识别采集器。利用该采集器获取目标物的距离与方位信息和目标物的图像信息。再采用本技术实施例提供的车载目标匹配方法，利用软件可以判断物体的景深、得到目标物的位置和姿态的标记信息，可实现快速高效的精确识别及辅助目标匹配的目的。并且，将带有该标记信息的前端现场图像实时显示在驾驶室显示载体上，能够为驾驶员提供可靠、多维、精确的辅助操作指引。
79.图2为本技术实施例提供的车载目标匹配方法的一实施例的硬件结构组成示意图。如图2所示，车载目标匹配系统的硬件包括多目景深摄像机、精确激光测距定位仪，以及信息处理主机。在信息处理主机内部署智能匹配算法平台，执行目标匹配方法。信息处理主机可安装在车辆驾驶室内，内嵌智能匹配算法对影像信息进行识别、匹配和计算，将计算结果发送至车体和人机交互界面上用于呈现指引。在图2中，智能匹配算法平台将辅助引导交互信息输出到车载显示终端。多目景深摄像机与信息处理主机之间采用sdi(serial digital interface，数字分量串行接口)相连接。激光测距定位仪与信息处理主机之间采用can(controller area network，控制器域网)相连接。另外，除多目景深摄像机之外，本车上设置的其它摄像机也可以与信息处理主机相连接，可接入原有环界视频，将视频信息发送给信息处理主机。
80.参见图1和图2，激光测距定位仪具备距离与方位指引功能，用以为操作员提供图像位置辅助位移直观的观感，提高引导的精确识别。在步骤s110中，接收激光测距定位仪获
取的目标物与本车的距离以及相对位置的信息。例如，激光测距定位仪获取到目标车在距离正前方500米的位置。多目景深摄像机可以安装在车辆车尾，用以高速车辆总线为车辆内外提供采集与显示输出图像的功能。在一个示例中，多目景深摄像机可含多光谱补光灯，以获取更加清晰的影像信息。在步骤s120中，接收多目景深摄像机获取的目标物的图像信息。获取的目标物的图像信息可以是二维或三维的图像信息。
81.本技术实施例中，使用神经网络算法实现对目标定位以及车辆姿态检测，相较于传统方法需要大量预设参数。神经网络算法使用线性权重和激活函数模拟人类神经元的工作方式，能够将原始数据映射到隐层特征空间，设置好的参数能够直接预测目标的位置信息以及车辆的姿态，具有更高的精度和鲁棒性。
82.在步骤s130中，将所述距离与方位信息、所述图像信息作为神经网络模型的输入信息，利用所述神经网络模型进行图像匹配，输出目标物的位置和姿态的标记信息。其中，姿态可包括本车与目标物之间存在俯仰、倾斜、航向等角度差异等信息。例如，神经网络模型输出的识别和匹配的结果为：目标装备的位置在左前方10米处，方向与正前方的偏角为10
°
；目标装备的位置高于本车，仰角为15
°
。在一个示例中，操作任务要求本车的机械臂将氧气罐搬运到目标装备上，则输出目标装备的位置和姿态的标记信息，可为操作任务提供明确的操作指引。
83.本技术实施例中，采用激光定位装置和摄像装置同时对目标物进行检测，可以采集到更加丰富的信息。相比较于仅采集图像信息的方式，本技术实施例可向神经网络模型输入更多、更全面的特征，从而使得模型的输出结果更加准确可靠。
84.另外，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。本技术实施例的神经网络架构中，利用增广后的数据对神经网络进行训练，自动学习最佳的网络模型。为实现快速高效的目标与车辆姿态检测，进一步使用知识蒸馏对学习到的模型进行压缩，可降低计算量、实现实时计算、实时显示呈现指引的效果。
85.图3为本技术实施例提供的车载目标匹配方法的一实施例的软件平台架构图。如图3所示，实现车载目标匹配方法的软件平台可包括硬件层、数据层、服务层、通讯层和展现层。智能匹配算法可部署在车辆终端内，为操作员提供人机交互界面。还可设置以独立软件或软件功能模块的形式实现的信息交互软件，主要用于接收用户交互信息，以及接收信息处理分系统的数据进行影像和数据显示。
86.参见图3，硬件层包括多目景深摄像机、辅助周视、激光测距仪、陀螺仪传感器、车规主控主机。辅助周视包括除多目景深摄像机之外的本车上设置的其它摄像机。比如设置于本车侧面的摄像机，可从侧面的视角获取环境图像或目标物图像信息。多目景深摄像机、辅助周视、激光测距仪和陀螺仪传感器用于采集目标物的信息。采集到的目标物的信息发送给车规主控主机。车规主控主机对信息进行处理，输出匹配识别结果或显示数据、控制数据等。
87.数据层包括实时高精度视频数据、目标模型库和激光实时数据。其中，目标模型库中可存储各种目标物的二维或三维模型，包括各种车型的目标车、各种型号的目标装备等。
88.服务层包括监控保护服务、业务集群服务和治理配置服务。监控保护服务包括链路跟踪和容错保护。业务集群服务包括目标识别、目标跟踪、基点分析、环境补偿、位移测量和姿态测量。治理配置服务包括配置管理。其中，通过环境补偿可进一步提升图像感观效
果。例如在光线较暗的环境中，可通过软件给图像增加亮度，改善图像视觉效果。服务层通过消息中间件、数据中间件、任务调度和数据流操作与数据层进行数据交互和调度控制。
89.通讯层包括车载总线、视频模拟信号、视频数字信号、以太网络和高速宽带总线。展现层包括车辆引导轨迹、车体匹配提示、车体位移信息和车体姿态信息。车辆引导轨迹包括对本车进行行驶引导；车体匹配提示包括在图像中匹配目标车的车型。车体位移信息和车体姿态信息包括预测目标车与本车之间的姿态偏差，例如仰角、高度偏差。
90.在一种实施方式中，所述将所述距离与方位信息、所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息，包括：
91.所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；
92.将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。
93.图4为本技术实施例提供的车载目标匹配方法的一实施例的神经网络模型处理流程示意图。如图4所示，输入图像经过卷积神经网络，生成一个精确的车辆掩膜。其中掩膜所在区域表示目标所在位置。再使用全连接层对目标车的车辆中心、目标车的水平度以及目标物的中心进行精确回归，最后将回归结果标记在输入图像中。其中，水平度可以用仰角表示。在机械臂控制的示例中，获取水平度以及目标物的中心的信息，可以指引机械臂将物资搬运到具体的指定位置。
94.在神经网络模型中，卷积网络可由多个卷积层构成，能够自动学习图像特征。浅层的卷积操作感受野较小，能够提取图像的局部特征，如目标边缘等等；深层的卷积操作具有较大的感受野，能够融合局部特征，从而提取到抽象的语义信息。因此网络设计时可在浅层使用较少的卷积核。随着网络加深，逐渐增加卷积核的个数，提高网络的语义提取能力。具体而言，每个卷积层可包括卷积、激活和池化操作。卷积操作是利用卷积核在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。该方式为网络提供了局部链连接、参数共享特性。激活操作利用激活函数对卷积结果进行非线性映射，使卷积层能够学习到非线性函数。常用的激活函数包括relu和sigmoid等。池化操作可以保留图像的主要特征并减少参数，同时为网络提供了一定的旋转、平移和尺度不变性。在卷积神经网络的最后一层，可使用两个卷积核回归出每个像素点为车辆和目标物的概率，生成车辆掩模。车辆形状会随图像视角发生轻微变化，因此将车辆掩模输入全连接层，将学到的车辆掩模特征表示映射到坐标空间中，通过回归的方式自动学习出车辆中心位置与水平度。
95.在一种实施方式中，生成所述增广数据的方式包括以下至少之一：
96.对训练图像进行随机旋转；
97.对训练图像进行平移和尺度变化；
98.对训练图像的饱和度和亮度进行指数运算；
99.对训练图像添加噪声扰动。
100.由于环境以及车辆自身位置的变化，实际场景下图像中的目标物可能受到多种因素影响。例如车辆运行时，视角和位置的变化使本车与目标物之间存在俯仰、倾斜、航向等
角度差异，此时目标物在视频中存在形变。此外，当光照条件变化，如目标物行驶到建筑物或者树丛的阴影下，视频图像的亮度将剧烈变化。当车辆行驶向目标物时，图像成像原理使得目标物的大小发生尺度缩放；当距离较远时，目标物在图像中很小；当两车越靠近时，目标物在图像中越大。考虑到采集数据时无法考虑到所有情况，因此本技术实施例中使用数据增广对数据集进行扩充。
101.数据增广通过几何变换、统计处理等操作扩张原始数据的范围，能够大大提高数据的多样性。通过对增广训练数据的学习，使网络学习到更多图像不变性特征，能够提高网络的泛化能力。本技术实施例中采用数据增广来提升神经网络对于环境变化的鲁棒性。
102.具体数据增广方法可包括以下方式的至少之一：
103.1)对训练图像进行顺时针或逆时针的随机旋转，改变图像内容的朝向，提升网络对车辆与目标物之间姿态变化时的鲁棒性；
104.2)对训练图像进行平移和尺度变化，将图像按设定的平移范围、方向及步长进行平移，以改变图像像素位置；按照指定的尺度因子对图像进行放大或缩小，以应对目标物尺度变化的情况；
105.3)在图像的hsv(hue，saturation，value)颜色空间，对饱和度和亮度进行指数运算，保持色调不变，同时增加光照变化，以应对不同天气情况下的图像数据；
106.4)对图像添加噪声扰动，添加脉冲噪声和高斯噪声等。
107.如图5所示，展示了数据增广模拟光照和视角变化的情况。
108.在一种实施方式中，所述利用知识蒸馏对模型进行压缩，包括：
109.利用压缩之前的源网络的预测输出和温度参数，获得软标签；
110.将样本的真实标注作为硬标签；
111.将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。
112.使用神经网络学习到的高精度车辆定位网络模型通常具有较高的复杂度，难以对视频图像进行实时处理。因此本技术实施例利用知识蒸馏将精度高、模型复杂的“源网络”相关的软目标作为损失函数的一部分，诱导低复杂度的“目标网络”的训练，实现知识迁移，从而学习到高效、精简、高精度的网络模型。
113.如图6所示，源网络的预测输出除以温度参数t之后、再做softmax变换，获得软化的概率分布，即软标签。温度t的数值越大，软标签分布越缓和；而t数值减小，则容易放大车辆检测错误概率，引入不必要的噪声。在本技术实施例的模型中，可设置t为1，确保源网络中正确预测的贡献。硬标签则是样本的真实标注，可用one-hot矢量表示。one-hot向量为有且只有一个元素为1，其余元素都为0的向量。表示学习中，one-hot通常被用于局部表示特征。使用one-hot的直接原因是现在多分类网络的输出通常是softmax层，而它的输出是一个概率分布，从而要求输入的标签也以概率分布的形式出现，进而进行交叉熵之类的运算。
114.本技术实施例中加权损失函数设计为软标签与硬标签所对应的交叉熵的加权平均。可根据模型的不同训练阶段，逐步减小软标签的加权系数。在训练初期阶段，软标签交叉熵的加权系数设置较大数值，表明迁移诱导依赖源网络的贡献，这有助于让目标网络更轻松地鉴别简单样本。在训练后期，通过适当减小软目标的权重，让真实标注帮助鉴别困难样本。采用以上方式，可使得模型训练速度快、训练效果好。
115.如图7所示，本技术还提供了相应的一种车载目标匹配装置的实施例。关于该装置的有益效果或解决的技术问题，可以参见与各装置分别对应的方法中的描述，或者参见发明内容中的描述，此处不再一一赘述。
116.在该车载目标匹配装置的实施例中，该装置包括：
117.第一接收单元100，用于接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；
118.第二接收单元200，用于接收摄像装置采集到的目标物的图像信息；
119.匹配单元300，用于将将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；
120.其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。
121.如图7所示，在一种实施方式中，所述匹配单元300用于：
122.所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；
123.将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。
124.如图8所示，在一种实施方式中，所述装置还包括数据生成单元400，所述数据生成单元400用于采用以下至少之一的方式生成所述增广数据：
125.对训练图像进行随机旋转；
126.对训练图像进行平移和尺度变化；
127.对训练图像的饱和度和亮度进行指数运算；
128.对训练图像添加噪声扰动。
129.在一种实施方式中，所述装置还包括训练单元500，所述训练单元500用于：
130.利用压缩之前的源网络的预测输出和温度参数，获得软标签；
131.将样本的真实标注作为硬标签；
132.将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。
133.参见图2，本技术还提供了相应的一种车载目标匹配系统的实施例。该系统包括激光定位装置、摄像装置和上述任一项所述的车载目标匹配装置。关于车载目标匹配装置和车载目标匹配系统的有益效果或解决的技术问题，可以参见上文中各装置的相关描述，或者参见发明内容中的描述，此处不再一一赘述。
134.图9为本技术实施例提供的车载目标匹配系统的一实施例的设备连接关系示意图。如图9所示，在车载目标匹配系统的另一种实施方式中，将多目精确传感器组件和毫米波雷达集成为采集器。其中，多目精确传感器组件中可包括多目景深摄像机。利用该采集器获取目标物的距离与方位信息和目标物的图像信息。再将采集器采集到的目标物的信息发送给目标识别控制平台。在目标识别控制平台中，利用cpu(central processing unit，中央处理器)和gpu(graphics processing unit，图形处理器)对目标物的信息进行识别和匹配，得到目标物的位置和姿态的标记信息。目标识别控制平台与多目精确传感器组件、毫米波雷达之间通过autbus总线进行数据交互。
135.参见图9，车载目标识别控制平台可采用微模块架构，易于设计和开发，具备较高的扩展性，符合未来平台发展方向。
136.在一种实施方式中，所述系统还包括：
137.控制装置，用于接收来自所述匹配装置的目标物的位置和姿态的标记信息，根据所述目标物的位置和姿态的标记信息生成控制信息。
138.在一种实施方式中，所述系统还包括：
139.显示装置，用于展示所述目标物的位置和姿态的标记信息、所述控制信息中的至少之一。
140.参见图9，在车载目标匹配系统中，可将车载业务控制器作为控制装置，将车载显示终端作为显示装置。目标识别控制平台与车载业务控制器之间通过rj45接口相连接。目标识别控制平台将目标物的位置和姿态的标记信息发送给车载业务控制器。车载业务控制器根据目标物的位置和姿态的标记信息生成控制信息，并将控制信息和/或目标物的位置和姿态的标记信息发送给车载显示终端。在车载显示终端上展示目标物的位置和姿态的标记信息和/或控制信息，为驾驶员提供可靠、多维、精确的辅助操作指引。
141.图10为本技术实施例提供的车载目标匹配系统的一实施例的硬件结构组成示意图。如图10所示，低照度摄像机、十字辅助激光定位器和毫米波雷达阵列组成位置感应模块。位置感应模块采用集成化思路，将信息采集与传感器进行模块化方式进行安装部署，视频采集选用低照度可见光摄像机，为自动对接系统的视频采集的主要器件。为适应野外复杂环境，摄相机还可集成红外补光灯，具备全天候星光级亮度下的车辆对接工作。为提升精度和准确性，本技术实施例还可配备激光定位器为车辆指引提供识别参考判别。高性能车载控制器通过autbus总线与位置感应模块进行数据交互，接收位置感应模块采集的目标物的位置和影像等信息，根据这些信息匹配得到目标物的位置和姿态的标记信息，并将该信息发送到触控车载显示终端。
142.在一个示例中，通过前期对车辆三维建模技术的采用，后期软件支持车辆目标模型库的扩容升级。例如在增加新的车型之后，可以对目标模型库进行扩容升级。目标匹配系统是一套开放的对接平台，支持后续软件升级扩展，满足后续不同车型及装备的资源自动对接工作。实现一次建设终生受益，具备良好的平台扩展性能。
143.车载目标匹配系统的后端通过软件算法和实时图像进行辅助导引工作，例如对于车辆倒车对接这种要求精确较高的场景，还具备接入现有毫米波雷达作为辅助立体轮廓精确测距功能，通过视频、光学、电磁三种技术的有机接合，来打造车辆对接传输系统的基本框架结构。本技术实施例提供的车载目标匹配系统具备高精度、高实时、高可靠、全天候工作的特点，可满足各种车辆、尤其是特种车辆智能辅助指引的应用需要。
144.图11是本技术实施例提供的一种计算设备900的结构性示意性图。该计算设备900包括：处理器910、存储器920、通信接口930。
145.应理解，图11中所示的计算设备900中的通信接口930可以用于与其他设备之间进行通信。
146.其中，该处理器910可以与存储器920连接。该存储器920可以用于存储该程序代码和数据。因此，该存储器920可以是处理器910内部的存储单元，也可以是与处理器910独立的外部存储单元，还可以是包括处理器910内部的存储单元和与处理器910独立的外部存储
单元的部件。
147.可选的，计算设备900还可以包括总线。其中，存储器920、通信接口930可以通过总线与处理器910连接。总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
148.应理解，在本技术实施例中，该处理器910可以采用中央处理单元(central processing unit，cpu)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门矩阵(field programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器910采用一个或多个集成电路，用于执行相关程序，以实现本技术实施例所提供的技术方案。
149.该存储器920可以包括只读存储器和随机存取存储器，并向处理器910提供指令和数据。处理器910的一部分还可以包括非易失性随机存取存储器。例如，处理器910还可以存储设备类型的信息。
150.在计算设备900运行时，所述处理器910执行所述存储器920中的计算机执行指令执行上述方法的操作步骤。
151.应理解，根据本技术实施例的计算设备900可以对应于执行根据本技术各实施例的方法中的相应主体，并且计算设备900中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
152.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
153.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
154.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
155.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
156.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
157.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
158.本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种多样化问题生成方法，该方法包括上述各个实施例所描述的方案中的至少之一。
159.本技术实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
160.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
161.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
162.可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
163.注意，上述仅为本技术的较佳实施例及所运用的技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明的构思的情况下，还可以包括更多其他等效实施例，均属于本发明的保护范畴。