一种目标检测方法及装置与流程

1.本技术涉及无人驾驶技术领域，尤其涉及一种目标检测方法及装置。


背景技术：

2.无人驾驶汽车(self-driving automobile)又称自动驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。其中，对于无人驾驶汽车，对行驶道路环境进行目标检测是实现车辆自动驾驶感知的关键技术环节。以确保车辆行驶感知系统确定车周环境，避免与其他车辆、行人等目标发生碰撞，进而实现车辆在车道上的安全自动驾驶。
3.上述目标检测技术是指无人驾驶汽车通过自身携带的传感器，识别周围环境中的其他车辆、行人等目标的技术。无人驾驶汽车可以携带一种或多种传感器进行工作。在复杂工作环境下，单一传感器获取的信息有局限性，仅仅依靠单一传感器不能够保证在各种条件下对目标进行正确的检测，会造成无人驾驶汽车的错误的环境感知。因此，通常利用多传感器融合的方式来弥补各自传感器的缺陷，从而更加准确、快速地进行目标检测，感知车辆周围的环境。其中，基于摄像头与毫米波雷达的融合技术以成为自动驾驶的重要技术之一。
4.目前，基于摄像头与毫米波雷达的融合的方案中，大多是利用毫米波雷达在相机图像的投影生成待检测区域，再在图像坐标系进行二维目标检测。然而，将毫米波雷达接收物体的3d点云信息转化到与视觉一致的2d平面图像的过程误差较大，从而会影响目标检测的准确率。


技术实现要素：

5.本技术提供一种目标检测方法及装置，可以用于提升目标检测的准确性。
6.为实现上述技术目的，本技术采用如下技术方案：
7.第一方面，本技术实施例提供了一种目标检测方法，该方法包括：获取待测区域的视觉图像和点云数据，点云数据包括一个或多个雷达反射点；将基于视觉图像提取出的一个或多个图像特征与点云数据关联，得到与每个图像特征相关联的一个或多个雷达反射点；根据与每个图像特征相关联的一个或多个雷达反射点，确定每个图像特征对应的雷达特征；根据每个图像特征和每个图像特征对应的雷达特征，检测待测区域内的目标对象的空间状态，目标对象包括人体和/或物体。
8.基于上述方法，该方法通过将视觉图像与点云数据进行特征关联，接着根据关联结果对点云数据进行特征提取，生成与图像特征对应的雷达特征。最后对两种特征进行融合处理，检测出待测区域内的目标对象的空间状态。如此，一方面，该方法在对视觉图像与点云数据的处理过程中，并未丢失雷达点云数据所体现的三维空间信息，图像特征可以与一个或多个雷达反射点相关联，可以降低孤立异常值对关联结果的影响；从而可以提升视觉图像与点云数据之间跨模态的传感器数据关联的准确性。另一方面，在检测出待检测区域的目标对象的同时，还能够估计出目标对象的三维空间状态。
9.在一种可能的实现方式中，上述将基于视觉图像提取出的一个或多个图像特征与点云数据关联，得到与每个图像特征相关联的一个或多个雷达反射点，包括：对于一个或多个图像特征中的第一图像特征，根据第一图像特征和点云数据，确定第一图像特征与每一个雷达反射点的关联概率；将关联概率大于或等于预设概率的雷达反射点确定为与第一图像特征相关联的雷达反射点。可以理解，在该实现方式中，可以基于图像特征与点云数据之间的空间位置信息，确定出图像特征与每一个雷达反射点的关联概率，进而基于关联概率来判断图像特征与雷达反射点是否关联，可以提升该判断过程的准确性。
10.在另一种可能的实现方式中，上述根据第一图像特征和点云数据，确定第一图像特征与每一个雷达反射点的关联概率根据图像特征和点云数据，确定与任一图像特征相关联的一个或多个雷达反射点，包括：确定第一任一图像特征与点云数据中每一个雷达反射点的相对位置关系；确定第一任一图像特征的深度信息和点云数据中每一个雷达反射点的深度信息；根据相对位置关系、第一任一图像特征的深度信息以及点云数据中每一个雷达反射点的深度信息，确定第一任一图像特征与每一个雷达反射点的关联概率；将关联概率大于或等于预设概率的雷达反射点确定为与任一图像特征相关联的雷达反射点。
11.在又一种可能的实现方式中，关联概率满足以下关系：
[0012][0013]
其中，d为雷达反射点的深度信息，μd为第一图像特征的深度信息中的深度均值，σd为第一图像特征的深度信息中的深度标准差，视锥体用于指示基于第一图像特征对应的目标图相框与图像采集设备的位置确定出的空间区域。
[0014]
在又一种可能的实现方式中，上述根据每个图像特征和每个图像特征对应的雷达特征，检测待测区域内的目标对象的空间状态，包括：对于一个或多个图像特征中的第一图像特征，确定第一图像特征和第一图像特征对应的雷达特征的联合特征；根据第一图像特征和联合特征，确定待测区域内的目标对象的空间状态。
[0015]
可以理解，在该实现方式中，首先确定图像特征与雷达特征的融合特征，进而基于融合特征进行目标检测，如此，可以充分利用视觉图像与点云数据之间在空间位置上的关联性，以提升目标检测的准确性。
[0016]
在又一种可能的实现方式中，上述根据第一图像特征和联合特征，确定待测区域内的目标对象的空间状态，包括：根据第一图像特征，确定待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项；根据联合特征，确定待测区域内的目标对象的速度信息和方向信息；根据第一图像特征和联合特征，确定待测区域内的目标对象的深度信息；根据待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项，确定目标对象的空间状态。
[0017]
可以理解，在该实现方式中，目标检测装置可以将需要预测的目标对象的预测信息进行分组预测，例如，基于视觉图像提取到的图像特征可用于预测目标对象的目标类别、朝向角、尺寸、中心偏移量等信息。而基于图像特征和雷达数据的联合特征，可以关于预测目标对象的速度信息和方向信息等。如此，可以充分发挥图像采集设备的采集数据与雷达
的采集数据各自的优势，并且可以提升预测的准确性。
[0018]
在又一种可能的实现方式中，根据第一图像特征，确定待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项，包括：将第一图像特征输入第一预测模块，得到待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项；其中，第一预测模块包括一个或多个第一子模块，一个第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核，一个第一子模块用于输出待测区域内的目标对象的目标类别、朝向角、尺寸或者中心偏移量。
[0019]
在又一种可能的实现方式中，上述根据联合特征，确定待测区域内的目标对象的速度信息和方向信息，包括：将联合特征输入第二预测模块，得到待测区域内的目标对象的速度信息和方向信息；其中，第二预测模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。
[0020]
在又一种可能的实现方式中，上述根据第一图像特征和联合特征，确定待测区域内的目标对象的深度信息，包括：将第一图像特征和联合特征输入第三预测模块，得到待测区域内的目标对象的深度信息；其中，第三预测模块包括一个或多个第一子模块和第二子模块，第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核，第二子模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。
[0021]
第二方面，本技术实施例提供了一种目标检测装置，该装置包括获取模块、特征关联模块、特征提取模块以及目标检测模块，其中，获取模块，用于获取待测区域的视觉图像和点云数据；特征关联模块，用于将基于视觉图像提取出的一个或多个图像特征与点云数据关联，得到与每个图像特征相关联的一个或多个雷达反射点；特征提取模块，用于根据与每个图像特征相关联的一个或多个雷达反射点，确定每个图像特征对应的雷达特征；目标检测模块，用于根据每个图像特征和每个图像特征对应的雷达特征，检测待测区域内的目标对象的空间状态，目标对象包括人体和/或物体。
[0022]
在一种可能的实现方式中，上述特征关联模块，具体用于：对于一个或多个图像特征中的第一图像特征，根据第一图像特征和点云数据，确定第一图像特征与每一个雷达反射点的关联概率；将关联概率大于或等于预设概率的雷达反射点确定为与第一图像特征相关联的雷达反射点。
[0023]
在另一种可能的实现方式中，上述特征关联模块，具体用于：确定第一图像特征与点云数据中每一个雷达反射点的相对位置关系；确定第一图像特征的深度信息和点云数据中每一个雷达反射点的深度信息；根据相对位置关系、第一图像特征的深度信息以及点云数据中每一个雷达反射点的深度信息，确定第一图像特征与每一个雷达反射点的关联概率。
[0024]
在又一种可能的实现方式中，关联概率满足以下关系：
[0025][0026]
其中，d为雷达反射点的深度信息，μd为第一图像特征的深度信息中的深度均值，σd为第一图像特征的深度信息中的深度标准差，视锥体用于指示基于第一图像特征对应的目
标图相框与图像采集设备的位置确定出的空间区域。
[0027]
在又一种可能的实现方式中，上述目标检测模块，具体用于：对于一个或多个图像特征中的第一图像特征，确定第一图像特征和第一图像特征对应的雷达特征的联合特征，根据第一图像特征和联合特征，确定待测区域内的目标对象的空间状态。
[0028]
在又一种可能的实现方式中，上述目标检测模块，具体用于：根据第一图像特征，确定待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项；根据联合特征，确定待测区域内的目标对象的速度信息和方向信息；根据第一图像特征和联合特征，确定待测区域内的目标对象的深度信息；根据待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项，确定目标对象的空间状态。
[0029]
在又一种可能的实现方式中，上述目标检测模块，具体用于：将第一图像特征输入第一预测模块，得到待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项；其中，第一预测模块包括一个或多个第一子模块，一个第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核，一个第一子模块用于输出待测区域内的目标对象的目标类别、朝向角、尺寸或者中心偏移量。
[0030]
在又一种可能的实现方式中，上述目标检测模块，还具体用于：将联合特征输入第二预测模块，得到待测区域内的目标对象的速度信息和方向信息；其中，第二预测模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。
[0031]
在又一种可能的实现方式中，上述目标检测模块，还具体用于：将第一图像特征和联合特征输入第三预测模块，得到待测区域内的目标对象的深度信息；其中，第三预测模块包括一个或多个第一子模块和第二子模块，第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核，第二子模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。
[0032]
第三方面，本技术提供一种电子设备，该电子设备包括存储器和处理器。上述存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行该计算机指令时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的目标检测方法。
[0033]
第四方面，本技术提供一种芯片系统，该芯片系统应用于目标检测装置；芯片系统包括一个或多个接口电路，以及一个或多个处理器。接口电路和处理器通过线路互联；接口电路用于从目标检测装置的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的目标检测方法。
[0034]
第五方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的目标检测方法。
[0035]
第六方面，本技术提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的目标检测方法。
[0036]
本技术中第二方面到第六方面及其各种实现方式的具体描述，可以参考第一方面
及其各种实现方式中的详细描述；并且，第二方面到第六方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。
附图说明
[0037]
图1为本技术实施例提供的一种目标检测系统的组成示意图；
[0038]
图2为本技术实施例提供的一种目标检测场景示意图；
[0039]
图3为本技术实施例提供的一种目标检测装置的结构示意图；
[0040]
图4为本技术实施例提供的一种目标检测方法的流程图；
[0041]
图5为本技术实施例提供的另一种目标检测方法的流程图；
[0042]
图6为本技术实施例提供的一种残差网络的示意图；
[0043]
图7为本技术实施例提供的一种图像特征和点云数据的联合模块的组成示意图；
[0044]
图8为本技术实施例提供的一种视锥体的示意图；
[0045]
图9为本技术实施例提供的另一种目标检测方法的流程图；
[0046]
图10为本技术实施例提供的一种目标检测模块的组成示意图；
[0047]
图11为本技术实施例提供的一种预测模块的组成示意图；
[0048]
图12为本技术实施例提供的一种目标检测装置的结构示意图。
具体实施方式
[0049]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0050]
在本技术的描述中，除非另有说明，“/”表示“或”的意思，例如，a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0051]
需要说明的是，本技术中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0052]
为了便于理解，首先对本发明实施例涉及到的一些术语或技术的基本概念进行简单的介绍和说明。
[0053]
1、目标检测
[0054]
目标检测是指从场景(例如，图像)中找出目标，并确定目标的位置的过程。目标检测在生活中多个领域中有着广泛的应用，例如，自动驾驶领域、驾驶辅助预警等领域。在进行目标检测与识别过程中，通常需要进行多传感器融合，例如，将激光雷达、毫米波雷达、视觉传感器、红外线传感器等采集到的数据进行融合，以获取车辆周围环境信息，即对车辆周围环境中的目标对象的检测。示例性的，该目标对象可以为车辆、人、树木、建筑物等车辆周
围环境中的任意对象。
[0055]
2、卷积神经网络(convolutional neural networks,cnn)
[0056]
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习的代表算法之一。卷积神经网络可以应用于图像识别(image classification)、物体识别(object recognition)、行为认知(action recognition)、姿态估计(pose estimation)、神经风格转换(neural style transfer)等计算机视觉方面，也可以应用于自然语言处理(natural language processing,nlp)方面等。
[0057]
一般而言，卷积神经网络包括输入层、隐含层和输出层。
[0058]
其中，卷积神经网络的输入层可以处理多维数据。以图像处理为例，输入层可以接收图像的像素值(三维数组)，即平面上的二维像素点和rgb通道的数值。
[0059]
卷积神经网络的隐含层包括一个或多个卷积层(convolutional layer)、一个或多个池化层(pooling layer)，以及一个或多个全连接层(fully-connected layer)。其中，卷积层的功能是对输入数据进行特征提取。卷积层之后一般会连接池化层，从而在卷积层进行特征提取后，输出的数据被传递到池化层进行选择和信息过滤。全连接层的每一个结点都与上一层的所有结点相连，用于将获取到的特征综合起来，全连接层在整个卷积神经网络中起到“分类器”的作用。
[0060]
卷积神经网络的输出层，其结构和工作原理与传统前馈神经网络的输出相同。例如，对于图形分类的卷积神经网络，输出层使用逻辑函数或归一化指数函数(softmax function)输出分类标签，例如：人、景、物等。
[0061]
3、雷达
[0062]
雷达是可以利用电磁波探测目标的设备。雷达的发射天线将发射机电路产生的高频电流信号或传输线上的导行波转化为可在空间传输的具有某种特定极化方式的电磁波沿着预设方向发射，当电磁波在前进方向遇到障碍物后，部分电磁波就会沿发射方向的反方向反射回去。此时，雷达的接收天线可以接收反射的电磁波，并将其转换为高频电流信号或传输线导行波，通过对得到的回波信号进行后续处理，可以提取目标的距离、速度和角度等状态信息。
[0063]
示例性的，雷达可以由雷达发射机、雷达接收机和天线组成。
[0064]
雷达发射机，是为雷达提供大功率射频信号的无线电装置，能够产生载波受调制的大功率射频信号，即电磁波。按调制方式，发射机可分为连续波发射机和脉冲发射机两类。发射机由一级射频振荡器和脉冲调制器组成。
[0065]
雷达接收机，是雷达中进行变频、滤波、放大和解调的装置。通过适当的滤波将天线接收到的微弱高频信号从伴随的噪声和干扰中选择出来，并经过放大和检波后，用于目标检测、显示或其它雷达信号处理。
[0066]
天线，是雷达设备中用来发射或接收电磁波并决定其探测方向的装置。在发射时，将能量集中辐射到需要照射的方向；在接收时，接收探测方向的回波，并分辨出目标的方位和/或仰角。
[0067]
4、点云数据
[0068]
点云数据是在同一空间参考系下，表达目标空间分布和目标表面特性的海量点集
合，在获取待测区域中或待测物体表面每个反射点的空间位置后，得到的是点的集合，称之为“点云”。其中，该空间参考系可以称为雷达坐标系。
[0069]
以上是对本公开的实施例中涉及到的技术术语的介绍，以下不再赘述。
[0070]
如背景技术所述，基于摄像头与毫米波雷达的融合，进而进行周边环境的目标检测已成为自动驾驶的常用方式之一。其中，毫米波雷达的探测距离远、探测精度高，能够反映出环境的空间三维信息，但却在细节描述方面有所欠缺，视觉传感器(例如摄像头)摄像头虽然无法反映出环境的空间三维信息，但却在细节及颜色描述方面具有突出的效果，弥补了毫米波雷达在识别物体方面的劣势。目前基于摄像头与毫米波雷达的融合技术的误差较大，从而导致目标检测的准确率较低。
[0071]
有鉴于此，本技术提供一种目标检测方法，该方法包括：首先获取待测区域的视觉图像和点云数据；对获取到的视觉图像进行特征提取，得到一个或多个图像特征；根据一个或多个图像特征和点云数据，确定每个图像特征对应的雷达特征；根据每个图像特征和每个图像特征对应的雷达特征，检测待测区域内的目标对象的空间状态，目标对象包括人体和/或物体。如此，在对视觉图像与点云数据的处理过程中，并未丢失雷达点云数据所体现的三维空间信息，从而可以提升视觉图像与点云数据之间跨模态的传感器数据关联的准确性。
[0072]
本技术实施例提供的方法本技术实施例的目标检测方法可以应用于无人机导航系统、无人驾驶系统、或驾驶辅助预警系统等，例如，包括行人碰撞预警(pcw)、前向碰撞预警(fcw)、车道偏离预警(ldw)、车距检测与警告(hmw)等。
[0073]
如图1所示，本技术实施例提供了一种目标检测系统的示意图。该目标检测系统100包括：图像采集设备10、雷达20以及控制设备30。其中，图像采集设备10和雷达20分别与控制设备30连接。
[0074]
应理解，上述连接的方式可以为无线连接，例如蓝牙连接、wi-fi连接等；或者，上述连接的方式也可以为有线连接，例如光纤连接等，对此不作限定。
[0075]
图像采集设备10为摄像头、摄像机、相机、扫描仪、或其他带有拍照功能的设备(例如，手机、平板电脑等)中的任意一种。
[0076]
可选的，图像采集设备10可以包括镜头(lens)和图像传感器。图像采集设备10的视场中的事物通过镜头(lens)生成的光学图像投射到图像传感器上，图像传感器将其转为电信号，再经过模数转换(a/d)转换等处理过程后，得到待测区域的视觉图像。
[0077]
雷达20可以是激光雷达传感器、毫米波雷达传感器等任意一种或多种组合。雷达20可以利用电磁波对待测区域内的目标进行探测，得到雷达点云数据。
[0078]
示例性的，如图2所示，设置于车辆a上的雷达可以向障碍物b发射探测电磁波，并接收障碍物b反射该探测电磁波而产生的回波信号，也即上述雷达点云数据。
[0079]
本技术的一些实施例中，采用抗干扰能力强、分辨能力强、测量精度高的毫米波雷达。
[0080]
其中，毫米波雷达是至工作在毫米波波段(millimeter wave)的雷达，可发射波长为1-10mm，频率为30ghz-300ghz的信号。在电磁频谱中，这种波长被视为短波长，短波长的意味着高准确度。示例性的，工作频率为76-81ghz(对应波长约为4mm)的毫米波系统将能够检测小至零点几毫米的移动。
[0081]
控制设备30用于通过本技术实施例的目标检测方法对待测区域的视觉图像和点云数据进行处理，以检测待测区域中的目标对象的空间信息，该空间信息可以用于反映目标的位置和/或类别属性。本技术实施例的目标检测方法可以提升目标检测的准确率，其具体实施方式可以参见下述方法实施例的解释说明。
[0082]
一种可能的实现方式中，上述图像采集设备10、雷达20和控制设备30可以设置在相同的设备上，例如，车辆、无人机等。
[0083]
另一种可能的实现方式中，上述图像采集设备10和雷达20可以是设置在相同的设备上，例如，车辆、无人机等，控制设备30可以是与图像采集设备10和雷达20分别连接的终端设备，该控制设备30可以与设置图像采集设备10和雷达20的设备进行通信，以获取待测区域的视觉图像和点云数据。
[0084]
其中，本技术实施例中的终端设备可以为例如手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)\虚拟现实(virtual reality，vr)设备、智能遥控器等。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。并且，在本技术实施例中，该终端设备可以具有与蜂窝网络和/或无线局域网络(wireless local area networks，wlan)进行通信的接口。
[0085]
本技术实施例还提供一种目标检测装置，该目标检测装置即为上述目标检测控制方法的执行主体。该目标检测装置具有数据处理能力的电子设备。例如，该目标检测装置可以是上述目标检测系统100中的控制设备30，或者该目标检测装置是该控制设备30中的一个功能模块，又或者该目标检测装置可以是与该控制设备30连接的任一计算设备等。本技术实施例对此不作限定。
[0086]
下面结合图3对目标检测装置200的一种硬件结构进行介绍。
[0087]
如图3所示，该目标检测装置200包括处理器210，通信线路220以及通信接口230。
[0088]
可选的，该目标检测装置200还可以包括存储器240。其中，处理器210，存储器240以及通信接口230之间可以通过通信线路220连接。
[0089]
其中，处理器210可以是中央处理器(central processing unit，cpu)、通用处理器网络处理器(network processor，np)、数字信号处理器(digital signal processing，dsp)、微处理器、微控制器、可编程逻辑器件(programmable logic device，pld)或它们的任意组合。处理器210还可以是其它任意具有处理功能的装置，例如电路、器件或软件模块，不做限制。
[0090]
在一种示例中，处理器210可以包括一个或多个cpu，例如图3中的cpu0和cpu1。
[0091]
作为一种可选的实现方式，目标检测装置200包括多个处理器，例如，除处理器210之外，还可以包括处理器270。通信线路220，用于在目标检测装置200所包括的各部件之间传送信息。
[0092]
通信接口230，用于与其他设备或其它通信网络进行通信。该其它通信网络可以为以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。通信接口230可以是模块、电路、收发器或者任何能够实现通信的装置。
[0093]
存储器240，用于存储指令。其中，指令可以是计算机程序。
[0094]
其中，存储器240可以是只读存储器(read-only memory，rom)或可存储静态信息和/或指令的其他类型的静态存储设备，也可以是存取存储器(random access memory，ram)或者可存储信息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备等，不予限制。
[0095]
需要指出的是，存储器240可以独立于处理器210存在，也可以和处理器210集成在一起。存储器240可以用于存储指令或者程序代码或者一些数据等。存储器240可以位于目标检测装置200内，也可以位于目标检测装置200外，不做限制。
[0096]
处理器210，用于执行存储器240中存储的指令，以实现本技术下述实施例提供的通信方法。例如，当目标检测装置200为终端或者终端中的芯片或者片上系统时，处理器210可以执行存储器240中存储的指令，以实现本技术提供的目标检测装置。
[0097]
作为一种可选的实现方式，目标检测装置200还包括输出器件250和输入器件260。其中，输出器件250可以是显示屏、扬声器等能够将目标检测装置200的数据输出给用户的器件。输入器件260是可以键盘、鼠标、麦克风或操作杆等能够向目标检测装置200输入数据的器件。
[0098]
需要指出的是，图3中示出的结构并不构成对该控制设备的限定，除图3所示部件之外，该控制设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0099]
下面结合说明书附图，对本技术提供的目标检测方法进行具体说明。
[0100]
如图4所示，本技术实施例提供了一种目标检测方法，可选的，该方法由图2所示的目标检测装置执行，该方法包括以下步骤：
[0101]
s101、目标检测装置获取待测区域的视觉图像和点云数据。
[0102]
其中，上述待测区域是指图1所示的目标检测系统能够检测到的区域。该区域在图像采集设备10能够采集图片的区域之内，同样的，该区域也在雷达20能够探测到的区域之内。
[0103]
例如，对于无人驾驶车辆的目标检测系统而言，该车辆中的目标检测系统会持续检测车辆周边的障碍物，以辅助车辆行驶感知车周环境，在车道上安全自动驾驶。在该目标检测系统中，待测区域是指在该车辆的周边环境中，正在进行目标检测的区域。并且，视觉图像可以为该车辆上安装的图像采集设备对待检测区域进行图像采集获取到的，图像采集设备可以将获取到的视觉图像发送给本实施例的目标检测装置。点云数据为该车辆上安装的雷达对待检测区域进行探测获取到的数据，雷达也可以将获取的点云数据发送给本实施例的目标检测装置。
[0104]
在实际使用中，雷达通常周期性发射电磁波，当电磁波在前进方向遇到障碍物后，部分电磁波就会沿发射方向的反方向反射回去。待检测区域内的目标对象反射回去的电磁波即为雷达接收到的回波信号，经过信号处理即可获得所需的雷达点云数据。可选的，对回波信号的信号处理包括快速傅里叶变换(fast fourier transform，fft)、恒虚警率(constant false alarm rate，cfar)等。
[0105]
其中，目标对象指处于待测区域内的车辆、人、树木等任意目标。雷达获取到的每
帧点云数据包括多个雷达反射点数据。此外，一个雷达反射点数据可以包括该雷达反射点的三维坐标信息。或者，一个雷达反射点数据可以包括该雷达反射点的二维坐标信息(也即平面坐标信息)。可选的，一个雷达反射点数据还可以包括速度信息、反射截面积、反射信号的信噪比、时间信息、反射强度信息等。在融合处理前，对于每个雷达反射点三维空间坐标，需要利用标定好的雷达设备与图像采集设备的外参，转换到图像采集设备坐标系，表示为(x，y，z)，其中z轴方向也称为深度d。
[0106]
可选的，待检测区域的点云数据与视觉图像可以是同步获取的数据。
[0107]
需要说明的是，上述同步获取可以理解为上述目标检测系统100中雷达设备20与图像采集设备10同时采集数据，或者可以理解为雷达设备20与图像采集设备10采集数据的帧率的偏差在预设范围内。例如，雷达按照第一帧率周期性采集点云数据，图像采集设备按照第二帧率周期性采集视觉图像，第一帧率和第二帧率的差值小于预设帧率阈值即可以认为上述点云数据和视觉图像是同步获取的数据。
[0108]
s102、目标检测装置将基于视觉图像提取出的一个或多个图像特征与点云数据关联，得到与每个图像特征相关联的一个或多个雷达反射点。
[0109]
在一些实施例中，目标检测装置可以对先对视觉进行特征提取，得到一个或多个图像特征。进而，再将各个图像特征与点云数据关联，得到与每个图像特征相关联的一个或多个雷达反射点。
[0110]
可选的，如图5所示，上述步骤s102可以具体包括s1021和s1022：
[0111]
s1021、目标检测装置对视觉进行特征提取，得到一个或多个图像特征。
[0112]
其中，特征提取是指从图像中提取出属于特征性的信息的方法及过程。例如，目标检测装置可以通过对该视觉图像的分析和变换，以提取出该视觉图像中的属于特征性的信息。
[0113]
其中，上述提取出的特征性的信息可以包括目标对象的轮廓、颜色等低层次的信息，还可以包含目标对象的完整信息的高层次特征信息。
[0114]
作为一种可能的实现方式，目标检测装置可以将视觉图像输入预先训练好的特征提取模型中进行特征提取，以得到该视觉图像的一个或多个图像特征。
[0115]
可选的，该特征提取模型可以采用卷积神经网络对获取到的视觉图像进行特征提取。该特征提取模型可以采用编码器-解码器结构，前半部分编码器采用下采样操作，通过多个特征提取层对该视觉图像进行初步特征提取，得到不同层次的特征信息。后半部分解码器采用上采样操作，对不同层次的特征信息进行拼接融合，进而得到融合处理后的特征信息。
[0116]
可选的，该特征提取模型的前半部分编码器可以采用残差网络(residual neural network，resnet)来实现。
[0117]
残差网络是神经网络中的一种，残差网络中包含有跳跃连接或者捷径连接(short-cut connection)，即在神经网络中加入直连通道，将输入的原始图像信息直接传送到在后的网络层，如此，在后的网络层可以不用学习在前网络层输出的整个图像信息，直接学习在前网络层输出的残差即可。这样一来，残差网络连接的引入能够避免网络中的梯度消失现象，并且可以加速训练。
[0118]
图6示出一种残差网络的示意图，如图6所述，该残差网络包括五个卷积模块。其
中，第一个卷积模块即图6中卷积模块1，使用64个步长为2、7x7卷积核的卷积滤波器，对输入的视觉图像进行卷积，进而得到1/2原视觉图像大小，通道数为64的图像特征。第二个卷积模块即卷积模块2，在卷积模块1输出的特征图上池化得到1/4原特征图像大小，通道数为64的图像特征，接着依次输入连续三个相同的残差块得到1/4原视觉图像大小，通道数为256的图像特征。其中，残差块的结构由64个1x1卷积核、64个3x3卷积核和256个1x1卷积核组成，经过三次卷积后得到最终残差块的输出。第三个卷积模块即卷积模块3采用和卷积模块2相同的结构，其中包含三组卷积的数量分别为128、128和512的共四个残差块，最终得到1/8原特征图像大小，通道数为512的特征图。第四个卷积模块即卷积模块4采用和卷积模块2相同的结构，其中残差块包含的三组卷积数量分别为256，256，1024，共23个残差块，69个卷积层。卷积模块4在卷积模块3输出的特征图上卷积，最终得到1/16原视觉图像大小，通道数为1024的图像特征。第五个卷积模块即卷积模块5，采用卷积模块2相同的结构，其中残差块包含的三组卷积数量分别为512，512，2048，共3个残差块，9个卷积层。卷积模块5在卷积模块4输出的特征图上卷积，最终得到1/32原视觉图像大小，通道数为2048的图像特征。
[0119]
进一步地，该特征提取模型的后半部分解码器可以包括三层反卷积层，对获取到的1/32原特征图像大小，通道数为2048的特征图上采样处理。可选的，上采样的的步长可以为2，也即上采样所采用的放大倍数为2。从而，经过三次上采样得到的1/4原特征图像大小，通道数为256的图像特征。图像特征可以表示为其中，wf＝w
img
/4，hf＝h
img
/4，w
img
为原视觉图像的宽，h
img
为原视觉图像的高。
[0120]
可选的，上述解码器的三层反卷积层可以为1
×
1卷积核、3
×
3卷积核以及1
×
1卷积核的组合。
[0121]
s1022、目标检测装置确定每个图像特征相关联的点云数据中的一个或多个雷达反射点数据。
[0122]
需要说明的是，根据上述步骤s101中的待检测区域的视觉图像与点云数据的相关描述可知，待检测区域中目标对象对雷达发射的电磁波进行反射，从而雷达接收到的点云数据。而待检测区域的视觉图像中也包括待检测区域中的目标对象的图像，对该视觉图像进行特征提取而得到的图像特征也可以体现待检测区域中的目标对象的视觉特征。从而，一个图像特征可以与点云数据中的一个或多个雷达反射点数据指示同一目标对象的同一位置。应理解，上述一个图像特征可以与点云数据中的一个或多个雷达反射点数据相关联。
[0123]
因此，为了确定每个图像特征对应的雷达特征，目标检测装置可以先确定每个图像特征相关联的点云数据中的一个或多个雷达反射点数据。
[0124]
在一些实施例中，对于提取到的每一个图像特征，目标检测装置根据该图像特征和点云数据，确定点云数据中，与该图像特征相关联的一个或多个雷达反射点。
[0125]
可选的，目标检测装置可以执行下述步骤s11至s14，以确定每个图像特征相关联的一个或多个雷达反射点。
[0126]
s11、目标检测装置确定图像特征与点云数据中每一个雷达反射点的相对位置关系。
[0127]
可选的，如图7中的(a)所示，目标检测装置可以先通过第一处理模块71对图像特征进行初步处理，生成该图像特征对应的目标图像框。
[0128]
其中，每个图像特征对应的目标图像框可以包括4维向量，分别为在视觉图像坐标
系中，该图像特征对应的矩形框的左上点的横坐标、纵坐标以及该矩形框的宽和高。
[0129]
可选的，如图7中的(b)所示，第一处理模块71的结构可以为3
×
3卷积核、线性整流(rectified linear unit，relu)单元以及1
×
1卷积核的组合。
[0130]
其中，relu单元也被称为修正线性单元，该单元采用的relu函数是一种人工神经网络中常用的激活函数，通常指代以斜坡函数其变种为代表的非线性函数，属于非线性的激活函数，其可以从生物学角度模拟出脑神经元接受信号更精确的激活模型。
[0131]
进而，基于该图像特征对应的目标图像框、图像采集设备的位置以及雷达反射点的位置，目标检测装置可以依次确定点云数据中的多个雷达反射点是否在所述视锥体内。
[0132]
需要说明的是，基于图像采集设备的成像原理，由于光是延直线传播的，物体成像时会在距离图像采集设备的中心点(也即光心)为距离f(也就是焦距)的像平面上形成倒立的图像。进而，可以在与该像平面关于相机中心对称的位置获得一个正向成像的虚拟像平面。可以理解，该物体在虚拟像平面对应的像素，可以根据物体与光心的连线与相平面的交点确定。应理解，上述光心、焦距等参数可以根据图像采集设备采集图像时的预设参数确定。
[0133]
从而，上述视锥体可以如图8所示，该视锥体包括远、近平面，上、下平面，左、右平面共6个平面。以该图像特征对应的目标图像框所在的平面作为上述虚拟像平面，连接光心和该目标图像框的四个角点，并设置两个与光心不同距离的截面作为该视锥体的远、近平面，即可获得上述视锥体。示例性的，可以设置一个距离光心0米的截面作为近平面，以及一个距离光心200米的截面作为远平面。
[0134]
一种示例中，目标检测装置可以根据该图像特征对应的目标图像框，确定出如图8所示的视锥体，再根据各个雷达反射点数据确定该雷达反射点的位置，进而确定该雷达反射点是否处于该视锥体内。
[0135]
另一种示例中，目标检测装置未生成如图8所示的视锥体，可以基于各个雷达反射点数据，将雷达反射点投影至目标图像框所在的虚拟像平面上，若雷达反射点对应的投影点在目标图像框内，则确定该雷达反射点在该视锥体内。反之，则确定该雷达反射点不在该视锥体内。
[0136]
s12、目标检测装置确定图像特征的深度信息和点云数据中每一个雷达反射点的深度信息。
[0137]
其中，基于步骤s101中点云数据的相关描述可知，一个雷达反射点数据可以包该雷达反射点的深度信息。
[0138]
可选的，如图7中的(a)所示，目标检测装置可以通过第二处理模块72对图像特征进行处理，生成该图像特征对应的深度信息。
[0139]
其中，每个图像特征对应的深度信息可以包括2维向量，分别为在三维空间中，该图像特征对应的多个像素点的深度的均值和标准差。
[0140]
可选的，第二处理模块的结构可以与上述第一处理模块的结构相同。
[0141]
s13、目标检测装置根据获取到的相对位置关系、图像特征的深度信息以及点云数据中每一个雷达反射点的深度信息，确定图像特征与每一个雷达反射点的关联概率。
[0142]
示例性的，目标检测装置可以根据以下公式(1)确定上述关联概率p。
[0143][0144]
其中，d为雷达反射点的深度信息，μd为上述图像特征的深度信息中的深度均值，σd为上述图像特征的深度信息中的深度标准差。
[0145]
s14、目标检测装置将关联概率大于或等于预设概率的雷达反射点确定为与图像特征相关联的雷达反射点。
[0146]
需要说明的是，对于一个图像特征而言，可以根据该图像特征与每一个雷达反射点的关联概率，将关联概率大于或等于预设概率的所有雷达反射点确定为该图像特征相关联的雷达反射点。应理解，一个图像特征相关联的雷达反射点的个数可以为一个，也可以多个，还可以为0个。并且，本技术对预设概率的取值不作限定。
[0147]
可选的，目标检测装置可以通过如图7中的(a)所示的关联模块73执行上述步骤s13至s14，输出关联结果，关联结果为与图像特征相关联的雷达反射点。
[0148]
s103、目标检测装置根据与每个图像特征相关联的一个或多个雷达反射点，确定每个图像特征对应的雷达特征。
[0149]
可选的，目标检测装置可以基于预设的pointnet网络模型，对与一个图像特征相关联的一个或多个雷达反射点的集合进行特征提取。pointnet网络模型的输入可以为n
×
7维矩阵，其中n为该图像特征相关联雷达反射点的个数，每个雷达反射点包括7维向量(x，y，z，v
x
，vy，vz，p)，(x，y，z)表示该雷达反射点的位置坐标，v
x
,vy和vz表示雷达速度，p表示关联概率。
[0150]
其中，pointnet网络模型是点云研究中的经典网络模型，pointnet网络模型是当前该领域中广泛使用的研究方法，在分类、语义分割(逐点分类)等问题上均具有优良表现。
[0151]
应理解，当图像特征没有向关联的雷达反射点时，该图像特征对应雷达特征向量可以为0。此外，经过pointnet网络模型的点云特征提取后，对于每个图像特征而言，具有与之对应的1024维雷达特征向量。最后将所有雷达特征向量按照图像特征f
img
的顺序排列，则可获得与之对应的雷达特征
[0152]
s104、目标检测装置根据每个图像特征和每个图像特征对应的雷达特征，检测待测区域内的目标对象的空间状态，目标对象包括人体和/或物体。
[0153]
其中，目标对象的空间状态可以包括目标对象的空间位置坐标，旋转角，空间移动速度等信息。
[0154]
其中，旋转角可以包括俯仰角、偏航角以及横滚角。俯仰角指目标对象的运动方向与水平面的夹角，偏航角是指目标对象的运动方向在水平面上的投影方向与水平面上的预定方向之间的夹角，预定方向可以设置为道路方向，横滚角用于表示横向倾角。
[0155]
应理解，上述俯仰角、偏航角以及横滚角为导航系统中用来标识目标运动情况的三种旋转角。
[0156]
可选的，如图9所示，上述步骤s104可以具体实现为以下步骤：
[0157]
s1041、对于每个图像特征，目标检测装置确定图像特征和图像特征对应的雷达特征的联合特征。
[0158]
可选的，目标检测装置将图像特征和图像特征对应的雷达特征进行拼接操作，可
以得到上述联合特征。
[0159]
具体的，目标检测装置可以特征提取模型中提取出的图像特征和pointnet网络模型中提取出的雷达特征，沿通道维度拼接，得到融合处理后的联合信息。
[0160]
s1042、目标检测装置根据图像特征和联合特征，确定待测区域内的目标对象的空间状态。
[0161]
需要说明的是，在确定待测区域内的目标对象的空间状态时，可能需要预测目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息、深度信息等预测信息。由于视觉图像通常具备稠密而丰富的语义信息，其在物体分类、尺寸测量等方面有较大优势，而雷达点云数据通常缺少丰富的语义信息，但可以应用于空间定位和速度测量等方面。因此，目标检测装置可以将需要预测的目标对象的预测信息进行分组预测，例如，基于视觉图像提取到的图像特征可用于预测目标对象的目标类别、朝向角、尺寸、中心偏移量等信息。而基于图像特征和雷达数据的联合特征，可以关于预测目标对象的速度信息和方向信息等。如此，可以充分发挥图像采集设备的采集数据与雷达的采集数据各自的优势，并且可以提升预测的准确性。
[0162]
可选的，目标检测装置可以执行下述步骤s21至s24，以根据图像特征和联合特征，确定待测区域内的目标对象的空间状态。
[0163]
s21、目标检测装置根据图像特征，确定待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项。
[0164]
其中，目标类别可以包括车辆、人、树木以及建筑物等。
[0165]
朝向角指以目标对象的位置为中心，将正北或正南方向作为起始方向旋转到目标对象的目标方向线所成的角，目标方向线可以指向目标对象的运动方向。
[0166]
如图10所示，目标检测装置可以通过第一预测模块101对获取到的图像特征进行信息预测，得到目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项。其中，第一预测模块101可以包括四个结构相同的第一子模块，分别输出上述目标类别、朝向角、尺寸或者中心偏移量。
[0167]
如图11中的(a)所示，第一预测模块101的一个第一子模块的结构可以为3
×
3卷积核、线性整流单元以及1
×
1卷积核的组合。
[0168]
s22、目标检测装置根据联合特征，确定待测区域内的目标对象的速度信息和方向信息。
[0169]
如图10所示，目标检测装置可以通过第二预测模块102对获取到的联合特征进行信息预测，得到目标对象的速度信息和方向信息。其中，如图11中的(b)所示，第二预测模块102采用的结构可以为1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核的组合。
[0170]
s23、目标检测装置根据图像特征和联合特征，确定待测区域内的目标对象的深度信息。
[0171]
其中，目标对象的深度信息包括目标对象与目标检测装置之间的距离。
[0172]
如图10所示，目标检测装置可以通过第三预测模块103对获取到的联合特征进行信息预测，得到目标对象的速度信息和方向信息。如图11中的(c)所示，第三预测模块103采用的结构可以为第一预测模块101与第二预测模块102的结合。第三预测模块103可以将图
像特征输入基于第一预测模块101的结构的一个或多个第一子模块中，并将联合特征输入基于第二预测模块101的结构的第二子模块中，从而第三预测模块103可以进一步将各个第一子模块输出的数据与第二子模块输出的数据基于各种数据预设的自定义权重，结合处理得到目标对象的速度信息和方向信息。此外，该结合处理可以包括逐个相加、逐个相乘或者逐个相加与逐个相乘相结合的计算方式。
[0173]
s24、目标检测装置根据待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项，确定目标对象的空间状态。
[0174]
如图10所示，目标检测装置可以通过三维目标检测模块104解析目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项，确定目标对象的空间状态。
[0175]
可选的，目标检测装置可以根据每个图像特征和每个图像特征对应的雷达特征进行检测，并依据检测得到的空间状态将目标对象投影到待检测区域的三维空间表达，以显示目标对象的位置与运动状态，也即目标对象的三维空间状态。
[0176]
基于上述实施例，该方法通过将视觉图像与点云数据进行特征关联，接着根据关联结果对点云数据进行特征提取，生成与图像特征对应的雷达特征。最后对两种特征进行融合处理，检测出待测区域内的目标对象的空间状态。如此，一方面，该方法在对视觉图像与点云数据的处理过程中，并未丢失雷达点云数据所体现的三维空间信息，从而可以提升视觉图像与点云数据之间跨模态的传感器数据关联的准确性。另一方面，在检测出待检测区域的目标对象的同时，还能够估计出目标对象的三维空间状态。
[0177]
上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术目标应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术目标可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0178]
如图12所示，为本技术实施例还提供的一种目标检测装置300的结构示意图。该目标检测装置300包括获取模块301、特征关联模块302、特征提取模块303以及目标检测模块304。
[0179]
其中，获取模块301，用于获取待测区域的视觉图像和点云数据。
[0180]
特征关联模块302，用于将基于视觉图像提取出的一个或多个图像特征与点云数据关联，得到与每个图像特征相关联的一个或多个雷达反射点。
[0181]
特征提取模块303，用于根据与每个图像特征相关联的一个或多个雷达反射点，确定每个图像特征对应的雷达特征。
[0182]
目标检测模块304，用于根据每个图像特征和每个图像特征对应的雷达特征，检测待测区域内的目标对象的空间状态，目标对象包括人体和/或物体。
[0183]
在一种可能的实现方式中，上述特征关联模块302，具体用于：对于一个或多个图像特征中的第一图像特征，根据第一图像特征和点云数据，确定第一图像特征与每一个雷达反射点的关联概率；将关联概率大于或等于预设概率的雷达反射点确定为与第一图像特征相关联的雷达反射点。
[0184]
在另一种可能的实现方式中，上述特征关联模块302，具体用于：确定第一图像特征与点云数据中每一个雷达反射点的相对位置关系；确定第一图像特征的深度信息和点云数据中每一个雷达反射点的深度信息；根据相对位置关系、第一图像特征的深度信息以及点云数据中每一个雷达反射点的深度信息，确定第一图像特征与每一个雷达反射点的关联概率。
[0185]
在又一种可能的实现方式中，关联概率满足以下关系：
[0186][0187]
其中，d为雷达反射点的深度信息，μd为第一图像特征的深度信息中的深度均值，σd为第一图像特征的深度信息中的深度标准差，视锥体用于指示基于第一图像特征对应的目标图相框与图像采集设备的位置确定出的空间区域。
[0188]
在又一种可能的实现方式中，上述目标检测模块304，具体用于：对于一个或多个图像特征中的第一图像特征，确定第一图像特征和第一图像特征对应的雷达特征的联合特征，根据第一图像特征和联合特征，确定待测区域内的目标对象的空间状态。
[0189]
在又一种可能的实现方式中，上述目标检测模块304，具体用于：根据第一图像特征，确定待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项；根据联合特征，确定待测区域内的目标对象的速度信息和方向信息；根据第一图像特征和联合特征，确定待测区域内的目标对象的深度信息；根据待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项，确定目标对象的空间状态。
[0190]
在又一种可能的实现方式中，上述目标检测模块304，具体用于：将第一图像特征输入第一预测模块，得到待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项；其中，第一预测模块包括一个或多个第一子模块，一个第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核，一个第一子模块用于输出待测区域内的目标对象的目标类别、朝向角、尺寸或者中心偏移量。
[0191]
在又一种可能的实现方式中，上述目标检测模块304，还具体用于：将联合特征输入第二预测模块，得到待测区域内的目标对象的速度信息和方向信息；其中，第二预测模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。
[0192]
在又一种可能的实现方式中，上述目标检测模块304，还具体用于：将第一图像特征和联合特征输入第三预测模块，得到待测区域内的目标对象的深度信息；其中，第三预测模块包括一个或多个第一子模块和第二子模块，第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核，第二子模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。态。
[0193]
关于上述可选方式的具体描述可以参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种目标检测装置300的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。
[0194]
作为示例，结合图3，目标检测装置300的获取模块301所实现的功能可以通过图3
中的通信线路220实现，当然不限于此。
[0195]
本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0196]
需要说明的是，图12中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，还可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0197]
本技术实施例还提供了一种计算机可读存储介质，包括计算机执行指令，当其在计算机上运行时，使得计算机执行上述实施例提供的任意一种方法。例如，图4中s101～s104的一个或多个特征可以由该计算机可读存储介质中储存的一个或多个计算机执行指令来承担。
[0198]
本技术实施例还提供了一种包含计算机执行指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的任意一种方法。
[0199]
本技术实施例还提供了一种芯片，包括：处理器和接口，处理器通过接口与存储器耦合，当处理器执行存储器中的计算机程序或计算机执行指令时，使得上述实施例提供的任意一种方法被执行。
[0200]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0201]
尽管结合具体特征及其实施例对本技术进行了描述，显而易见的，在不脱离本技术的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本技术的示例性说明，且视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
[0202]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。