目标检测方法、跟踪方法、装置、视觉传感器和介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种目标检测方法、跟踪方法、装置、视觉传感器和介质。


背景技术：

2.智能交通系统指的是交通参与者通过装在道路上、车上等位置上的传感器和传输设备，向交通信息中心提供各地的实时交通信息，交通信息中心得到这些信息并通过处理后，可以向交通参与者提供道路交通信息等与出行相关的其他信息，出行者根据这些信息就可以确定自己的出行方式以及选择路线等，从而可以确保交通出行安全。
3.相关技术中，在向交通信息中心提供各地的实时交通信息时，通常是通过单目相机采集道路场景中的图像数据，以及通过雷达采集道路场景中的距离等深度信息，然后相机和雷达将各自采集的信息传输给交通信息中心进行处理。
4.然而上述技术在雷达发生故障时，难以向交通信息中心提供深度信息，从而会导致交通信息中心无法实现对道路场景中的目标进行检测及跟踪。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够在雷达发生故障时，依然可以提供深度信息，以便对场景中的目标进行检测和跟踪的目标检测方法、跟踪方法、装置、视觉传感器和介质。
6.一种目标检测方法，应用于视觉传感器，该方法包括：
7.获取目标场景的图像；
8.利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
9.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
10.在其中一个实施例中，上述利用目标感知算法处理上述图像，得到二维目标检测结果，包括：
11.利用上述目标感知算法对上述图像进行处理，得到上述图像中目标所在的目标框和上述目标的类别；
12.根据上述目标框中的各个像素点的位置，得到上述目标的像素位置；
13.将上述目标的像素位置和上述目标的类别确定为上述二维目标检测结果。
14.在其中一个实施例中，上述根据上述目标框中的各个像素点的位置，得到上述目标的像素位置，包括：
15.根据上述目标框中的各个像素点的位置，从中确定出定位像素点的位置；上述定位像素点用于表征上述目标在上述图像中的位置；
16.将上述定位像素点的位置作为上述目标的像素位置。
17.在其中一个实施例中，上述定位像素点的位置为上述目标框的底边中心点。
18.在其中一个实施例中，上述利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果，包括：
19.利用上述映射模型处理上述目标的像素位置，得到上述目标的三维位置。
20.在其中一个实施例中，上述根据上述目标框中的各个像素点的位置，得到上述目标的像素位置，包括：
21.根据上述目标框中的各个像素点的位置，从中确定出上述目标框对应的边界框的位置；
22.将上述边界框的位置作为上述目标的像素位置。
23.在其中一个实施例中，上述利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果，包括：
24.从上述边界框的位置中获得上述边界框的底边的位置，利用上述映射模型进行处理得到上述底边的位置对应的深度信息；
25.根据上述底边的位置对应的深度信息，构建上述目标的长和宽；
26.从上述边界框的位置中获得上述边界框的高度，根据上述边界框的高度构建上述目标的实际高度；
27.根据上述目标的长和宽以及实际高度，得到上述目标的尺寸。
28.一种目标跟踪方法，应用于视觉传感器，该方法包括：
29.获取目标场景的视频数据；该视频数据包括多帧图像；
30.利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
31.利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
32.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
33.根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
34.在其中一个实施例中，上述目标的三维位置为上述目标在世界坐标系下的三维坐标，上述目标的三维跟踪结果包括上述目标的经纬度信息；上述根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果，包括：
35.根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；
36.获取上述雷达传感器对应的雷达坐标下的原点的经纬度信息，以及上述雷达坐标系的任意一个轴与候选方向的夹角；上述候选方向与上述原点的经纬度信息相关；
37.利用上述原点的经纬度信息和上述夹角，对上述每帧图像对应的上述目标的三维坐标进行转换，得到上述每帧图像对应的上述目标的经纬度信息。
38.在其中一个实施例中，上述目标的三维位置为上述目标在世界坐标系下的三维坐标，上述目标的三维跟踪结果包括上述目标的速度和加速度；上述根据上述三维目标检测
结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果，包括：
39.根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；
40.获取世界坐标系下的原点的三维坐标，将上述原点的三维坐标和任意一帧图像对应的上述目标的三维坐标进行连接，得到上述帧图像对应的目标的位置矢量；
41.获取相邻两帧图像各自对应的采集时间，并根据上述相邻两帧图像的采集时间得到上述相邻两帧图像之间的时间差；
42.对相邻两帧图像的上述目标的位置矢量进行数学运算处理，得到上述目标的位置矢量变量；
43.对上述位置矢量变量和上述时间差进行数学运算处理，得到上述目标的速度和加速度。
44.在其中一个实施例中，上述目标的三维跟踪结果包括上述目标的航向角和角速度；上述方法还包括：
45.获取上述世界坐标系下的任意一个轴，并将上述轴作为基准轴；
46.计算上述位置矢量变量与上述基准轴之间的夹角，并将得到的夹角确定为上述目标的航向角；
47.对上述航向角和上述时间差进行数学运算处理，得到上述目标的角速度。
48.一种目标检测装置，应用于视觉传感器，该目标检测装置包括：
49.第一获取模块，用于获取目标场景的图像；
50.第一检测模块，用于利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
51.第一映射处理模块，用于利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
52.一种目标跟踪装置，应用于视觉传感器，该目标跟踪装置包括：
53.第二获取模块，用于获取目标场景的视频数据；上述视频数据包括多帧图像；
54.第二检测模块，用于利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
55.二维跟踪模块，用于利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
56.第二映射处理模块，用于利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
57.三维跟踪模块，用于根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
58.一种视觉传感器，包括摄像头、存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
59.获取目标场景的图像；
60.利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结
果包括目标的像素位置和类别；
61.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
62.一种视觉传感器，包括摄像头、存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
63.获取目标场景的视频数据；该视频数据包括多帧图像；
64.利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
65.利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
66.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
67.根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
68.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
69.获取目标场景的图像；
70.利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
71.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
72.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
73.获取目标场景的视频数据；该视频数据包括多帧图像；
74.利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
75.利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
76.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
77.根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
78.上述目标检测方法、跟踪方法、装置、视觉传感器和介质，可以通过视觉传感器获取目标场景的图像，利用目标感知算法处理该图像，得到二维目标检测结果，利用预设的映射模型处理二维目标检测结果，得到三维目标检测结果。其中，上述二维目标检测结果包括目标的像素位置和类别，映射模型包括图像的像素点的位置和雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。在该方法中，由于
视觉传感器可以建立包括图像的像素点的位置与点云的深度信息的映射模型，这样在雷达无法提供深度信息时，视觉传感器自身也可以通过预先建立的映射模型，得到目标的像素位置对应的深度信息，即可以得到目标的三维目标检测结果，从而可以向智能交通信息中心提供目标的深度信息以及三维目标检测结果，以便智能交通信息中心可以对依据目标的深度信息以及三维目标检测结果对目标进行检测和跟踪，从而可以保证目标场景中目标的安全行驶。
附图说明
79.图1为一个实施例中视觉传感器的内部结构图；
80.图2为一个实施例中目标检测方法的流程示意图；
81.图3为另一个实施例中目标检测方法的流程示意图；
82.图3a为另一个实施例中利用插值方法获取深度信息的流程示意图；
83.图3b为另一个实施例中利用插值方法获取深度信息的示例图；
84.图4为另一个实施例中目标跟踪方法的流程示意图；
85.图5为一个实施例中目标检测装置的结构框图；
86.图6为一个实施例中目标跟踪装置的结构框图。
具体实施方式
87.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
88.本技术实施例提供的目标检测方法和目标跟踪跟踪方法，可以应用于如图1所示的视觉传感器中，该视觉传感器可以是单目相机，例如可以是枪型相机、半球型相机、球型相机等等，其具备计算能力。该视觉传感器可以包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置，还可以包括摄像头，该摄像头主要用来采集场景中目标的图像数据，其可以与处理器连接，用于将采集的图像数据传输给处理器进行处理。其中，该视觉传感器的处理器用于提供计算和控制能力。该视觉传感器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该视觉传感器的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标检测方法和目标跟踪方法。
89.本领域技术人员可以理解，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的视觉传感器的限定，具体的视觉传感器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
90.需要说明的是，本技术实施例的执行主体可以是视觉传感器，也可以是视觉传感器内部的目标检测装置和目标跟踪装置，下面就以视觉传感器为执行主体来进行说明。
91.在一个实施例中，提供了一种目标检测方法，本实施例涉及的是如何对目标进行检测，得到目标的三维目标检测结果的具体过程。如图2所示，该方法可以包括以下步骤：
92.s202，获取目标场景的图像。
93.其中，目标场景可以是道路场景，当然也可以是别的场景，道路场景可以是室外道路场景，也可以是室内游乐道路场景等。目标场景的图像可以包括目标，也可以不包括目标，本实施例主要针对目标场景中包括目标的情况进行说明。目标场景中的目标可以是道路场景中的车辆、行人等等，目标的数量可以是一个或多个。
94.另外，视觉传感器可以是单目相机，通常可以设置道路中的侧杆上(可以是立杆、横杆等等)，这样视觉传感器就可以采集道路场景中的车辆或行人等的图像。
95.当然，也可以是采用视觉传感器采集道路场景的视频数据，视频数据中的各帧图像一般是连续的不同时刻采集的图像，例如在1-10s，每秒采集一张图像，得到10帧图像，然后从视频数据中选取一帧作为这里的目标场景的图像。
96.s204，利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别。
97.其中，这里的目标感知算法可以是yolov3目标检测算法、卡尔曼跟踪算法、sort跟踪算法等等。当然，也可以采用语义分割算法对上述目标场景的图像进行处理。
98.具体的，可以通过采用目标感知算法对上述目标场景的图像进行目标检测，得到该图像中目标的二维目标检测结果，该二维目标检测结果包括目标的像素位置、目标的类别、标识、目标的置信度等等。
99.s206，利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
100.在本步骤中，在利用映射模型处理上述二维目标检测结果之前，可选的，可以先检测雷达传感器是否失效，若雷达失效，则可以执行本步骤，即执行利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果的步骤。这里的雷达传感器失效指的是雷达传感器损坏、雷达传感器采集的数据中部分数据损坏、受天气环境等客观原因导致的雷达传感器采集的数据失真、数据丢失、数据不可用等情况。这里的雷达传感器可以是激光雷达、毫米波雷达等等，激光雷达可以包括8线、16线、24线、128线激光雷达，毫米波雷达可以是24g、77g雷达等等。
101.其中，这里的映射模型可以是拟合映射模型，也可以是深度学习模型，那么这里在利用图像上像素点的位置得到对应的深度信息之前，也可以先得到图像上的像素点的位置和点云的深度信息之间的拟合映射模型或深度学习模型。
102.在得到拟合映射模型和深度学习模型时，可以通过采集同一场景中在各个时刻下的历史图像数据和历史点云数据，其中，历史图像数据中包括历史对象的像素点的位置，历史图像数据可以通过视觉传感器测量得到，历史点云数据中包括历史对象在该像素点上的深度信息，该深度信息可以表征历史对象与采集设备之间的距离、以及在物理坐标系中的x、y、z坐标及相关角度等，这里的采集设备指的是雷达传感器，历史对象可以是场景中的车辆、行人等等；然后将同一时刻的历史图像数据中像素点的位置和点云数据中的深度信息关联起来，得到两者之间的映射关系，即得到拟合映射模型。同样的，可以将同一时刻的历史图像数据中像素点的位置作为初始深度学习模型的输入，将该时刻下的历史点云数据中的深度信息作为标签，对初始深度学习模型进行训练，得到深度学习模型。
103.需要说明的是，以路侧来说，通常视觉传感器和雷达传感器是安装在路侧的同一位置处的，所以上面提到的历史点云数据中的深度信息，可以表征历史对象与雷达传感器之间的距离，实质上也就是和视觉传感器之间的距离；同时也可以表述历史对象在物理坐标系中的x、y、z坐标及相关角度等，也可以称为历史对象的三维位置。
104.在建立好拟合映射模型或深度学习模型之后，就可以将图像上目标的像素位置输入至拟合映射模型或深度学习模型中，即就可以采用拟合映射模型或深度学习模型对上述二维目标检测结果进行处理，得到目标的像素位置上对应的深度信息，也即就可以得到目标的三维位置；之后，通过目标的三维位置也就可以得到目标的尺寸。
105.通过本实施例中的视觉传感器，既可以得到图像上目标的像素位置，也可以获得目标的像素位置对应的深度信息，可见，本实施例可以通过一个视觉传感器就可以实现像素位置以及深度信息的映射，这样在实际应用过程中，就不需要给路侧或车辆上装过多的传感器，只需要安装一个本实施例的视觉传感器就可以实现相机和雷达两者的功能，从而可以降低系统的整体成本；同时维护起来只需要维护该视觉传感器即可，这样相对会比较容易，从而也会降低维护成本；进一步地，也可以节省系统空间，减少系统的传感器数量。
106.上述目标检测方法中，可以通过视觉传感器获取目标场景的图像，利用目标感知算法处理该图像，得到二维目标检测结果，利用预设的映射模型处理二维目标检测结果，得到三维目标检测结果。其中，上述二维目标检测结果包括目标的像素位置和类别，映射模型包括图像的像素点的位置和雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。在该方法中，由于视觉传感器可以建立包括图像的像素点的位置与点云的深度信息的映射模型，这样在雷达无法提供深度信息时，视觉传感器自身也可以通过预先建立的映射模型，得到目标的像素位置对应的深度信息，即可以得到目标的三维目标检测结果，从而可以向智能交通信息中心提供目标的深度信息以及三维目标检测结果，以便智能交通信息中心可以对依据目标的深度信息以及三维目标检测结果对目标进行检测和跟踪，从而可以保证目标场景中目标的安全行驶。
107.在另一个实施例中，提供了另一种目标检测方法，本实施例涉及的是视觉传感器如何利用目标感知算法处理图像，得到二维目标检测结果的具体过程。在上述实施例的基础上，如图3所示，上述s204可以包括以下步骤：
108.s302，利用目标感知算法对图像进行处理，得到上述图像中目标所在的目标框和上述目标的类别。
109.具体的，可以通过采用目标感知算法对上述目标场景的图像进行目标检测，得到图像上各个目标所在的目标框以及得到各个目标的类别、各个目标的置信度、各个目标的标识等。
110.目标的类别可以是目标所属的类别，例如目标的类别可以是目标是男人或女人，目标是哪种动物等等；目标的置信度表示目标框中的目标属于每个类别的目标的概率。
111.s304，根据上述目标框中的各个像素点的位置，得到上述目标的像素位置。
112.在本步骤中，目标的像素位置可以是一个像素点的像素位置，也可以是多个像素点的像素位置，以下就分为这两种情况进行说明。
113.在一种可能的实施方式中，以目标的像素位置是一个像素点的像素位置来说，可选的，可以根据上述目标框中的各个像素点的位置，从中确定出定位像素点的位置；上述定
位像素点用于表征上述目标在上述图像中的位置；将上述定位像素点的位置作为上述目标的像素位置。可选的，上述定位像素点的位置为上述目标框的底边中心点。
114.在这里，在上述得到目标所在的目标框之后，也可以得到目标框中各个像素点在图像上的位置，这样在得到目标框中各个像素点的位置后之后，也就可以得到目标框的各个边界，然后可以从中选出目标框的底边，并从底边的各个像素点中选出中心的像素点，记为底边中心点。通常目标框是矩形框，底边是最靠近地面的边界，所以这里选取目标框的底边中心点来表征目标，那么得到的目标就是比较接近地面的，也就是符合实际情况的。
115.另外，在实际对目标进行检测和跟踪的过程中，采用目标框中的所有像素点来表征待跟踪目标，其计算量较大，因此这里采用定位像素点来表征目标，可以节省计算量，提高目标检测和跟踪的效率。
116.在另一种可能的实施方式中，以目标的像素位置是多个像素点的像素位置来说，可选的，可以根据上述目标框中的各个像素点的位置，从中确定出上述目标框对应的边界框的位置；将上述边界框的位置作为上述目标的像素位置。
117.也就是说，上述在得到目标框中各个像素点的位置后之后，也就可以得到目标框的各个边界，进而就可以得到各个边界上的像素点的位置，通常目标框是矩形框，那么就会有四个边界，这里就可以将这四个边界上的像素点的位置作为该目标的像素位置。
118.s306，将上述目标的像素位置和上述目标的类别确定为上述二维目标检测结果。
119.在本步骤中，与上述s304相同，目标的像素位置可以是一个像素点的像素位置，也可以是多个像素点的像素位置，以下也分为这两种情况进行说明。
120.在一种可能的实施方式中，以目标的像素位置是一个像素点的像素位置来说，在得到目标的像素位置，即目标框的底边中心点的位置之后，可选的，可以利用上述映射模型处理上述目标的像素位置，得到上述目标的三维位置。
121.也就是说，这里在确定出目标框的底边中心点的像素位置之后，可以将该底边中心点的像素位置通过映射模型进行处理，就可以得到该底边中心点的像素位置对应的深度信息，即可以得到目标的深度信息，这里目标的深度信息也可以称为目标的三维位置。
122.在另一种可能的实施方式中，以目标的像素位置是多个像素点的像素位置来说，在得到目标的像素位置，即目标框的四个边界上的像素点的位置之后，可选的，可以采用以下步骤a1-a4得到目标的尺寸：
123.a1，从上述边界框的位置中获得上述边界框的底边的位置，利用上述映射模型进行处理得到上述底边的位置对应的深度信息。
124.a2，根据上述底边的位置对应的深度信息，构建上述目标的长和宽。
125.a3，从上述边界框的位置中获得上述边界框的高度，根据上述边界框的高度构建上述目标的实际高度。
126.a4，根据上述目标的长和宽以及实际高度，得到上述目标的尺寸。
127.具体的，在得到上述边界框底边各个点的深度信息之后，这里底边各个点的深度信息都是(x,y,z)三维坐标，那么可以通过底边各个点的三维坐标构建目标的长、宽。对于目标的高度，可以利用建立的不同拟合曲线上不同像素高度进行对应计算，例如，h1＝∑α
khk2
，h1为目标的实际高度，h2为目标像素高度，即这里边界框的高度，k为点的索引，α为高度比例系数，可以根据实际情况推理得到，这里为已知数。当然也可以采用其他方式求得目标
的实际高度，例如，采用几何关系推导的方式等等。总之，通过此方式，可以得到目标的长、宽、高，这里的长宽高组合起来就得到了目标的尺寸。
128.需要说明的是，上述深度学习模型可以对任意像素点进行映射，可以得到任意像素点对应的深度信息。但是由于拟合映射模型中不可能涵盖每个像素点的位置上的深度信息，也就是说，有一些像素点的位置上有对应的深度信息，有一些像素点的位置上没有对应的深度信息的，那么在得到该像素点的深度信息时，就需要采用进一步地方法进行获取，这里可以采用如下方法进行获取：
129.根据像素点的位置，判断映射模型中是否存在与像素点的位置对应的深度信息；若存在，则获取该像素点的位置对应的深度信息。若不存在，则根据映射模型中的各个深度信息，确定各个深度信息在图像上形成的多个拟合曲线，基于图像上的二维坐标轴，以像素点的其中一个位置坐标为中心点并沿着像素点的另一位置坐标的方向确定延伸线，并获取延伸线与多个拟合曲线的交点，从与多个拟合曲线的交点中选取距离像素点最近的两个交点，作为多个目标像素点，根据各目标像素点的位置和上述像素点的位置，得到各目标像素点与上述像素点之间的距离，根据各目标像素点与上述像素点之间的距离，对各目标像素点的位置所对应的深度信息进行等比例插值处理，得到上述像素点的位置对应的深度信息。
130.示例地，对于获取在映射模型中不存在深度信息的像素点的深度信息的过程，具体可以参见图3a和图3b所示，以上述不存在深度信息的像素点的位置为(x_0,y_0)，其为图3b中的1号点，上述得到的拟合曲线为拟合圆为例，那么可以根据得到的多个拟合圆，得到紧夹着该像素点的两个拟合圆c_1和c_2，通过做x＝x_0的直线，可以得到该直线与这两个拟合圆的交点，即得到两个目标像素点，假设得到的两个目标像素点的坐标分别为(x_0,y_1)和(x_0,y_2)，分别为图3b中的2号点和3号点，假设这两个目标像素点对应到拟合曲线上的深度信息分别为(x_1,y_1,z_1)和(x_2,y_2,z_2)，然后可以通过(x_0,y_0)到(x_0,y_1)与(x_0,y_2)的距离比例，对(x_1,y_1,z_1)和(x_2,y_2,z_2)进行等比例插值计算，得到(x_0,y_0)对应的三维坐标。当然也可以是给(x_1,y_1,z_1)和(x_2,y_2,z_2)分别设置一个权重，然后按照设置的权重对(x_1,y_1,z_1)和(x_2,y_2,z_2)进行插值计算，得到(x_0,y_0)对应的三维坐标。
131.本实施例中，通过目标感知算法对图像进行处理，可以得到目标框和目标的类别，并根据目标框中各个像素点的位置得到目标的像素位置，将目标的像素位置和目标的类别确定为二维目标检测结果。这样可以较为简单且准确地得到目标的二维目标检测结果，从而可以使后续根据该二维目标检测结果得到的三维目标检测结果更加准确。
132.在一个实施例中，提供了一种目标跟踪方法，本实施例涉及的是如何对目标进行检测和跟踪，得到目标的三维目标检测结果和三维跟踪结果的具体过程。如图4所示，该方法可以包括以下步骤：
133.s402，获取目标场景的视频数据；该视频数据包括多帧图像。
134.其中，目标场景可以是道路场景，当然也可以是别的场景，道路场景可以是室外道路场景，也可以是室内游乐道路场景等。目标场景的图像可以包括目标，也可以不包括目标，本实施例主要针对目标场景中包括目标的情况进行说明。目标场景中的目标可以是道路场景中的车辆、行人等等，目标的数量可以是一个或多个。视频数据中的各帧图像一般是
连续的不同时刻采集的图像，例如在1-10s，每秒采集一张图像，就可以得到10帧图像。
135.具体的，视觉传感器可以是单目相机，通常可以设置道路中的侧杆上(可以是立杆、横杆等等)，这样视觉传感器就可以连续采集道路场景中的车辆或行人等的图像，这样也就可以得到目标场景的视频数据。
136.s404，利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别。
137.在本步骤，参见上述s204的解释说明，这里可以对视频数据的每帧图像都进行处理，就可以得到每帧图像上的目标的像素位置和目标的类别。
138.s406，利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹。
139.其中，这里的图像跟踪算法可以是上述目标感知算法中的卡尔曼跟踪算法、sort跟踪算法等等。
140.具体的，在得到每帧图像上的目标的像素位置和目标的类别之后，可以利用图像跟踪算法以及每帧图像上的目标的类别，找到各帧图像中属于同一类别的目标，然后对该同一目标进行跟踪，并将各帧图像上的同一目标的像素位置进行曲线拟合(例如将各像素位置进行连线)，就可以得到一条轨迹线，称为二维目标运动轨迹。
141.s408，利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
142.本步骤的解释说明可以参见上述s206的解释说明，本实施例在此不再赘述。
143.s410，根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
144.在本步骤中，在得到目标的二维运动轨迹和目标在实际场景中的尺寸和三维位置之后，就可以对目标进行跟踪，得到目标的经纬度信息、速度、加速度、角速度等新，记为目标的三维跟踪结果。
145.上述目标跟踪算法中，可以通过视觉传感器获取目标场景的视频数据，处理该视频数据得到二维目标检测结果和二维目标运动轨迹，并利用预设的映射模型处理二维目标检测结果，得到三维目标检测结果，以及根据三维目标检测结果和二维目标运动轨迹，得到三维目标跟踪结果。其中，映射模型包括图像的像素点的位置和雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。在该方法中，由于视觉传感器可以建立包括图像的像素点的位置与点云的深度信息的映射模型，这样在雷达无法提供深度信息时，视觉传感器自身也可以通过预先建立的映射模型，得到目标的像素位置对应的深度信息，即可以得到目标的三维目标检测结果，从而可以向智能交通信息中心提供目标的深度信息以及三维目标检测结果，以便智能交通信息中心可以对依据目标的深度信息以及三维目标检测结果对目标进行检测和跟踪，从而可以保证目标场景中目标的安全行驶。
146.在另一个实施例中，提供了另一种目标跟踪方法，在上述实施例的基础上，在得到各帧图像上的目标的三维位置或目标的尺寸之后，上述三维位置为目标在世界坐标系下的三维坐标，也就可以通过三维目标检测结果和二维目标运动轨迹，得到目标的经纬度信息、速度、加速度、角速度、航向角等三维跟踪结果。以下给出得到这几种参数的可实施方式：
147.一种实施方式：获取目标的经纬度信息。
148.可选的，可以根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；获取上述雷达传感器对应的雷达坐标下的原点的经纬度信息，以及上述雷达坐标系的任意一个轴与候选方向的夹角；上述候选方向与上述原点的经纬度信息相关；利用上述原点的经纬度信息和上述夹角，对上述每帧图像对应的上述目标的三维坐标进行转换，得到上述每帧图像对应的上述目标的经纬度信息。
149.也就是说，在得到目标的像素位置之后，这里对目标进行跟踪时，主要是以目标框上的定位像素点(即底边的中心点)作为目标来进行说明的，那么在得到目标的三维位置和目标的二维运动轨迹之后，可以从中得到每帧图像上的定位像素点的三维坐标。
150.另外，在雷达传感器或者视觉传感器在路侧上固定好位置之后，以雷达或者视觉传感器为原点，就可以得到雷达坐标系或者视觉传感器坐标系，这里若雷达传感器出现故障，那么雷达坐标系也可以对视觉传感器坐标系进行转换得到。那么在得到雷达坐标系后，也就可以知道雷达坐标系原点的坐标，通过相关经纬度求解方法和雷达坐标系原点的坐标，就可以得到雷达坐标系下原点的经纬度信息。
151.在得到雷达坐标系下原点的经纬度信息之后，可以计算雷达坐标系的任意一个轴(x轴或y轴)与候选方向的夹角(这里的候选方向可以是正北方向、正南方向、正东方向、正西方向、西北方向等等)，在得到夹角之后，就可以利用夹角对各个定位像素点的三维坐标进行旋转或平移等操作，这样就可以得到各个定位像素点的经纬度信息，即得到目标在各个时刻的经纬度信息，这样就可以更精确地对目标进行跟踪。
152.另一种实施方式：获取目标的速度和加速度。
153.可选的，可以根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；获取世界坐标系下的原点的三维坐标，将上述原点的三维坐标和任意一帧图像对应的上述目标的三维坐标进行连接，得到上述帧图像对应的目标的位置矢量；获取相邻两帧图像各自对应的采集时间，并根据上述相邻两帧图像的采集时间得到上述相邻两帧图像之间的时间差；对相邻两帧图像的上述目标的位置矢量进行数学运算处理，得到上述目标的位置矢量变量；对上述位置矢量变量和上述时间差进行数学运算处理，得到上述目标的速度和加速度。
154.可选的，这里的速度和加速度都是矢量。其中，这里的世界坐标系可以是雷达坐标系，世界坐标系的原点和任意一个时刻的目标的三维坐标进行连接，得到的矢量就是目标从原点到当前位置的位置矢量，记为s’，然后根据目标的标识进行关联跟踪，也就可以知道同一个目标在各个时刻的位置矢量，通过将各个时刻的位置矢量和前一时刻的位置矢量作差，就可以得到目标的位置矢量变量，记为δs'，同时也可以得到计算位置矢量变量δs'的两个时刻，那么将这两个时刻的时间作差，就可以得到时间位置矢量从一个时刻边到另一个时刻时所经历的时间，记为δt，将δs'和δt作商，就可以得到目标的速度矢量v’，即v'＝δs'/δt，同样可以计算多个速度，然后作差，得到速度矢量变量δv'，然后根据公式a'＝δv'/δt，就可以得到目标的加速度矢量a’。
155.再一种实施方式：获取目标的航向角和角速度。
156.可选的，可以获取世界坐标系下的任意一个轴，并将该轴作为基准轴；计算上述位置矢量变量与上述基准轴之间的夹角，并将得到的夹角确定为上述目标的航向角；对上述
航向角和上述时间差进行数学运算处理，得到上述目标的角速度。
157.其中，可以以世界坐标系的任意一个坐标轴为基准轴，上述在得到目标的位置矢量变量δs'之后，一般位置矢量变量也是一条直线，所以可以计算该直线和基准轴之间的夹角，这个计算得到的夹角就是目标与该位置矢量变量对应的航向角，即目标在该时刻的航向角，记为w，同理可以计算出目标在各个时刻的航向角，然后将任意两个时刻的航向角作差，就可以得到航向角的变化量，记为δw，同时也可以得到这任意两个时刻之间的时间差，和上述一样，记为δt，那么将δw和δt作商，就可以得到目标的角速度γ，即γ＝δw/δt。
158.本实施例提供的目标跟踪方法，可以根据三维目标检测结果和二维目标运动轨迹，得到目标的三维跟踪结果，包括目标的经纬度信息、速度、加速度、角速度、航向角等。通过本实施例的方法，可以得到目标的相关运行参数，从而可以准确把握目标的实时行进方向和速度等，进而可以实现对目标的准确跟踪。
159.应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
160.在一个实施例中，如图5所示，提供了一种目标检测装置，应用于视觉传感器，该装置可以包括：第一获取模块10、第一检测模块11和第一映射处理模块12，其中：
161.第一获取模块10，用于获取目标场景的图像；
162.第一检测模块11，用于利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
163.第一映射处理模块12，用于利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
164.关于目标检测装置的具体限定可以参见上文中对于目标跟踪方法的限定，在此不再赘述。
165.在另一个实施例中，提供了另一种目标检测装置，在上述实施例的基础上，上述第一检测模块11可以包括第一检测单元、像素位置确定单元、二维检测结果确定单元，其中：
166.第一检测单元，用于利用上述目标感知算法对上述图像进行处理，得到上述图像中目标所在的目标框和上述目标的类别；
167.像素位置确定单元，用于根据上述目标框中的各个像素点的位置，得到上述目标的像素位置；
168.二维检测结果确定单元，用于将上述目标的像素位置和上述目标的类别确定为上述二维目标检测结果。
169.可选的，上述像素位置确定单元可以包括定位点确定子单元和第一像素位置确定子单元，其中：
170.定位点确定子单元，用于根据上述目标框中的各个像素点的位置，从中确定出定
位像素点的位置；上述定位像素点用于表征上述目标在上述图像中的位置；
171.第一像素位置确定子单元，用于将上述定位像素点的位置作为上述目标的像素位置。
172.可选的，上述定位像素点的位置为上述目标框的底边中心点。
173.可选的，第一映射处理模块12具体用于，利用上述映射模型处理上述目标的像素位置，得到上述目标的三维位置。
174.可选的，上述像素位置确定单元可以包括边界框确定子单元和第二像素位置确定子单元，其中：
175.边界框确定子单元，用于根据上述目标框中的各个像素点的位置，从中确定出上述目标框对应的边界框的位置；
176.第二像素位置确定子单元，用于将上述边界框的位置作为上述目标的像素位置。
177.可选的，上述第一映射处理模块12具体用于，从上述边界框的位置中获得上述边界框的底边的位置，利用上述映射模型进行处理得到上述底边的位置对应的深度信息；根据上述底边的位置对应的深度信息，构建上述目标的长和宽；从上述边界框的位置中获得上述边界框的高度，根据上述边界框的高度构建上述目标的实际高度；根据上述目标的长和宽以及实际高度，得到上述目标的尺寸。
178.关于目标检测装置的具体限定可以参见上文中对于目标跟踪方法的限定，在此不再赘述。
179.在一个实施例中，如图6所示，提供了一种目标跟踪装置，应用于视觉传感器，该装置可以包括：第二获取模块20、第二检测模块21、二维跟踪模块22、第二映射处理模块23、三维跟踪模块24，其中：
180.第二获取模块20，用于获取目标场景的视频数据；上述视频数据包括多帧图像；
181.第二检测模块21，用于利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
182.二维跟踪模块22，用于利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
183.第二映射处理模块23，用于利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
184.三维跟踪模块24，用于根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
185.关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定，在此不再赘述。
186.在另一个实施例中，提供了另一种目标跟踪装置，在上述实施例的基础上，上述目标的三维位置为上述目标在世界坐标系下的三维坐标，上述目标的三维跟踪结果包括上述目标的经纬度信息；上述三维跟踪模块24可以包括三维坐标确定单元、参考信息获取单元和经纬度信息确定单元，其中：
187.三维坐标确定单元，用于根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；
188.参考信息获取单元，用于获取上述雷达传感器对应的雷达坐标下的原点的经纬度信息，以及上述雷达坐标系的任意一个轴与候选方向的夹角；上述候选方向与上述原点的经纬度信息相关；
189.经纬度信息确定单元，用于利用上述原点的经纬度信息和上述夹角，对上述每帧图像对应的上述目标的三维坐标进行转换，得到上述每帧图像对应的上述目标的经纬度信息。
190.在另一个实施例中，提供了另一种目标跟踪装置，在上述实施例的基础上，上述目标的三维位置为上述目标在世界坐标系下的三维坐标，上述目标的三维跟踪结果包括上述目标的速度和加速度；上述三维跟踪模块24可以包括三维坐标确定单元、位置矢量确定单元、时间差确定单元、位置矢量变量确定单元和速度加速度确定单元，其中：
191.三维坐标确定单元，用于根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；
192.位置矢量确定单元，用于获取世界坐标系下的原点的三维坐标，将上述原点的三维坐标和任意一帧图像对应的上述目标的三维坐标进行连接，得到上述帧图像对应的目标的位置矢量；
193.时间差确定单元，用于获取相邻两帧图像各自对应的采集时间，并根据上述相邻两帧图像的采集时间得到上述相邻两帧图像之间的时间差；
194.位置矢量变量确定单元，用于对相邻两帧图像的上述目标的位置矢量进行数学运算处理，得到上述目标的位置矢量变量；
195.速度加速度确定单元，用于对上述位置矢量变量和上述时间差进行数学运算处理，得到上述目标的速度和加速度。
196.在另一个实施例中，提供了另一种目标跟踪装置，在上述实施例的基础上，上述目标的三维跟踪结果包括上述目标的航向角和角速度；上述装置还可以包括基准轴获取模块、航向角确定模块和角速度确定模块，其中：
197.基准轴获取模块，用于获取上述世界坐标系下的任意一个轴，并将上述轴作为基准轴；
198.航向角确定模块，用于计算上述位置矢量变量与上述基准轴之间的夹角，并将得到的夹角确定为上述目标的航向角；
199.角速度确定模块，用于对上述航向角和上述时间差进行数学运算处理，得到上述目标的角速度。
200.关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定，在此不再赘述。
201.上述目标检测装置以及目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于视觉传感器的计算机设备中的处理器中，也可以以软件形式存储于视觉传感器的计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
202.在一个实施例中，提供了一种视觉传感器，包括摄像头、存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
203.获取目标场景的图像；
204.利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
205.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
206.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
207.利用上述目标感知算法对上述图像进行处理，得到上述图像中目标所在的目标框和上述目标的类别；根据上述目标框中的各个像素点的位置，得到上述目标的像素位置；将上述目标的像素位置和上述目标的类别确定为上述二维目标检测结果。
208.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
209.根据上述目标框中的各个像素点的位置，从中确定出定位像素点的位置；上述定位像素点用于表征上述目标在上述图像中的位置；将上述定位像素点的位置作为上述目标的像素位置。
210.在一个实施例中，上述定位像素点的位置为目标框的底边中心点。
211.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
212.利用上述映射模型处理上述目标的像素位置，得到上述目标的三维位置。
213.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
214.根据上述目标框中的各个像素点的位置，从中确定出上述目标框对应的边界框的位置；将上述边界框的位置作为上述目标的像素位置。
215.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
216.从上述边界框的位置中获得上述边界框的底边的位置，利用上述映射模型进行处理得到上述底边的位置对应的深度信息；根据上述底边的位置对应的深度信息，构建上述目标的长和宽；从上述边界框的位置中获得上述边界框的高度，根据上述边界框的高度构建上述目标的实际高度；根据上述目标的长和宽以及实际高度，得到上述目标的尺寸。
217.在一个实施例中，提供了一种视觉传感器，包括摄像头、存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
218.获取目标场景的视频数据；该视频数据包括多帧图像；
219.利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
220.利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
221.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
222.根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
223.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
224.根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；获取上述雷达传感器对应的雷达坐标下的原点的经纬度信息，以及上述雷达坐标系的任意一个轴与候选方向的夹角；上述候选方向与上述原点的经
纬度信息相关；利用上述原点的经纬度信息和上述夹角，对上述每帧图像对应的上述目标的三维坐标进行转换，得到上述每帧图像对应的上述目标的经纬度信息。
225.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
226.根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；获取世界坐标系下的原点的三维坐标，将上述原点的三维坐标和任意一帧图像对应的上述目标的三维坐标进行连接，得到上述帧图像对应的目标的位置矢量；获取相邻两帧图像各自对应的采集时间，并根据上述相邻两帧图像的采集时间得到上述相邻两帧图像之间的时间差；对相邻两帧图像的上述目标的位置矢量进行数学运算处理，得到上述目标的位置矢量变量；对上述位置矢量变量和上述时间差进行数学运算处理，得到上述目标的速度和加速度。
227.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
228.获取上述世界坐标系下的任意一个轴，并将上述轴作为基准轴；计算上述位置矢量变量与上述基准轴之间的夹角，并将得到的夹角确定为上述目标的航向角；对上述航向角和上述时间差进行数学运算处理，得到上述目标的角速度。
229.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
230.获取目标场景的图像；
231.利用目标感知算法处理上述图像，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
232.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置。
233.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
234.利用上述目标感知算法对上述图像进行处理，得到上述图像中目标所在的目标框和上述目标的类别；根据上述目标框中的各个像素点的位置，得到上述目标的像素位置；将上述目标的像素位置和上述目标的类别确定为上述二维目标检测结果。
235.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
236.根据上述目标框中的各个像素点的位置，从中确定出定位像素点的位置；上述定位像素点用于表征上述目标在上述图像中的位置；将上述定位像素点的位置作为上述目标的像素位置。
237.在一个实施例中，上述定位像素点的位置为目标框的底边中心点。
238.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
239.利用上述映射模型处理上述目标的像素位置，得到上述目标的三维位置。
240.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
241.根据上述目标框中的各个像素点的位置，从中确定出上述目标框对应的边界框的位置；将上述边界框的位置作为上述目标的像素位置。
242.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
243.从上述边界框的位置中获得上述边界框的底边的位置，利用上述映射模型进行处理得到上述底边的位置对应的深度信息；根据上述底边的位置对应的深度信息，构建上述
目标的长和宽；从上述边界框的位置中获得上述边界框的高度，根据上述边界框的高度构建上述目标的实际高度；根据上述目标的长和宽以及实际高度，得到上述目标的尺寸。
244.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
245.获取目标场景的视频数据；该视频数据包括多帧图像；
246.利用目标感知算法处理上述视频数据，得到二维目标检测结果；上述二维目标检测结果包括目标的像素位置和类别；
247.利用图像跟踪算法处理上述二维目标检测结果，得到二维目标运动轨迹；
248.利用预设的映射模型处理上述二维目标检测结果，得到三维目标检测结果；上述映射模型包含图像的像素点的位置与雷达传感器的点云的深度信息的映射关系，上述三维目标检测结果包括目标的尺寸和/或三维位置；
249.根据上述三维目标检测结果和上述二维目标运动轨迹，得到上述目标的三维跟踪结果。
250.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
251.根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；获取上述雷达传感器对应的雷达坐标下的原点的经纬度信息，以及上述雷达坐标系的任意一个轴与候选方向的夹角；上述候选方向与上述原点的经纬度信息相关；利用上述原点的经纬度信息和上述夹角，对上述每帧图像对应的上述目标的三维坐标进行转换，得到上述每帧图像对应的上述目标的经纬度信息。
252.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
253.根据上述目标的三维位置和上述二维目标运动轨迹，确定上述目标在各帧图像上的像素位置对应的三维坐标；获取世界坐标系下的原点的三维坐标，将上述原点的三维坐标和任意一帧图像对应的上述目标的三维坐标进行连接，得到上述帧图像对应的目标的位置矢量；获取相邻两帧图像各自对应的采集时间，并根据上述相邻两帧图像的采集时间得到上述相邻两帧图像之间的时间差；对相邻两帧图像的上述目标的位置矢量进行数学运算处理，得到上述目标的位置矢量变量；对上述位置矢量变量和上述时间差进行数学运算处理，得到上述目标的速度和加速度。
254.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
255.获取上述世界坐标系下的任意一个轴，并将上述轴作为基准轴；计算上述位置矢量变量与上述基准轴之间的夹角，并将得到的夹角确定为上述目标的航向角；对上述航向角和上述时间差进行数学运算处理，得到上述目标的角速度。
256.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存
储器(dynamic random access memory，dram)等。
257.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
258.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。