移动轨迹的确定方法及装置、存储介质和电子装置与流程

本发明涉及通信领域，具体而言，涉及一种移动轨迹的确定方法及装置、存储介质和电子装置。

背景技术：

现如今安防越来越受到公众的重视，安防技术迅速发展。传统的安防终端器材主要是可见光摄像机，但是可见光摄像机在晚上无法工作；尽管有红外摄像机可补充可见光摄像机的缺陷，但此举无疑增加了成本和操作难度。此外光学传感器也受天气影响，大雾天或雨雪天，监控效果无法令人满意。

毫米波雷达主动发射电磁波并接受同频率信号，对移动物体、雷达反射面积较大的物体，有非常高的检测概率。毫米波雷达可全天24小时工作，受天气影响较小。基于雷达的监控技术在安防领域越来越受到重视，雷达以高检测概率获得移动物体的量测信息。

由于雷达是基于接收到的反射信号确定移动物体的距离和位置等信息，其并不具备身份识别的能力。而物体的身份识别，以及物体的移动轨迹是安防领域中重要监控指标，现有技术中通常采用人工标注的方式对雷达采集到的移动物体进行身份识别，和移动轨迹标注。但是人工方式不但效率低，还需要消耗大量的人力。

针对相关技术中，基于雷达监控的物体移动轨迹识别效率低的问题，目前尚未存在有效的解决方案。

技术实现要素：

本发明实施例提供了一种移动轨迹的确定方法及装置、存储介质和电子装置，以至少解决相关技术中基于雷达监控的物体移动轨迹识别效率低的问题。

根据本发明的一个实施例，提供了一种移动轨迹的确定方法，包括：获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，所述目标图像和所述一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置；通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，其中，所述一组雷达数据是由所述雷达设备在连续时间段内对所述目标区域进行数据采集得到的至少两帧雷达数据。

可选地，所述通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，包括：在所述一组雷达数据所表示多个对象中确定与第一目标对象满足预设阈值关系的第二目标对象，其中，所述第一目标对象是在所述一帧雷达数据中第二位置上的对象，所述第二目标对象是在所述一组雷达数据所表示的多个对象中除了所述第一目标对象之外的其它对象，所述目标对象包括所述第一目标对象和所述第二目标对象。

可选地，在所述一组雷达数据所表示多个对象中确定与第一目标对象满足预设阈值关系的第二目标对象，包括以下至少之一：确定所述一组雷达数据所表示的多个对象中与所述第一目标对象之间的距离小于或等于预设距离阈值的对象为所述第二目标对象；确定所述一组雷达数据所表示的多个对象中与所述第一目标对象的速度差小于或等于预设速度阈值的对象为所述第二目标对象；确定所述一组雷达数据所表示的多个对象中所述第一目标对象的雷达反射面积差值小于或等于预设面积阈值的对象为所述目标对象。

可选地，在所述获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据之前，所述方法还包括：获取由所述图像采集设备拍摄得到的一组图像，以及由所述雷达设备采集得到的一组雷达数据，其中，所述一组图像和所述一组雷达数据是在连续时间段内对预设区域进行数据采集得到的，所述图像采集设备和所述雷达设备对所述预设区域进行数据采集时保持时间同步；通过所述一组图像和/或所述一组雷达数据确定所述预设区域的环境复杂度；确定所述环境复杂度低于预设阈值的预设区域为所述目标区域。

可选地，所述通过所述一组图像和/或所述一组雷达数据确定所述预设区域的环境复杂度，包括：通过所述一组图像确定所述预设区域内所包括的对象数量和对象种类；通过所述一组雷达数据确定所述预设区域内所包括对象之间的距离。

可选地，所述确定所述环境复杂度低于预设阈值的预设区域为所述目标区域包括以下至少之一：确定所述对象数量小于或等于第一预设阈值的所述预设区域为所述目标区域；确定所述对象种类小于或等于第二预设阈值的所述预设区域为所述目标区域；确定所述对象之间的距离大于或等于第三预设阈值的所述预设区域为所述目标区域。

可选地，所述根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置，包括：通过世界坐标系将所述目标图像所在的第一坐标系转化为雷达所在的第二坐标系；通过所述目标对象在所述第一坐标系中的所述第一位置，确定所述目标对象在所述第二坐标系中的所述第二位置。

可选地，所述方法还包括以下至少之一：为所述一组雷达数据添加目标类别，其中，所述目标类别用于指示所述目标图像中包括的目标对象的类别；为所述移动轨迹添加目标类别，其中，所述目标类别用于指示所述目标图像中包括的目标对象的类别。

可选地，在通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹之后，所述方法还包括：为所述移动轨迹赋予轨迹标签；将所述轨迹标签与所述一组雷达数据中对应于所述移动轨迹的目标雷达数据关联存储在目标知识库中。

根据本发明的另一个实施例，提供了一种移动轨迹的确定装置，包括：获取模块，用于获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，所述目标图像和所述一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；第一确定模块，用于根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置；第二确定模块，用于通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，其中，所述一组雷达数据是由所述雷达设备在连续时间段内对所述目标区域进行数据采集得到的至少两帧雷达数据。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，目标图像和一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；根据目标对象在目标图像中的第一位置，确定目标对象在所述一帧雷达数据中的第二位置；通过第二位置确定目标对象在一组雷达数据中的移动轨迹，其中，一组雷达数据是由雷达设备在连续时间段内对目标区域进行数据采集得到的至少两帧雷达数据。由此可以达到通过图像采集设备采集到的图像对目标对象进行识别，基于图像识别结果对一组雷达数据中的移动轨迹进行标注的目的。因此，可以解决基于雷达监控的物体移动轨迹识别效率低问题，达到提高物体移动轨迹识别效率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种移动轨迹的确定方法的移动终端的硬件结构框图；

图2是根据本发明实施例的移动轨迹的确定方法的流程图；

图3是根据本发明实施例的移动轨迹的确定方法的示意图一；

图4是根据本发明实施例的移动轨迹的确定方法的示意图二；

图5是根据本发明实施例的移动轨迹的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种移动轨迹的确定方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的移动轨迹的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端的移动轨迹的确定方法，图2是根据本发明实施例的移动轨迹的确定的流程图，如图2所示，该流程包括如下步骤：

步骤s202，获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，所述目标图像和所述一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；

步骤s204，根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置；

步骤s206，通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，其中，所述一组雷达数据是由所述雷达设备在连续时间段内对所述目标区域进行数据采集得到的至少两帧雷达数据。

可选地，上述步骤的执行主体可以为终端等，但不限于此。

作为一个可选的实施方式，图像采集设备可以是摄像机，可以通过摄像机拍摄视频，目标图像可以是通过摄像机拍摄的监控视频中的一帧图像。雷达通过发射信号，以电磁波的形式进行传播，在发射信号接触得到移动物体后，从物体表面反射回信号。基于可以基于反射信号雷达可获得移动物体的相关量测信息包括：移动物体的距离、角度、径向速度、雷达反射面积等。雷达可按需设置量测周期发送和接收信号，也称为信号收发周期。例如可以设置量测周期为0.1秒，即工作频率为10hz。具体的周期可以根据实际情况进行设置。本实施例中的雷达可以是毫米波雷达。

作为一个可选的实施方式，在通过图像采集设备和雷达设备进行数据采集之前，需要对图像采集设备和雷达设备的安装姿态和设备参数进行设置。具体的，安装姿态的设置可以是通过调节安装的高度和角度使得像采集设备和雷达设备能够对同一区域进行拍摄，例如，对公园、工地、十字路口、道路、园区出入口、闸机等场景中的同一个区域进行数据采集。设备参数的调节可以是调节设备开启时间，以及数据采集的周期，使得图像采集设备和雷达设备在时间上是保持同步的。以此能够保证图像采集设备和雷达设备在同一个时刻上对同一区域的数据进行采集。

作为一个可选的实施方式，目前的图像识别技术已经相当完善，可以通过现有技术中的图像识别对图像中的目标对象进行识别。本实施例中的目标对象可以是人、或车辆等移动的物体。假设在本实施例中，想要识别的目标对象是车辆，通过图像识别技术可以在图像采集设备采集到的目标图像中识别出该车辆。并在图像坐标系下确定该车辆在目标图像中的第一位置。在本实施例中，可以将图像目标区域映射为雷达坐标系区域，通过映射关系可以确定该车辆在一帧雷达数据中的第二位置。将图像目标区域映射为雷达坐标系区域具体的实施方式可以包括如下步骤：

步骤s1，获得相机的安装高度和三个姿态角，基于此将目标的图像区域转化为世界坐标系中的某一区域；

步骤s2，基于雷达的安装高度和三个姿态角，将上述步骤s1中的世界坐标系中某一区域转化为雷达坐标系中的某一量测区域。

最后，由于同一个对象所表现的特征是相同的，例如，其移动速度在短时间内的变化是在一定范围内的，在短时间内其移动的距离是在一定范围内的，可以通过速度、距离的变化范围在至少两帧雷达数据确定出所有的目标对象，进而可以确定出目标对象的移动轨迹。此外，由于目标对象的外形面积是一致的，也可以通过雷达反射面积在至少两帧雷达数据确定出目标对象。

通过上述步骤，由于获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，目标图像和一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；根据目标对象在目标图像中的第一位置，确定目标对象在所述一帧雷达数据中的第二位置；通过第二位置确定目标对象在一组雷达数据中的移动轨迹，其中，一组雷达数据是由雷达设备在连续时间段内对目标区域进行数据采集得到的至少两帧雷达数据。由此可以达到通过图像采集设备采集到的图像对目标对象进行识别，基于图像识别结果对一组雷达数据中的移动轨迹进行标注的目的。因此，可以解决基于雷达监控的物体移动轨迹识别效率低问题，达到提高物体移动轨迹识别效率的效果。

可选地，所述通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，包括：在所述一组雷达数据所表示多个对象中确定与第一目标对象满足预设阈值关系的第二目标对象，其中，所述第一目标对象是在所述一帧雷达数据中第二位置上的对象，所述第二目标对象是在所述一组雷达数据所表示的多个对象中除了所述第一目标对象之外的其它对象，所述目标对象包括所述第一目标对象和所述第二目标对象。

作为一个可选的实施方式，在连续的时间段内获取到n帧雷达数据，连续的时间段可以使时间滑动窗口，具体的时间长度可以根据实际情况而定，例如可以是1秒、2秒等。确定至少m帧量测满足阈值关系，则可确定一条移动轨迹，其中m小于或等于n。满足的阈值关系包括：帧间空间距离小于预设阈值，速度差小于预设阈值、雷达反射面积小于预设阈值。在本实施例中，以n＝8为例进行说明，如图3所示是雷达在8个时间点采集得到的8帧雷达数据中所包括的8个对象，一帧雷达数据中包括一个对象。如图3中所示，假设标号为4与标号3和标号5之间的距离均超出的预设阈值，则确定标号为4的对象不是目标对象；假设标号6的速度与标号1-3、5、7-8的速度差较大，说明标号6的速度过快或过慢，由于在极段的时间内，速度的变化是在预定阈值范围内的，若标号6的速度与标号1-3、5、7-8的速度差较大说明标号6也不是目标对象。在确定标号1-3、5、7-8均为目标对象的情况下，标号1-3、5、7-8的目标对象形成了一条目标对象的移动轨迹。

可选地，在所述一组雷达数据所表示多个对象中确定与第一目标对象满足预设阈值关系的第二目标对象，包括以下至少之一：确定所述一组雷达数据所表示的多个对象中与所述第一目标对象之间的距离小于或等于预设距离阈值的对象为所述第二目标对象；确定所述一组雷达数据所表示的多个对象中与所述第一目标对象的速度差小于或等于预设速度阈值的对象为所述第二目标对象；确定所述一组雷达数据所表示的多个对象中所述第一目标对象的雷达反射面积差值小于或等于预设面积阈值的对象为所述目标对象。

作为一个可选的实施方式，以图3所示的8帧雷达数据中分别采集到的8个对象为例进行说明。假设标号3的对象为第一目标对象，标号4与标号3之间的距离超出了预设距离阈值，则确定标号4不是第二目标对象。标号2与标号3之间的距离小于或等于预设距离阈值，则确定标号2为第二目标对象。在本实施例中预设距离阈值与雷达数据的帧间距离存在关系，相邻帧的预设距离阈值可以设置的小一些，帧间距离较大的情况下，预设距离阈值可以设置的相对大一些。例如，标号1与标号3之间的预设距离阈值设置的要比标号1与标号2之间的预设距离阈值大。具体的预设阈值的设置方式，以及阈值的选取可以根据实际情况而定。例如，标号1与标号3之间的预设距离阈值设置为30厘米，标号1与标号2之间的预设距离阈值设置为10厘米，标号2与标号3之间的预设距离阈值设置为20厘米；或者，标号1与标号3之间的预设距离阈值设置为30厘米，标号1与标号2之间的预设距离阈值设置为15厘米，标号2与标号3之间的预设距离阈值设置为15厘米。上述具体的数值仅为了举例进行说明，在此不作限定，具体设置方式可以根据实际情况而定。

作为一个可选的实施方式，由于在极短的时间段内，同一个移动对象的速度变化是很小的，存在一个阈值范围。因此，可以通过速度的变化确定是否为同一个移动对象。以图3为例进行说明。假设测量到标号1的速度为10厘米/秒，标号2的速度为10.01厘米/秒，标号3的速度为10.03厘米/秒，标号4的速度为20厘米/秒。由此可以确定标号4不是目标对象。

作为一个可选的实施方式，由于同一个对象的体积是相同的，那么通过雷达反射面积也是在一定阈值范围内的。假设如图3所示的8帧雷达数据中分别采集到的8个对象，其中，标号6的雷达反射面积若明显大于其他对象的雷达反射面积，由此可以确定标号6不是目标对象。

可选地，在所述获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据之前，所述方法还包括：获取由所述图像采集设备拍摄得到的一组图像，以及由所述雷达设备采集得到的一组雷达数据，其中，所述一组图像和所述一组雷达数据是在连续时间段内对预设区域进行数据采集得到的，所述图像采集设备和所述雷达设备对所述预设区域进行数据采集时保持时间同步；通过所述一组图像和/或所述一组雷达数据确定所述预设区域的环境复杂度；确定所述环境复杂度低于预设阈值的预设区域为所述目标区域。

作为一个可选的实施方式，如图4所示是根据本发明一个可选实施例的视频辅助标注雷达数据的整体流程图。在确定目标对象的移动轨迹之前，需要对环境的复杂度进行判断。环境越复杂，表示区域中的对象种类和个数越多，不利于在线自动标注。环境越简单，表示空间中的目标种类和个数越少，有利于在线自动标注。

可选地，所述通过所述一组图像和/或所述一组雷达数据确定所述预设区域的环境复杂度，包括：通过所述一组图像确定所述预设区域内所包括的对象数量和对象种类；通过所述一组雷达数据确定所述预设区域内所包括对象之间的距离。

作为一个可选的实施方式，可以通过采集到的图像确定区域内存在的对象的数量和种类，通过雷达数据确定对象之间的距离。本实施例中，对象可以包括人物、车辆等。

可选地，所述确定所述环境复杂度低于预设阈值的预设区域为所述目标区域包括以下至少之一：确定所述对象数量小于或等于第一预设阈值的所述预设区域为所述目标区域；确定所述对象种类小于或等于第二预设阈值的所述预设区域为所述目标区域；确定所述对象之间的距离大于或等于第三预设阈值的所述预设区域为所述目标区域。

作为一个可选的实施方式，环境越复杂越不利于标注目标对象的移动轨迹。因此，需要根据区域内出现的对象的数量、种类、距离、密集程度确定当前区域的环境复杂度。例如，对某一个十字路口进行监控时，若当前十字路口中出现的对象种类过多，例如有人物、车辆、动物，且对象之间的距离过小，十字路口中对象较为密集，确定该十字路口的环境复杂度较高，不适宜目标对象的移动轨迹识别。若对某条道路进行监控时，当前道路上仅存在一辆车，则确定这条道路的环境复杂度较低，可以对该道路上的车辆进行移动轨迹识别。具体地，对象数量的范围第一预设阈值，对象种类的范围第二预设阈值，以及对象之间的距离范围第三预设阈值可以根据实际情况而定。例如，第一预设阈值可以是20、30、50等，第二预设阈值可以是3、4、5等，三预设阈值可以是1米、两米、10米等。

可选地，所述根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置，包括：通过世界坐标系将所述目标图像所在的第一坐标系转化为雷达所在的第二坐标系；通过所述目标对象在所述第一坐标系中的所述第一位置，确定所述目标对象在所述第二坐标系中的所述第二位置。

作为一个可选的实施方式，可以将图像的坐标系映射为雷达坐标系。获取相机的安装高度和三个姿态角，基于此将图像的第一区域转化为世界坐标系中的第二区域；再基于雷达的安装高度和三个姿态角，将世界坐标系中的第二区域转化为雷达坐标系中的第三区域。通过将图像坐标系和雷达坐标系的映射，可以根据目标对象在图像中的第一位置得到目标对象在雷达坐标系中的第二位置。

可选地，所述方法还包括以下至少之一：为所述一组雷达数据添加目标类别，其中，所述目标类别用于指示所述目标图像中包括的目标对象的类别；为所述移动轨迹添加目标类别，其中，所述目标类别用于指示所述目标图像中包括的目标对象的类别。

作为一个可选的实施方式，由于可以通过为目标区域内采集到的所有雷达数据附加目标类别，将在雷达数据中标注出的移动轨迹也添加目标类别。该目标类别与对目标区域内采集到的目标图像的类别相同，均是目标图像中的目标对象的类别。例如，图像中的目标对象的类别是车辆，则可以将雷达数据和移动轨迹赋予车辆类别，若图像中的目标对象的类别是行人，则可以将雷达数据和移动轨迹赋予行人类别。具体的类别可以根据实际情况而定。可以将所采集到的图像和雷达数据建议起关联关系，用于表示所采集到的雷达数据和图像对应于同一目标对象。并将在雷达数据中确定出的移动轨迹赋予轨迹标签，该轨迹标签用于表示识别出的移动轨迹是图像中的目标对象的移动轨迹。在本实施例中，通过在图像中识别出目标对象，在雷达采集的雷达数据中确定出目标对象的移动轨迹，可以达到在摄像机无法工作的情况的下，通过雷达数据确定出监控区域内移动对象的移动轨迹，达到了提高监控的准确度的技术效果。

可选地，在通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹之后，所述方法还包括：为所述移动轨迹赋予轨迹标签；将所述轨迹标签与所述一组雷达数据中对应于所述移动轨迹的目标雷达数据关联存储在目标知识库中。

作为一个可选的实施方式，在识别出目标对象的移动轨迹之后，赋予轨迹标签。将一条轨迹中量测的类别赋予该轨迹。如果一条轨迹中量测的类别大于等于2个，则将量测数量占优的类别赋予该轨迹。建立目标知识库。依据已经获得的目标轨迹和目标类别，建立目标知识库。如下表1所示是一种可选的目标知识库的存储格式，其中，rcs为雷达反射面积，radialspeed为径向速度。

表1

作为一个可选的实施方式，本申请的应用场景可以是公园、工地、十字路口、道路、园区出入口、闸机等。若突然间在建筑物区域存在目标轨迹，无论是行人目标还是车辆轨迹，可以通过目标跟踪算法确定出是虚假轨迹，给予删除或延迟上报。如果在人行道区域内发现一条行人轨迹，则给予删除；如果在人行道区域内发现一条车辆轨迹，则需尽快上报；如果在机动车可行驶区域内，出现机动车目标轨迹，则无需关注并删除轨迹，但是在机动车行驶区域，出现行人轨迹，则需尽快上报。而采用深度学习方法对雷达目标进行目标分类，需要对雷达目标轨迹进行标注。如果采用人工手动标注，将是一个非常费时费力的工作。而本申请可以借助视频传感器，提供一种高效自动标注方案。下面通过一个具体实施例说明本申请，结合上述附图4，本申请包括如下步骤：

步骤1：设备参数调节，以保持时间同步。对图像传感器和雷达传感器进行设置，以使两者在数据采集时保持时间上同步。时间同步可分为软件时间同步和硬件时间同步。软件时间同步方法，误差较大，但成本低、灵活可配置。硬件时间同步方法，误差较小，但成本高、需额外设计电路，不易修改。针对低速移动对象跟踪场景，建议采用软件时间同步方法；针对高速移动对象跟踪场景，建议采用硬件时间同步方法。时间同步过程执行之后，雷达帧和视频帧中的信息时间误差最小，几乎是同一时刻的目标信息，可以将两者绑定一起输出。

步骤2：采集一组图像和一组雷达帧数据。该采集过程数据延迟对标注结果存在显著影响。从图像传感器和雷达传感器到计算机处理器中间节点尽可能少，以此可以提高数据传输效率，减小时间延迟。跳转步骤3和步骤6，步骤3和步骤6可同时进行。

步骤3：提取图像从绑定对象中提取图像。

步骤4：对象识别。从图像传感器采集到的图像中提取出对象种类对象的个数，具体的提取图像方法可以应用现有技术中的图像识别技术。

步骤5：确定对象种类及密度。

步骤6：提取雷达数据。从绑定对象中提取雷达数据。

步骤7：累计多帧雷达数据。在目标轨迹起始过程中，需累计多帧雷达数据才可起始一条雷达目标轨迹。

步骤8：获得对象彼此间的空间距离。求取任意两个雷达对象之间的距离，生成一个上三角矩阵。

步骤9：环境复杂度判断。如果图像中的对象比较密集(大于某一密度阈值)，或雷达采集到的数据中表示存在两个雷达对象之间空间距离较小(小于某一距离阈值)，则认定环境较复杂。反之，则认为环境复杂度较小。环境越复杂，表示空间中的目标种类和个数越多，不利于在线自动标注。环境越简单，表示空间中的目标种类和个数越少，有利于在线自动标注。在确定环境简单的情况下，继续执行步骤10，否则执行步骤17。

步骤10：提取单帧图像。从绑定帧中，提取图像。

步骤11：目标对象检测和识别。可以采用深度学习网络，检测图像中目标的种类以及个数。

步骤12：图像目标区域映射为雷达坐标系区域。首先获得相机的安装高度和三个姿态角，基于此将目标的图像区域转化为世界坐标系中的某一区域；再基于雷达的安装高度和三个姿态角，将世界坐标系中某一区域转化为雷达坐标系中的某一量测区域。

步骤13：为目标区域内所有雷达量测的对象附加对象类别。

步骤14：起始目标轨迹。针对雷达量测结果，采用轨迹起始方法，起始一条或多条轨迹。

步骤15：赋予轨迹标签。将一条轨迹中量测的类别赋予该轨迹。如果一条轨迹中量测的类别大于等于2个，则将量测数量占优的类别赋予该轨迹。

步骤16：建立目标知识库。依据已经获得的目标轨迹和目标类别，建立目标知识库。

步骤17：结束。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种移动轨迹的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的移动轨迹的确定装置的结构框图，如图4所示，该装置包括：获取模块52，用于获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，所述目标图像和所述一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；第一确定模块54，用于根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置；第二确定模块56，用于通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，其中，所述一组雷达数据是由所述雷达设备在连续时间段内对所述目标区域进行数据采集得到的至少两帧雷达数据。

可选地，上述第二确定模块用于通过如下方式实现所述通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹：在所述一组雷达数据所表示多个对象中确定与第一目标对象满足预设阈值关系的第二目标对象，其中，所述第一目标对象是在所述一帧雷达数据中第二位置上的对象，所述第二目标对象是在所述一组雷达数据所表示的多个对象中除了所述第一目标对象之外的其它对象，所述目标对象包括所述第一目标对象和所述第二目标对象。

可选地，所述装置还用于通过如下方式实现在所述一组雷达数据所表示多个对象中确定与第一目标对象满足预设阈值关系的第二目标对象：确定所述一组雷达数据所表示的多个对象中与所述第一目标对象之间的距离小于或等于预设距离阈值的对象为所述第二目标对象；确定所述一组雷达数据所表示的多个对象中与所述第一目标对象的速度差小于或等于预设速度阈值的对象为所述第二目标对象；确定所述一组雷达数据所表示的多个对象中所述第一目标对象的雷达反射面积差值小于或等于预设面积阈值的对象为所述目标对象。

可选地，上述装置还用于在所述获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据之前，获取由所述图像采集设备拍摄得到的一组图像，以及由所述雷达设备采集得到的一组雷达数据，其中，所述一组图像和所述一组雷达数据是在连续时间段内对预设区域进行数据采集得到的，所述图像采集设备和所述雷达设备对所述预设区域进行数据采集时保持时间同步；通过所述一组图像和/或所述一组雷达数据确定所述预设区域的环境复杂度；确定所述环境复杂度低于预设阈值的预设区域为所述目标区域。

可选地，上述装置还用于通过如下方式实现所述通过所述一组图像和/或所述一组雷达数据确定所述预设区域的环境复杂度：通过所述一组图像确定所述预设区域内所包括的对象数量和对象种类；通过所述一组雷达数据确定所述预设区域内所包括对象之间的距离。

可选地，上述装置还用于确定所述对象数量小于或等于第一预设阈值的所述预设区域为所述目标区域；确定所述对象种类小于或等于第二预设阈值的所述预设区域为所述目标区域；确定所述对象之间的距离大于或等于第三预设阈值的所述预设区域为所述目标区域。

可选地，上述装置还用于通过如下方式实现所述根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置：通过世界坐标系将所述目标图像所在的第一坐标系转化为雷达所在的第二坐标系；通过所述目标对象在所述第一坐标系中的所述第一位置，确定所述目标对象在所述第二坐标系中的所述第二位置。

可选地，上述装置还用于为所述一组雷达数据添加目标类别，其中，所述目标类别用于指示所述目标图像中包括的目标对象的类别；为所述移动轨迹添加目标类别，其中，所述目标类别用于指示所述目标图像中包括的目标对象的类别。

可选地，上述装置还用于在通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹之后，为所述移动轨迹赋予轨迹标签；将所述轨迹标签与所述一组雷达数据中对应于所述移动轨迹的目标雷达数据关联存储在目标知识库中。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

s1，获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，所述目标图像和所述一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；

s2，根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置；

s3，通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，其中，所述一组雷达数据是由所述雷达设备在连续时间段内对所述目标区域进行数据采集得到的至少两帧雷达数据。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

s1，获取由图像采集设备拍摄得到的目标图像，以及由雷达设备采集得到的一帧雷达数据，其中，所述目标图像和所述一帧雷达数据是在同一时刻对同一目标区域进行数据采集得到的；

s2，根据目标对象在所述目标图像中的第一位置，确定所述目标对象在所述一帧雷达数据中的第二位置；

s3，通过所述第二位置确定所述目标对象在一组雷达数据中的移动轨迹，其中，所述一组雷达数据是由所述雷达设备在连续时间段内对所述目标区域进行数据采集得到的至少两帧雷达数据。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。