目标检测方法、装置及模型训练方法与流程

1.本技术涉及机器学习技术领域，具体而言，涉及一种目标检测方法、装置及模型训练方法。


背景技术：

2.随着汽车数量的大量增长，交通事故的发生也越发频繁，如何尽快地检测出交通事故的发生并进行处理就显得尤为重要，在此基础上，提出了基于计算机视觉技术的事故检测方法，其主要目的是在一段视频中，当有车辆事故行为发生时，生成一个包含事故发生位置的包围框。
3.在相关技术中，通常是基于单帧图像物体检测技术，通过成对的事故图像数据以及包围框的标注信息进行训练获得，其可以较好地处理严重的事故行为，因为这种情况下车辆事故产生的场景破坏以及车辆损坏等外观特征能够被良好的建模；然而，多数交通场景中的事故并不会产生显著的视觉特征，如最常见的剐蹭，这一类场景中的事故目标较难识别。而基于连续画面帧的视频分析网络在进行事故检测时会产生较大的计算开销，其在大规模道路场景的视频分析中的效率较低；且获取视频分析网络所需要的较大规模数据也比较困难。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种目标检测方法、装置及模型训练方法，以至少解决相关技术中进行事故检测时对于无显著视觉特征的事故目标较难识别的技术问题。
6.根据本技术实施例的一个方面，提供了一种目标检测方法，包括：获取待检测图像，所述待检测图像中包括多个移动对象；获取所述多个移动对象的轨迹信息；将所述待检测图像及所述轨迹信息输入目标检测模型，通过所述目标检测模型从所述多个移动对象中检测出目标对象；其中，所述目标检测模型是通过调整预训练模型的输入得到的，其中，所述预训练模型以样本图像对应的第一图像通道为输入，所述目标检测模型以聚合通道为输入，所述聚合通道是依据所述第一图像通道与第二图像通道确定的，其中，所述第二图像通道是依据所述样本图像中多个移动对象的轨迹信息确定的。
7.根据本技术实施例的另一方面，还提供了一种模型训练方法，包括：获取样本图像，确定与所述样本图像对应的第一图像通道，其中，所述第一图像通道为预训练模型的输入，所述预训练模型用于从所述样本图像中的多个移动对象中检测出目标对象；获取所述多个移动对象的轨迹信息，并依据所述轨迹信息确定与所述样本图像对应的第二图像通道；依据所述第一图像通道与所述第二图像通道确定聚合通道，并依据所述聚合通道调整所述预训练模型，得到目标检测模型。
8.根据本技术实施例的另一方面，还提供了一种目标检测方法，包括：获取待检测图像，确定与所述待检测图像对应的第一图像通道；获取所述待检测图像中多个移动对象的
轨迹信息，依据所述轨迹信息确定与所述待检测图像对应的第二图像通道；依据所述第一图像通道与所述第二图像通道确定聚合通道；将所述聚合通道作为目标检测模型的输入，通过所述目标检测模型从所述多个移动对象中检测出目标对象。
9.根据本技术实施例的另一方面，还提供了一种目标检测装置，包括：第一获取模块，用于获取待检测图像，所述待检测图像中包括多个移动对象；第二获取模块，用于获取所述多个移动对象的轨迹信息；检测模块，用于将所述待检测图像及所述轨迹信息输入目标检测模型，通过所述目标检测模型从所述多个移动对象中检测出目标对象；其中，所述目标检测模型是通过调整预训练模型的输入得到的，其中，所述预训练模型以样本图像对应的第一图像通道为输入，所述目标检测模型以聚合通道为输入，所述聚合通道是依据所述第一图像通道与第二图像通道确定的，其中，所述第二图像通道是依据所述样本图像中多个移动对象的轨迹信息确定的。
10.根据本技术实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述的目标检测方法或模型训练方法。
11.根据本技术实施例的另一方面，还提供了一种电子设备，包括：处理器以及存储器，所述存储器与所述处理器连接，用于为所述处理器提供处理以下步骤的指令：获取待检测图像，所述待检测图像中包括多个移动对象；获取所述多个移动对象的轨迹信息；将所述待检测图像及所述轨迹信息输入目标检测模型，通过所述目标检测模型从所述多个移动对象中检测出目标对象；其中，所述目标检测模型是通过调整预训练模型的输入得到的，其中，所述预训练模型以样本图像对应的第一图像通道为输入，所述目标检测模型以聚合通道为输入，所述聚合通道是依据所述第一图像通道与第二图像通道确定的，其中，所述第二图像通道是依据所述样本图像中多个移动对象的轨迹信息确定的。
12.在本技术实施例中，通过将样本图像中多个移动对象的轨迹信息生成对应的第二图像通道，将其与样本图像的第一图像通道进行聚合，以此调整预训练模型的卷积层输入，并适应性调整卷积层权重，得到目标检测模型，从而实现了将时序上的高层语义信息通过额外通道增强输入的图像数据，使调整后的目标检测模型能够综合对象的坐标信息、类别信息及一段时间内的轨迹信息对事故目标对象进行判定，进而解决了相关技术中进行事故检测时对于无显著视觉特征的事故目标较难识别的技术问题。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
14.图1是根据本技术实施例的一种计算机终端的结构示意图；
15.图2是根据本技术实施例的一种目标检测方法的流程示意图；
16.图3是根据本技术实施例的一种模型训练方法的流程示意图；
17.图4是根据本技术实施例的一种模型训练过程的示意图；
18.图5是根据本技术实施例的另一种目标检测方法的流程示意图；
19.图6是根据本技术实施例的一种目标检测装置的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
21.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.实施例1
23.在相关技术中，进行事故检测时，主要是基于单帧图像物体检测技术，通过成对的事故图像数据以及包围框的标注信息进行训练获得，该技术方案通常是将图片输入一个预先训练的骨干网络得到一个经过分辨率降采样的特征图，特征图包含了图片中局部区域的高层语义信息以及空间信息，然后将特征图中的各个不同尺寸的锚点与标注信息中每个包围框的位置信息进行匹配训练；在预测阶段，输入图片得到一系列候选框，通过非极大值抑制以及置信分的筛选，得到检测出来的目标包围框。这种基于单帧图像物体检测的技术可以较好地处理严重的事故行为，因为这种情况下车辆事故产生的场景破坏以及车辆损坏等外观特征能够被良好的建模；然而，该方案没有利用到时序上的信息，由于交通场景中的大量事故并不会产生显著的视觉特征，例如最常见的剐蹭，这一类场景需要基于时序上的信息来与单帧图像特征结合来进行判断。
24.而基于连续画面帧的视频分析网络(如基于递归神经网络及三维卷积的视频分析网络等)在进行事故检测时会带来成倍的计算开销，该方案在大规模道路场景的视频分析中的效率较低；同时，如何获取视频分析网络所需要的较大规模数据也在事故这类较低发生频率的场景中成为了一个难题。
25.为了解决上述问题，本技术实施例提出了一种新的目标检测方法，其在现有的目标检测模型的基础上，以通道聚合的方式将时序上的轨迹信息通过额外的第二图像通道引入目标检测模型中，使目标检测模型可以综合对象的坐标、类别及轨迹信息对事故目标对象进行识别。
26.本技术实施例所提供的目标检测方法可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现该目标检测方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，......，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普
通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
27.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
28.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的目标检测方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
29.传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
30.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
31.在上述运行环境下，本技术实施例提供的目标检测方法如图2所示，该方法包括步骤s202-s206，其中：
32.步骤s202，获取待检测图像，待检测图像中包括多个移动对象。
33.在本技术一些可选的实施例中，目标检测方法主要用于交通事故检测中，因此，可以获取道路检测视频，提取该道路检测视频中任一时刻的画面帧图像，将该画面帧图像作为待检测图像，输入目标检测模型进行检测。其中，待检测图像中包括行人、机动车、非机动车等多个移动对象。
34.步骤s204，获取多个移动对象的轨迹信息。
35.在本技术一些可选的实施例中，可以获取检测跟踪算法缓存的多个移动对象在预设时间段内所有时刻的位置信息，其中，预设时间段应包括待检测图像对应的时刻，位置信息包括移动对象在待检测图像中的位置坐标；对于任一移动对象，依据该移动对象在预设时间段内所有时刻的位置坐标，就可以确定该移动对象的轨迹信息。
36.步骤s206，将待检测图像及轨迹信息输入目标检测模型，通过目标检测模型从多个移动对象中检测出目标对象。
37.其中，目标检测模型是通过调整预训练模型的输入得到的，其中，预训练模型以样本图像对应的第一图像通道为输入，目标检测模型以聚合通道为输入，聚合通道是依据第一图像通道与第二图像通道确定的，其中，第二图像通道是依据样本图像中多个移动对象
的轨迹信息确定的。
38.在训练目标检测模型时，可以从一段交通事故视频中采集发生事故时刻的画面帧图像作为样本图像，并确定标注信息，该标注信息主要为事故对象的包围框的位置信息。通常采集的样本图像为彩色图像，因此可以确定样本图像对应的rgb通道(red-green-blue，红绿蓝三原色)，将这三条颜色通道作为第一图像通道，作为预训练模型的第一卷积层的输入，第一卷积层会输出对应的特征图。其中，预训练模型可以参考相关技术中的单帧图像目标检测模型，通过将样本图像以及标注信息输入预训练模型进行训练，使其可以从样本图像中的多个移动对象中检测出发生事故的目标对象。
39.预训练模型虽然可以较为准确地检测出严重的事故行为，因为这种情况下事故产生的场景破坏等外观特征能够被良好的建模，但交通场景中更多的事故并不会产生显著的视觉特征，如最常见的剐蹭，此时，仅以颜色通道作为输入的预训练模型就无法准确检测出事故对象。
40.在本技术一些可选的实施例中，通过获取样本图像中多个移动对象的轨迹信息确定第二图像通道，将其与样本图像的第一图像通道进行聚合，以此调整预训练模型的卷积层输入，并适应性调整卷积层权重，得到目标检测模型，从而实现了将时序上的高层语义信息通过额外通道增强输入的图像数据，使调整后的目标检测模型能够综合对象的坐标、类别及轨迹等信息对事故目标对象进行判定。
41.在获取轨迹信息时，由于获取样本图像的视频中的每一时刻t，均会有检测跟踪算法产生出对应的结构化信息，这些结构化信息中包含有该时刻对应的画面帧图像中所有移动对象的位置坐标信息，在预设时间段内的结构化信息均会被存储在一个容量大小为n的缓冲区[s
t-n+1
，...，s
t-1
，s
t
]内，其中，s
t-n+1
～s
t
分别表示在t-n+1～t时段内的结构化信息。因此，只需获取一个移动对象在该时间段内所有时刻的位置坐标，即可得到该移动对象在t-n+1～t时段内的移动轨迹信息。
[0042]
在本技术一些可选的实施例中，为了进一步提升目标检测模型的性能，在确定第二图像通道时，可以为不同类型的移动对象生成各自的通道，具体地，依据每个移动对象的类型将样本图像中的多个移动对象划分为多个移动对象子集，其中，每个移动对象子集对应一个第二图像通道，包含轨迹信息的第二图像通道又称为语义信息通道。
[0043]
例如，可以将样本图像中的移动对象分为行人、机动车和非机动车三类，则第二图像通道包括：包括所有行人轨迹信息的语义信息通道c
person
，包括所有机动车轨迹信息的语义信息通道c
vehicle
，以及包括所有非机动车轨迹信息的语义信息通道c
nonvehicle
。
[0044]
在本技术一些可选的实施例中，可以通过如下过程确定第二图像通道：
[0045]
首先，对于任一移动对象子集，为该移动对象子集生成一个与样本图像对应的初始化通道，该初始化通道与样本图像的第一图像通道的分辨率大小是相同的，令该初始化通道中的所有像素值均为0；然后，对于移动对象子集中的任一移动对象，将移动对象在样本图像中的位置信息添加至移动对象子集对应的初始化通道中，并将移动对象的轨迹信息添加至移动对象子集对应的初始化通道中，得到移动对象子集对应的第二图像通道。
[0046]
具体地，在初始化通道中添加一个移动对象的位置信息时，可以依据该移动对象在样本图像中的位置坐标信息[x,y,w,h]，在初始化通道中绘制该移动对象的位置框，其中，[x，y]为位置框的基点坐标(通常为左下角顶点)，w和h分别表示位置框的宽度和高度，
该位置框应完全包围移动对象；之后，依据该位置框的坐标，以其中心点作为中心，以为半径，在初始化通道中生成一个高斯核，令高斯核的中心点处最大值为1。
[0047]
在初始化通道中添加一个移动对象轨迹信息时，首先依据移动对象在预设时间段内所有时刻的位置坐标，确定移动对象在预设时间段内所有时刻的位置框，将任意两个相邻的位置框的中心点进行连接，得到移动对象的轨迹线，并将这条轨迹线绘制在初始化通道中。由于确定所有时刻的位置框可能会影响计算效率，在本技术一些可选的实施例中，可以选取包括时刻t在内的历史最近的n个位置框用于确定移动对象的轨迹信息，例如，依次确定预设时间段t-n+1～t内时刻t-n+1、t-n+2、...t-1、t对应的位置框，连接相邻两个位置框的中心得到轨迹线。
[0048]
对于样本图像中的各个移动对象，依据其类型将其位置信息及轨迹信息添加至对应的初始化通道中，最终得到多条与移动对象类型对应的第二图像通道。之后，就可以通过通道聚合的方式将时序上的轨迹信息引入到目标检测模型之中。
[0049]
在本技术一些可选的实施例中，首先将第一图像通道与第二图像通道进行聚合，得到聚合通道，在聚合时，令第一图像通道的均值方差保持不变，第二图像通道满足标准正态分布；然后，在保持第一卷积层的输出通道的数量不变的情况下，将第一卷积层的输入由第一图像通道调整为聚合通道，得到第二卷积层；再将预训练模型中的第一卷积层替换为第二卷积层。
[0050]
可以理解地，在将输入通道的数量进行扩充后，如果直接将预训练模型的卷积模块替换成一个随机初始化的卷积模块，会让检测性能下降，因此在将第一卷积层替换为第二卷积层后，还需要对第二卷积层进行调整。
[0051]
在本技术一些可选的实施例中，可以获取第一卷积层的第一输出特征图及第二卷积层的第二输出特征图；依据第一输出特征图和第二输出特征图确定损失函数；再依据损失函数重新训练并调整第二卷积层的权重，得到最终的目标检测模型。
[0052]
例如，先提取预训练模型的第一个卷积层，即第一卷积层，其输入为样本图像对应的rgb三条第一图像通道，记录第一卷积层的第一输出特征图为fo；之后，在保持第一卷积层的输出特征通道数量不变的基础上，将其输入通道由3通道变为6通道，其中，6通道分别为与样本图像对应的rgb三条第一图像通道及与行人、机动车、非机动车对应的三条第二图像通道；令三条第一图像通道的均值和方差保持不变，令三条第二图像通道均满足标准正态分布，即将其设置为均值为0，方差为1，以此得到的6通道即为聚合通道，记录以聚合通道为输入的第二卷积层的第二输出特征图为fr；将预训练模型中的第一卷积层替换为第二卷积层，并依据第一输出特征图fo和第二输出特征图fr构建损失函数依据该损失函数重新训练并调整第二卷积层的权重，得到最终的目标检测模型。
[0053]
通过上述过程得到的目标检测模型能够准确检测多个移动对象中发生交通事故的目标对象，并标注目标对象。例如，当两辆车发生剐蹭时，可能剐蹭部位在图像中不明显，但两辆车的移动轨迹会存在交集，以聚合通道作为输入的目标检测模型可以通过轨迹信息准确检测出发生剐蹭的两辆车，这是仅以颜色通道作为输入的预训练模型无法实现的。
[0054]
在本技术实施例中，通过将样本图像中多个移动对象的轨迹信息生成对应的第二图像通道，将其与样本图像的第一图像通道进行聚合，以此调整预训练模型的卷积层输入，并适应性调整卷积层权重，得到目标检测模型，从而实现了将时序上的高层语义信息通过额外通道增强输入的图像数据，使调整后的目标检测模型能够综合对象的坐标信息、类别信息及一段时间内的轨迹信息对事故目标对象进行判定，进而解决了相关技术中进行事故检测时对于无显著视觉特征的事故目标较难识别的技术问题。
[0055]
实施例2
[0056]
根据本技术实施例，还提供了一种模型训练方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0057]
本技术实施例提供的模型训练方法同样可以运行在图1所示的运行环境中，其流程图如图3所示，该方法包括步骤s302-s306，其中：
[0058]
步骤s302，获取样本图像，确定与样本图像对应的第一图像通道，其中，第一图像通道为预训练模型的输入，预训练模型用于从样本图像中的多个移动对象中检测出目标对象。
[0059]
在本技术一些可选的实施例中，可以采集事故图像作为样本图像，标注信息主要为发生事故的目标对象的包围框的位置信息；预训练模型可以参考相关技术中的单帧图像目标检测模型，通过将样本图像以及对目标对象的标注信息输入预训练模型进行训练，使其可以从样本图像中的多个移动对象中检测出发生事故的目标对象。其中，采集的样本图像通常为彩色图像，因此可以确定样本图像对应的rgb通道(red-green-blue，红绿蓝三原色)，将这三条颜色通道作为第一图像通道，作为预训练模型中的第一卷积层的输入，得到对应的特征图。
[0060]
步骤s304，获取多个移动对象的轨迹信息，并依据轨迹信息确定与样本图像对应的第二图像通道。
[0061]
在本技术一些可选的实施例中，可以获取检测跟踪算法缓存的多个移动对象在预设时间段内所有时刻的位置信息，其中，预设时间段中包括样本图像对应的时刻，位置信息包括移动对象在样本图像中的位置坐标；对于任一移动对象，依据移动对象在预设时间段内所有时刻的位置坐标，确定移动对象的轨迹信息。
[0062]
为了提升目标检测模型的性能，在确定第二图像通道时，可以为不同类型的移动对象生成各自的通道，具体地，依据每个移动对象的类型将样本图像中的多个移动对象划分为多个移动对象子集，其中，每个移动对象子集对应一个第二图像通道，包含轨迹信息的第二图像通道又称为语义信息通道。对于任一移动对象子集，为该移动对象子集生成一个与样本图像对应的初始化通道，该初始化通道与样本图像的第一图像通道的分辨率大小是相同的，令该初始化通道中的所有像素值均为0；然后，对于移动对象子集中的任一移动对象，将移动对象在样本图像中的位置信息添加至移动对象子集对应的初始化通道中，并将移动对象的轨迹信息添加至移动对象子集对应的初始化通道中，得到移动对象子集对应的第二图像通道。
[0063]
步骤s306，依据第一图像通道与第二图像通道确定聚合通道，并依据聚合通道调
整预训练模型，得到目标检测模型。
[0064]
在本技术一些可选的实施例中，首先将第一图像通道与第二图像通道进行聚合，得到聚合通道，其中，令第一图像通道的均值方差保持不变，第二图像通道满足标准正态分布；然后，在保持第一卷积层的输出通道的数量不变的情况下，将第一卷积层的输入由第一图像通道调整为聚合通道，得到第二卷积层；再将预训练模型中的第一卷积层替换为第二卷积层；之后，可以获取第一卷积层的第一输出特征图及第二卷积层的第二输出特征图；依据第一输出特征图和第二输出特征图确定损失函数；再依据损失函数重新训练并调整第二卷积层的权重，得到最终的目标检测模型。
[0065]
图4为一种可选的模型训练过程的示意图，其中，提取视频中t时刻的画面帧图像作为样本图像，并生成对应的画面通道(第一图像通道)；获取检测跟踪算法缓存的t-n+1～t时段内的位置信息确定轨迹信息，并生成对应的语义信息通道(第二图像通道)；依据画面通道与语义信息通道得到聚合通道，并重新初始化卷积层(将以第一图像通道作为输入的第一卷积层调整为以聚合通道作为输入的第二卷积层，再确定损失函数并调整第二卷积层的权重)，得到最终的目标检测模型，其可以从样本图像中的多个移动对象中检测出目标对象。
[0066]
在本技术实施例中，通过将样本图像中多个移动对象的轨迹信息生成对应的第二图像通道，将其与样本图像的第一图像通道进行聚合，以此调整预训练模型的卷积层输入，并适应性调整卷积层权重，得到目标检测模型，从而实现了将时序上的高层语义信息通过额外通道增强输入的图像数据，使调整后的目标检测模型能够综合对象的坐标信息、类别信息及一段时间内的轨迹信息对事故目标对象进行判定，进而解决了相关技术中进行事故检测时对于无显著视觉特征的事故目标较难识别的技术问题。
[0067]
实施例3
[0068]
根据本技术实施例，还提供了一种目标检测方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0069]
本技术实施例提供的目标检测方法同样可以运行在图1所示的运行环境中，其流程图如图5所示，该方法包括步骤s502-s508，其中：
[0070]
步骤s502，获取待检测图像，确定与待检测图像对应的第一图像通道。
[0071]
步骤s504，获取待检测图像中多个移动对象的轨迹信息，依据轨迹信息确定与待检测图像对应的第二图像通道。
[0072]
步骤s506，依据第一图像通道与第二图像通道确定聚合通道。
[0073]
步骤s508，将聚合通道作为目标检测模型的输入，通过目标检测模型从多个移动对象中检测出目标对象。
[0074]
其中，目标检测模型是经过以下训练过程得到的：获取样本图像及标注信息，并确定与样本图像对应的第一图像通道，其中，样本图像中包括多个移动对象，第一图像通道为预训练模型中的第一卷积层的输入，预训练模型用于依据样本图像及标注信息从多个移动对象中检测出目标对象；获取多个移动对象在预设时间段内的轨迹信息，并基于轨迹信息确定与样本图像对应的第二图像通道；依据第一图像通道与第二图像通道确定聚合通道，
并依据聚合通道将预训练模型中的第一卷积层替换为第二卷积层，其中，聚合通道为第二卷积层的输入；依据第一卷积层和第二卷积层的输出特征图确定损失函数，并依据损失函数调整第二卷积层的权重，得到目标检测模型。
[0075]
具体地，在训练目标检测模型时，可以先采集事故图像作为样本图像，将发生事故的目标对象的包围框位置信息作为标注信息，输入预训练模型进行训练，使其可以从样本图像中的多个移动对象中检测出发生事故的目标对象。其中，采集的样本图像通常为彩色图像，因此可以确定样本图像对应的rgb通道(red-green-blue，红绿蓝三原色)，将这三条颜色通道作为第一图像通道，作为预训练模型中的第一卷积层的输入，得到对应的特征图。
[0076]
之后，需要获取检测跟踪算法缓存的多个移动对象在预设时间段内所有时刻的位置信息，其中，预设时间段中包括样本图像对应的时刻，位置信息包括移动对象在样本图像中的位置坐标；对于任一移动对象，依据移动对象在预设时间段内所有时刻的位置坐标，即可确定移动对象的轨迹信息。
[0077]
为了提升目标检测模型的性能，在确定第二图像通道时，可以为不同类型的移动对象生成各自的通道，具体地，依据每个移动对象的类型将样本图像中的多个移动对象划分为多个移动对象子集，其中，每个移动对象子集对应一个第二图像通道，包含轨迹信息的第二图像通道又称为语义信息通道。对于任一移动对象子集，为该移动对象子集生成一个与样本图像对应的初始化通道，该初始化通道与样本图像的第一图像通道的分辨率大小是相同的，令该初始化通道中的所有像素值均为0；然后，对于移动对象子集中的任一移动对象，将移动对象在样本图像中的位置信息添加至移动对象子集对应的初始化通道中，并将移动对象的轨迹信息添加至移动对象子集对应的初始化通道中，得到移动对象子集对应的第二图像通道。
[0078]
然后，将第一图像通道与第二图像通道进行聚合，得到聚合通道，其中，令第一图像通道的均值方差保持不变，第二图像通道满足标准正态分布；然后，在保持第一卷积层的输出通道的数量不变的情况下，将第一卷积层的输入由第一图像通道调整为聚合通道，得到第二卷积层；再将预训练模型中的第一卷积层替换为第二卷积层。
[0079]
如果直接将预训练模型的卷积模块替换成一个随机初始化的卷积模块，会让检测性能下降，因此在将第一卷积层替换为第二卷积层后，还需要对第二卷积层进行调整：可以获取第一卷积层的第一输出特征图及第二卷积层的第二输出特征图；依据第一输出特征图和第二输出特征图确定损失函数；再依据损失函数重新训练并调整第二卷积层的权重，得到最终的目标检测模型。
[0080]
需要说明的是，本技术实施例中的目标检测模型可以参考实施例1中的目标检测模型，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。
[0081]
实施例4
[0082]
根据本技术实施例，还提供了一种用于实现上述目标检测方法的目标检测装置，如图6所示，该装置包括第一获取模块60，第二获取模块62及检测模块64其中：
[0083]
第一获取模块60，用于获取待检测图像，待检测图像中包括多个移动对象。
[0084]
在本技术一些可选的实施例中，目标检测方法主要用于交通事故检测中，因此，可以获取道路检测视频，提取该道路检测视频中任一时刻的画面帧图像，将该画面帧图像作
为待检测图像，输入目标检测模型进行检测。其中，待检测图像中包括行人、机动车、非机动车等多个移动对象。
[0085]
第二获取模块62，用于获取多个移动对象的轨迹信息。
[0086]
在本技术一些可选的实施例中，可以获取检测跟踪算法缓存的多个移动对象在预设时间段内所有时刻的位置信息，其中，预设时间段应包括待检测图像对应的时刻，位置信息包括移动对象在待检测图像中的位置坐标；对于任一移动对象，依据该移动对象在预设时间段内所有时刻的位置坐标，就可以确定该移动对象的轨迹信息。
[0087]
检测模块64，用于将待检测图像及轨迹信息输入目标检测模型，通过目标检测模型从多个移动对象中检测出目标对象。
[0088]
其中，目标检测模型是通过调整预训练模型的输入得到的，其中，预训练模型以样本图像对应的第一图像通道为输入，目标检测模型以聚合通道为输入，聚合通道是依据第一图像通道与第二图像通道确定的，其中，第二图像通道是依据样本图像中多个移动对象的轨迹信息确定的。
[0089]
需要说明的是，本技术实施例中的目标检测装置中的各模块与实施例1中的目标检测方法实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。
[0090]
实施例5
[0091]
根据本技术实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的目标检测方法或是模型训练方法。
[0092]
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取待检测图像，待检测图像中包括多个移动对象；获取多个移动对象的轨迹信息；将待检测图像及轨迹信息输入目标检测模型，通过目标检测模型从多个移动对象中检测出目标对象；其中，目标检测模型是通过调整预训练模型的输入得到的，其中，预训练模型以样本图像对应的第一图像通道为输入，目标检测模型以聚合通道为输入，聚合通道是依据第一图像通道与第二图像通道确定的，其中，第二图像通道是依据样本图像中多个移动对象的轨迹信息确定的。
[0093]
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取样本图像，确定与样本图像对应的第一图像通道，其中，第一图像通道为预训练模型的输入，预训练模型用于从样本图像中的多个移动对象中检测出目标对象；获取多个移动对象的轨迹信息，并依据轨迹信息确定与样本图像对应的第二图像通道；依据第一图像通道与第二图像通道确定聚合通道，并依据聚合通道调整预训练模型，得到目标检测模型。
[0094]
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取待检测图像，确定与待检测图像对应的第一图像通道；获取待检测图像中多个移动对象的轨迹信息，依据轨迹信息确定与待检测图像对应的第二图像通道；依据第一图像通道与第二图像通道确定聚合通道；将聚合通道作为目标检测模型的输入，通过目标检测模型从多个移动对象中检测出目标对象。
[0095]
实施例6
[0096]
根据本技术实施例，还提供了一种电子设备，该电子设备包括处理器和存储器，其
中：存储器与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取待检测图像，待检测图像中包括多个移动对象；获取多个移动对象的轨迹信息；将待检测图像及轨迹信息输入目标检测模型，通过目标检测模型从多个移动对象中检测出目标对象；其中，目标检测模型是通过调整预训练模型的输入得到的，其中，预训练模型以样本图像对应的第一图像通道为输入，目标检测模型以聚合通道为输入，聚合通道是依据第一图像通道与第二图像通道确定的，其中，第二图像通道是依据样本图像中多个移动对象的轨迹信息确定的。
[0097]
可选地，存储器中还存储有处理以下步骤的指令：获取样本图像，确定与样本图像对应的第一图像通道，其中，第一图像通道为预训练模型的输入，预训练模型用于从样本图像中的多个移动对象中检测出目标对象；获取多个移动对象的轨迹信息，并依据轨迹信息确定与样本图像对应的第二图像通道；依据第一图像通道与第二图像通道确定聚合通道，并依据聚合通道调整预训练模型，得到目标检测模型。
[0098]
可选地，存储器中还存储有处理以下步骤的指令：获取待检测图像，确定与待检测图像对应的第一图像通道；获取待检测图像中多个移动对象的轨迹信息，依据轨迹信息确定与待检测图像对应的第二图像通道；依据第一图像通道与第二图像通道确定聚合通道；将聚合通道作为目标检测模型的输入，通过目标检测模型从多个移动对象中检测出目标对象。
[0099]
在本技术一些可选的实施例中，上述电子设备的具体结构可以参考如图1所示的计算机终端。需要说明的是，图1所示的结构仅为示意，其并不对上述电子设备的结构造成限定，该电子设备的结构可以与图1所示的计算机终端相同，也可以包括比图1中所示更多或更少的组件，还可以具有与图1所示不同的配置。
[0100]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0101]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0102]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0103]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0104]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0105]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备
(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0106]
以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。