目标检测方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种目标检测方法及装置。


背景技术：

2.目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。比如，在某些特定监控场景内，比如自动驾驶场景，需要对上述场景内的抽烟、打电话等行为进行实时检测，以便于及时发出预警，因此，有效降低误检对于驾驶员检测系统(dms)在实际舱内表现至关重要。
3.目前采用的目标检测算法，由于在舱内环境、复杂光线、摄像头素质相对较低等因素，以致误检频繁发生，甚至致使检测算法失效，比如在实际舱内检测香烟目标时，由于目标尺寸过小，舱内环境、光线以及摄像头素质等问题都会使误检频繁发生，降低驾驶员检测系统的准确性。


技术实现要素：

4.本发明提供一种目标检测方法及装置，用以解决现有技术中误检率较高的缺陷，确保在不需要增加额外模型计算量的情况下，显著降低舱内检测的误检，提高模型在不同环境下的鲁棒性。
5.本发明提供一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入至目标检测模型中，得到所述目标检测模型输出的目标检测结果；其中，所述目标检测模型是基于训练样本及所述训练样本对应的数据训练标签训练得到的，所述数据训练标签包括所述训练样本对应的训练样本标签、以及对所述训练样本进行高斯处理得到的结果。
6.根据本发明提供的一种目标检测方法，在将所述待检测图像输入至目标检测模型中之前，训练所述目标检测模型，包括：获取训练样本及所述训练样本对应的训练样本标签；对所述训练样本进行高斯处理，得到处理结果；基于所述处理结果和所述训练样本标签，生成对应所述训练样本标签的数据训练标签；将所述训练样本输入至所述待训练模型中，得到所述待训练模型输出的目标预测结果；根据所述目标预测结果和所述数据训练标签，构建损失函数，并基于所述损失函数收敛，结束训练。
7.根据本发明提供的一种目标检测方法，所述对所述训练样本进行高斯处理，得到处理结果，包括：对所述训练样本进行特征提取，得到特征图，所述特征图包括目标区域和非目标区域；获取所述目标区域的中心点位置，并基于所述中心点位置对所述目标区域进行高斯处理，得到所述处理结果。
8.根据本发明提供的一种目标检测方法，对所述训练样本进行特征提取，包括：对所述训练样本进行下采样，得到所述特征图。
9.根据本发明提供的一种目标检测方法，所述待训练模型包括特征提取层和目标检测层，所述将所述训练样本输入至所述待训练模型中，得到所述待训练模型输出的目标预测结果，包括：将所述训练样本输入至所述特征提取层，得到所述特征提取层输出的目标特征图；将所述目标特征图输入至目标检测层，得到所述目标检测层输出的目标预测结果。
10.根据本发明提供的一种目标检测方法，所述根据目标预测结果和所述数据训练标签，构建损失函数，包括：根据所述目标预测结果和所述数据训练标签，构建第一损失函数；根据所述目标预测结果和所述数据训练标签，构建交叉熵损失函数；基于所述第一损失函数和所述交叉熵损失函数，得到损失函数。
11.本发明还提供一种目标检测装置，包括：图像获取模块，获取待检测图像；目标检测模块，将所述待检测图像输入至目标检测模型中，得到所述目标检测模型输出的目标检测结果；其中，所述目标检测模型是基于训练样本及所述训练样本对应的数据训练标签训练得到的，所述数据训练标签包括所述训练样本对应的训练样本标签、以及对所述训练样本进行高斯处理得到的结果。
12.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法的步骤。
13.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
14.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
15.本发明提供的目标检测方法及装置，通过对训练样本进行高斯处理，以为模型提供更多负样本信息，从而增强模型鲁棒性，并且极大的降低了误检率。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的目标检测方法的流程示意图；
18.图2是本发明提供的训练目标检测模型的流程示意图之一；
19.图3是本发明提供的训练目标检测模型的流程示意图之二；
20.图4是本发明提供的目标检测装置的结构示意图；
21.图5是本发明提供的训练模块的结构示意图；
22.图6是本发明提供的电子设备的结构示意图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳
动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.图1示出了本发明的一种目标检测方法的流程示意图，该方法包括：
25.s11，获取待检测图像；
26.s12，将待检测图像输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及训练样本对应的数据训练标签训练得到的，数据训练标签包括训练样本对应的训练样本标签、以及对训练样本进行高斯处理得到的结果。
27.需要说明的是，本说明书中的s1n不代表目标检测方法的先后顺序，下面具体描述本发明的目标检测方法。
28.步骤s11，获取待检测图像。
29.需要说明的是，获取的待检测图像可以为待进行行为识别、场景识别、身份识别或其他目标识别所需要的图像或视频流。比如，当需要进行自动驾驶异常行为检测时，获取的待检测图片来源于车辆对于驾驶位实时拍摄的视频流或至少一帧图片序列；再比如，当自动驾驶车辆需要进行场景识别时，获取的待检测图片来源于车辆对于车身周围环境实时获取的图片序列，此时待检测图片可以通过车身的雷达、传感器或摄像头等装置获取，此处对待检测图片的来源不做进一步地限定。
30.在本实施例中，获取待检测图像，包括：获取单帧待检测图像；或者，获取连续至少两帧待检测图像；或者，获取视频流；对视频流进行镜头分割，得到与待检测目标相关的图像或图像帧序列。
31.在一个可选实施例中，获取的待检测图像可以来源于毫米波雷达、激光雷达、探测器、摄像头以及其他摄像设备基于特定目标拍摄的图像，此处对待检测图像的来源不做进一步地限定。
32.步骤s12，将待检测图像输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及训练样本对应的数据训练标签训练得到的，数据训练标签包括训练样本对应的训练样本标签、以及对训练样本进行高斯处理得到的结果。
33.在本实施例中，目标检测模型，包括：特征提取层，对待检测图像进行特征提取，得到特征图；目标检测层，对特征图进行目标识别，得到目标检测结果。
34.在一个可选实施例中，目标检测结果包括目标类别预测结果和目标大小预测结果。
35.在一个可选实施例中，参考图2，该方法还包括：在将待检测图像输入至目标检测模型中之前，训练目标检测模型。具体而言，训练目标检测模型，包括：
36.s21，获取训练样本及训练样本对应的训练样本标签；
37.s22，对训练样本进行高斯处理，得到处理结果；
38.s23，基于所述处理结果和所述训练样本标签，生成对应训练样本标签的数据训练标签；
39.s24，将训练样本输入至待训练模型中，得到待训练模型输出的目标预测结果；
40.s25，根据目标预测结果和数据训练标签，构建损失函数，并基于损失函数收敛，结束训练。
41.需要说明的是，本说明书中的s2n不代表目标检测方法的先后顺序，下面具体描述
本发明的训练目标检测模型。
42.步骤s21，获取训练样本及训练样本对应的训练样本标签。
43.在本实施例中，获取训练样本及训练样本对应的训练样本标签，包括：采集训练视频或图像，并筛选出其中包含目标信息的视频或图像作为训练样本；对训练样本进行标注，得到训练样本标签。
44.举例而言，当进行自动驾驶异常行为检测时，比如驾驶员抽烟或完善后即等异常行为检测时，在采集训练视频或图像时，可以在不同的车辆行驶环境下对不同驾驶员的驾驶行为进行录像，录制不同的驾驶员抽烟或玩手机的等行为视频，以及录制一些不同驾驶员未抽烟和玩手机的视频作为正常样本。另外，网上下载图像或对不同的特定目标进行拍照的图像也可以作为训练样本。
45.为了建立特定目标和人之间的关联性，以及考虑视频连续帧之间的冗余性，在筛选采集的训练视频时，对视频文件每隔几帧采集1帧图像，以去除未包含目标的图像。应当注意，在对训练样本进行标注时，对香烟、手机等特定目标的类别和大小进行标注，以得到训练样本标签。
46.步骤s22，对训练样本进行高斯处理，得到处理结果。
47.在本实施例中，对训练样本进行高斯处理，得到处理结果，包括：对训练样本进行特征提取，得到特征图，特征图包括目标区域和非目标区域；获取目标区域的中心点位置，并基于中心点位置对目标区域进行高斯处理，得到处理结果。
48.需要说明的是，参考图3，左图表示训练样本，右图表示对训练样本进行特征提取得到的特征图，其中，灰色阴影区域表示目标区域，斜纹区域为非目标区域，通过对训练样本进行特征提取，得到特征图；再基于目标区域的中心点位置对目标区域进行高斯处理，使得非目标区域相对于目标区域形成负样本，从而使得模型学习更多负样本信息，增强模型鲁棒性。更进一步地说，高斯处理表示为：
[0049][0050]
其中，(x,y)表示中心点，(xi,yi)表示目标区域除中心点以外的其余点，σ表示超参数，在本实施例中可以设置为1。
[0051]
在一个可选实施例中，对训练样本进行特征提取，包括：对训练样本进行下采样，得到特征图。更进一步地说，下采样可以为1/8，即在训练样本上下采样1/8，通过下采样，减少特征，从而简化计算时的复杂度，减少计算量。
[0052]
步骤s23，基于处理结果和训练样本标签，生成对应训练样本标签的数据训练标签。
[0053]
在一个可选实施例中，在对训练样本进行高斯处理之后，还包括：利用数据增强策略对训练样本进行数据增强。上述数据增强策略包括图像缩放、水平镜像翻转、随机调整亮度和色调等，保持各目标的标签信息不变同时边界框坐标信息根据相应的几何变换方法进行更新。
[0054]
步骤s24，将训练样本输入至待训练模型中，得到待训练模型输出的目标预测结果。
[0055]
在本实施例中，待训练模型，包括：特征提取层，对训练样本进行特征提取，得到目标特征图；目标检测层，对目标特征图进行目标识别，得到目标预测结果。
[0056]
在一个可选实施例中，待训练模型包括特征提取层和目标检测层，将训练样本输入至待训练模型中，得到待训练模型输出的目标预测结果，包括：将训练样本输入至特征提取层，得到特征提取层输出的目标特征图；将目标特征图输入至目标检测层，得到目标检测层输出的目标预测结果。在一个可选实施例中，目标检测层可以包括例如卷积网络，以替代全连接网络。
[0057]
在一个可选实施例中，待训练模型可以是训练装置中内置的已有网络，该已有网络通常包括一个网络结构，也可以是用户指定的其他网络，如目标检测网络fpn等。待训练网络中通常包括分别用于提取对应目标特征的特征提取层、对应检测各提取出的目标特征的目标检测层和损失函数；按照预设的迭代规则，将上述增训练样本或经数据增强后的训练样本输入至待训练模型中进行训练，得到训练后的目标检测模型。
[0058]
步骤s25，根据目标预测结果和数据训练标签，构建损失函数，并基于损失函数收敛，结束训练。
[0059]
在本实施例中，根据目标预测结果和数据训练标签，构建损失函数，包括：根据目标预测结果和数据训练标签，构建第一损失函数；根据目标预测结果和数据训练标签，构建交叉熵损失函数；基于第一损失函数和交叉熵损失函数，得到损失函数。
[0060]
在本实施例中，损失函数，表示为：
[0061]
loss＝(target
–
pred)+binary_cross_entropy(target,pred)
[0062]
其中，loss表示损失函数，target
–
pred表示第一损失函数，binary_cross_entropy(target,pred)表示交叉熵损失函数。
[0063]
更进一步地说，第一损失函数表示为：
[0064]
loss＝|target-pred|
[0065]
其中，target表示数据训练标签，pred表示目标预测结果。
[0066]
交叉熵损失函数表示为：
[0067][0068]
其中，target表示数据训练标签，pred表示目标预测结果。
[0069]
综上所述，本发明实施例通过对训练样本进行高斯处理，以得到相对于特征图目标区域的非目标区域作为负样本，为模型提供更多负样本信息，增强模型鲁棒性，并且极大的降低了误检率。
[0070]
下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
[0071]
图4示出了一种目标检测装置的结构示意图，该装置包括：
[0072]
图像获取模块41，获取待检测图像；
[0073]
目标检测模块42，将待检测图像输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及训练样本对应的数据训练标签训练得到的，数据训练标签包括训练样本对应的训练样本标签、以及对训练样本进行高斯处理得到的结果。
[0074]
在本实施例中，图像获取模块41，包括：图像获取单元，获取单帧待检测图像；或者，图像获取单元，获取连续至少两帧待检测图像；或者，视频获取单元，获取视频流；分割单元，对视频流进行镜头分割，得到与待检测目标相关的图像或图像帧序列。
[0075]
需要说明的是，获取的待检测图像可以为待进行行为识别、场景识别、身份识别或其他目标识别所需要的图像或视频流。比如，当需要进行自动驾驶异常行为检测时，获取的待检测图片来源于车辆对于驾驶位实时拍摄的视频流或至少一帧图片序列；再比如，当自动驾驶车辆需要进行场景识别时，获取的待检测图片来源于车辆对于车身周围环境实时获取的图片序列，此时待检测图片可以通过车身的雷达、传感器或摄像头等装置获取，此处对待检测图片的来源不做进一步地限定。
[0076]
在一个可选实施例中，获取的待检测图像可以来源于毫米波雷达、激光雷达、探测器、摄像头以及其他摄像设备基于特定目标拍摄的图像，此处对待检测图像的来源不做进一步地限定。
[0077]
目标检测模块42，包括：特征提取单元，对待检测图像进行特征提取，得到特征图；目标检测单元，对特征图进行目标识别，得到目标检测结果。
[0078]
在一个可选实施例中，参考图5，该装置还包括：训练模块，在将待检测图像输入至目标检测模型中之前，训练目标检测模型。具体而言，训练模块，包括：
[0079]
数据获取单元51，获取训练样本及训练样本对应的训练样本标签；
[0080]
高斯处理单元52，对训练样本进行高斯处理，得到结果；
[0081]
标签生成单元53，基于所述处理结果和所述训练样本标签，生成对应训练样本标签的数据训练标签；
[0082]
目标预测单元54，将训练样本输入至待训练模型中，得到待训练模型输出的目标预测结果；
[0083]
训练单元55，根据目标预测结果和数据训练标签，构建损失函数，并基于损失函数收敛，结束训练。
[0084]
具体而言，数据获取单元51，包括：样本获取子单元，采集训练视频或图像，并筛选出其中包含目标信息的视频或图像作为训练样本；标注子单元，对训练样本进行标注，得到训练样本标签。
[0085]
为了建立特定目标和人之间的关联性，以及考虑视频连续帧之间的冗余性，在筛选采集的训练视频时，对视频文件每隔几帧采集1帧图像，以去除未包含目标的图像。应当注意，在对训练样本进行标注时，对香烟、手机等特定目标的类别和大小进行标注，以得到训练样本标签。
[0086]
高斯处理单元52，包括：第一特征提取子单元，对训练样本进行特征提取，得到特征图，特征图包括目标区域和非目标区域；高斯处理子单元，获取目标区域的中心点位置，并基于中心点位置对目标区域进行高斯处理，得到处理结果。需要说明的是，通过对训练样本进行特征提取，得到特征图；再基于目标区域的中心点位置对目标区域进行高斯处理，使得非目标区域形成了相对于目标区域的负样本，从而使得模型学习更多负样本信息，增强模型鲁棒性。
[0087]
在一个可选实施例中，对训练样本进行特征提取，包括：对训练样本进行下采样，得到特征图。更进一步地说，下采样可以为1/8，即在训练样本上下采样1/8，通过下采样，减
少特征，从而简化计算时的复杂度，减少计算量。
[0088]
在一个可选实施例中，训练模块，还包括：数据增强单元，利用数据增强策略对训练样本进行数据增强。上述数据增强策略包括图像缩放、水平镜像翻转、随机调整亮度和色调等，保持各目标的标签信息不变同时边界框坐标信息根据相应的几何变换方法进行更新。
[0089]
目标预测单元54，包括：第二特征提取子单元，对训练样本进行特征提取，得到目标特征图；目标检测子单元，对目标特征图进行目标识别，得到目标预测结果。
[0090]
在一个可选实施例中，待训练模型包括特征提取层和目标检测层，将训练样本输入至待训练模型中，得到待训练模型输出的目标预测结果，包括：将训练样本输入至特征提取层，得到特征提取层输出的目标特征图；将目标特征图输入至目标检测层，得到目标检测层输出的目标预测结果。
[0091]
训练单元55，包括：第一损失函数构建子单元，根据目标预测结果和数据训练标签，构建第一损失函数；第二损失函数构建子单元，根据目标预测结果和数据训练标签，构建交叉熵损失函数；损失函数获取单元，基于第一损失函数和交叉熵损失函数，得到损失函数。
[0092]
综上所述，本发明实施例通过训练模块对训练样本进行高斯处理，以得到相对于特征图目标区域的非目标区域作为负样本，为模型提供更多负样本信息，增强模型鲁棒性，并且极大的降低了误检率。
[0093]
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)61、通信接口(communications interface)62、存储器(memory)63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信。处理器61可以调用存储器63中的逻辑指令，以执行目标检测方法，该方法包括：获取待检测图像；将待检测图像输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及训练样本对应的数据训练标签训练得到的，数据训练标签包括训练样本对应的训练样本标签、以及对训练样本进行高斯处理得到的结果。
[0094]
此外，上述的存储器63中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0095]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：获取待检测图像；将待检测图像输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及训练样本对应的数据训练标签训练得到的，数据训练标签包括训练样本对应的训练样本标签、以及对训练样本进行高斯处理得到的结果。
[0096]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标检测方法，该方法包括：获取待检测图像；将待检测图像输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及训练样本对应的数据训练标签训练得到的，数据训练标签包括训练样本对应的训练样本标签、以及对训练样本进行高斯处理得到的结果。
[0097]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0098]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0099]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。