一种目标检测方法、装置和可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种目标检测方法、装置和可读存储介质。


背景技术：

2.人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、及应用系统的技术。计算机视觉(computer vision，cv)是人工智能的一个分支，试图建立能够从图像或者多维数据中获取信息的人工智能系统。
3.目标检测是计算机视觉的一个重要应用，例如从图像中检测出人脸、车辆或建筑等。对于高质量的图像，目标检测模型通常可以准确检测出其中的目标。但是对于低质量的图像，如恶劣天气、暗光等条件下拍摄的图像，则难以准确检测出其中的图像，极大影响目标检测的准确性。在恶劣天气、暗光等条件下，需要通过手动调节相机参数来提高拍摄出的图像的质量，以提高目标检测的准确性，但是这种方法不能适用于不同的拍摄场景，并且对拍摄人员具有较高的专业要求。


技术实现要素：

4.本发明实施例提供一种目标检测方法、装置和可读存储介质，可以减少用户的操作成本，以及提高目标检测的准确性。
5.第一方面，本发明实施例公开了一种目标检测方法，所述方法包括：
6.将待处理图像输入参数预测网络，通过所述参数预测网络输出调优参数，所述调优参数包括去雾参数、白平衡参数、对比度参数、色调参数、锐化参数、以及矫正参数中的至少一种；
7.根据所述参数预测网络输出的调优参数，对所述待处理图像进行图像增强处理，得到所述待处理图像对应的优化图像；
8.将所述待处理图像对应的优化图像输入目标检测网络进行目标检测，通过所述目标检测网络输出目标检测结果，所述目标检测网络和所述参数预测网络为预先利用训练数据联合训练得到的神经网络，所述训练数据包括符合预设条件的图像。
9.第二方面，本发明实施例公开了一种目标检测装置，所述装置包括：
10.参数预测模块，用于将待处理图像输入参数预测网络，通过所述参数预测网络输出调优参数，所述调优参数包括去雾参数、白平衡参数、对比度参数、色调参数、锐化参数、以及矫正参数中的至少一种；
11.图像增强模块，用于根据所述参数预测网络输出的调优参数，对所述待处理图像进行图像增强处理，得到所述待处理图像对应的优化图像；
12.目标检测模块，用于将所述待处理图像对应的优化图像输入目标检测网络进行目标检测，通过所述目标检测网络输出目标检测结果，所述目标检测网络和所述参数预测网络为预先利用训练数据联合训练得到的神经网络，所述训练数据包括符合预设条件的图
像。
13.第三方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述一个或多个所述的目标检测方法。
14.本发明实施例包括以下优点：
15.本发明实施例预先利用训练数据联合训练得到参数预测网络和目标检测网络，将待处理图像输入训练好的参数预测网络，通过该参数预测网络即可输出调优参数，利用该调优参数对所述待处理图像进行图像增强处理，可以得到所述待处理图像对应的优化图像，将该优化图像输入训练好的目标检测网络即可输出目标检测结果。本发明实施例通过参数预测网络可以自动预测待处理图像所需要的调优参数，不需要在拍摄图像时对拍摄人员具有较高的专业要求，还可以减少用户的操作成本。此外，由于参数预测网络是通过大量训练数据训练得到的神经网络，且训练数据包括预设条件(如恶劣天气下)的图像，因此，本发明实施例的参数预测网络可以准确预测预设条件(如恶劣天气下)的图像所需要的调优参数，可以增强参数预测网络对预设条件(如恶劣天气下)的图像的适应能力，相对于人工设置参数，本发明实施例可以提高调优参数的准确性，进而提高目标检测的准确性。再者，本发明实施例的参数预测网络和目标检测网络可以通过端到端的训练和测试得到，可以减少人工调试的成本。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明的一种目标检测方法实施例的步骤流程图；
18.图2是本发明一个示例中的图像增强模块处理流程示意图；
19.图3是本发明一个端到端的系统架构示意图；
20.图4是本发明的一种目标检测装置实施例的步骤流程图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三
种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
23.参照图1，示出了本发明的一种目标检测方法实施例的步骤流程图，所述方法可以包括如下步骤：
24.步骤101、将待处理图像输入参数预测网络，通过所述参数预测网络输出调优参数，所述调优参数包括去雾参数、白平衡参数、对比度参数、色调参数、锐化参数、以及矫正参数中的至少一种；
25.步骤102、根据所述参数预测网络输出的调优参数，对所述待处理图像进行图像增强处理，得到所述待处理图像对应的优化图像；
26.步骤103、将所述待处理图像对应的优化图像输入目标检测网络进行目标检测，通过所述目标检测网络输出目标检测结果，所述目标检测网络和所述参数预测网络为预先利用训练数据联合训练得到的神经网络，所述训练数据包括符合预设条件的图像。
27.目标检测方法是从图像中找出若干特定目标并确定图像中特定目标的具体位置的方法。本发明实施例提供的目标检测方法可用于人脸识别场景，在图像中检测人脸目标，还可用于自动驾驶场景，在图像中检测行人、障碍物和交通信号等目标，本发明实施例提供的目标检测方法可应用于任意需要进行目标检测的场景。
28.本发明实施例通过一个端到端的系统实现目标检测方法。将待处理图像输入该端到端的系统，即可输出该待处理图像的目标检测结果。所述端到端的系统主要包括如下三个部分：参数预测网络、图像增强模块、以及目标检测网络。
29.所述参数预测网络用于接收待处理图像，并输出该待处理图像对应的调优参数。所述调优参数为参数预测网络根据待处理图像的全局信息确定的用于优化待处理图像的参数，用于改善待处理图像的质量。所述调优参数可以包括但不限于去雾参数、白平衡参数、对比度参数、色调参数、锐化参数、以及矫正参数中的至少一种。所述图像增强模块用于接收待处理图像以及所述参数预测网络输出的调优参数，根据该调优参数对接收到的待处理图像进行图像增强处理，输出优化图像。也即，图像增强模块用于按照参数预测网络提供的调优参数，对待处理图像进行优化，得到优化图像。例如，若待处理图像的亮度太低则可以按照参数预测网络输出的矫正参数增强待处理图像的亮度；又如，若待处理图像是雾天拍摄的图像，则可以按照参数预测网络输出的去雾参数对待处理图像进行去雾处理等。图像增强模块对待处理图像进行优化后可以提高图像质量，进而可以提高目标检测的准确度。需要说明的是，所述参数预测网络输出的调优参数的种类和数量可以根据实际需要进行设置。目标检测网络用于接收所述图像增强模块输出的优化图像，并对接收到的优化图像进行目标检测，输出目标检测结果。
30.本发明实施例对所述待处理图像的来源不做限制。例如，所述待处理图像可以是交通监控视频中的图像，或者，所述待处理图像可以是用户手机录制的视频中的图像，等等。
31.所述目标检测网络和所述参数预测网络为预先利用训练数据联合训练得到的神经网络，所述训练数据包括符合预设条件的图像。所述预设条件的图像指拍摄条件较差的图像，例如，所述预设条件可以包括但不限于如下任意一种或多种拍摄条件：雨天、雪天、阴天、夜晚、雾天、暗光、强光等。
32.本发明实施例预先利用训练数据联合训练得到所述参数预测网络和所述目标检测网络。由于训练数据包括符合预设条件的图像，如雨天、雪天、阴天、夜晚、雾天、暗光、强光等条件下拍摄的图像，因此，基于这些训练数据联合训练所述参数预测网络和所述目标检测网络，训练得到的参数预测网络可以准确地预测上述预设条件下的图像对应的调优参数，以及训练得到的目标检测网络可以准确检测出上述预设条件下的图像中的目标。
33.在本发明的一种可选实施例中，步骤102所述根据所述参数预测网络输出的调优参数，对所述待处理图像进行图像增强处理，可以包括：
34.步骤s11、将所述待处理图像和所述参数预测网络输出的调优参数输入图像增强模块，所述图像增强模块包括与所述参数预测网络输出的调优参数一一对应的滤波器；
35.步骤s12、通过各个滤波器利用相应的调优参数对所述待处理图像依次进行图像增强处理。
36.在本发明实施例中，图像增强模块可以包括若干个可微分的滤波器，每个滤波器可用于对图像进行某一种优化处理。所述参数预测网络输出的调优参数与所述图像增强模块包括的滤波器具有一一对应的关系，所述参数预测网络可以将相应的调优参数输入图像增强模块中相应的滤波器，以使各个滤波器利用相应的调优参数对所述待处理图像依次进行图像增强处理。
37.进一步地，所述图像增强模块可以包括但不限于去雾滤波器、白平衡滤波器、对比度滤波器、色调滤波器、锐化滤波器、以及矫正滤波器中的至少一种。所述参数预测网络可以将去雾参数输入去雾滤波器，将白平衡参数输入白平衡滤波器，将对比度参数输入对比度滤波器，将色调参数输入色调滤波器，将锐化参数输入锐化滤波器，以及将矫正参数输入矫正滤波器。
38.所述去雾滤波器可用于根据接收到的去雾参数对接收到的图像进行去雾处理；所述白平衡滤波器用于根据接收到的白平衡参数对接收到的图像进行白平衡调节处理；所述对比度滤波器用于根据接收到的对比度参数对接收到的图像进行对比度调节处理；所述色调滤波器用于根据接收到的色调参数对接收到的图像进行色调调节处理；所述锐化滤波器用于根据接收到的锐化参数对接收到的图像进行锐化处理；所述矫正滤波器用于根据接收到的矫正参数对接收到的图像进行亮度调节处理。
39.参照图2，示出了本发明一个示例中的图像增强处理流程示意图。图2所示的流程示意图中包括参数预测网络201和图像增强模块202，图像增强模块202依次包括矫正滤波器、白平衡滤波器、锐化滤波器、对比度滤波器、以及去雾滤波器。图2所示的滤波器依次相连，前一个滤波器的输出作为下一个滤波器的输入，从而实现对待处理图像逐步进行优化。如图2所示，矫正滤波器的输入为待处理图像，待处理图像经过矫正滤波器的处理后输入白平衡滤波器，经过白平衡滤波器的处理后输入锐化滤波器，经过锐化滤波器的处理后输入对比度滤波器，经过对比度滤波器的处理后输入去雾滤波器，经过去雾滤波器的处理后，输出得到优化图像。
40.需要说明的是，图2所示的滤波器的连接顺序仅作为本发明的一种应用示例，本发明实施例对图像增强模块包括的滤波器的连接顺序不做限制，也即，本发明实施例对通过各个滤波器利用相应的调优参数对所述待处理图像依次进行图像增强处理的顺序不做限制。
41.矫正滤波器可以通过下式对图像进行gamma矫正：
42.f(i)＝i
γ
ꢀꢀꢀ
(1)
43.gamma校正是一种重要的非线性变换，是对输入图像的灰度值进行指数变换，进而校正图像的亮度偏差，通常应用于扩展暗调的细节。上式(1)中，f(i)为矫正滤波器输出的图像，i为输入矫正滤波器的图像，γ是用来进行gamma校正的gamma值。在本发明实施例中，所述参数预测网络输出的矫正参数包括用于对待处理图像进行gamma校正的gamma值，以图2为例，i为待处理图像，参数预测网络根据待处理图像i输出的矫正参数(gamma值)为γ(gamma值)。将待处理图像i和参数预测网络输出的矫正参数γ(gamma值)输入矫正滤波器，矫正滤波器根据矫正参数γ按照上式(1)对待处理图像i进行gamma校正。例如，当γ大于1时，矫正滤波器通过上式(1)可以增强待处理图像的亮度，当γ小于1时，矫正滤波器通过上式(1)可以降低待处理图像的亮度。
44.白平衡滤波器可以通过下式调节图像的白平衡：
45.f(ir)＝wrirꢀꢀ
(2)
46.f(ig)＝wgigꢀꢀ
(3)
47.f(ib)＝wbibꢀꢀ
(4)
48.白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。上式(2)、(3)、(4)中，f(ir)、f(ig)、以及f(ib)分别为白平衡滤波器输出的图像对应的r(红)g(绿)b(蓝)三个通道的值，ir、ig、以及ib分别为输入白平衡滤波器的图像对应的r(红)g(绿)b(蓝)三个通道的值，wr、wg、以及wb分别为rgb三个通道对应的权重。在本发明实施例中，所述参数预测网络输出的白平衡参数包括用于对待处理图像进行白平衡调节的rgb三个通道分别对应的权重wr、wg、以及wb的值。以图2为例，i为待处理图像，参数预测网络根据待处理图像i输出的白平衡参数为wr、wg、以及wb的值，输入白平衡滤波器的图像为矫正滤波器输出的图像。将矫正滤波器输出的图像和参数预测网络输出的白平衡参数(wr、wg、以及wb的值)输入白平衡滤波器，白平衡滤波器根据wr、wg、以及wb的值对矫正滤波器输出的图像按照上式(2)、(3)和(4)进行白平衡调节。
49.锐化滤波器可以通过下式对图像进行锐化处理：
50.f(x,λ)＝i(x)+λ(i(x)-gau(i(x)))
ꢀꢀꢀ
(5)
51.通过锐化处理可以改善图像边缘的清晰度，以突出图像的细节信息。上式(5)中，f(x,λ)为锐化滤波器输出的图像，i(x)为输入锐化滤波器的图像。以图2为例，输入锐化滤波器的图像为白平衡滤波器输出的图像。gau(i(x))表示对输入锐化滤波器的图像进行高斯滤波处理，λ为正比例因子，可以通过调节λ来调整图像的锐化程度。在本发明实施例中，所述参数预测网络输出的锐化参数包括用于对待处理图像进行锐化处理的正比例因子λ的值。以图2为例，i为待处理图像，参数预测网络根据待处理图像i输出的锐化参数为正比例因子λ的值。将白平衡滤波器输出的图像和参数预测网络输出的锐化参数(正比例因子λ的值)输入锐化滤波器，锐化滤波器根据正比例因子λ的值对白平衡滤波器输出的图像按照上式(5)进行锐化处理。
52.对比度滤波器可以通过下式调节图像的对比度：
53.f(x,α)＝αi(x)
ꢀꢀꢀ
(6)
54.对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测
量，差异范围越大代表对比度越大，差异范围越小代表对比度越小。上式(6)中，f(x,α)为对比度滤波器输出的图像，i(x)为输入对比度滤波器的图像。以图2为例，输入对比度滤波器的图像为锐化滤波器输出的图像。α为对比度调节因子，可以通过调节α，调节图像的对比度。在本发明实施例中，所述参数预测网络输出的对比度参数包括用于对待处理图像进行对比度调节的对比度调节因子α的值。以图2为例，i为待处理图像，参数预测网络根据待处理图像i输出的对比度参数为对比度调节因子α的值。将锐化滤波器输出的图像和参数预测网络输出的对比度参数(对比度调节因子α的值)输入对比度滤波器，对比度滤波器根据对比度调节因子α的值对锐化滤波器输出的图像按照上式(6)进行对比度调节。
55.去雾滤波器可用于对图像进行去雾处理，输入去雾滤波器的图像可以表示如下：
56.i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀ
(7)
57.上式(7)中，i(x)表示输入去雾滤波器的图像(雾天图像)，j(x)表示对i(x)去雾处理后的正常图像(非雾天图像)，a表示输入去雾滤波器的图像的亮度，t(x)表示介质投射图。去雾处理的关键在于对函数t(x)的控制。
58.根据上式(7)可以推导出t(x)可以近似表示如下：
[0059][0060]
上式(8)中，c表示输入去雾滤波器的图像的r、g、b三个通道，函数t(x)对这个三个通道轮流进行处理。在处理每个通道时，可以按照区域进行处理，区域大小可以根据需要设置。例如，假设输入去雾滤波器的图像大小为416*416像素，每次处理的区域大小为3*3像素。对于输入去雾滤波器的图像，y表示当前处理的区域的像素值，minc为当前通道的最小像素值，miny为当前区域的最小像素值，ic(y)为当前通道中当前区域的像素值，ac为当前通道的亮度。
[0061]
进一步地，根据上式(8)，可以引入一个参数ω来控制去雾的程度，具体如下：
[0062][0063]
上式(9)中，t(x,ω)为去雾滤波器输出的图像，以图2为例，输入去雾滤波器的图像为对比度滤波器输出的图像。在本发明实施例中，所述参数预测网络输出的去雾参数包括用于对待处理图像进行去雾处理的去雾控制参数ω的值。以图2为例，i为待处理图像，参数预测网络根据待处理图像i输出的去雾参数为去雾控制参数ω的值。将对比度滤波器输出的图像和参数预测网络输出的去雾参数(去雾控制参数ω的值)输入去雾滤波器，去雾滤波器根据去雾控制参数ω的值对对比度滤波器输出的图像按照上式(9)进行去雾处理。在图2所示的示例中，去雾滤波器输出的图像即为待处理图像i对应的优化图像，也即待输入目标检测网络的图像。
[0064]
在本发明的一种可选实施例中，步骤101所述将待处理图像输入参数预测网络之前，所述方法还可以包括：对原始图像进行调整，分别得到第一尺寸的待处理图像和第二尺寸的待处理图像；步骤101所述所述将待处理图像输入参数预测网络，可以包括：将所述第一尺寸的待处理图像输入所述参数预测网络；步骤102中所述根据所述参数预测网络输出的调优参数，对所述待处理图像进行图像增强处理，可以包括：根据所述参数预测网络输出的调优参数，对所述第二尺寸的待处理图像进行图像增强处理。
[0065]
在本发明实施例中，所述待处理图像可以是对原始图像进行预处理后得到的图
像。所述预处理可以包括调整原始图像的大小。进一步地，本发明实施例对原始图像进行调整，分别得到第一尺寸的待处理图像和第二尺寸的待处理图像。
[0066]
所述原始图像为需要进行目标检测的图像，如交通监控视频中的图像，或者，用户手机录制的视频中的图像，等等。
[0067]
本发明实施例将所述第一尺寸的待处理图像输入所述参数预测网络预测调优参数。为了提高目标检测的效率，所述参数预测模块可以是一个小型神经网络，本发明实施例将原始图像的尺寸调整为第一尺寸(一个较小的尺寸)之后再输入参数预测网络，以减少参数预测网络的计算量，从而提高参数预测网络预测调优参数的效率，进而提高目标检测的效率。示例性地，可以设置图像预处理模块，将原始图像输入该图像预处理模块进行预处理，所述预处理可以包括但不限于调整原始图像的尺寸(如分别调整为第一尺寸和第二尺寸)以及去除原始图像中的噪声等。将该图像预处理模块输出的第一尺寸的待处理图像输入参数预测网络，以及将该图像预处理模块输出的第二尺寸的待处理图像输入图像增强模块。需要说明的是，本发明实施例对调整原始图像的尺寸所采用的方法不做限制。
[0068]
在具体实施中，所述第一尺寸和所述第二尺寸越大，图像中保留的原始信息越完整，目标检测结果也会越准确。在使用原始图像直接进行处理的情况下，目标检测结果也会更准确，但是将导致计算效率较低，可行性以及实时性难以保证。因此，所述第一尺寸和所述第二尺寸可以选择能够保证目标检测效果的最小尺寸。示例性地，可以选择第一尺寸为256*256像素，以及可以选择第二尺寸为416*416像素。其中，第一尺寸选择一个较小的尺寸，是为了减少参数预测网络的计算量，提高目标检测的效率，选择第二尺寸大于第一尺寸是为了保证图像增强处理的效果，进而保证目标检测的准确度。
[0069]
需要说明的是，本发明实施例对所述第一尺寸和所述第二尺寸的大小不做限制。例如，所述第一尺寸可以小于所述第二尺寸。当然，所述第一尺寸也可以大于或等于所述第二尺寸。
[0070]
参照图3，示出了本发明一个端到端的系统架构示意图。如图3所示的系统架构包括参数预测网络301、图像增强模块302、以及目标检测网络303。
[0071]
本发明实施例对原始图像进行调整，分别得到第一尺寸(如256*256像素)的待处理图像和第二尺寸(如416*416像素)的待处理图像，将第一尺寸(如256*256像素)的待处理图像输入参数预测网络预测调优参数(所述调优参数为图像增强模块中各滤波器所需的参数)。将第二尺寸(如416*416像素)的待处理图像和参数预测网络输出的调优参数输入图像增强模块，图像增强模块通过各滤波器按照接收到的调优参数对第二尺寸的待处理图像逐步进行图像增强处理，以消除恶劣天气等的影响并保留更多的关键信息，得到优化图像，再将优化图像输入目标检测网络进行目标检测，得到目标检测结果。
[0072]
在本发明的一种可选实施例中，步骤101所述将待处理图像输入参数预测网络之前，所述方法还可以包括：
[0073]
步骤s21、获取训练数据；
[0074]
步骤s22、对所述训练数据中包含的目标进行标注，得到标注结果；
[0075]
步骤s23、将所述训练数据输入初始的参数预测网络，通过所述初始的参数预测网络输出调优参数；
[0076]
步骤s24、根据所述初始的参数预测网络输出的调优参数，对所述训练数据进行图
像增强处理，得到所述训练数据对应的优化图像；
[0077]
步骤s25、将所述训练数据对应的优化图像输入初始的目标检测网络进行目标检测，通过所述初始的目标检测网络输出目标检测结果；
[0078]
步骤s26、根据所述初始的目标检测网络输出的目标检测结果与所述标注结果之间的差异，计算联合损失值，并对所述初始的参数预测网络的参数和所述初始的目标检测网络的参数进行迭代优化，直到所述联合损失值满足迭代停止条件，得到训练完成的参数预测网络和目标检测网络。
[0079]
本发明实施例预先利用训练数据联合训练所述参数预测网络和所述目标检测网络。具体的，首先获取训练数据，并对所述训练数据中包含的目标进行标注，得到标注结果。所述训练数据可以包括正常条件(清晰、高质量的拍摄条件)下的图像以及所述预设条件下的图像。所述标注结果可以包括图像中是否包含目标以及包含的目标所在的位置。
[0080]
然后，将所述训练数据依次输入初始的参数预测网络进行迭代训练。例如，在初始化参数预测网络和目标检测网络之后，将训练数据中的第一个图像输入初始的参数预测网络，所述初始的参数预测网络输出第一个图像的调优参数；所述初始的参数预测网络可以将第一个图像的调优参数输入图像增强模块，以设置图像增强模块中各滤波器的参数。图像增强模块根据所述初始的参数预测网络输出的第一个图像的调优参数，对第一个图像进行图像增强处理，得到第一个图像对应的优化图像；接下来，图像增强模块将第一个图像对应的优化图像输入初始的目标检测网络进行目标检测，通过所述初始的目标检测网络输出第一个图像的目标检测结果；最后，根据所述初始的目标检测网络输出的第一个图像的目标检测结果与第一个图像的标注结果之间的差异，计算联合损失值，并对所述初始的参数预测网络的参数和所述初始的目标检测网络的参数进行优化，若该联合损失值不满足迭代停止条件，则进入下一轮训练，将训练数据中的第二个图像输入初始的参数预测网络(此时初始的参数预测网络的参数和初始的目标检测网络的参数已经过一轮优化)，执行第二轮优化，直到联合损失值满足迭代停止条件，得到训练完成的参数预测网络和目标检测网络。所述联合损失值满足迭代停止条件，可以包括：所述联合损失值小于预设阈值。
[0081]
所述联合损失值用于表示端到端系统的整体损失，在本发明的一种可选实施例中，所述联合损失值可以根据所述初始的参数预测网络的损失值和所述初始的目标检测网络的损失值加权计算得到。
[0082]
在具体实施中，可以将所述初始的目标检测网络的损失值直接作为所述联合损失值，或者，还可以进一步计算所述初始的参数预测网络的损失值，并根据所述初始的参数预测网络的损失值和所述初始的目标检测网络的损失值加权计算得到所述联合损失值。
[0083]
在构建训练数据进行联合训练参数预测网络和目标检测网络时，还可以对所述训练数据对应的调优参数进行标注，进而在迭代训练的过程中，可以根据初始的参数预测网络输出的调优参数和标注的调优参数之间的差异计算所述初始的参数预测网络的损失值，根据所述初始的参数预测网络的损失值和所述初始的目标检测网络的损失值加权计算所述联合损失值。
[0084]
一个示例中，假设在某一轮迭代训练过程中，所述初始的参数预测网络的损失值为a1，所述初始的参数预测网络的权重为b1，所述初始的目标检测网络的损失值为a2，所述初始的目标检测网络的权重为b2，则所述联合损失值可以为：a1*b1+a2*b2。需要说明的是，
本发明实施例对权重b1和权重b2的具体数值不做限制，通过设置权重b1和权重b2，可以调节联合训练过程中参数预测网络和目标检测网络对整个端到端系统的影响程度。示例性地，设置权重b1为0.1，权重b2为1。
[0085]
所述参数预测网络和目标检测网络可以为根据大量的训练数据和机器学习方法，对现有的神经网络进行有监督训练而得到的。需要说明的是，本公开实施例对所述参数预测网络和目标检测网络的结构以及训练方法不加以限制。所述参数预测网络和目标检测网络可以融合多种神经网络。所述神经网络包括但不限于以下的至少一种或者至少两种的组合、叠加、嵌套：cnn(convolutional neural network，卷积神经网络)、lstm(long short-term memory，长短时记忆)网络、rnn(simple recurrent neural network，循环神经网络)、注意力神经网络等。
[0086]
在本发明的一种可选实施例中，所述参数预测网络可以包括第一数目的卷积层和第二数目的全连接层，所述卷积层用于对输入的待处理图像进行卷积运算输出特征图，所述全连接层用于对所述卷积层输出的特征图进行全连接输出调优参数。
[0087]
本发明实施例对所述第一数目和所述第二数目的具体数值不做限制。示例性地，所述第一数目为5，所述第二数目为2，所述参数预测网络可以包括5个卷积层和两个全连接层。进一步地，在具体实施中，还可以根据实际需要设置每个卷积层的通道数和每个卷积核的大小。示例性地，可以设置第一个卷积层的通道数为16，第二个到第五个卷积层中每个卷积层的通道数为32，以及设置每个卷积核的大小均为3*3，卷积步长均为2。通过5个卷积层对输入的待处理图像进行卷积运算，得到特征图，通过两个全连接层对该特征图进行全连接，得到需要输入到图像增强模块的调优参数。
[0088]
所述参数预测网络根据待处理图像的全局信息，预测对该待处理图像进行优化所需要的参数，输出调优参数，利用这些调优参数对待处理图像进行图像增强处理后，可以使得目标检测结果达到最优。相对于通过手动调节相机参数来提高拍摄图像的质量，本发明实施例通过已训练的参数预测网络可以自动预测优化图像质量所需要的参数，不需要拍摄人员具有较高的专业要求，还可以减少用户的操作成本。此外，由于参数预测网络是通过大量训练数据训练得到的神经网络，且训练数据包括预设条件(如恶劣天气下)的图像，因此，所述参数预测网络可以准确预测预设条件(如恶劣天气下)的图像在怎样的调优参数下能够使得优化后的图像达到最好的目标检测效果，相对于人工调节参数，可以提高优化参数的准确性。
[0089]
本发明实施例对所述目标检测网络的类型不做限制。在本发明的一种可选实施例中，所述目标检测网络可以包括yolox网络。
[0090]
本发明实施例可以采用yolox为基础的目标检测网络，yolox是一种不需要锚框的目标检测网络，可以减少后处理的计算量，根据实际部署的设备可以选择yolox-l或yolox-m或yolox-t为基础的目标检测网络。当然，上述列举的目标检测网络仅作为示例性说明，在具体实施中，本发明实施例的参数预测网络和图像增强模块可以结合各种类型的目标检测网络进行端到端的训练及检测。
[0091]
进一步地，由于预设条件(如恶劣天气下拍摄)的图像通常数量较少，而训练数据的数量对神经网络模型的精准度有重要影响，因此本发明实施例在构建训练数据时，利用正常条件的图像制作出预设条件的图像，以获取更多预设条件的图像。所述正常条件指的
是非预设条件，如能够拍摄出清晰、高质量图像的拍摄条件。本发明实施例将正常条件下拍摄的图像进行处理，得到预设条件的图像，如将白天正常光照下拍摄的图像修改为夜晚暗光下拍摄的图像，又如，将晴天拍摄的图像修改为雾天的图像等，当然，还可以调节正常图像的对比度或者增加噪声等，由此可以获得更多预设条件的图像，以提高参数预测网络和目标检测网络适应预设条件的图像的能力，进而提高联合训练参数预测网络和目标检测网络的精准度。
[0092]
在本发明的一种可选实施例中，步骤101所述将待处理图像输入参数预测网络之前，所述方法还可以包括：
[0093]
步骤s31、获取非雾天图像；
[0094]
步骤s32、通过第一控制参数和第二控制参数对所述非雾天图像进行处理，生成不同光照强度以及不同雾天等级的雾天图像，所述第一控制参数用于控制生成的雾天图像的光照强度，所述第二控制参数用于控制生成的雾天图像的雾天等级；
[0095]
步骤s33、利用所述雾天图像构建训练数据。
[0096]
雾天为一种常见的自然现象，在雾天天气下能见度较低，会大大影响对道路车辆信息的检测与识别能力，因此，本发明实施例在构建训练数据时，可以获取大量的非雾天图像，将非雾天图像(正常条件的图像)进行处理，修改为大量的雾天图像(预设条件的图像)。进一步地，由于不同的光照强度以及不同的雾天等级对图像的清晰度有着不同程度的影响，因此，本发明实施例在制作雾天图像时，生成不同光照强度以及不同雾天等级的雾天图像，以提高联合训练参数预测网络和目标检测网络的精准度。
[0097]
本发明实施例可以通过下式生成不同光照强度以及不同雾天等级的雾天图像：
[0098]
i(x)＝(j(x)t(x)+a(1-t(x)))
γ
ꢀꢀ
(10)
[0099]
上式(10)中，i(x)为制作得到的雾天图像，j(x)为正常天气下拍摄的图像(非雾天图像)，a为j(x)的亮度，γ为第一控制参数，用于控制生成的雾天图像的光照强度，t(x)为介质投射图，t(x)的定义如下：
[0100]
t(x)＝e-β
d(x)
ꢀꢀꢀ
(11)
[0101]
上式(11)中，β为大气散射系数，d(x)的定义如下：
[0102][0103]
上式(12)中，ρ表示当前像素到中心像素的欧式(euclidean)距离，row和col分别表示图像的行数和列数，行数和列数以像素为单位。示例性地，本发明实施例设置a＝0.5，ρ＝0.01*i+0.05，其中，i为第二控制参数，i的取值为0～9，可用于调节对应十个不同的雾天等级。
[0104]
上式(10)中，γ可用于在生成的某个雾天等级的雾天图像上进行一次亮度调节，以模拟在不同光照强度下的雾天图像，若γ大于1，则生成的雾天图像的变亮，若γ小于1，则生成的雾天图像变暗。
[0105]
在生成雾天图像时，可以随机选择γ(第一控制参数)和i(第二控制参数)的取值，以对原图像(非雾天图像)进行增强处理，即可生成不同光照强度以及不同雾天等级的雾天图像。其中，i用于控制雾天等级，γ用于控制光照强度。
[0106]
综上，本发明实施例预先利用训练数据联合训练得到参数预测网络和目标检测网络，将待处理图像输入训练好的参数预测网络，通过该参数预测网络即可输出调优参数，利
用该调优参数对所述待处理图像进行图像增强处理，可以得到所述待处理图像对应的优化图像，将该优化图像输入训练好的目标检测网络即可输出目标检测结果。本发明实施例通过参数预测网络可以自动预测待处理图像所需要的调优参数，不需要在拍摄图像时对拍摄人员具有较高的专业要求，还可以减少用户的操作成本。此外，由于参数预测网络是通过大量训练数据训练得到的神经网络，且训练数据包括预设条件(如恶劣天气下)的图像，因此，本发明实施例的参数预测网络可以准确预测预设条件(如恶劣天气下)的图像所需要的调优参数，可以增强参数预测网络对预设条件(如恶劣天气下)的图像的适应能力，相对于人工设置参数，本发明实施例可以提高调优参数的准确性，进而提高目标检测的准确性。再者，本发明实施例的参数预测网络和目标检测网络可以通过端到端的训练和测试得到，可以减少人工调试的成本。
[0107]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0108]
参照图4，示出了本发明的一种目标检测装置实施例的结构框图，所述装置可以包括：
[0109]
参数预测模块401，用于将待处理图像输入参数预测网络，通过所述参数预测网络输出调优参数，所述调优参数包括去雾参数、白平衡参数、对比度参数、色调参数、锐化参数、以及矫正参数中的至少一种；
[0110]
图像增强模块402，用于根据所述参数预测网络输出的调优参数，对所述待处理图像进行图像增强处理，得到所述待处理图像对应的优化图像；
[0111]
目标检测模块403，用于将所述待处理图像对应的优化图像输入目标检测网络进行目标检测，通过所述目标检测网络输出目标检测结果，所述目标检测网络和所述参数预测网络为预先利用训练数据联合训练得到的神经网络，所述训练数据包括符合预设条件的图像。
[0112]
可选地，所述装置还包括：
[0113]
数据获取模块，用于获取训练数据；
[0114]
数据标注模块，用于对所述训练数据中包含的目标进行标注，得到标注结果；
[0115]
初始预测模块，用于将所述训练数据输入初始的参数预测网络，通过所述初始的参数预测网络输出调优参数；
[0116]
初始调优模块，用于根据所述初始的参数预测网络输出的调优参数，对所述训练数据进行图像增强处理，得到所述训练数据对应的优化图像；
[0117]
初始检测模块，用于将所述训练数据对应的优化图像输入初始的目标检测网络进行目标检测，通过所述初始的目标检测网络输出目标检测结果；
[0118]
迭代训练模块，用于根据所述初始的目标检测网络输出的目标检测结果与所述标注结果之间的差异，计算联合损失值，并对所述初始的参数预测网络的参数和所述初始的目标检测网络的参数进行迭代优化，直到所述联合损失值满足迭代停止条件，得到训练完成的参数预测网络和目标检测网络。
[0119]
可选地，所述联合损失值根据所述初始的参数预测网络的损失值和所述初始的目标检测网络的损失值加权计算得到。
[0120]
可选地，所述装置还包括：
[0121]
图像获取模块，用于获取非雾天图像；
[0122]
图像制作模块，用于通过第一控制参数和第二控制参数对所述非雾天图像进行处理，生成不同光照强度以及不同雾天等级的雾天图像，所述第一控制参数用于控制生成的雾天图像的光照强度，所述第二控制参数用于控制生成的雾天图像的雾天等级；
[0123]
数据构建模块，用于利用所述雾天图像构建训练数据。
[0124]
可选地，所述装置还包括：
[0125]
尺寸调整模块，用于对原始图像进行调整，分别得到第一尺寸的待处理图像和第二尺寸的待处理图像；
[0126]
所述参数预测模块，具体用于将所述第一尺寸的待处理图像输入所述参数预测网络；
[0127]
所述图像增强模块，具体用于根据所述参数预测网络输出的调优参数，对所述第二尺寸的待处理图像进行图像增强处理。
[0128]
可选地，所述图像增强模块，包括：
[0129]
输入子模块，用于将所述待处理图像和所述参数预测网络输出的调优参数输入图像增强模块，所述图像增强模块包括与所述参数预测网络输出的调优参数一一对应的滤波器；
[0130]
处理子模块，用于通过各个滤波器利用相应的调优参数对所述待处理图像依次进行图像增强处理。
[0131]
可选地，所述图像增强模块包括去雾滤波器、白平衡滤波器、对比度滤波器、色调滤波器、锐化滤波器、以及矫正滤波器中的至少一种，前一个滤波器的输出作为下一个滤波器的输入。
[0132]
可选地，所述参数预测网络包括第一数目的卷积层和第二数目的全连接层，所述卷积层用于对输入的待处理图像进行卷积运算输出特征图，所述全连接层用于对所述卷积层输出的特征图进行全连接输出调优参数。
[0133]
可选地，所述目标检测网络包括yolox网络。
[0134]
本发明实施例预先利用训练数据联合训练得到参数预测网络和目标检测网络，将待处理图像输入训练好的参数预测网络，通过该参数预测网络即可输出调优参数，利用该调优参数对所述待处理图像进行图像增强处理，可以得到所述待处理图像对应的优化图像，将该优化图像输入训练好的目标检测网络即可输出目标检测结果。本发明实施例通过参数预测网络可以自动预测待处理图像所需要的调优参数，不需要在拍摄图像时对拍摄人员具有较高的专业要求，还可以减少用户的操作成本。此外，由于参数预测网络是通过大量训练数据训练得到的神经网络，且训练数据包括预设条件(如恶劣天气下)的图像，因此，本发明实施例的参数预测网络可以准确预测预设条件(如恶劣天气下)的图像所需要的调优参数，可以增强参数预测网络对预设条件(如恶劣天气下)的图像的适应能力，相对于人工设置参数，本发明实施例可以提高调优参数的准确性，进而提高目标检测的准确性。再者，本发明实施例的参数预测网络和目标检测网络可以通过端到端的训练和测试得到，可以减
少人工调试的成本。
[0135]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0136]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0137]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0138]
本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行前文图1所对应实施例中目标检测方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0139]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0140]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
[0141]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0142]
以上对本发明所提供的一种目标检测方法、装置和机器可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。