摄像头模组检测方法、模型训练方法及装置与流程

本发明属于检测领域，尤其涉及一种摄像头模组检测方法、模型训练方法及装置。

背景技术：

摄像头模组在形成物体的实像时，除了成像光线，还有其他非成像光线在光学系统像面上扩散，比如，在拍摄光源或者强光物体时，边缘出现一个完整物体的影子，是由于镜片材质导致光线存在折射与反射，镜头面与保护镜片距离大的时候会更明显，即flare(杂光)现象。因此，在出厂前需要检测摄像头模组的杂光处理性能。

目前，摄像头模组处理杂光性能基本都是靠目视检测，flare现象随着光源亮度的强弱、光源和摄像头模组的相对姿态的变化而变化，且外加自然光的干扰和检测人员的主观性。所以针对摄像头模组进行检测杂光会存在着一定的误判，且误判率不可控，而且测试效率很低。

技术实现要素：

鉴于现有技术存在针对摄像头模组进行检测杂光会存在着一定的误判，且误判率不可控，而且测试效率很低的技术问题，本发明实施例提供一种摄像头模组检测方法、模型训练方法及装置。

第一方面，本发明实施例提供一种摄像头模组检测方法，包括：

获取待测摄像头模组拍摄的待测图像；

对所述待测图像进行预处理，得到目标图像；

通过杂光检测模型对所述目标图像进行检测，得到对所述目标图像的检测结果；

基于所述检测结果确定所述待测摄像头模组的杂光处理性能。

可选地，所述杂光检测模型通过预先训练得到，其中，所述预先训练包括：

采集杂光测试图片集，所述杂光测试图片集包含通过杂光测试的杂光测试图片和未通过杂光测试的杂光测试图片；

针对所述杂光测试图片集中的杂光测试图片进行预处理，得到训练样本集和测试样本集；

利用所述训练样本集对目标神经网络进行训练，以及利用所述测试样本集确定训练后的目标神经网络的实际预测精度，直至所述目标神经网络的实际预测精度达到预期预测精度时，得到所述杂光检测模型。

可选地，所述针对所述杂光测试图片集中的杂光测试图片进行预处理，得到训练样本集和测试样本集，包括：

针对所述杂光测试图片集中的杂光测试图片进行图像预处理，得到样本图片集；

针对所述样本图片集中的每个样本图片标记测试标签；

按照预设比例将所述样本图片集以及对应的测试标签进行划分，得到所述训练样本集和所述测试样本集。

可选地，所述针对所述杂光测试图片集中的杂光测试图片进行图像预处理，包括：

将所述杂光测试图片转换为第一灰度图像；

对所述第一灰度图像进行降噪处理和自适应阈值化处理，得到所述第一灰度图像对应的样本图片，其中，对所述第一灰度图像的降噪处理包括在所述自适应阈值处理之前的高斯滤波处理，和/或在所述自适应阈值处理之后的开操作处理。

可选地，所述在对所述第一灰度图像进行降噪处理和自适应阈值化处理之后，还包括：

针对经过所述降噪处理和自适应阈值化处理之后的第一灰度图像，按照预设缩小比例进行缩小处理，得到所述第一灰度图像对应的样本图片。

可选地，所述对所述待测图像进行预处理，生成目标图像，包括：

将所述待测图像转换为第二灰度图像；

对所述第二灰度图像进行降噪处理和自适应阈值化处理，得到所述目标图像。

可选地，所述对所述第二灰度图像的降噪处理，包括：

在所述自适应阈值处理之前的高斯滤波处理，和/或

在所述自适应阈值处理之后的开操作处理。

可选地，在所述通过杂光检测模型对所述目标图像进行检测之前，还包括：

将所述目标图像的长宽均按照预设缩小比例进行缩小处理。

第二方面，本发明实施例提供一种摄像头模组检测装置，包括：

获取单元，用于获取待测摄像头模组拍摄的待测图像；

预处理单元，用于对所述待测图像进行预处理，得到目标图像；

杂光检测单元，用于通过杂光检测模型对所述目标图像进行检测，得到对所述目标图像的检测结果；

性能确定单元，用于基于所述检测结果确定所述待测摄像头模组的杂光处理性能。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一所述方法的步骤。

本发明实施例提供的一个或者多个技术方案，至少实现了如下技术效果或者优点：

通过获取待测摄像头模组拍摄的待测图像；对待测图像进行预处理，得到目标图像；通过杂光检测模型对目标图像进行检测，得到对目标图像的检测结果；基于检测结果确定所述待测摄像头模组的杂光处理性能。采用训练得到的杂光检测模型自动检测待测摄像头模组拍摄的待测图像的杂光，从而自动判断出待测摄像头模组的杂光处理性能，不再需要人工进行目视检测，从而提升了测试效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中摄像头模组检测方法的流程图；

图2示出了本发明实施例中目标神经网络的结构示意图；

图3为本发明实施例中预先训练杂光检测模型的流程图；

图4为本发明实施例中摄像头模组检测装置的功能模块图；

图5为本发明实施例中电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，本发明实施例提供一种摄像头模组检测方法，用于检测摄像头模组在拍摄光源、强光物体等对象时的杂光处理性能。具体可以用于检测任意一种摄像头模组，比如：手机摄像头、车载摄像头、安防摄像头等。

参考图1所示，本发明实施例提供的摄像头模组检测方法包括如下步骤：

首先，执行步骤s101：获取待测摄像头模组拍摄的待测图像。

为了检测摄像头模组的杂光处理性能，待测图像是利用待测摄像头模组拍摄的亮光图片。具体的，亮光图片是利用待测摄像头模组对着光源或者强光物体拍摄出的图片，需要一张或者多张亮光图片。当然，为了提高准确性，可以获得多张待测图像；而为了提高检测效率，可以仅仅获取一张待测图像。

s102、对获取的待测图像进行预处理，得到目标图像。

为了检测待测摄像头模组的杂光处理性能，对待测摄像头模组拍摄的待测图像进行预处理，至少是为了去除待测图像上影响检测杂光的噪声点。

具体来讲，对待测图像进行预处理包括：将待测图像转换为第二灰度图像；对转换之后的第二灰度图像进行降噪处理和自适应阈值化处理。其中，为了充分去除影响检测杂光的噪声点，对第二灰度图像的降噪处理包括在自适应阈值处理之前的高斯滤波处理，和/或在自适应阈值处理之后的开操作处理。高斯滤波处理是对第二灰度图像进行线性平滑，以去除第二灰度图像的细节，从而消除第二灰度图像上的噪声。在自适应阈值处理之后的开操作处理是为了消除了第二灰度图像上白色的小点，从而去除小的干扰块。当然在具体实施时，也可以仅仅使用开操作处理或者高斯滤波处理对第二灰度图像处理进行降噪处理。

由于待测图像在转换之后形成的第二灰度图像是明暗差异较大的，在本发明实施例中，通过自适应阈值处理是使用变化阙值对图像进行阙值处理，从而保留了更多的明暗细节信息，避免杂光区域被抹除掉，从而得到效果更好的第二灰度图像，从而保证了后续杂光检测模型进行检测的可靠性。

在一可选的实施方式下，为了降低杂光检测模型的处理复杂度，将目标图像的长宽均按照预设缩小比例进行缩小处理。为了平衡杂光检测模型的处理复杂度和准确性，将目标图像的长、宽各缩小二分之一，从而，既保留了图像上的杂光区域，也一定程度降低了模型的处理复杂度。

s103、通过杂光检测模型对目标图像进行检测，得到对目标图像的检测结果。

对目标图像的检测结果可以表征目标图像通过杂光测试或者未通过杂光测试的二分类结果，也可以直接就是检测得分，从而代表了待测摄像头模组的杂光处理性能的数值。

具体来讲，本发明实施例中的杂光检测模型是使用目标神经网络进行深度学习训练而成，而目标神经网络由卷积神经网络与全连接神经网络构建而成，其中，目标神经网络包含输入层、交叉设置的多层卷积层和多层池化层、全连接神经网络，全连接神经网络的最后一层连接输出层。通过输入层输入目标图像，利用卷积层提取目标图像的隐层特征，利用池化层减少提取的隐层特征，从而减少训练用时。利用全连接神经网络基于最后提取的隐层特征进行分类预测。

参考图2进行举例来讲，目标神经网络包含交叉设置的三层卷积层和两层池化层，最后一层卷积层与全连接神经网络连接。将目标图像输入到目标神经网络中，通过交叉设置的3层卷积层和两层池化层提取到目标图像的隐层特征，再由全连接神经网络利用提取的隐层特征进行二分类预测，得到对目标图像的二分类结果，全连接神经网络后面连接的输出层为softmax层，通过softmax层对二分类结果进行归一化处理，得到归一化结果。

具体的，归一化结果中包含该待测图像存在杂光的概率值和不存在杂光的概率值，两个概率值均是(0,1)之间的小数，且两个概率值之和为1。比如，归一化结果中：存在杂光概率值为0.95，则不存在杂光的概率值就是0.05，预先设置一个杂光检测规格—即：分类置信度，用于对归一化结果进行判别。杂光检测规格的数值可以根据实际需求进行设置，比如，杂光检测规格设置为：杂光检测模型对待测图像认定通过杂光测试需要满足存在杂光的概率小于0.1，对待测图像认定未通过杂光测试需要满足存在杂光的概率大于0.9。而如果归一化结果中存在杂光的概率、不存在杂光是概率均在0.1～0.9之间，则表征杂光检测模型无法分辨该待测图像中是否存在杂光，即归一化结果不满足杂光检测规则。

如果归一化结果满足杂光检测规格，则对归一化结果进行四舍五入，得到对待测图像的检测结果。如果归一化结果不满足杂光检测规则，则利用待测图像对杂光检测模型进行优化，直至优化后的杂光检测模型，能够对该待测图像进行检测，得到表征该待测图像是否通过杂光测试的检测结果。

步骤s103中所用的杂光检测模型通过预先训练得到，具体的，通过预先训练目标神经网络得到杂光检测模型。参考图3所示，预先训练的过程包括如下步骤s301～s304：

s301、采集杂光测试图片集。

具体的，杂光测试图片集包含通过杂光测试的杂光测试图片和未通过杂光测试的杂光测试图片；比如，杂光测试图片集中包括：采用摄像头模组拍摄光源或者强光物体得到的杂光测试图片，杂光测试图片集中这些杂光测试图片，不同两种杂光测试图片至少存在如下不同：摄像头模组与拍摄对象之间的相对姿态不同、光源强弱不同、拍摄使用的摄像头模组不同等等。

在本发明实施例中，杂光测试图片集中的杂光测试图片是经过目视检测确定是否通过杂光测试。

步骤s302、针对杂光测试图片集中杂光测试图片进行预处理，得到训练样本集和测试样本集。

比如，采集的杂光测试图片集中包含10万张杂光测试图片，针对这10万张杂光测试图片分别进行预处理，得到对应的10万张样本图片，即得到了训练样本集和测试样本集。

具体的，在步骤s302中，针对杂光测试图片集中杂光测试图片进行图像预处理，以得到样本图片集；针对样本图片集中每个样本图片标记测试标签；按照预设比例将样本图片集以及对应的测试标签进行划分，得到训练样本集和测试样本集。

训练样本集的样本数量大于测试样本集的样本数量。比如，上述10万张样本图片的样本图片集，将其中9万张样本图片以及对应的测试标签划分至训练样本集，其余1万张样本图片以及对应的测试标签划分至测试样本集。

在具体实施时，对杂光测试图片集中每个杂光测试图片的图像预处理，具体是：将杂光测试图片转换为第一灰度图像；对第一灰度图像进行降噪处理和自适应阈值化处理，得到第一灰度图像对应的样本图片，其中，对第一灰度图像的降噪处理包括在所述自适应阈值处理之前的高斯滤波处理，和/或在自适应阈值处理之后的开操作处理。还对每张样本图片进行编码，便于按照编码顺序将一张张样本图片存储至第一指定文件夹中。

为了降低模型训练的复杂度，在对杂光测试图片转换得到的第一灰度图像进行降噪处理和自适应阈值化处理之后，针对经过所述降噪处理和自适应阈值化处理之后的第一灰度图像，按照预设缩小比例进行缩小处理。在具体实施时，为了平衡训练模型的复杂度和准确性，将目标图像的长、宽各缩小二分之一，从而既保留了杂光测试图片上的杂光区域，也一定程度降低了模型训练的复杂度。

具体的，对每张样本图片对应标记的测试标签表征对应杂光测试图片的杂光测试结果。比如，通过杂光测试的杂光测试图片的测试标签标记为“0”，杂光测试未通过的杂光测试图片的测试标签为“1”。

按照样本图片集中样本图片在第一指定文件夹中的存储顺序，将对应的测试标签存储至第二指定文件中，从而第一指定文件夹中存储样本图片与第二指定文件夹中存储测试标签是顺序对应的。比如：某一样本图片在第一指定文件中存储的顺序是第10个，则该样本图片的测试标签在第二指定文件夹中是第10个。

s303、利用训练样本集对目标神经网络进行训练，以及利用测试样本集确定训练后的目标神经网络的实际预测精度；直至目标神经网络的实际预测精度达到预期预测精度时，得到杂光检测模型。

具体的，在步骤s303中，利用训练样本集对目标神经网络进行多轮次训练。在本轮次训练时，将训练样本进行随机划分为多批训练样本和校验集。按照均分方式划分出多批训练样本和校验集。比如，可以将训练样本集分为随机划分为样本数量相等的10批训练样本，使用排列组合的方式，利用其中9批训练样本对目标神经网络进行训练，剩余1批训练样本作为用于检测对目标神经网络的训练精度是都达到预设训练精度。比如，将10批训练样本依次编号为0～9批训练样本，使用排列组合的方式，利用其中的0～8批训练样本对目标神经网络进行训练，剩余的第9批训练样本作为用于检测对目标神经网络的本轮次训练的训练精度是否达到预设训练精度。

当然在具体实施时，不限于划分为10批训练样本进行对目标神经网络的训练，可以根据实际需要确定划分训练样本集的批次。

本实施例中所使用的目标神经网络由卷积神经网络与全连接神经网络构建而成，具体参考前文摄像头模组检测方法实施例中的描述，为了说明书的简洁，在此不再赘述。

具体的，判断对目标神经网络本轮次训练的训练精度达到预设训练精度，是利用校验集对目标神经网络进行校验，得到本轮次训练的训练精度，并判断该训练精度是否达到预设训练精度，在本轮次训练的训练精度达到预设训练精度之后，利用测试样本集确定训练后的目标神经网络的实际预测精度。

若实际预测精度达到预期预测精度，则得到并保存杂光检测模型；否则，继续下一轮次的训练：利用所述训练样本集继续对所述目标神经网络进行训练。

利用训练得到的杂光检测模型可以检测摄像头模组拍摄的光源、强光物体的待测图像是否存在杂光，从而检测摄像头模组的杂光处理性能。

为了更加清楚杂光检测模型的训练过程，对本发明实施例中模型训练过程进行更为详细的举例描述，以理解本发明实施例：

步骤1：针对采集的杂光测试图片集中每个杂光测试图片进行预处理，得到包含预设数量级的样本图片。其中，每个杂光测试图片的预处理是将杂光测试图片转换为对应的第一灰度图像，并将第一灰度图像依次进行高斯滤波、自适应阈值化处理、开操作处理以及长宽缩小为二分之一之后，得到对应的样本图片；

步骤3、将预设数量级的样本图片按照顺序存储至第一指定文件夹中，得到样本图片集；

步骤4、将每个样本图片分别进行标记测试标签，其中，有杂光的样本图片标记测试标签为1，没有杂光的样本图片标记测试标签为0，并按照样本图片的存储顺序，将每个测试标签对应存储至第二指定文件夹中。

步骤5、将预设数量级的样本图片以及每个样本图片对应的测试标签，按照预设比例划分为训练样本集和测试样本集。

步骤6、将训练样本集随机等分为m批训练样本，用排列组合的方式，使用m-1批训练样本对目标神经网络进行训练；

步骤7、利用剩余1批训练样本作为校验集，用以检测对目标神经网络的训练是否达到预设训练精度，如果达到预设训练精度，则执行步骤8，否则，返回继续执行步骤6；

步骤8：利用测试样本集检测目标神经网络的预测精度是否达到预设预测精度，如果达到预设预测精度，则结束整个模型训练流程，并保存训练好的目标神经网络作为杂光检测模型；否则，返回继续执行步骤6～7。

s104、基于检测结果确定待测摄像头模组的杂光处理性能。

具体的，对所述目标图像的检测结果是检测得分，可以根据检测得分与杂光处理性能之间的预设对应关系，确定待测摄像头模组的杂光处理性能。如果对目标图像的检测结果是通过或者未通过杂光测试的二分类结果；则对应的，确定待测摄像头模组的杂光处理性能是通过或不通过。通过杂光检测模型实现了自动检测待测摄像头模组的杂光处理性能，提升了测试效率。

为了进一步提高杂光检测模型的准确性，在s104之后，还包括通过杂光检测模型对目标图像进行检测的检测结果，对杂光检测模型的模型参数进行优化，以不断提高杂光检测模型的检测精度，从而最终超越人类识别极限。

第二方面，基于同一发明构思，本发明实施例提供一种摄像头模组检测装置。参考图4所示，该摄像头模组检测装置包括：

获取单元401，用于获取待测摄像头模组拍摄的待测图像；

预处理单元402，用于对所述待测图像进行预处理，得到目标图像；

杂光检测单元403，用于通过杂光检测模型对所述目标图像进行检测，得到对所述目标图像的检测结果；

性能确定单元404，用于基于所述检测结果确定所述待测摄像头模组的杂光处理性能。

在一些实施方式下，摄像头模组检测装置还包括用于预先训练杂光检测模型的各个单元：

样本采集单元，用于采集杂光测试图片集，杂光测试图片集包含通过杂光测试的杂光测试图片和未通过杂光测试的杂光测试图片；

样本处理单元，用于针对杂光测试图片集中的杂光测试图片进行预处理，得到训练样本集和测试样本集；

模型训练单元，用于利用训练样本集对目标神经网络进行训练，以及利用测试样本集确定训练后的目标神经网络的实际预测精度，直至目标神经网络的实际预测精度达到预期预测精度时，得到杂光检测模型。

在一些实施方式下，样本处理单元，包括：

图像预处理子单元，用于针对杂光测试图片集中的杂光测试图片进行图像预处理，得到样本图片集；

标记子单元，用于针对样本图片集中的每个样本图片标记测试标签；

按照预设比例将样本图片集以及对应的测试标签进行划分，得到训练样本集和测试样本集。

在一些实施方式下，图像预处理子单元，具体用于：

将杂光测试图片转换为第一灰度图像；

对第一灰度图像进行降噪处理和自适应阈值化处理，得到第一灰度图像对应的样本图片，其中，对第一灰度图像的降噪处理包括在自适应阈值处理之前的高斯滤波处理，和/或在自适应阈值处理之后的开操作处理。

在一些实施方式下，摄像头模组检测装置还包括：

第一缩小单元，用于针对经过降噪处理和自适应阈值化处理之后的第一灰度图像，按照预设缩小比例进行缩小处理，得到第一灰度图像对应的样本图片。

在一些实施方式下，预处理单元402，具体用于：

将待测图像转换为第二灰度图像；

对第二灰度图像进行降噪处理和自适应阈值化处理，得到目标图像。

在一些实施方式下，预处理单元402，具体用于：

在自适应阈值处理之前的高斯滤波处理，和/或

在自适应阈值处理之后的开操作处理。

在一些实施方式下，摄像头模组检测装置还包括：

第二缩小单元，用于将目标图像的长宽均按照预设缩小比例进行缩小处理。

本发明实施例提供的摄像头模组检测装置为实施前文所述的摄像头模组检测方法实施例的装置，因此，该装置的具体实施细节可以参考前文摄像头模组检测方法实施例中所描述的具体实施内容，为了说明书的简洁，在此不再赘述。

第三方面，基于与前述方法实施例同样的发明构思，本发明还提供一种电子设备。如图5所示，该电子设备包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述摄像头模组检测方法实施例中任一实施方式。

其中，在图5中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。

本发明实施例通过获取待测摄像头模组拍摄的待测图像；对待测图像进行预处理，得到目标图像；通过杂光检测模型对目标图像进行检测，得到对目标图像的检测结果；基于检测结果确定所述待测摄像头模组的杂光处理性能。采用训练得到的杂光检测模型自动检测待测摄像头模组拍摄的待测图像的杂光，从而自动判断出待测摄像头模组的杂光处理性能，不再需要人工进行目视检测，从而提升了测试效率和准确性。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。