一种安全带佩戴检测的方法及装置与流程

本申请涉及图像处理技术领域，尤其涉及一种安全带佩戴检测的方法及装置。

背景技术

随着交通运输业的快速发展，现代交通车辆也大幅度增加，这虽然可以使得人们的出行更加便捷，但是与此同时也增加了交通事故的发生概率。

为了尽可能地保障安全驾驶、以及降低交通事故中的死伤率，驾驶员需要正确的佩戴安全带。但是很多驾驶员在实际驾驶过程中，可能会忘记佩戴安全带、或者故意不佩戴安全带，这会带来较大的安全隐患。因此，如何有效的检测安全带的佩戴情况，是目前亟需解决的一个技术问题。

技术实现要素：

有鉴于此，本申请提供一种安全带佩戴检测的方法及装置，以实现对车内人员的安全带的佩戴状况的准确检测。

主要包括以下几个方面：

第一方面，本申请提供了一种安全带佩戴检测的方法，所述方法包括：

获取无效样本训练集和有效样本训练集；其中所述无效样本训练集包含不具有车内人员或安全带的图像特征的第一待识别图像样本，所述有效样本训练集包含具有车内人员佩戴安全带的图像特征的第二待识别图像样本、以及具有车内人员未佩戴安全带的图像特征的第三待识别图像样本；

基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型；

基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测。

结合第一方面，本申请提供了第一方面的第一种可能的实施方式，其中，所述训练得到的神经网络模型包括依次进行图像处理的三级图像处理单元；其中，第一级图像处理单元包括n1个第一卷积层和n2个第一池化层；第二级图像处理单元包括n3个第二卷积层和n4个第二池化层、n5个第一全连接层、以及第一分类器；第三级图像处理单元包括n6个第三卷积层和n7个第三池化层、n8个第二全连接层、以及第二分类器；n1至n8为正整数。

结合第一方面的第一种可能的实施方式，本申请提供了第一方面的第二种可能的实施方式，其中，所述基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测，具体包括：

将所述待识别图像输入至所述n1个第一卷积层和所述n2个第一池化层进行图像处理，得到m1个第一特征图，m1为正整数；

将所述m1个第一特征图输入至所述n3个第二卷积层和所述n4个第二池化层进行图像处理，得到m2个第二特征图，m2为正整数；

将所述m2个第二特征图转化为特征向量后输入至所述n5个第一全连接层进行计算，通过第一分类器对计算出的数据进行解析后得到第一轮检测后的检测结果；

当第一轮检测后的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一轮检测后的检测结果为安全带佩戴检测结果。

结合第一方面的第二种可能的实施方式或第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，在得到第一轮检测后的检测结果之后，所述方法还包括：

当第一轮检测后的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，将所述m1个第一特征图输入至所述n6个第三卷积层和所述n7个第三池化层进行图像处理，得到m3个第三特征图，m3为正整数；

将所述m3个第三特征图转化为特征向量后输入至所述n8个第二全连接层进行计算，通过第二分类器对计算出的数据进行解析后得到第二轮检测后的检测结果；

确定所述第二轮检测后的检测结果为安全带佩戴检测结果；其中，所述第二轮检测后的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

结合第一方面的第一至第三种可能的实施方式中任一种可能的实施方式，本申请提供了第一方面的第四种可能的实施方式，其中，基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型，包括：

从所述无效样本训练集和所述有效样本训练集依次选取第一预设数量的选定待识别图像样本输入至所述第一级图像处理单元和所述第二级图像处理单元进行图像处理，得到第一轮测试后每个选定待识别图像样本的测试结果；

通过比较所述第一轮测试后每个选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第一标准训练结果，确定第一轮测试后的测试结果的准确率，当所述第一轮测试后的测试结果的准确率小于第一预设值时，对所述第一级图像处理单元的模型参数和所述第二级图像处理单元的模型参数进行调整，直至所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值；

当所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值时，将经过所述第一级图像处理单元进行图像处理后的所述选定待识别图像样本输入至所述第三级图像处理单元中进行图像处理，得到第二轮训练后每个选定待识别图像样本的训练结果；

通过比较所述第二轮训练后每个选定待识别图像样本的训练结果与预设的该选定待识别图像样本的第二标准训练结果，确定第二轮测试后的测试结果的准确率，当所述第二轮测试后的测试结果的准确率小于第二预设值时，对所述第三级图像处理单元的模型参数进行调整，直至所述第二轮测试后的测试结果的准确率大于或等于所述第二预设值。

结合第一方面，本申请提供了第一方面的第五种可能的实施方式，其中，所述训练得到的神经网络模型包括并行进行图像处理的两个分支图像处理单元；其中，第一分支图像处理单元包括p1个第四卷积层和p2个第四池化层、p3个第三全连接层、以及第三分类器；第二分支图像处理单元包括p4个第五卷积层和p5个第五池化层、p6个第四全连接层、以及第四分类器；p1至p6为正整数。

结合第一方面的第五种可能的实施方式，本申请提供了第一方面的第六种可能的实施方式，其中，所述基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测，具体包括：

将所述待识别图像输入至所述p1个第四卷积层和所述p2个第四池化层进行图像处理，得到q1个第四特征图，q1为正整数，并将所述q1个第四特征图转化为特征向量后输入至所述p3个第三全连接层进行计算，通过第三分类器对计算出的数据进行解析后得到第一分支的检测结果；以及，

将所述待识别图像输入至所述p4个第五卷积层和所述p5个第五池化层进行图像处理，得到q2个第五特征图，q2为正整数，并将所述q2个第五特征图转化为特征向量后输入至所述p6个第四全连接层进行计算，通过第四分类器对计算出的数据进行解析后得到第二分支的检测结果；

根据所述第一分支的检测结果、以及所述第二分支的检测结果，确定安全带佩戴检测结果。

结合第一方面的第六种可能的实施方式，本申请提供了第一方面的第七种可能的实施方式，其中，所述根据所述第一分支的检测结果、以及所述第二分支的检测结果，确定安全带佩戴检测结果，具体包括：

当所述第一分支的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一分支的检测结果为安全带佩戴检测结果；

当所述第一分支的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，确定所述第二分支的检测结果为安全带佩戴检测结果；

其中，所述第二分支的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

结合第一方面的第五至第七种可能的实施方式中任一种可能的实施方式，本申请提供了第一方面的第八种可能的实施方式，其中，基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型，包括：

从所述无效样本训练集和所述有效样本训练集依次选取第二预设数量的选定待识别图像样本分别输入至所述第一分支的图像处理单元和所述第二分支的图像处理单元并行进行图像处理，得到每个选定待识别图像样本对应的第一分支测试结果、以及第二分支测试结果；

通过比较每个选定待识别图像样本对应的第一分支测试结果与预设的该选定待识别图像样本的第三标准训练结果，确定所述第一分支测试结果的准确率，当所述第一分支测试结果的准确率小于第三预设值时，对所述第一分支的图像处理单元的模型参数进行调整，直至所述第一分支测试结果的准确率大于或等于所述第三预设值；以及

通过比较每个选定待识别图像样本对应的第二分支训练结果与预设的该选定待识别图像样本对应的第四标准训练结果，确定所述第二分支测试结果的准确率，当所述第二分支测试结果的准确率小于第四预设值时，对所述第二分支的图像处理单元的模型参数进行调整，直至所述第二分支测试结果的准确率大于或等于所述第四预设值。

结合第一方面，本申请提供了第一方面的第九种可能的实施方式，其中，获取无效样本训练集和有效样本训练集，包括：

按照所述第一待识别图像样本、所述第二待识别图像样本、和所述第三待识别图像样本的不同比例，获取所述无效样本训练集和有效样本训练集；

基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型，包括：

分别基于每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练；

统计采用每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练时得到的训练结果的准确率；

将得到的训练结果的准确率最高的情况下采用的模型参数，作为所述神经网络模型的模型参数。

结合第一方面的第三种可能的实施方式或第七种可能的实施方式，本申请提供了第一方面的第十种可能的实施方式，其中，所述方法还包括：

当所述安全带佩戴检测结果为所述待识别图像具有车内人员未佩戴安全带的图像特征时，向所述车内人员使用的客户端发送提示信息。

结合第一方面，本申请提供了第一方面的第十一种可能的实施方式，其中，获取无效样本训练集和有效样本训练集，具体包括：

将获取的所述第一待识别图像样本、所述第二待识别图像样本、以及所述第三待识别图像样本分别按照预设规则进行截取以及缩放后，得到所述无效样本训练集和所述有效样本训练集。

第二方面，本申请实施例还提供了一种安全带佩戴检测的装置，所述装置包括：获取模块、模块生成模块、以及检测模块；其中，

获取模块，用于获取无效样本训练集和有效样本训练集；其中所述无效样本训练集包含不具有车内人员或安全带的图像特征的第一待识别图像样本，所述有效样本训练集包含具有车内人员佩戴安全带的图像特征的第二待识别图像样本、以及具有车内人员未佩戴安全带的图像特征的第三待识别图像样本；

模型生成模块，用于基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型；

检测模块，用于基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测。

结合第二方面，本申请提供了第二方面的第一种可能的实施方式，其中，所述训练得到的神经网络模型包括依次进行图像处理的三级图像处理单元；其中，第一级图像处理单元包括n1个第一卷积层和n2个第一池化层；第二级图像处理单元包括n3个第二卷积层和n4个第二池化层、n5个第一全连接层、以及第一分类器；第三级图像处理单元包括n6个第三卷积层和n7个第三池化层、n8个第二全连接层、以及第二分类器；n1至n8为正整数。

结合第二方面的第一种可能的实施方式，本申请提供了第二方面的第二种可能的实施方式，其中，所述检测模块，具体用于：

将所述待识别图像输入至所述n1个第一卷积层和所述n2个第一池化层进行图像处理，得到m1个第一特征图，m1为正整数；

将所述m1个第一特征图输入至所述n3个第二卷积层和所述n4个第二池化层进行图像处理，得到m2个第二特征图，m2为正整数；

将所述m2个第二特征图转化为特征向量后输入至所述n5个第一全连接层进行计算，通过第一分类器对计算出的数据进行解析后得到第一轮检测后的检测结果；

当第一轮检测后的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一轮检测后的检测结果为安全带佩戴检测结果。

结合第二方面的第二种可能的实施方式或第二种可能的实施方式，本申请实施例提供了第二方面的第三种可能的实施方式，其中，所述检测模块，还用于：

当第一轮检测后的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，将所述m1个第一特征图输入至所述n6个第三卷积层和所述n7个第三池化层进行图像处理，得到m3个第三特征图，m3为正整数；

将所述m3个第三特征图转化为特征向量后输入至所述n8个第二全连接层进行计算，通过第二分类器对计算出的数据进行解析后得到第二轮检测后的检测结果；

确定所述第二轮检测后的检测结果为安全带佩戴检测结果；其中，所述第二轮检测后的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

结合第二方面的第一至第三种可能的实施方式中任一种可能的实施方式，本申请提供了第二方面的第四种可能的实施方式，其中，所述模型生成模块，具体用于：

从所述无效样本训练集和所述有效样本训练集依次选取第一预设数量的选定待识别图像样本输入至所述第一级图像处理单元和所述第二级图像处理单元进行图像处理，得到第一轮测试后每个选定待识别图像样本的测试结果；

通过比较所述第一轮测试后每个选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第一标准训练结果，确定第一轮测试后的测试结果的准确率，当所述第一轮测试后的测试结果的准确率小于第一预设值时，对所述第一级图像处理单元的模型参数和所述第二级图像处理单元的模型参数进行调整，直至所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值；

当所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值时，将经过所述第一级图像处理单元进行图像处理后的所述选定待识别图像样本输入至所述第三级图像处理单元中进行图像处理，得到第二轮训练后每个选定待识别图像样本的训练结果；

通过比较所述第二轮训练后每个选定待识别图像样本的训练结果与预设的该选定待识别图像样本的第二标准训练结果，确定第二轮测试后的测试结果的准确率，当所述第二轮测试后的测试结果的准确率小于第二预设值时，对所述第三级图像处理单元的模型参数进行调整，直至所述第二轮测试后的测试结果的准确率大于或等于所述第二预设值。

结合第二方面，本申请提供了第二方面的第五种可能的实施方式，其中，所述训练得到的神经网络模型包括并行进行图像处理的两个分支图像处理单元；其中，第一分支图像处理单元包括p1个第四卷积层和p2个第四池化层、p3个第三全连接层、以及第三分类器；第二分支图像处理单元包括p4个第五卷积层和p5个第五池化层、p6个第四全连接层、以及第四分类器；p1至p6为正整数。

结合第二方面的第五种可能的实施方式，本申请提供了第二方面的第六种可能的实施方式，其中，所述检测模块，具体用于：

将所述待识别图像输入至所述p1个第四卷积层和所述p2个第四池化层进行图像处理，得到q1个第四特征图，q1为正整数，并将所述q1个第四特征图转化为特征向量后输入至所述p3个第三全连接层进行计算，通过第三分类器对计算出的数据进行解析后得到第一分支的检测结果；以及，

将所述待识别图像输入至所述p4个第五卷积层和所述p5个第五池化层进行图像处理，得到q2个第五特征图，q2为正整数，并将所述q2个第五特征图转化为特征向量后输入至所述p6个第四全连接层进行计算，通过第四分类器对计算出的数据进行解析后得到第二分支的检测结果；

根据所述第一分支的检测结果、以及所述第二分支的检测结果，确定安全带佩戴检测结果。

结合第二方面的第六种可能的实施方式，本申请提供了第二方面的第七种可能的实施方式，其中，所述检测模块，具体用于：

当所述第一分支的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一分支的检测结果为安全带佩戴检测结果；

当所述第一分支的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，确定所述第二分支的检测结果为安全带佩戴检测结果；

其中，所述第二分支的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

结合第二方面的第五至第七种可能的实施方式中任一种可能的实施方式，本申请提供了第二方面的第八种可能的实施方式，其中，所述模型生成模块，具体用于：

从所述无效样本训练集和所述有效样本训练集依次选取第二预设数量的选定待识别图像样本分别输入至所述第一分支的图像处理单元和所述第二分支的图像处理单元并行进行图像处理，得到每个选定待识别图像样本对应的第一分支测试结果、以及第二分支测试结果；

通过比较每个选定待识别图像样本对应的第一分支测试结果与预设的该选定待识别图像样本的第三标准训练结果，确定所述第一分支测试结果的准确率，当所述第一分支测试结果的准确率小于第三预设值时，对所述第一分支的图像处理单元的模型参数进行调整，直至所述第一分支测试结果的准确率大于或等于所述第三预设值；以及

通过比较每个选定待识别图像样本对应的第二分支训练结果与预设的该选定待识别图像样本对应的第四标准训练结果，确定所述第二分支测试结果的准确率，当所述第二分支测试结果的准确率小于第四预设值时，对所述第二分支的图像处理单元的模型参数进行调整，直至所述第二分支测试结果的准确率大于或等于所述第四预设值。

结合第二方面，本申请提供了第二方面的第九种可能的实施方式，其中，所述获取模块，具体用于：

按照所述第一待识别图像样本、所述第二待识别图像样本、和所述第三待识别图像样本的不同比例，获取所述无效样本训练集和有效样本训练集；

所述模型生成模块，具体用于：

分别基于每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练；

统计采用每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练时得到的训练结果的准确率；

将得到的训练结果的准确率最高的情况下采用的模型参数，作为所述神经网络模型的模型参数。

结合第二方面的第三种可能的实施方式或第七种可能的实施方式，本申请提供了第二方面的第十种可能的实施方式，其中，所述装置还包括：

当所述安全带佩戴检测结果为所述待识别图像具有车内人员未佩戴安全带的图像特征时，向所述车内人员使用的客户端发送提示信息。

结合第二方面，本申请提供了第二方面的第十一种可能的实施方式，其中，所述获取模块，具体用于：

将获取的所述第一待识别图像样本、所述第二待识别图像样本、以及所述第三待识别图像样本分别按照预设规则进行截取以及缩放后，得到所述无效样本训练集和所述有效样本训练集。

第三方面，本申请还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面的第一～十一任一种可能的实施方式中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面的第一～十一任一种可能的实施方式中的步骤。

采用上述方案，引入了无效样本训练集和有效样本训练集进行训练得到神经网络模型，在进行安全带佩戴检测时，训练得到的神经网络模型可以对车内人员未佩戴安全带、车内人员佩戴安全带、以及不具有车内人员或安全带的情况下的待识别图像进行有效区分，使得进行安全带佩戴检测时能够更为全面，避免因图像拍摄不清楚或驾驶员不在驾驶座等导致图像无效的情形下出现对安全带佩戴状况的误判断。与现有技术中仅对佩戴安全带和没有佩戴安全带这两种情况进行区分相比，本申请提供的上述方案可以有效提高安全带佩戴检测的准确性。

为使本申请的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种可能的应用场景下的系统架构图；

图2示出了本申请实施例提供的安全带佩戴检测的方法的流程示意图；

图3示出了本申请实施例提供的一种神经网络模型的结构示意图；

图4示出了本申请实施例列举的一种神经网络模型的结构示意图；

图5示出了本申请实施例提供的基于神经网络模型对待识别图像进行安全带佩戴检测的流程示意图；

图6示出了本申请实施例提供的神经网络模型的训练过程的流程示意图；

图7示出了本申请实施例提供的另一种神经网络模型的结构示意图；

图8示出了本申请实施例列举的另一种神经网络模型的结构示意图；

图9示出了本申请实施例提供的基于神经网络模型对待识别图像进行安全带佩戴检测的流程示意图；

图10示出了本申请实施例提供的神经网络模型的训练过程的流程示意图；

图11示出了本申请实施例提供的安全带佩戴检测的装置的结构示意图；

图12示出了本申请实施例所提供的一种电子设备1200的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请可适用的应用场景进行介绍。本申请可以应用于对车辆驾驶过程中车内人员的安全带的佩戴状况进行检测的应用场景下。其中，图1示例性的示出一种在该应用场景下的系统架构图，包括置于车辆上的车载终端(或移动终端)、应用服务器、以及云端深度学习服务器集群。其中，车载终端例如为行车记录仪等，移动终端例如为车内人员(如驾驶员)使用的手机、或平板电脑等。具体的，车载终端或移动终端可以采集能够反映车内状况的待识别图像并上传至应用服务器，进而由应用服务器将采集的待识别图像上传至云端深度学习服务器集群，其中，云端深度学习服务集群中配置有能够进行图像识别的神经网络模型，利用神经网络模型可以对待识别图像进行安全带佩戴检测。另外，实际应用时，也可以在应用服务器中配置有能够进行图像识别的神经网络模型使其能够进行安全带佩戴检测，这种情况下可以直接由应用服务器完成检测过程，而无需上传至云端深度学习服务器集群来完成检测。

经研究发现，目前在进行安全带佩戴检测时所使用的神经网络模型，一般都只能分辨出车内人员佩戴了安全带和车内人员未佩戴安全带这两种情况，也就是说，不管采集到的待识别图像是不是能够清晰地反映出车内状况，将该待识别图像输入至神经网络模型中进行安全带佩戴检测时，都会得出车内人员佩戴安全带或未佩戴安全带的检测结果。然而，在采集到的待识别图像不能清晰地反映出车内状况的情况下，很容易出现对安全带佩戴状况的误识别，导致安全带佩戴检测的准确率较低。基于此，本申请提供了一种安全带佩戴检测的方法及装置，以实现对车内人员的安全带的佩戴状况进行准确检测。

下面结合具体实施例对本申请提供的技术方案进行详细说明。其中，应理解的是，以下实施例中所涉及的“第一”、“第二”、“第三”等序数词的使用，仅用于对部分用语进行区分，以便于描述，除非特殊说明，这些序数词的使用并不意味或暗示着一些用语的顺序或重要性等。

实施例一

参照图2所示，为本申请实施例一提供的安全带佩戴检测的方法，具体包括以下步骤：

步骤201、获取无效样本训练集和有效样本训练集。

本申请实施例中，应用服务器可以获取来自不同的车载终端或移动终端在不同时刻拍摄的能够反映车内状况的待识别图像样本，并将获取的待识别图像样本进行筛选和分类等处理后，构成无效样本训练集和有效样本训练集。

具体的，无效样本训练集可以包含不具有车内人员或安全带的图像特征的第一待识别图像样本。其中，不具有车内人员或安全带的图像特征可以理解为是画面中不能清晰地显示出车内人员或安全带。出现上述第一待识别图像样本的原因可能是由于车载终端或移动终端的拍摄角度出现偏差、或者拍摄过程中画面出现抖动、或者车内人员暂时下车拍摄不到车内人员等。有效样本训练集中的图像样本具有车内人员和安全带的图像特征，具体的，有效样本训练集可以包含具有车内人员佩戴安全带的图像特征的二待识别图像样本、以及具有车内人员未佩戴安全带的图像特征的第三待识别图像样本等。

其中，上述车内人员可以是驾驶员，也可以是乘客。具体实施时，既可以分别获取驾驶员所在位置区域的有效样本训练集和无效样本训练集、以及乘客所在位置区域的有效样本训练集和无效样本训练集，并分别对驾驶员、乘客的安全带佩戴状况进行检测。或者，也可以获取包含驾驶员所在位置区域和乘客所在位置区域的有效样本训练集和无效样本训练集，从而可以同时对驾驶员和乘客的安全带佩戴状况进行检测。

在具体实施中，在获取到待识别图像样本(即，第一待识别图像样本、第二待识别图像样本、以及第三待识别图像样本等)之后，可以将获取的待识别图像样本分别按照预设规则进行截取以及缩放等预处理，进而可以使得无效样本训练集和有效样本训练集中的待识别图像样本的画面尺寸、以及画面显示的区域位置等基本相同，便于之后进行安全带佩戴检测。其中，预设规则可以根据实际需求来设定。例如，针对车载设备拍摄的驾驶员所在位置区域的图像，由于驾驶员和安全带一般都处于拍摄的图像的右下角的位置，所以可以截取拍摄的完整图像的右半侧部分图像，并截取右半侧部分图像中的下半部分图像，进一步可以将截取出的下半部分图像缩放为预设尺寸，例如224*224尺寸的图像，并将其作为有效样本训练集或无效样本训练集中的待识别图像样本。

此外，为了使得有效样本训练集和无效样本训练集中的待识别图像样本更丰富，以进一步提升模型训练的准确性，针对获取到的来自不同的车载终端或移动终端的待识别图像样本，可以选择性的进行角度调整、或者亮度调整、或者在尽量不改变原画面显示的内容的基础上增加噪声等，通过进行不同的图像调整，可以生成更多的待识别图像样本，能够使得有效样本训练集和无效样本训练集中的待识别图像样本可以较为全面的涵盖不同拍摄情况下的图像。例如，针对一待识别图像样本，可以对其进行亮度调整，例如将亮度分别调高10％、调高20％、调高30％、调低10％、调低20％、调低30％等，这样，可以在原待识别图像样本的基础上，新生成6种不同亮度状态下的待识别图像样本，进而可以反映出不同的亮度的拍摄情况下得到的待识别图像样本。

步骤202、基于无效样本训练集和有效样本训练集训练得到神经网络模型。

本申请实施例中，可以采用无效样本训练集和有效样本训练集对神经网络模型进行训练，其中，通过引入了无效样本训练集对神经网络模型进行训练，对于那些不能清晰的反映出车内状况的待识别图像样本，可以利用训练得到的神经网络模型来准确地识别出，从而尽可能避免对安全带佩戴检测的误识别。

一种可能的实施方式中，在进行神经网络模型的训练过程中，可以从无效样本训练集中的第一待识别图像样本、以及有效样本训练集中的第二待识别图像样本和第三待识别图像样本中选取一定量的待识别图像样本输入至神经网络模型中进行本次训练，将本次输出的每个训练结果分别与每个待识别图像样本对应的预设标准训练结果进行比较，从而可以判断出输出的每个训练结果是否准确。进一步地，可以统计下本次输出的训练结果的准确率的平均值，若该准确率的平均值低于某一预设值，则可以进一步调整神经网络模型的模型参数，并继续选取一定量的待识别图像样本输入至调整后的神经网络模型中，继续检测输出的每个训练结果是否准确并统计训练结果的准确率的平均值，如此循环处理，直至输出的训练结果的准确率的平均值高于某一预设值时，可以确定神经网络模型训练完成。其中，上述预设标准训练结果可以是人工预先标定出的待识别图像样本的正确检测结果。

此外，具体实施中，也可以按照第一待识别图像样本、第二待识别图像样本、和第三待识别图像样本的不同比例，获取无效样本训练集和有效样本训练集，进而分别基于每种比例下的第一待识别图像样本、第二待识别图像样本和第三待识别图像样本进行神经网络模型训练。进一步地，通过统计采用每种比例下的第一待识别图像样本、第二待识别图像样本和第三待识别图像样本进行神经网络模型训练时得到的训练结果的准确率，可以将得到的训练结果的准确率最高的情况下采用的模型参数，作为神经网络模型的模型参数。例如，可以将第一待识别图像样本、第二待识别图像样本、和第三待识别图像样本的数量的比例分别配置为1：2：3、3：2：1、2：2：1等，并基于每种比例下的第一待识别图像样本、第二待识别图像样本、和第三待识别图像样本进行神经网络模型训练。若在比例为3：2：1时得到的训练结果的准确率最高，那么可以将在比例为3：2：1时得到准确率最高的情况下使用的模型参数，确定为训练得到的神经网络模型的模型参数。

并且，经过多次训练发现，当某一种待识别图像样本的数量多于另外两种待识别图像样本的数量时，可以使得数量多的那种待识别图像样本的训练结果的准确率高于另外两种数量少的待识别图像样本的训练结果的准确率，故为了尽可能保证结果的无偏性，也可以控制这三种待识别图像样本的数量相同。当然，实际应用时，也可以根据实际业务需求和安全性需求来适当的跳高或调低某一种待识别图像样本的数量，本申请对此并不限定。

步骤203、基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测。

本申请实施例中，在通过训练得到神经网络模型之后，可以利用神经网络模型进行安全带佩戴状况的检测。具体的，应用服务器可以在确定车辆启动并开始行使时，指示车载终端或移动终端拍摄图像并获取拍摄的图像作为待识别图像，或者，应用服务器也可以在车辆行驶过程中，每隔设定时长指示车载终端或移动终端拍摄图像并获取拍摄的图像作为待识别图像。进一步地，在获取到待识别图像之后，可以将待识别图像输入至训练得到的神经网络模型中进行安全带佩戴检测。

一种可能的实施方式中，当安全带佩戴检测结果为待识别图像具有车内人员未佩戴安全带的图像特征时，可以向车内人员使用的客户端发送提示信息，以便提示车内人员佩戴安全带。其中，车内人员使用的客户端可以是安装于车载设备中的客户端、或者是安装于移动终端(例如手机、平板电脑等)中的客户端等。当安全带佩戴检测结果为待识别图像不具有车内人员或安全带的图像特征时，应用服务器可以继续指示车载终端或移动终端拍摄图像并获取拍摄的图像作为待识别图像，继续执行安全带佩戴状况的检测。当安全带佩戴检测结果为待识别图像具有车内人员佩戴安全带的图像特征时，可以暂时停止对安全带佩戴状况的检测。

采用上述方式，引入了无效样本训练集和有效样本训练集进行训练得到神经网络模型，在进行安全带佩戴检测时，训练得到的神经网络模型可以对车内人员未佩戴安全带、车内人员佩戴安全带、以及不具有车内人员或安全带的情况下的图像进行有效区分，使得进行安全带佩戴检测时能够更为全面，避免因图像拍摄不清楚或驾驶员不在驾驶座等导致图像无效的情形下出现对安全带佩戴状况的误判断。与现有技术中仅对佩戴安全带和没有佩戴安全带这两种情况进行区分相比，本申请提供的上述方案可以有效提高安全带佩戴检测的准确性。

上述对神经网络模型的训练过程以及应用过程进行了整体思路上的介绍。除此之外，本申请实施例中还对神经网络模型的结构进行了改进，其中，鉴于神经网络模型的结构不同，对应的训练过程也会有所区别，故在接下来的实施例中将对每一种改进后的神经网络模型的结构、模型训练过程、以及应用过程进行详细说明。

实施例二

参照图3所示，为本申请实施例提供的一种神经网络模型的结构示意图。该神经网络模型可以包括依次进行图像处理的三级图像处理单元：

(1)第一级图像处理单元处理后的图像可以被第二级图像处理单元和第三级图像处理单元所共用，故也可以将第一级图像处理单元看做是公共的图像处理单元。

具体的，第一级图像处理单元中包括n1个第一卷积层和n2个第一池化层。其中，每经过至少一个第一卷积层之后可以配置一个第一池化层。经过第一卷积层可以提取待识别图像的图像特征，经过第一池化层可以对图像进行降维处理等。n1、n2为正整数，较佳的，可以将n1和n2取值为大于或等于5的正整数。当然，也可以根据实际需求来配置n1、n2的值，例如，当待识别图像较为复杂时，可以将n1、n2设置的大一些，从而可以较明显的提取出待识别图像的图像特征，当待识别图像较为简单时，将n1设置的小一些，也可以较明显的提取出待识别图像的图像特征。

(2)第二级图像处理单元可以用于检测待识别图像中是否具有车内人员或安全带的图像特征，即，第二级图像处理单元用于检测待识别图像是否为有效图像。其中，待识别图像中具有车内人员以及安全带的图像特征可以判定为有效图像，待识别图像中不具有车内人员或安全带的图像特征可以判定为无效图像。

具体的，第二级图像处理单元包括n3个第二卷积层和n4个第二池化层、n5个第一全连接层、以及第一分类器(softmax)。

其中，每经过至少一个第二卷积层之后可以配置一个第二池化层。经过第二卷积层可以提取待识别图像的图像特征，经过第二池化层可以对图像进行降维处理等。n3、n4为正整数，实际应用时，也可以根据实际需求来配置n3、n4的值，这里不再详述。

n5个第一全连接层可以对提取出的图像特征进行特征向量的计算，以便于对待识别图像进行分类。n5为正整数，实际应用时，也可以根据实际需求来配置n5的值，这里不再详述。其中，n5个第一全连接层中最后一个第一全连接层的神经元的个数，决定了将待识别图像划分为几个类别，本申请实施例中，第一全连接层的神经元个数可以设置为两个，以便对有效图像和无效图像进行区分。

第一分类器主要用于对第一全连接层计算得到的特征向量值进行解析后转换为标量的数值，转换后的标量的数值也可以理解为是对待识别图像所归属的类别的打分值，打分值最高的类型即为待识别图像所归属的类别。例如，通过第一分类器输出的有效图像的打分值为0.4、无效图像的打分值为0.6，那么可以确定出该待识别图像为无效图像，即该待识别图像不具有车内人员或安全带的图像特征。

(3)第三级图像处理单元可以用于针对第二级图像处理单元检测出的有效图像，进一步检测有效图像中是否具有车内人员佩戴安全带的图像特征。

具体的，第三级图像处理单元包括n6个第三卷积层和n7个第三池化层、n8个第二全连接层、以及第二分类器。

其中，每经过至少一个第三卷积层之后可以配置一个第三池化层。第三卷积层和第三池化层的作用分别为提取图像特征和降维处理。n6、n7为正整数，实际应用时，也可以根据实际需求来配置n6、n7的值，这里不再详述。

n8个第二全连接层可以对提取出的图像特征进行特征向量的计算，以便于对待识别图像进行分类。n8为正整数，实际应用时，也可以根据实际需求来配置n8的值。本申请实施例中，n8个第二全连接层中最后一个第二全连接层的神经元个数可以设置为两个，以便对车内人员佩戴安全带、以及车内人员未佩戴安全带进行区分。另外，考虑到第二级图像处理单元得到的检测结果并不一定是完全正确的，也可能出现误判断的情况，故，为了进一步提升安全带佩戴检测的准确性，也可以将n8个第二全连接层中最后一个第二全连接层的神经元个数可以设置为三个，这样，除了车内人员佩戴安全带、以及车内人员未佩戴安全带这两种情况之外，还存在无效图像这种情况。

第二分类器主要用于对第二全连接层计算得到的特征向量值进行解析后转换为标量的数值，转换后的标量的数值也可以理解为是对待识别图像所归属的类别的打分值，打分值最高的类型即为待识别图像所归属的类别。例如，通过第二分类器输出的待识别图像具有车内人员佩戴安全带的图像特征的检测结果的打分值为0.3、待识别图像具有车内人员未佩戴安全带的图像特征的检测结果的打分值为0.7，那么可以确定出该待识别图像不具有车内人员佩戴安全带的图像特征。

其中，该神经网络模型中第一池化层、第二池化层、第三池化层均采用最大池化层。

需要说明的是，上述三级图像处理单元中涉及的卷积层的第一配置参数(例如卷积核大小，通道数等)可以是不同的，也可以存在部分卷积层的配置参数相同的情况，可根据实际情况而定，本申请对此并不限定。另外，上述三级图像处理单元中涉及的池化层的第二配置参数可以是相同的，也可以是不同的，本申请对此也不限定。而第一全连接层和第二全连接层的第三配置参数也可以根据实际情况来配置。

并且，虽然对于同一级别的图像处理单元中的卷积层(或池化层或全连接层)采用相同的命名，但是这并不意味着同一级别的图像处理单元中的卷积层(或池化层或全连接层)的配置参数完全相同。例如，针对n1个第一卷积层来说，既可能有卷积核大小为3*3、通道数为64的第一卷积层，也可能有卷积核大小为3*3、通道数为128的第一卷积层等。

另外，该神经网络模型中还可以包括过滤器(filter)，过滤器与第一级图像处理单元中最后一个第一池化层、以及第二级图像处理单元中的第一分类器、第三级图像处理单元中的第一个卷积层分别相连，用于对待识别图像进行过滤，以使得经过第一级图像处理单元进行图像处理后的有效图像可以继续输入至第三级图像处理单元中进行图像处理。

为便于更好地理解本申请实施例提供的神经网络模型的构成，下面示例性的列举一种可能的神经网络模型的结构示意图。

参照图4所示，该神经网络模型的第一级图像处理单元中包括5个第一卷积层，分别为2个卷积核大小为3*3、通道数为64的第一卷积层(图中简称为conv3-64)、1个卷积核大小为3*3、通道数为128的第一卷积层(图中简称为conv3-128)、以及2个卷积核大小为3*3、通道数为256的第一卷积层(图中简称为conv3-256)。第一级图像处理单元中还包括4个第一池化层(图中所示maxpool)。

该神经网络模型的第二级图像处理单元中包括1个卷积核大小为3*3、通道数为512的第二卷积层(图中简称为conv3-512)、1个第二池化层(图中所示maxpool)、3个第一全连接层、以及第一分类器(图中简称为softmax1)。其中，第一个第一全连接层包含的神经元的个数为2048个(图中简称为fc-2048)，第二个第一全连接层包含的神经元的个数为1024个(图中简称为fc-1024)，第三个第一全连接层包含的神经元的个数为2个(图中简称为fc-2)。

该神经网络模型的第三级图像处理单元中包括2个卷积核大小为3*3、通道数为512的第三卷积层(图中简称为conv3-512)、2个第三池化层(图中所示maxpool)、3个第二全连接层、以及第二分类器(图中简称为softmax2)。其中，第一个第二全连接层包含的神经元的个数为3096个(图中简称为fc-3096)，第二个第二全连接层包含的神经元的个数为2048个(图中简称为fc-2048，第三个第二全连接层包含的神经元的个数为3个(图中简称为fc-3)。

实施例三

结合上述实施例二所示出的神经网络模型，下面对基于该神经网络模型对待识别图像进行安全带佩戴检测的过程进行具体介绍。

参照图5所示，为本申请实施例提供的基于神经网络模型对待识别图像进行安全带佩戴检测的流程示意图，具体包括以下步骤：

步骤501、将待识别图像输入至n1个第一卷积层和n2个第一池化层进行图像处理，得到m1个第一特征图，m1为正整数。

其中，卷积层的通道数决定了输出的特征图的个数。例如，继续以图4所示的神经网络模型为例，在经过第一级图像处理单元中的第五个卷积层conv3-256之后，可以输出256张第一特征图。

步骤502、将m1个第一特征图输入至n3个第二卷积层和n4个第二池化层进行图像处理，得到m2个第二特征图，m2为正整数。

例如，继续以图4所示的神经网络模型为例，在经过第二级图像处理单元中的第1个卷积层conv3-512之后，可以输出512张第二特征图。

步骤503、将m2个第二特征图转化为特征向量后输入至n5个第一全连接层进行计算。

步骤504、通过第一分类器对计算出的数据进行解析后得到第一轮检测后的检测结果。

步骤505：判断第一轮检测后的检测结果是否为待识别图像不具有车内人员或安全带的图像特征。

若是，即当第一轮检测后的检测结果为待识别图像不具有车内人员或安全带的图像特征时，执行步骤506；若否，即当第一轮检测后的检测结果为待识别图像具有车内人员以及安全带的图像特征时，执行步骤507～步骤510。

一示例中，若通过第一分类器对计算出的数据进行解析后输出的该待识别图像具有车内人员以及安全带的图像特征的检测结果的打分值为0.2、该待识别图像不具有车内人员或安全带的图像特征的检测结果的打分值的打分值为0.8，那么可以确定出该待识别图像不具有车内人员或安全带的图像特征，这时可以执行步骤506。

另一示例中，若通过第一分类器对计算出的数据进行解析后输出的该待识别图像具有车内人员以及安全带的图像特征的检测结果的打分值为0.7、该待识别图像不具有车内人员或安全带的图像特征的检测结果的打分值的打分值为0.3，那么可以确定出该待识别图像具有车内人员以及安全带的图像特征，这时可以执行步骤507～步骤510。

步骤506、确定第一轮检测后的检测结果为安全带佩戴检测结果并输出。

步骤507、将m1个第一特征图输入至n6个第三卷积层和n7个第三池化层进行图像处理，得到m3个第三特征图，m3为正整数。

例如，继续以图4所示的神经网络模型为例，在经过第三级图像处理单元中的第2个卷积层conv3-512之后，可以输出512张第三特征图。

步骤508、将m3个第三特征图转化为特征向量后输入至n8个第二全连接层进行计算。

步骤509、通过第二分类器对计算出的数据进行解析后得到第二轮检测后的检测结果。

步骤510、确定第二轮检测后的检测结果为安全带佩戴检测结果并输出。

其中，第二轮检测后的检测结果为待识别图像具有车内人员佩戴安全带的图像特征、或待识别图像具有车内人员未佩戴安全带的图像特征。另外，当n8个第二全连接层中的最后一个全连接层中的神经元的个数为3个时，第二轮检测后的检测结果还存在第三种情况，即待识别图像不具有车内人员或安全带的图像特征。

关于最后输出的安全带佩戴检测结果的确定，也可以根据第二分类器解析后对每一种可能的检测结果的打分值，将打分值最高的检测结果作为最终的安全带佩戴检测结果。关于具体分析过程，可以参照上述步骤505中所示的根据第一分类器解析后的打分值来确定第一轮检测后的检测结果的方式，这里不再展开介绍。

通过上述方式，在进行安全带佩戴检测时，可以首先检测出待识别图像是否为有效图像，进而可以针对有效图像进一步分析图像中是否具有车内人员佩戴安全带的图像特征，由此可以提升安全带佩戴检测的准确性。

实施例四

结合上述实施例二所示出的神经网络模型，下面对基于无效样本训练集和有效样本训练集对神经网络模型进行训练的过程具体介绍。

参照图6所示，为本申请实施例提供的神经网络模型的训练过程的流程示意图，具体包括以下步骤：

步骤601、从无效样本训练集和有效样本训练集中依次选取第一预设数量的选定待识别图像样本输入至第一级图像处理单元和第二级图像处理单元依次进行图像处理，得到第一轮测试后每个选定待识别图像样本的测试结果。

例如，假设无效样本训练集和有效样本训练集中一共包括5000个待识别图像样本，那么，可以在每次训练时从中选取50个待识别图像样本输入至第一级图像处理单元和第二级图像处理单元依次进行图像处理，得到第一轮测试后50个选定待识别图像样本分别对应的测试结果。

步骤602、通过比较第一轮测试后每个选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第一标准训练结果，确定第一轮测试后的测试结果的准确率。

其中，第一标准训练结果可以是人工预先标定并预先存储在应用服务器中的。

一种可能的实施方式中，针对每个选定待识别图像样本，若第一轮测试后得到的该选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第一标准训练结果相同，则说明输出的检测结果准确，这时该选定待识别图像样本对应的准确率为1，反之，该选定待识别图像样本对应的准确率为0。通过计算第一预设数量的选定待识别图像样本对应的准确率的平均值，可以确定第一轮测试后的测试结果的准确率。

步骤603、判断第一轮测试后的测试结果的准确率是否小于第一预设值。

若小于，则执行步骤604；若不小于，则执行步骤605～步骤607。

例如，假设第一轮测试后的测试结果的准确率为0.6，而第一预设值为0.98，那么，则说明第一轮测试后的测试结果的准确率不符合正确率需求，还需要继续调整第一级图像处理单元和第二级图像处理单元的模型参数。再例如，假设第一轮测试后的测试结果的准确率为0.98，第一预设值也为0.98，那么，则说明第一轮测试后的测试结果的准确率符合正确率需求，可以正常使用第一级图像处理单元和第二级图像处理单元的模型参数。

步骤604、对第一级图像处理单元的模型参数和所述第二级图像处理单元的模型参数进行调整，并返回步骤601继续选取选定待识别图像样本输入至第一级图像处理单元和第二级图像处理单元，重复执行以上步骤，直至第一轮测试后的测试结果的准确率大于或等于第一预设值。

步骤605、将经过第一级图像处理单元进行图像处理后的选定待识别图像样本输入至第三级图像处理单元中进行图像处理，得到第二轮训练后每个选定待识别图像样本的训练结果。

步骤606、通过比较第二轮训练后每个选定待识别图像样本的训练结果与预设的该选定待识别图像样本的第二标准训练结果，确定第二轮测试后的测试结果的准确率。

其中，第二标准训练结果也可以是人工预先标定并预先存储在应用服务器中的。

一种可能的实施方式中，针对每个选定待识别图像样本，若第二轮测试后得到的该选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第二标准训练结果相同，则说明输出的检测结果准确，这时该选定待识别图像样本对应的准确率为1，反之，该选定待识别图像样本对应的准确率为0。通过计算输入至第三级图像处理单元的选定待识别图像样本对应的准确率的平均值，可以确定第二轮测试后的测试结果的准确率。

步骤607、判断第二轮测试后的测试结果的准确率是否小于第二预设值。

若小于，则执行步骤608；若不小于，则执行步骤609。

这一判断过程与上述步骤603中的判断过程类似，这里不再一一列举。

步骤608、对第三级图像处理单元的模型参数进行调整，并返回步骤601继续输入选定待识别图像样本至第一级图像处理单元和第二级图像处理单元，重复执行以上步骤，直至第二轮测试后的测试结果的准确率大于或等于第二预设值。

步骤609、确定模型训练完成。

通过上述方式，在对神经网络模型进行训练时，可以首先对第一级图像处理单元和第二级图像处理单元的模型参数进行调整，直至第二级图像处理单元输出的第一轮检测结果的准确率满足一定需求，进一步在对第三级图像处理单元的模型参数进行调整。通过这种分层次地进行模型训练，可以提升模型训练的效率。

实施例五

参照图7所示，为本申请实施例提供的另一种神经网络模型的结构示意图。该神经网络模型可以包括并行进行图像处理的两个分支图像处理单元：

(1)第一分支图像处理单元可以用于检测待识别图像中是否具有车内人员或安全带的图像特征，即，第二级图像处理单元用于检测待识别图像是否为有效图像。

具体的，第一分支图像处理单元包括p1个第四卷积层和p2个第四池化层、p3个第三全连接层、以及第三分类器。

其中，每经过至少一个第四卷积层之后可以配置一个第四池化层。卷积层和池化层的作用可以参见上述实施例二涉及的相关描述，这里不再详述。p1、p2为正整数，实际应用时，也可以根据实际需求来配置p1、p2的值，这里不再详述。

p3个第三全连接层可以参见上述实施例二涉及的全连接层的相关描述。p3为正整数，实际应用时，也可以根据实际需求来配置p3的值，这里不再详述。其中，p3个第三全连接层中最后一个第三全连接层的神经元的个数可以设置为两个，以便对有效图像和无效图像进行区分。

第三分类器的作用可以参见上述实施例二涉及的分类器的相关描述。

(2)第二分支图像处理单元可以用于检测待识别图像是否具有车内人员佩戴安全带的图像特征。

具体的，第二分支图像处理单元包括p4个第五卷积层和p5个第五池化层、p6个第四全连接层、以及第四分类器。

其中，p4个第五卷积层和p5个第五池化层的作用可以参见上述实施例二涉及的卷积层和池化层的相关描述，这里不再详述。p4、p5为正整数，实际应用时，也可以根据实际需求来配置p4、p5的值，这里不再详述。

p6个第四全连接层可以参见上述实施例二涉及的全连接层的相关描述。p6为正整数，实际应用时，也可以根据实际需求来配置p6的值，这里不再详述。其中，p6个第三全连接层中最后一个第三全连接层的神经元的个数可以设置为两个，以便对车内人员佩戴安全带、以及车内人员未佩戴安全带进行区分。

第四分类器的作用可以参见上述实施例二涉及的分类器的相关描述。

为便于更好地理解本申请实施例提供的神经网络模型的构成，下面示例性的列举一种可能的神经网络模型的结构示意图。

参照图8所示，该神经网络模型的第一分支图像处理单元中包括7个第四卷积层，分别为2个卷积核大小为3*3、通道数为64的第四卷积层(图中简称为conv3-64)、1个卷积核大小为3*3、通道数为128的第四卷积层(图中简称为conv3-128)、2个卷积核大小为3*3、通道数为256的第四卷积层(图中简称为conv3-256)、2个卷积核大小为3*3、通道数为512的第四卷积层(图中简称为conv3-512)。第一分支图像处理单元中还包括6个第四池化层(图中所示maxpool)。

该神经网络模型的第一分支图像处理单元中还包括3个第三全连接层。其中，第一个第三全连接层包含的神经元的个数为2048个(图中简称为fc-2048)，第二个第三全连接层包含的神经元的个数为1024个(图中简称为fc-1024)，第三个第三全连接层包含的神经元的个数为2个(图中简称为fc-2)。

该神经网络模型的第一分支图像处理单元中还包括第三分类器(图中简称为softmax3)。

该神经网络模型的第二分支图像处理单元中包括的第五卷积层、第五池化层、第四全连接层、以及第四分类器的构成以及连接关系，与上述第一分支图像处理单元相同，具体可参见上述第一分支图像处理单元的相关内容，这里不再展开描述。

实施例六

结合上述实施例五所示出的神经网络模型，下面对基于该神经网络模型对待识别图像进行安全带佩戴检测的过程进行具体介绍。

参照图9所示，为本申请实施例提供的基于神经网络模型对待识别图像进行安全带佩戴检测的流程示意图，具体包括以下步骤：

步骤901、将待识别图像输入至p1个第四卷积层和p2个第四池化层进行图像处理，得到q1个第四特征图，q1为正整数。

步骤902、将q1个第四特征图转化为特征向量后输入至p3个第三全连接层进行计算，通过第三分类器对计算出的数据进行解析后得到第一分支的检测结果。

步骤903、将待识别图像输入至p4个第五卷积层和p5个第五池化层进行图像处理，得到q2个第五特征图，q2为正整数。

步骤904、将q2个第五特征图转化为特征向量后输入至p6个第四全连接层进行计算，通过第四分类器对计算出的数据进行解析后得到第二分支的检测结果。

其中，上述步骤901～步骤902与上述步骤903～步骤904可以同步执行。

步骤905、根据第一分支的检测结果、以及第二分支的检测结果，确定安全带佩戴检测结果。

具体的，当第一分支的检测结果为待识别图像不具有车内人员或安全带的图像特征时，确定第一分支的检测结果为安全带佩戴检测结果；当第一分支的检测结果为待识别图像具有车内人员以及安全带的图像特征时，确定第二分支的检测结果为安全带佩戴检测结果。其中，第二分支的检测结果为待识别图像具有车内人员佩戴安全带的图像特征、或待识别图像具有车内人员未佩戴安全带的图像特征。

在上述流程中相关步骤或术语的解释可参见上述实施例三中涉及的相关步骤或术语的说明，这里不再赘述。

实施例七

结合上述实施例五所示出的神经网络模型，下面对基于无效样本训练集和有效样本训练集对神经网络模型进行训练的过程具体介绍。

参照图10所示，为本申请实施例提供的神经网络模型的训练过程的流程示意图，具体包括以下步骤：

步骤1001、从无效样本训练集和有效样本训练集依次选取第二预设数量的选定待识别图像样本。

步骤1002、将第二预设数量的选定待识别图像样本输入至第一分支的图像处理单元进行图像处理，得到每个选定待识别图像样本对应的第一分支测试结果。

步骤1003、通过比较每个选定待识别图像样本对应的第一分支测试结果与预设的该选定待识别图像样本的第三标准训练结果，确定第一分支测试结果的准确率。

步骤1004、判断第一分支测试结果的准确率是否小于第三预设值。

若小于，则执行步骤1005；若不小于，则执行步骤1006。

步骤1005、对第一分支的图像处理单元的模型参数进行调整，并返回步骤1001继续选取选定待识别图像样本输入至第一分支图像处理单元，直至第一分支测试结果的准确率大于或等于第三预设值。

步骤1006、确定第一分支的图像处理单元的模型训练完成。

步骤1007、将第二预设数量的选定待识别图像样本输入至第二分支的图像处理单元进行图像处理，得到每个选定待识别图像样本对应的第二分支测试结果。

步骤1008、通过比较每个选定待识别图像样本对应的第二分支测试结果与预设的该选定待识别图像样本的第四标准训练结果，确定第二分支测试结果的准确率。

步骤1009、判断第二分支测试结果的准确率是否小于第四预设值。

若小于，则执行步骤1010；若不小于，则执行步骤1011。

步骤1010、对第二分支的图像处理单元的模型参数进行调整，并返回步骤1001继续选取选定待识别图像样本输入至第二分支图像处理单元，重读执行以上步骤直至第二分支测试结果的准确率大于或等于第四预设值。

步骤1011、确定第二分支的图像处理单元的模型训练完成。

其中，上述步骤1002～步骤1006与上述步骤1007～步骤1011可以同步执行。

在上述流程中相关步骤或术语的解释可参见上述实施例四中涉及的相关步骤或术语的说明，这里不再赘述。

实施例八

如图11所示，为本申请实施例八提供的安全带佩戴检测的装置，包括：获取模块1101、模型生成模块1102、检测模块1103；其中，

获取模块1101，用于获取无效样本训练集和有效样本训练集；其中所述无效样本训练集包含不具有车内人员或安全带的图像特征的第一待识别图像样本，所述有效样本训练集包含具有车内人员佩戴安全带的图像特征的第二待识别图像样本、以及具有车内人员未佩戴安全带的图像特征的第三待识别图像样本；

模型生成模块1102，用于基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型；

检测模块1103，用于基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测。

第一种可能的实施方式中，所述训练得到的神经网络模型包括依次进行图像处理的三级图像处理单元；其中，第一级图像处理单元包括n1个第一卷积层和n2个第一池化层；第二级图像处理单元包括n3个第二卷积层和n4个第二池化层、n5个第一全连接层、以及第一分类器；第三级图像处理单元包括n6个第三卷积层和n7个第三池化层、n8个第二全连接层、以及第二分类器；n1至n8为正整数。

结合第一种可能的实施方式，所述检测模块1103，具体用于：

将所述待识别图像输入至所述n1个第一卷积层和所述n2个第一池化层进行图像处理，得到m1个第一特征图，m1为正整数；

将所述m1个第一特征图输入至所述n3个第二卷积层和所述n4个第二池化层进行图像处理，得到m2个第二特征图，m2为正整数；

将所述m2个第二特征图转化为特征向量后输入至所述n5个第一全连接层进行计算，通过第一分类器对计算出的数据进行解析后得到第一轮检测后的检测结果；

当第一轮检测后的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一轮检测后的检测结果为安全带佩戴检测结果。

进一步地，所述检测模块1103，还用于：

当第一轮检测后的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，将所述m1个第一特征图输入至所述n6个第三卷积层和所述n7个第三池化层进行图像处理，得到m3个第三特征图，m3为正整数；

将所述m3个第三特征图转化为特征向量后输入至所述n8个第二全连接层进行计算，通过第二分类器对计算出的数据进行解析后得到第二轮检测后的检测结果；

确定所述第二轮检测后的检测结果为安全带佩戴检测结果；其中，所述第二轮检测后的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

具体的，针对第一种可能的实施方式中提供的神经网络模型，所述模型生成模块1102，具体用于：

从所述无效样本训练集和所述有效样本训练集依次选取第一预设数量的选定待识别图像样本输入至所述第一级图像处理单元和所述第二级图像处理单元进行图像处理，得到第一轮测试后每个选定待识别图像样本的测试结果；

通过比较所述第一轮测试后每个选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第一标准训练结果，确定第一轮测试后的测试结果的准确率，当所述第一轮测试后的测试结果的准确率小于第一预设值时，对所述第一级图像处理单元的模型参数和所述第二级图像处理单元的模型参数进行调整，直至所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值；

当所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值时，将经过所述第一级图像处理单元进行图像处理后的所述选定待识别图像样本输入至所述第三级图像处理单元中进行图像处理，得到第二轮训练后每个选定待识别图像样本的训练结果；

通过比较所述第二轮训练后每个选定待识别图像样本的训练结果与预设的该选定待识别图像样本的第二标准训练结果，确定第二轮测试后的测试结果的准确率，当所述第二轮测试后的测试结果的准确率小于第二预设值时，对所述第三级图像处理单元的模型参数进行调整，直至所述第二轮测试后的测试结果的准确率大于或等于所述第二预设值。

在第二种可能的实施方式中，所述训练得到的神经网络模型包括并行进行图像处理的两个分支图像处理单元；其中，第一分支图像处理单元包括p1个第四卷积层和p2个第四池化层、p3个第三全连接层、以及第三分类器；第二分支图像处理单元包括p4个第五卷积层和p5个第五池化层、p6个第四全连接层、以及第四分类器；p1至p6为正整数。

结合第二种可能的实施方式，所述检测模块1103，具体用于：

将所述待识别图像输入至所述p1个第四卷积层和所述p2个第四池化层进行图像处理，得到q1个第四特征图，q1为正整数，并将所述q1个第四特征图转化为特征向量后输入至所述p3个第三全连接层进行计算，通过第三分类器对计算出的数据进行解析后得到第一分支的检测结果；以及，

将所述待识别图像输入至所述p4个第五卷积层和所述p5个第五池化层进行图像处理，得到q2个第五特征图，q2为正整数，并将所述q2个第五特征图转化为特征向量后输入至所述p6个第四全连接层进行计算，通过第四分类器对计算出的数据进行解析后得到第二分支的检测结果；

根据所述第一分支的检测结果、以及所述第二分支的检测结果，确定安全带佩戴检测结果。

进一步地，所述检测模块1103，具体用于：

当所述第一分支的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一分支的检测结果为安全带佩戴检测结果；

当所述第一分支的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，确定所述第二分支的检测结果为安全带佩戴检测结果；

其中，所述第二分支的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

具体的，针对第二种可能的实施方式中提供的神经网络模型，所述模型生成模块1102，具体用于：

从所述无效样本训练集和所述有效样本训练集依次选取第二预设数量的选定待识别图像样本分别输入至所述第一分支的图像处理单元和所述第二分支的图像处理单元并行进行图像处理，得到每个选定待识别图像样本对应的第一分支测试结果、以及第二分支测试结果；

通过比较每个选定待识别图像样本对应的第一分支测试结果与预设的该选定待识别图像样本的第三标准训练结果，确定所述第一分支测试结果的准确率，当所述第一分支测试结果的准确率小于第三预设值时，对所述第一分支的图像处理单元的模型参数进行调整，直至所述第一分支测试结果的准确率大于或等于所述第三预设值；以及

通过比较每个选定待识别图像样本对应的第二分支训练结果与预设的该选定待识别图像样本对应的第四标准训练结果，确定所述第二分支测试结果的准确率，当所述第二分支测试结果的准确率小于第四预设值时，对所述第二分支的图像处理单元的模型参数进行调整，直至所述第二分支测试结果的准确率大于或等于所述第四预设值。

具体实施中，所述获取模块1101，具体用于：

按照所述第一待识别图像样本、所述第二待识别图像样本、和所述第三待识别图像样本的不同比例，获取所述无效样本训练集和有效样本训练集；

所述模型生成模块1102，具体用于：

分别基于每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练；

统计采用每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练时得到的训练结果的准确率；

将得到的训练结果的准确率最高的情况下采用的模型参数，作为所述神经网络模型的模型参数。

具体实施中，所述装置还包括：

提示模块1104，用于当所述安全带佩戴检测结果为所述待识别图像具有车内人员未佩戴安全带的图像特征时，向所述车内人员使用的客户端发送提示信息。

具体实施中，所述获取模块1101，具体用于：

将获取的所述第一待识别图像样本、所述第二待识别图像样本、以及所述第三待识别图像样本分别按照预设规则进行截取以及缩放后，得到所述无效样本训练集和所述有效样本训练集。

实施例九

如图12所示，为本申请实施例九所提供的一种电子设备1200的结构示意图，包括：处理器1201、存储器1202和总线1203；

所述存储器1202存储有所述处理器1201可执行的机器可读指令(比如，包括图12中的获取模块1101、模型生成模块1102、以及检测模块1103对应的执行指令)，当电子设备运行时，所述处理器1201与所述存储器1202之间通过总线1203通信，所述机器可读指令被所述处理器1201执行时执行如下处理：

获取无效样本训练集和有效样本训练集；其中所述无效样本训练集包含不具有车内人员或安全带的图像特征的第一待识别图像样本，所述有效样本训练集包含具有车内人员佩戴安全带的图像特征的第二待识别图像样本、以及具有车内人员未佩戴安全带的图像特征的第三待识别图像样本；

基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型；

基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测。

第一种可能的实施方式中，所述训练得到的神经网络模型包括依次进行图像处理的三级图像处理单元；其中，第一级图像处理单元包括n1个第一卷积层和n2个第一池化层；第二级图像处理单元包括n3个第二卷积层和n4个第二池化层、n5个第一全连接层、以及第一分类器；第三级图像处理单元包括n6个第三卷积层和n7个第三池化层、n8个第二全连接层、以及第二分类器；n1至n8为正整数。

结合第一种可能的实施方式，在具体实施中，上述处理器1201执行的处理中，所述基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测，具体包括：

将所述待识别图像输入至所述n1个第一卷积层和所述n2个第一池化层进行图像处理，得到m1个第一特征图，m1为正整数；

将所述m1个第一特征图输入至所述n3个第二卷积层和所述n4个第二池化层进行图像处理，得到m2个第二特征图，m2为正整数；

将所述m2个第二特征图转化为特征向量后输入至所述n5个第一全连接层进行计算，通过第一分类器对计算出的数据进行解析后得到第一轮检测后的检测结果；

当第一轮检测后的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一轮检测后的检测结果为安全带佩戴检测结果。

进一步地，上述处理器1201执行的处理中，在得到第一轮检测后的检测结果之后，还包括：

当第一轮检测后的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，将所述m1个第一特征图输入至所述n6个第三卷积层和所述n7个第三池化层进行图像处理，得到m3个第三特征图，m3为正整数；

将所述m3个第三特征图转化为特征向量后输入至所述n8个第二全连接层进行计算，通过第二分类器对计算出的数据进行解析后得到第二轮检测后的检测结果；

确定所述第二轮检测后的检测结果为安全带佩戴检测结果；其中，所述第二轮检测后的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

针对第一种可能的实施方式，上述处理器1201执行的处理中，基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型，包括：

从所述无效样本训练集和所述有效样本训练集依次选取第一预设数量的选定待识别图像样本输入至所述第一级图像处理单元和所述第二级图像处理单元进行图像处理，得到第一轮测试后每个选定待识别图像样本的测试结果；

通过比较所述第一轮测试后每个选定待识别图像样本的测试结果与预设的该选定待识别图像样本的第一标准训练结果，确定第一轮测试后的测试结果的准确率，当所述第一轮测试后的测试结果的准确率小于第一预设值时，对所述第一级图像处理单元的模型参数和所述第二级图像处理单元的模型参数进行调整，直至所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值；

当所述第一轮测试后的测试结果的准确率大于或等于所述第一预设值时，将经过所述第一级图像处理单元进行图像处理后的所述选定待识别图像样本输入至所述第三级图像处理单元中进行图像处理，得到第二轮训练后每个选定待识别图像样本的训练结果；

通过比较所述第二轮训练后每个选定待识别图像样本的训练结果与预设的该选定待识别图像样本的第二标准训练结果，确定第二轮测试后的测试结果的准确率，当所述第二轮测试后的测试结果的准确率小于第二预设值时，对所述第三级图像处理单元的模型参数进行调整，直至所述第二轮测试后的测试结果的准确率大于或等于所述第二预设值。

第二种可能的实施方式中，所述训练得到的神经网络模型包括并行进行图像处理的两个分支图像处理单元；其中，第一分支图像处理单元包括p1个第四卷积层和p2个第四池化层、p3个第三全连接层、以及第三分类器；第二分支图像处理单元包括p4个第五卷积层和p5个第五池化层、p6个第四全连接层、以及第四分类器；p1至p6为正整数。

结合第二种可能的实施方式，在具体实施中，上述处理器1201执行的处理中，所述基于训练得到的神经网络模型对获取的待识别图像进行安全带佩戴检测，具体包括：

将所述待识别图像输入至所述p1个第四卷积层和所述p2个第四池化层进行图像处理，得到q1个第四特征图，q1为正整数，并将所述q1个第四特征图转化为特征向量后输入至所述p3个第三全连接层进行计算，通过第三分类器对计算出的数据进行解析后得到第一分支的检测结果；以及，

将所述待识别图像输入至所述p4个第五卷积层和所述p5个第五池化层进行图像处理，得到q2个第五特征图，q2为正整数，并将所述q2个第五特征图转化为特征向量后输入至所述p6个第四全连接层进行计算，通过第四分类器对计算出的数据进行解析后得到第二分支的检测结果；

根据所述第一分支的检测结果、以及所述第二分支的检测结果，确定安全带佩戴检测结果。

进一步地，上述处理器1201执行的处理中，所述根据所述第一分支的检测结果、以及所述第二分支的检测结果，确定安全带佩戴检测结果，具体包括：

当所述第一分支的检测结果为所述待识别图像不具有车内人员或安全带的图像特征时，确定所述第一分支的检测结果为安全带佩戴检测结果；

当所述第一分支的检测结果为所述待识别图像具有车内人员以及安全带的图像特征时，确定所述第二分支的检测结果为安全带佩戴检测结果；

其中，所述第二分支的检测结果为所述待识别图像具有车内人员佩戴安全带的图像特征、或所述待识别图像具有车内人员未佩戴安全带的图像特征。

针对第二种可能的实施方式，上述处理器1201执行的处理中，基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型，包括：

从所述无效样本训练集和所述有效样本训练集依次选取第二预设数量的选定待识别图像样本分别输入至所述第一分支的图像处理单元和所述第二分支的图像处理单元并行进行图像处理，得到每个选定待识别图像样本对应的第一分支测试结果、以及第二分支测试结果；

通过比较每个选定待识别图像样本对应的第一分支测试结果与预设的该选定待识别图像样本的第三标准训练结果，确定所述第一分支测试结果的准确率，当所述第一分支测试结果的准确率小于第三预设值时，对所述第一分支的图像处理单元的模型参数进行调整，直至所述第一分支测试结果的准确率大于或等于所述第三预设值；以及

通过比较每个选定待识别图像样本对应的第二分支训练结果与预设的该选定待识别图像样本对应的第四标准训练结果，确定所述第二分支测试结果的准确率，当所述第二分支测试结果的准确率小于第四预设值时，对所述第二分支的图像处理单元的模型参数进行调整，直至所述第二分支测试结果的准确率大于或等于所述第四预设值。

在具体实施中，上述处理器1201执行的处理中，获取无效样本训练集和有效样本训练集，包括：

按照所述第一待识别图像样本、所述第二待识别图像样本、和所述第三待识别图像样本的不同比例，获取所述无效样本训练集和有效样本训练集；

基于所述无效样本训练集和所述有效样本训练集训练得到神经网络模型，包括：

分别基于每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练；

统计采用每种比例下的所述第一待识别图像样本、所述第二待识别图像样本和所述第三待识别图像样本进行神经网络模型训练时得到的训练结果的准确率；

将得到的训练结果的准确率最高的情况下采用的模型参数，作为所述神经网络模型的模型参数。

在具体实施中，上述处理器1201执行的处理还包括：

当所述安全带佩戴检测结果为所述待识别图像具有车内人员未佩戴安全带的图像特征时，向所述车内人员使用的客户端发送提示信息。

在具体实施中，上述处理器1201执行的处理中，获取无效样本训练集和有效样本训练集，具体包括：

将获取的所述第一待识别图像样本、所述第二待识别图像样本、以及所述第三待识别图像样本分别按照预设规则进行截取以及缩放后，得到所述无效样本训练集和所述有效样本训练集。

实施例十

本申请实施例十还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行安全带佩戴检测的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述安全带佩戴检测的方法，从而实现对车内人员的安全带的佩戴情况的准确检测。

本申请实施例所提供的安全带佩戴检测的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。