基于深度学习的主动式气囊拉带装置及其控制方法与流程

本发明属于车辆安全技术领域，具体涉及基于深度学习的主动式气囊拉带装置及其控制方法。

背景技术：

当前，我国校车的发展处于初级阶段，主要服务对象是小学生。随着国家对教育资源的重新整合，实行撤点并校，进一步提高了校车的潜在需求量。在当前不断增长的校车需求下，大量不符合相关法律法规的校车不断地涌入市场，导致近些年校车事故频发，对儿童乘员的安全性造成了巨大的潜在危险。据交通等相关部门的抽查发现，小学生在乘坐校车时，常存在未佩戴安全带的现象，同时，由于儿童乘员天性活泼好动，在乘坐校车时，经常出现“离位”现象，使得儿童乘员的伤亡率较高。

安全气囊是乘员约束系统中重要的乘员保护辅助装置，其配合安全带使用，能显著降低乘员死亡率。目前所使用的安全气囊主要是被动触发式的，其在触发的瞬间会产生巨大的冲击力，若将此安全气囊应用于校车，其巨大的冲击力将会对未完全发育的“离位”儿童乘员造成严重的伤害。

技术实现要素：

针对上述情况，本发明提供基于深度学习的主动式气囊拉带装置及其控制方法。

基于深度学习的主动式气囊拉带装置，包括：气囊回收装置、单向电机、电机支架、转速传感器、传动轴、挡板、卷筒、底座、摄像头、语音提示模块、主动式安全气囊、以及拉带模块。所述气囊回收装置安装在座椅靠背中，用于回收主动式气囊袋；所述拉带模块布置在气囊回收装置中；所述单向电机安装在电机支架上端，在拉带回收时，单向电机为卷筒提供动力；所述电机支架与底座相连，为单向电机提供支撑力；所述转速传感器安装在单向电机上，用于检测单向电机输出轴的旋转圈数；所述传动轴的两端分别与单向电机的输出轴和卷筒相连，用于将单向电机输出的转矩传递至卷筒，使得单相电机的输出轴与卷筒同步转动；所述挡板位于卷筒的中心位置，用于隔离卷筒的两端拉带，防止在拉带回收时，拉带发生缠绕现象；所述卷筒固定连接传动轴上，用于在安全气囊泄气时回收拉带；所述底座通过螺栓固定在气囊回收装置上；所述摄像头布置在车内，用于拍摄儿童乘员的坐姿，以采集儿童乘员坐姿图像；语音提示模块布置在座椅靠背内部，用于提醒儿童乘员佩戴安全带；所述主动式安全气囊能够收纳于气囊回收装置中，在校车发生碰撞时，为儿童乘员提供最佳防护。

上述基于深度学习的主动式气囊拉带装置的控制方法如下：

步骤1：在校车开始行驶时，各摄像头采集儿童乘员坐姿图像，将图像信息输入已训练好的yolo3网络中，输出分类为儿童乘员和安全带的包围框。

步骤2：判别yolo3网络是否输出儿童乘员和安全带的包围框，若没有检测到儿童乘员，则主动式安全气囊不启动，反之，则主动式安全气囊开始启动；若检测到儿童乘员未佩戴安全带，则发出预警信号，语音提示模块接收到预警信号后，进行语音提示，若检测到儿童乘员已佩戴安全带，则语音提示模块不工作。

步骤3：将yolo3网络输出的儿童乘员包围框，输入到姿态估计网络中，使用g-rmi算法得到关节点骨架图，将骨架图输入到分类器softmax中，得到人体坐姿图像对应的儿童乘员当前坐姿状态，进而确定出头部、颈部、胸部、髋部、大腿、小腿和前臂等的位置，以及儿童乘员相对于座椅对称面的横向偏移度，同时，对原始图像特征的提取，估算儿童乘员前胸与前排座椅的距离，并将数据传输至主动式安全气囊控制器(简称“acu”)。

步骤4：acu根据轮速传感器实时采集车速信息、步骤2中获得的儿童乘员安全带的佩戴信息和步骤3中获得的乘员的姿态信息，其包括头部、颈部、胸部、髋部、大腿、小腿和前臂的坐标信息，结合储存在acu中的主动式安全气囊包形信息进行匹配，得以匹配最优包形，以便为儿童乘员提供最佳防护。

步骤5：acu计算各个拉带的长度，以确定单向电机输出轴的旋转圈数，向拉带模块发送信号，通过控制拉带的长度，以达到acu计算得到的包形。

步骤6：在校车发生碰撞的过程中，acu根据摄像头c探测到的儿童乘员与主动式安全气囊的接触位置，实时向单向电机发送信号，通过控制各个拉带的长度，以控制主动式安全气囊的包形，极大地降低儿童乘员的损伤。

用于儿童乘员的姿态估计方法，具体包括：

针对于姿态估计，本发明采用自顶向下(top-down)的方式，即先使用目标检测方法对图像中的人物进行检测，并将包含人物的目标区域框出，然后对目标区域进行单人姿态估计。具体可分为三个阶段，第一阶段，将原始图像输入yolo3网络中，输出儿童乘员和安全带的包围框和类别，即使用矩形框框出包含儿童乘员和安全带的区域，将包含儿童乘员的区域进行截取，输入到下一阶段的网络；第二阶段，采用g-rmi方法对儿童乘员进行姿态估计，即采用基于全卷积网络的残差网resnet对第一阶段截取的目标区域的人物，进行预测密集热图denseheatmap和补偿offset，最后通过denseheatmap和offset的融合得到关键点的精确定位，从而得到儿童乘员的人体骨架图；第三阶段，将人体姿态估计网络输出的人体骨架图，输入分类器softmax中，得到当前儿童乘员的坐姿类别。

进一步，语音提示模块在语音提示三次后，停止播报。

进一步，在主动式安全气囊充气时，单向电机作为发电机，将充气时卷筒转动产生的动能转化为电能，储存至储能模块中。

进一步，在步骤5中，所述拉带模块的工作原理和过程为：在acu计算完成后，主动式安全气囊开始充气，在充气过程中，主动式安全气囊拉动拉带，从而拉带受力以带动卷筒转动，此时卷筒产生动能，单向电机将卷筒的动能转化为电能，储存至储能模块中；当转速传感器检测到单向电机输出轴的旋转圈数达到目标圈数后，acu向单向电机发送启动信号，单向电机开始启动，产生阻力距，使得卷筒停止转动；在拉带回收过程中，储能模块向单向电机提供电能，带动卷筒向回转动，以回收拉带。

本发明的有益效果：

1、在主动式气囊充气的过程中，将卷筒的动能转化为电能，储存至储能模块中，节能环保。

2、实时性、准确性高，本发明利用基于大数据分析的深度学习进行识别儿童乘员坐姿，提高数据的可靠性，以确保为不同坐姿的儿童乘员提供最佳保护。

3、拉带回收时，各拉带间不发生干涉，能够防止各拉带间发生缠绕现象。

附图说明

图1为拉带模块的结构示意图；

图2为拉带装置的总体安装示意图；

图3为基于深度学习的拉带装置的工作流程图；

图4为网络构造基本单元；

图中标号名称为：1、单向电机，2、电机支架，3、转速传感器，4、传动轴，5、挡板，6、卷筒，7、底座，8、座椅，9、主动式安全气囊，10、拉带，11、语音提示模块，12、气囊回收装置，13、拉带模块。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1和2所示，基于深度学习的主动式气囊拉带装置，包括气囊回收装置12、单向电机1、电机支架2、转速传感器3、传动轴4、挡板5、卷筒6、底座7、摄像头、语音提示模块11、主动式安全气囊9、以及拉带模块13、acu。所述气囊回收装置12安装在座椅8靠背中，用于回收主动式安全气囊9；所述拉带模块13布置在气囊回收装置12中；所述单向电机1安装在电机支架2上端，在拉带10回收时，单向电机1为卷筒6提供动力；所述电机支架2与底座7相连，为单向电机1提供支撑力；所述转速传感器3安装在单向电机1上，用于检测单向电机1输出轴的旋转圈数；所述传动轴4的两端分别与单向电机1的输出轴和卷筒6相连，用于将单向电机1输出的转矩传递至卷筒6，使得单相电机1的输出轴与卷筒6同步转动；所述挡板5位于卷筒6的中心位置，用于隔离卷筒6的两端拉带10，防止在拉带10回收时，拉带10发生缠绕现象；所述卷筒6固定连接传动轴4上，用于在安全气囊9泄气时，回收拉带10；所述底座7通过螺栓固定在气囊回收装置12上；所述摄像头布置在车内，用于拍摄儿童乘员的坐姿，以采集儿童乘员坐姿图像；语音提示模块11布置在座椅8靠背内部，用于提醒儿童乘员佩戴安全带；所述主动式安全气囊9能够收纳于气囊回收装置12中，在校车发生碰撞时，为儿童乘员提供最佳防护。

优选的，摄像头共3个，分别布置在前排座椅靠背上方(摄像头a)、儿童乘员的侧面(摄像头b)和儿童乘员的上方(摄像头c)，分别用于拍摄儿童乘员上半身、下半身和俯视图。

优选的，拉带模块可根据实际情况增加数量，从而增加拉带的根数，形成理想的气囊包形。

上述基于深度学习的主动式气囊拉带装置的控制方法如下：

步骤1：在校车开始行驶时，摄像头采集儿童乘员坐姿图像，将图像信息输入已训练好的yolo3网络中，输出分类为儿童乘员和安全带的包围框。

步骤2：判别yolo3网络是否输出儿童乘员和安全带的包围框，若没有检测到儿童乘员的包围框，则主动式安全气囊不启动，反之，则主动式安全气囊系统开始启动；若检测到儿童乘员未佩戴安全带，则发出预警信号，语音提示模块接收到预警信号后，进行语音提示，若检测到儿童乘员已佩戴安全带，则语音提示模块不工作。

步骤3：将yolo3网络输出的儿童乘员包围框，输入姿态估计的网络中，使用g-rmi算法得到关节点骨架图，将骨架图输入到分类器softmax中，得到人体坐姿图像对应的儿童乘员当前坐姿状态，进而确定出头部、颈部、胸部、髋部、大腿、小腿和前臂等的空间位置，以及儿童乘员相对于座椅对称面的横向偏移度，同时，对原始图像特征的提取，估算儿童乘员前胸与前排座椅的距离，并将数据传输至acu。

步骤4：acu根据轮速传感器实时采集车速信息、步骤2中获得的儿童乘员安全带的佩戴信息和步骤3中获得的乘员的姿态信息，其包括头部、颈部、胸部、髋部、大腿、小腿和前臂等坐标信息，结合储存在acu中的主动式安全气囊包形进行匹配，得以匹配最优包形，以便为儿童乘员提供最佳防护。

步骤5：acu计算各个拉带的长度，以确定单向电机输出轴的旋转圈数，向拉带模块发送信号，通过控制各个拉带的长度，以达到acu计算得到的包形。

步骤6：在校车发生碰撞的过程中，acu根据摄像头c探测到的儿童乘员与主动式安全气囊的接触位置，实时向单向电机发送信号，以控制各拉带的长度，从而改变主动式安全气囊的包形，极大地降低儿童乘员的损伤。

用于儿童乘员的姿态估计方法，具体包括：

针对于姿态估计，本发明采用自顶向下(top-down)的方式，即先使用目标检测方法对图像中的人物进行检测，并将包含人物的目标区域框出，然后对目标区域进行单人姿态估计。具体可分为两个阶段，第一阶段，将原始图像输入yolo3网络中，输出儿童乘员和安全带的包围框和类别，即使用矩形框框出包含儿童乘员和安全带的区域，将包含儿童乘员的区域进行截取，输入到下一阶段的网络；第二阶段，采用g-rmi方法对儿童乘员进行姿态估计，即采用基于全卷积网络的残差网resnet对第一阶段截取的目标区域的人物，进行预测密集热图denseheatmap和补偿offset，最后通过denseheatmap和offset的融合得到关键点的精确定位，从而得到儿童乘员的人体骨架图；第三阶段，将人体姿态估计网络输出的人体骨架图，输入分类器softmax中，得到当前儿童乘员的坐姿类别。

在第一阶段中，所述yolo3网络使用了最新目标算法yolov3，采用yolov3的darknet-53网络结构。本发明所使用的darknet53网络前52个cbl层,存在有23个残差层结构,设计了3个不同尺度的特征图输出,并且通过上采样将3个不同分辨率的特征图进行了融合；通过聚类先验框尺寸,对每个尺度的输出给定3个先验框，提高了小物体的检测效果，对于儿童乘员和安全带的检测具有较好的鲁棒性。

其中cbl层集合了卷积操作、batchnormal操作和leakyrelu激活操作的网络层，如图4(a)所示，conv2d表示卷积操作，卷积核数量为a，大小为b×b；bn表示批标准化操作；leakyrelu是激活函数，公式如下：

其中，ai是(1，+∞)区间内的固定参数；残差层结构如图4(b)所述。

在将原始图像输入到darknet-53网络之前，将其归一化为符合darknet-53输入的尺寸，图像归一化处理公式为：

其中：xi表示图像像素点值，min(x)，max(x)分别表示图像像素的最大值和最小值。

在经过darknet-5网络后，输出儿童乘员与安全带的包围框和标签，即在原始图像上使用矩形框表示包含儿童乘员和安全带的区域，在判别是否存在儿童乘员和安全带的包围框后，将包含儿童乘员矩形框的图像输入姿态估计网络中。

姿态估计采用g-rmi方法，具体为：

(1)对矩形框框出的预测区域进行裁剪，并对矩形框的高度或宽度进行扩展，使得所用图像的矩形框具有相同的长宽比i(1.0～1.5)，保证提取的图像不发生扭曲。例如：从矩形框中裁剪图像的高度设置为353pixels，宽度设置为257pixels，则设置长宽比为353/257＝1.37；

(2)采用基于全卷积网络的残差网络resnet(共101层)，并使用1*1的卷积层替换它的最后一层，生成3*k个输出通道的热图denseheatmap(每个关键点一个通道)和补偿offset(每个关键点两个通道，x和y)，k＝17为关键点数量；生成热图denseheatmap和补偿offset后，将两者结合生成高度局部化激活图fk(xi)：

fk(xi)＝lk-xi

其中，g(·)为双线性插值核，这是霍夫投票的形式：图像裁剪网格中的每一个点j投下一张投票，并对每一个关键点的位置进行估计，投票由它在相应关键点的影像盘中的概率加权得到；hk为热图的输出通道，lk为第k个关键点的位置，x为每个点的位置，r为关键点的圆盘半径。

(3)将热图denseheatmap和补偿offset通过上述公式进行融合后，可精确地确定关节点的位置，进而得到儿童乘员的骨架图。

基于本发明的背景，需要构建一个具有4000张图片的数据集来训练姿态估计网络，包括：

s1：在校车不同的行驶速度下，使用摄像头从不同的角度对x名儿童乘员的日常坐姿进行采集，每隔时间t拍摄儿童乘员的坐姿，对每一名儿童拍摄p张，总计获得p*x张姿态图片，采用镜像、随机翻转和随机裁剪对采集的图片进行样本量扩充，保证建立的数据库包含的图片超过4000张，同时，对这些图片进行标注，标注信息包含儿童乘员坐姿的关节点坐标和坐姿类别；x＞20。

s2：将yolo3输出的矩形框进行裁剪，提取出包含儿童乘员的区域，并将其按照一定的长宽比进行扩展，使得提取图像不发生扭曲。

s3：随机抽取儿童乘员姿态数据库中的75％作为训练集，剩余的25％作为测试集。

s4：将训练集作为输入数据，输入到姿态估计网络中，计算相应的损失函数，其中相应的损失函数为lh(θ)和lo(θ)，分别表示产生的热图(denseheatmap)损失和补偿(offset)损失，根据两者的损失函数得到最终损失函数：

l(θ)＝λhlh(θ)+λolo(θ)

其中，λh＝4，λo＝1。然后，采用随机梯度下降法来不断更新参数。

s5：将此模型在验证集上进行训练，通过不断的更新调整，最终得到最优的姿态估计模型。

进一步，本发明需训练一个分类器softmax，用于骨架图的分类。将得到的骨架图及其分类作为分类器的输入，通过反向传播算法不断的训练分类器，根据传递误差信号来更新梯度，寻找最优值，并在验证集上不断调整参数，最终得到具有较好鲁棒性的分类器。

进一步，softmax分类器分类得到的儿童坐姿包括：佩戴安全带或未佩戴安全带儿童乘员的正常坐姿、低头状态、仰躺状态、站立状态、侧身聊天状态等。

进一步，语音提示模块在语音提示三次后，停止播报。

进一步，在主动式安全气囊充气时，单向电机作为发电机，将充气时，卷筒转动产生的动能转化为电能，储存至储能模块中。

进一步，在步骤5中，所述拉带模块的工作原理和过程为：在acu计算完成后，主动式安全气囊9开始充气，在充气过程中，主动式安全气囊9拉动拉带10，从而拉带10受力以带动卷筒6转动，此时卷筒6产生动能，单向电机1将卷筒6的动能转化为电能，储存至储能模块中；当转速传感器检测到单向电机1输出轴的旋转圈数达到目标圈数后，acu向单向电机1发送启动信号，单向电机1开始启动，产生阻力距，使得卷筒6停止转动；在拉带10回收过程中，储能模块向单向电机1提供电能，带动卷筒6向回转动，以回收拉带10。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。