一种客舱紧急出口乘务员安全介绍规范检测方法和装置

本发明属于音频和人体姿态识别，尤其涉及一种客舱紧急出口乘务员安全介绍规范检测方法和装置。

背景技术：

1、民航飞机客舱紧急出口会因乘客在存在知识盲区失手打开紧急出口，会扰乱飞行秩序、危害飞行安全，而乘务员对的安全介绍不规范可能导致紧急出口座位乘客对须知内容不清晰，依旧出现安全隐患。

2、但随着深度学习、机器视觉、音频和图像处理、句法模式识别等技术的不断向前进步，基于紧急出口规则，利用这些关键技术可以推断乘务员对紧急出口座位乘客安全介绍的规范性，能够最终解决上述问题。

技术实现思路

1、为了解决现有技术中存在的上述技术问题，本发明提出了一种客舱紧急出口乘务员安全介绍规范检测方法和装置，其具体技术方案如下：

2、一种客舱紧急出口乘务员安全介绍规范检测方法，包括以下步骤：

3、步骤1：根据乘务员规范手册，确定紧急出口处乘务员对乘客的安全介绍的行为规范具体规则及标准安全介绍术语，将带音频传感器的高清监控摄像头安装在紧急出口中间的机顶处，实时采集在旅客登机后、起飞前的音视频数据；

4、步骤2：分别对采集的音视频数据进行预处理，形成在飞机紧急出口处乘务员对乘客安全介绍的音频和视频的数据集；

5、步骤3：将多次在飞机紧急出口处采集的音频数据集进行训练，得到满足识别率要求的安全介绍语音关键词检测算法；

6、步骤4：对采集的视频数据集采用1s抽一帧的方法均匀采样，得到共t帧图片，使用图片数据进行训练，得到满足识别率要求的紧急出口处乘务员和乘客的人体识别和姿态检测算法；

7、步骤5，利用步骤3的安全介绍语音关键词检测算法和步骤4的人体识别和姿态检测算法，在飞机客舱内紧急出口处识别音频文本信息，检测乘务员和乘客的姿态信息；

8、步骤6：基于紧急出口处规则，对步骤5的识别与检测结果，采用句法模型中的上下文有关文法推断乘务员安全介绍及引导全部流程是否符合规范。

9、进一步的，所述步骤2具体为：把视频数据集分为有无安全介绍的视频类别，并对视频类别数据进行清洗和标注，形成乘务员对乘客安全介绍视频的训练、验证与测试数据集；将标准安全介绍术语通过语言模型处理，生成安全介绍关键词参考模板后，对收集到的音频数据进行清洗和标注，形成乘务员安全介绍语音的训练、验证与测试数据集。

10、进一步的，所述步骤3，具体包括以下子步骤：

11、步骤3.1：对于紧急出口处的音频数据，提取mfcc特征参数：首先将音频信号进行预处理，其中包括预加重、加窗、分帧步骤；然后对每一帧信号进行fft变换，使用数据由时域转化为频域，并计算谱线能量，把求出的每帧谱线能量谱通过mel滤波器后计算在该mel滤波器中的能量，计算公式如下：，0≤m≤m，其中i表示第i帧，k表示频域中的第k条谱线；最后把mel滤波器中的能量取对数后计算dct，即可求得mfcc特征参数，表达式为：，其中n是dct后的谱线；

12、步骤3.2：使用声学模型与发音字典处理mfcc特征参数，将公开的中文语音训练数据库转化为语谱图来提取特征，使用声调和韵母组成的1427种拼音作为声学模型的建模单元；对音频信号所对应的拼音序列进行处理，生成拼音的索引序列，然后把语谱图和拼音的索引序列作为输入数据，训练声学模型；

13、步骤3.3：在解码过程中，由声学模型处理mfcc特征参数，生成拼音索引序列，在发音字典中查找得出对应的拼音序列后，输出识别的文本；

14、步骤3.4：在识别出的文本中，当判断含有广播播报的乘客须知内容时，开始传达紧急出口处视频检测的指令；

15、步骤3.5：设定术语关键词匹配的阈值，将紧急出口处音频识别出的文本与安全介绍关键词参考模板进行匹配。

16、进一步的，所述步骤4，具体包括以下子步骤：

17、步骤4.1：通过在飞机的紧急出口处区域监控收集的视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集；将采集的视频数据集按照采用1s抽一帧的方法得到t帧数据 i=[]，对乘务员与乘客进行目标框和乘务员属性特征与骨架的数据标注；

18、步骤4.2：设计乘务员与乘客识别及姿态检测网络；

19、步骤4.3：标注好乘务员的制服、发型、胸章、领巾及乘务员与乘客的人体框、骨架的训练数据，输入至乘务员与乘客识别和姿态检测网络中训练，并进行测试，得到满足识别率的紧急出口处乘务员和乘客的人体识别和姿态检测算法；

20、步骤4.4：当语音识别出广播播报的乘客须知内容时，开始紧急出口处乘务员和乘客的姿态检测算法的检测。

21、进一步的，所述步骤4.2，具体包括以下子步骤：

22、步骤4.2.1：通过均匀采样得到的t帧视频帧，将视频帧裁剪为分辨率大小为224×224的图片，向前并行传输到乘务员与乘客识别及姿态检测网络；

23、步骤4.2.2：乘务员与乘客识别网络中，采用faster-rcnn算法，t帧图片经过cnn网络提取乘务员的制服、发型、胸章、领巾的属性特征，生成1616的特征图；在rpn结构中，用3×3的大小窗口去扫描图像得到候选框，特征图与候选框输入roi池化层后，在全连接层中由softmax对图片中的人体分类，由边界框回归生成带有乘务员和乘客标识的检测框，再利用沙漏网络共享的多尺度特征对输入图像上的人边界框进行回归，融合这两个特征源来可以更好预测人的边界框；识别出乘务员和乘客后，将视频区域沿走道中线划分成左右两区域，计算乘务员在左右区域停留的时长；

24、步骤4.2.3：在姿态检测网络中，首先需区分乘务员与乘客，将人体识别网络中得到的边界框回归参数与t帧图片共同输入到沙漏网络中，所生成的人体关键点热图被表示为一个三阶张量(w×h× m *)， m *是热图的总数，即人体的关键点，每个关键点生成一个热图，w、h分别为热图的宽和高；共提取16个关键点，所述16个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝，每帧图片中的每个个体得到17张关键点热图，二维姿态大小表示为17×56×56，提取每帧图片的关键点热图 m； m的计算公式为：，）表示像素点坐标，表示k关键点的坐标；表示置信度；在解卷积过程中加入多尺度监督，分别以1/8，1/4，1/2的比例缩小，并且分别放大8、4、2倍后与解卷积的输出拼接，得到人体姿态检测输出，检测出乘务员与乘客的姿态后，进一步检测乘务员手臂骨架与身体骨架的夹角及身体骨架倾斜角度。

25、进一步的，所述步骤5，具体包括以下子步骤：

26、步骤5.1：通过步骤3的安全介绍语音关键词检测算法，实时输出识别文本，若识别到客舱广播播报的乘客须知内容文本信息，则开始紧急出口处乘务员和乘客的人体识别和姿态检测算法检测；

27、步骤5.2：紧急出口处乘务员和乘客的人体识别和姿态检测算法sotfmax层输出视频内容是否属于乘务员对乘客安全介绍的类别，设置置信度阈值为，若输出softmax值小于阈值，则输出视频无乘务员对乘客安全介绍内容；若输出softmax值大于阈值，则用句法推断乘务员对乘客的安全介绍内容是否全部符合规范。

28、进一步的，所述步骤6，具体包括以下子步骤：

29、步骤6.1：紧急出口处有以下规则：（1）两边紧急出口位置必须有乘客就坐；（2）乘务员需在规定位置进行安全介绍；（3）乘务员安全介绍时身体有一定倾斜角度，手臂有抬起动作；（4）对左右区域紧急出口位置的乘客一人次一介绍；（5）乘务员安全介绍语音内容需符合规范；设计满足以上紧急出口规则对应的方法：（1）两边紧急出口位置需检测到乘客就坐；（2）紧急出口区域需检测到乘务员；（3）检测乘务员安全介绍过程中需有t1时间的身体骨架整体倾斜角度大于α，t2时间的手臂和身体的夹角大于β；（4）检测乘务员在左、右区域停留时常分别大于t3时间；（5）乘务员语音的关键词与模板的匹配率需大于阈值；

30、步骤6.2：设乘务员安全介绍全部流程为文法g，g=｛vn，vt，p，s｝,其中vn是非终止符,用大写字母表示，vn=｛a，b，c，d，e，f,g｝,其中a表示开始推断乘务员安全介绍与引导的动作是否规范；b表示开始推断乘务员安全介绍语音是否规范；c表示紧急出口位置有乘客就坐；d表示紧急出口处有乘务员；e表示乘务员手乘务员安全介绍过程中有t1时间的身体骨架整体倾斜角度大于α，t2时间的手臂和身体的夹角大于β，乘务员姿势规范；f表示乘务员在左、右区域停留时常分别大于t3时间，符合一人一介绍规则；g表示乘务员语音的关键词与模板的匹配率需大于阈值，乘务员语音介绍规范；vt是终止符，vt=｛c,d,e,f,g,t｝，其中c表示紧急出口位置没有乘客就坐；d表示乘务员位置异常；e表示乘务员姿势不规范；f表示乘务员的安全介绍不符合一人一介绍规则；g表示乘务员语音介绍不规范；t表示以上句法全部符合规则，乘务员对乘客安全介绍的全部流程规范；除t外，其余终止符均输出“xx不规范”；p是句法的产生式；s为起始符，表示句法推断的开始；

31、步骤6.3：开始进入句法推断流程，在乘务员安全介绍与引导的动作规范推断流程中，总共有5个产生式，p=｛sac，sacd，sacde，sacdef，sacdef｝；其中，1表示继续向前推断，0表示后面出现终止符，则产生式sac：s→sa→sac，表示为紧急出口位置无乘客就坐，输出紧急出口位置无乘客就坐警报；产生式sacd：s→sa→sac→sacd，表示乘务员位置异常，输出乘务员位置异常警报；产生式sacde：s→sa→sac→sacd→sacde，表示乘务员姿势不符合规范，输出乘务员姿势异常警报；产生式sacdef：s→sa→sac→sacd→sacde→sacdef，表示乘务员安全介绍不符合一人次介绍规则，输出乘务员不符合一人次一介绍规则警报；产生式sacdef：s→sa→sac→sacd→sacde→sacdef，表示乘务员对乘客安全介绍的人体及动作全部规范；

32、步骤6.4：在乘务员安全介绍语音规范推断流程中，总共有2个产生式，p=｛sbg，sbg｝；产生式sbg：s→sb→sbg，表示为乘务员语音介绍不规范，输出乘务员语音介绍不规范警报；产生式sbg：s→sb→sbg，表示乘务员语音介绍规范；

33、步骤6.5：完成乘务员安全介绍与引导的动作规范和语音规范推推断流程后，若同时符合规范时，产生式为p=｛sabcdeft｝；产生式sabcdeft：s→sa→sab→sabc→sabcd→sabcde→sabcdef→sabcdeft，表示紧急出口乘务员安全介绍流程全部规范。

34、一种客舱紧急出口乘务员安全介绍规范检测装置，包括一个或多个处理器，用于实现所述的一种客舱紧急出口乘务员安全介绍规范检测方法。

35、一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的一种客舱紧急出口乘务员安全介绍规范检测方法。

36、有益效果：

37、本方法能够在飞机客舱内检验乘务员安全引导是否规范，降低了因乘客存在知识盲区失手导致紧急出口打开而造成损失及航班延误，在必要时的规范操作可以提高机内人员生还率，为飞机安全工作提供了有力支持。