本发明涉及电梯异响和告警音检测，特别是一种基于深度学习的电梯异响和告警音检测方法及系统。
背景技术：
1、电梯作为现代高层建筑不可或缺的垂直交通工具，给人们的生活提供极大便利，然而电梯的频繁使用可能出现各种异常故障导致电梯事故，威胁乘客的生命安全。其中，由于设备问题、机械振动、门故障等原因可能产生异响，有时还会触发电梯报警系统产生告警音。电梯产生异响或告警音表明电梯可能存在故障，需要维保检修，在没有监测技术时，只能依靠人工定期巡检，效率极低，很难及时发现并处理问题。而通过监测技术自动监测电梯异响和告警音，可以及时告知电梯维保部门检修电梯，消除安全隐患。但是电梯运行环境复杂，存在许多干扰声音，如机械噪声、环境噪声、电子设备声等。此外，电梯异响和告警音的类型多样且可能和正常运行声音相似，难以分辨。
2、传统监测技术需要额外安装硬件设备进行专用检测，如专利cn208907833u公开一种方法，通过安装包含声音传感器的检测装置针对电梯反绳轮做异响检测，这种方法只针对局部零部件检测，具有局限性，且依赖硬件设备，成本高昂。目前较为便捷的监测技术可以从监控设备获取音频信号，进一步提取音频特征进行检测。如专利cn112193959a公开了一种电梯异响检测方法及系统，采集电梯监控的音频数据，提取并选择音频特征，再根据检测模型识别是否发生异响。尽管该方法降低了对硬件设备的要求，但采用了多种特征选择算法和多种检测模型的融合导致算法流程繁琐，并且只能识别电梯异响，无法用于检测告警音。专利cn112960506a公开了一种基于音频特征的电梯告警音检测系统，采集电梯监控音频数据后构造了第一音频特征和第二音频特征，第一音频特征检测模型采用图像分类模型vggnet，第二音频特征检测模型为深度神经网络模型。该方法融合了两个检测模型，对告警音有较好的识别效果，但仍然比较繁琐，需要做两类特征提取及模型融合，且无法适用于电梯异响的监测。
技术实现思路
1、本发明所提出的方法通过直接采集电梯监控中的音频信号，对音频做简单预处理后，直接输入集成了特征提取的深度学习检测模型做检测。模型可以实现对电梯异响、告警音和正常情况的分类检测，进一步可根据检测概率是否超过设定检测阈值判断是否上报监测平台从而实现整个流程。解决了现有技术对电梯异响和告警音检测繁琐且无法同时检测电梯异响和告警音的问题。
2、本发明提供如下技术方案：一种基于深度学习的电梯异响和告警音检测方法，包括如下步骤：
3、s1、采集加速度数据，判断加速度是否超过设定的加速度阈值以判断当前电梯是否存在异常振动；
4、s2、采集对应异常振动开始时间前i秒后j秒，共i+j秒的监控视频数据；
5、s3、从监控视频数据中获取音频信号；
6、s4、对音频信号进行数据预处理；
7、s5、将预处理后的音频信号输入检测模型；检测模型输出检测的音频类型及对应的检测概率；音频类型包括：电梯异响、告警音或正常；
8、s6、分别判断电梯异响或告警音的检测概率是否超过所设定的检测概率的阈值，若超过检测概率的阈值，则将音频类型及对应的检测概率和对应的电梯编号、检测时间实时上报监测平台。
9、进一步地，数据预处理的步骤如下：
10、去除异常音频数据，指由于采集设备的问题导致的音频提取失败得到的全为0的异常数据；
11、1）使用平均混合方法将双声道音频转换成单声道音频；平均混合方法指将每一个采样点的左声道音频和右声道音频取平均值作为转换后的单声道音频；
12、2）判断单声道音频的采样频率是否为所设置的采样频率fs；若不是，则进行重采样，得到采样频率为fs的音频信号，若是，则不做任何操作；
13、3）应用滑动窗口分割音频信号，窗口时长为w，步长为s，末尾时长不足滑动窗口时长的填充0，最终得到一批等时长的子音频片段；
14、单个子音频片段，指一段音频经过数据预处理后得到的一批固定时长音频子片段中的其中一段。
15、经过数据预处理后的数据维度为(n,fs×w)，其中n为子音频片段的数量，n根据以下公式计算得到：n=ceil((t-w)/s)+1，t为原始音频时长，w为窗口时长，s为窗口步长，ceil()表示取大于等于括号内的数字的最小整数。
16、进一步地，检测模型通过在自制的电梯音频数据集上对开源的音频分类模型进行模型训练得到；
17、所述的自制电梯音频数据集来源于不同电梯场景下的已标注电梯异响、告警音和正常的音频数据；
18、所述的模型训练是指是在开源的音频分类模型的基础上，采用自制电梯音频数据集修改网络结构和进行额外的训练，模型的初始参数来自于开源的音频分类模型；
19、模型训练后对模型做性能测试，当模型测试精度满足实际使用需求时，可用于模型部署，否则需要进行模型结构和参数优化后重新训练模型，直到满足实际使用需求；
20、所述实际使用需求指模型在测试集上的检测准确率达到90%以上。
21、进一步地，检测模型采用神经网络模型网络，包括对数梅尔频谱特征提取模块、6个卷积模块和1个全连接层。
22、进一步地，对数梅尔频谱特征提取模块：将短时傅里叶变换应用于音频信号的时域波形，以计算时频谱图；然后经过梅尔滤波器组得到对数梅尔频谱特征；短时傅里叶变换的窗函数选取汉明窗，窗口长度为n_windows个采样点，窗口步长为step，梅尔滤波器组的个数为n_mels；输入形状为（fs×w,）的单个子音频信号经过对数梅尔频谱特征提取模块后形状变为(ceil(fs×w/step),n_mels,1)，ceil()表示取大于等于括号内的数字的最小整数；
23、第一卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n1；在每个卷积层之间使用批归一化，激活函数使用relu，随后应用大小为2×2的平均池化层进行下采样；将维度为(ceil(fs×w/step),n_mels,1)的特征转化为维度为(floor(fs×w/(2×step)),n_mels/2,n1)的特征；floor(x)函数表示向下取整，即不大于x的最大整数；
24、第二卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n2；在每个卷积层之间使用批归一化，激活函数使用relu，随后应用大小为2×2的平均池化层进行下采样；将维度为(floor(fs×w/(2×step)),n_mels/2,n1)的特征转化为维度为(floor(fs×w/(4×step)),(n_mels)/4,n2)的特征；
25、第三卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n3；在每个卷积层之间使用批归一化，激活函数使用relu，随后应用大小为2×2的平均池化层进行下采样；维度为(floor(fs×w/(4×step)),n_mels/4,n2)的特征转化为维度为(floor(fs×w/(8×step)),n_mels/8,n3)的特征；
26、第四卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n4；在每个卷积层之间使用批归一化，激活函数使用relu，随后应用大小为2×2的平均池化层进行下采样；将维度为(floor(fs×w/(8×step)),n_mels/8,n3)的特征转化为维度为(floor(fs×w/(16×step)),n_mels/16,n4)的特征；
27、第五卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n5，在每个卷积层之间使用批归一化，激活函数使用relu，随后应用大小为2×2的平均池化层进行下采样；将维度为(floor(fs×w/(16×step)),n_mels/16,n4)的特征转化为维度为(floor(fs×w/(32×step)),n_mels/32,n5)的特征；
28、第六卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n6；在每个卷积层之间使用批归一化，激活函数使用relu，随后应用全局池化下采样及降维处理；将维度为(floor(fs×w/(32×step)),n_mels/32,n6)的特征转化为维度为(n6,)的1维特征；
29、全连接层两个子层，第一个子层共n6个节点，激活函数为relu，第二个子层共3个节点，经过softmax函数映射得到每种类别的概率值；维度为(n6,)的1维特征经过全连接层后得到一个3维向量输出out=[p1,p2,p3]t，t表示转置；p1、p2、p3分别对应电梯异响、告警音和正常的检测概率。
30、一种基于深度学习的电梯异响和告警音检测系统，包括：
31、第一采集模块，用于获取加速度数据；
32、第一判断模块，用于判断加速度是否超过设定的加速度阈值以判断当前电梯是否存在异常振动；
33、第二采集模块，用于采集对应异常振动开始时间前i秒后j秒，共i+j秒的监控视频数据；
34、获取模块，用于从监控视频数据中获取音频信号；
35、第一处理模块，用于对所述音频信号进行数据预处理；
36、计算模块，用于将预处理后的音频信号输入检测模型，检测模型输出检测的音频类型及对应的检测概率；音频类型包括：电梯异响、告警音或正常；
37、第二判断模块，用于分别判断电梯异响或告警音的检测概率是否超过所设定的检测概率的阈值，若超过检测概率的阈值，则将音频类型及对应的检测概率和对应的电梯编号、检测时间实时上报监测平台。
38、一种电子设备，包括：
39、一个或多个处理器；
40、存储器，用于存储一个或多个程序；
41、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的方法。
42、一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一项所述方法的步骤。
43、本发明的有益效果在于：
44、（1）通过采集加速度数据和监控视频判断电梯异响和告警音，无需额外硬件设备，节约成本。
45、（2）检测模型采用深度学习方法，基于自制的电梯音频数据集在开源预训练音频分类模型基础上做模型训练得到，具有较强的泛化性能和鲁棒性，适用于各种复杂的电梯场景，对电梯异响和告警音都适用，检测方法快速、准确。