本发明涉及电梯安全监测，更具体地说，它涉及一种基于视觉与多模态数据融合的电梯安全检测系统。
背景技术：
1、随着城市化进程的加速和超高层建筑的大量涌现，电梯作为垂直交通的核心设备，其安全性和可靠性日益受到关注。超高层建筑电梯系统面临着运行速度快、负载变化频繁、工况切换剧烈等复杂运行环境，传统的电梯安全检测方法在应对这些挑战时存在明显不足。
2、现有的电梯安全检测技术主要依赖单一传感器或固定的数据融合策略。基于单一传感器的检测方法只能获取电梯运行状态的局部信息，难以全面反映电梯的安全状况，容易出现漏检和误报。例如，仅依靠振动传感器无法识别轿厢内的异常情况，仅依靠视觉监控无法检测机械系统的内部故障。固定融合策略的方法虽然整合了多种传感器数据，但未能考虑不同工况和环境条件下各传感器数据质量的动态变化，导致融合结果的可靠性不足。
3、此外，现有技术在处理极端负载切换工况时存在明显缺陷。电梯在空载、半载、满载之间快速切换以及加速、匀速、减速等运行状态剧烈变化时，机械部件受力状态复杂多变，容易产生持续时间短但包含重要故障信息的瞬态异常信号。传统的稳态监测方法难以有效捕捉这些瞬态信号，导致早期故障征兆被遗漏。同时，现有技术在故障样本获取方面也面临困难，罕见故障类型的样本数量稀少，导致故障识别模型对这些罕见但危害严重的故障类型识别能力不足。
4、因此，急需一种能够适应超高层建筑电梯复杂运行环境、整合多模态数据、自适应调整融合策略、有效捕捉瞬态异常信号、准确识别各类故障的智能检测系统，以提升电梯安全监测的全面性、准确性和预见性。
技术实现思路
1、本发明提供一种基于视觉与多模态数据融合的电梯安全检测系统，解决相关技术中难以适应超高层建筑电梯在极端负载切换工况下的高动态变化复杂场景，容易遗漏瞬态异常信号和渐进性故障征兆的技术问题。
2、本发明提供了一种基于视觉与多模态数据融合的电梯安全检测系统，包括：
3、数据预处理模块，采集电梯运行的原始多模态传感器数据并进行预处理，得到多模态预处理数据集；
4、特征提取模块，基于多模态预处理数据集进行运行工况识别，针对不同工况提取多尺度特征，得到多模态特征库和工况识别序列；
5、多模态融合模块，计算多模态特征库中各模态的可靠性系数并进行自适应融合，得到电梯安全状态判断结果；
6、异常检测模块，基于多模态预处理数据集和工况识别序列，提取工况切换的瞬态特征并进行异常判断，挖掘异常演化趋势，得到渐进性故障识别结果；
7、样本增强模块，从多模态特征库中提取正常样本和罕见故障样本，结合电梯安全状态判断结果生成合成样本并进行质量筛选，得到增强训练数据集；
8、模型构建模块，基于增强训练数据集训练多层次故障识别器，融合多模态特征库进行优化学习，得到故障识别模型；
9、智能预警模块，基于安全状态判断结果、渐进性故障识别结果和故障识别模型，计算安全等级并推理故障原因和处置措施，得到分级预警信息和维护建议。
10、在一个优选实施方式中，所述数据预处理模块包括：
11、安装摄像头采集视觉图像序列，安装加速度传感器采集振动信号，布置麦克风阵列采集声音信号，通过电梯控制系统数据接口获取运行参数数据；
12、部署时钟同步模块，采用网络时间协议进行时钟同步，无法直接获取统一时间戳的传感器通过硬件触发信号进行时间对齐；
13、针对不同采样频率的传感器数据进行重采样，对于采样频率低于统一时间分辨率的数据采用插值方法进行上采样，对于采样频率高于统一时间分辨率的数据采用滑动窗口平均方法进行下采样；
14、对视觉图像数据进行光照归一化处理，对振动信号数据去除低频漂移和高频噪声，对声音信号数据进行预加重处理并进行分帧处理，对运行参数数据去除突变噪声并填补缺失值。
15、在一个优选实施方式中，所述特征提取模块包括：
16、采用多层级工况识别策略，第一层级基于速度和加速度进行粗粒度分类，第二层级基于时间窗口内的速度变化趋势进行中粒度分类，第三层级基于时间窗口内的轿厢负载参数进行细粒度分类；将电梯运行状态划分为空载加速、空载匀速、空载减速、半载加速、半载匀速、半载减速、满载加速、满载匀速、满载减速九种工况；
17、针对视觉图像序列，采用多分支卷积神经网络提取多尺度空间特征，采用双向长短期记忆网络提取时序特征；
18、针对振动信号，采用小波包分解提取多频段特征，采用经验模态分解提取本征模态函数并计算瞬时频率和瞬时幅值的统计特征；
19、针对声音信号，提取梅尔频率倒谱系数及差分特征，计算短时能量、过零率和谱熵。
20、在一个优选实施方式中，所述多模态融合模块包括：
21、针对视觉、振动、声音三种模态分别构建深度神经网络异常检测器，输出安全状态的概率分布作为基本概率分配函数；
22、计算各模态数据的质量评估指标和历史准确率，通过加权求和计算各模态的可靠性系数；
23、采用可靠性系数对基本概率分配函数进行折扣操作；
24、采用改进的dempster组合规则进行证据合成，当冲突系数超过预设冲突阈值时对异常证据源进行二次折扣后重新进行证据组合。
25、在一个优选实施方式中，所述异常检测模块包括：
26、根据工况切换前后的数据，计算振动信号的峰值变化率、频谱重心漂移量和能量突变指数，计算声音信号的响度变化梯度，组织成瞬态特征向量；
27、采用高斯混合模型对每种工况转换类型的瞬态特征进行概率分布建模，构建工况转换正常模式库；
28、将瞬态特征向量输入对应模型计算对数似然概率，当低于异常判断阈值时判定为瞬态异常；
29、建立异常信号时序关联数据库，采用时序模式挖掘算法分析异常演化趋势，识别渐进性故障和急性故障。
30、在一个优选实施方式中，所述样本增强模块包括：
31、构建条件生成对抗网络，生成器以随机噪声向量、故障类型编码和工况类型编码作为输入，输出故障样本特征向量，判别器输出真伪判断；
32、在生成器输出层后添加物理约束层，对生成的特征值进行范围约束和逻辑约束；
33、对于罕见故障类型在不同工况下生成合成样本，基于特征相似度进行质量筛选，保留相似度高于预设质量阈值的合成样本，采用聚类方法选择代表性样本。
34、在一个优选实施方式中，所述模型构建模块包括：
35、针对视觉、振动、声音三种模态分别构建模态专用识别器，训练采用焦点损失函数和类别平衡采样策略；
36、构建模态融合识别器，将各模态专用识别器的输出概率向量拼接后采用多层感知器进行特征融合和分类；
37、构建集成决策器，采用梯度提升决策树算法，将模态融合识别器的输出和原始多模态特征作为输入进行优化；
38、对模型进行量化压缩后部署到边缘计算设备。
39、在一个优选实施方式中，所述智能预警模块包括：
40、建立电梯安全知识图谱；基于模糊综合评价方法建立多层次安全状态评估模型，计算综合评分并划分安全等级；
41、对于检测识别出的异常和故障，在知识图谱中进行推理查询，获取故障原因和处置措施；
42、根据安全等级生成分级预警策略并联动电梯控制系统启动保护措施。
43、在一个优选实施方式中，所述智能预警模块还包括：
44、为每台电梯建立健康状态档案，记录全生命周期数据；
45、基于健康档案数据采用退化模型预测部件的剩余使用寿命，采用威布尔分布模型描述部件失效时间分布，采用贝叶斯更新方法修正分布参数，计算部件发生故障的概率和性能退化到失效阈值的期望时间；
46、根据剩余使用寿命预测结果生成预测性维护计划。
47、在一个优选实施方式中，所述安全知识图谱包含设备本体实体、故障类型实体、故障原因实体、故障现象实体和处置措施实体，关系包括因果关系、从属关系、表现关系和处置关系；
48、所述多层次安全状态评估模型包括检测维度层、子系统层和整体安全层；
49、所述分级预警策略包括正常状态记录日志、注意状态发送提示消息、警告状态触发声光报警、危险状态联动控制系统启动保护措施。
50、本发明的有益效果在于：
51、通过整合视觉图像、振动信号、声音信号和运行参数等多维度数据源，构建了自适应的多模态数据融合机制，实现了对超高层建筑电梯在极端负载切换工况下的精准动态安全监测。
52、通过建立统一时间基准系统和重采样机制，解决了不同采样频率传感器数据的时间同步问题，确保了多模态数据的准确关联。通过设计多层级工况识别策略，实现了对电梯运行状态的快速准确分类，为自适应特征提取奠定了基础。通过采用小波包分解、经验模态分解、多尺度卷积神经网络等先进方法，实现了对不同模态数据的深度特征提取，充分挖掘了各模态数据中蕴含的安全信息。通过基于改进证据理论的自适应融合方法，根据各模态数据的实时可靠性动态调整融合权重，有效应对了复杂工况下数据质量波动的挑战，提升了融合判断的准确性和鲁棒性。
53、通过跨工况滑动时间窗口和时序关联分析，实现了对工况切换过程中瞬态异常信号的有效捕捉和渐进性故障的早期识别，弥补了传统稳态监测方法的不足。通过条件生成对抗网络生成罕见故障样本，解决了故障样本类别不平衡问题，提升了模型对罕见故障的识别能力。通过构建多层次故障识别模型和基于知识图谱的智能预警系统，实现了从数据采集到故障诊断再到维护决策的全流程智能化，为电梯的安全运行和预测性维护提供了有力支撑。