一种矿区安全智能监控广播系统及其智能广播方法与流程

本发明属于矿山智能化建设领域，特别涉及一种矿区安全智能监控广播系统及其智能广播方法。
背景技术：
：目前露天矿山视频监控系统由高清数字摄像头、硬盘录像机、显示大屏、监控软件客户端等组成，由专门的监控人员负责对现场安全生产情况监视，但存在监控值班人员难以持续集中注意力，无法及时有效察觉安全威胁等问题。目前露天矿山广播系统具备人工广播、定时广播等功能，尚不能形成针对实时发生的安全问题定点广播的“闭环”能力，未充分发挥广播系统在安全生产中的作用。技术实现要素：本发明公开了一种矿区安全智能监控广播系统及其智能广播方法，以解决现有技术的上述技术问题以及其他潜在问题中的任意问题。为了解决上述问题，本发明的技术方案是：一种矿区安全智能监控广播系统，所述矿区安全智能监控广播系统包括：视频采集单元、数据分析单元、通信单元和语音广播单元；其中，所述视频采集单元，用于实时采用矿区人员的视频数据，并将采集的视频数据上传，并保存；所述数据分析单元，用于读取所述矿区人员的视频数据，并对视矿区人员的视频数据进行分析，判断视频数据是否涉及到安全事件，如果属于安全事件则将安全事件转换成指令，并发送给所述语音广播单元；所述语音广播单元，用于对接收到的指令进行处理，并进行实时语音广播。进一步，所述视频采集单元为高清数字摄像头。进一步，所述数据分析单元包括视频处理模块、图像识别模块、事件生成模块、管理模块和指令生成模块；所述视频处理模块，用于对视频流进行获取，进行格式转换和图像帧采集；所述图像识别模块，用于对采集后的图像帧进行识别，并有识别结果处理模块将识别结果发送至事件生成模块；所述事件生成模块将识别结果根据类型、位置、时间特征生成安全事件，并在视频流中截取事件发生时刻的视频；所述管理模块，用于在web端显示安全事件，并将显示安全事件发送至指令生成模块；所述指令生成模块，根据安全事件类型生成广播内容，并编译成广播控制指令。进一步，所述语音广播单元包括4g无线网络模块和广播模块；其中，所述4g无线网络模块，用于接受所述指令生成模块发送的广播控制指令，并将广播控制指令发送给所述广播模块；所述广播模块，用于将接收到的广播控制指令通过音频解码单元解码，并将解码内容进行语音播报。进一步，所述视频处理模块包括视频流获取模块、视频格式转换模块和图像帧采集模块其中，所述视频流获取模块，用于通过以实时流协议方式获取视实时视频流；所述视频格式转换模块，用于对获取的视频流的视频格式和大小进行调整；所述图像帧采集模块，用于根据设定的时间隔均匀获取数据流中需识别的图像帧；所述图像识别模块，用于对需要识别的图像帧进行分析处理，并输出结果。本发明的另一目的是提供一种矿区安全智能监控广播系统的智能广播方法，其所述方法具体包括以下步骤：s1)系统启动，实时采集矿区人员的视频数据，并上传保存；s2)读取s1)上传的实时视频数据，并对读取的视频数据进行分析，判断视频数据是否涉及到安全事件，如果是将安全事件转换成指令，执行s3),否则继续读取视频数据进行分析；s3)将接收到的指令后处理后，进行实时广播。进一步，所述s2)的具体步骤为：s2.1)获取视频流数据，并对获取的视频流数据进行格式转换，再转换格式后的视频流中获取需识别的图像帧；s2.2)将经过s2.1)处理后的图像帧数据输入佩戴安全帽识别和按规定着制服识别模型进行判断，确定这一帧图像中人体佩戴安全帽和按规定着制服的信息结果，并根据信息结果判定是否为安全事件，是则生成广播指令；否则为正常情况，返回s2.1)；s2.3)确定安全事件的类型并生成广播指令，并发送。进一步，所述s2.2)具体步骤为：s2.21)在一帧图像中，获得人体位置的矩形框，即获取以人体为中心的局部范围的图像，输入至识别模型；s2.22)在局部范围图像中检测到的安全帽和制服矩形框，按照最近邻原则分配给人体，分配到安全帽目标的人体表示佩戴了安全帽，反之则表示未佩戴安全帽；分配到制服目标的人体表示按规定着制服，反之则表示未按规定着制服；检测图像中的所有人体，得到这一帧图像中人体佩戴安全帽和按规定着制服的情况，采用目标跟踪方法对人体进行跟踪，得到每一个人体的序列信息，包含每一帧图像中该人体佩戴安全帽和按规定着制服的情况，s2.24)统计当前时刻往前至设定时间间隔内的一定帧数内未佩戴安全帽及未按规定着制服的比例，若超过设定的阈值，则判定为涉及安全事件，则执行s2.25，否则正常，返回s2.1)。进一步，所述s3)的具体步骤：s3.1)根据广播指令解码后的按照事件类型，生成不同的告警语音，事件类型包括不佩戴安全帽识别和不按规定按规定着制服，s3.2)将生成的告警语音进行实时广播。所述广播指令发送模块负责生成广播指令编码，与广播模块采用udp协议进行通信，广播内容首先需要编译成广播控制指令，广播控制指令即为udp包。udp包内的数据帧格式包括固定16字节长度的帧头和若干字节的数据块，格式示例如下表所示：偏移01234567定义0xfe0xe00xa7typedid_0did_1did_2did_3偏移89101112131415定义sn_0sn_1len_0len_1cmdparaacceptchkst本发明的有益效果是：由于采用上述技术方案，本发明的方法利用对视频监控中出现的异常行为自动判别，并通过该行为发生区域的广播设备对行为予以制止，处理及时，准确率高、遗漏率低，避免了因监控人员精力有限导致的异常行为发现不及时问题，视具体需求可对图像识别算法进行配置以更好的发现针对性的异常行为。附图说明图1为本发明一种矿区安全智能监控广播系统的逻辑结构框图。图中：1-视频采集单元，2-有线传输网络模块，3-视频处理模块，4-图像识别模块，5-事件生成模块，6-数据存储模块，7-管理模块，8-指令生成模块，9-4g无线网络模块，10-广播模块。具体实施方式以下结合附图对本发明作进一步详细描述。如图1所示，本发明一种矿区安全智能监控广播系统，所述矿区安全智能监控广播系统包括：视频采集单元、数据分析单元和语音广播单元；其中，所述视频采集单元，用于实时采用矿区人员的视频数据，并将采集的视频数据上传，并保存；所述数据分析单元，用于读取所述矿区人员的视频数据，并对视矿区人员的视频数据进行分析，判断视频数据是否涉及到安全事件，如果属于安全事件则将安全事件转换成指令，并发送给所述语音广播单元；所述语音广播单元，用于对接收到的指令进行处理，并进行实时语音广播。所述视频采集单元为高清数字摄像头。所述数据分析单元包括视频处理模块、图像识别模块、事件生成模块、管理模块和指令生成模块；所述视频处理模块，用于对视频流进行获取，进行格式转换和图像帧采集；所述图像识别模块，用于对采集后的图像帧进行识别，并有识别结果处理模块将识别结果发送至事件生成模块；所述事件生成模块将识别结果根据类型、位置、时间特征生成安全事件，并在视频流中截取事件发生时刻的视频；所述管理模块，用于在web端显示安全事件，并将显示安全事件发送至指令生成模块；所述指令生成模块，根据安全事件类型生成广播内容，并编译成广播控制指令。所述语音广播单元包括4g无线网络模块和广播模块；其中，所述4g无线网络模块，用于接受所述指令生成模块发送的广播控制指令，并将广播控制指令发送给所述广播模块；所述广播模块，用于将接收到的广播控制指令通过音频解码单元解码，并将解码内容进行语音播报。所述视频处理模块包括视频流获取模块、视频格式转换模块和图像帧采集模块其中，所述视频流获取模块，用于通过以实时流协议方式获取视实时视频流；所述视频格式转换模块，用于对获取的视频流的视频格式和大小进行调整；所述图像帧采集模块，用于根据设定的时间隔均匀获取数据流中需识别的图像帧；所述图像识别模块，用于对需要识别的图像帧进行分析处理，并输出结果。一种矿区用安全智能监控广播系统的智能广播方法，所述方法具体包括以下步骤：s1)系统启动，实时采集矿区人员的视频数据，并上传保存；s2)读取s1)上传的实时视频数据，并对读取的视频数据进行分析，判断视频数据是否涉及到安全事件，如果是将安全事件转换成指令，执行s3),否则继续读取视频数据进行分析；s3)将接收到的指令后处理后，进行实时广播。所述s2)的具体步骤为：s2.1)获取视频流数据，并对获取的视频流数据进行格式转换，再转换格式后的视频流中获取需识别的图像帧；s2.2)将经过s2.1)处理后的图像帧数据输入佩戴安全帽识别和按规定着制服识别模型进行判断，确定这一帧图像中人体佩戴安全帽和按规定着制服的信息结果，并根据信息结果判定是否为安全事件，是则生成广播指令；否则为正常情况，返回s2.1)；s2.3)确定安全事件的类型并生成广播指令，并发送。所述s2.2)具体步骤为：s2.21)在一帧图像中，获得人体位置的矩形框，即获取以人体为中心的局部范围的图像，输入至安全帽和制服检测模型；s2.22)在局部范围图像中检测到的安全帽和制服矩形框，按照最近邻原则分配给人体，分配到安全帽目标的人体表示佩戴了安全帽，反之则表示未佩戴安全帽；分配到制服目标的人体表示按规定按规定着制服，反之则表示未按规定按规定着制服；检测图像中的所有人体，得到这一帧图像中人体佩戴安全帽和按规定着制服的情况，采用目标跟踪方法对人体进行跟踪，得到每一个人体的序列信息，包含每一帧图像中该人体佩戴安全帽和按规定着制服的情况，s2.24)统计当前时刻往前至设定时间间隔内的一定帧数内未佩戴安全帽及未按规定着制服的比例，若超过设定的阈值，则判定为涉及安全事件，则执行s2.25，否则正常，返回s2.1)。所述s3)的具体步骤：s3.1)根据广播指令解码后的按照事件类型，生成不同的告警语音，事件类型包括不佩戴安全帽识别和不按规定着制服，s3.2)将生成的告警语音进行实时广播。实施例：一种矿区安全智能监控广播系统，由高清数字摄像头模块，有线传输网络模块，视频处理模块，图像识别模块，事件生成模块，数据存储模块，管理模块，指令生成模块，4g无线网络模块，广播模块组成。如图1所示，高清数字摄像头模块1将在矿区内采集到的实时监控视频通过所述有线传输网络模块2发送至所述视频处理模块3，视频处理模块3负责对有线网络传输模块传输过来的视频流进行获取、格式转换和图像帧采集；图像识别模块4通过运行图像智能识别算法，对采集的图像帧进行识别，并有识别结果处理模块将识别结果发送至事件生成模块5；事件生成模块5将识别结果根据类型、位置、时间等特征生成安全事件，并在视频流中截取事件发生时刻的视频；数据存储模块6将安全事件以及相应的截图和视频保存至数据库中；管理模块7可以在web端显示安全事件，并将事件发送至指令生成模块8；指令生成模块根据事件类型生成广播内容，并编译成广播控制指令，通过4g无线网络模块9发送至广播模块10，广播模块10通过音频解码单元根据广播控制指令内容控制扬声器播放.所述有线传输网络模块由网线、路由器、光端机、光纤及交换机组成，矿区主干网络带宽应在万兆级，二级网络带宽应在千兆级；所述视频处理模块由视频流获取模块、视频格式转换模块和图像帧采集模块组成；所述视频流获取模块通过以rtsp方式获取视频监控网络中高清数字摄像头模块的实时视频流；所述视频格式转换模块用于调整视频格式和大小；所述图像帧采集模块用于时间间隔均匀的采集需识别的图像帧；所述图像识别模块支持图像识别算法可配置，图像识别算法从视频中自动检测出发生违规的行为人，将违规类型、时间及违规行为发生时的截图和视频片段保存为智能分析结果；所述图像识别模块由图像智能识别算法模块和识别结果处理模块组成；所述图像智能识别算法模块包括不佩戴安全帽识别算法和不按规定着制服识别算法；所述数据存储模块由数据库和数据管理模块组成；所述数据库采用oracle数据库；所述数据管理模块负责事件、截图和视频的存储与查找；所述管理模块由web端服务模块和事件发送模块组成；所述web端服务模块用于安全事件及处理情况的查询；所述事件发送模块负责在事件发生之后，将事件发送至指令生成模块；所述指令生成模块由广播内容生成模块和广播指令发送模块组成；所述广播内容生成模块根据事件类型的不同，生成不同的告警语音；广播指令编码由字节帧头和可编辑任务数据块组成，格式如下：可编辑任务数据块格式如下：所述广播内容生成模块根据不同的事件类型和不同的事件发生地点生成广播内容，控制相应地点安装的播放设备来播放语音。事件分为未佩戴安全帽、未按规定按规定着制服两类，不同的事件播放不同的告警语音，例如未佩戴安全帽事件则播报“施工场所请佩戴安全帽，注意作业安全！”，音频为事先录制，用编号命名，调用播放即可；事件发生地点所安装的播放设备各自编号，根据编号驱动不同的广播设备工作；播放时间一般设置为当前时间，即立即播放，播放次数一般设置为3，即告警3次；具体的广播指令如下所示：所述广播指令发送模块负责生成广播指令编码，与广播模块采用udp协议进行通信，通过4g无线网络发送，广播内容首先需要编译成广播控制指令，广播控制指令即为udp包。udp包内的数据帧格式包括固定16字节长度的帧头和若干字节的数据块，格式示例如下表所示：偏移01234567定义0xfe0xe00xa7typedid_0did_1did_2did_3偏移89101112131415定义sn_0sn_1len_0len_1cmdparaacceptchkst所述广播指令发送模块负责生成广播指令编码，通过4g无线网络发送至广播模块；所述4g无线网络模块包括4g无线网络发射端和4g无线网络接收端；所述4g无线网络发射端采用华为4g基站，将广播指令发送出，由4g无线网络接收端采用华为eg860无线接收cpe设备接收，发送至广播模块；①在监控视频图像中，获得人体位置的矩形框，即获取以人体为中心的局部范围的图像，输入至安全帽和制服检测模型；③安全帽和制服检测模型采用基于深度学习的目标检测模型，例如yolo模型，采用实际应用场景的安全帽和制服样本图像训练该模型；④在局部范围图像中检测到的安全帽和制服矩形框，按照最近邻原则分配给人体，注意到该局部范围图像可能会有多个人体。分配到安全帽目标的人体表示佩戴了安全帽，反之则表示未佩戴安全帽；分配到制服目标的人体表示按规定按规定着制服，反之则表示未按规定按规定着制服；⑤通过以上步骤，可以检测监控视频图像中的人体，并且得到这一帧图像中人体佩戴安全帽和按规定着制服的情况；⑥在监控视频每一帧检测人体目标的基础上，采用目标跟踪方法对人体进行跟踪，这样可以得到每一个人体的序列信息，包含每一帧图像中该人体佩戴安全帽和按规定着制服的情况；⑦对于人体的跟踪序列信息，统计当前时刻往前一定帧数内(即一定时间内)未佩戴安全帽及未按规定着制服的比例，若超过设定的比例，例如未戴安全帽和未按规定着制服的比例均设置为0.6，则判定为未佩戴安全帽或者未按规定着制服。以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以在不偏离本项发明思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。当前第1页12