一种基于深度学习的监狱异常情况监测方法及监测系统与流程

本发明属于智能警戒技术领域，更具体地，涉及一种基于深度学习的监狱异常情况监测方法及监测系统。

背景技术：

随着科技的发展，智能警戒得到了广泛的使用，尤其是监狱智能警戒，但是目前使用的动态人脸/人体布控系统，只能实现在监控视频中实时检测、跟踪和识别单个个体，实现在事前、事中和事后的跟踪记录，不能实现自动识别异常行为，智能分析以及智能报警。因此，迫切地需要一种方法能够对服刑人员、监管人员等之间的不正常碰撞等行为自动识别、智能分析，智能预警，能有效的消除牢头狱霸、体罚虐待等安全隐患，提高工作人员的工作效率，为智慧监狱应用提供了基本的信息保障。

技术实现要素：

本发明的目的是提出一种能够自动识别异常行为及智能报警的基于深度学习的监狱异常情况监测方法及监测系统。

为了实现上述目的，本发明提供一种基于深度学习的监狱异常情况监测方法，包括：基于第一子网络，生成人体关键点时序信息；基于第二子网络，针对音频信息产生序列特征向量；基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

优选的，所述基于第一子网络，生成人体关键点时序信息包括；采用卷积神经网络模型提取所述视频信息的特征点；根据所述特征点确定人体关键点信息；根据所述人体关键点信息生成所述人体关键点时序信息。

优选的，所述基于第二子网络，针对音频信息产生序列特征向量包括；采用梅尔频率倒谱系数算法提取所述音频的倒谱特征向量；采用长短期期记忆算法将所述倒谱特征向量生成序列特征向量；基于所述序列特征向量提取所述关键语音信息。

优选的，所述基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为包括：采用长短期期记忆将所述人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。

优选的，所述基于识别的人类行为，在行为异常时输出异常报警包括：比较所述人体关键点时序信息和序列特征向量与所述预设特征信息的相似度阈值；若所述相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。

优选的，所述基于第一子网络，生成人体关键点时序信息还包括：采用卷积神经网络模型，提取所述视频信息的人脸特征；基于所述人脸特征进行目标跟踪。

优选的，所述人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。

为了实现上述目的，本发明还提供一种基于深度学习的监狱异常情况监测系统，包括：图像采集装置，所述图像采集装置用于实时采集图像信息，并将采集的视频信息和音频信息发送至网络模型；网络模型，所述网络模型包括：第一子网络、第二子网络、第三子网络；所述第一子网络接收视频信息，生成人体关键点时序信息，将所述人体关键点时序信息发送至第三子网络；所述第二子网络接收音频信息，产生序列特征向量，将所述序列特征向量发送至第三子网络；所述第三子网络接收所述人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

优选的，所述第一子网络采用卷积神经网络模型，提取所述视频信息的特征点，根据所述特征点确定人体关键点信息，根据所述人体关键点信息生成人体关键点时序信息；第二子网络采用梅尔频率倒谱系数算法提取所述音频的倒谱特征向量，采用长短期期记忆算法将所述倒谱特征向量生成序列特征向量，基于所述序列特征向量提取关键语音信息。

优选的，第三子网络采用长短期期记忆将所述人体关键点时序信息和序列特征向量识别人体动作行为；所述第三子网络比较所述人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若所述相似度阈值高于或等于预设阈值，则确认为监狱异常情况，输出异常报警。

本发明的有益效果在于：本发明的基于深度学习的监狱异常情况监测方法及监测系统通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。

本发明的系统具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施例中将是显而易见的，或者将在并入本文中的附图和随后的具体实施例中进行详细陈述，这些附图和具体实施例共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的流程图。

图2示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的工作原理图。

具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

根据本发明的基于深度学习的监狱异常情况监测方法，包括：基于第一子网络，生成人体关键点时序信息；基于第二子网络，针对音频信息产生序列特征向量；基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

具体地，第一子网络、第二子网络和第三子网络是三个独立的深度算法模型，能够单独进行大量训练、深度学习，能够准确识别特征。由第一子网络、第二子网络和第三子网络三个相互关联的子网络构成的整体网络，实现对对监狱异常情况进行监测。在监狱管廊的出入口、管廊内部、监舍内部、环隧出入口、活动场所设置图像采集装置，图像采集装置实时采集视频信息和音频信息，第一子网络接收视频信息，根据视频信息生成人体关键点时序信息，再将人体关键点时序信息发送至第三子网络，第二子网络接收音频信息，针对音频信息产生序列特征向量，再将序列特征向量发送至第三子网络，第三子网络根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

根据示例性的实施方式，基于深度学习的监狱异常情况监测方法通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。

作为优选方案，基于第一子网络，生成人体关键点时序信息包括；采用卷积神经网络模型提取视频信息的特征点；根据特征点确定人体关键点信息；根据人体关键点信息生成人体关键点时序信息。

具体的，第一子网络针对视频帧信息采用卷积神经网络模型提取视频信息的特征点，卷积神经网络是一种带有卷积结构的神经网络，卷积结构采用权值共享的方式减少了深层网络占用的内存量，也减少了网络的参数个数，缓解模型的过拟合问题。卷积神经网络的基本结构可以分为四个部分：输入层、卷积层、池化层和输出层四个部分。输入层，可以直接作用于原始输入数据；卷积层也叫做特征提取层，包括二个部分，第一部分是真正的卷积层，主要作用是提取输入数据特征，每一个不同的卷积核提取输入数据的特征都不相同，卷积层的卷积核数量越多，就能提取越多输入数据的特征，第二部分是pooling层，也叫下采样层，主要目的是在保留有用信息的基础上减少数据处理量，加快训练网络的速度；池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，一方面进行特征压缩，提取主要特征，通过池化来降低卷积层输出的特征向量，同时改善结果；全连接层连接所有的特征，传输输出值。然后根据特征向量获得特征点，多个特征向量组合可以确定特征点，再根据特征点确定人体关键点信息，获得人体关键点信息后，提取所有图像中的人体关键点信息，从而根据人体关键点信息生成人体关键点时序信息。

作为优选方案，基于第二子网络，针对音频信息产生序列特征向量包括；采用梅尔频率倒谱系数算法提取音频的倒谱特征向量；采用长短期期记忆算法将倒谱特征向量生成序列特征向量；基于序列特征向量提取关键语音信息。

具体的，第二子网络针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，梅尔频率倒谱系数算法提取特征的过程，先对语音进行预加重、分帧和加窗，然后对每一个短时分析窗，通过fft快速傅里叶变换得到对应的频谱，将得到的频谱通过梅尔滤波器组得到梅尔频谱，在梅尔频谱上面进行倒谱分析，取对数，做逆变换，实际逆变换一般是通过dct离散余弦变换来实现，取dct后的第2个到第13个系数作为梅尔频率倒谱系数，获得梅尔频率倒谱系数mfcc，这个mfcc就是这帧语音的特征向量，即倒谱特征向量。采用长短期期记忆算法将倒谱特征向量生成序列特征向量，长短期期记忆算法是一种深度学习方法，是一种递归方法，长短期记忆算法的关键点是单元状态，向单元状态中移除或添加信息，通过门限来来保护和控制单元状态。门限由一个sigmoid神经网络层和逐点乘法运算组成，sigmoid层输出0到1之间的数字，描述了每个信息应该通过门限的程度。0表示“不让任何信息通过”，而1表示“让所有信息通过”。第一步是决定哪些信息需要从单元状态中抛弃，这项决策是由一个称为“遗忘门限层”的sigmoid层决定的，接下来决定在单元状态中需要存储哪些新信息，分为两个部分一个叫做“输入门限层”的sigmoid层决定哪些信息需要更新，然后一个tanh层创建一个向量，包含新候选信息，这些信息可以添加到这个状态中，然后结合这部分来创建一个状态来更新旧单元状态，输入到新单元状态，在语言模型中，就是弃旧主语性别信息，根据之前步骤添加新信息，得到了需要保留的信息。倒谱特征向量就是输入的信息，通过长短期期记忆算法获得了需要保留的倒谱特征向量，叫做序列特征向量，最后基于序列特征向量提取关键语音信息。

作为优选方案，基于第三子网络采用长短期期记忆将人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。

具体的，第三子网络通过长短期期记忆算法获得了需要保留的人体关键点时序信息和序列特征向量，根据这些人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。

作为优选方案，基于识别的人类行为，在行为异常时输出异常报警包括：比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。

具体的，第三子网络比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。优选的，通过声、光、显示屏等多种方式报警，第一时间阻止暴力事件的蔓延和加剧，从而能够有效消除牢头狱霸以及体罚虐待等安全隐患。

作为优选方案，基于第一子网络，生成人体关键点时序信息还包括：采用卷积神经网络模型，提取视频信息的人脸特征；基于人脸特征进行目标跟踪。

具体的，第一子网络还采用卷积神经网络模型，提取视频信息的人脸特征，基于人脸特征实现目标跟踪。

作为优选方案，人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。

具体的，通过头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚等人体关键点信息，产生人体关键点时序信息。

根据本发明的基于深度学习的监狱异常情况监测系统，包括：图像采集装置，图像采集装置用于实时采集图像信息，并将采集的视频信息和音频信息发送至网络模型；网络模型，网络模型包括：第一子网络、第二子网络、第三子网络；第一子网络接收视频信息，生成人体关键点时序信息，将人体关键点时序信息发送至第三子网络；第二子网络接收音频信息，产生序列特征向量，将序列特征向量发送至第三子网络；第三子网络接收人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

具体的，第一子网络、第二子网络和第三子网络是三个独立的深度算法模型，能够单独进行大量训练、深度学习，能够准确识别特征。由第一子网络、第二子网络和第三子网络三个相互关联的子网络构成的整体网络，三个子网络单独进行训练和深度学习，实现对对监狱异常情况进行监测。在监狱管廊的出入口、管廊内部、监舍内部、环隧出入口、活动场所设置图像采集装置，图像采集装置实时采集视频信息和音频信息，第一子网络接收视频信息，根据视频信息生成人体关键点时序信息，再将人体关键点时序信息发送至第三子网络，第二子网络接收音频信息，针对音频信息产生序列特征向量，再将序列特征向量发送至第三子网络，第三子网络根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

根据示例性的实施方式，基于深度学习的监狱异常情况监测系统通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。

作为优选方案，第一子网络采用卷积神经网络模型，提取视频信息的特征点，根据特征点确定人体关键点信息，根据人体关键点信息生成人体关键点时序信息；第二子网络采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，采用长短期期记忆算法将倒谱特征向量生成序列特征向量，基于序列特征向量提取关键语音信息。

具体的，第一子网络针对视频帧信息采用卷积神经网络模型提取视频信息的特征点，卷积神经网络是一种带有卷积结构的神经网络,卷积结构采用权值共享的方式减少了深层网络占用的内存量，也减少了网络的参数个数，缓解模型的过拟合问题。卷积神经网络的基本结构可以分为四个部分：输入层、卷积层、池化层和输出层四个部分。输入层，可以直接作用于原始输入数据；卷积层也叫做特征提取层，包括二个部分，第一部分是真正的卷积层，主要作用是提取输入数据特征，每一个不同的卷积核提取输入数据的特征都不相同，卷积层的卷积核数量越多，就能提取越多输入数据的特征，第二部分是pooling层，也叫下采样层，主要目的是在保留有用信息的基础上减少数据处理量，加快训练网络的速度；池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，一方面进行特征压缩，提取主要特征，通过池化来降低卷积层输出的特征向量，同时改善结果；全连接层连接所有的特征，传输输出值。然后根据特征向量获得特征点确定人体关键点信息，获得人体关键点信息后，提取所有图像中的人体关键点信息，从而根据人体关键点信息生成人体关键点时序信息。

作为优选方案，第二子网络针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，采用长短期期记忆算法将倒谱特征向量生成序列特征向量，最后基于序列特征向量提取关键语音信息。

具体的，第二子网络针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，梅尔频率倒谱系数算法提取特征的过程，先对语音进行预加重、分帧和加窗，然后对每一个短时分析窗，通过fft快速傅里叶变换得到对应的频谱，将得到的频谱通过梅尔滤波器组得到梅尔频谱，在梅尔频谱上面进行倒谱分析，取对数，做逆变换，实际逆变换一般是通过dct离散余弦变换来实现，取dct后的第2个到第13个系数作为梅尔频率倒谱系数，获得梅尔频率倒谱系数mfcc，这个mfcc就是这帧语音的特征向量，即倒谱特征向量。采用长短期期记忆算法将倒谱特征向量生成序列特征向量，长短期期记忆算法是一种深度学习方法，是一种递归方法，长短期记忆算法的关键点是单元状态，向单元状态中移除或添加信息，通过门限来来保护和控制单元状态。门限由一个sigmoid神经网络层和逐点乘法运算组成，sigmoid层输出0到1之间的数字，描述了每个信息应该通过门限的程度。0表示“不让任何信息通过”，而1表示“让所有信息通过”。第一步是决定哪些信息需要从单元状态中抛弃，这项决策是由一个称为“遗忘门限层”的sigmoid层决定的，接下来决定在单元状态中需要存储哪些新信息，分为两个部分一个叫做“输入门限层”的sigmoid层决定哪些信息需要更新，然后一个tanh层创建一个向量，包含新候选信息，这些信息可以添加到这个状态中，然后结合这部分来创建一个状态来更新旧单元状态，输入到新单元状态，在语言模型中，就是弃旧主语性别信息，根据之前步骤添加新信息，得到了需要保留的信息。倒谱特征向量就是输入的信息，通过长短期期记忆算法获得了需要保留的倒谱特征向量，叫做序列特征向量，最后基于序列特征向量提取关键语音信息。

作为优选方案，第三子网络采用长短期期记忆将人体关键点时序信息和序列特征向量识别人体动作行为；第三子网络比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若相似度阈值高于或等于预设阈值，则确认为监狱异常情况，输出异常报警。

具体的，第三子网络采用长短期期记忆算法获得了需要保留的人体关键点时序信息和序列特征向量，根据这些人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架；第三子网络还比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。优选的，通过声、光、显示屏等多种方式报警，第一时间阻止暴力事件的蔓延和加剧，从而能够有效消除牢头狱霸以及体罚虐待等安全隐患。

实施例

图1示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的流程图。图2示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的工作原理图。

结合图1和图2所示，基于深度学习的监狱异常情况监测方法，包括：s102：基于第一子网络，生成人体关键点时序信息；

步骤s102包括步骤s1021～s1023：

s1021：采用卷积神经网络模型提取视频信息的特征点；

s1022：根据特征点确定人体关键点信息；

s1023：根据人体关键点信息生成人体关键点时序信息；

其中，人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。

s104：基于第二子网络，针对音频信息产生序列特征向量；

步骤s104包括步骤s1041～s1043：

s1041：采用梅尔频率倒谱系数算法提取音频的倒谱特征向量；

s1042：采用长短期期记忆算法将倒谱特征向量生成序列特征向量；

s1043：基于序列特征向量提取关键语音信息。

s106：基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。

其中，基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为包括：采用长短期期记忆将人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。

其中，基于识别的人类行为，在行为异常时输出异常报警包括：比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。

其中，基于第一子网络，生成人体关键点时序信息还包括：采用卷积神经网络模型，提取视频信息的人脸特征；基于人脸特征进行目标跟踪。

该基于深度学习的监狱异常情况监测方法的工作过程如下：由第一子网络、第二子网络和第三子网络三个相互关联的子网络构成的整体网络，三个子网络单独进行训练和深度学习，在监狱管廊的出入口、管廊内部、监舍内部、环隧出入口、活动场所设置图像采集装置，图像采集装置实时采集视频信息和音频信息，第一子网络接收视频信息，针对视频帧信息采用卷积神经网络模型提取视频信息的特征点，根据特征点确定人体关键点信息，再根据人体关键点信息生成人体关键点时序信息，并将人体关键点时序信息发送至第三子网络。第二子网络接收音频信息，针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，采用长短期期记忆算法将倒谱特征向量生成序列特征向量，最后基于序列特征向量提取关键语音信息，并将序列特征向量发送至第三子网络。第三子网络采用长短期期记忆将人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架，还比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。