基于多目标的行为识别和远程监测的警报系统及方法

本发明属于人体姿态识别，具体涉及基于多目标的行为识别和远程监测的警报系统及方法。

背景技术：

1、日常生活中，常有家长将儿童独自留在家中的情况，儿童自身活泼好动，但认知与行为能力较弱，危险行为高发，儿童独自玩耍时磕碰、烧伤、坠楼等伤害性事件时有发生，保护儿童的安全刻不容缓。随着老年期高龄人口的增多，因老化组织器官功能衰退和老年慢性病所引起的跌倒、压疮、长期卧床等问题越来越严重地威胁着老年人的身心健康。要维护和促进老年人身心健康、实现“健康老龄化”，这些老年期常见问题不容忽视。

2、人体姿态识别就是通过将图片中已检测到的人体关键点正确的联系起来，从而估计人体姿态。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等，通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。进一步，增加时间序列，看一段时间范围内人体关键点的位置变化，可以更加准确的检测姿态，估计目标未来时刻姿态，以及做更抽象的人体行为分析，比如判断一个人是否在打电话等等。而open pose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。微信小程序，相对于如今的app、web网页、微信公众号等等，具有，不用下载、不占内存、开发成本低、开发周期短等优点，用户可通过添加或者直接打开微信小程序进行用户登录后查看，实现(查看)实时监控。

3、因此，本发明设计了基于微信小程序、5g通信技术、人体姿态识别技术、深度学习技术的行为记录及危险行为识别监测警报系统。

技术实现思路

1、针对现有技术的不足，本发明提出了基于多目标的行为识别和远程监测的警报系统及方法，主要包括人体姿态识别、应用层的设计与实现、视频图像的采集、压缩和传输的设计与实现、以及微信小程序的云服务以实现远程视频监控功能，具有跨平台远程视频监控、无线传输、高实时性和稳定性、智能化监护报警、智能化行为记录等特点，可以较好地为儿童和老人的安全行为等问题进行鉴别。

2、为实现上述目的，本发明提供了如下方案：

3、基于多目标的行为识别和远程监测的警报系统，包括：前端采集部分和后端部分；

4、所述前端采集部分用于人体图像数据的采集、处理和传输；

5、所述后端部分用于对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。

6、优选的，所述前端采集部分包括：视频采集模块、视频图像压缩模块、视频传输模块和视频图像存储模块；

7、所述视频采集模块用于视频图像的采集；

8、所述视频图像压缩模块用于对采集到的视频图像进行逐帧压缩；

9、所述视频传输模块用于将格式压缩后的视频图像通过tcp协议和应用层协议传输到所述后端部分；

10、所述视频图像存储模块用于将采集的所述视频图像存储在服务器磁盘中。

11、优选的，所述后端部分包括：行为识别检测模块和报警模块；

12、所述行为识别检测模块用于利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；

13、所述报警模块用于当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。

14、本发明还提供了一种小程序显示模块，用于显示基于行为识别和远程监测的警报系统。

15、本发明还提供了基于多目标的行为识别和远程监测的警报方法，包括以下步骤：

16、对人体图像数据的采集、处理和传输；

17、对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。

18、优选的，对人体图像数据的采集、处理和传输的方法包括：

19、采集视频图像并将所述视频图像存储在服务器磁盘中；

20、对采集到的视频图像进行逐帧压缩；

21、将格式压缩后的视频图像通过tcp协议和应用层协议进行传输。

22、优选的，对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测的方法包括：

23、利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；

24、当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。

25、本发明还提供了一种存储介质，包括：所述存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现基于行为识别和远程监测的警报方法。

26、与现有技术相比，本发明的有益效果为：

27、本发明的技术关键主要包括人体姿态识别、应用层的设计与实现、视频图像的采集、压缩和传输的设计与实现。在原有的监控系统基础之上增添了行为识别监测功能，监控系统的智能性得到较大的提高，当系统检测儿童或老人的危险行为时，保存视频截图当作证据图，触发报警功能，并通知远程段的家长(亲友)；运用web技术，实现无线远程监控使家长(亲友)能够通过随身携带的计算机或智能移动设备的web浏览器，随时掌握儿童或老人的行为轨迹，知道儿童或老人现在和过去一段时间内的行为。当检测到危险行为，及时启动屋内警报，并远程通知家长(亲友)，全方位保护在家儿童或老人的安全。本发明的技术方案和现有技术相比，具有以下优点：采用嵌入式web视频远程监控系统设计，成本更加低廉。基于openpose的人体姿态识别技术，仅仅基于2d图像，廉价的普通摄像头，就可以实现多人的、实时的、鲁棒性很好的人体骨骼关节点提取与姿态检测。

技术特征：

1.基于多目标的行为识别和远程监测的警报系统，其特征在于，包括：前端采集部分和后端部分；

2.根据权利要求1所述的基于多目标的行为识别和远程监测的警报系统，其特征在于，所述前端采集部分包括：视频采集模块、视频图像压缩模块、视频传输模块和视频图像存储模块；

3.根据权利要求1所述的基于多目标的行为识别和远程监测的警报系统，其特征在于，所述后端部分包括：行为识别检测模块和报警模块；

4.一种小程序显示模块，其特征在于，用于显示权利要求1-3任一项所述的基于行为识别和远程监测的警报系统。

5.基于多目标的行为识别和远程监测的警报方法，其特征在于，包括以下步骤：

6.根据权利要求5所述的基于多目标的行为识别和远程监测的警报方法，其特征在于，对人体图像数据的采集、处理和传输的方法包括：

7.根据权利要求5所述的基于多目标的行为识别和远程监测的警报方法，其特征在于，对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测的方法包括：

8.一种存储介质，其特征在于，包括：所述存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如权利要求5至7任一项所述的基于行为识别和远程监测的警报方法。

技术总结
本发明公开了基于多目标的行为识别和远程监测的警报系统及方法，系统包括：前端采集部分和后端部分；前端采集部分用于人体图像数据的采集、处理和传输；后端部分用于对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。本发明主要包括人体姿态识别、应用层的设计与实现、视频图像的采集、压缩和传输的设计与实现、以及微信小程序的云服务以实现远程视频监控功能，具有跨平台远程视频监控、无线传输、高实时性和稳定性、智能化监护报警、智能化行为记录等特点，可以较好地为儿童和老人的安全行为等问题进行鉴别。

技术研发人员：张德华,张哲语,闵保凯,齐波信,林柽,张胡杨,张妮娜,秦春斌,梁琳琳
受保护的技术使用者：河南大学
技术研发日：
技术公布日：2024/1/15