一种基于体感技术的幼儿园智能监控方法
【专利摘要】本发明涉及一种基于体感技术的幼儿园智能监控方法，它包括在幼儿园安装3D体感设备，实时捕捉儿童3D人体骨架图像，提取关键关节特征向量，将特征向量输入到动作分类器中动作进行分类，找出匹配度最高的动作，其中将动作分类通过机器学习方法提前训练。本发明通过三维视觉感知技术，能够实现对人体动作姿态和人物运动轨迹的检测、分析和跟踪，动态的实时的捕捉儿童的动作，进而预测出打架、跌倒、越界等危险动作并提前发出告警，以减少幼儿园事故发生。
【专利说明】
一种基于体感技术的幼儿园智能监控方法
技术领域
[0001] 本发明属于体感监控技术领域，特别是是涉及一种基于体感技术的幼儿园监控方 法。
【背景技术】
[0002] 3D体感技术是新一代人机交互技术革命，通过体感技术来实现对人物运动轨迹的 精确检测和跟踪，并对动作进行分析，这将根本性的促进智能安防的发展。
[0003] 近年来，幼儿园事故频发，校园安全成为全社会关注的焦点，儿童在园期间的安全 也成为了家长择校的必备条件;而目前的幼儿园监控系统都是建立在视频监控的基础上， 需要专人专时监控，由于有限的人手、有限的精力，教师们无法预先得知危险动作的发生， 所以不可能做到全面掌握园内全部儿童的安全情况。
[0004] 中国专利申请201410223422公开了"一种幼儿园视频监控方法及装置"，该方案提 供了一种远程视频监控装置，需要人员实时的查看视频，做不到实时智能分析儿童的动作 姿势行为，从而达不到提前预警的效果。
[0005] 中国专利申请201320180777公开了"一种幼儿园人员监控系统"，该方案使用定位 器、识别卡等技术来监控幼儿园人员位置，仅能基于位置信息来进行监控，而不能智能识别 出人员的行为动作，满足不了复杂的场景需求。
[0006] 综上所述，如何克服现有技术所存在的不足已成为当今体感监控技术领域中亟待 解决的重点难题之一。
【发明内容】
[0007] 本发明的目的是为克服现有技术所存在的不足而提供一种基于体感技术的幼儿 园监控方法，本发明通过三维视觉感知技术，能够实现对人体动作姿态和人物运动轨迹的 检测、分析和跟踪，动态的实时的捕捉儿童的动作，进而预测出打架、跌倒、越界等危险动作 并提前发出告警，以减少幼儿园事故发生。
[0008] 根据本发明提出的一种基于体感技术的幼儿园智能监控方法，其特征在于，包括 如下基本步骤：
[0009] 步骤一，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像； [0010]步骤二，针对每帧RGB图像的深度图信息，同时提取及跟踪1人或多人RGB图像中的 人体3D骨架的动作特征向量，所述人体3D骨架为人体主要关节点的坐标数据；
[0011] 步骤三，根据人体3D骨架的动作特征向量，进行包括对肢体尺寸、参考零点以及方 向的儿童危险动作监控目标的归一化处理；
[0012] 步骤四，筛选主要关节点的坐标数据；
[0013] 步骤五，从筛选后的坐标数据中提取动作特征向量值，并构建动作特征向量序列；
[0014] 步骤六，对动作特征向量序列进行归一化处理，形成当前帧的η维多个人体动作特 征向量；
[0015] 步骤七，儿童危险动作识别是将得到的η维多个人体动作特征向量输入动作识别 模块，进行动作分类识别；如果识别出儿童危险动作，则进入步骤八，否则继续重复步骤一、 二、三、四、五和六；
[0016] 步骤八，启动视频录制，通过RGB摄像头录制录像；
[0017]步骤九，生成告警信息，上报至预警模块；
[0018] 步骤十，预警模块在预定场所播放预设的对应不同的人体危险动作的告警声，以 警示儿童危险动作的继续发生；
[0019] 步骤十一，通过网络将信息报送至对应管理人员随身的其它智能设备，以便由相 关人员采取恰当的措施来阻止儿童危险动作的发生。
[0020] 本发明的实现原理是:在幼儿园安装3D体感设备，实时捕捉儿童3D人体骨架图像， 提取关键关节特征向量，将特征向量输入到动作分类器中动作进行分类，找出匹配度最高 的动作，从而达到对危险行为动作的预警，其中将动作分类通过机器学习方法提前训练。
[0021] 本发明与现有技术相比其显著优点在于：
[0022] -是更加智能化，传统的视频监控方法，需要人员实时查看，而本发明利用体感技 术，通过计算机来识别出危险行为动作。
[0023] 二是更具有扩展性，传统的监控方法，只能对人员的位置进行监控，而不能实时分 析人员的动作行为，而本发明能够定制采集不同的警告动作，以满足不同场景的需求。
[0024] 三是更好的实用性，本发明的智能设别手段具有较强的预警和告警功能，便于防 范于未然，广泛适用于幼儿园的儿童活动区、以及与银幼儿园的儿童活动区具有同类安全 要求的如儿童体育活动室、儿童运动场、动物园等场所的智能监控。
【附图说明】
[0025] 图1为本发明提出的一种基于体感技术的幼儿园智能监控系统的原理方框示意 图。
[0026] 图2为本发明提出的一种基于体感技术的幼儿园智能监控方法的流程方框示意 图。
[0027] 图3为本发明提出的一种基于体感技术的幼儿园智能监控方法的儿童危险动作之 摔倒动作时空序列示意图。
[0028] 图4为本发明提出的一种基于体感技术的幼儿园智能监控方法的儿童危险动作之 快跑动作时空序列不意图。
[0029] 图5为本发明提出的一种基于体感技术的幼儿园智能监控方法的儿童危险动作之 跳跃动作时空序列示意图。
【具体实施方式】
[0030] 下面结合附图和实施例对本发明的【具体实施方式】作进一步的详细描述。
[0031] 结合图1-5,本发明提出的一种基于体感技术的幼儿园智能监控方法，包括如下具 体步骤：
[0032]步骤一，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像； [0033]步骤二，针对每帧RGB图像的深度图信息，同时提取及跟踪1人或多人RGB图像中的 人体3D骨架的动作特征向量，所述人体3D骨架为人体主要关节点的坐标数据；
[0034]步骤三，根据人体3D骨架的动作特征向量，进行包括对肢体尺寸、参考零点以及方 向的儿童危险动作监控目标的归一化处理；
[0035] 步骤四，筛选主要关节点的坐标数据，具体是指针对儿童跑、跳动作的特点，选取 儿童危险动作中权重最高的关节点：左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩 中心、脊柱、臀关节的关节点坐标的数据作为特征向量的原始输入值，记为V= [ν^,ν3， V4，V5，V6，V 7，V8，V9，V10，V11，V 12 ];所述w为取样关节点的个数，其数值为12;鉴于儿童的云力作 相对于成人较慢，同时又要兼顾到告警的实时性，时间序列的长度T设置ls，每秒取30帧骨 架数据;最终根据关节点动作特征包括速度、位置、角度的空间关系进行特征提取，得到行 为序列二维WXT特征矩阵Q =Uo,!/,(O7丨为时刻t的特征向量；
[0036] 步骤五，从筛选后的坐标数据中提取动作特征向量值，并构建动作特征向量序列； 所述动作特征向量序列为二维的空间及时间的序列，J= IJ1, ...，jt，.. .jT}，其中T为样本 序列的长度，而：
为时刻t关节点原始特征向量，其中(vf)表示关节 点归一化后的三位坐标，包括朝向、身高、三维空间位置的归一化；
[0037] 步骤六，对动作特征向量序列进行归一化处理，形成当前帧的η维多个人体动作特 征向量；
[0038] 步骤七，儿童危险动作识别是将得到的η维多个人体动作特征向量输入动作识别 模块，进行动作分类识别；如果识别出儿童危险动作，则进入步骤八，否则继续重复步骤一 至六;其中：
[0039] 所述动作识别模块是指一个儿童危险动作分类器，输入待分类的动作特征向量， 输出是否为危险动作类别，该分类器由动作训练模块提前训练完成；
[0040] 所述动作识别模块是指一个多层的动作分类器，第一层包括对危险动作、正常动 作进行分类的两类分类器;第二层包括对摔倒、快速跑动、打架危险动作进行具体分类的多 类分类器；
[0041] 所述动作识别模块是指一个儿童危险动作分类器，由儿童动作训练模块训练生 成，训练方法为，在幼儿园的活动中，通过步骤一至六采集大量动作特征向量的样本，并进 行人工标定分类，采用监督学习方法训练动作分类器;包括针对儿童运动特点而训练的摔 倒、快跑、跳跃需要告警的典型动作并形成摔倒动作序列；
[0042] 所述儿童危险动作是指摔倒动作时空序列，包括肩中心关节、臀中心关节垂直坐 标在序列周期内快速下降，肩中心相对角度快速变化；
[0043] 所述儿童危险动作是指快跑动作时空序列，包括序列周期内骨架朝向一致;左右 膝关节、左右脚关节垂直坐标快速变化;骨架在空间坐标快速移动；
[0044] 所述儿童危险动作是指跳跃动作时空序列，包括周期内左右脚在空间中垂直坐标 相对地面坐标高出阈值，并停留一定时间；
[0045] 所述儿童危险动作分类器为基于二维的空间时序隐马尔科夫模型（HMM)训练完 成，模型通过寻找连续人体运动来自动学习构成动作的序列，并对序列分类，进而实现对动 作的识别，隐马尔科夫模型非常适合处理多变量时变数据匹配问题，故采用隐马尔科夫模 型来对行为特征序列进行分类和识别；一个隐马尔科夫模型可用5元组表示:λ= {S，V，H， B，JT }，Sw为状态集合，Vw为空间维度上状态转移矩阵，Hw为时间维度上状态转移矩阵，B w为输 出概率密度，#为各状态集初始分布概率;或者采用K近邻算法、支持向量机的多种分类、回 归和数据聚类机器学习算法来训练的儿童危险动作分类器；
[0046]步骤八，启动视频录制，通过RGB摄像头录制录像;所述RGB摄像头录制录像是指拍 摄当时小段视频推送至相关管理人员手机或其他能够及时收到信息的设备;所述小段视频 是指既能够保证管理人员能准确判断当时情况，又能够保证及时传输的1秒钟或几秒钟以 内的视频。
[0047]步骤九，生成告警信息，上报至预警模块；
[0048] 步骤十，预警模块在预定场所播放预设的对应不同的人体危险动作的告警声，以 警示儿童危险动作的继续发生；
[0049] 步骤十一，通过网络将信息报送至对应管理人员随身的其它智能设备，以便由相 关人员采取恰当的措施来阻止儿童危险动作的发生。
[0050] 下面结合附图进一步说明本发明的具体实施例，所举实施例只用于解释本发明， 并非用于限定本发明的范围。
[0051] 如图1所示，本发明提出的一种基于体感技术的幼儿园智能监控方法是对基于体 感技术的幼儿园智能监控系统的具体应用，所述基于体感技术的幼儿园智能监控系统，包 括体感设备、动作识别模块、预设动作库训练输入模块、预警模块;其中：体感设备包括一个 红外发射器、红外接收器、RGB摄像头、3D体感芯片，能够实时输出空间的三维数据测量，可 选用Kinect体感摄像头、Xtion PRO等体感设备;所述预警模块，该模块连接互联网，对接各 类即时通应用;收到预警信息时，播放预警信息，并通过网络推送照片或短视频到相关管理 人员的其它智能设备。
[0052]如图2所示，根据本发明提出的一种基于体感技术的幼儿园智能监控方法的归类 步骤的具体实施例如下：
[0053]步骤1，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像；
[0054]步骤2,提取人体3D骨架，骨架即为人体重要关节点的数据；
[0055]步骤3，动作识别模块通过骨架信息，识别出动作，具体包括：
[0056]步骤3.1将人体3D关节坐标进行归一化处理，具体方法为选择一个人体关节坐标 为模型，将得到的肢体矢量放大至模型的长度；
[0057]步骤3.2筛选出儿童动作关键的关节点数据，共有12个关节点，左脚、右脚、左膝、 右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关节关节点；
[0058] 步骤3.3从骨架关节点数据中提取动作特征值，具体是指包括身体高度、倾斜角 度、倾斜速度、运动轨迹的特征，并构建动作特征向量序列；
[0059] 步骤3.4将动作特征向量进行归一化处理，形成当前帧的人体动作的η维特征向 量，归一化包括大小归一化、位置归一化;归一化的目的在于减少人体差异性和位置差异带 来的影响。
[0060] 步骤3.5儿童危险动作识别是将得到的η维动作特征向量输入动作识别模块，进行 动作分类识别，如果识别出为危险动作，进入步骤3.6，否则继续重复上述各步骤;动作识别 模块是一个多层的动作分类器，第一层为二类的分类器，分为危险动作类、正常动作类，第 二层对危险动作进行多类分类器，对危险动作进行具体分类，如摔倒、快速跑动、打架等；由 儿童动作训练模块训练生成;训练方法是，在幼儿园的活动中，通过上述各步骤采集大量动 作特征向量样本，并进行人工标定分类，采用监督学习方法训练动作分类器；
[0061 ] 步骤3.6启动视频录制，通过RGB摄像头录制1秒录像；
[0062]步骤3.7生成告警信息，上报至预警模块；
[0063]步骤4,预警模块收到告警信息后的实时处理，包括：
[0064]步骤4.1预警模块在场所播放预设的对应动作的告警声，以警示儿童危险动作的 继续发生；
[0065]步骤4.2通过网络将信息报送至对应管理人员随身的其它智能设备，相关人员采 取恰当的措施阻止儿童危险动作的发生。
[0066]本发明的【具体实施方式】中凡未涉到的说明属于本领域的公知技术，可参考公知技 术加以实施。
[0067]本发明经反复试验验证，取得了满意的试用效果。
[0068]以上【具体实施方式】及实施例是对本发明提出的一种基于体感技术的幼儿园智能 监控方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的 技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术 方案保护的范围。
【主权项】
1. 一种基于体感技术的幼儿园智能监控方法，其特征在于，包括如下基本步骤： 步骤一，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像； 步骤二，针对每帧RGB图像的深度图信息，同时提取及跟踪1人或多人RGB图像中的人体 3D骨架，所述人体3D骨架为人体主要关节点的坐标数据； 步骤三，根据人体3D骨架的动作特征向量，进行包括对肢体尺寸、参考零点以及方向的 儿童危险动作监控目标的归一化处理； 步骤四，筛选主要关节点的坐标数据； 步骤五，从筛选后的坐标数据中提取动作特征向量值，并构建动作特征向量序列； 步骤六，对动作特征向量序列进行归一化处理，形成当前帧的η维多个人体动作特征向 量； 步骤七，儿童危险动作识别是将得到的η维多个人体动作特征向量输入动作识别模块， 进行动作分类识别;如果识别出儿童危险动作，则进入步骤八，否则继续重复步骤一至六； 步骤八，启动视频录制，通过RGB摄像头录制录像； 步骤九，生成告警信息，上报至预警模块； 步骤十，预警模块在预定场所播放预设的对应不同的人体危险动作的告警声，以警示 儿童危险动作的继续发生； 步骤十一，通过网络将信息报送至对应管理人员随身的其它智能设备，以便由相关人 员采取恰当的措施来阻止儿童危险动作的发生。2. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于，步骤 四所述筛选主要关节点的坐标数据是指针对儿童跑、跳动作的特点，选取儿童危险动作中 权重最高的关节点：左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关 节的关节点坐标的数据作为特征向量原始输入值并记为V，该V= [ v1，v2，v3，v4，v5，v 6，v7，V8， vVW2]。3. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于，步骤 五所述动作特征向量序列为二维的时空序列并记为J，该JilJi，. . .，jt，. . . jT}，其中T为样 本序列的长度，而J<(v,(1>)，…，?，，…?")]为时亥Ut各关节点的原始特征向量输入值V，而 (v广>)表示关节点归一化后的三位坐标，包括朝向、身高、三维空间位置的归一化。4. 根据权利要求3所述的一种基于体感技术的幼儿园智能监控方法，其特征在于，所述 w为取样关节点的个数，其数值为12;鉴于儿童的动作相对于成人较慢，同时又要兼顾到告 警的实时性，时间序列的长度T设置ls，每秒取30帧骨架数据;最终根据关节点动作特征包 括速度、位置、角度的空间关系进行特征提取，得到行为序列二维W XT特征矩阵 A (<八为时刻t的特征向量。5. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于，步骤 七所述动作识别模块是指一个儿童危险动作分类器，输入待分类的动作特征向量，输出是 否为危险动作类别，该分类器由动作训练模块提前训练完成。6. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于，步骤 七所述动作识别模块是指一个多层的动作分类器，第一层包括对危险动作、正常动作进行 分类的两类分类器;第二层包括对摔倒、快速跑动、打架危险动作进行具体分类的多类分类 器。7. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于步骤 七所述的动作识别模块是指一个儿童危险动作分类器，由儿童动作训练模块训练生成，训 练方法为，在幼儿园的活动中，通过步骤一至六采集大量特征向量的样本，并进行人工标定 分类，采用监督学习方法训练动作分类器;包括针对儿童运动特点而训练的摔倒、快跑、跳 跃需要告警的典型动作并形成摔倒动作序列。8. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于步骤 七所述儿童危险动作是指摔倒动作时空序列，包括肩中心关节、臀中心关节垂直坐标在序 列周期内快速下降，肩中心相对角度快速变化。9. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于步骤 七所述儿童危险动作是指快跑动作时空序列，包括序列周期内骨架朝向一致;左右膝关节、 左右脚关节垂直坐标快速变化;骨架在空间坐标快速移动。10. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于步骤 七所述儿童危险动作是指跳跃动作时空序列，包括周期内左右脚在空间中垂直坐标相对地 面坐标高出阈值，并停留一定时间。11. 根据权利要求6所述的一种基于体感技术的幼儿园智能监控方法，其特征在于，所 述儿童危险动作分类器为基于二维的空间时序隐马尔科夫模型(HMM)训练完成，模型通过 寻找连续人体运动来自动学习构成动作的序列，并对序列分类，进而实现对动作的识别，隐 马尔科夫模型非常适合处理多变量时变数据匹配问题，故采用隐马尔科夫模型来对行为特 征序列进行分类和识别；一个隐马尔科夫模型可用5元组表示:A={S，V，H，B，3i}，S wSW· 集合，Vw为空间维度上状态转移矩阵，HW为时间维度上状态转移矩阵，B W为输出概率密度，# 为各状态集初始分布概率;或者采用K近邻算法、支持向量机的多种分类、回归和数据聚类 机器学习算法来训练的儿童危险动作分类器。12. 根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法，其特征在于步骤 八所述RGB摄像头录制录像是指拍摄当时小段视频推送至相关管理人员手机或其他能够及 时收到信息的其他智能设备;所述小段视频是指既能够保证管理人员能准确判断当时情 况，又能够保证及时传输的1秒钟或几秒钟以内的视频。
【文档编号】G06K9/62GK106056035SQ201610210171
【公开日】2016年10月26日
【申请日】2016年4月6日 公开号201610210171.6, CN 106056035 A, CN 106056035A, CN 201610210171, CN-A-106056035, CN106056035 A, CN106056035A, CN201610210171, CN201610210171.6
【发明人】周晓军, 杨高峰, 李骊, 盛赞
【申请人】南京华捷艾米软件科技有限公司