一种面向电扶梯的人体动作本征特征提取的方法及系统与流程

1.本发明涉及一种面向电扶梯的人体动作本征特征提取的方法及系统，属安全监控及大数据处理技术领域。


背景技术：

2.电动扶梯作为运输行人和物品的重要工具之一，保有量逐年增加，越来越多的电扶梯被应用于车站、商业建筑、旅馆等场所，已成为生活中不可或缺的组成部分，然而电扶梯具有长时间不间断运行的特性，一旦行人因逆行、跌倒或运送婴儿车等违规物品而发生意外，未能紧急制动的扶梯将对人身造成持续严重伤害，同时扶梯机械结构可能对人身造成持续严重伤害，针对这一现象，当前一种是依靠人工方式进行管理，通过在扶梯的入口、出口等位置安装摄像头采集实时视频，将多处的扶梯监控视频汇总后派专门的人负责监管，对视频中存在的危险情况进行人工筛选报警；另一种是使用电磁波感应并对行人作出基础预警，但是类似的装置还停留在传统技术层面，且只能对行人起到提醒作用，无法应对复杂多变的使用场景，更无法做出危险报警或响应，且传统的视频监控系统无法实时分析视频，依靠人工监控的方式识别率低、响应速度慢，无法适应大规模应用的需要。
3.因此针对这一问题，研究基于计算机视觉技术的用于电扶梯场景的行人安全监测系统具有很强的工程应用价值。


技术实现要素：

4.为了解决现有技术上的不足，本发明提供面向电扶梯的人体动作本征特征提取的方法及系统。
5.一种面向电扶梯的人体动作本征特征提取的方法，包括如下步骤：
6.s1，系统整体框架设计，首先根据电扶梯在建筑物中的分布位置、运行方向机电扶梯自身结构，设定电扶梯上至少一个视频识别取景区域，并为每个视频识别取景区域配备一台监控用摄像机及与摄像机配套的变焦镜头，并使监控摄像机的有效监控视场范围面积为器所监控视频识别取景区域面积的至少1.1倍；然后根据电扶梯在建筑物中的分布位置、建筑物内采光条件及选择使用的摄像机的像素参数、分布位置，一方面为各监控用摄像机配备专用补光灯；另一方面根据后续数据处理运算需要，设定人体行为特征分析数据处理硬件系统平台；最后为人体行为特征分析数据处理硬件系统平台中录入底层操作系统；
7.s2，核心算法录入，完成s1步骤后，向s1步骤中构建的人体行为特征分析数据处理硬件系统平台的底层操作系统录入人体行为特征分析算法，具体包括基于增量张量子空间分析的背景建模算法、基于保持稀疏重构的半监督字典学习及高效分类算法、基于图嵌入学习与粒子群优化的运动跟踪模型算法、基于局部时空特征的人体行为理解算法；
8.s3,系统测试与集成，完成s2步骤后，首先将系统与1台特定运行环境下的电扶梯处的各摄像机建立数据连接，并驱动相应摄像机进行电扶梯运行状态视频采集，然后对采集数据通过核心算法进行分析作业，并将分析结果与电扶梯实际运行状态进行比对，并根
x
+ x
‑
]，x在当前字典d下的稀疏表示矩阵为a＝[a
unlabel a
+ a
‑
]；记g为原始数据的稀疏重构系数矩阵，即g的第i行表示样本x
i
在x中的稀疏重构系数(其中要求x
i
不能用它本身来表示，即g
ii
≠0)，则建立以下优化函数
[0017][0018]
其中0<p<1，和表示同一类样本共享若干少量的字典模板，由于x
unlabel
中有可能包含目标样本，也有可能包含背景样本，因此这里只要求它们在字典d下的线性表达系数a
unlabel
稀疏即可，表达了稀疏系数之间仍然保持了数据之间的重构关系，由此所更新出来的字典d可以有效地去除噪声、遮挡等问题的影响，实现本质特征模板的提取；
[0019]
然后，运用迭代的方法求解轮流求解a
+
，a
‑
，a
unlabel
和d；具体求解过程如下：
[0020]
a
+
与a
‑
的求解：
[0021]
记w＝i
‑
g＝[w
unlabel w
+ w
‑
]，并a
+
，x
+
，w
+
重新记为a，x，w，则关于a
+
的优化问题可重新写为：
[0022][0023]
令即得：
[0024]
d
t
(da
‑
x)+λ3(aw
t
+q)w+λ1ua＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0025]
其中||α
i
||表示矩阵a的第i行的2范数，通过求解方程(2)即可得到a
+
；
[0026]
此外a
+
，a
‑
优化形式相同，因此返回上述函数即可同理实现a
‑
的求解；
[0027]
a
unlabel
的求解：将a
unlabel
，x
unlabel
，w
unlabel
重新记为a，x，w，并记则关于a
unlabel
的优化问题可重新写为：
[0028][0029]
为了求解上述优化问题，引入函数其中a0是a的初始值，始值，则a的求解可通过如下迭代求解
[0030][0031]
其中(4)可通过软阈值方法获得解析解；
[0032]
d的求解：d＝(xa
t
)(aa
t
)
‑1。
[0033]
基于rademacher正则化理论的高效svm运动区域分类器：
[0034]
首先，设计一种混合线性的快速svm分类器形式，
[0035][0036]
其中，x为输入样本，v
ij
和b
i
分别为线性子分类器的权重系数和偏差，可以看出，分类器的输出为n
c
个子分类器群组的输出之和，而每个群组的输出则是n
t
个相互竞争的子分类器输出的最大值；
[0037]
然后，rademacher复杂度可以看作函数集vc维的一个经验值，根据rademacher复杂度，建立以下带有rademacher正则化约束项的优化问题
[0038][0039]
其中l(f(x),y)表示损失函数，λ是正则化系数；
[0040]
最后，根据上述优化函数，建立一个具有层次树结构的svm分类器，用线性svm不断把错分的正(负)类样本从当前分类器所分得的负(正)类中分离出来再进行训练。
[0041]
进一步的，所述的s2步骤中基于图嵌入学习与粒子群优化的运动跟踪模型算法，构建基于图嵌入学习的人体表观模型，并通过基于粒子群优化的运动跟踪框架实现对人体的鲁棒跟踪，具体从以下两个部分实施：
[0042]
基于图嵌入学习的人体表观模型：该算法将目标跟踪视为一个前景与背景的分类问题，具体为：首先通过初始化获得正样本以及一系列负样本，并且构建起正样本、负样本以及正负样本关系的图结构；然后通过图嵌入理论学习出正样本的模式空间，以及正负样本之间的判别空间，基于这两个模式空间学习，构建起鲁棒的观测模型，并通过该观测模型获得样本的置信概率，样本的最大后验概率即为所跟踪的状态；最后通过基于子空间的启发式策率选择正样本和负样本，并增量地更新嵌入图的结构；
[0043]
基于粒子群优化的运动跟踪框架：本算法分为三步实施，具体为：
[0044]
首先，对上一帧图像跟踪收敛后的个体最优粒子进行时序上的随机传播，以提高样本粒子的多样性，由于个体最优粒子的紧致性，因而不需要对粒子进行重采样；
[0045]
然后，对样本粒子进行退火优化迭代，在迭代过程中通过目标的表观模型与样本的匹配程度来评价粒子的适应值，从而更新粒子群的个体最优粒子和群体最优粒子，用以指导粒子群的进化迭代过程；
[0046]
最后，对进化的粒子进行收敛性判断，并输出跟踪结果。
[0047]
进一步的，所述的s2步骤中基于局部时空特征的人体行为理解算法包括基于时空流形学习的人体动作识别、基于多特征联合稀疏编码的人体动作识别和基于主导级学习的人的行为理解三部分，其中：
[0048]
基于时空流形学习的人体动作识别：针对人体目标的非刚体运动、外观表现的多变性(动作执行者不同、环境不同)和人体动作的高时空复杂性和长时空相关性等特点，采用非线性降维方法，将传统的空间流形学习算法向时空域扩展，从而提取不依赖于物理意义的数学新特征，其评价系统和选择应取决于对检测和跟踪的试验结果的分析，具体方法为：
[0049]
首先，将人体跟踪的图像区域分离出来，并将分离后的图像块放缩到统一的尺度上，然后把每一个图像块按照列的方式串联起来形成列向量x∈r
p
，其中p是每一帧所包含的像素数。令x＝{x1,
…
,x
n
}表示所有的个人体跟踪图像块，其中列向量x
i
描述该人体动作帧的空间信息；
[0050]
然后，假设与是两个时间序列，它们来自于不同的动作序列，每一个颜色点代表动作序列的一帧。如果两个点靠的很近，就认为它们在外观上相似，但是如果它们属于不同的动作类别，并在非线性降维过程中着重关注这些数据点；
[0051]
最后，第一步先对原始动作序列空间提出一种新的距离度量，确保引起动作变化的本质变量邻近的动作样本彼此邻近；在同一种动作序列下的动作彼此邻近；不同动作序列样本集之间的距离最大；假定动作x
i
的变化可描述为其中是造成动作变化的本质变量，按上述要求定义的距离度量d应同时满足下述条件：
[0052][0053]
第二步结合现有的非线性降维算法理论，在给定原始高维空间的基础上，寻找保持最优条件的低维特征空间，从而获得高维空间到特征空间的非线性显性表达，原始高维数据空间到低维空间的映射f应满足如下相似性要求
[0054][0055]
其中s是根据新的距离度量d定义的相似性度量，并定义为s(x,y)＝exp(
‑
d(x,y))；同时把非线性降维方法提取的新的本质特征与物理特征进行有效融合，共同帮助实现准确的动作识别。
[0056]
基于多特征联合稀疏编码的人体动作识别：该模型具体分为以下几步：
[0057]
第一步，在获得人体的动作图像序列后，采用laptev等人提出的harris3d检测器检测时空兴趣点；
[0058]
第二步，在每一个兴趣点处抽取视频立方块来计算动作的局部时空描述，它们包含了若干帧该兴趣点处的局部运动，即每个视频立方块都是一个三维张量，大小为n1×
n2×
n3，其中n1×
n2为兴趣点图像块的尺寸，n3为视频的帧数；
[0059]
第三步，针对每一个视频立方块，提取k种不同特征(比如颜色、形状、纹理等)，对
于第k个特征，其对应的特征字典可以表示为其中n是字典原子的个数，其中字典d
k
可以通过k
‑
means聚类算法来对训练数据中提取的大量视频立方块的第k个特征进行聚类获得，令第k个特征表示下的一个立方块为m
k
，它可以表示为：
[0060][0061]
其中为第k个特征下该立方块的表示系数，η
k
为残差项；们希望用尽可能少的模板对该立方块m
k
进行重构，通过对w
k
加上l0范数的约束来实现模板对该立方块m
k
进行重构，同时将属于同一立方块但对应于不同特征的表示系数加上l2范数的约束，从而使得该立方块在多特征表示下达到共同稀疏；由此多特征联合稀疏表示的优化问题可以表示为：
[0062][0063]
其中w＝[w1,w2,
…
,w
k
]。上式中l
2,0
混合范数的具体计算表达式为：
[0064][0065]
其中然而优化问题(7)是np难问题，因此我们用l
2,p
范数(0<p≤1)来代替l
2,0
范数，得到如下优化问题，
[0066][0067]
其中l
2,p
范数定义如下，
[0068][0069]
l
2,p
范数不仅保留了联合稀疏的特性，而且使得优化问题更容易求解。
[0070]
第四步，所有视频立方块的稀疏表示系数矩阵记为其中n为立方块的个数，将每个稀疏表示系数矩阵按照列的方式串联起来形成局部特征的稀疏编码，记为利用最大池技术(max pooling)，将这些稀疏编码片段进行联合从而得到视频的全局特征即
[0071][0072]
第五步，运用svm或者其它分类算法对该动作的全局特征进行识别；
[0073]
基于主导级学习的人的行为理解：采用提取人的形状上下文特征，通过基于图论的主导级学习方法对特征进行分类，具体分为以下两个阶段：
[0074]
第一阶段:训练样本库，样本的动作种类由人工标定，每一类行为作为一种类别，这样每一帧图像都有了自己的行为类；在实现人的跟踪之后，提取每一帧图像上的目标轮
廓信息作为特征，并用形状上下文进行描述，这样一个视频序列就被解析成了一个特征序列；然后用主导级方法对所有特征进行学习，所获得的类别作为图像类，统计每一图像类序列中的行为类分布情况，就可以得到一个图像类到行为类的转换概率表；
[0075]
第二阶段:识别测试视频，对于测试视频段，在实现人的跟踪提取之后，同样使用形状上下文将其表述成一个特征序列，然后用主导级方法将每一帧图像进行分类，当测试视频帧序列转化成了图像类序列后，通过训练时得到的图像类到行为类的转换概率表，可以得到每一帧到所有行为类的转换概率，并在视频帧序列上做局部统计，得到局部里的帧所属的行为类别，实现行为理解。
[0076]
一种实现面向电扶梯的人体动作本征特征提取方法的系统，包括数据处理后台服务器、通讯网关、通讯网络、现场数据采集终端及远程操控终端，其中所述数据处理后台服务器通过通讯网络与若干通讯网关建立数据连接，所述通讯网关分为操控组和采集组，且操控组和采集组中均包括若干由通讯网络混连的通讯网关，其中操控组的通讯网关通过通讯网络与若干远程操控终端建立数据连接，采集组的通讯网关通过通讯网络与现场数据采集终端建立数据连接。
[0077]
进一步的，所述的现场数据采集终端包括承载底座、三维转台机构、倾角传感器、角度传感器、亮度传感器、摄像机、补光灯及驱动电路，其中所述承载底座为横断面呈矩形的腔体结构，所述驱动电路嵌于承载底座内并分别与三维转台机构、倾角传感器、角度传感器、亮度传感器、摄像机、补光灯电气连接，其中所述摄像机通过三维转台机构与承载底座上端面铰接，其光轴与水平面呈0
°‑
90
°
夹角，所述补光灯至少两个，对称分布在摄像机轴线两侧，并分别通过三维转台机构与承载底座铰接，且所述补光灯光轴与摄像机光轴呈0
°‑
180
°
夹角，所述倾角传感器数量与摄像机、补光灯数量一致，且摄像机、补光灯上表面均设至少一个倾角传感器，所述亮度传感器至少两个，分别嵌于摄像机的前端面及后端面位置，其光轴与摄像机光轴平行分布，所述三维转台机构上另分别设至少一个角度传感器。
[0078]
本发明一方面系统构成简单，可有效利用电梯系统现有的监控系统实现对电梯运行及人员行为识别分析作业的需要，系统构建及维护成本低，施工工作量小，极大的提高了系统的通用性和环境适用性；另一方面在运行中，可实现对电梯乘用人员进行全面精确的人员识别、人员行为识别并对影响电梯运行安全及人员人身安全行为及时发现、预警并应急处置，且系统具有良好的深度学习能力，可在有效提高人员行为识别作业精度和拓展人员行为识别范围的同时，有效降低系统维护及更新的难度及成本，有效降低了系统操作及维护的难度。
附图说明
[0079]
下面结合附图和具体实施方式来详细说明本发明；
[0080]
图1为本发明方法流图；
[0081]
图2为本发明系统构建设计方法示意图；
[0082]
图3为本发明系统软件系统结构示意图；
[0083]
图4为增量张量子空间学习算法示意图；
[0084]
图5为目标样本、背景样本的图结构示意图；
[0085]
图6为人体跟踪与分离结构示意图；
[0086]
图7为两组不同动作序列的非线性降维示意图；
[0087]
图8基于多特征联合稀疏编码的人体动作识别模型结构示意图；
[0088]
图9为算法离线数据库测试流程结构示意图；
具体实施方式
[0089]
为使本发明实现的技术手段、创作特征、达成目的与功效易于施工，下面结合具体实施方式，进一步阐述本发明。
[0090]
如图1
‑
图3所述的，一种面向电扶梯的人体动作本征特征提取的方法，包括如下步骤：
[0091]
s1，系统整体框架设计，首先根据电扶梯在建筑物中的分布位置、运行方向机电扶梯自身结构，设定电扶梯上至少一个视频识别取景区域，并为每个视频识别取景区域配备一台监控用摄像机及与摄像机配套的变焦镜头，并使监控摄像机的有效监控视场范围面积为器所监控视频识别取景区域面积的至少1.1倍；然后根据电扶梯在建筑物中的分布位置、建筑物内采光条件及选择使用的摄像机的像素参数、分布位置，一方面为各监控用摄像机配备专用补光灯；另一方面根据后续数据处理运算需要，设定人体行为特征分析数据处理硬件系统平台；最后为人体行为特征分析数据处理硬件系统平台中录入底层操作系统；
[0092]
s2，核心算法录入，完成s1步骤后，向s1步骤中构建的人体行为特征分析数据处理硬件系统平台的底层操作系统录入人体行为特征分析算法，具体包括基于增量张量子空间分析的背景建模算法(参见图4)、基于保持稀疏重构的半监督字典学习及高效分类算法、基于图嵌入学习与粒子群优化的运动跟踪模型算法、基于局部时空特征的人体行为理解算法；
[0093]
s3,系统测试与集成，完成s2步骤后，首先将系统与1台特定运行环境下的电扶梯处的各摄像机建立数据连接，并驱动相应摄像机进行电扶梯运行状态视频采集，然后对采集数据通过核心算法进行分析作业，并将分析结果与电扶梯实际运行状态进行比对，并根据比对结果对核心算法进行纠正直至系统分析检测准确率达到运行要求为止，并在系统运行准确率达到设定标准后，即可完成算法离线数据库测试与验证(参见图9)；然后将多个不同场景下的电扶梯及其摄像头与人体行为特征分析数据处理硬件系统平台建立数据连接，并由人体行为特征分析数据处理硬件系统平台的人体行为特征分析算法对各电扶梯运行状态进行监控分析作业，然后将分析结果与实际运行状态比对，并根据比对结果对核心算法进行纠正直至系统分析检测准确率达到运行要求为止，并在系统运行准确率达到设定标准后，即可完成统集成与实际测试；最后将完成检测后的系统与各电扶梯及相应的摄像头间建立数据连接，并驱动电扶梯运行及对电扶梯上行人状态进行监控分析；
[0094]
s4,系统运行及更新，完成s3步骤后，即可将各场景环境下的电扶梯及电扶梯匹配的摄像头与人体行为特征分析数据处理硬件系统平台建立数据连接，由人体行为特征分析数据处理硬件系统平台对各电扶梯运行中人员进行识别监控，并对人员危险动作进行识别、预警及应急处理，同时在人体行为特征分析数据处理硬件系统平台驱动电扶梯运行时，另由人体行为特征分析数据处理硬件系统平台的核心算法对监控中识别的人体行为进行记录并建立人体行为识别数据库，并将人体行为识别数据库数据带入到s3步骤，实现对核心算法定期验证和对人体行为深度分析学习。
[0095]
本实施例中，所述的是s1步骤中，人体行为特征分析数据处理硬件系统平台包括服务器及若干客户端，服务器端安装在系统检测器，主要用于跟踪结果基础上的违法行为分析，客户端利用ie等浏览器进行必要的系统配置，并利用xml文件以消息的方式传递给服务器，服务器端功能包括数据读取、系统配置以及人体行为分析等三大模块；所述底层操作系统采用b/s总体架构。
[0096]
其中，服务器运行中一旦分析到存在异常行为时，则进入取证流程，并将取证数据通过3g或者有线的方式传输到指定的数据服务器。目前，很多工业用box pc都有pcie接口，可直接插上运营商的3g sim卡进行数据传输；
[0097]
与此同时，摄像机选择时，综合考虑摄像机的取景范围和整个系统的成本，针对取景范围，将选用不同的摄像机。例如：对于范围较小的场景，可需用300万的高清摄像机；对于范围较大的场景，需要选用500万的高清摄像机。根据架设摄像机的立杆与监控范围的距离，还需要选用不同的变焦镜头。
[0098]
补光灯的选择：补光灯主要用于夜晚，或者白天亮度不够的情况。由于可能需要覆盖一定距离内(15
‑
30米)的区域，因此补光灯需要足够的功率。另外，需要加配光阀，保证补光灯只在亮度不够的情况下有效，
[0099]
服务器要适应夏天的炎热(60℃)和冬天的寒冷(
‑
20℃)，因此必须具有较强处理能力，能在宽温条件下稳定工作。而且能在死机后实现自动重启，恢复工作。
[0100]
重点说明的，所述的s2步骤中基于增量张量子空间分析的背景建模算法：
[0101]
首先用离线的高阶svd训练一个先验的背景模型，该背景模型主要是由训练图像序列的均值背景图像以及高阶svd在不同模式下的投影矩阵组成，然后将图像的三阶张量数据按三个模式进行展开，对第一个和第二个展开模式的列数据进行奇异值分解，对第三展开模式的行数据进行奇异值分解，获得所展开模式的均值和特征向量，并由此建立背景的张量子空间模型；最后通过计算图像和子空间的重构误差来确定像素的归属(背景或前景)，并用那些被判断为背景像素组成的图像序列进行在线子空间学习，并采用采用指数衰减的方式对不同时刻的图像观测进行遗忘处理。
[0102]
同时，所述的s2步骤中基于保持稀疏重构的半监督字典学习及高效分类算法：该算法包括基于保持稀疏重构的半监督字典学习、基于rademacher正则化理论的高效svm运动区域分类器两部分，其中：
[0103]
基于保持稀疏重构的半监督字典学习：本算法根据数据本身之间的稀疏结构关系，利用半监督的方法学习出人体与其它运动目标具有区分性的模板字典，实现模板字典的在线更新，同时也为下面人体的鲁棒跟踪提供了可靠的模板；具体算法为：
[0104]
首先，采集若干先验人体样本作为正样本，这些样本所组成的集合记为x
+
，检测到的运动区域样本为无标签样本x
unlabel
，随机采集到的背景样本集合记为x
‑
；记x＝[x
unlabel x
+ x
‑
]，x在当前字典d下的稀疏表示矩阵为a＝[a
unlabel a
+ a
‑
]；记g为原始数据的稀疏重构系数矩阵，即g的第i行表示样本x
i
在x中的稀疏重构系数(其中要求x
i
不能用它本身来表示，即g
ii
≠0)，则建立以下优化函数
[0105]
[0106]
其中0<p<1，和表示同一类样本共享若干少量的字典模板，由于x
unlabel
中有可能包含目标样本，也有可能包含背景样本(参见图5)，因此这里只要求它们在字典d下的线性表达系数a
unlabel
稀疏即可，表达了稀疏系数之间仍然保持了数据之间的重构关系，由此所更新出来的字典d可以有效地去除噪声、遮挡等问题的影响，实现本质特征模板的提取；
[0107]
然后，运用迭代的方法求解轮流求解a
+
，a
‑
，a
unlabel
和d；具体求解过程如下：
[0108]
a
+
与a
‑
的求解：
[0109]
记w＝i
‑
g＝[w
unlabel w
+ w
‑
]，并a
+
，x
+
，w
+
重新记为a，x，w，则关于a
+
的优化问题可重新写为：
[0110][0111]
令即得：
[0112]
d
t
(da
‑
x)+λ3(aw
t
+q)w+λ1ua＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0113]
其中||α
i
||表示矩阵a的第i行的2范数，通过求解方程(2)即可得到a
+
；
[0114]
此外a
+
，a
‑
优化形式相同，因此返回上述函数即可同理实现a
‑
的求解；
[0115]
a
unlabel
的求解：将a
unlabel
，x
unlabel
，w
unlabel
重新记为a，x，w，并记则关于a
unlabel
的优化问题可重新写为：
[0116][0117]
为了求解上述优化问题，引入函数其中a0是a的初始值，始值，则a的求解可通过如下迭代求解
[0118][0119]
其中(4)可通过软阈值方法获得解析解；
[0120]
d的求解：d＝(xa
t
)(aa
t
)
‑1。
[0121]
基于rademacher正则化理论的高效svm运动区域分类器：
[0122]
首先，设计一种混合线性的快速svm分类器形式，
[0123]
[0124]
其中，x为输入样本，v
ij
和b
i
分别为线性子分类器的权重系数和偏差，可以看出，分类器的输出为n
c
个子分类器群组的输出之和，而每个群组的输出则是n
t
个相互竞争的子分类器输出的最大值；
[0125]
然后，rademacher复杂度可以看作函数集vc维的一个经验值，根据rademacher复杂度，建立以下带有rademacher正则化约束项的优化问题
[0126][0127]
其中l(f(x),y)表示损失函数，λ是正则化系数；
[0128]
最后，根据上述优化函数，建立一个具有层次树结构的svm分类器，用线性svm不断把错分的正(负)类样本从当前分类器所分得的负(正)类中分离出来再进行训练。
[0129]
此外，所述的s2步骤中基于图嵌入学习与粒子群优化的运动跟踪模型算法，构建基于图嵌入学习的人体表观模型，并通过基于粒子群优化的运动跟踪框架实现对人体的鲁棒跟踪，具体从以下两个部分实施：
[0130]
基于图嵌入学习的人体表观模型：该算法将目标跟踪视为一个前景与背景的分类问题，具体为：首先通过初始化获得正样本以及一系列负样本，并且构建起正样本、负样本以及正负样本关系的图结构；然后通过图嵌入理论学习出正样本的模式空间，以及正负样本之间的判别空间，基于这两个模式空间学习，构建起鲁棒的观测模型，并通过该观测模型获得样本的置信概率，样本的最大后验概率即为所跟踪的状态；最后通过基于子空间的启发式策率选择正样本和负样本，并增量地更新嵌入图的结构；
[0131]
基于粒子群优化的运动跟踪框架：本算法分为三步实施，具体为：
[0132]
首先，对上一帧图像跟踪收敛后的个体最优粒子进行时序上的随机传播，以提高样本粒子的多样性，由于个体最优粒子的紧致性，因而不需要对粒子进行重采样；
[0133]
然后，对样本粒子进行退火优化迭代，在迭代过程中通过目标的表观模型与样本的匹配程度来评价粒子的适应值，从而更新粒子群的个体最优粒子和群体最优粒子，用以指导粒子群的进化迭代过程；
[0134]
最后，对进化的粒子进行收敛性判断，并输出跟踪结果。
[0135]
与此同时，所述的s2步骤中基于局部时空特征的人体行为理解算法包括基于时空流形学习的人体动作识别、基于多特征联合稀疏编码的人体动作识别和基于主导级学习的人的行为理解三部分，其中：
[0136]
基于时空流形学习的人体动作识别：针对人体目标的非刚体运动、外观表现的多变性(动作执行者不同、环境不同)和人体动作的高时空复杂性和长时空相关性等特点，采用非线性降维方法，将传统的空间流形学习算法向时空域扩展，从而提取不依赖于物理意义的数学新特征，其评价系统和选择应取决于对检测和跟踪的试验结果的分析，具体方法为：
[0137]
参见图6
‑
图7，首先，将人体跟踪的图像区域分离出来，并将分离后的图像块放缩到统一的尺度上，然后把每一个图像块按照列的方式串联起来形成列向量x∈r
p
，其中p是每一帧所包含的像素数。令x＝{x1,
…
,x
n
}表示所有的个人体跟踪图像块，其中列向量x
i
描述该人体动作帧的空间信息；
[0138]
然后，假设与是两个时间序列，它们来自于不同的动作序列，每一个颜色点代表动作序列的一帧。如果两个点靠的很近，就认为它们在外观上相似，但是如果它们属于不同的动作类别，并在非线性降维过程中着重关注这些数据点；
[0139]
最后，第一步先对原始动作序列空间提出一种新的距离度量，确保引起动作变化的本质变量邻近的动作样本彼此邻近；在同一种动作序列下的动作彼此邻近；不同动作序列样本集之间的距离最大；假定动作x
i
的变化可描述为其中是造成动作变化的本质变量，按上述要求定义的距离度量d应同时满足下述条件：
[0140][0141]
第二步结合现有的非线性降维算法理论，在给定原始高维空间的基础上，寻找保持最优条件的低维特征空间，从而获得高维空间到特征空间的非线性显性表达，原始高维数据空间到低维空间的映射f应满足如下相似性要求
[0142][0143]
其中s是根据新的距离度量d定义的相似性度量，并定义为s(x,y)＝exp(
‑
d(x,y))；同时把非线性降维方法提取的新的本质特征与物理特征进行有效融合，共同帮助实现准确的动作识别。
[0144]
参见图8，基于多特征联合稀疏编码的人体动作识别：该模型具体分为以下几步：
[0145]
第一步，在获得人体的动作图像序列后，采用laptev等人提出的harris3d检测器检测时空兴趣点；
[0146]
第二步，在每一个兴趣点处抽取视频立方块来计算动作的局部时空描述，它们包含了若干帧该兴趣点处的局部运动，即每个视频立方块都是一个三维张量，大小为n1×
n2×
n3，其中n1×
n2为兴趣点图像块的尺寸，n3为视频的帧数；
[0147]
第三步，针对每一个视频立方块，提取k种不同特征(比如颜色、形状、纹理等)，对于第k个特征，其对应的特征字典可以表示为其中n是字典原子的个数，其中字典d
k
可以通过k
‑
means聚类算法来对训练数据中提取的大量视频立方块的第k个特征进行聚类获得，令第k个特征表示下的一个立方块为m
k
，它可以表示为：
[0148][0149]
其中为第k个特征下该立方块的表示系数，η
k
为残差项；们希望用尽可能少的模板对该立方块m
k
进行重构，通过对w
k
加上l0范数的约束来实现模板对该立方块m
k
进行重构，同时将属于同一立方块但对应于不同特征的表示系数加上l2范数的约束，从而使得该立方块在多特征表示下达到共同稀疏；由此多特征联合稀疏表示的优化问题可以表示为：
[0150][0151]
其中w＝[w1,w2,
…
,w
k
]。上式中l
2,0
混合范数的具体计算表达式为：
[0152][0153]
其中然而优化问题(7)是np难问题，因此我们用l
2,p
范数(0<p≤1)来代替l
2,0
范数，得到如下优化问题，
[0154][0155]
其中l
2,p
范数定义如下，
[0156][0157]
l
2,p
范数不仅保留了联合稀疏的特性，而且使得优化问题更容易求解。
[0158]
第四步，所有视频立方块的稀疏表示系数矩阵记为其中n为立方块的个数，将每个稀疏表示系数矩阵按照列的方式串联起来形成局部特征的稀疏编码，记为利用最大池技术(max pooling)，将这些稀疏编码片段进行联合从而得到视频的全局特征即
[0159][0160]
第五步，运用svm或者其它分类算法对该动作的全局特征进行识别；
[0161]
基于主导级学习的人的行为理解：采用提取人的形状上下文特征，通过基于图论的主导级学习方法对特征进行分类，具体分为以下两个阶段：
[0162]
第一阶段:训练样本库，样本的动作种类由人工标定，每一类行为作为一种类别，这样每一帧图像都有了自己的行为类；在实现人的跟踪之后，提取每一帧图像上的目标轮廓信息作为特征，并用形状上下文进行描述，这样一个视频序列就被解析成了一个特征序列；然后用主导级方法对所有特征进行学习，所获得的类别作为图像类，统计每一图像类序列中的行为类分布情况，就可以得到一个图像类到行为类的转换概率表；
[0163]
第二阶段:识别测试视频，对于测试视频段，在实现人的跟踪提取之后，同样使用
形状上下文将其表述成一个特征序列，然后用主导级方法将每一帧图像进行分类，当测试视频帧序列转化成了图像类序列后，通过训练时得到的图像类到行为类的转换概率表，可以得到每一帧到所有行为类的转换概率，并在视频帧序列上做局部统计，得到局部里的帧所属的行为类别，实现行为理解。
[0164]
一种实现面向电扶梯的人体动作本征特征提取方法的系统，包括数据处理后台服务器、通讯网关、通讯网络、现场数据采集终端及远程操控终端，其中所述数据处理后台服务器通过通讯网络与若干通讯网关建立数据连接，所述通讯网关分为操控组和采集组，且操控组和采集组中均包括若干由通讯网络混连的通讯网关，其中操控组的通讯网关通过通讯网络与若干远程操控终端建立数据连接，采集组的通讯网关通过通讯网络与现场数据采集终端建立数据连接。
[0165]
本实施例中，所述的现场数据采集终端包括承载底座、三维转台机构、倾角传感器、角度传感器、亮度传感器、摄像机、补光灯及驱动电路，其中所述承载底座为横断面呈矩形的腔体结构，所述驱动电路嵌于承载底座内并分别与三维转台机构、倾角传感器、角度传感器、亮度传感器、摄像机、补光灯电气连接，其中所述摄像机通过三维转台机构与承载底座上端面铰接，其光轴与水平面呈0
°‑
90
°
夹角，所述补光灯至少两个，对称分布在摄像机轴线两侧，并分别通过三维转台机构与承载底座铰接，且所述补光灯光轴与摄像机光轴呈0
°‑
180
°
夹角，所述倾角传感器数量与摄像机、补光灯数量一致，且摄像机、补光灯上表面均设至少一个倾角传感器，所述亮度传感器至少两个，分别嵌于摄像机的前端面及后端面位置，其光轴与摄像机光轴平行分布，所述三维转台机构上另分别设至少一个角度传感器。
[0166]
本发明一方面系统构成简单，可有效利用电梯系统现有的监控系统实现对电梯运行及人员行为识别分析作业的需要，系统构建及维护成本低，施工工作量小，极大的提高了系统的通用性和环境适用性；另一方面在运行中，可实现对电梯乘用人员进行全面精确的人员识别、人员行为识别并对影响电梯运行安全及人员人身安全行为及时发现、预警并应急处置，且系统具有良好的深度学习能力，可在有效提高人员行为识别作业精度和拓展人员行为识别范围的同时，有效降低系统维护及更新的难度及成本，有效降低了系统操作及维护的难度。
[0167]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。