一种基于数字孪生的自动扶梯乘客异常行为数据构建方法

1.本发明属于自动扶梯监控领域，涉及一种基于数字孪生的自动扶梯乘客异常行为数据构建方法。


背景技术：

2.随着计算机视觉领域的研究不断深入，现实中缺少危险异常行为目标数据，成为了机器视觉领域中对人安全行为监测预警的障碍。数字孪生的涵义是将现实世界的信息在数字信息世界模拟表达，构建数字孪生体实现对现实世界的高逼真建模，数字孪生体可以按照现实世界物理规律运行，能够实现自我感知、监测、预警及决策处理，实现了现实世界与虚拟数字世界的双向协调、动态交互、演化预测。随着现代传感技术、通信技术、人工智能及虚拟现实等技术的不断发展，数字孪生具备了实现的条件。利用数字孪生来解决实际中数据缺失的问题将会成为未来重要的研究方向。
3.截止至2021年年底，中国电梯的保有量已达879.98万台。随着电梯数量的增加，电梯安全与公众安全的关系也逐渐受到广泛关注。目前，自动扶梯安全监测手段主要有两种：一种是通过在扶梯的出入口分配专门的安保人员来维护扶梯运行的现场秩序，人工维护的方式会耗费巨大的人力资源，即使危险发生也不能立刻使设备停止运行；另一种通过红外线、超声波等装置对人体进行检测，播放“站稳扶好注意安全”的提示语音。以上方式都无法对乘客危险预警和响应，对于电梯安全事故的发生，缺少有效的应对措施。


技术实现要素：

4.为了克服已有技术的不足，本发明提供了一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，针对乘客的异常行为在数字孪生环境中构建虚拟体，解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。
5.本发明解决其技术问题所采用的技术方案是：
6.一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，所述方法包括以下步骤：
7.第一步：自动扶梯乘客异常行为数字孪生环境构建，过程如下：
8.步骤(1.1)几何模型构建：几何模型的建立是数字孪生构建的基础环节，这决定了数字孪生最后的实现效果，决定了数字孪生的逼真程度，分别构建自动扶梯几何模型与虚拟人物几何模型；
9.步骤(1.2)场景构建：对几何模型不同部分进行虚拟装配，构建与现实相同的主体；
10.步骤(1.3)数据传输：孪生数据是使用现实世界真实数据驱动数字空间中的孪生模型的数据，其中孪生数据为乘客行为的视频数据与自动扶梯的运行数据；
11.第二步：在数字孪生环境中对人体行为建模，生成大量异常行为数据集，过程如下：
12.步骤(2.1)人体运动学描述，在虚拟空间中，为了人体运动符合现实世界物理规律，将人体简化为骨骼模型，由各个关节的有限旋转位移构成完整的运动姿态；
13.步骤(2.2)正向运动(fk)，人体姿态正动力学通常是指利用每个关节的相对位移和相对旋转作为输入，计算运动后整个人体姿态的过程，可由下式表示：
14.q＝fk(r,t)
15.其中，m是身体关节的数量，表示第i个关节运动后的三维位姿，表示相对位移矩阵中的第i个关节位置信息，pa(i)表示第i个关节的父关节索引，r
pa(i),i
表示第i个关节相对于父关节的旋转，fk代表将位移矩阵和旋转矩阵从根节点递归到所有子节点的过程，由下式表示：
[0016][0017]
式中，ri为第i个关节相对于静止位姿空间的全局旋转；
[0018]
步骤(2.3)逆向运动(ik)，即逆运动学是正运动学的反向过程。通过输入期望的人体关节位姿和位移t，可以计算关节的相对旋转r，这个过程表述为：
[0019]
r＝ik(p,t)
[0020]
其中，pi表示输入的第i个关节的期望位姿，得到的旋转应满足以下条件：
[0021][0022]
步骤(2.4)人体骨骼模型，是数字孪生中为了表现实际乘客行为而简化的模型，由关节点构成的树状层级结构；
[0023]
步骤(2.5)乘客异常行为数据生成；
[0024]
步骤(2.6)按照乘客异常行为的类型，生成大量异常行为数据；
[0025]
第三步：利用第二步生成的大量异常乘客行为去训练本发明中人体姿态识别网络i-openpose，其原理采用vgg19特征提取网络，同时在vgg19中引入特征金字塔来融合提取图像特征feature map，feature map作为输入，进入两个分支pafs和pcm，利用pafs来表达像素点在姿态上的走向，将识别的二维姿态信息映射到三维空间中，在第四步使用三维姿态信息绑定虚拟乘客骨骼模型，实现现实乘客与虚拟乘客的行为同步；
[0026]
其中，pafs为关节点亲和场，pcm为关节点置信图；
[0027]
第四步：通过三维空间姿态信息的18个关节点坐标绑定到虚拟人物的骨骼关节点，实现现实乘客行为与虚拟乘客动作同步；
[0028]
第五步：由第三步中训练的人体姿态识别网络，输入数据为实际自动扶梯的乘客监控视频实现对乘客行为的预警。
[0029]
进一步，所述步骤(1.1)的过程如下：
[0030]
步骤(1.1.1)自动扶梯几何模型绘制，依据自动扶梯的八大系统，分别为桁架、梯
级系统、扶手带系统、导轨系统、扶手装置、安全保护装置、电气控制系统和润滑系统，利用三维建模软件，构建自动扶梯八个系统模块；
[0031]
步骤(1.1.1.1)自动扶梯几何模型驱动，对模型中的梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮由实时数据驱动；
[0032]
步骤(1.1.1.2)运动组件属性进行定义，分别对梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮定义，并且定义运动组件数据接口；
[0033]
其中，运动组件属性：物理引擎中实现对运动组件位移旋转的可操作性；
[0034]
其中，定义运动组件数据接口：物理引擎中实现通过真实数据对可运动组件的开始、停止及速度大小控制；
[0035]
步骤(1.1.2)人物几何模型构建；
[0036]
步骤(1.1.2.1)绘制虚拟人物几何模型，依据人物行为，将人体模型简化为由18个关节点有限旋转位移的虚拟模型。关节点依次是0脖子，1鼻子，2左眼，3右眼，4左耳，5右耳，6左肩，7右肩，8左肘，9右肘，10左手腕，11右手腕，12左胯骨，13右胯骨，14左膝，15右膝，16左脚踝，17右脚踝；
[0037]
步骤(1.1.2.2)虚拟人物驱动，将上述虚拟人物的关节点连接起来形成人体骨骼模型，利用第四步的三维空间姿态信息去绑定物理引擎中虚拟人物模型的姿态，控制物理引擎中虚拟人物的运动；
[0038]
步骤(1.1.2.3)对上述物理引擎中的虚拟人物空间位置重新定向，设置虚拟人物出现的初始位置；
[0039]
其中，重新定向是将虚拟人物的关节点坐标空间关系重置为起始行为状态的关节点空间分布。
[0040]
所述步骤(1.2)中，虚拟装配是将自动扶梯的各个系统模块在物理引擎中组装，最后形成与实际自动扶梯对应的虚拟模型；
[0041]
步骤(1.2.1)将单一下行电梯在物理引擎中按照镜像扩展两个电梯，重新对扩展的电梯各个组件重新定义，组成双向运载电梯；
[0042]
步骤(1.2.2)在两个电梯中间加入步行楼梯；
[0043]
步骤(1.2.3)对于电梯的各个模块的材质和颜色重新定义；
[0044]
所述步骤(1.3)的过程如下：
[0045]
步骤(1.3.1)乘客行为视频数据经过第三步中人体姿态识别，数据传输到数字孪生的客户端，通过socket(对网络中不同主机上的应用进程之间进行双向通信)建立双向通信，使用tcp协议(一种面向连接的、基于字节流的传输层通信协议)，保证数据的稳定实时传输；
[0046]
步骤(1.3.2)自动扶梯的运行数据获取通过通信总线连接到自动扶梯的控制主板，将自动扶梯运行的实时数据通过上位机控制器传输到客户端计算机；
[0047]
步骤(1.3.3)对扶梯各部分进行定义和驱动，通过乘客行为识别的结果来实时映射虚拟人物运动；
[0048]
步骤(1.4)可视化界面设计：中间为数字孪生虚拟模型，两侧显示乘客行为信息和自动扶梯运行信息；
[0049]
所述步骤(2.4)的过程如下：
[0050]
步骤(2.4.1)骨骼关节点提取，人体姿态运动的表现形式为人体关节点的空间变换，骨骼关节点提取是提取所有关节点构成的树状层级结构的空间变换关系；
[0051]
步骤(2.4.2)关节点映射，物理引擎中的骨骼系统为树状结构，为了驱动虚拟人物的肢体动作，需要将之前获取的关节点标签与物理引擎骨骼树中对应的关节进行关联；
[0052]
步骤(2.4.3)坐标变换，由于每个原始骨骼关节点都具有独立的坐标系，坐标变换使得所有的骨骼关节点在同一个坐标系下；
[0053]
其中，坐标变换为o
γ
＝to
ε
，o
γ
为坐标变换后的空间坐标系，o
ε
为初始空间坐标系，t为空间转移矩阵；
[0054]
步骤(2.4.4)数据导入，将关节点数据导入实现虚拟人物姿态复现；
[0055]
步骤(2.4.5)人体骨骼关节点之间具有内在相关性，初始输入动作与结束输出动作之间的关键帧细化动作需要利用步骤(2.3)逆向运动来求解；
[0056]
其中，关键帧为人体姿态变化中关键动作所处的那一帧；
[0057]
步骤(2.4.6)逐帧导入关节点数据通过步骤(2.2)正向运动求解，即可利用虚拟人物实现真实人物的动作复现。
[0058]
所述步骤(2.5)的过程如下：
[0059]
步骤(2.5.1)在物理引擎中导入虚拟人物并进行骨骼重定向，实现不同骨骼关节点映射；
[0060]
其中，骨骼重定向是通过匹配设置重新匹配骨骼关节点之间的关系；
[0061]
步骤(2.5.2)移动人物骨骼关节点制作人物动作，使用步骤(2.3)逆向运动求解获得初始输入动作与制作的输出动作之间的关键帧细化动作；
[0062]
步骤(2.5.3)通过步骤(2.2)正向运动将多组关键帧动作生成对应的动画序列；
[0063]
步骤(2.5.4)状态集成，通过在物理引擎中使用状态机，将多组动画序列集中到同一虚拟人物；
[0064]
其中，状态机在物理引擎中是由虚拟人物的一种动作行为过渡到另外一种行为动作的工具；
[0065]
步骤(2.5.5)事件触发，在虚拟场景中放置不同人物角色，并给相应的动作分配触发事件；
[0066]
步骤(2.5.6)数据增强，通过改变场景、虚拟相机角度、视野实现数据增强。
[0067]
所述第三步的过程如下：
[0068]
步骤(3.1)通过vgg19提取原始图像特征，将其与步骤(3.2)特征金字塔提取的图像特征融合；
[0069]
其中，vgg19是一种卷积神经网络用于物体识别，每一层神经网络都会利用上一层的输出来进一步提取更加复杂的特征，直到复杂到能被用来识别物体为止，所以每一层都可以被看作很多个局部特征的提取器；
[0070]
步骤(3.2)特征金字塔提取图像特征与步骤(3.1)vgg19提取的原始图像特征融合为输入图像特征feature map；
[0071]
步骤(3.3)将步骤(3.2)得到的特征图feature map输出到下一层，有两个分支pafs(关节点的亲和场)和pcm(关节点热力图)，每个阶段输出一个loss(损失函数)；
[0072]
步骤(3.4)将二维姿态的关节点坐标映射到三维空间；
[0073]
优选的，所述步骤(3.2)的过程如下：
[0074]
步骤(3.2.1)特征金字塔(fpn)选择从conv3_4(vgg第一个)起将所有层作为fpn的网络，其中conv6是添加的全连接层fc-4096；
[0075]
步骤(3.2.2)conv3_4,conv4_4,conv5_4,conv6为vgg层，通过1*1的卷积得到m3,m4,m5,m6为连接层；
[0076]
其中，conv3_4为第三层卷积层的第四个卷积核，conv4_4与conv5_4同理；
[0077]
步骤(3.2.3)经过上采样层upsample使得与下一级通道数相同，执行相加操作得到相加层l3,l4,l5；
[0078]
步骤(3.2.4)再经过3*3的卷积操作，输出7*7,14*14,28*28,56*56，最后得到预测层p3,p4,p5,p6；
[0079]
步骤(3.2.5)将得到的预测层p3,p4,p5,p6与vgg19提取的图像特征融合得到特征图feature map；
[0080]
所述步骤(3.3)的过程如下：
[0081]
步骤(3.3.1)分支pafs的迭代公式为：
[0082]st
＝ρ
t
(f,l
t-1
,s
t-1
),t≥2
[0083]
其中，ρ
t
表示阶段t的迭代关系，f为特征图feature map，l表示部分亲和场，s表示二维置信度，t表示总的置信图阶段的个数；
[0084]
步骤(3.3.2)其中，分支pcm的迭代公为：
[0085]
l
t
＝φ
t
(f,l
t-1
,s
t-1
),t≥2
[0086]
其中，φ
t
表示阶段t的迭代关系；
[0087]
步骤(3.3.3)分支pafs的损失函数为：
[0088][0089]
其中，为分支pafs的损失函数，为真实的关节点部位置信图，w是一个二进制编码，在图像像素位置p处无标注，w(p)为0，否则为1；为预测值与真实值之间的差值平方；
[0090]
步骤(3.3.4)分支pcm的损失函数为：
[0091][0092]
其中，为分支pafs的损失函数，为真实的关节点部分亲合场，为预测值与真实值之间的差值平方；
[0093]
步骤(3.3.5)由二维关节点的图像生成计算s的置信图，用表示k个人生成的所有置信图，用x
j,k
表示图像中第k个人的第j个关节点。以的最大值来表示多人关节点部位最终获得的置信图；其中，在p点的预测值为：
[0094][0095]
其中，exp为自然常数e，δ为控制峰的扩散，为p点到第k个人j部位的向量模值平方；
[0096]
步骤(3.3.6)x
j1,k
和x
j2,k
表示两个关节点，肢体上有像素点p，则的值是第k个人一个从j2到j1的单位向量，p点的向量场为：
[0097][0098]
其中，||x
j2,k-x
j1,k
||2为第k个人的j1部位到j2部位的肢体长度；
[0099]
步骤(3.3.7)最终获得的所有人的平均亲合场为：
[0100][0101]
其中，nc(p)表示p处非0向量在所有人中的个数；
[0102]
步骤(3.3.8)在多人场景下，利用下面公式计算肢体的评分，寻找关联置信度最大的情况；
[0103][0104]
其中，e为关联置信度，||d
j2-d
j1
||2为身体部位d
j2
,d
j1
的距离，p(u)对身体部位d
j2
,d
j1
的位置进行插值：
[0105]
p(u)＝(1-u)d
j1
+d
j2
[0106]
其中，通过采样和对u的等间距求和来逼近积分值；
[0107]
步骤(3.3.9)将多人检测问题变成二分图匹配问题，得到相连点的最优解，最后获取所有可能的肢体预测结果，将人体的所有关节点连接起来；
[0108]
其中，二分图匹配是两条边没有共享一个节点的方式选择的边的子集，目标是为所选的边找到一个最大权值的匹配；
[0109]
所述步骤(3.4)的过程如下：
[0110]
步骤(3.4.1)人体姿态识别的关节点有18个点的数据，由这18个点的数据形成了人体骨骼数据，输入为二维坐标(x
mi
,y
mi
)∈r
*2d
，输出的是三维空间(x
ni
,y
ni
,z
ni
)∈r
*3d
；
[0111]
其中，r
*2d
为二维空间，r
*3d
为三维空间；
[0112]
步骤(3.4.2)输入人体姿态数据为二维关节点的骨骼模型，映射到三维空间输出的骨骼模型为三维姿态；
[0113]
所述第四步的过程如下：
[0114]
步骤(4.1)通过空间坐标变换将骨骼模型三维姿态的关节点坐标与物理引擎的虚拟人物模型的关节点绑定；
[0115]
步骤(4.2)通过步骤(2.2)正向运动计算使得人体姿态的行为同步到虚拟人物中。
[0116]
本发明的技术构思为：首先构建自动扶梯乘客异常行为的数字孪生环境；其次在数字孪生环境中对人体行为建模，生成大量异常行为数据集；接着利用生成的数据集训练人体姿态识别网络，识别出二维人体姿态数据转换到三维空间；然后通过三维空间姿态信息完成对虚拟乘客的姿态绑定，实现现实乘客行为与虚拟乘客动作同步；最后由人体姿态识别结果实现对现实中乘客行为的预警。
[0117]
本发明的有益效果主要表现在：针对乘客的异常行为在数字孪生环境中构建虚拟体，解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。
附图说明
[0118]
图1示出了数字孪生中自动扶梯乘客异常行为数据构建结果。
具体实施方式
[0119]
下面结合附图对本发明作进一步描述。
[0120]
参照图1，一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，包括以下步骤；
[0121]
第一步：自动扶梯乘客异常行为数字孪生环境构建；
[0122]
步骤(1.1)几何模型构建：几何模型的建立是数字孪生构建的基础环节，这决定了数字孪生最后的实现效果，决定了数字孪生的逼真程度。分别构建自动扶梯几何模型与虚拟乘客几何模型；
[0123]
步骤(1.1.1)自动扶梯几何模型绘制，依据自动扶梯的八大系统，分别为桁架、梯级系统、扶手带系统、导轨系统、扶手装置、安全保护装置、电气控制系统和润滑系统，利用三维建模软件，构建自动扶梯八个系统模块；
[0124]
步骤(1.1.1.1)自动扶梯几何模型驱动，对模型中的梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮由实时数据驱动；
[0125]
步骤(1.1.1.2)运动组件属性进行定义，分别对梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮定义，并且定义运动组件数据接口；
[0126]
其中，运动组件属性：ue中实现对运动组件位移旋转的可操作性；
[0127]
其中，定义运动组件数据接口：ue中实现通过真实数据对可运动组件的开始、停止及速度大小控制；
[0128]
其中，ue(unreal engine)虚幻引擎是一款实时交互渲染引擎，用于游戏开发、建筑、vr等领域；
[0129]
步骤(1.1.2)人物几何模型构建；
[0130]
步骤(1.1.2.1)绘制虚拟人物几何模型，依据人物行为，将人体模型简化为由18个关节点有限旋转位移的虚拟人物模型。关节点依次是0脖子，1鼻子，2左眼，3右眼，4左耳，5
右耳，6左肩，7右肩，8左肘，9右肘，10左手腕，11右手腕，12左胯骨，13右胯骨，14左膝，15右膝，16左脚踝，17右脚踝；
[0131]
步骤(1.1.2.2)虚拟人物驱动，将上述虚拟人物的关节点连接起来形成人体骨骼模型，利用第四步的三维空间姿态信息去绑定ue中虚拟人物模型的姿态，控制ue中虚拟人物的运动；
[0132]
步骤(1.1.2.3)对上述ue中的虚拟人物空间位置重新定向，设置虚拟人物出现的初始位置；
[0133]
其中，重新定向是将虚拟人物的关节点坐标空间关系重置为起始行为状态的关节点空间分布；
[0134]
步骤(1.2)场景构建：对几何模型不同部分进行虚拟装配，构建与现实相同的主体；
[0135]
其中，虚拟装配是将自动扶梯的各个系统模块在ue中组装，最后形成与实际自动扶梯对应的虚拟模型；
[0136]
步骤(1.2.1)将单一下行电梯在ue中按照镜像扩展两个电梯，重新对扩展的电梯各个组件重新定义，组成双向运载电梯；
[0137]
步骤(1.2.2)在两个电梯中间加入步行楼梯；
[0138]
步骤(1.2.3)对于电梯的各个模块的材质和颜色重新定义；
[0139]
步骤(1.3)数据传输：孪生数据是使用现实世界真实数据驱动数字空间中的孪生模型的数据，其中孪生数据为乘客行为的视频数据与自动扶梯的运行数据；
[0140]
步骤(1.3.1)乘客行为视频数据经过第三步中人体姿态识别，数据传输到数字孪生的客户端，通过socket(对网络中不同主机上的应用进程之间进行双向通信)建立双向通信，使用tcp协议(一种面向连接的、基于字节流的传输层通信协议)，保证数据的稳定实时传输；
[0141]
步骤(1.3.2)自动扶梯的运行数据获取通过通信总线连接到自动扶梯的控制主板，将自动扶梯运行的实时数据通过上位机控制器传输到客户端计算机；
[0142]
步骤(1.3.3)对扶梯各部分进行定义和驱动，通过乘客行为识别的结果来实时映射虚拟人物运动；
[0143]
步骤(1.4)可视化界面设计：中间为自动扶梯与乘客，两侧显示乘客行为信息和自动扶梯运行信息；
[0144]
第二步：在数字孪生环境中对人体行为建模，生成大量异常行为数据集；
[0145]
步骤(2.1)人体运动学描述，为了使数字孪生虚拟空间中模拟的人物行为符合人体运动学，必须参考实际的人体行为。在现实中人体运动是肌肉、骨骼共同作用下的结果，在虚拟空间中，为了人体运动符合现实世界物理规律，将人体简化为骨骼模型，由各个关节的有限旋转位移构成完整的运动姿态；
[0146]
步骤(2.2)正向运动(fk)，人体姿态正动力学通常是指利用每个关节的相对位移和相对旋转作为输入，计算运动后整个人体姿态的过程，可由下式表示：
[0147]
q＝fk(r,t)
[0148]
其中，m是身体关节的数量，表示第i个关节运动后的三维位姿，表示相对位移矩阵中的第i个关节位置信息，pa(i)表示第i个关节的父关节索引，r
pa(i),i
表示第i个关节相对于父关节的旋转，fk代表将位移矩阵和旋转矩阵从根节点递归到所有子节点的过程，可由下式表示：
[0149][0150]
式中，ri为第i个关节相对于正则静止位姿空间的全局旋转；
[0151]
步骤(2.3)逆向运动(ik)，即逆运动学是正运动学的反向过程。通过输入期望的人体关节位姿和位移t，可以计算关节的相对旋转r。这个过程表述为：
[0152]
r＝ik(p,t)
[0153]
其中，pi表示输入的第i个关节的期望位姿，得到的旋转应满足以下条件：
[0154][0155]
步骤(2.3.1)逆向运动的雅可比矩阵算法；
[0156][0157]
其中，m个关节点的角度θ＝(θ1,θ2,
…
,θm)和末端关节点的空间坐标为e＝(e
x
,ey,ez)
t
，θ与e之间的关系为：
[0158]
θ＝f-1
(e)
[0159]
dθ＝j
+
de
[0160]
其中f-1
为θ与e之间的函数关系，j
+
为雅可比伪逆矩阵；
[0161]
步骤(2.3.2)雅可比矩阵伪逆：
[0162]j+
＝(jj
t
)-1jt
[0163]
其中，雅可比矩阵需要反复迭代计算才能得到逆向运动的近似解；
[0164]
步骤(2.4)人体骨骼模型，是数字孪生中为了表现实际乘客行为而简化的模型，由关节点构成的树状层级结构；
[0165]
步骤(2.4.1)骨骼关节点提取，人体姿态运动的表现形式为人体关节点的空间变换，骨骼关节点提取是提取所有关节点构成的树状层级结构的空间变换关系；
[0166]
步骤(2.4.2)关节点映射，ue中的骨骼系统为树状结构，为了驱动虚拟人物的肢体动作，需要将之前获取的关节点标签与ue骨骼树中对应的关节进行关联；
[0167]
步骤(2.4.3)坐标变换，由于每个原始骨骼关节点都具有独立的坐标系，坐标转换使得所有的骨骼关节点在同一个坐标系下；
[0168]
其中，坐标变换为o
γ
＝to
ε
，o
γ
为坐标变换后的空间坐标系，o
ε
为初始空间坐标系，t
为空间转移矩阵；
[0169]
步骤(2.4.4)数据导入，将关节点数据导入实现虚拟人物姿态复现；
[0170]
步骤(2.4.5)人体骨骼关节点之间具有内在相关性，初始输入动作与结束输出动作之间的关键帧细化动作需要利用步骤(2.3)逆向运动来求解；
[0171]
其中，关键帧为人体姿态变化中关键动作所处的那一帧；
[0172]
步骤(2.4.6)逐帧导入关节点数据通过步骤(2.2)正向运动求解，即可利用虚拟人物实现真实人物的动作复现；
[0173]
步骤(2.5)乘客异常行为数据生成；
[0174]
步骤(2.5.1)在ue中导入虚拟人物并进行骨骼重定向，实现不同骨骼关节点映射；
[0175]
其中，骨骼重定向是通过匹配设置重新匹配骨骼关节点之间的关系；
[0176]
步骤(2.5.2)移动人物骨骼关节点制作人物动作，使用步骤(2.3)逆向运动求解获得初始输入动作与制作的输出动作之间的关键帧细化动作；
[0177]
步骤(2.5.3)通过步骤(2.2)正向运动将多组关键帧动作生成对应的动画序列；
[0178]
步骤(2.5.4)状态集成，通过在ue中使用状态机，将多组动画序列集中到同一虚拟人物；
[0179]
其中，状态机在ue中是由虚拟人物的一种动作行为过度到另外一种行为动作的工具；
[0180]
步骤(2.5.5)事件触发，在虚拟场景中放置不同人物角色，并给相应的动作分配触发事件；
[0181]
步骤(2.5.6)数据增强，通过改变场景、虚拟相机角度、视野等实现数据增强；
[0182]
步骤(2.6)按照乘客异常行为的类型，生成大量异常行为数据，如图1所示；
[0183]
第三步：利用第二步生成的大量乘客异常行为数据去训练本发明中人体姿态识别网络i-openpose，其原理采用vgg19特征提取网络，同时在vgg19中引入特征金字塔来融合提取图像特征(feature map)，feature map作为输入，进入两个分支pafs(part affinity fields)和pcm(part confidence maps)，利用pafs来表达像素点在姿态上的走向，将识别的二维姿态信息映射到三维空间中，在第四步使用三维姿态信息绑定虚拟乘客骨骼模型，实现现实乘客与虚拟乘客的行为同步；
[0184]
其中，pafs为关节点亲和场，pcm为关节点置信图；
[0185]
步骤(3.1)通过vgg19提取原始图像特征，将其与步骤(3.2)特征金字塔提取的图像特征融合；
[0186]
其中，vgg19是一种卷积神经网络用于物体识别，每一层神经网络都会利用上一层的输出来进一步提取更加复杂的特征，直到复杂到能被用来识别物体为止，所以每一层都可以被看作很多个局部特征的提取器；
[0187]
步骤(3.2)特征金字塔提取图像特征与步骤(3.1)vgg19提取的原始图像特征融合为输入图像特征(feature map)；
[0188]
步骤(3.2.1)特征金字塔(fpn)选择从conv3_4(vgg第一个)起将所有层作为fpn的网络，其中conv6是添加的全连接层fc-4096；
[0189]
步骤(3.2.2)conv3_4,conv4_4,conv5_4,conv6为vgg层，通过1*1的卷积得到m3,m4,m5,m6为连接层；
[0190]
其中，conv3_4为第三层卷积层的第四个卷积核，conv4_4与conv5_4同理；
[0191]
步骤(3.2.3)经过上采样层upsample使得与下一级通道数相同，执行相加操作得到相加层l3,l4,l5；
[0192]
步骤(3.2.4)再经过3*3的卷积操作，输出7*7,14*14,28*28,56*56，最后得到预测层p3,p4,p5,p6；
[0193]
步骤(3.2.5)将得到的预测层p3,p4,p5,p6与vgg19提取的图像特征融合得到特征图feature map；
[0194]
步骤(3.3)将步骤(3.2)得到的特征图feature map输出到下一层，有两个分支pafs(关节点的亲和场)和pcm(关节点热力图)，每个阶段输出一个loss(损失函数)；
[0195]
步骤(3.3.1)分支pafs的迭代公式为：
[0196]st
＝ρ
t
(f,l
t-1
,s
t-1
),t≥2
[0197]
其中，ρ
t
表示阶段t的迭代关系，f为特征图feature map，l表示部分亲和力，s表示二维置信度，t表示总的置信图阶段的个数；
[0198]
步骤(3.3.2)其中，分支pcm的迭代公为：
[0199]
l
t
＝φ
t
(f,l
t-1
,s
t-1
),t≥2
[0200]
其中，φ
t
表示阶段t的迭代关系；
[0201]
步骤(3.3.3)分支pafs的损失函数为：
[0202][0203]
其中，为分支pafs的损失函数，为真实的关节点部位置信图，w是一个二进制编码，在图像像素位置p处无标注，w(p)为0，否则为1；为预测值与真实值之间的差值平方；
[0204]
步骤(3.3.4)分支pcm的损失函数为：
[0205][0206]
其中，为分支pafs的损失函数，为真实的关节点部分亲合场，为预测值与真实值之间的差值平方；
[0207]
步骤(3.3.5)由二维关节点的图像生成计算s的置信图，用表示k个人生成的所有置信图，用x
j,k
表示图像中第k个人的第j个关节点。以的最大值来表示多人关节点部位最终获得的置信图；其中，在p点的预测值为：
[0208]
[0209]
其中，exp为e指数的底，δ为控制峰的扩散，为p点到第k个人j部位的向量模值平方；
[0210]
步骤(3.3.6)x
j1,k
和x
j2,k
表示两个关节点，肢体上有像素点p，则的值是第k个人一个从j1到j2的单位向量，p点的向量场为：
[0211][0212]
其中，||x
j2,k-x
j1,k
||2为第k个人的j2部位到j1部位的肢体长度；
[0213]
步骤(3.3.7)最终获得的所有人的平均亲合场为：
[0214][0215]
其中，nc(p)表示p处非0向量在所有人中的个数；
[0216]
步骤(3.3.8)在多人场景下，利用下面公式计算肢体的评分，寻找关联置信度最大的情况；
[0217][0218]
其中，e为关联置信度，||d
j2-d
j1
||2为身体两个部位d
j2
,d
j1
的距离，p(u)对身体部位d
j2
,d
j1
的位置进行插值：
[0219]
p(u)＝(1-u)d
j1
+d
j2
[0220]
其中，通过采样和对u的等间距求和来逼近积分值；
[0221]
步骤(3.3.9)将多人检测问题变成二分图匹配问题，得到相连点的最优解，最后获取所有可能的肢体预测结果，将人体的所有关节点连接起来；
[0222]
其中，二分图匹配是两条边没有共享一个节点的方式选择的边的子集，目标是为所选的边找到一个最大权值的匹配；
[0223]
步骤(3.4)将二维姿态的关节点坐标映射到三维空间；
[0224]
步骤(3.4.1)人体姿态识别的关节点有18个点的数据，由这18个点的数据形成了人体骨骼数据，输入为二维关节点坐标(x
mi
,y
mi
)∈r
*2d
，输出的是三维空间坐标(x
ni
,y
ni
,z
ni
)∈r
*3d
；
[0225]
其中，r
*2d
为二维空间，r
*3d
为三维空间；
[0226]
步骤(3.4.2)输入人体姿态数据为二维关节点的骨骼模型，映射到三维空间输出的骨骼模型为三维姿态；
[0227]
第四步：通过三维空间姿态信息的18个关节点坐标绑定到虚拟人物的骨骼关节点，实现现实乘客行为与虚拟乘客动作同步；
[0228]
步骤(4.1)通过空间坐标变换将骨骼模型三维姿态的关节点坐标与ue中虚拟人物
模型的关节点绑定；
[0229]
步骤(4.2)通过步骤(2.2)正向运动计算使得人体姿态的行为同步到虚拟人物中；
[0230]
第五步：由第三步中训练的人体姿态识别网络，输入为实际自动扶梯的监控视频实现对乘客行为的预警；
[0231]
本实施例的方案，针对乘客的异常行为在数字孪生环境中构建虚拟体，解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。
[0232]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。