基于数字孪生的地铁人流密度实时监测系统及其方法与流程

1.本技术涉及公共监控技术领域，且更为具体地，涉及一种基于数字孪生的地铁人流密度实时监测系统及其方法。


背景技术：

2.近几年随着社会的发展和进步，人们的社会活动越来越多,在很多场所出现群集性事件或者由于人群密度过大而造成人员伤亡的事件屡见不鲜。
3.在日常生活中 ,对于人们经常出入的地铁、车站、超市等地点的人群密度估计是十分必要的。地铁作为一种方便快捷的公共交通工具受到越来越多人的使用，但是也随之带来了地铁人群密度过高的问题，而因此引发的事故也越来越多，所以地铁人群密度监控已经成了地铁管理的一个重要环节，及时的地铁人群密度估计，不仅能提醒车站上的乘客，也能让地铁管理人做出及时准确的措施，减少人群的高度拥挤所引起的各种突发事件。
4.因此，期待一种地铁人流密度实时监测方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于数字孪生的地铁人流密度实时监测系统及其方法，其采用基于深度学习的人工智能技术来提取出地铁车厢内的不同大小的区域范围内的人流分布局部特征，并基于地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征，进一步再利用各个局部区域的全局上下文关联来进行地铁车厢的人流密度实时监测。这样，将人工智能技术和数字孪生技术相互结合以构建地铁人流密度的实时监测方案，能够在车厢的人群密度达到高峰时及时准确地做出必要措施。
6.相应地，根据本技术的一个方面，提供了一种基于数字孪生的地铁人流密度实时监测系统，其包括：监控模块，用于获取由部署于地铁车厢内的摄像头采集的实时监控图像；图像优化模块，用于对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像；多尺度感知模块，用于将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图；差分模块，用于计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图；维度转换模块，用于将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量；上下文编码模块，用于将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量；特征聚合模块，用于将所述多个上下文局部差分特征向量进行级联以得到分类特征向量；特征校正模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及监测结果生成模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求。
7.在上述基于数字孪生的地铁人流密度实时监测系统中，所述第一卷积神经网络使
用具有第一空洞率的第一卷积核，所述第二卷积神经网络使用具有第二空洞率的第二卷积核，所述第一空洞率不同于所述第二空洞率。
8.在上述基于数字孪生的地铁人流密度实时监测系统中，所述第一卷积核的尺寸与所述第二卷积核的尺寸相等。
9.在上述基于数字孪生的地铁人流密度实时监测系统中，所述差分模块，进一步用于：以如下公式来计算所述第一尺度特征图和所述第二尺度特征图之间的所述差分特征图；其中，所述公式为：，其中，表示所述第一尺度特征图，表示第二尺度特征图，表示按位置作差。
10.在上述基于数字孪生的地铁人流密度实时监测系统中，所述上下文编码模块，包括：查询向量构造单元，用于将所述多个局部差分特征向量进行一维排列以得到全局差分特征向量；自注意单元，用于计算所述全局差分特征向量与所述多个局部差分特征向量中各个局部差分特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，注意力施加单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个局部差分特征向量中各个局部差分特征向量进行加权以得到所述多个上下文局部差分特征向量。
11.在上述基于数字孪生的地铁人流密度实时监测系统中，所述特征校正模块，进一步用于：以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述公式为：其中是所述分类特征向量的第个位置的特征值，是所述优化分类特征向量的第个位置的特征值，是以2为底的对数函数值。
12.在上述基于数字孪生的地铁人流密度实时监测系统中，所述监测结果生成模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
13.根据本技术的另一方面，还提供了一种基于数字孪生的地铁人流密度实时监测方法，其包括：获取由部署于地铁车厢内的摄像头采集的实时监控图像；对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像；将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图；计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图；将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量；将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到
多个上下文局部差分特征向量；将所述多个上下文局部差分特征向量进行级联以得到分类特征向量；对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求。
14.在上述基于数字孪生的地铁人流密度实时监测方法中，所述第一卷积神经网络使用具有第一空洞率的第一卷积核，所述第二卷积神经网络使用具有第二空洞率的第二卷积核，所述第一空洞率不同于所述第二空洞率。
15.在上述基于数字孪生的地铁人流密度实时监测方法中，所述第一卷积核的尺寸与所述第二卷积核的尺寸相等。
16.在上述基于数字孪生的地铁人流密度实时监测方法中，所述计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图，包括：以如下公式来计算所述第一尺度特征图和所述第二尺度特征图之间的所述差分特征图；其中，所述公式为：，其中，表示所述第一尺度特征图，表示第二尺度特征图，表示按位置作差。
17.在上述基于数字孪生的地铁人流密度实时监测方法中，所述将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量，包括：将所述多个局部差分特征向量进行一维排列以得到全局差分特征向量；计算所述全局差分特征向量与所述多个局部差分特征向量中各个局部差分特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个局部差分特征向量中各个局部差分特征向量进行加权以得到所述多个上下文局部差分特征向量。
18.在上述基于数字孪生的地铁人流密度实时监测方法中，所述对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述公式为：其中是所述分类特征向量的第个位置的特征值，是所述优化分类特征向量的第个位置的特征值, 是以2为底的对数函数值。
19.在上述基于数字孪生的地铁人流密度实时监测方法中，所述将所述优化分类特征向量通过分类器以得到分类结果，包括：使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
20.根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述
处理器执行如上所述的基于数字孪生的地铁人流密度实时监测方法。
21.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于数字孪生的地铁人流密度实时监测方法。
22.与现有技术相比，本技术提供的基于数字孪生的地铁人流密度实时监测系统及其方法，其采用基于深度学习的人工智能技术来提取出地铁车厢内的不同大小的区域范围内的人流分布局部特征，并基于地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征，进一步再利用各个局部区域的全局上下文关联来进行地铁车厢的人流密度实时监测。这样，将人工智能技术和数字孪生技术相互结合以构建地铁人流密度的实时监测方案，能够在车厢的人群密度达到高峰时及时准确地做出必要措施。
附图说明
23.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
24.图1为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统的场景示意图。
25.图2为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统的框图。
26.图3为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统的架构示意图。
27.图4为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统中上下文编码模块的框图。
28.图5为根据本技术实施例的基于数字孪生的地铁人流密度实时监测方法的流程图。
29.图6为根据本技术实施例的电子设备的框图。
具体实施方式
30.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
31.如上所述，在日常生活中，对于人们经常出入的地铁、车站、超市等地点的人群密度估计是十分必要的。地铁作为一种方便快捷的公共交通工具受到越来越多人的使用，但是也随之带来了地铁人群密度过高的问题，而因此引发的事故也越来越多，所以车厢的人群密度监控已经成了地铁管理的一个重要环节，及时的车厢人群密度估计，不仅能提醒车站上的乘客，也能让地铁管理人做出及时准确的措施，减少人群的高度拥挤所引起的各种突发事件。因此，期待一种地铁人流密度实时监测方案。
32.由于传统的人群密度估计通过监控场景的闭路电视人工进行监控,费时费力,具
有一定的主观性，也不易获得定量结果。数字孪生是当前研究的一大热点，实体对象的数字孪生是对实体对象研究的关键。
33.相应地，在本技术的技术方案中，本技术尝试基于数字孪生技术来对地铁人流密度进行实时监测。地铁人流密度的实时监测虽然可以通过基于数字孪生技术来实现，但相较于常规的用于设备的数字孪生技术，地铁人流是一个随时间和空间实时变化的抽象对象，这给技术实现带来了挑战。
34.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
35.深度学习以及神经网络为基于数字孪生的地铁人流密度实时监测的构建提供了新的解决思路和方案。
36.具体地，在本技术的技术方案中，采用基于深度学习的人工智能技术来提取出地铁车厢内的不同大小的区域范围内的人流分布局部特征，并基于地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征，进一步再利用各个局部区域的全局上下文关联来进行地铁车厢的人流密度实时监测。也就是，将人工智能技术和数字孪生技术相互结合以构建地铁人流密度的实时监测方案。这样，能够在车厢的人群密度达到高峰时及时准确地做出必要措施，以减少人群的高度拥挤所引起的各种突发事件。
37.具体地，在本技术的技术方案中，首先，通过部署于地铁车厢内的摄像头采集实时监控图像。然后，考虑到在对于所述地铁车厢内的实时监控图像进行采集时，会由于车厢内环境中粉层等因素的干扰而导致对于所述车厢内的监控图像采集的清晰度不够高，从而对于地铁车厢内人流分布局部特征的提取精准度较差，进而影响对于车厢内人流密度的判断结果。
38.因此，进一步对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像。也就是，以直方图均衡化预处理和clahe校正颜色来对于所述实时监控图像进行图像增强以提高后续对于所述地铁车厢内的人流分布的局部隐含特征提取的精准度，从而得到优化实时监控图像。应可以理解，直方图均衡化能将灰度范围分布不均匀的监控原始图像通过变换函数映射为灰度分布均匀的图像。该变换函数是指图像各灰度级概率的累积分布函数，变换后图像灰度动态范围增大，图像对比度也相应提高。也就是，由于所述地铁车厢内的实时监控图像具有集中性、顺序性、偏离性的特点，利用直方图均衡化能够很好地将实时监控的灰度直方图分布在整个图像灰度的取值范围内，而且其整体灰度值分布也近似均匀分布，从而可以得到具有较高对比度及较大灰度动态范围的校正图像，对于地铁车厢内因环境因素降质严重的图像能够提升一定的对比度。
39.进一步地，考虑到所述直方图均衡化处理所述实时监控图像可以提升对比度，去除一定的环境因素的影响，但是图像整体偏暗，经直方图均衡化处理后图像前景偏蓝的问题也很明显。因此，进一步采用clahe 进行校正。clahe 是根据已设定的亮度最大值对原图的直方图进行截取像素，再将其重新分配到每个灰度级，不仅能一定程度地限制图像噪声增强，而且图像分割的块数增多，对比度限幅处理图像效果就越好，从而可以有效提升图像的亮度及图像细节，达到颜色校正的目的。
40.然后，将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图。特别地，这里，所述第一卷积神经网络使用具有第一空洞率的第一卷积核，所述第二卷积神经网络使用具有第二空洞率的第二卷积核，并且所述第一空洞率不同于所述第二空洞率，所述第一卷积核的尺寸与所述第二卷积核的尺寸相等。也就是，使用双流网络模型的两个分支分别使用基于不同感受野的卷积核来对于所述优化实时监控图像进行处理，以分别提取出所述地铁车厢内的不同大小的区域范围内的人流分布局部特征，从而得到所述第一尺度特征图和所述第二尺度特征图。
41.接着，计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图，以基于所述地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征。进一步地，考虑到这所提取到的更多是地铁车厢内的局部人流分布之间的差异，并没有关注于车厢整体区域的上下文关联特征。因此，在本技术的技术方案中，进一步将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到不同局部区域的人流分布局部特征之间的差异，从而得到多个局部差分特征向量。接着，再将所述多个局部差分特征向量通过基于转换器的上下文编码器中进行编码，以提取出各个局部区域的基于车厢全局的上下文关联特征，从而得到多个上下文局部差分特征向量。
42.进一步地，就可以将所述多个上下文局部差分特征向量进行级联以得到分类特征向量，并以此通过分类器中进行分类，以得到用于表示地铁车厢内的人流密度是否满足预定安全规范要求的分类结果。
43.特别地，在本技术的技术方案中，在计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图时，由于所述第一卷积神经网络和所述第二卷积神经网络使用不同的卷积核，使得所述第一尺度特征图和所述第二尺度特征图之间在特征分布上存在不对齐，而在通过基于转换器的上下文编码器进行上下文关系编码时，尽管可以在所述多个上下文局部差分特征向量中引入上下文表达，但无法解决这种特征分布的不对齐，这就使得在所述多个上下文局部差分特征向量级联得到的分类特征向量存在局部异常分布，使得在通过分类器进行分类时导致分类的归纳偏差。
44.因此，在将所述分类特征向量通过分类器进行分类之前，对所述分类特征向量进行分类偏差的可微算子转换优化，表示为：其中是所述分类特征向量的第个位置的特征值，是以2为底的对数。
45.这里，针对所述分类特征向量的高维特征分布在分类问题下的归纳偏差，基于归纳收敛速率的可导约束形式将该归纳偏差转换为可微算子的信息化表达组合，以基于分类问题的归纳约束对于类概率限定下的决策域进行收敛，从而提升目标问题下的归纳结果的确定性，即，在存在归纳偏差的情况下提高了分类特征向量通过分类器的分类结果的准确性。这样，能够准确地对于地铁车厢内的人流密度进行实时监测，以在车厢的人群密度达到高峰且不满足预定安全规范要求时及时准确地做出必要措施，以减少人群的高度拥挤所引
起的各种突发事件。
46.基于此，本技术提供了一种基于数字孪生的地铁人流密度实时监测系统，其包括：监控模块，用于获取由部署于地铁车厢内的摄像头采集的实时监控图像；图像优化模块，用于对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像；多尺度感知模块，用于将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图；差分模块，用于计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图；维度转换模块，用于将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量；上下文编码模块，用于将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量；特征聚合模块，用于将所述多个上下文局部差分特征向量进行级联以得到分类特征向量；特征校正模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，监测结果生成模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求。
47.图1为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统的场景示意图。如图1所示，在所述基于数字孪生的地铁人流密度实时监测系统的应用场景中，首先获取由部署于地铁车厢（例如，如图1中所示意的1）内的摄像头（例如，如图1中所示意的2）采集的实时监控图像。进而，将所述实时监控图像输入至部署有基于数字孪生的地铁人流密度实时监测算法的服务器（例如，如图1所示意的3）中，其中，所述服务器能够以所述基于数字孪生的地铁人流密度实时监测算法对所述实时监控图像进行处理以得到用于表示地铁车厢内的人流密度是否满足预定安全规范要求的监测结果。
48.值得一提的是，在本技术的技术方案中，地铁人流密度的检测区域可进行拓展，例如，可在地铁车厢的多个位置安装摄像头以使得所述多个摄像头可以覆盖地铁车辆的更多区域；再如，还可以在地铁车站部署摄像头，以对地铁车站的人流密度进行监测；还如，还可以对入站口和出站口部署摄像头，以对入站口和出站口的人流密度进行智能监测，对此，并不为本技术所局限。
49.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
50.示例性系统：图2为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统的框图。如图2所示，根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统100，包括：监控模块110，用于获取由部署于地铁车厢内的摄像头采集的实时监控图像；图像优化模块120，用于对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像；多尺度感知模块130，用于将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图；差分模块140，用于计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图；维度转换模块150，用于将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量；上下文编码模块160，用于将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量；特征聚合模块170，用于将所述多个上下文局部差分特征向量进行级联以得到分类特征向量；特征校正模
块180，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；监测结果生成模块190，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求；以及，孪生展示模块 191，用于显示所述实时监控图像和所述分类结果。
51.图3为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统的架构示意图。如图3所示，首先获取由部署于地铁车厢内的摄像头采集的实时监控图像，并对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像。接着，将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图。然后，计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图，并将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量。进而，将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量。接着，将所述多个上下文局部差分特征向量进行级联以得到分类特征向量。然后，对所述分类特征向量进行特征分布优化以得到优化分类特征向量。进而，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求。
52.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述监控模块110，用于获取由部署于地铁车厢内的摄像头采集的实时监控图像。如上所述，在日常生活中，对于人们经常出入的地铁、车站、超市等地点的人群密度估计是十分必要的。地铁作为一种方便快捷的公共交通工具受到越来越多人的使用，但是也随之带来了地铁人群密度过高的问题，而因此引发的事故也越来越多，所以车厢的人群密度监控已经成了地铁管理的一个重要环节，及时的车厢人群密度估计，不仅能提醒车站上的乘客，也能让地铁管理人做出及时准确的措施，减少人群的高度拥挤所引起的各种突发事件。因此，期待一种地铁人流密度实时监测方案。
53.由于传统的人群密度估计通过监控场景的闭路电视人工进行监控,费时费力,具有一定的主观性，也不易获得定量结果。数字孪生是当前研究的一大热点，实体对象的数字孪生是对实体对象研究的关键。
54.相应地，在本技术的技术方案中，本技术尝试基于数字孪生技术来对地铁人流密度进行实时监测。地铁人流密度的实时监测虽然可以通过基于数字孪生技术来实现，但相较于常规的用于设备的数字孪生技术，地铁人流是一个随时间和空间实时变化的抽象对象，这给技术实现带来了挑战。
55.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络为基于数字孪生的地铁人流密度实时监测的构建提供了新的解决思路和方案。
56.具体地，在本技术的技术方案中，采用基于深度学习的人工智能技术来提取出地铁车厢内的不同大小的区域范围内的人流分布局部特征，并基于地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征，进一步再利用各个局部区域的全局上下文关联来进行地铁车厢的人流密度实时监测。也就是，将人工智能技术和数字孪生技术相互结合以构建地铁人流密度的实时监
测方案。这样，能够在车厢的人群密度达到高峰时及时准确地做出必要措施，以减少人群的高度拥挤所引起的各种突发事件。因此，在本技术的技术方案中，首先，通过部署于地铁车厢内的摄像头采集实时监控图像。
57.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述图像优化模块120，用于对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像。考虑到在对于所述地铁车厢内的实时监控图像进行采集时，会由于车厢内环境中粉层等因素的干扰而导致对于所述车厢内的监控图像采集的清晰度不够高，从而对于地铁车厢内人流分布局部特征的提取精准度较差，进而影响对于车厢内人流密度的判断结果。因此，进一步对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像。也就是，以直方图均衡化预处理和clahe校正颜色来对于所述实时监控图像进行图像增强以提高后续对于所述地铁车厢内的人流分布的局部隐含特征提取的精准度，从而得到优化实时监控图像。
58.应可以理解，直方图均衡化能将灰度范围分布不均匀的监控原始图像通过变换函数映射为灰度分布均匀的图像。该变换函数是指图像各灰度级概率的累积分布函数，变换后图像灰度动态范围增大，图像对比度也相应提高。也就是，由于所述地铁车厢内的实时监控图像具有集中性、顺序性、偏离性的特点，利用直方图均衡化能够很好地将实时监控的灰度直方图分布在整个图像灰度的取值范围内，而且其整体灰度值分布也近似均匀分布，从而可以得到具有较高对比度及较大灰度动态范围的校正图像，对于地铁车厢内因环境因素降质严重的图像能够提升一定的对比度。
59.进一步地，考虑到所述直方图均衡化处理所述实时监控图像可以提升对比度，去除一定的环境因素的影响，但是图像整体偏暗，经直方图均衡化处理后图像前景偏蓝的问题也很明显。因此，进一步采用clahe 进行校正。clahe 是根据已设定的亮度最大值对原图的直方图进行截取像素，再将其重新分配到每个灰度级，不仅能一定程度地限制图像噪声增强，而且图像分割的块数增多，对比度限幅处理图像效果就越好，从而可以有效提升图像的亮度及图像细节，达到颜色校正的目的。
60.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述多尺度感知模块130，用于将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图。特别地，这里，所述第一卷积神经网络使用具有第一空洞率的第一卷积核，所述第二卷积神经网络使用具有第二空洞率的第二卷积核，并且所述第一空洞率不同于所述第二空洞率，所述第一卷积核的尺寸与所述第二卷积核的尺寸相等。
61.也就是，使用双流网络模型的两个分支分别使用基于不同感受野的卷积核来对于所述优化实时监控图像进行处理，以分别提取出所述地铁车厢内的不同大小的区域范围内的人流分布局部特征，从而得到所述第一尺度特征图和所述第二尺度特征图。
62.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述差分模块140，用于计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图。也就是，基于所述地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征。
63.具体地，在本技术实施例中，所述差分模块140，进一步用于：以如下公式来计算所
述第一尺度特征图和所述第二尺度特征图之间的所述差分特征图；其中，所述公式为：，其中，表示所述第一尺度特征图，表示第二尺度特征图，表示按位置作差。
64.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述维度转换模块150，用于将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量。考虑到所述差分特征图表示的更多的是地铁车厢内的局部人流分布之间的差异，但没有关注于车厢整体区域的上下文关联特征。因此，在本技术的技术方案中，首先，将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到不同局部区域的人流分布局部特征之间的差异，从而得到多个局部差分特征向量，以便于后续的计算。
65.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述上下文编码模块160，用于将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量。也就是，将所述多个局部差分特征向量通过基于转换器的上下文编码器中进行编码，以提取出各个局部区域的基于车厢全局的上下文关联特征，从而得到多个上下文局部差分特征向量。
66.具体地，在本技术实施例中，所述上下文编码模块160，进一步用于：通过查询向量构造单元161，将所述多个局部差分特征向量进行一维排列以得到全局差分特征向量；通过自注意单元162，计算所述全局差分特征向量与所述多个局部差分特征向量中各个局部差分特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；通过标准化单元163，分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；通过关注度计算单元164，将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，通过注意力施加单元165，分别以所述多个概率值中各个概率值作为权重对所述多个局部差分特征向量中各个局部差分特征向量进行加权以得到所述多个上下文局部差分特征向量。
67.图4为根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统中上下文编码模块的框图。如图4所示，所述上下文编码模块160，包括：查询向量构造单元161，用于将所述多个局部差分特征向量进行一维排列以得到全局差分特征向量；自注意单元162，用于计算所述全局差分特征向量与所述多个局部差分特征向量中各个局部差分特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元163，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元164，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，注意力施加单元165，用于分别以所述多个概率值中各个概率值作为权重对所述多个局部差分特征向量中各个局部差分特征向量进行加权以得到所述多个上下文局部差分特征向量。
68.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述特征聚合模块170，用于将所述多个上下文局部差分特征向量进行级联以得到分类特征向量。这样，所述分类特征向量整合了各个局部区域的基于车厢全局的上下文关联特征。
69.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述特征校正模块180，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量。特别地，在本
申请的技术方案中，在计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图时，由于所述第一卷积神经网络和所述第二卷积神经网络使用不同的卷积核，使得所述第一尺度特征图和所述第二尺度特征图之间在特征分布上存在不对齐，而在通过基于转换器的上下文编码器进行上下文关系编码时，尽管可以在所述多个上下文局部差分特征向量中引入上下文表达，但无法解决这种特征分布的不对齐，这就使得在所述多个上下文局部差分特征向量级联得到的分类特征向量存在局部异常分布，使得在通过分类器进行分类时导致分类的归纳偏差。
70.因此，在将所述分类特征向量通过分类器进行分类之前，对所述分类特征向量进行分类偏差的可微算子转换优化。
71.具体地，在本技术实施例中，所述特征校正模块180，进一步用于：以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述公式为：其中是所述分类特征向量的第个位置的特征值，是所述优化分类特征向量的第个位置的特征值， 是以2为底的对数函数值。
72.这里，针对所述分类特征向量的高维特征分布在分类问题下的归纳偏差，基于归纳收敛速率的可导约束形式将该归纳偏差转换为可微算子的信息化表达组合，以基于分类问题的归纳约束对于类概率限定下的决策域进行收敛，从而提升目标问题下的归纳结果的确定性，即，在存在归纳偏差的情况下提高了分类特征向量通过分类器的分类结果的准确性。
73.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述监测结果生成模块190，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求。这样，能够准确地对于地铁车厢内的人流密度进行实时监测，以在车厢的人群密度达到高峰且不满足预定安全规范要求时及时准确地做出必要措施，以减少人群的高度拥挤所引起的各种突发事件。
74.具体地，在本技术实施例中，所述监测结果生成模块190，包括：全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
75.在上述基于数字孪生的地铁人流密度实时监测系统100中，所述监测结果生成模块190，所述孪生展示模块 191，用于显示所述实时监控图像和所述分类结果。也就是，通过所述孪生显示模块展示由摄像头实时采集的实时监控图像和所述分类结果，其中，藉由所述分类结果能够提示地铁相关人员，例如，地铁乘客、地铁管理人员等。
76.综上，基于本技术实施例的基于数字孪生的地铁人流密度实时监测系统100被阐明，其采用基于深度学习的人工智能技术来提取出地铁车厢内的不同大小的区域范围内的人流分布局部特征，并基于地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征，进一步再利用各个局部区
域的全局上下文关联来进行地铁车厢的人流密度实时监测。这样，将人工智能技术和数字孪生技术相互结合以构建地铁人流密度的实时监测方案，能够在车厢的人群密度达到高峰时及时准确地做出必要措施。
77.如上所述，根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统100可以实现在各种终端设备中，例如用于基于数字孪生的地铁人流密度实时监测的服务器等。在一个示例中，根据本技术实施例的基于数字孪生的地铁人流密度实时监测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于数字孪生的地铁人流密度实时监测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于数字孪生的地铁人流密度实时监测系统100同样可以是该终端设备的众多硬件模块之一。
78.替换地，在另一示例中，该基于数字孪生的地铁人流密度实时监测系统100与该终端设备也可以是分立的设备，并且该基于数字孪生的地铁人流密度实时监测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
79.示例性方法：图5为根据本技术实施例的基于数字孪生的地铁人流密度实时监测方法的流程图。如图5所示，根据本技术实施例的基于数字孪生的地铁人流密度实时监测方法，包括：s110，获取由部署于地铁车厢内的摄像头采集的实时监控图像；s120，对所述实时监控图像进行直方图均衡化预处理和clahe校正颜色以得到优化实时监控图像；s130，将所述优化实时监控图像通过包含并行的第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图；s140，计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图；s150，将所述差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量；s160，将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特征向量；s170，将所述多个上下文局部差分特征向量进行级联以得到分类特征向量；s180，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，s190，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全规范要求。
80.在一个示例中，在上述基于数字孪生的地铁人流密度实时监测方法中，所述第一卷积神经网络使用具有第一空洞率的第一卷积核，所述第二卷积神经网络使用具有第二空洞率的第二卷积核，所述第一空洞率不同于所述第二空洞率。
81.在一个示例中，在上述基于数字孪生的地铁人流密度实时监测方法中，所述第一卷积核的尺寸与所述第二卷积核的尺寸相等。
82.在一个示例中，在上述基于数字孪生的地铁人流密度实时监测方法中，所述计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图，包括：以如下公式来计算所述第一尺度特征图和所述第二尺度特征图之间的所述差分特征图；其中，所述公式为：，其中，表示所述第一尺度特征图，表示第二尺度特征图，表示按位置作差。
83.在一个示例中，在上述基于数字孪生的地铁人流密度实时监测方法中，所述将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特
征向量，包括：将所述多个局部差分特征向量进行一维排列以得到全局差分特征向量；计算所述全局差分特征向量与所述多个局部差分特征向量中各个局部差分特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个局部差分特征向量中各个局部差分特征向量进行加权以得到所述多个上下文局部差分特征向量。
84.在一个示例中，在上述基于数字孪生的地铁人流密度实时监测方法中，所述对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述公式为：其中是所述分类特征向量的第个位置的特征值，是所述优化分类特征向量的第个位置的特征值，是以2为底的对数函数值。
85.在一个示例中，在上述基于数字孪生的地铁人流密度实时监测方法中，所述将所述优化分类特征向量通过分类器以得到分类结果，包括：使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
86.综上，本技术实施例的基于数字孪生的地铁人流密度实时监测方法被阐明，其采用基于深度学习的人工智能技术来提取出地铁车厢内的不同大小的区域范围内的人流分布局部特征，并基于地铁车厢内的不同大小的区域范围内的人流分布局部特征之间的差异来构建相对指标用于表示地铁车辆内人流密度分布特征，进一步再利用各个局部区域的全局上下文关联来进行地铁车厢的人流密度实时监测。这样，将人工智能技术和数字孪生技术相互结合以构建地铁人流密度的实时监测方案，能够在车厢的人群密度达到高峰时及时准确地做出必要措施。
87.示例性电子设备：下面，参考图6来描述根据本技术实施例的电子设备。图6为根据本技术实施例的电子设备的框图。如图6所示，电子设备10包括一个或多个处理器11和存储器12。
88.处理器11可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
89.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的基于数字孪生的地铁人流密度实时监测方法中的功能以及/或者其他期
望的功能。在所述计算机可读存储介质中还可以存储诸如实时监控图像等各种内容。
90.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
91.该输入装置13可以包括例如键盘、鼠标等等。
92.该输出装置14可以向外部输出各种信息，包括监测结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
93.当然，为了简化，图6中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
94.示例性计算机程序产品和计算机可读存储介质：除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于数字孪生的地铁人流密度实时监测方法中的功能中的步骤。
95.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
96.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于数字孪生的地铁人流密度实时监测方法中的功能中的步骤。
97.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。