技术特征：
1.一种基于全局信息的扶梯场景中乘客行为检测方法，其特征在于，包括：步骤10、获取扶梯中乘客不安全行为数据集，标注出数据集中不安全行为的类别以及位置，生成标注图像数据集；步骤20、创建目标检测模型，以标注图像数据集作为目标检测模型的训练样本输入；步骤30、在卷积神经网络的backbone部分对所述标注图像数据集逐层提取特征信息，通过缩小图像尺寸并加深图像维度，生成高维语义特征图；通过坐标注意力模块对所述高维语义特征图的水平和垂直两个方向的信息进行全局编码，对相邻像素点之间构建远程依赖关系，得到全局信息特征图；步骤40、在卷积神经网络的neck部分通过panet自下而上的对所述全局信息特征图上采样融合多个低维度特征图，增加每个维度上特征信息的表达，再通过多层卷积注意力模块融合坐标注意力特征图在空间与通道上的特征信息；通过fpn自下而上的对panet的输出特征图与多个高维特征图再次融合得到包括低维特征图、中维特征图和高维特征图的多个维度特征图；步骤50、在卷积神经网络的head部分通过多尺度特征融合多个维度特征图再通过卷积神经网络输出基于全局信息预测的图像。2.根据权利要求1所述的方法，其特征在于：所述步骤30中，坐标注意力模块的具体处理过程为：对于给定输入特征图x，使用两个空间范围的池化内核(h,1)和(1,w)分别沿水平坐标和垂直坐标对每个通道进行编码；高度h处的第c个通道的输出表示为：宽度为w的第c个通道的输出表示为：上述两个变换分别沿两个空间方向聚合特征，产生一对方向感知特征图和使得坐标注意力模块块沿一个空间方向捕获远程依赖关系，并沿另一个空间方向保留精确的位置信息。3.根据权利要求1所述的方法，其特征在于：所述步骤40中，多层卷积注意力模块包括通道注意力m
c
(f)和空间注意力m
s
(f)；所述通道注意力m
c
(f)利用特征的通道间关系来生成通道注意图，同时使用最大池化和平均池化聚合特征图的空间信息，然后将两个池化结果转发到共享网络mlp以生成通道注意力图，使用逐元素求和来合并输出特征向量；所述空间注意力m
s
(f)利用特征的空间关系生成空间注意力图，编码要强调或抑制的位置，通过使用平均池化和最大池化两个池化操作聚合特征图的通道信息，生成两个二维图像，分别表示通道中的平均池化特征和最大池化特征；然后将它们连接起来并通过标准卷积层进行卷积，生成二维空间注意力图。4.根据权利要求1所述的方法，其特征在于：所述步骤40中，fpn通过concat方式将上一
维度的特征图上采样并裁剪维度，并与下一维度的特征图在空间和维度匹配后进行拼接。5.根据权利要求1所述的方法，其特征在于：所述步骤10还包括，对所述乘客不安全行为数据集进行mosaic数据增强，随机选择数据集中4张图片，对其进行随机裁剪、缩放、旋转操作，以第一张输入图片尺寸的1/3-3/2范围内随机选择一点作为中心点拼接，合成1张图像。6.一种基于全局信息的扶梯场景中乘客行为检测装置，其特征在于，包括：训练样本处理模块、模型创建模块、第一处理模块、第二处理模块以及第三处理模块；所述训练样本处理模块，用于获取扶梯中乘客不安全行为数据集，标注出数据集中不安全行为的类别以及位置，生成标注图像数据集；所述模型创建模块，用于创建目标检测模型，以标注图像数据集作为目标检测模型的训练样本输入；所述第一处理模块，用于在卷积神经网络的backbone部分对所述标注图像数据集逐层提取特征信息，通过缩小图像尺寸并加深图像维度，生成高维语义特征图；通过坐标注意力模块对所述高维语义特征图的水平和垂直两个方向的信息进行全局编码，对相邻像素点之间构建远程依赖关系，得到全局信息特征图；所述第二处理模块，用于在卷积神经网络的neck部分通过panet自下而上的对所述全局信息特征图上采样融合多个低维度特征图，增加每个维度上特征信息的表达，再通过多层卷积注意力模块融合坐标注意力特征图在空间与通道上的特征信息；通过fpn自下而上的对panet的输出特征图与多个高维特征图再次融合得到包括低维特征图、中维特征图和高维特征图的多个维度特征图；所述第三处理模块，在卷积神经网络的head部分通过多尺度特征融合多个维度特征图再通过卷积神经网络输出基于全局信息预测的图像。7.根据权利要求6所述的装置，其特征在于：所述第一处理模块中，坐标注意力模块的具体处理过程为：对于给定输入特征图x，使用两个空间范围的池化内核(h,1)和(1,w)分别沿水平坐标和垂直坐标对每个通道进行编码；高度h处的第c个通道的输出表示为：宽度为w的第c个通道的输出表示为：上述两个变换分别沿两个空间方向聚合特征，产生一对方向感知特征图和使得坐标注意力模块块沿一个空间方向捕获远程依赖关系，并沿另一个空间方向保留精确的位置信息。8.根据权利要求6所述的装置，其特征在于：所述多层卷积注意力模块包括通道注意力m
c
(f)和空间注意力m
s
(f)；所述通道注意力m
c
(f)利用特征的通道间关系来生成通道注意图，同时使用最大池化和平均池化聚合特征图的空间信息，然后将两个池化结果转发到共享网络mlp以生成通道注
意力图，使用逐元素求和来合并输出特征向量；所述空间注意力m
s
(f)利用特征的空间关系生成空间注意力图，编码要强调或抑制的位置，通过使用平均池化和最大池化两个池化操作聚合特征图的通道信息，生成两个二维图像，分别表示通道中的平均池化特征和最大池化特征；然后将它们连接起来并通过标准卷积层进行卷积，生成二维空间注意力图。9.根据权利要求6所述的装置，其特征在于：所述第二处理模块中，fpn通过concat方式将上一维度的特征图上采样并裁剪维度，并与下一维度的特征图在空间和维度匹配后进行拼接。10.根据权利要求6所述的装置，其特征在于：所述训练样本处理模块还用于，对所述乘客不安全行为数据集进行mosaic数据增强，随机选择数据集中4张图片，对其进行随机裁剪、缩放、旋转操作，以第一张输入图片尺寸的1/3-3/2范围内随机选择一点作为中心点拼接，合成1张图像。
技术总结
本发明公开了一种基于全局信息的扶梯场景中乘客行为检测方法及装置，涉及安全监控技术领域。所述方法包括：通过创建目标检测模型，以标注图像数据集作为卷积神经网络输入提取图像高级语义特征，并通过多层卷积注意力模块保留特征图之间的空间关系；将高级语义特征图作为坐标注意力模块的输入，建模特征图的远程依赖关系；通过多尺度特征融合输出预测图像，即可获得训练好的全局信息的扶梯场景中乘客行为检测模型。本发明通过坐标注意力和多层卷积注意力模块的结合反应感兴趣处的信息和位置，增强网络对被遮挡目标的部分身体信息的识别能力，构建被遮挡目标与遮挡目标位置信息的远程依赖，缓解了前景目标抑制被遮挡目标的问题，提高了检测精确度。提高了检测精确度。提高了检测精确度。
技术研发人员：郑力新 林志鸿
受保护的技术使用者：华侨大学
技术研发日：2022.09.19
技术公布日：2022/12/1