一种中小学校园行人检测与分类方法及系统

1.本发明属于校园安防技术领域，尤其涉及一种中小学校园行人检测与分类方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.行人检测与细粒度分类是近年来计算机视觉中备受关注的研究课题。行人检测通过综合运用图像处理和人工智能技术，将目标行人的身体特征和位置信息可视化。行人检测可以实现行人搜索、行人重识别、行人追踪等视觉任务，并且在自动驾驶、智能视频监控、区域安防等领域发挥至关重要的作用。细粒度分类可以在目标视觉特征大致相似的情况下通过判别局部区域的细节来正确识别目标种类。细粒度分类目前主要应用在车辆识别、动植物分类等现实场景中，对中小学校园中学生和校外人员的区分鲜有耳闻。
4.实现对中小学校园内人员的精准检测与分类是维护校园安全的重要方法。将行人检测与细粒度分类算法应用到校园区域校外人员检测上，能够利用深度卷积神经网络良好的学习图像高级语义信息的能力，检测校园区域行人并区分学生和校外人员。有效地防止校外人员进入校园，维护校园安全，在建设平安校园方面具有重要应用价值。
5.行人检测框架主要有两种：二阶段检测器和一阶段检测器。一阶段检测器相比于二阶段检测器有检测过程简单、检测速度快等优点，在面对校园多变环境和拥挤人群时可以发挥最优异的性能。基于定位—识别的细粒度分类方法首先在无监督的情况下自动定位到特征有区别的区域，然后再根据判别区域的区别性特征进行分类，该种细粒度分类方式在校园场景中应用时表现出极强的适用性。因此，本方法在进行中小学校园行人检测与分类时使用一阶段检测器和基于定位—识别的细粒度分类方法。
6.基于多尺度注意力特征聚合的中小学校园行人检测与分类方法在拥挤环境下的良好表现，有利于准确检测并区分中小学校园内的学生和校外人员，有效地解决传统行人检测算法漏检率高，细粒度分类算法无法应用到校园场景等问题，提高检测与分类效率。
7.在实现本发明的过程中，发明人发现当前技术存在以下问题：
8.1.传统行人检测算法对中小学校园行人检测的适用性较差。
9.2.基于深度学习的中小学校园行人检测的先进方法鲜见报道。
10.3.现有细粒度分类方法没有应用在区分中小学校园内的学生和校外人员上。


技术实现要素：

11.为了解决上述背景技术中存在的技术问题，本发明提供一种中小学校园行人检测与分类方法及系统，其获得的中小学校园行人检测与分类结果可以检测出校园区域内的学生和校外人员，有助于在保障学生在校期间人身安全、建设平安校园等方面的应用。
12.为了实现上述目的，本发明采用如下技术方案：
13.本发明的第一个方面提供一种中小学校园行人检测与分类方法。
14.一种中小学校园行人检测与分类方法，包括：行人所在特征图定位部分和行人识别部分；
15.所述行人所在特征图定位部分包括：获取校园监控图像，采用改进的resnet-50网络提取特征图；基于特征图，采用行人注意网络，得到行人位置的多层注意力特征；采用双向特征金字塔网络融合所述行人位置的多层注意力特征，得到行人位置特征；基于行人位置特征，提取行人所在特征图；
16.所述行人识别部分包括：基于行人所在特征图，采用改进的resnet-50网络结合双向特征金字塔网络提取行人的若干判别性特征，根据所述行人的若干判别性特征判断行人是否是校外人员。
17.本发明的第二个方面提供一种中小学校园行人检测与分类系统。
18.一种中小学校园行人检测与分类系统，包括：行人所在特征图定位模块和行人识别模块；
19.行人所在特征图定位模块，其被配置为：获取校园监控图像，采用改进的resnet-50网络提取特征图；基于特征图，采用行人注意网络，得到行人位置的多层注意力特征；采用双向特征金字塔网络融合所述行人位置的多层注意力特征，得到行人位置特征；基于行人位置特征，提取行人所在特征图；
20.行人识别模块，其被配置为：基于行人所在特征图，采用改进的resnet-50网络结合双向特征金字塔网络提取行人的若干判别性特征，根据所述行人的若干判别性特征判断行人是否是校外人员。
21.本发明的第三个方面提供一种计算机可读存储介质。
22.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的中小学校园行人检测与分类方法中的步骤。
23.本发明的第四个方面提供一种计算机设备。
24.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的中小学校园行人检测与分类方法中的步骤。
25.与现有技术相比，本发明的有益效果是：
26.1.深度扩张模块可以获取更深层次的特征信息，同时保持相对较大的特征图，增加其感知场，有效改善行人检测中深度特征信息提取不足的问题。
27.2.行人注意力机制充分挖掘特征通道与空间维度的相关信息，选择出对当前任务更为关键的信息，提取通道与特征空间之间的相关性，提高网络检测精度。
28.3.特征聚合模块将高分辨率特征图中丰富的高层语义特征与低层精确定位信息相结合，生成更丰富的特征图。低层特征和高层特征的结合可以增强行人特征提取，进一步提高算法的准确性。
29.4.在考虑实时性的同时，删除对特征网络融合贡献相对较小的节点，以降低计算成本。在实用性方面，本发明可以更好地检测、定位和分类行人。
附图说明
30.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
31.图1是本发明示出的中小学校园行人检测与分类方法的流程图；
32.图2是本发明示出的多尺度注意力特征聚合行人检测算法的网络架构图；
33.图3是本发明示出的第6阶段新增网络层结构图；
34.图4是本发明示出的abottleneck子模块结构图；
35.图5(a)是本发明示出的带有1
×
1卷积分支的dbottleneck子模块结构图；
36.图5(b)是本发明示出的不带1
×
1卷积分支的dbottleneck子模块结构图；
37.图6是本发明示出的通道注意力模块结构图；
38.图7是本发明示出的维度注意力模块结构图；
39.图8是本发明示出的特征聚合模块结构图；
40.图9是本发明示出的检测头结构图；
41.图10是本发明示出的中小学校园行人检测与分类应用实例图。
具体实施方式
42.下面结合附图与实施例对本发明作进一步说明。
43.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
44.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
45.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
46.实施例一
47.本实施例提供了一种中小学校园行人检测与分类方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数
据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括：
48.行人所在特征图定位部分和行人识别部分；
49.所述行人所在特征图定位部分包括：获取校园监控图像，采用改进的resnet-50网络提取特征图；基于特征图，采用行人注意网络，得到行人位置的多层注意力特征；采用双向特征金字塔网络融合所述行人位置的多层注意力特征，得到行人位置特征；基于行人位置特征，提取行人所在特征图；
50.所述行人识别部分包括：基于行人所在特征图，采用改进的resnet-50网络结合双向特征金字塔网络提取行人的若干判别性特征，根据所述行人的若干判别性特征判断行人是否是校外人员。
51.本实施例的具体技术方案可以采用以下步骤实现，如图1所示：
52.1.整个网络分为五大模块，分别是深度扩张模块、行人注意力模块、特征聚合模块、检测头、分类模块。利用学校监控设备收集校园实时监控画面，当图像输入采样网络后，提取特征图。如图2所示，采样分为六个阶段，网络骨干为经过改进的resnet-50，然后在其第5阶段后添加新的网络层，即第6阶段，
53.多尺度注意力特征聚合行人检测算法的骨干网络采用经过改进的resnet-50并在其末尾添加新模块，如图2所示。图中，resnet-50骨干网络1、深度扩张模块2、行人注意模块3、特征聚合模块4、检测头5依次连接。
54.如图3所示。前五个阶段的下采样因子分别为2、4、8、16、32。为保证特征图的大小与第5阶段相同，第6阶段的下采样因子仍为32。第6阶段称之为深度扩张模块，深度扩张模块由一个abottleneck子模块和两个dbottleneck子模块构成。其中，第一个dbottleneck子模块有1
×
1卷积分支，第二个dbottleneck子模块没有1
×
1卷积分支。子模块的结构如图4、图5所示。
55.具体地，新增网络层中使用一个abottleneck子模块和两个dbottleneck子模块，其中第一个dbottleneck子模块带有1
×
1卷积分支，第二个dbottleneck子模块没有1
×
1卷积分支。特征图在每个子模块的末端通过relu激活函数连接，最后所有参数被输入到注意力模块，如图3所示。
56.abottleneck子模块和dbottleneck子模块是通过对resnet-50中的瓶颈结构进行不同调整得到的，但这种调整不会改变计算复杂度。abottleneck子模块在bottleneck模块的基础上在右分支1
×
1卷积层之前添加一个步长为2的1
×
1平均池化层，同时将原1
×
1卷积层的步长改为1，如图4所示。dbottleneck子模块在bottleneck模块的基础上将左分支上第一个1
×
1卷积层的步长改为1，3
×
3卷积层的步长改为1，此时扩张比为2。为保证特征图大小并增加感受野以便于行人定位，右分支上1
×
1卷积层的步长改为1，如图5(a)所示；图5(b)没有右分支上1
×
1卷积层。
57.2.行人注意模块又分为通道注意力模块和维度注意力模块，如图6、图7所示。它沿着通道和空间维度依次推导注意力权重，权重与原始特征图相乘，自适应地调整特征，使各分支分别学习通道轴和维度轴上的分类和定位信息。通道注意力模块和维度注意力模块采用最大池化法和全局平均池化法来利用不同信息，有效地计算通道注意力。通道注意力集
中在输入图像中有意义的特征，维度注意力集中在输入图像有意义特征的位置。
58.当h
×w×
c的特征f
sx
输入到通道注意力模块后，进行全局平均池化和全局最大池化，并对空间维度进行压缩，得到两个1
×1×
c向量，两个向量输入到一个两层的密集网络。输出的两个特征相加后利用sigmoid激活函数得到权重系数fc，最后将fc与f
sx
相乘得到新的输出f
p
，如图6所示。图中，1表示全局平均池化，2表示全局最大池化。
59.对通道注意力模块输出f
p
进行平均池化和最大池化，得到两个h
×w×
1向量，当两个向量经过3
×
3卷积层后，经过sigmoid函数激活得到权重系数fd，最后将fd与f
p
相乘得到输出注意力特征fn，如图7所示。图中，1表示平均池化，2表示最大池化，3表示3
×
3卷积层。
60.3.特征聚合模块采用双向特征金字塔网络融合五层注意力特征，如图8所示。特征聚合模块包含b和p两条路径。b分支路包括b2、b3、b4、b5、b6，代表由特征金字塔自上而下路径生成的特征图。为了实现更优化的交联，删除了对特征聚合网络贡献相对较小的b2和b6。p分支路包括p2、p3、p4、p5和p6自下而上组成，增强特征金字塔。其中p2和b2代表同一特征层，p3、p4、p5、p6是b3、b4、b5、b6融合的结果。
61.特征聚合模块包括b和p两条路径，如图8所示。b分支路包括b2、b3、b4、b5、b6，代表由特征金字塔自上而下路径生成的特征图。为了实现更优化的交联，删除对特征聚合网络贡献相对较小的b2和b6。p分支路包括p2、p3、p4、p5和p6，用于增强特征金字塔。其中p2和b2代表同一特征层，p3、p4、p5、p6是b3、b4、b5、b6融合的结果。图中，1表示特征金字塔，2表示特征聚合模块。
62.4.获得高质量特征图后，在检测头部分利用卷积来预测中心、尺寸和偏移量。首先,通过一个通道数为256的3
×
3卷积进行特征提取得到特征映射。添加1
×
1、1
×
1和2
×
2三个并行卷积层,分别生成中心点热图、尺寸预测图和偏移量预测图，如图9所示。中心点热图找到图像中行人中心点，尺寸预测图预测中心点的比例尺，偏移量预测图减少位置信息不准确带来的误差。
63.检测头用来预测中心、尺寸和偏移量。首先,通过一个通道数为256的3
×
3卷积层进行特征提取得到特征映射。添加1
×
1、1
×
1和2
×
2三个并行卷积层,分别生成中心点热图、尺寸预测图和偏移量预测图，如图9所示。图中，1表示3
×
3卷积层，2表示1
×
1卷积层，3表示2
×
2卷积层。
64.图10为使用本方法对中小学校园采集图像进行行人检测与分类的结果，左边是原照片，右边是检测与分类结果图。校园区域内出现的学生用灰色框标注，校外人员用黑色框标注。
65.5.损失函数包括中心点位置损失、维度大小损失和偏移回归损失，分别用l
point
、l
dimension
和l
offset
表示，如式(1)所示。
66.l＝λ
p
l
point
+λdl
dimension
+λol
offset
ꢀꢀ
(1)
67.其中，λ
p
，λd，λo分别是中心点分类，维度回归，偏移回归的权值。
68.在预测过程中，在正样本上加一个二维高斯掩模，快速减少附近负样本造成的误差影响，提高网络训练优势。具体计算公式如下式(2)所示。
69.70.其中，n是图像中的目标数，x是中心点横坐标，y是中心点纵坐标，方差τw和τh与行人的宽度和高度成比例。
71.中心点位置损失函数如式(3)、式(4)、式(5)所示。
[0072][0073][0074][0075]
其中，γ代表焦点超参数，σ
ij
用于减小正样本周围负样本点对整体损失函数的影响，ν代表控制参数惩罚的超参数，h
ij
是像素被预测为中心点的概率，y
ij
是地面真值坐标，当y
ij
＝1时像是被标记为正样本，其它情况则被标记为负样本。
[0076]
维度大小损失函数定义如式(6)、式(7)所示。
[0077][0078][0079]
其中，l
teg
表示平滑l1损失函数，gn和rn分别表示每个正样本点的预测值和真值，它们的作用是减小中心点不确定性带来的影响。
[0080]
偏移损失函数使用平滑l1损失函数。
[0081]
6.为验证本实施例在拥挤环境下行人检测算法有效性，本实施例在caltech数据集下进行了大量的实验。caltech数据集包括11组图像，前六组共42782张图片用于训练，后五组共4024张图片用于测试。实验结果表明，本实施例所提出的一种基于多尺度注意力特征聚合的行人检测算法可以达到很好的效果，该方法能检测拥挤密集环境下的行人，这表明本实施例提出的行人检测算法是有效的，为得到高精度结果提供了更优的方法，具有一定的实用价值。
[0082]
7.输出的行人检测结果输入到分类网络后，首先经过区域定位找到目标行人若干个具有判别性的部位。例如学生的身高、发型、校服、书包以及小学生佩戴的红领巾等。然后通过与上述行人检测方法相同的深度扩张模块和特征聚合模块对这些部位进行特征提取，之后再对提取出的细粒度特征进行学习与分类。
[0083]
8.为验证本实施例细粒度分类算法的有效性，本实施例首先在seeprettyface数据集上选用10万张成年人照片和5万张未成年人照片进行预训练。之后将预训练模型在中小学校园拍摄的5000张学生照片制作的数据集上进行模型微调，并用1000张学生照片进行测试。实验结果表明，本实施例所提出的细粒度算法可以达到很好的分类效果，该方法能准确区分中小学校园中的学生和校外人员，这表明本实施例提出的细粒度分类算法是有效的，为得到高准确度结果提供了更优的方法，具有一定的实用价值。
[0084]
9.后台设定中小学校园区域内出现的成年人为可疑目标，当监控区域内出现可疑
目标时，系统会自动检测可疑目标并通过学校现有人脸识别系统进行识别。如果人脸识别结果为校外人员，系统会在后台记录。
[0085]
实施例二
[0086]
本实施例提供了一种中小学校园行人检测与分类系统。
[0087]
一种中小学校园行人检测与分类系统，包括：行人所在特征图定位模块和行人识别模块；
[0088]
行人所在特征图定位模块，其被配置为：获取校园监控图像，采用改进的resnet-50网络提取特征图；基于特征图，采用行人注意网络，得到行人位置的多层注意力特征；采用双向特征金字塔网络融合所述行人位置的多层注意力特征，得到行人位置特征；基于行人位置特征，提取行人所在特征图；
[0089]
行人识别模块，其被配置为：基于行人所在特征图，采用改进的resnet-50网络结合双向特征金字塔网络提取行人的若干判别性特征，根据所述行人的若干判别性特征判断行人是否是校外人员。
[0090]
此处需要说明的是，上述行人所在特征图定位模块和行人识别模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0091]
实施例三
[0092]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的中小学校园行人检测与分类方法中的步骤。
[0093]
实施例四
[0094]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的中小学校园行人检测与分类方法中的步骤。
[0095]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0096]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0100]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。