行人检测方法、装置、计算机设备和可读存储介质与流程

1.本发明涉及目标检测技术领域，具体涉及一种行人检测方法、装置、计算机设备和可读存储介质。


背景技术：

2.目前，随着我国经济的高速发展，基建项目越来越多，建筑工地上的工人管理是项目安全管理的重要内容。目前在建筑工地上主要还是通过人工的方式进行监督管理，但是工地情况比较复杂，没在视有办法保证工人始终距范围内，因此人工监督管理的方式效率比较低，建筑工地的人员安全管理无法得到保证。
3.目前，智慧工地的行人检测方法通常图像特征整合模块、图像特征分析模块和分析结果发送模块来实现工地行人的检测和分析，其主要通过luv三通道特征和六个方向的梯度直方图特征来进行行人识别，但是这样传统的特征无法适用工地复杂的应用场景，并且检测效率低，无法满足对建筑工地的人员进行精准管控。


技术实现要素：

4.针对现有技术中所存在的不足，本发明提供的行人检测方法、装置、计算机设备和可读存储介质，解决了现有技术中行人检测方法检测效率低的问题，提高了行人检测效率和检测精度，便于对建筑工地的人员进行精准管控。
5.第一方面，本申请提供一种行人检测方法，所述方法包括：实时获取目标监控区域的目标视频图像；将所述目标视频图像生成目标图像序列；根据所述目标图像序列，获取当前帧图像和参考帧图像；将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
6.可选地，将所述目标视频图像生成目标图像序列，包括：将所述目标视频图像转换成图像序列进行存储，得到原始图像序列；按照预设规则从所述原始图像序列中获取若干帧图像，得到所述目标图像序列。
7.可选地，根据所述目标图像序列，获取当前帧图像和参考帧图像，包括：根据时间戳对所述目标图像序列中的每帧图像进行排序，得到每帧图像的序列编号；根据所述序列编号判断所述当前帧图像是否为首帧图像；若所述当前帧图像是首帧图像时，将所述当前帧图像作为所述参考帧图像；若所述当前帧图像不是首帧图像时，将上一帧图像作为所述参考帧图像。
8.可选地，将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果，包括：对所述当前帧图像和所述参考帧图像进行特征提取，得到当前特征图和参考特征图：根据损失函数，计算出所述当前特征图和所述参考特征图的相似度；将所述相似度与预设值进行比较，若相似度大于或等于所述预设值时，将所述参考特征图的行人检测结果作为所述当前帧图像的行人检测结果；若所述相似度小于所述预设值时，对所述当前特征图进行分类识别，获取所述当前帧图像的行人检测结果。
9.可选地，所述损失函数的公式表达为：
[0010][0011]
其中，n表示特征图的大小，d表示两张特征图的相似距离，threshold为设定的阈值，s表示两张特征图的相似度。
[0012]
可选地，所述两张特征图的相似距离计算公式为：
[0013][0014]
其中，m
t
‑1表示参考特征图，m
t
表示当前特征图。
[0015]
可选地，根据所述目标图像序列，获取当前帧图像和参考帧图像之后，所述方法还包括：通过9层空洞卷积层和9层平均池化对所述参考帧图像进行特征提取，得到参考特征图；根据softmax分类器对所述参考特征图进行分类识别，得到所述参考特征图对应的行人检测结果；其中，所述9层空洞卷积层的连接方式为：第一层卷积特征层连接第三层卷积层，第二层卷积特征层连接第四层卷积层，第三层卷积特征层连接第五层卷积层，第四层卷积特征连接第六层卷积层，第五层卷积特征连接第七层卷积，第六层卷积特征连接第八层卷积层，第七层卷积特征连接第九层卷积层。
[0016]
第二方面，本申请提供一种行人检测装置，所述装置包括：视频图像获取模块，用于实时获取目标监控区域的目标视频图像；图像序列生成模块，将所述目标视频图像生成目标图像序列；帧图像获取模块，用于根据所述目标图像序列，获取当前帧图像和参考帧图像；相似性计算模块，用于将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0017]
第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：实时获取目标监控区域的目标视频图像；将所述目标视频图像生成目标图像序列；根据所述目标图像序列，获取当前帧图像和参考帧图像；将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0018]
第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：实时获取目标监控区域的目标视频图像；将所述目标视频图像生成目标图像序列；根据所述目标图像序列，获取当前帧图像和参考帧图像；将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0019]
与现有技术相比，本发明的有益效果为：
[0020]
本发明通过对认证目标的指纹信息和动态口令进行双重身份认证，并且将身份信息和操作时间生成目标操作信息，可以通过所述目标操作信息获取到所述认证目标的操作路径，从而方便掌握每个用户对认证系统的操作过程；因此本发明解决了现有技术中行人检测方法较为简单，身份信息容易被伪造，导致智慧工地存在安全隐患的问题，可以有效的对工作人员身份进行认证和抗抵赖机制，通过生物特征和动态口令认证，确保工作人员的操作的合法性，保障智慧工地系统的安全和可靠的运行。
附图说明
[0021]
图1所示为本发明实施例提供的一种行人检测方法的流程示意图；
[0022]
图2所示为图1中步骤s101的具体流程示意图；
[0023]
图3所示为本发明实施例提供的另一种行人检测方法的流程示意图；
[0024]
图4所示为本发明实施例提供的一种行人检测装置的结构框图。
具体实施方式
[0025]
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]
图1所示为本发明实施例提供的一种行人检测方法的流程示意图；如图1所示，所述行人检测方法具体包括以下步骤：
[0027]
步骤s101，实时获取目标监控区域的目标视频图像。
[0028]
在本实施例中，为了实现对视频图像实时监测的要求，根据实际情况可以每个时间段的时长定义为1秒、200毫秒、300毫秒等，将在当前时长内获取到目标监控区域内的所有图像组合成所述目标视频图像。
[0029]
在实际应用中，图像采集装置是固定在工地的目标监控点，在所述目标监控点可以以最大视野范围采集工地作业区域的视频图像，因此将在目标监控点所监控的作业区域作为目标监控区域。
[0030]
步骤s102，将所述目标视频图像生成目标图像序列。
[0031]
在本实施例中，将所述目标视频图像生成目标图像序列，包括：将所述目标视频图像转换成图像序列进行存储，得到原始图像序列；按照预设规则从所述原始图像序列中获取若干帧图像，得到所述目标图像序列。
[0032]
需要说明的是，所述预设规则可以是每n帧提取一帧图像，将摄像机采集到的视频按照图像序列进行存储，每个n帧图像抽取一张图像组成所述目标图像序列。
[0033]
步骤s103，根据所述目标图像序列，获取当前帧图像和参考帧图像。
[0034]
在本实施例中，根据所述目标图像序列，获取当前帧图像和参考帧图像，具体包括：根据时间戳对所述目标图像序列中的每帧图像进行排序，得到每帧图像的序列编号；根据所述序列编号判断所述当前帧图像是否为首帧图像；若所述当前帧图像是首帧图像时，将所述当前帧图像作为所述参考帧图像；若所述当前帧图像不是首帧图像时，将上一帧图像作为所述参考帧图像。
[0035]
在本实施例中，在根据所述目标图像序列，获取当前帧图像和参考帧图像之后，所述方法还包括：通过9层空洞卷积层和9层平均池化对所述参考帧图像进行特征提取，得到参考特征图；根据softmax分类器对所述参考特征图进行分类识别，得到所述参考特征图对应的行人检测结果；其中，所述9层空洞卷积层的连接方式为：第一层卷积特征层连接第三层卷积层，第二层卷积特征层连接第四层卷积层，第三层卷积特征层连接第五层卷积层，第四层卷积特征连接第六层卷积层，第五层卷积特征连接第七层卷积，第六层卷积特征连接第八层卷积层，第七层卷积特征连接第九层卷积层。
[0036]
需要说明的是，在本实施例中采用空洞卷积和平均池化操作对图像进行特征提取，采用空洞率为2，卷积核为5
×
5的模板进行卷积，并采用2
×
2的平均池化模板；采用9层空洞卷积层和9层平均池化提取图像特征；在卷积计算的过程中，第一层卷积特征层直接连接到第三层卷积层，第二层卷积特征层直接连接到第四层卷积层，第三层卷积特征层直接连接到第五层卷积层，第四层卷积特征直接连接到第六层卷积层，第五层卷积特征直接连接到第七层卷积，第六层卷积特征直接连接到第八层卷积层，第七层卷积特征直接连接到第九层卷积层；采用softmax分类器对提取的图像特征进行行人检测。
[0037]
步骤s104，将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0038]
如图2所示，将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果具体包括以下步骤：
[0039]
步骤s201，对所述当前帧图像和所述参考帧图像进行特征提取，得到当前特征图和参考特征图；
[0040]
步骤s202，根据损失函数，计算出所述当前特征图和所述参考特征图的相似度；
[0041]
步骤s203，将所述相似度与预设值进行比较，判断所述相似度是否大于或等于所述预设值，若相似度大于或等于所述预设值时执行步骤s204，若所述相似度小于所述预设值时执行步骤s205；
[0042]
步骤s204，将所述参考特征图的行人检测结果作为所述当前帧图像的行人检测结果；
[0043]
步骤s205，对所述当前特征图进行分类识别，获取所述当前帧图像的行人检测结果。
[0044]
在本实施例中，所述损失函数为：
[0045][0046]
其中，n表示特征图的大小，d表示两张特征图的相似距离，threshold为设定的阈值，s表示两张特征图的相似度。
[0047]
在本实施例中，所述两张特征图的相似距离计算公式为：
[0048][0049]
其中，m
t
‑1表示参考特征图，m
t
表示当前特征图。
[0050]
需要说明的是，通过9层空洞卷积层和9层平均池化对所述参考帧图像和所述参考帧图像进行特征提取，得到当前特征图和参考特征图，最后采用上述损失函数进行两张特征图的相似度计算，计算出损失函数中的相似度s≥1表示两张特征图像相似，直接输出参考特征图的行人检测结果；若s<1表示两张特征图不相似，对所述当前特征图进行分类识别得到行人检测结果；其中loss是一种损失函数，在对比指纹信息的过程中，不断的迭代计算是loss指最小，即匹配成功。
[0051]
与现有技术相比，本发明的有益效果为：
[0052]
本发明通过将实时采集到的视频图像转换成图像序列，根据图像序列中相邻两帧
图像进行相似性计算，再根据相似性结果输出相应的行人检测结果，不需要对每帧图像进行图像目标检测，从而提高了检测效率和检测精度，不仅可以实时监控工地上的工人数量，还可以根据行人检测结果便于对工人的高效调度管理和安全管理，满足了对建筑工地的人员进行精准管控的需求。
[0053]
图3所示为本发明实施例提供的另一种行人检测方法的流程示意图；如图3所示，其方法主要包括如下步骤：(1)通过安装在工地现场的摄像机实时采集现场的视频，并将视频按照一定采样规则生成图像序列；(2)对首张图像序列分别进行特征提取和分类；(3)相连后续张图像序列与前一张图像进行相似计算，根据相似性结果得出行人检测结果。
[0054]
在本实施例中，所述步骤(1)包括如下子步骤：(1.1)将摄像机采集到的视频按照图像序列进行存储；(1.2)每个n帧图像抽取一张图像，并将该图像传输到特征提取网路模块中。
[0055]
在本实施例中，所述步骤(2)包括如下子步骤：(2.1)采用空洞卷积和平均池化操作对图像进行特征提取，采用空洞率为2，卷积核为5
×
5的模板进行卷积，并采用2
×
2的平均池化模板；(2.2)采用9层空洞卷积层和9层平均池化提取图像特征；(2.3)在卷积计算的过程中，第一层卷积特征层直接连接到第三层卷积层，第二层卷积特征层直接连接到第四层卷积层，第三层卷积特征层直接连接到第五层卷积层，第四层卷积特征直接连接到第六层卷积层，第五层卷积特征直接连接到第七层卷积，第六层卷积特征直接连接到第八层卷积层，第七层卷积特征直接连接到第九层卷积层；(2.4)采用softmax分类器对提取的图像特征进行行人检测。
[0056]
在本实施例中，所述步骤(3)包括如下子步骤：(3.1)采用步骤(2)中的图像特征提取算法获取相连图像序列的特征图；(3.2)假设前一帧图像为m
t
‑1，相连帧为m
t
,则两帧图像的相似性估计损失函数为：
[0057][0058][0059]
其中n为图像的大小，d表示两张图像的相似距离，threshold为设定的阈值，s＝1表示两张图像相似，否则不相似。(3.3)如果(3.2)中s＝1，则直接输出m
t
‑1中行人检测的结果；否则对m
t
图像特征进行分类，再输出行人检测结果。
[0060]
图4所示为本发明实施例提供的一种行人检测装置的结构框图；如图4所示，所述行人检测装置包括：
[0061]
视频图像获取模块110，用于实时获取目标监控区域的目标视频图像；
[0062]
图像序列生成模块120，将所述目标视频图像生成目标图像序列；
[0063]
帧图像获取模块130，用于根据所述目标图像序列，获取当前帧图像和参考帧图像；
[0064]
相似性计算模块140，用于将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0065]
在本发明的另一个实施例中，提供一种计算机设备，包括存储器、处理器及存储在
存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：实时获取目标监控区域的目标视频图像；将所述目标视频图像生成目标图像序列；根据所述目标图像序列，获取当前帧图像和参考帧图像；将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0066]
在本发明的又一个实施例中，提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实现以下步骤：实时获取目标监控区域的目标视频图像；将所述目标视频图像生成目标图像序列；根据所述目标图像序列，获取当前帧图像和参考帧图像；将所述当前帧图像与所述参考帧图像进行相似行计算，根据相似性结果输出相应的行人检测结果。
[0067]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0068]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。