人员安全状态监测方法、设备及计算机可读存储介质与流程

本申请属于监控图像处理技术领域，具体涉及人员安全状态监测方法、设备及计算机可读存储介质。

背景技术：

自动扶梯是一种由电力驱动、以固定方向(向上或向下)倾斜运动运输乘客的设备，因其便利性和安全性，越来越多的大型商超、车站出入口等公共场所都配备了该设备。由于扶梯的单向运动特性，在人员密集情况下，要重点防范人员逆行、拥挤所导致的人员跌倒等安全事故，仅依靠全天候的人工监控无法保证监测效果，而基于图像处理和视频分析技术，可以实现对扶梯安全状态的智能解析，有效完成监测任务。

然而在现有基于图像处理和视频分析技术中，监控的目标经常存在被遮挡等情况而导致跟踪失败，影响监测任务。

技术实现要素：

本申请提供人员安全状态监测方法、设备及计算机可读存储介质，以解决现有基于图像处理和视频分析技术中，监控的目标经常存在被遮挡等情况而导致跟踪失败的问题。

为解决上述技术问题，本申请采用的一个技术方案是：一种人员安全状态监测方法，所述方法包括：获取图像序列，所述图像序列包括连续的多帧图像；检测所述图像序列中的目标物体；跟踪所述目标物体，获取所述目标物体的跟踪结果；判断所述跟踪结果是否符合预设结果；若否，则结合相邻两帧图像获取所述目标物体的目标位置；根据所述目标位置的变化趋势判断所述目标物体的运动状态。

根据本申请一实施方式，所述跟踪所述目标物体，获取所述目标物体的跟踪结果包括：检测每帧图像中所述目标物体的特征点；跟踪所述特征点，计算当前帧图像与上一帧图像中的每个所述特征点的单个位移量和所有所述特征点的平均位移量；统计所述单个位移量小于等于预设值的所述特征点的数量与所述特征点总数的比值，所述预设值为所述平均位移量与位移量阈值之和；将所述比值作为所述目标物体的所述跟踪结果。

根据本申请一实施方式，所述判断所述跟踪结果是否符合预设结果，包括：判断所述比值是否大于等于预设比值。

根据本申请一实施方式，所述结合相邻两帧图像获取所述目标物体的目标位置，包括：将所述上一帧图像中的所述目标物体的图像区域划分为若干个目标子区域；根据所述单个位移量小于等于预设值的所述特征点获得所述当前帧图像中的目标物体的参考区域；以所述参考区域的中心点为基准，取与所述目标子区域相同大小且对应位置的图像块作为参考子区域；将所述参考子区域与所述目标子区域进行匹配和坐标转换，得到所述当前帧图像中的所述目标物体的目标位置。

根据本申请一实施方式，所述方法还包括：若是，则将所述单个位移量小于等于第一预设值的所有所述特征点的最小外接矩形框作为所述当前帧图像中的所述目标物体的所述目标位置。

根据本申请一实施方式，所述根据所述目标物体的位置变化趋势判断所述目标物体的运动状态，包括：取每帧图像中所述目标物体的目标位置的中心点坐标，判断相邻两帧图像的所述中心点坐标的变化量是否大于变化阈值；若相邻两帧图像的所述中心点坐标的变化量大于等于变化阈值，则所述目标物体存在安全风险。

根据本申请一实施方式，所述根据所述目标物体的位置变化趋势判断所述目标物体的运动状态，包括：取每帧图像中所述目标物体的目标位置的中心点坐标，统计所述图像序列中，相邻两帧图像的所述中心点坐标的变化量不符合预设变化趋势的次数；判断所述次数是否大于等于预设次数；若所述次数大于等于预设次数，则所述目标物体存在逆行情况。

根据本申请一实施方式，所述检测所述图像序列中的目标物体，包括：将所述图像序列输入目标识别模型，获得目标物体检测结果，所述目标识别模型经过预训练。

为解决上述技术问题，本申请采用的又一个技术方案是：一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述任一方法。

为解决上述技术问题，本申请采用的又一个技术方案是：一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一方法。

本申请的有益效果是：区别于现有技术，通过检测图像序列中的目标物体，并对目标物体进行跟踪，获得目标物体的跟踪结果，在目标物体的跟踪结果不符合预设结果，即目标物体在跟踪过程存在被遮挡时，结合相邻两帧图像获取目标物体的目标位置，通过结合相邻两帧图像分块匹配的策略，可以解决因遮挡等因素导致的目标物体跟踪失败的问题，提高目标物体跟踪的准确性。进而可以根据目标位置的变化趋势判断目标物体的运动状态，以采取相应措施。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本申请的人员安全状态监测方法一实施例的流程示意图；

图2是本申请的的人员安全状态监测方法一实施例中跟踪目标物体，获取目标物体的跟踪结果的流程示意图；

图3是本申请的的人员安全状态监测方法一实施例中结合相邻两帧图像获取目标物体的目标位置的流程示意图；

图4是本申请的人员安全状态监测装置一实施例的框架示意图；

图5是本申请的电子设备一实施例的框架示意图；

图6是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请的人员安全状态监测方法一实施例的流程示意图。

本申请一实施例提供了一种人员安全状态监测方法，包括如下步骤：

s11：获取图像序列，图像序列包括连续的多帧图像。

获取图像序列，图像序列可以为监控设备拍摄的视频图像序列，图像序列包括连续的多帧图像。

s12：检测图像序列中的目标物体。

在一实施例中，可以将图像序列输入目标识别模型，获得目标物体检测结果，目标物体的检测结果包括目标物体所在的检测框及检测框在图像中的像素坐标，每帧图像中的目标物体可以有多个。目标识别模型经过预训练获得。

具体地，目标物体为行人，构建神经网络，即目标识别模型，并利用训练数据集对目标识别模型进行训练，训练数据集包括正样本和负样本。其中，正样本包含各种姿态、着装的行人图片，负样本包含商超、车站、电影院等场景下不含人体的背景图片。通过预训练，目标识别模型可以识别处图像序列中的目标物体。

通过深度学习方法对目标物体进行检测，可以增强对环境的适应性，提高目标物体识别的准确性和实时性。

s13：跟踪目标物体，获取目标物体的跟踪结果。

请参阅图2，图2是本申请的的人员安全状态监测方法一实施例中跟踪目标物体，获取目标物体的跟踪结果的流程示意图。

在一实施例中，对识别出的目标物体进行跟踪，并获得跟踪结果具体包括：

s131：检测每帧图像中目标物体的特征点。

检测每帧图像中目标物体的特征点，以一个目标物体为例，在目标物体所在检测框区域内做特征点检测，特征点可以为角点或sift等。

s132：跟踪特征点，并计算当前帧图像与上一帧图像中的每个特征点的单个位移量和所有特征点的平均位移量。

使用光流法对特征点进行跟踪，并在每帧图像跟踪接收后，计算当前帧图像与上一帧图像中的每个特征点的单个位移量和所有特征点的平均位移量。

s133：统计单个位移量小于等于预设值的特征点的数量与特征点总数的比值，预设值为平均位移量与位移量阈值之和。

统计单个位移量小于等于预设值的特征点的数量与特征点总数的比值，预设值为平均位移量与位移量阈值之和。位移量阈值的具体数值可在大量实验后根据实际情况修订。

s134：将该比值作为目标物体的跟踪结果。

s14：判断跟踪结果是否符合预设结果。

在一实施例中，判断跟踪结果是否符合预设结果包括：判断单个位移量小于等于预设值的特征点的数量与特征点总数的比值是否大于等于预设比值。在本实施例中，预设比值为60％。在其他实施例中，预设比值的具体数值可在大量实验后根据实际情况修订。

s15：若否，则结合相邻两帧图像获取目标物体的目标位置。

若单个位移量小于等于预设值的特征点的数量与特征点总数的比值小于预设比值，说明跟踪失败，目标物体可能存在被遮挡的情况，需要结合上一帧图像和当前帧图像来获得当前帧图像中的目标物体的目标位置。

请参阅图3，图3是本申请的的人员安全状态监测方法一实施例中结合相邻两帧图像获取目标物体的目标位置的流程示意图。

在一实施例中，结合相邻两帧图像获取目标物体的目标位置，包括：

s151：将上一帧图像中的目标物体的图像区域划分为若干个目标子区域。

将上一帧图像中的目标物体的所在检测框的图像区域划分为若干个目标子区域。

s152：根据单个位移量小于等于预设值的特征点获得当前帧图像中的目标物体的参考区域。

将单个位移量小于等于预设值的所有特征点的最小外接矩形框作为当前帧图像中的目标物体的参考区域。

s153：以参考区域的中心点为基准，取与目标子区域相同大小且对应位置的图像块作为参考子区域。

以参考区域的中心点为基准，取与目标子区域相同大小且对应位置的图像块作为参考子区域。

s154：将参考子区域与目标子区域进行匹配和坐标转换，得到当前帧图像中的目标物体的目标位置。

将参考子区域与目标子区域进行匹配，若匹配成功，对参考子区域和目标子区域进行坐标转换，通过将参考子区域的坐标确定后，即可获得当前帧图像的目标物体的目标位置。

通过结合相邻两帧图像分块匹配的策略，可以解决因遮挡等因素导致的目标物体跟踪失败的问题，提高目标物体跟踪的准确性。

s16：若是，则将单个位移量小于等于第一预设值的所有特征点的最小外接矩形框作为当前帧图像中的目标物体的目标位置。

若单个位移量小于等于预设值的特征点的数量与特征点总数的比值大于等于预设比值，则说明目标物体跟踪成功，将单个位移量小于等于第一预设值的所有特征点的最小外接矩形框作为当前帧图像中的目标物体的目标位置。

s17：根据目标位置的变化趋势判断目标物体的运动状态。

在一实施例中，根据目标位置的变化趋势判断目标物体的运动状态包括：

取每帧图像中目标物体的目标位置的中心点坐标，判断相邻两帧图像的中心点坐标的变化量是否大于变化阈值。若相邻两帧图像的中心点坐标的变化量大于等于变化阈值，则目标物体存在安全风险。

以行人乘坐扶梯为例，若扶梯显示在画面中为从左至右向上运行，以图像左下角为坐标原点，正常情况下中心点坐标的横坐标和纵坐标的值都缓慢递增，若纵坐标急剧减小，且前后两次变化量大于人体正常弯腰时坐标变化的阈值，说明发生了人员跌倒，即目标物体存在安全风险。此时可以根据判断结果采取相应措施，例如发出警报提醒工作人员及附近的人注意，或者可以采取紧急停止扶梯等措施，具体措施根据实际情况决定。

在一实施例中，根据目标位置的变化趋势判断目标物体的运动状态还可以包括：

取每帧图像中目标物体的目标位置的中心点坐标，统计图像序列中，相邻两帧图像的中心点坐标的变化量不符合预设变化趋势的次数。判断次数是否大于等于预设次数；若次数大于等于预设次数，则目标物体存在逆行情况。以行人乘坐扶梯为例，若扶梯显示在画面中为从左至右向上运行，以图像左下角为坐标原点，正常情况下中心点坐标的横坐标和纵坐标的值都缓慢递增，若图像序列中，出现了9次相邻两帧图像的中心点坐标的变化量不符合预设整体缓慢增加趋势，预设次数为8次，则说明出现了行人逆行。此时可以根据判断结果采取相应措施，例如发出警报提醒工作人员，或者发出语音播报提醒逆行行人的行为存在危险，具体措施根据实际情况决定。

需要说明的是，在一实施例中，可以首先判断相邻两帧图像的中心点坐标的变化量是否大于变化阈值，若否，再次判断相邻两帧图像的中心点坐标的变化量不符合预设变化趋势的次数是否大于等于预设次数。即可以首先判断行人是否发生跌倒等安全问题，随后判断行人是否逆行。而在其他实施例中，两者可以同时进行判断，以提高人员安全状态监测的效率。

本方法通过检测图像序列中的目标物体，并对目标物体进行跟踪，获得目标物体的跟踪结果，在目标物体的跟踪结果不符合预设结果，即目标物体在跟踪过程存在被遮挡时，结合相邻两帧图像获取目标物体的目标位置，通过结合相邻两帧图像分块匹配的策略，可以解决因遮挡等因素导致的目标物体跟踪失败的问题，提高目标物体跟踪的准确性。进而可以根据目标位置的变化趋势判断目标物体的运动状态，以采取相应措施。

请参阅图4，图4是本申请的人员安全状态监测装置一实施例的框架示意图。

本申请又一实施例提供了一种人员安全状态监测装置20，包括依次连接的图像获取模块21、目标物体检测模块22、目标物体跟踪模块23、计算处理模块24、执行模块25。其中，图像获取模块21获取图像序列，图像序列包括连续的多帧图像。目标物体检测模块22检测图像序列中的目标物体。目标物体跟踪模块23跟踪目标物体，获取目标物体的跟踪结果。计算处理模块24判断跟踪结果是否符合预设结果；若否，则结合相邻两帧图像获取目标物体的目标位置。计算处理模块24根据目标位置的变化趋势判断目标物体的运动状态。执行模块25根据判断结果执行相应措施。

本装置20通过检测图像序列中的目标物体，并对目标物体进行跟踪，获得目标物体的跟踪结果，在目标物体的跟踪结果不符合预设结果，即目标物体在跟踪过程存在被遮挡时，结合相邻两帧图像获取目标物体的目标位置，通过结合相邻两帧图像分块匹配的策略，可以解决因遮挡等因素导致的目标物体跟踪失败的问题，提高目标物体跟踪的准确性。进而可以根据目标位置的变化趋势判断目标物体的运动状态，以采取相应措施。

请参阅图5，图5是本申请的电子设备一实施例的框架示意图。

本申请又一实施例提供了一种电子设备30，包括相互耦接的存储器31和处理器32，处理器32用于执行存储器31中存储的程序指令，以实现上述任一实施例的人员安全状态监测方法。在一个具体的实施场景中，电子设备30可以包括但不限于：微型计算机、服务器，此外，电子设备30还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器32用于控制其自身以及存储器31以实现上述任一人员安全状态监测方法实施例中的步骤。处理器32还可以称为cpu(centralprocessingunit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。

请参阅图6，图6是本申请计算机可读存储介质一实施例的框架示意图。

本申请又一实施例提供了一种计算机可读存储介质40，其上存储有程序数据41，程序数据41被处理器执行时实现上述任一实施例的人员安全状态监测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质40中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质40中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质40包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。