用于检测物体滞留的方法与流程

1.本公开总体上涉及视频处理领域，更特别地涉及用于检测物体滞留的方法。


背景技术：

2.随着现代科技的快速发展以及图像和视频获取技术的逐步发展与完善，智慧安防视频监控已经广泛地应用于人们的日常生产生活。生活中经常出现垃圾乱扔，车辆违规占道等行为，影响了城市公共卫生、增加了公共安全管理难度，威胁到了市民的生命财产安全，在某些关键地方甚至会造成不可挽回的损失。
3.现阶段，主要有两种方法用于判断是否发生物体滞留，例如垃圾乱扔、车辆违规占道等。
4.第一种是靠人工定期巡检解决物体遗落、占道等类似问题。但是此种方法不仅费时费力，需要支付高额的人工成本，并且人工只能定期巡检，容易出现遗漏或疏忽。
5.第二种方法则是通过基于深度学习的目标检测算法配合目标跟踪。此方法的问题是：当物体遮挡、重叠导致目标跟踪算法跟丢从而重新生成唯一身份id，会造成抓取人员的物体滞留行为失败的问题，造成误报率高或漏检率高。在本技术领域中，误报率指检测结果中错误上报的占比，漏检率指所有物体滞留事件中算法模型漏检的占比。


技术实现要素：

6.在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
7.本公开的目的之一是解决现有技术中上述问题之中的一个，例如漏检率高。
8.根据本公开的一个方面，提供一种用于检测物体滞留的方法，包含步骤：
9.确定在人员进入摄像头画面之前摄像头画面中滞留物体的数量；
10.确定在人员离开摄像头画面之后摄像头画面中滞留物体的数量；
11.如果在人员进入摄像头画面之前摄像头画面中滞留物体的数量小于在人员离开摄像头画面之后摄像头画面中滞留物体的数量，则推定该人员进行了物体滞留；
12.其中，在确定摄像头画面中滞留物体的数量时，如果滞留物体之间存在遮挡现象，则：利用部分补全网络pcnet-m针对摄像头画面图像得到实例分割图像掩码，利用部分补全网络pcnet-m针对摄像头画面图像得到所有的滞留物体的遮挡关系顺序图，利用内容补全网络pcnet-c对滞留物体进行rgb图像补全以得到分解后的独立且完整的对象，对分解后的独立且完整的对象进行目标分类，以及，对经目标分类的对象进行计数。
13.根据本公开的另一方面，提供一种用于检测物体滞留的装置，包括：
14.存储器，其上存储有指令；以及
15.处理器，被配置为执行存储在所述存储器上的指令，以执行上述用于检测物体滞
留的方法。
16.根据本公开的另一方面，提供一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行上述用于检测物体滞留的方法。
17.根据本公开的另一方面，提供一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行上述用于检测物体滞留的方法。
18.根据本公开的上述方案，能够降低物体滞留检测的的漏检率。
19.以下通过本发明的优选的实施方式的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
20.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
21.参照附图，根据下面的详细描述，可以更清楚地理解本公开，其中：
22.图1示出了用于检测物体滞留的方法的处理流程；
23.图2示出了滞留物体之间存在遮挡现象时的处理流程；
24.图3示出了能够实现根据本公开的实施例的计算设备的示例性配置。
具体实施方式
25.参考附图进行以下详细描述，并且提供以下详细描述以帮助全面理解本公开的各种示例实施例。以下描述包括各种细节以帮助理解，但是这些细节仅被认为是示例，而不是为了限制本公开，本公开是由随附权利要求及其等同内容限定的。在以下描述中使用的词语和短语仅用于能够清楚一致地理解本公开。另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
26.图1示出了用于检测物体滞留的方法的处理流程。
27.当人员经过摄像头的视野时，会依次出现人员进入摄像头画面的人员进框状态，人员处于摄像头画面中的人员在框状态，以及人员离开摄像头画面的人员出框状态。
28.来自摄像头的视频数据可以记录包含人员进入摄像头画面、人员处于摄像头画面中和人员离开摄像头画面的整个过程。
29.本公开通过处理来自摄像头的视频数据，以检测进入摄像头视野的人员是否进行了滞留物体的行为。例如，滞留物体可以是垃圾、车辆等物体。
30.如图1中步骤s101所示，本公开确定在人员进入摄像头画面之前摄像头画面中滞留物体的数量。
31.具体而言，例如，可以通过应用图像语义分割模型bisenet及平滑值处理对摄像头画面中路过人员进行推理，并且定义人员进入摄像头画面的人员进框状态、人员处于摄像头画面中的人员在框状态以及人员离开摄像头画面的人员出框状态。在本领域中，图像语义分割指把图像中各种不同物体用不同颜色分割出来。对于本领域技术人员来说，图像语
义分割模型bisenet是本领域已知的一种图像语义分割模型。
32.基于图像语义分割的结果，目标跟踪模型可以对检测物体目标分配标识id，并且可以例如通过标识id关联物体目标从而达到针对单例物体计数的效果。
33.在滞留物体之间存在遮挡现象的情况下，本公开利用部分补全网络pcnet-m针对摄像头画面图像得到实例分割图像掩码，并且可以推理出摄像头画面中滞留物体的数量。
34.此外，进一步优选的是，本公开还可以基于部分补全网络pcnet-m针对摄像头画面图像进一步得到所有的滞留物体的遮挡关系顺序图，并且利用内容补全网络pcnet-c对滞留物体进行rgb图像补全，以得到分解后的独立且完整的对象。对于本领域技术人员来说，部分补全网络pcnet-m和内容补全网络pcnet-c都是已知的神经网络。
35.此外，进一步优选的是，本公开还可以对经目标分类的对象进行计数。目标分类是基于深度学习的目标识别算法。
36.由此可见，即使在物体之间存在遮挡现象的情况下，本公开也能够正确地进行计数，从而解决因物体之间的遮挡导致的漏检问题。
37.如图1中的步骤s102所示，进一步确定在人员离开摄像头画面之后摄像头画面中滞留物体的数量。
38.本公开在步骤s102中确定摄像头画面中滞留物体的数量的方式与步骤s101中类似。特别是，在滞留物体之间存在遮挡现象的情况下，本公开利用部分补全网络pcnet-m针对摄像头画面图像得到实例分割图像掩码，并且推理出摄像头画面中滞留物体的数量。类似的，本公开也可以基于部分补全网络pcnet-m针对摄像头画面图像进一步得到所有的滞留物体的遮挡关系顺序图。本公开也可以利用内容补全网络pcnet-c对滞留物体进行rgb图像补全，以将指定区域的摄像头画面场景分解为多个独立且完整的对象，得到分解后的独立且完整的对象，并且可以得到遮挡排序图。本公开也可以对分解后的对象进行目标分类，本公开还可以对经目标分类的对象进行计数。
39.本公开也可以通过判断指定区域物体数量是否增加来判断是否存在人员物体滞留行为。具体而言，如图1中的步骤s103所示，本公开将在人员进入摄像头画面之前摄像头画面中滞留物体的数量与在人员离开摄像头画面之后摄像头画面中滞留物体的数量进行比较。如果在人员进入摄像头画面之前摄像头画面中滞留物体的数量小于在人员离开摄像头画面之后摄像头画面中滞留物体的数量，则说明摄像头画面中滞留物体的数量增加了，从而推定该人员进行了物体滞留(s104)。如果在人员进入摄像头画面之前摄像头画面中滞留物体的数量不小于在人员离开摄像头画面之后摄像头画面中滞留物体的数量，则说明摄像头画面中滞留物体的数量没有增加，从而推定该人员没有进行物体滞留(s105)。
40.例如，如果人员进框前不存在滞留物体，人员出框后存在滞留物体，则推定该人员进行了物体滞留行为。再例如，如果人员进框前已存在滞留物体，人员出框后也存在滞留物体但不存在遮挡现象，通过指定区域滞留物体个数是否增加，也可以判断该人员是否进行了物体滞留行为。再例如，如果人员进框前已存在滞留物体，人员出框后也存在滞留物体且存在遮挡现象，则可以利用部分补全网络pcnet-m针对摄像头画面图像得到实例分割图像掩码，并且推理出摄像头画面中滞留物体的数量；也可以基于部分补全网络pcnet-m针对摄像头画面图像进一步得到所有的滞留物体的遮挡关系顺序图；也可以利用内容补全网络pcnet-c对滞留物体进行rgb图像补全，以将指定区域的摄像头画面场景分解为多个独立且
完整的对象，得到分解后的独立且完整的对象；也可以进一步对分解后的对象进行目标分类和计数。
41.作为可选的步骤，在推定有人员进行了物体滞留的情况下，本公开找出该人员进入摄像头画面之后首次检测到滞留物体的数量的增加的帧作为关键帧，并且输出包括关键帧以及关键帧前后预定范围的视频数据。例如，可以通过在图片序列中进行遍历、判断某个特征标记来获取关键帧的位置。关键帧前的预定范围和关键帧后的预定范围可以分别是例如1秒到10秒的视频范围，例如3秒、5秒或7秒的视频范围。关键帧前的预定范围的长度可以等于也可以不等于关键帧后的预定范围的长度。并且，关键帧前的预定范围的长度以及关键帧后的预定范围的长度都是可以由用户设定的。
42.例如，在推定有人员进行了物体滞留的情况下，本公开可以发出告警信息，并且可以将上述包括关键帧以及关键帧前后预定范围的视频数据作为与告警信息对应的视频证据。这样的视频证据完整地记录了该人员进行物体滞留行为的整个过程。
43.作为可选的步骤，在推定有人员进行了物体滞留的情况下，本公开还可以找出该人员进入摄像头画面之后首次检测到被滞留的物体的图片帧，并且将该图片帧进一步作为与告警信息对应的证据。这样的图片帧能够进一步证明被滞留的物体自进入摄像头画面后首先出现在哪里。例如，在被滞留的物体为一袋垃圾的情况下，这袋垃圾首次被检测到时可能被该人员拎在手里。作为示例，可以通过在图片序列中进行遍历、判断某个特征标记来获取指定图片帧的位置。
44.说明书附图2进一步具体例示了滞留物体之间存在遮挡关系的情况下的优选的处理流程。
45.在本发明的优选示例中，采用了自监督补全的机制。
46.具体而言，如图2中步骤s201所示，可以基于部分补全网络pcnet-m输出摄像头画面图像的实例分割图像掩码，并且推理出摄像头画面中所有的滞留物体。
47.并且，进一步优选的是，可以如图2中步骤s202所示基于部分补全网络pcnet-m推理出摄像头画面中所有的滞留物体的遮挡关系。
48.在此基础上，如图2中步骤s203所示，可以进一步利用内容补全网络pcnet-c对滞留物体进行rgb图像补全。从而，如图2中步骤s204所示，可以将场景分解为多个独立完整的对象，从而得到分解后的独立且完整的对象。本公开还可以对分解后的独立且完整的对象进行目标分类，以及，对经目标分类的对象进行计数。
49.并且，基于步骤s202中推理出的摄像头画面中所有的滞留物体的遮挡关系，可以得到遮挡关系顺序图。
50.以上具体例示了根据本发明优选实施例的一种物体滞留的智能检测方法，其采用了语义分割、关键帧回溯、目标分类以及自监督补全机制，以检测人员物体滞留行为，能够降低因物体间遮挡导致的漏检率。
51.图3示出了能够实现根据本公开的实施例的计算设备300的示例性配置。
52.计算设备300是能够应用本公开的上述方面的硬件设备的实例。计算设备300可以是被配置为执行处理和/或计算的任何机器。计算设备300可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(pda)、智能电话、车载计算机或以上组合。
53.如图3所示，计算设备300可以包括可以经由一个或多个接口与总线302连接或通信的一个或多个元件。总线302可以包括但不限于，工业标准架构(industry standard architecture，isa)总线、微通道架构(micro channel architecture，mca)总线、增强isa(eisa)总线、视频电子标准协会(vesa)局部总线、以及外设组件互连(pci)总线等。计算设备300可以包括例如一个或多个处理器304、一个或多个输入设备306以及一个或多个输出设备308。一个或多个处理器304可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。处理器304例如可以被配置为执行图2或图3所示的方法。输入设备306可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备308可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
54.计算设备300还可以包括或被连接至非暂态存储设备314，该非暂态存储设备314可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备300还可以包括随机存取存储器(ram)310和只读存储器(rom)312。rom 312可以以非易失性方式存储待执行的程序、实用程序或进程。ram 310可提供易失性数据存储，并存储与计算设备300的操作相关的指令。计算设备300还可包括耦接至数据链路318的网络/总线接口316。网络/总线接口316可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙
tm
设备、802.11设备、wifi设备、wimax设备、蜂窝通信设施等)。
55.本公开可以被实现为装置、系统、集成电路和非瞬时性计算机可读介质上的计算机程序的任何组合。可以将一个或多个处理器实现为执行本公开中描述的部分或全部功能的集成电路(ic)、专用集成电路(asic)或大规模集成电路(lsi)、系统lsi，超级lsi或超lsi组件。
56.本公开包括软件、应用程序、计算机程序或算法的使用。可以将软件、应用程序、计算机程序或算法存储在非瞬时性计算机可读介质上，以使诸如一个或多个处理器的计算机执行上述步骤和附图中描述的步骤。例如，一个或多个存储器以可执行指令存储软件或算法，并且一个或多个处理器可以关联执行该软件或算法的一组指令，以根据本公开中描述的实施例提供各种功能。
57.软件和计算机程序(也可以称为程序、软件应用程序、应用程序、组件或代码)包括用于可编程处理器的机器指令，并且可以以高级过程性语言、面向对象编程语言、功能性编程语言、逻辑编程语言或汇编语言或机器语言来实现。术语“计算机可读介质”是指用于向可编程数据处理器提供机器指令或数据的任何计算机程序产品、装置或设备，例如磁盘、光盘、固态存储设备、存储器和可编程逻辑设备(pld)，包括将机器指令作为计算机可读信号来接收的计算机可读介质。
58.举例来说，计算机可读介质可以包括动态随机存取存储器(dram)、随机存取存储器(ram)、只读存储器(rom)、电可擦只读存储器(eeprom)、紧凑盘只读存储器(cd-rom)或其
他光盘存储设备、磁盘存储设备或其他磁性存储设备，或可以用于以指令或数据结构的形式携带或存储所需的计算机可读程序代码以及能够被通用或专用计算机或通用或专用处理器访问的任何其它介质。如本文中所使用的，磁盘或盘包括紧凑盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘和蓝光盘，其中磁盘通常以磁性方式复制数据，而盘则通过激光以光学方式复制数据。上述的组合也包括在计算机可读介质的范围内。
59.提供本公开的主题作为用于执行本公开中描述的特征的装置、系统、方法和程序的示例。但是，除了上述特征之外，还可以预期其他特征或变型。可以预期的是，可以用可能代替任何上述实现的技术的任何新出现的技术来完成本公开的部件和功能的实现。
60.另外，以上描述提供了示例，而不限制权利要求中阐述的范围、适用性或配置。在不脱离本公开的精神和范围的情况下，可以对所讨论的元件的功能和布置进行改变。各种实施例可以适当地省略、替代或添加各种过程或部件。例如，关于某些实施例描述的特征可以在其他实施例中被结合。
61.类似地，虽然在附图中以特定次序描绘了操作，但是这不应该被理解为要求以所示的特定次序或者以顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。