用于检测所关注对象的监视装置和其操作方法与流程

1.本发明涉及一种监视装置，且尤其涉及一种用于检测所关注对象的监视装置和其操作方法。


背景技术：

2.摄像机可拍摄所监视场的图像以产生视频流。监视装置可检测所关注对象是否出现在视频流中。当所关注对象出现或不出现在视频流中时，监视装置可触发对应的应用操作，如记录、发布警报和/或其它应用操作。然而，所监视场中可能存在许多不合需要的移动对象(un-desired moving objects，或称作不受关注的对象(object of no interest))。举例来说，所监视场可能具有喷泉、瀑布、电扇或不属于监视对象的其它移动对象。这些不合需要的移动对象可导致监视装置的运动检测(motion detection)中的错误，这可能导致错误警报和更多功率消耗。举例来说，在人检测系统(person detection system)中，周期性或非周期性移动叶片(或风扇)可错误地触发监视装置的运动检测机制。
3.这一背景技术部分中公开的信息仅用于增强对所描述技术的背景的理解，且因此其可能含有并不形成本领域的一般技术人员已知的现有技术的信息。此外，所述背景技术部分中公开的信息并不意味着本领域的一般技术人员已确认待由本发明的一个或多个实施例解决的一个或多个问题。


技术实现要素：

4.本发明是针对一种监视装置和其操作方法以尽可能地避免错误警报。
5.在本发明的实施例中，前述监视装置调适成检测所关注对象是否出现在视频流中。监视装置包含运动计算(motion calculation)电路、运动区域确定(motion region determination)电路以及计算引擎(computing engine)。运动计算电路调适成接收视频流。运动计算电路配置成对视频流中的当前帧进行运动计算以产生运动图(motion map)。运动区域确定电路耦合到运动计算电路以接收运动图。运动区域确定电路配置成根据运动图确定当前帧中的运动区域(motion region)。计算引擎耦合到运动区域确定电路。运动区域确定电路向计算引擎通知当前帧中的运动区域。计算引擎配置成对视频流的当前帧中的运动区域进行所关注对象检测以产生检测结果。运动区域确定电路根据检测结果确定是否忽略当前帧之后的后续帧中的运动区域。
6.在本发明的实施例中，前述操作方法包含：通过监视装置的运动计算电路对视频流中的当前帧进行运动计算以产生运动图；通过监视装置的运动区域确定电路根据运动图确定当前帧中的运动区域；通过运动区域确定电路向监视装置的计算引擎通知当前帧中的运动区域；通过计算引擎对视频流的当前帧中的运动区域进行所关注对象检测以产生检测结果；以及通过运动区域确定电路根据检测结果确定是否忽略当前帧之后的后续帧中的运动区域。
7.基于上述描述，本发明的实施例中所描述的监视装置调适成对当前帧中的运动区
域执行所关注对象检测以检测运动区域中是否存在所关注对象。基于当前帧的检测结果，监视装置可决定是否忽略后续帧中的运动区域。举例来说，当检测结果指示某一运动区域中的对象为不合需要的移动对象(un-desired moving objects，或称作不受关注的对象)时，监视装置可忽略所述运动区域，进而避免计算引擎对运动区域进行所关注对象检测以尽可能地避免错误警报。
8.为了使前述内容更容易理解，以下详细地描述伴有附图的若干实施例。
附图说明
9.包含附图以提供对本发明的进一步理解，且附图并入在本说明书中且构成本说明书的一部分。图式示出本发明的实施例，且与描述一起用于解释本发明的原理。
10.图1为根据本发明的实施例的监视装置的电路块(circuit block)示意图。
11.图2为根据本发明的实施例的监视装置的操作方法的流程图示意图。
12.图3为示出根据本发明的实施例的图1中所绘示的监视装置的操作情况的示意图。
13.附图标号说明
14.100：监视装置；
15.110：运动计算电路；
16.120：运动区域确定电路；
17.130：计算引擎；
18.140：存储器；
19.s210、s220、s230、s240、s250：步骤；
20.fa、fb、fc：视频帧；
21.mm：运动图；
22.mr：信息；
23.mr1、mr2、mr3：运动区域；
24.ob1、ob2：移动对象；
25.vs：视频流；
26.y/n：检测结果。
具体实施方式
27.本公开的全部文本(包含权利要求书)中所使用的术语“耦合”是指任何直接和间接连接。举例来说，如果将第一装置描述为耦合到第二装置，那么解释为第一装置直接耦合到第二装置，或第一装置通过其它装置或连接构件间接耦合到第二装置。在说明书和权利要求书中所提及的“第一”、“第二”等仅用于命名离散组件且不应视为限制组件数目的上限或下限，也不用于限定组件的制造次序或设置次序。此外，在可能的情况下，图式和描述中使用相同附图标号的组件/部件/步骤是指相同或相似的部分。在不同实施例中使用相同附图标号或使用相同术语的组件/部件/步骤可交叉参考相关描述。
28.图1为根据本发明的实施例的监视装置100的电路块(circuit block)示意图。摄像机(未绘示)可拍摄所监视场的图像以产生视频流vs。图1中所绘示的监视装置100可检测所关注对象是否出现在视频流vs中。可根据设计要求和/或应用要求来确定所关注对象。举
例来说，所关注对象可包含人类或其它生物。当所关注对象出现在视频流vs中时，监视装置100可通过检测结果y/n(例如1或0)向下一级电路(未绘示)通知“所关注对象出现”以触发对应的应用操作。根据设计要求，在一些实施例中，应用操作可包含记录、发布警报和/或其它应用操作。
29.图1中所绘示的监视装置100包含运动计算(motion calculation)电路110、运动区域确定(motion region determination)电路120以及计算引擎(computing engine)130。运动计算电路110调适成接收视频流vs。运动区域确定电路120耦合到运动计算电路110以接收运动图mm。计算引擎130耦合到运动区域确定电路120以接收与运动区域相关的信息mr。根据不同设计要求，运动计算电路110、运动区域确定电路120和/或计算引擎130的块可以硬件(hardware)、固件(firmware)、软件(software，即程序)或其组合的形式来实施。
30.在硬件方面，上文所描述的运动计算电路110、运动区域确定电路120和/或计算引擎130的块可通过集成电路(integrated circuit)上的逻辑电路实施。运动计算电路110、运动区域确定电路120和/或计算引擎130的相关功能可通过使用硬件描述语言(hardware description languages，例如verilog hdl或vhdl)或其它合适的编程语言实施为硬件。举例来说，运动计算电路110、运动区域确定电路120和/或计算引擎130的相关功能可实施于一个或多个控制器、微控制器、微处理器、专用集成电路(application-specific integrated circuit；asic)、数字信号处理器(digital signal processor；dsp)、现场可编程门阵列(field programmable gate array；fpga)和/或其它处理单元中的各种逻辑块、模块以及电路。
31.在软件和/或固件方面，前述运动计算电路110、运动区域确定电路120和/或计算引擎130的相关功能可实施为编程代码(programming codes)。举例来说，使用通用编程语言(programming languages，如c、c++或其组合)或其它合适的编程语言来实施前述运动计算电路110、运动区域确定电路120和/或计算引擎130。编程代码可记录/存储在记录介质中。在一些实施例中，记录介质例如包含只读存储器(read only memory；rom)、随机存取存储器(random access memory；ram)和/或存储装置。存储装置包含硬盘驱动器(hard disk drive；hdd)、固态驱动器(solid-state drive；ssd)或其它存储装置。在一些其它实施例中，记录介质可包含“非临时性计算机可读介质(non-transitory computer readable medium)”。举例来说，可使用磁带(tape)、磁盘(disk)、卡(card)、半导体存储器、可编程逻辑电路等来实施非临时性计算机可读介质。计算机、中央处理单元(central processing unit；cpu)、控制器、微控制器或微处理器可从记录介质读取编程代码且运行所述编程代码以实施前述运动计算电路110、运动区域确定电路120和/或计算引擎130的相关功能。此外，还可以经由任何传输介质(通信网络或广播波等)将编程代码提供到计算机(或cpu)。通信网络是例如因特网(internet)、有线通信(wired communication)网络、无线通信(wireless communication)网络或其它通信介质。
32.图2为根据本发明的实施例的监视装置的操作方法的流程图示意图。参看图1和图2。在步骤s210中，运动计算电路110可对视频流vs中的当前帧进行运动计算以产生运动图(motion map)mm。运动计算的实施不受实施例限制。根据设计要求，在一些实施例中，运动计算电路110可进行常规的运动估计算法或其它运动计算算法来实施运动计算以产生运动
图mm。在一些实施例中，运动图mm可包含每一像素的运动向量。在一些其它实施例中，当前帧的所有像素可划分成多个像素群组，且运动图mm可包含每一像素群组的运动向量。
33.在步骤s220中，运动区域确定电路120可根据运动图mm确定当前帧中的运动区域(motion region)。举例来说(但不限于此)，运动区域确定电路120可将具有大于某一阈值的运动向量的像素群组限定为运动区域，其中阈值可根据设计要求进行确定。另外，运动区域的几何形状和/或大小也可以根据设计要求进行确定。在步骤s230中，运动区域确定电路120可通过信息mr向计算引擎130通知当前帧中的运动区域。
34.监视装置100还可以根据设计要求选择性地配置有存储器140以在视频流vs中临时存储部分帧、完整帧或多个帧。存储器140可将临时存储的视频流vs提供到计算引擎130。在步骤s240中，计算引擎130可对视频流vs的当前帧中的运动区域进行所关注对象检测以向下一级电路(未绘示)产生检测结果y/n。所关注对象检测的实施不受实施例限制。根据设计要求，在一些实施例中，计算引擎130可进行常规的卷积神经网络(conventional convolutional neural network；cnn)对象检测算法或其它对象检测算法以实施所关注对象检测，从而产生检测结果y/n。
35.除了将检测结果y/n提供到下一级电路(未绘示)外，计算引擎130还将检测结果y/n提供到运动区域确定电路120。在步骤s250中，运动区域确定电路120可根据检测结果y/n确定是否忽略当前帧之后的后续帧中的运动区域。举例来说，当计算引擎130的检测结果y/n指示运动区域不含有所关注对象时，运动区域确定电路120可忽略后续帧中的运动区域，以防止计算引擎130对后续帧中的运动区域进行所关注对象检测。当计算引擎130的检测结果y/n指示运动区域含有所关注对象时，运动区域确定电路120可向计算引擎130通知后续帧中的运动区域，使得计算引擎130可对后续帧中的运动区域进行所关注对象检测。
36.在运动区域确定电路120不向计算引擎130通知后续帧中的任何运动区域的情况下，和/或在后续帧中不存在运动区域的情况下，计算引擎130处于睡眠模式以减小功率消耗。举例来说，在“信息mr不具有任何移动区域”的情况下，计算引擎130空闲，使得计算引擎130可进入睡眠模式以减小功率消耗。
37.当运动区域出现在视频流vs的当前帧中时，运动区域确定电路120可唤醒计算引擎130，且通过信息mr向计算引擎130通知“当前帧中的运动区域”。计算引擎130可对当前帧中的运动区域进行所关注对象检测以检测运动区域中的对象是否为所关注对象(例如人)。在检测结果y/n指示“运动区域中的对象不是所关注对象”的情况下，运动区域确定电路120可忽略后续帧中的运动区域，即，信息mr不具有运动区域。因此，在“信息mr不具有任何运动区域”的情况下，计算引擎130可再次进入睡眠模式。
38.考虑到所关注对象可能出现在忽略的运动区域中，运动区域确定电路120可定期(不适时地)唤醒计算引擎130，且通过信息mr再次向计算引擎130通知曾经忽略的运动区域。唤醒的计算引擎130可再次对运动区域进行所关注对象检测以再次确认运动区域中是否存在所关注对象。
39.图3为示出根据本发明的实施例的图1中所绘示的监视装置100的操作情况的示意图。假设图3中所绘示的视频帧fa为视频流vs中的当前帧，且视频帧fa具有移动对象ob1和移动对象ob2。移动对象ob1为在风中飘动的旗帜(不受关注的对象)，且移动对象ob2为行走的人(所关注对象)。通过运动计算电路110的运动计算和运动区域确定电路120的运动区域
确定，运动区域确定电路120可确定视频帧fa中的运动区域mr1和运动区域mr2，其中运动区域mr1含有移动对象ob1且运动区域mr2含有移动对象ob2。应注意，运动区域的大小是可调整的。实际上，运动区域的大小可取决于移动对象。运动区域确定电路120可通过信息mr向计算引擎130通知“视频帧fa中的运动区域mr1和运动区域mr2”。计算引擎130可对视频帧fa中的运动区域mr1和运动区域mr2进行所关注对象检测以产生检测结果y/n，其中运动区域mr1的检测结果y/n为“n”(指示无所关注对象)，且运动区域mr2的检测结果y/n为“y”(指示存在所关注对象)。
40.在处理视频帧fa之后，可将视频帧fa之后的视频帧fb用作当前帧。如图3中所绘示，在视频帧fb中，移动对象ob1的位置没有改变，但移动对象ob2已移动到新位置。通过运动计算电路110的运动计算和运动区域确定电路120的运动区域确定，运动区域确定电路120可确定视频帧fb中的运动区域mr1和运动区域mr3，其中运动区域mr1含有移动对象ob1且运动区域mr3含有移动对象ob2。基于通过计算引擎130从视频帧fa获得的检测结果y/n，已知运动区域mr1中不存在所关注对象。因此，运动区域确定电路120可忽略视频帧fb中的运动区域mr1，且通过信息mr向计算引擎130通知“视频帧fb中的运动区域mr3”。计算引擎130可对视频帧fb中的运动区域mr3进行所关注对象检测以产生检测结果y/n，其中运动区域mr3的检测结果y/n仍为“y”(指示存在所关注对象)。
41.在处理视频帧fb之后，可将视频帧fb之后的视频帧fc用作当前帧。如图3中所绘示，在视频帧fc中，移动对象ob1的位置没有改变，但移动对象ob2已移动到帧外。通过运动计算电路110的运动计算和运动区域确定电路120的运动区域确定，运动区域确定电路120可确定视频帧fc中的运动区域mr1，其中运动区域mr1含有移动对象ob1。由于运动区域mr1中不存在所关注对象，所以运动区域确定电路120继续忽略视频帧fc中的运动区域mr1。由于视频帧fc中不存在所关注对象，所以信息mr不含有任何运动区域。在“信息mr不含有任何运动区域”的情况下，计算引擎130空闲，使得计算引擎130可进入睡眠模式以减小功率消耗。应注意，即使移动对象ob1保持移动，但由于移动区域确定电路120保持忽略移动区域mr1，所以移动对象ob1将不会错误地触发(唤醒)运算引擎130。
42.综上所述，本发明的实施例中所描述的监视装置100调适成对当前帧中的运动区域执行所关注对象检测以检测运动区域中是否存在所关注对象。基于当前帧的检测结果y/n，运动区域确定电路120可决定是否忽略后续帧中的运动区域。举例来说，当检测结果y/n指示某一运动区域中的对象为不合需要的移动对象(un-desired moving objects，或称作不受关注的对象)时，运动区域确定电路120可忽略所述运动区域，进而避免计算引擎130对运动区域进行所关注对象检测以尽可能地避免错误警报。
43.本领域的技术人员将显而易见，在不脱离本发明的范围或精神的情况下，可对所公开的实施例进行各种修改和变化。鉴于前述内容，希望本发明涵盖属于所附权利要求书和其等效物的范围内的修改和变化。