专利名称：用于识别景象变化的方法和用于此的监视装置的制作方法
现有技术本发明涉及如独立权利要求所述类型的一种方法和一种装置。从Harald Fuhrmann的出版物“危险警报系统，技术和结构”，Huettig出版社，1992年海德堡，ISBN 3-7785-2185-3，第82-83页中已经知道，将一个视区的一个基准图像与一个实际图像进行比较，从而，实际图像中相对于基准图像的变化导致发出警报；为了识别这种差别，进行灰度值比较。
本发明优点与此相对，具有独立权利要求的特征的本发明方法及本发明监视装置具有以下优点在一个规定的景象内探测在那里异常长时间地停留的人时，或者在识别被放置于一个规定景象内的物体时，或者在识别从一个规定的景象内盗窃物品时，就是说，在探测一个规定视区内的静态变化时，可以有意识地容许扰动量。由于不是直接分析图像信号，也就是说，不是直接分析摄像机图像的灰度值或色值，而是摄像机图像中包含的结构信息，因而在探测结果中基本不考虑景象中的亮度变化和不同的照明情况。
通过在从属权利要求中提出的措施可以有利地扩展和改进在独立权利要求中给出的方法及监视装置。特别有利的是，将一个感兴趣的区域的变化的时间过程与整体图像的一个变化的时间过程进行比较，从而可靠地识别该区域的长期的变化，其中，这种变化所要求的时间阶段可根据各种使用情况预先规定。在此，各种临时变化、如摄像机被一个人或一个落在监视摄像机镜头上的昆虫或类似物短时遮挡，被可靠地作为这类变化识别出，不引起警报触发。
通过考虑一个另外的预先规定的时间的可以保证，可以将对摄像机的异常遮挡、如被布盖住与景象中的其它变化区别开，以触发警报。
以一种有利的方式证明，通过应用实际图像的均方偏差可以简单地实现，在考虑图像噪声的情况下进行统计学有效校验(Signifikanztest)，同时为探测变化提供一个在实践中可靠的特征，这样，那些只根据相关性研究还没有导致将该区域分类为发生了变化的区域的变化也还被记录。有效校验的进一步改进这样实现，即，在景象没有发生变化的情况下，连续适应追踪阈值以通过测量实际图像噪声进行探测。这种特性一方面通过对于识别有重要意义的摄像机特性被自动、从而单独地识别和测量，可以允许使用不同的摄像机进行图像拍摄，另一方面，摄像机在不同照明条件和老化条件下工作的变化被一同考虑并被相应补偿。
附图本发明的实施例在附图中示出并且在下面的描述中进一步解释。图示为
图1一个监视装置，图2流程框图，图3另一个流程框图，图4一个第三流程框图。
摄像机1对准一个预先确定的视区，该视区应被监视。该固定地安装的摄像机向计算机2提供图像数据，该计算机对静态的景象变化进行基于视频的识别，如在图2，3和4中所描述的。存储器用于存储基准图像，这样，可以将实际的图像数据与存储的基准图像进行比较。监视器6提供被摄像机1摄像的视区的一个复制图。信号显示器5例如通过一个声学的或光学的警告过程告知视区内的景象的一个静态的变化。在此，信号显示器可以集成在监视器中，这就是说，可以在监视器的部分区域内实现一个光学显示，其中，可以额外通过扬声器或分开安装的扬声器发出警报声。输入装置3用于选择视区内感兴趣的区域，这些区域被特别地检查其静态变化。此外，可以通过输入装置输入时间T1和T2，它们根据使用情况确定发生变化的持续时间，这种变化应导致报警。在此，较长的时间T2用于识别异常的、长时间的变化，例如在摄像机被遮盖时或在视区内非法行动的人长时间持续操作时。相反，时间T1用于将视区的一个较大部分内的短期变化与一个感兴趣的区域内的变化区别开。时间T1和T2以及所述区域的选择和基准图像一样被存储在存储器4中。
图2示出图像处理方法过程的一个流程框图。一个固定的摄像机连续拍摄一个预先规定的视区的图像，在该视区中应探测可能发生的变化。在启动该系统前，摄下该景象的一个基准图像并存储在一个存储器中。在连续的监视中，将该视区的实际图像与该基准图像进行比较。为此，在方法步骤11中，通过求出这些二维图象在水平方向和垂直方向的亮度值和/或色值的梯度并从而求出边缘信息或者关于视区内的灰度值跳跃或色值跳跃的信息，不仅对该基准图像、而且对所述实际图像计算结构信息。接着，在方法步骤21中，计算实际图像的和基准图像的在下面被称作边缘图像的梯度的相关性。在此，按照Bronstein-Semendjajew的数学手册，Harri Deutsch出版社，图恩，第24版，1989年，第692页公式(5.92)，计算一个相关系数rr＝(∑(xn-x)(yn-y))/√(∑(xn-x)2∑(yn-y)2)。
其中，xn是基准图像中位置n上的梯度，yn是实际图像中位置n上的梯度，x是基准图像中的梯度平均值，y是实际图像中的梯度平均值，n是像点位置的编号指数，该编号指数例如是自然数。通过被分析区域的两个空间维上的梯度xn以及yn进行求和。相关系数具有一个从-1到+1的取值范围。在此，值1表示存在同样的结构，值0表示不存在相关性，也就是说，与基准图像相比较实际图像完全变化。小于0的值提示一种逆反的关系，并且同样被评价为完全变化。在方法步骤26中，将这样求出的相关性值(Korrelationswert)与一个阈值S3(例如S3＝0.3)进行比较。如果该相关性值在该阈值之上，则在方法步骤81中该图像被识别为没有变化(B＝0)。在其它情况下，该图像被识别为相对于基准图像发生了变化(方法步骤71，B＝1)。
在这种分析中，不是直接检查图像信号，而是检查根据图像计算出的结构信息的相似性。通过使用结构特征的相关性，一同考虑了由图像亮度和对比度引起的基准图像与实际图像之间的变化，也就是说，即使两种图像在这些参数上有差别，但在相同的图像位置上具有相似的结构，则对相关性的分析认为具有高的相似程度。
在开始监视之前确定在被监视图像范围内的感兴趣的范围。当每次处理一个新的图像时，图像的这些在下面被称为区域的部分都和整体图像一样被进行相关性研究。为此，在方法步骤10中，从在图2的方法步骤11中得出的边缘图像中分离出属于该区域的边缘图像，在方法步骤20中，计算该区域边缘图像对于基准图像的边缘图像的相应图像部分的相关性值。在方法步骤25中，将该被研究区域的相关性值与一个阈值S1(例如S＝0.5)进行比较。如果该相关性值低于阈值S1，则在方法步骤70中将有关区域i识别为发生了变化(R(i)＝1)。相反，如果该相关性值高于阈值S1，则继续研究该区域与基准图像的相应部分区域之间的相似性。为此，首先在方法步骤30中，通过与基准图像进行比较，计算实际图像中该区域图像亮度和图像对比度的变化。接着，在方法步骤40中计算结构偏差。此外，按像点求出该区域中实际图像的边缘图像对于基准图像的边缘图像的均方偏差。在此，所得到的数值就图像亮度和图像对比度被修正。在一个统计学有效校验45中，检查残余的变化是否由图像噪声引起。在此求出一个数值，该数值评价与图像噪声相比较的变化情况。在此，数值1表示，该变化刚好相当于由于图像噪声引起的预料的变化。大于1的数值表示，该变化强于由图像噪声所引起的预料的变化。将所求出的该数值与一个阈值S2(例如S2＝5)进行比较。如果该数值大于阈值S2，该区域被识别为发生了变化(方法步骤70)。否则识别到没有变化(方法步骤80)R(i)＝0。其中，在方法步骤80之前，还对该区域内的图像噪声进行一个估算(方法步骤60)，以便在按时间顺序在后面进行的分析中能够为此使用一个实际估算值。其中，在被识别为没有变化的该区域中测量一个用于图像噪声的值。将在后续的有效校验中使用的该值在一个递归滤波器中求出A(t+1)＝RE*A(t)+(1-RE)*B(t)。其中，A(t)为在时刻t采纳的在有效校验中使用的图像噪声值，A(t+1)为在时刻t+1采纳的应作为用于下一个图像的新的估算值用的图像噪声值，B(t)为在时刻t测量的图像噪声值；RE为一个递归系数(0＜RE＜1)，例如RE＝0.9。在该监视方法开始时的值A(0)是一个启迪性选择出的初始值。
对于每个在该监视过程开始时所选择出的区域进行图3中所描述的按区域定位的结构信息分析，并且藉此对每个所选择出的区域提供二进制状态信息“区域变化”或“区域未变化”。即使在一个全局的、基本上与亮度波动无关的结构比较还未导致识别出一个变化时，方法步骤30，40，45和60也保证可靠地识别出这些变化。B和R(i)的值继续指向用于报警的后续分析(参照图4)。
图4示出用于分析在图2和图3所示过程中得到的信息的一个方法过程。为此，对于每个区域R(i)，检查其值是否等于1(方法步骤91)；如果不是，一个计数器N(i)被置零(方法步骤93)。此外，一个计数器T(i)被置零。在肯定的情况下，在起动该方法时具有值0的计数器N(i)增加1(方法步骤92)。紧接着方法步骤92，检查是否B＝1(方法步骤94)。如果是B＝1，计数器T(i)增加1(方法步骤95)。其中，计数器T(i)在该方法开始时处于零。在方法步骤94之后在否定的情况下或者在方法步骤95之后或者在方法步骤93之后，询问是否N(i)大于T(i)+T1或是否N(i)大于T2。如果不是，不触发警报。如果是，则N(i)和T(i)置零，进行报警110。
所描述的分析方法的目的是，一方面尽可能早地识别出各区域内的变化，另一方面容许视区内较长时间段内的全局性变化。为此引入了两个时间阈值T1和T2。其中，T2表示允许一个区域发生最大变化而不触发警报的时间段。T2例如达15分钟。T1表示在其之后最早可以针对一个区域进行报警的时间段，即刚好在整体图像在该时间内连续被识别为没有变化的时候。为此，每个区域使用两个计数器N(i)用于标志一个区域直接按时间先后顺序被识别为发生了变化的频度，T(i)用于标志一个区域在“整体图像变化”的情况下被识别为“区域变化”的时间段。通过考虑整体图像发生变化的那些时间段，不只涉及该区域、而是涉及整体图像的那些变化不导致报警，因为整体图像在一个长度为T2的相关联的时间段上发生了变化(对此比照T2＝15min，它被选择得大于例如为20Sec的T1)。
权利要求
1.用于识别被一个固定安置的摄像单(1)监视的一个视区内的变化的方法，其中，将该视区的一个基准图像与该视区的至少一个实际图像进行比较，其特征在于，根据该基准图像和该实际图像求出一个基准边缘图像以及一个边缘图像(10，11)，求出该边缘图像的至少一个区域与该基准边缘图像的相应图像部分的相关性(20，21)，在相关性低于一个阈值时该区域被识别为发生了变化(70)。
2.根据权利要求1所述的方法，其特征在于，求出该边缘图像与该基准边缘图像的相关性(21)，并且，如果至少一个区域被识别为发生了变化比该边缘图像被识别为发生了变化长一个预先规定的时间(T1)，发出一个警报(110)。
3.根据权利要求2所述的方法，其特征在于，如果该边缘图像的所述至少一个区域被识别为发生了变化的时间比另一个预先规定的时间(T2)长，发出一个警报(110)，其中，所述另一个预先规定的时间(T2)大于所述预先规定的时间(T1)。
4.根据前述权利要求之一所述的方法，其特征在于，在高于所述阈值时，确定该边缘图像的所述区域对于基准边缘图像的相应图像部分的均方偏差(40)，其中，计算出所述基准边缘图像与所述边缘图像之间可能有的亮度差，这样，通过估算图像噪声可以确定，是否存在所述边缘图像的所述区域相对于基准边缘图像的该图像部分的、不是由图像噪声和亮度差所造成的一个偏差。
5.根据权利要求4所述的方法，其特征在于，在没有偏差的情况下，估算实际图像噪声并将其存储起来以使用一个后续的图像比较。
6.根据前述权利要求之一所述的方法，其特征在于，所述视区包含一个待监视的物体。
7.根据权利要求6所述的方法，其特征在于，所述物体是一个展出品，特别是在博物馆里，或者是一个自动取款机，其中，至少一个区域由该自动取款机的键盘区和/或现金出口和/或插卡口形成。
8.监视装置，具有一个计算机(2)，其用于处理一个可与该计算机连接(7)、对准一个规定视区的、位置固定的摄像单元(1)的图像数据，其特征在于，该计算机(2)根据该视区的一个基准图像和该视区的一个实际图像求出一个基准边缘图像以及一个边缘图像，该计算机求出该边缘图像的至少一个区域与该基准边缘图像的相应图像部分的相关性，在相关性低于一个阈值时，该区域被计算机记录为发生了变化。
9.根据权利要求8所述的监视装置，其特征在于，该计算机求出该边缘图像与该基准边缘图像的相关性，该计算机与一个信号显示器(5)连接，从而，如果所述至少一个区域被识别为发生了变化比所述边缘图像被识别为发生了变化长一个预先规定的时间(T1)，通过信号显示器(5)发出一个警报。
10.根据权利要求9所述的监视装置，其特征在于，如果所述边缘图像的至少一个区域被识别为发生了变化的时间比另一个预先规定的时间(T2)长，通过信号显示器(5)发出一个警报，其中，所述另一个预先规定的时间(T2)大于所述预先规定的时间(T1)。
11.根据权利要求8至10之一所述的监视装置，其特征在于，在高于所述阈值时，该计算机确定所述边缘图像的所述区域与所述基准边缘图像的相应图像部分的差，其中，计算出所述基准边缘图像与所述边缘图像之间可能有的亮度差，从而，通过估算图像噪声可以确定，是否存在所述边缘图像的所述区域相对于基准边缘图像的该图像部分的、不是由图像噪声和亮度差所造成的一个偏差。
12.根据权利要求8至11之一所述的监视装置，其特征在于，该摄像单元是一个摄像机。
全文摘要
提出一种用于识别被固定安置的摄像单元监视的一个视区内的变化的方法,其中,计算边缘图像并将它们与基准图像的边缘图像进行比较,以识别被监视的视区内与图像亮度无关的静态变化。
文档编号H04N7/18GK1359508SQ00809762
公开日2002年7月17日 申请日期2000年7月11日 优先权日1999年7月15日
发明者米夏埃尔·迈尔, 米夏埃尔·赫特, 延斯·德雷费斯 申请人:罗伯特·博施有限公司