借助于互相关的图像处理的制作方法

本发明涉及一种用于图像处理的方法，其中产生被记录的图像和参考图像的互相关矩阵，所述被记录的图像包含被检测的对象，所述参考图像包含参考对象。本发明例如可应用为存在探测器以及用于具有至少一个这种存在探测器的照明系统，尤其用于空间照明，和用于外部照明，尤其用于其监控和控制。

背景技术：

对于存在识别已知无源的ir灵敏的(“pir”-)探测器，所述ir灵敏的探测器借助简单的信号检测通常差动地对其视野中的对象运动做出反应。在此，常见的pir探测器通常使用基于热电效应的pir传感器，所述pir传感器仅对变化的ir辐射做出反应。因此，恒定的背景辐射保持不予考虑。这种pir传感器——在技术上与菲涅尔带光学装置(zonenoptik)配合地——仅应用为运动感应器而不能够用于探测静态存在。然而，这不足以进行渐进的因至少还静态的对象识别和/或对象分类。pir探测器的其他缺点在于，所述pir探测器由于其ir适宜的菲涅尔光学装置具有相对大的结构体积。此外，由于其典型小的角分辨率和作用半径，出现相对高的错误探测率。如果在照明系统的范围中激活运动感应器，人员必须基于独有的运动灵敏性通过明显的手势引人注意，以便激活或保持照明系统。

已知的运动感应器的其他组包括有源的运动感应器，所述运动感应器发出在子ghz范围中的微波或还有超声波，以便根据运动的对象的多普勒频移来搜寻其回波。这种有源的运动感应器典型地也仅用作为运动感应器而不用于探测静态存在。

此外，已知利用cmos传感器的基于摄像机的存在识别。cmos传感器在典型可见的光谱范围中记录图像或检测相应的图像数据。cmos传感器通常与数据处理装置耦合，所述数据处理装置针对现有对象的存在和分类对所记录的图像或图像数据进行处理。

对于借助cmos传感器的对象识别(“objectrecognition”)已知的是，首先将图像或图像数据中的至少一个对象消除或清除常规背景并且随后借助于基于特征的对象识别或图案识别分析对象，并且关于其特征进行分类和由此识别。对于存在识别和常规照明的应用领域，在此主要下述对象是感兴趣的，所述对象类似于人或人轮廓，以便在肯定结果时例如将相应的通知信号发出给灯光管理系统。

然而，被检测的对象和参考对象之间的直接算术比较在图像处理中不能够用作相似程度，因为对此两个对比图像必须具有相同的图像值，如曝光、对比度、位置和视角，在实践中情况并非如此。因此，在实践中通常使用归一化的互相关分析(也称作为ncc，“normalizedcrosscorrelation”，归一化互相关)，其中对清除背景的并且进而被检测的或“被分割的”的对象与适当的参考图像经由静态的2d互相关分析彼此比较，并且将比较的结果作为特征性的相似程度用于就人员存在作出判断。归一化的互相关分析对此借助静态方法来评估在被检测的对象和参考图像之间的绝对差，而补充地也还能够借助卷积分析来分析在原始图像和参考图像之间的绝对和。

因为归一化的互相关分析在计算和存储上是非常耗费的，其仅有条件地适用于在微控制器或基于dsp的传感器系统中执行，所述传感器系统典型地具有受限的计算能力和存储容量。

技术实现要素：

本发明的目的是，至少部分地克服现有技术的缺点并且尤其提供用于对由摄像机观察的对象、尤其人员进行分类的改进的可能性。尤其地，本发明的目的是提供用于对象的这种分类的在计算上更简单的可能性。

所述目的根据独立权利要求的特征来实现。优选的实施方式尤其可在从属权利要求中获知。

所述目的通过用于图像处理的方法来实现，其中(a)借助于非归一化的互相关或互相关计算，产生在被记录的图像和参考图像之间的相关矩阵，所述被记录的图像包含至少一个被检测的对象，所述参考图像包含参考对象；(b)执行相关矩阵的多个区域的比较；和(c)根据比较的结果作出判断：被检测的对象和参考对象是否一致。

该方法具有的优点是，通过使用数学上简单表达的非归一化的互相关，以与归一化的互相关分析比较明显更小的存储和计算耗费来提供有效的对象识别。

被记录的图像可以理解成借助于摄像机记录的原始图像或从中导出的或被继续处理的图像。通过图像处理导出的图像例如可以是下述图像，在所述图像中移除为对象而设置的图像背景，其中亮度分辨率已经改变，其中对象转动等。

所记录的原始图像尤其是在可见光谱中记录的图像，由此得到与红外图像记录相比高的分辨率，这明显简化对象识别。原始图像典型地具有(m·n)个矩阵状设置的像点。然而，替选地或附加地，可以记录红外图像。例如基于gaas传感器或基于微测热辐射计的传感器的具有高的图像分辨率的ir探测器基本上是可供使用，但是是非常昂贵的。所述ir探测器目前主要例如在flir(“forwardlookinginfrared”，前视红外)摄像机或在建筑物热检测中使用。

被检测的对象尤其理解成不属于图像背景的对象。被检测的对象可以通过下述方式提供：在原始图像中确定图像背景并且将其从该图像中移除。附加地或替选地，相对于图像背景检测不属于该图像背景的对象。被检测的和被释放的或暴露的对象也可以称作为“被分割的”对象。确定图像背景可以包括：与之前不存在对象情况下所记录的图像背景作为(背景)参考进行比较。例如，在图像检测时，首先每个像素组可以首先作为未知的对象处理，所述像素组与预设的背景不同或突出。因此，要寻找的是，每个所述被检测的对象借助于分类来识别。

因此优选地进行：在存在多个被分割的或可分割的对象时，将每个被分割的对象单独地——例如多个对象依次地——提供用于分类，或尝试单独地借助于分类来识别每个被分割的对象。这因此是下述设计方案，在步骤(b)中为分别被检测的对象执行相关矩阵的多个区域的比较。于是还有下述设计方案：根据比较的结果作出判断：相应被检测的对象和参考对象是否一致。

还有下述设计方案，在存在或检测到多个对象时，单独地释放和/或分割每个被检测的对象。

在相关图中的峰值评定中(见下文，例如借助于自相关峰值的评估)，于是不存在多个对象的相互干扰。

因此，方法利用下述情形，非归一化的互相关分析提供对归一化的互相干分析的替选方案，以便借助明显减小的计算耗费执行有效的对象识别。

在一个计算特别高效的实施方案中，非归一化的互相关分析可以根据下面的等式(1)表示或者非归一化的互相关可以根据下面的等式(1)执行：

其中ccri,rj表示互相关矩阵或“相关图”cc的矩阵元或点。

imgi,j表示所记录的矩阵形的图像img的像点(i，j)。

tk,l表示矩阵状的参考图像或具有(ntx·nty)个像点的参考模板，其包含参考对象。所记录的图像img和参考图像t的像点的数量(即图像大小)可以是相同的或不同的。求和运算仅需要关于参考图像t的大小范围k＝0，……，ktx和0，……，nty执行。所记录的图像img或{imgi,j}的大小可以相应于通过摄像机记录的原始图像的大小或为其局部。

在成功应用非归一化的互相关分析时的成功因素是，被检测的对象的对象大小或对象的尺度与参考对象的大小的偏差不过大。

与此相关地，在步骤(b)中利用，在大小比较时，不同大小的对象(但是例如亮度和取向相同)以特征性的峰值的不同的信号特征形成在相关矩阵cc中。

这样，两个相同图像的互相关矩阵cc具有鲜明的实际奇异峰或“自相关峰值”。所述理想的自相关峰值的高度和宽度与参考图像的总大小和结构复杂性有关并进而可以用作固定的系统量。所记录的图像img和参考图像t区别越大，那么相关峰或相关峰值就越扁平，因为矩阵元ccri,rj的结果值与在理想的自相关峰值的情况相比越强地分布于相关图cc上。

尤其在被分割的对象依次单独地用于检查或者经受该方法并进而单独地经受步骤(b)和步骤(c)的条件下，通过比较相关矩阵cc的多个(矩阵)区域，作为结果从相关峰值的“锐度”或“主导(dominanz)”中找到在所记录的对象图像img和参考对象t之间的相似程度或一致程度。

因此，一个改进形式是，仅分别借助在所记录的图像中检测的或从所记录的图像中分割的对象执行相关分析或方法、尤其步骤(a)。如果在图像中存在多个被分割的或可分割的对象，尤其可以依次地对多个被分割的对象执行相关分析。

因此，在步骤(c)中根据比较的结果，能够作出判断：被检测的对象和参考对象是否一致。

因此，通过步骤(b)，借助计算上更简单的手段，可以考虑可能不同的对象大小，而在计算相关图cc之前不必耗费地且在损失信息情况下重新缩放被检测的对象。

一个设计方案是，在步骤(b)中执行互相关矩阵或相关图cc的外部区域和内部区域的划分或比较。所述设计方案可以特别简单地实现。第一“内部的”(矩阵)区域例如可以是包括自相关峰值的区域，所述区域邻接于第二“外部的”(矩阵)区域，尤其由外部区域或边缘区域包围。

内部区域可以例如是围绕自相关峰值集中的、例如相关图cc的圆形的或矩形的区域。内部区域可以(在矩阵形的视图中)围绕相关图cc的中心集中。内部区域和外部区域例如可以至少大致具有相同数量的矩阵元。

替选地，可以为内部区域确定计数值c_mid，使得整个相关图cc由加权函数加权，其加权因子从内向外减小。在此，矩阵元越靠近相关图cc的预设的中心(例如，对象重心或自相关峰值)，那么矩阵元尤其被越强地加权。例如，可以使用围绕中心集中的二次幂的或高斯形的加权函数。用于内部区域的(总)计数值c_mid因此例如可以作为关于相关图的全部矩阵元的经加权的计数值的总和确定。在此假设：通过加权，用于外部区域的计数值提供仅可忽略的量值。

用于外部区域的(总)计数值c_rim例如可以从关于相关图的全部矩阵元的未加权的计数值的总和中计算。用于计算用于外部区域的计数值c_rim的其他可能性包括：将相关图的全部矩阵元加和，所述矩阵元之前是反转加权的，使得外部的矩阵元与内部的矩阵元相比更强地加权。这例如可以借助于反转的高斯分布来实现。

在计算(总)计数值c_mid和/或c_rim时使用加权函数具有的优点是，矩阵元不需要如之前解释的那样分配给内部区域和外部区域。

通常，相关图的区域的计数值尤其可以理解成仅所述区域的或整个相关图的矩阵元ccri,rj的值的总和。这种计算可以以非常小的耗费执行。

外部区域尤其延伸至相关图的外部边界，所述外部边界与对象图像img的roi区域具有相同的大小。

相关图cc的内部区域的计数值和外部区域的计数值之间的比值根据相似性位于在1和理想的自相关情况下的最大值之间。

与参考对象的相似性(例如由于不同的形状和/或大小)仅微小偏差的对象在相关图cc中虽然没有显示鲜明的峰值，结果值或矩阵元ccri,rj的分布仍然集中在相关图cc的内部区域中。相关图cc的内部区域的计数值和外部区域的计数值之间的比值因此与理想的自相关峰值的最大值仅略微偏差。

与参考对象的相似性(例如由于不同的形状和/或大小)强烈偏差或具有小的相似性的对象在相关图cc中未显示鲜明的峰值，而是其侧边分布于相关图cc的整个区域上。在相关图cc的内部区域的计数值和外部区域的计数值之间的比值趋近1并进而是低的。

与参考对象仅由于其不同的大小而偏差的对象在相关图cc的中央也不显示鲜明的峰值，尽管如此矩阵元ccri,rj在相关图cc的内部区域和外部区域之间的分布具有表征性的特征，所述特征借助于适当的缩放能够在用于确定相似程度的计数方法中使用。

计算内部区域和外部区域的计数值能够——如已经在上文中描述的那样——例如借助于至少一个加权函数(例如，高斯形的加权掩模(gewichtungsmaske))执行，所述加权函数优选考虑内部区域的值并且相应较少地考虑外部区域的值。所述高斯掩模的中心在此可以置于对象中心的中心中。然而，原则上也可以使用其他加权或也可以不使用加权。

还有一个设计方案是，在步骤b)中，根据出自内部区域的计数值c_mid与出自外部区域的计数值c_rim的比值执行比较。

另一个设计方案是，为了比较将(经加权的或未经加权的)计数值c_mid和c_rim的比值与被检测的对象的大小c_size关联。大小c_size例如可以对应于属于被检测的对象的像点的数量。这得到的优点是，直接一起考虑被检测的对象和参考对象之间的大小差。因此，可以弃用大小缩放。

一个改进方案是，作为比较的结果，计算表征性的相似数cf，所述相似数特别简单地做出判断：被检测的对象和参考对象是否一致，例如经由与至少一个例如按经验确定的阈值的比较。借助按经验得出的阈值能够判断：要分类的对象是否与参考对象有足够的相似性，并且归入存在人员的空间性，或者要分类的对象是否与参考对象有过小的相似性，并且空间性归入为未占用的。

又一个设计方案是，作为在步骤(b)中比较的结果，作为相似程度根据下式计算表征性的相似数cf：

cf＝(c_midⁿ¹/c_rimⁿ²)c_sizeⁿ³

在此，n1、n2和n3是有理数的缩放分量(rationaleskalierungskomponenten)。所述缩放分量例如可以用于各个份额或计数值c_mid、c_rim或c_size的加权。

已经证实为特别有效的是，根据下面的等式(2)计算相似数cf

cf＝(c_mi^d2/c_rim³)c_size¹

即其中n1＝2，n2＝3并且n3＝1。然而，缩放分量通常可以采取任意的相互关系，例如根据n1＞n2，n1＝n2或n1＜n2。

又一个改进方案是，对于步骤(c)，将相似数cf与至少一个尤其按经验确定的阈值cf_th进行比较，例如值cf_th＝50。

根据相似数cf是否达到、超出或低于阈值cf_th，被检测的对象可以分类为与参考一致或与参考不一致并且进而被识别，例如识别为人类。

还有又一个设计方案，出自步骤(a)的被记录的图像是围绕被检测的对象被剪裁的图像部段。因此，出自步骤(a)的被记录的图像例如可以通过下述方式来提供：在由摄像机记录的原始图像或从中被继续处理的图像中检测至少一个对象，并且作为基础的被记录的图像针对于对象被剪裁。这可以实现为使得将帧(“roi帧”)置于roi(“region-of-interest”，兴趣区域)周围，所述roi区域完全包含被检测的和要分类的对象，并且作为基础的被记录的图像针对roi帧或roi区域被剪裁。通过所述设计方案，得到的优点是，被记录的和要有效地研究的图像被缩小，这减小计算耗费。此外，被检测的对象更强地集中，这通过分类进一步改进随后的对象识别。

一个改进方案是，在步骤(a)之前，从由摄像机记录的原始图像或从中剪裁出的图像中清除或消除其背景。背景的这样的分离简化了对象检测并且通过分类进一步简化以后的对象识别，尤其在应用非归一化的互相关时也如此。

又一个设计方案是，在步骤(a)之前转动被检测的对象，尤其使得对象的视图轴线平行于包含被检测的对象的图像的侧边缘。所述取向也通过分类简化以后的对象识别，尤其在应用非归一化的互相关时如此。

此外，一个设计方案是，在步骤(a)之前，对由摄像机记录的原始图像——尤其在围绕被检测的对象裁剪的图像部段中——进行亮度归一化。由此实现，原始图像和/或在被测量的原始图像中检测的对象始终具有至少大致相同的亮度或强度。在无亮度归一化的情况下，与参考图像没有相似性的对象、如亮的斑点或反射由于其强度在非归一化的互相关的应用中会引起高的透射并进而在存在探测时例如会引起错误识别。

一个特别高效的设计方案是，亮度归一化通过摄像机本身或自动地执行，尤其在记录或保存原始图像之前执行。替选地，原始图像可以在其记录之后相应地被继续处理，例如在摄像机中或在独立的数据处理装置中被继续处理。

一个设计方案还有，根据直方图值执行亮度归一化。尤其，对此经由控制回路可以设定摄像机的记录参数、如放大(“增益”)和曝光时间(“曝光”)，使得图像的直方图值与实际上在该情景中的亮度比无关地至少近似恒定地保持在相同的水平上。在根据直方图值的亮度归一化中，替代整个图像，也可以仅将图像的表征性的区域用于亮度测量。

对于根据直方图值——尤其在摄像机内部的——亮度归一化有利的改进方案是，最亮的像点(也称作为“像素”)、最亮的像点的组或最亮的图像区域的像点被控制到恒定的亮度值。因此，在情景中的亮度或强度波动对于互相关分析而言已经尽可能被统一化。然而，其他所有适合的方法也可以用于亮度归一化。

所述目的也通过探测器(在下文中在不限制一般性的情况下称作为“存在探测器”)来实现，其中存在探测器具有至少一个图像传感器、尤其cmos传感器，并且构成为用于执行如在上文中描述的方法。所述存在探测器能够类似于方法构成并且得到相同的优点。

至少一个图像传感器记录——尤其亮度归一化的——原始图像并且与数据处理装置耦合，所述数据处理装置在上文中所描述的方法的过程中处理所记录的原始图像，例如执行非归一化的互相关，计算表征性的相似数cf和执行阈值比较。因此，该方法能够在数据处理装置上进行。

数据处理装置可以替选地为与存在探测器分开的单元。

存在探测器尤其构建成用于，根据被识别的对象触发至少一个动作，例如输出至少一个信号，例如以便接通照明和/或以便通知其他实体(例如安全中心)。例如，在识别出对象为人员之后，可以输出用于接通照明的信号。在识别出动物时，可以不输出这种信号。也可以的是，在门附近识别出人员，打开门和接通在门的另一侧的照明。此外，如果被识别的对象的位置是已知的，光源可以对准该对象。替选地或附加地，可以将警报信号输出给监控单元，例如安全中心。

例如，存在探测器可以具有摄像机(例如视频单元)作为图像记录装置和数据处理装置(例如专用的图像数据处理单元)，其中数据处理单元根据结果情况对开关(例如开关继电器)进行切换或将结果情况通知给照明系统(例如灯光管理系统)。

所述目的也通过一种照明系统或一种照明装置来实现，所述照明系统或照明装置如在上文中描述的那样具有至少一个存在探测器。在此，存在探测器、尤其是其图像传感器与照明系统的至少一个光源耦合。数据处理装置可以为照明系统的一部分，在该情况下，至少一个存在探测器、尤其是其图像传感器与照明系统的数据处理装置耦合。

尤其地，照明系统可以配设有多个图像传感器。这包括下述情况，照明系统包括多个摄像机或视频传感器。多个摄像机可以分布到多个存在探测器上。

摄像机可以具有各自的数据处理装置。替选地，照明系统的数据处理装置可以与多个图像传感器耦合。

照明装置也可以构建成用于，根据通过至少一个图像传感器或存在探测器识别的对象触发至少一个动作，例如输出至少一个信号，例如以便接通照明和/或以便通知其他实体(例如安全中心)。

附图说明

本发明的在上文中描述的特性、特征和优点以及实现这些特性、特征和优点的方式和方法结合下面对实施例的示意性描述变得更清楚和可更明白理解，所述实施例结合附图予以详细阐述。在此，为了概览性，相同的或起相同作用的元件能够设有相同的附图标记。

图1示出方法连同相关的设备的流程图；

图2示出借助于图1中的方法记录的第一原始图像；

图3示出借助于图1中的方法计算的并且作为地貌图(reliefdiagram)示出的用于图2中的原始图像的相关图；

图4示出借助于图1中的方法记录的第二原始图像；

图5示出借助于图1中的方法计算的并且作为地貌图示出的用于图4中的原始图像的相关图。

具体实施方式

图1示出具有存在探测器2和至少一个与存在探测器2耦合的光源3(例如具有一个或多个基于led的发光机构，传统的荧光管等)的照明系统1。存在探测器2具有cmos传感器4和与其耦合的数据处理装置5。cmos传感器4和数据处理装置5也可以共同地称作为摄像机4、5。

cmos传感器4例如设置在要监控的空间的天花板上并且在步骤s1中记录空间的在图2中示出的原始图像。原始图像b1在俯视图中示出呈人员p的形式的对象和背景h，所述背景例如具有框架。但是原则上在原始图像b1中也可以存在多个人员p。

原始图像b1已经在其被摄像机4、5或存在探测器2记录时关于其亮度被归一化。更确切地说，摄像机4、5构建成用于，经由控制回路自动地设定记录参数、例如放大和/或曝光时间，使得尽可能与实际上在该情景中存在的亮度比无关地将原始图像b1的(亮度)直方图值至少近似恒定地保持在相同的水平上。

原始图像b1在第二步骤s2中由数据处理装置5继续处理，以便移除背景h。对此，将相应的算法应用于原始图像b1。

在第三步骤s3中，现在在被记录的和减弱背景的图像中将人员p作为对象来检测。如果要存在多个人员p，那么所述人员能够在其检测之后依次输送给根据下面的步骤的评估过程。

在第四步骤s4中，随后将被记录的图像或被检测的对象转动到预设的取向上，例如借助平行于图像边缘的视图轴线。

在第五步骤s5中，将例如矩形的框安置到被检测的对象周围并且被记录的和直到那时借助于步骤s2至s4继续处理的图像针对框来裁剪。因此，提供被记录的图像，所述图像特别适合于互相关。

在步骤s6中，使被记录的和借助于步骤s2至s5继续处理的图像为了与参考图像(见附图)比较而经受根据等式(1)的非归一化的互相关，以便计算相关图cc1或{ccri,rj}。参考图像示例性地具有以俯视图示出的人员作为参考对象。

图3作为地貌图以侧视图示出从原始图像b1获得的矩阵形的相关图cc1。在此，相关图cc1的矩阵元ccri,rj的结果值的峰值p1由于人员p与参考对象的良好的一致而是相对高的且窄的。

在步骤s7中，对于所述相关图cc1根据等式(2)按照cf＝(c_mid²/c_rim³)·c_size计算表征性的相似数cf。对于相关图cc1，对于所述情况，表征性的相似数cf1例如为55。

在步骤s8中，将表征性的相似数cf1＝55与阈值cf_th进行比较，例如根据cf1＞cf_th。这在cf_th＝50时是这种情况，使得人员p在此分类成与示出人员的参考对象一致并进而被识别。在肯定识别的情况下，例如能够接通至少一个光源3。

图4类似于图2示出原始图像b2，其中现在在图像背景h之外记录呈沙发椅的形式的具体的对象g。

属于原始图像b2的相关图cc2在图5中示出。峰值p2在此与峰值p1相比更宽并且明显更扁平，使得得到表征性的相似数cf2＝32。所述值小于用于示出人员的参考对象的阈值cf_th＝50。因此，将对象g在比较cf2＞cf_th之后正确地不识别成人员。

尽管本发明在细节上通过示出的实施例详细地说明和描述，本发明并不限于此并且其他的变型形式能够由本领域技术人员从中导出，而不脱离本发明的保护范围。

因此，数据处理装置5也可以不为存在探测器的一部分，而是为照明系统1的一部分。照明系统1也可以具有多个cmos传感器。

尽管本发明在细节上通过示出的实施例详细地说明和描述，本发明并不限于此并且其他的变型形式能够由本领域技术人员从中导出，而不脱离本发明的保护范围。

因此，图1中的步骤也能够以其他顺序执行。

普遍地，能够将“一”、“一个”或单个或多个尤其在“至少一个”或“一个或多个”等的范围中予以理解，只要这没有明确地例如通过表述“刚好一个”等予以排除。

数量说明也可以刚好包括给出的数量以及常见的公差范围，只要这没有明确地排除。

附图标记

1照明系统

2存在探测器

3光源

4cmos传感器

5数据处理设备

b1原始图像

b2原始图像

cc1相关图

cc2相关图

cf表征性的相似数

cf_th阈值

g具体的对象

h背景

p人员

p1峰值

p2峰值

s1-s8方法步骤