专利名称：促进多个摄像机间颜色平衡同步和获得跟踪的方法和系统的制作方法
技术领域：
本发明涉及促进摄像机系统内的多个摄像机之间的颜色平衡同步的方法。本发明还涉及促进多个摄像机之间的颜色平衡同步的系统。此外，本发明涉及为监控区域布置的并能连接到用于促进多个摄像机之间的颜色平衡同步的摄像机系统上的摄像机。而且，本发明涉及用于获得两个或多个摄像机之间的对象跟踪的方法和系统。
背景技术：
在监控系统领域中，使用摄像机是众所周知的。在典型的监控系统中，放置一个或多个摄像机来提供监控下的区域的视野。这些摄像机将可视图像转换成适于传输、记录或分析的电子形式。利用摄像机网络的具有挑战性的问题在于，由于照明度和摄像机设置/特性的不同，对象在一个摄像机视野中的外观(尤其是颜色)可能不同于其在别的摄像机视野中的外观。 已经发现，用于识别对象特性的以及用于在两个不同的视频序列之间跟踪对象的最有前途的特征之一是颜色，跟踪是基于所识别的跟踪对象的特性和所识别的候选对象的特性。使用对象的颜色直方图作为特征应该对诸如形状改变、较小局部遮挡、方位改变以及观察位置转移等变化不敏感。另一方面，颜色直方图对颜色和照明强度的改变敏感。然而，根据上面提及的问题，难以比较借助不同的摄像机采集的相同对象的颜色直方图。因此，需要一种促进摄像机系统内的多个摄像机之间的颜色平衡同步的方法和系统。
发明内容
鉴于上面内容，本发明的目的是促进摄像机系统内的多个摄像机之间的颜色平衡同步。本发明的又一目的是提供两个或多个摄像机之间的对象跟踪。具体地说，根据本发明的第一方面，提出了一种用于促进摄像机系统内的多个摄像机之间的颜色平衡同步的方法。所述方法包括检测由系统中的摄像机采集的视频序列中的对象；确定所检测的对象的对象颜色直方图；利用所述确定的对象颜色直方图更新摄像机特定参考颜色直方图；以及通过比较所述摄像机特定参考颜色直方图和系统参考颜色直方图，确定一个或多个摄像机特定颜色直方图补偿系数。据此，实现了用于促进摄像机系统内的多个摄像机之间的颜色平衡同步的方法。通过确定在系统中包括的摄像机的相对颜色平衡，可对来自受到不同的照明条件的摄像机的图像执行比较图像分析。例如，可使用这种方法，以便利用多个摄像机在广大的区域上可靠性地跟踪人和/或对象，而无需在条件变化时不断地重新校准。根据一个实施例，所述方法还包括确定所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图，并且其中每个对象类型均具有特定的系统参考颜色直方图。通过针对不同的对象类型使用不同的特定摄像机参考直方图和系统参考颜色直方图，解决了特定类型对象的颜色统计变化。例如，与汽车相比，人可具有另一种颜色统计分布。根据另一实施例，所述方法还包括利用所述摄像机特定颜色直方图补偿系数将所述对象颜色直方图转化为摄像机无关对象颜色直方图。所述摄像机无关对象颜色直方图还可视为特定对象的全局参考直方图。于是可利用所述特定对象的全局参考直方图，以便在整个摄像机系统间跟踪对象。根据下列步骤可实现对象在整个系统间的对象跟踪检测由第一摄像机采集的第一视频序列中的跟踪对象；确定所检测的跟踪对象的对象颜色直方图；利用摄像机特定颜色直方图补偿系数将所述跟踪对象的所述对象颜色直方图转化为摄像机无关对象颜色直方图；检测由第二摄像机采集的第二视频序列中的候选对象；确定所述候选对象的对象颜色直方图；利用所述摄像机特定颜色直方图补偿系数将所述候选对象的所述对象颜色直方图转化成摄像机无关对象颜色直方图；将所述候选对象的所述摄像机无关对象颜色直方图与所述跟踪对象的所述摄像机无关对象颜色直方图相匹配；基于匹配步骤，计算所述候选对象与所述跟踪对象一致的可能性；以及生成表示所述候选对象与所述跟踪对象一致的可能性的信号。 根据所述方法的又一实施例，所述系统参考颜色直方图基于特定摄像机的摄像机特定参考颜色直方图。通过这么做，特定摄像机被选为主摄像机。根据所述方法的再一实施例，所述系统参考颜色直方图基于至少两个摄像机特定参考颜色直方图的组合。根据所述方法的另一实施例，所述摄像机特定参考颜色直方图和所述系统参考颜色直方图取决于外界因素，例如一天中的时间或者商店在营业还是在暂停营业。从而，可解决对象在不同条件下的不同颜色统计分布。根据所述方法的又一实施例，所述颜色直方图应解释为任何类型的颜色空间的颜色直方图，例如YCbCr颜色直方图、与YCr颜色直方图结合的YCb颜色直方图、RGB颜色直方图、CMYK颜色直方图、灰度直方图、亮度直方图和/或IR直方图。根据本发明的另一方面，提出了一种用于促进多个摄像机之间的颜色平衡同步的系统。所述系统包括摄像机；对象检测单元，被布置为检测由所述摄像机采集的视频序列中的对象；第一存储器，用于存储摄像机特定参考颜色直方图；第二存储器，用于存储系统参考颜色直方图；对象颜色直方图发生器，被布置为确定由所述对象检测单元检测的所述对象的对象颜色直方图；颜色直方图更新器，用于利用由所述颜色直方图发生器确定的所述对象颜色直方图，更新存储在所述第一存储器中的摄像机特定参考颜色直方图；以及补偿系数发生器，用于利用所述摄像机特定参考颜色直方图和存储在所述第二存储器中的系统参考颜色直方图确定一个或多个摄像机特定颜色直方图补偿系数。所述系统的所述摄像机可以是检测红外波长的热感摄像机、检测可见光或红外光的摄像机和/或用于诸如监视用途、机器视觉、商店守则、商业信息等的监控应用的摄像机。根据一个实施例，所述系统还包括被布置为监控第一区域的第一摄像机和被布置为监控第二区域的第二摄像机，其中所述第一区域和所述第二区域不重叠。根据另一实施例，所述系统还包括对象类型确定单元，所述对象类型确定单元被布置为确定所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图，并且其中每个对象类型均具有特定的系统参考颜色直方图。根据又一实施例，所述系统还包括对象属性识别装置，所述对象属性识别装置被布置为用于利用所检测的对象的所述颜色直方图和所述摄像机特定颜色直方图补偿系数识别所述对象的属性。根据本发明的另一方面，提出一种能连接到用于促进多个摄像机之间的颜色平衡同步的摄像机网络上的摄像机。所述摄像机包括第一存储器，用于存储摄像机特定参考颜色直方图；第二存储器，用于存储系统参考颜色直方图；对象检测单元，被布置为检测由所述摄像机采集的视频序列中的对象；对象颜色直方图发生器，被布置为确定由所述对象检测单元检测的所述对象的对象颜色直方图；颜色直方图更新器，用于利用由所述对象颜色直方图发生器确定的所述对象颜色直方图更新存储在所述第一存储器中的摄像机特定参考颜色直方图；补偿系数发生器，用于利用所述摄像机特定参考颜色直方图和存储在所述第二存储器中的系统参考颜色直方图确定摄像机特定颜色直方图补偿系数。所述摄像机可以是检测红外波长的热感摄像机、检测可见光或红外光的摄像机和 /或用于诸如监视用途、机器显示、商店守则、商业信息等的监控应用的摄像机。根据一个实施例，所述摄像机还包括对象类型确定单元，所述对象类型确定单元被布置为确定所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图，并且其中每个对象类型均具有特定的系统参考颜色直方图。根据另一实施例，所述摄像机包括对象属性识别装置，所述对象属性识别装置被布置为用于利用所检测的对象的所述颜色直方图和所述摄像机特定颜色直方图补偿系数识别所述对象的属性。根据本发明的另一方面，提出一种计算机可读记录介质。在所述计算机可读记录介质上存储有程序，所述程序用于在具有处理能力的设备上执行时实现根据上面提供的实施例中任一个的方法。
现在将参照示出本发明实施例的附图更详细地描述本发明的这些及其它方面。不应当认为附图将本发明局限于特定实施例，相反，它们用于说明和理解本发明。在所有附图中，相同的附图标记表示相同的元件。图Ia示意性地图示根据本发明实施例的促进多个摄像机之间的颜色平衡同步的系统。图Ib示意性地图示根据本发明另一实施例的促进多个摄像机之间的颜色平衡同步的系统。图Ic示意性地图示根据本发明又一实施例的促进多个摄像机之间的颜色平衡同步的系统。图2示出根据本发明的补偿系数发生器的框图。图3图示根据本发明的包括颜色平衡同步装置的摄像机的框图。图4示出促进摄像机系统内的多个摄像机之间的颜色平衡同步的方法的实施例的流程图。图5a示意性地图示根据本发明的被布置为在多个摄像机之间跟踪对象的摄像机系统的实施例。图5b示意性地图示根据本发明的被布置为在多个摄像机之间跟踪对象的摄像机系统的另一实施例。图6示出根据本发明的对象属性识别装置的框图。图7示出根据本发明的跟踪设备的框图。图8图示根据本发明的包括颜色平衡同步装置和对象属性识别装置的摄像机的框图。
图9示出根据本发明的在视频监控系统中跟踪对象的方法的实施例的流程图。图10示出更详细说明图9的方法中进行实际对象跟踪的部分的流程图。
具体实施例方式本发明针对利用图像分析学在多个摄像机之间对颜色平衡进行同步。这在下面的假设下是可行的，即特定类型对象的足够大的总体在摄像机系统的每个摄像机的视野中移动的假设。每个摄像机应该近似观察到这些对象中颜色的相同统计变化。于是可确定多个摄像机之间的相对颜色平衡，并且随时间更新该相对颜色平衡，以补偿被监控场景的变化的光照条件。可为系统定义用于颜色平衡同步的对象的类型或对象的多个类型，例如其可以是汽车或人。该系统还可配置成假设所有移动的物体均可认为是要检测的对象。当根据预设定义的对象出现在摄像机视野中时，检测该对象并且根据本领域已知的方法确定该对象的颜色直方图。下文中将一定程度上详细地介绍这些方法中的一些方法。通过检测多个对象并将所检测的对象的颜色直方图彼此组合以便形成特定摄像机的摄像机特定参考颜色直方图，确定特定摄像机的摄像机特定参考颜色直方图。因此，摄像机特定参考颜色直方图基于由特定摄像机处理的对象的直方图。通常针对每个新检测的对象更新摄像机特定参考颜色直方图。从而摄像机特定参考颜色直方图将对特定摄像机的摄像机设置/特性和/或被监控场景的照明条件来说是特有的。根据本发明的一个实施例，摄像机特定参考颜色直方图也是对象类型特定的。因此，每个特定摄像机可具有适合于特定对象类型的多个摄像机特定参考颜色直方图。根据本发明另一实施例，摄像机特定参考颜色直方图依赖于外界因素，例如一天中的时间。例如，在白天可使用第一摄像机特定参考颜色直方图，在夜间可使用第二摄像机特定参考颜色直方图，在黄昏和黎明可使用第三摄像机特定参考颜色直方图。根据另一示例，在商店或超市的营业时间期间可使用第一摄像机特定参考颜色直方图，在商店或超市的暂停营业时间期间可使用第二摄像机特定参考颜色直方图。根据又一示例，在工厂生产线的运转期间可使用第一摄像机特定参考颜色直方图，在工厂生产线不运转时可使用第二摄像机特定参考颜色直方图。为了促进摄像机系统中的多个摄像机之间的颜色平衡同步，将摄像机特定参考颜色直方图与系统参考颜色直方图比较。通过这样做，可推导出一个或多个颜色直方图补偿系数。一个或多个颜色直方图补偿系数的推导是根据本领域技术人员已知的方法实现的。下文中将更详细地介绍这些方法中的一些方法。系统参考颜色直方图是整个系统的全局颜色参考。该系统参考颜色直方图可由主摄像机(即摄像机系统中的多个摄像机之一)产生。可替代地，该系统参考颜色直方图可通过利用来自该系统中的多个摄像机的输入来产生。本发明的优点在于，通过确定在摄像机系统中包括的多个摄像机的相对颜色平衡，可对从经历由摄像机监控的场景的不同照明条件和/或具有不同摄像机设置/特性的摄像机中得到的图像进行比较图像分析。通过针对不同类型的对象确定不同摄像机特定参考颜色直方图和系统参考颜色直方图，解决特定类型的对象的颜色统计变化。这在例如在不同摄像机之间跟踪对象的应用中是有利的。这是因为使得同时跟踪不同类型的对象成为可能，而不让来自不同对象类型的颜色直方图干扰。对于某些监控实现来说，实际上期望利用这样的摄像机系统，在该摄像机系统中摄像机系统的每个摄像机具有不同的摄像机设置/特性。这种实现例如是被布置在具有不同照明条件的区域中的摄像机系统的摄像机，例如与安装在室内的摄像机相比，安装在室·外的摄像机最经常具有不同的摄像机设置/特性。另一示例是例如为不同任务布置的摄像机，例如与为区域纵览布置的摄像机相比，为最适合于人脸检测布置的摄像机最经常具有不同的摄像机设置/特性。根据本发明的一个实现，一个或多个颜色直方图补偿系数可以用来将由特定摄像机采集的特定对象的颜色直方图转换为与摄像机设置/特性和/或被监控场景的照明条件无关的颜色直方图。这种与摄像机设置/特性和/或被监控场景的照明条件无关的对象颜色直方图能够用于整个摄像机系统中的对象检测和对象跟踪。因此，能够利用许多个摄像机在较大区域内可靠地跟踪人和其它类型的对象，而无需在条件发生变化时不断重新校准。图la、图Ib和图Ic图示了根据本发明的用于促进多个摄像机之间的颜色平衡同步的系统。这些系统包括多个摄像机10a、10b、10c。摄像机10a、10b、IOc经由通信网络20彼此连接。在结合该应用图示的系统中，三个摄像机经由通信网络20彼此连接，然而应认识到，任意数量的摄像机可经由通信网络20彼此连接。摄像机10a、10b、10c可以是任何能够产生图像序列的数字摄像机和/或任何能够产生图像序列的模拟摄像机，在后一种情况下，模拟摄像机连接到转换器上，转换器将模拟图像信息转换为数字图像数据并将该数字图像数据提供给网络20。这种转换器可以是视频编码器或视频服务器。通信网络20可以是任何种类的用于传送数字图像信息的通信网络，例如有线数据通信网络或无线数据通信网络，如局域网(LAN)或无线局域网(WLAN)或广域网(WAN)。本发明的用于促进多个摄像机之间的颜色平衡同步的系统进一步包括对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、对象颜色直方图发生器38、颜色直方图更新器40以及补偿系数发生器42。对象检测单元30被布置为检测由上述摄像机10a、10b、IOc之一采集的视频序列中的对象。在对象检测单元30中能够根据任何已知的对象检测技术手动地或自动地检测对象。下文中将描述对象检测技术的示例。对象类型确定单元32被布置为确定所检测的对象的对象类型，例如汽车、动物或人。因此，对象类型确定单元32被布置为将所检测的对象分为多种对象类型。下文中将更详细地描述对象类型确定技术。对象颜色直方图发生器38被布置为产生上述由对象检测单元30检测的对象的对象颜色直方图。该对象颜色直方图基于所检测的对象的颜色和/或亮度信息。通常，该信息来源于视频序列的多个图像。颜色直方图被解释为描述颜色的直方图。也就是说，颜色直方图应被解释为具有任何种类的颜色空间的颜色直方图，例如YCbCr颜色直方图、与YCr颜色直方图结合的YCb颜色直方图、RGB颜色直方图、CMYK颜色直方图、灰度直方图、亮度直方图和/或IR直方图。根据本发明的实施例，颜色直方图基于构成对象的像素的颜色和亮度。通过这样做，每个像素可以在例如YCbCr颜色空间中表示，其中Y是亮度分量，Cb和Cr是蓝色差色度分量和红色差色度分量。该直方图是通过将颜色空间划分为多个格(bin)并且根据每个像素的颜色分量的值将该像素分配给该格而产生的。第一存储器34被布置用于存储一个或多个摄像机特定参考颜色直方图。摄像机特定参考颜色直方图是由特定摄像机10a、10b、IOc确定的多个对象颜色直方图的组合。因此，摄像机特定参考颜色直方图基于由特定摄像机10a、10b、10c处理的对象的直方图。通·常针对从来自特定摄像机10a、10b、10c的一系列图像中检测的新的检测对象，借助于颜色直方图更新器40更新摄像机特定参考颜色直方图。从而摄像机特定参考颜色直方图将对特定摄像机的摄像机设置/特性和/或被监控场景的照明条件来说是特有的。如上文提到的，根据本发明的另一实施例，摄像机特定参考颜色直方图也是对象类型特定的。因此，每个特定的摄像机可具有适合于例如不同对象类型、一天中的时间或其它外界因素的多个摄像机特定参考颜色直方图。于是通过针对不同的对象类型确定不同的摄像机特定参考颜色直方图，解决特定的对象类型的颜色统计变化。还如上文提到的，根据本发明又一实施例，摄像机特定参考颜色直方图也依赖于外界因素，例如一天中的时间。例如，在白天可使用第一摄像机特定参考颜色直方图，在夜间可使用第二摄像机特定参考颜色直方图，在黄昏和黎明可使用第三摄像机特定参考颜色直方图。根据另一示例，在商店或超市的营业时间期间可使用第一摄像机特定参考颜色直方图，在商店或超市的暂停营业时间期间可使用第二摄像机特定参考颜色直方图。因此，每个特定摄像机可具有多个摄像机特定参考颜色直方图和特定外界因素参考颜色直方图。于是通过针对不同外界因素确定不同摄像机特定参考颜色直方图，解决在满足外界因素时颜色的统计变化。颜色直方图更新器40被布置为用于利用上述由颜色直方图发生器38确定的对象颜色直方图更新在上述第一存储器34中存储的摄像机特定参考颜色直方图。根据所使用的对象检测技术的复杂性，可使用多种用于更新摄像机特定参考直方图的方法。例如，根据本发明的一个实现，每个对象出现对应于一个YCb直方图和一个YCr直方图。针对每个新确定的对象颜色直方图，通过对每个格应用移动平均方法，用新确定的对象颜色直方图的值更新摄像机特定参考颜色直方图(一个用于YCb，一个用于YCr )。第二存储器36被布置为用于存储系统参考颜色直方图。系统参考颜色直方图是整个系统的全局颜色参考。系统参考颜色直方图可由主摄像机(即摄像机系统中的多个摄像机之一)产生。可替代地，系统参考颜色直方图可通过利用来自摄像机系统中的多个摄像机的输入来产生。根据本发明的实施例，对于每个类型的对象来说，存在系统参考颜色直方图。上述第一存储器34和第二存储器36可实现在共同的存储器中。补偿系数发生器42被布置为用于利用在上述第一存储器34中存储的摄像机特定参考颜色直方图和在上述第二存储器36中存储的系统参考颜色直方图来确定一个或多个摄像机特定颜色直方图补偿系数。根据上文介绍的本发明的实施例，摄像机特定参考直方图由一个YCb直方图和一个YCr直方图表不。根据这个实施例，系统参考颜色直方图也由一个YCb直方图和一个YCr直方图表示。YCb直方图和YCr直方图(既用于摄像机特定参考直方图又用于系统参考颜色直方图)每个均可由单一正态分布表示。对于YCb摄像机特定参考直方图和YCr摄像机特定参考直方图以及对于YCb系统参考颜色直方图和YCr系统参考颜色直方图来说，可以计算平均值和方差，并且平均值和方差可用于它们之间的比较。通过这样做，可以通过计算摄像机特定参考颜色直方图和系统参考颜色直方图之间的平均值和方差的配额，确定一个或多个摄像机特定颜色直方图补偿系数。应认识到，通过例如在 这些参考直方图中引入位移变量(offset variable)或者通过用比单一正态分布更复杂的分布表示直方图，人们可容易地向该模型增加复杂度。根据本发明的实施例，补偿系数发生器42包括直方图建模器70、参数计算器74以及补偿系数计算器76。补偿系数发生器42的这个实施例图示在图2中。直方图建模器70被布置为用于用多个分布对颜色直方图建模。通过这样做，数据量可减少。根据一个实施例，使用正态分布。参数计算器74被布置为用于计算多个分布的参数，例如这些分布的平均值和方差值。此外，参数计算器74被布置为用于计算摄像机特定参考颜色直方图的这些参数以及系统参考颜色直方图的这些参数。补偿系数计算器76被布置为用于利用关于摄像机特定参考颜色直方图以及关于系统参考颜色直方图计算的多个分布的所计算的参数来计算一个或多个补偿系数。在图Ia中图示的系统中，对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、颜色直方图发生器38、颜色直方图更新器40以及补偿系数发生器42被图示为分离的单元，其中每个分离单元均连接到通信网络20上。然而应认识到，对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、颜色直方图发生器38、颜色直方图更新器40和/或补偿系数发生器42中的两个或两个以上可实现在具有上述分离的单元30、32、34、36、38、40、42的组合特性的组合单元中。具体地说，根据图Ib中图示的本发明的一个实施例，对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、颜色直方图发生器38、颜色直方图更新器40以及补偿系数发生器42包括在颜色平衡同步装置50中。颜色平衡同步装置50与摄像机IOaUObUOc连接到相同的通信网络20上。根据图Ic中图示的本发明的另一实施例，摄像机10a、10b、IOc每个均包括颜色平衡同步装置50a、50b、50c。每个颜色平衡同步装置50a、50b、50c均包括对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、颜色直方图发生器38、颜色直方图更新器40以及补偿系数发生器42。根据另一实施例，摄像机中的一些摄像机具有颜色平衡同步装置50，而摄像机中的一些摄像机不具有颜色平衡同步装置50。于是输入数据从没有颜色平衡同步装置50的摄像机传送至具有颜色平衡同步装置50的摄像机。在这种情况下的替代选择可能是还具有连接至通信网络20上的颜色平衡同步装置50，在这种情况下输入数据可从没有颜色平衡同步装置50的摄像机传送至连接到通信网络20上的颜色平衡同步装置50。在图3中，示意性地描述了根据本发明实施例的包括颜色平衡同步装置50的摄像机10。图3的摄像机10可以是例如视频监控摄像机。为了便于理解本发明，没有描述摄像机的与本发明无关的标准特征。摄像机10包括图像传感器60 (例如电荷耦合器件(CXD)、CMOS传感器或类似的用于记录入射光的传感器)、图像处理模块62、通信单元70以及根据本发明的实施例的颜色平衡同步装置50，通信单元70用于将信息经由通信网络传送至连接到通信网络20上的其它摄像机、装置和/或单元。图像处理模块62接收关于所记录的光的信息并借助于本领域技术人员所众所周知的A/D转换器及信号处理模块64处理该信息。在一些实施例中，例如当图像传感器60是CMOS传感器时，图像传感器60包括A/D转换器，因此图像处理模块62中不需要任何A/D转换器。来自A/D转换器及信号处理模块64的结果是数字图像数据，根据一个实施例，在将该数字图像数据发送至颜色平衡同步装置50以前，在定标单元66和编码器68中处理该 数字图像数据。定标单元66被布置为将该数字图像数据处理成至少一个具有特殊尺寸的图像。然而其可被布置为产生多个具有不同尺寸的图像，所有图像表示由A/D转换器及信号处理模块64提供的相同的图像/帧。根据另一实施例，由编码器执行定标单元的功能，而在又一实施例中，无需执行来自图像传感器的图像的任何定标或大小调整。编码器68 (其对于实施本发明是可选的)被布置为用于将数字图像数据编码成用于连续视频序列、用于有限视频序列、用于静止图像或用于流式图像/视频的多种已知格式的任一种。例如，图像信息可编码成MPEG1、MPEG2、MPEG4、JPEG、MJPG、位图化等等。颜色平衡同步装置50可利用非编码图像作为输入数据。在这种情况下，图像数据从信号处理模块64或从定标单元66带到颜色平衡同步装置50，而不使该图像数据经过编码器68。非编码图像可采用任何的非编码图像格式，例如BMP、PPM、PGM、PW和PBM，尽管颜色平衡同步装置50也可使用编码数据作为输入数据。在本发明的实施例中，图像数据可以直接从信号处理模块64发送至颜色平衡同步装置50，而不经过定标单元66或编码器68。在又一实施例中，图像数据可以从定标单元66发送至颜色平衡同步装置50，而不经过编码器58。图3的颜色平衡同步装置50是根据本发明的实施例的颜色平衡同步装置50。图4图示了根据本发明实施例的促进摄像机系统内的多个摄像机之间的颜色平衡同步的方法的实施例。该方法包括下列步骤(这些步骤不必按照下面列出它们的顺序执行)步骤100，检测由该系统中的摄像机采集的视频序列中的对象；步骤102，确定所检测的对象的对象颜色直方图；步骤104，利用上述确定的对象颜色直方图更新摄像机特定参考颜色直方图；步骤106，通过比较摄像机特定参考颜色直方图和系统参考颜色直方图来确定一个或多个摄像机特定颜色直方图补偿系数。上面限定了摄像机特定参考颜色直方图和系统参考颜色直方图。根据本发明的实施例，该方法进一步包括步骤101，确定所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图并且其中每个对象类型均具有特定的系统参考颜色直方图。
根据本发明的实施例，通过比较摄像机特定参考颜色直方图和系统参考颜色直方图来确定一个或多个摄像机特定颜色直方图补偿系数的步骤106进一步包括下列步骤中的一个或多个步骤108，利用多个分布(例如正态分布)对具有多个正态分布的摄像机特定参考颜色直方图和系统参考颜色直方图建模；步骤112，计算分布的参数，例如分布的平均值和方差值；步骤114，利用关于摄像机特定参考颜色直方图以及关于系统参考颜色直方图计算的多个分布的所计算参数，计算一个或多个补偿系数。对象跟踪根据本发明的一个方面，摄像机系统内的多个摄像机之间的颜色平衡同步可用于在多个摄像机之间跟S示对象。图5a和图5b中图不了被布直为用于在多个摄像机之间跟足示对象的摄像机系统的实施例。根据本发明的实施例，视频监控系统包括被布置为监控第一区域的第一摄像机和被布置为监控第二区域的第二摄像机，其中上述第一区域和第二区域不重叠。 图5a中描述的系统是图Ia的系统的改进。除了图Ia的系统以外，图5a的系统还包括对象属性识别装置80和监控中心90。对象属性识别装置80被布置为用于识别由系统的摄像机10a、10b、10c采集的视频序列中的对象的属性。在识别出对象的属性以后，对象属性识别装置80被布置为将所识别的属性传送至网络中的节点，例如监控中心90。对象属性识别装置80被布置为用于基于由颜色直方图发生器38产生的对象颜色直方图来识别对象的属性。参见图6，根据本发明的实施例，对象属性识别装置80包括对象直方图建模器82、对象直方图变换器84、对象参数计算器86、对象属性计算器88以及对象属性转化器89。对象直方图建模器82被布置为用于利用多个分布(在一个实施例中利用正态分布)对所产生的对象颜色直方图建模。通过利用多个分布对所产生的对象颜色直方图建模，数据量可减少。对象直方图变换器84被布置为用于将颜色直方图从笛卡尔坐标系变换成极坐标系。因此，有利于根据环境将颜色直方图中对象的特性与该颜色直方图的特性分离开。对象参数计算器86被布置为用于计算多个分布的参数，例如这些分布的平均值和方差，这些参数对于识别对象特性来说是标示性的。对象属性计算器88被布置为，用于基于所计算的参数通过根据每个参数对识别对象特性而言的重要性对这些参数进行加权来计算对象的属性。每个参数的重要性可例如事先在测试步骤中测出。对象属性转化器89被布置为用于通过利用一个或多个摄像机特定颜色直方图补偿系数转化对象的属性。因此，对象属性转化器89被布置为用于将对象的属性转化为可在系统中应用并且全局比较的属性。来自属性转化器89的输出属性不受用于采集视频序列(从中检测对象)的摄像机的摄像机设置/特性的影响并且不受场景照明的影响。根据本发明的实施例，用于对对象颜色直方图建模的多个分布的平均值和方差被转化至全局系统空间。从而，能够利用与采集图像的摄像机无关的直方图表示执行对象特性的识别。根据本发明的实施例，在产生对象颜色直方图时，使用来自于视频序列的多个图像的信息。通过在产生颜色直方图时使用来自于视频序列的多个图像的信息，与如果使用仅来自一个图像的信息相比，对象属性识别装置80变得对时间方面和空间方面(即在图像中何时和何处检测出对象)不敏感。使用的图像越多，该识别装置对时间方面和空间方面越强健。这意味着本发明的对象属性识别装置80能相当可靠地识别对象的特性，这是由于该装置对对象外观在不同视频序列中的变化具有低敏感性。根据本发明的实施例，可在不同步骤中识别对象的属性。例如，首先可基于视频序列中的少量图像(例如5个图像)的颜色和亮度信息识别属性。随后，可基于视频序列中的更多图像完成对象属性的细化识别，例如在后面的在视频序列的更多图像中已观察到对象的阶段。监控中心90具有跟踪设备92，跟踪设备92用于基于从第一摄像机接收的跟踪对象的所识别的属性和基于从第二摄像机接收的候选对象的所识别的属性跟踪视频监控系统中的对象。布置该跟踪设备，使得跟踪对象的所识别的属性与候选对象的所识别的属性相比较，以计算候选对象是否与跟踪对象一致。图7图示了根据本发明的跟踪设备92。跟踪设备92包括接收器94、匹配单元96、计算单元98以及信号生成器99。接收器94被布置为用于从对象属性识别装置80接收关 于第一检测对象的属性(即关于跟踪对象的属性)。接收器还被布置为用于从对象属性识别装置80接收第二检测对象的属性(即关于候选对象的属性)。匹配单元96被布置为用于将候选对象的属性与跟踪对象的属性相匹配。计算单元98被布置为用于根据匹配步骤计算候选对象与跟踪对象一致的可能性。然后计算结果可作为信号发送至展示单元，例如监控中心内的显示器，以便信号在该显示器上展示，以向在监控中心工作的人指示已发现匹配/不匹配。计算结果可以是表示候选对象与跟踪对象一致的概率的概率值。信号生成器99被布置为用于基于计算结果生成这种信号。在图5a中图示的系统中，将对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、颜色直方图发生器38、颜色直方图更新器40、补偿系数发生器42以及对象属性识别装置80图示为分离的单元，其中每个分离单元均连接到通信网络20上。然而应认识到，对象检测单元30、对象类型确定单元32、第一存储器34、第二存储器36、颜色直方图发生器38、颜色直方图更新器40、补偿系数发生器42和/或对象属性识别装置80中的两个或两个以上可实现在具有分离单元30、32、34、36、38、40、42、80的组合特性的组合单元中。具体地说，根据图5b中图示的本发明的一个实施例，摄像机10a、10b、10c每个均包括根据本发明的颜色平衡同步装置50a、50b、50c以及根据本发明的对象属性识别装置80a、80b、80c。根据另一实施例，摄像机中的一些摄像机具有对象属性识别装置80，而摄像机中的一些摄像机不具有对象属性识别装置80。于是输入数据从没有对象属性识别装置80的摄像机传送至具有对象属性识别装置80的摄像机。在这种情况下的替代选择还可能具有位于中心节点(例如监控中心90)中的对象属性识别装置80或者具有连接到通信网络20上的对象属性识别装置80。对于中心节点(例如监控中心90)包括对象属性识别装置80的情况来说，输入数据可从没有对象属性识别装置80的摄像机传送至中心节点中的对象属性识别装置80。对于对象属性识别装置80连接到通信网络20上的情况来说，输入数据可从没有对象属性识别装置80的摄像机传送至连接到通信网络20上的对象属性识别装置80。根据又一实施例，视频监控系统中的多个摄像机中的至少一个摄像机可具有跟踪设备92。此外，跟踪设备92可从与其接收跟踪对象的属性相同的摄像机接收关于候选对象的属性的信息。在这种情况下，跟踪对象的属性来自于第一视频序列，候选对象的属性来自于与第一视频序列不同的第二视频序列。在图8中图示了根据本发明的实施例的摄像机10。图8的摄像机10十分类似于图3的摄像机10。此外，与图3的摄像机相比，图8的摄像机还包括根据本发明的对象属性识别装置80。除了其它方面以外，摄像机10的通信单元70被布置为，将与由摄像机10中的对象属性识别装置80从颜色直方图中识别的对象属性有关的信息传送至布置在通信网络的另一节点中或可替代地布置在同一摄像机中的跟踪设备92。图9图示了根据本发明实施例的在视频监控系统中跟踪对象的方法。视频监控系统包括多个摄像机。该方法包括下列步骤步骤200，检测由摄像机采集的视频序列中的 对象；步骤202，基于来自视频序列中的多个图像的对象的颜色和/或亮度信息，确定对象颜色直方图；步骤204，利用多个分布(例如正态分布)对对象颜色直方图建模；步骤206，将颜色直方图从笛卡尔坐标系变换为极坐标系；步骤208，计算这些分布的参数，例如平均值和方差值，这些参数用于识别对象的属性；步骤210，例如通过根据每个参数与对象属性的相关性加权这些分布的参数，基于对象的所计算的参数计算对象属性；步骤212，利用本领域技术人员已知的任何方法确定对象的类型，这些方法中的一些方法在下文中列出；步骤214，关于对象的类型和/或外界因素(如一天中的时间、商店在营业还是在暂停营业等)来选择使用哪个特定摄像机参考直方图；步骤216，利用上述确定的对象颜色直方图更新摄像机特定参考颜色直方图；步骤218，通过比较摄像机特定参考颜色直方图和系统参考颜色直方图，计算摄像机特定颜色直方图补偿系数；步骤220，针对相关类型的对象、外界因素等，利用摄像机特定颜色直方图补偿系数转化所检测对象的对象属性；步骤222，计算所转化的对象属性与跟踪对象的属性一致的可能性；步骤224，生成表示对象与跟踪对象一致的可能性的信号。上面所列的步骤不一定需要按照所列顺序执行。例如，建模的步骤204和变换的步骤206可以以任何相互的顺序执行。根据本发明的实施例，该方法进一步包括通过多个像素使每个图像中的对象的颜色和亮度信息标准化的步骤，通过这些像素描述每个图像中的对象。标准化的步骤可在确定对象颜色直方图的步骤202以前或以后出现。在本发明的实施例中，计算分布的参数的步骤208包括将对象颜色直方图从极坐标系变换为第二笛卡尔坐标系；将坐标的原点移到对象颜色直方图中对象的质心；计算多个分布在第二笛卡尔坐标系中的位置，其中多个分布在第二笛卡尔坐标系中的位置作为用于识别对象特性的参数使用。计算分布的参数的步骤208可进一步包括识别对象颜色直方图的质心和对象颜色直方图分布；以及基于所识别的质心和所识别的对象颜色直方图分布计算用于识别对象特性的参数。在这种情况下，术语“颜色直方图分布”应被解释为在由描述对象的一组块构成的颜色直方图中的拉伸(extension)。直方图可被描述为包括多个块，其中每个块被定义为一种颜色的对象部分并且其中对象被描述为一组上述一种颜色的对象部分。
图10更详细地图示了图9方法的进行实际对象跟踪的部分。该方法包括步骤300，检测由第一摄像机采集的第一视频序列中的跟踪对象；步骤302，根据上面介绍的内容识别跟踪对象的属性；步骤303，利用第一摄像机的摄像机特定颜色直方图补偿系数转化跟踪对象的对象属性；步骤304，检测由第二摄像机采集的第二视频序列中的候选对象；步骤306，根据上面介绍的内容识别候选对象的属性；步骤307，利用第二摄像机的摄像机特定颜色直方图补偿系数转化候选对象的对象属性；步骤308，将候选对象的属性与跟踪对象的属性相匹配；步骤310，基于匹配步骤，计算候选对象与跟踪对象一致的可能性；以及步骤312，生成表示候选对象与跟踪对象一致的可能性的信号。所生成的信号可以例如从视觉上呈现在监控中心中的操作者的屏幕上。于是操作者可利用该信息来进一步从视觉上检验在两个视频序列中是否真正存在候选对象 和跟踪对象之间的匹配。在本发明可替代实施例中，第一摄像机和第二摄像机可以是同一摄像机，在这种情况下，第一视频序列和第二视频序列是由同一摄像机采集的不同视频序列。视频监控系统中的摄像机或多个摄像机和/或其它节点可具有计算机，计算机被布置为容纳存储有计算机程序产品的计算机可用介质。计算机程序产品包括用于使计算机执行上面根据本发明描述的方法中任一种的步骤的计算机可读程序模块。对象检测和对象类型检测借助于摄像机检测对象的方法通常基于对摄像机视野中的运动或视觉特征进行分析。摄像机视野的在视频序列中移动的部分可认为是运动对象。摄像机视野的移动的部分还可以进一步被分析并且被分类成不同的对象，两个非常靠近的对象还可视为单个对象。能够检测出视频序列中的一个或多个移动对象是视频分析学领域中主要的基础部分之一。有几种用于确定场景中何物在移动的方法。一种这样的方法是基于制作场景背景的模型。这里将由摄像机监控的场景的背景定义为场景中始终不变的部分，即场景中不随时间变化的部分。检测场景中的移动的基本思想是将视频序列的新图像中的每个像素与背景模型中的对应像素相比较来检测变化。这种方法可称为变化检测、前景/背景分割或背景减除。变化检测可通过将视频序列的新图像中的每个像素与背景模型的对应像素相比较来执行。如果背景模型和新图像之间的差异大于阈值，则新图像中的该像素视为已变化的像素。该结果为布尔运动图，其中每个像素mu由公式I表示
ι 如果kJ/ "=I , J l'A 公式 I
3 [ο 其它其中，ry是背景模型的像素值，Si,j是视频序列的当前图像的像素值，t是阈值。背景模型需要不断更新，以考虑例如背景中不涉及运动的逐渐变化。背景模型的更新是通过使背景模型适合于视频序列的新图像帧而执行的。这可通过简单的时间IIR(无限脉冲响应)滤波器来实现。ri；J=(l- a )ri；J+ a si；J 公式 2其中α是范围[O，I]内的更新因子。
还存在用于对背景进行建模和更新的更为复杂的算法。一种办法是通过具有平均值和方差值的高斯分布表示背景像素。Stauffer和Grimson1利用每个像素几个高斯分布来对背景建模。根据方差值和多长时间观察一次对每个分布加权。用足够大权重也不融入背景模型的像素被认为是前景像素。该算法也称为高斯混合模型。其它的视频运动检测方法的示例包括如在US2010/0080477中描述的分析视频序列的图像体的空时变化。还可以利用本领域已知的不同运动检测方法的组合来改进得到的运动检测，因此也改进对象检测。基于运动检测的对象检测可检测任何类型的对象，只要对象正在或当时
一直在运动。可替代的一组用于检测对象的方法基于分析摄像机视野中的视觉特征。不同类型的图形检测或特征检测方法可例如用于对象检测。在US7099510中描述的方法是这种示例，其中分类器用于通过利用扫描视频序列中的图像的搜索窗来检测基于级联的结构中的 对象的特征。另一种利用搜索窗的检测或评估方法例如由Schneiderman和Kanade2提出。当分析视觉特征而不分析运动时，待检测的对象在摄像机视野中是运动还是静止无关紧要。然而，这种类型的对象检测对由视野中影响待检测对象的视觉特征(像例如摄像机的对象视角、场景照明、图像传感器的颜色显示等)的变化引起的检测错误敏感。通过分析摄像机视野中的视觉特征，可检测出或辨别出预定的对象类型。所检测的预定的对象类型可例如是汽车、人脸、人、穿戴特殊制服或特殊类型衣服的人、不同种类的动物、自行车或其它类型的车辆，即利用视觉特征可与其它对象区别开的任何的对象类型。还可利用上面描述的方法和其它类型的类似方法的组合来改进对象或对象类型的检测或辨别。就确定特定的对象类型来说，最容易和最不复杂的方法是只假设所有已检测的对象对应于某一对象类型。人们还可利用所检测对象的其它特定情况参数来确定所检测的对象是否对应于某一对象类型。例如可利用以高于特定阈值的速度运动的对象以及所检测对象的宽高比。例如车辆可被定义为以至少特定速度移动的检测对象。可替代地或共同地，车辆可被检测为具有表示对象的宽度大于高度的宽高比的对象(对人来说情况将相反)。已在附图和说明书中公开了本发明的优选实施例和示例，尽管采用了特定术语，但仅从一般和描述的意义上使用这些术语，而不是为了限制目的，在下面的权利要求书中阐述本发明的范围。参考文献I. C. Stauffer 和 W. Ε· L. Grimson 的“Adaptive background mixture models forreal-time tracking (用于实时跟踪的自适应背景混合模型)”，Proceedings of the IEEEConference on Computer Vision and Pattern Recognition (CVPR), p. 246-252, 1999(1999年IEEE计算机视觉和模式识别(CVPR)会议论文集，第246-252页)，http://www.ai. mit. edu/projects/vsam/Publications/stauffer_cvpr98_track. pdf2.由 PA (15213)匹兹堡(Pittsburgh)的卡耐基梅隆大学(Carnegie MellonUniversity)Robotic 学院(Robotics Institute)的 Henry Schneiderman和 Takeo Kanade发表的“A Statistical Method for 3D Object Detection Applied to Faces a nd Cars(适用于人脸和汽车的3D对象检测统计方法)”，http://www. cs. emu. edu/afs/cs. emu. edu/user/hws/www/CVPROO. pdf。 ·
权利要求
1.一种用于促进摄像机系统内的多个摄像机(10a、10b、10c)之间的颜色平衡同步的方法，包括 检测(200)由所述摄像机系统中的特定摄像机(10a、IObUOc)采集的视频序列中的对象， 其特征在于， 确定(202)所检测的对象的对象颜色直方图， 利用所述确定的对象颜色直方图更新(216)所述特定摄像机(10a、10b、IOc)的摄像机特定参考颜色直方图，以及 通过比较(218)所述特定摄像机(10a、10b、10c)的所述摄像机特定参考颜色直方图与系统参考颜色直方图，确定所述特定摄像机(10a、10b、10c)的相对颜色平衡为一个或多个摄像机特定颜色直方图补偿系数，所述系统参考颜色直方图是整个所述摄像机系统的全局颜色参考。
2.根据权利要求I所述的方法，还包括确定(212)所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图，以及其中每个对象类型均具有特定的系统参考颜色直方图。
3.根据权利要求I或2所述的方法，还包括利用所述摄像机特定颜色直方图补偿系数将所述对象颜色直方图转化(220 )成摄像机无关对象颜色直方图。
4.根据权利要求I至3中任一项所述的方法，其中所述系统参考颜色直方图基于所述多个摄像机(10a、10b、IOc)中一个的摄像机特定参考颜色直方图。
5.根据权利要求I至3中任一项所述的方法，其中所述系统参考颜色直方图基于至少两个摄像机特定参考颜色直方图的组合。
6.根据权利要求I至5中任一项所述的方法，其中所述摄像机特定参考颜色直方图和所述系统参考颜色直方图取决于外界因素，例如一天中的时间或者商店在营业还是在暂停营业。
7.根据权利要求I至6中任一项所述的方法，其中颜色直方图应被解释为属于下面一组颜色直方图中任一个的颜色直方图=YCbCr颜色直方图、与YCr颜色直方图结合的YCb颜色直方图、RGB颜色直方图、CMYK颜色直方图、灰度直方图、亮度直方图和/或IR直方图。
8.一种用于促进多个摄像机之间的颜色平衡同步的系统，包括 摄像机(10a、10b、10c)， 对象检测单元(30)，被布置为检测由所述摄像机(10a、10b、10c)采集的视频序列中的对象， 其特征在于还包括 第一存储器(34 )，用于存储所述摄像机的摄像机特定参考颜色直方图， 第二存储器(36)，用于存储系统参考颜色直方图，所述系统参考颜色直方图是所述多个摄像机(10a、10b、IOc)的全局颜色参考， 对象颜色直方图发生器(38)，被布置为确定由所述对象检测单元检测的所述对象的对象颜色直方图， 颜色直方图更新器(40)，用于利用由所述颜色直方图发生器(38)确定的所述对象颜色直方图更新存储在所述第一存储器(34)中的所述摄像机特定参考颜色直方图，以及补偿系数发生器(42)，用于利用所述摄像机特定参考颜色直方图和存储在所述第二存储器(36 )中的所述系统参考颜色直方图，确定所述摄像机的相对颜色平衡为一个或多个摄像机特定颜色直方图补偿系数。
9.根据权利要求8所述的系统，其中所述摄像机(10a、10b、10c)被布置为监控第一区域，并且其中所述系统还包括被布置为监控第二区域的第二摄像机(10a、10b、10c)，其中所述第一区域和所述第二区域不重叠。
10.根据权利要求8或9所述的系统，还包括对象类型确定单元(32)，所述对象类型确定单元(32)被布置为确定所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图，并且其中每个对象类型均具有特定的系统参考颜色直方图。
11.根据权利要求8至10中任一项所述的系统，还包括对象属性识别装置(80)，所述对象属性识别装置(80)被布置为用于利用所检测的对象的所述颜色直方图和所述摄像机特定颜色直方图补偿系数识别所述对象的属性。
12.一种能连接到用于促进多个摄像机(10a、10b、10c)之间的颜色平衡同步的摄像机网络上的摄像机(10)，所述摄像机(10)包括 对象检测单元(30)，被布置为检测由所述摄像机(10)采集的视频序列中的对象， 其特征在于还包括 第一存储器(34 )，用于存储所述摄像机(10 )的摄像机特定参考颜色直方图， 第二存储器(36 )，用于存储系统参考颜色直方图，所述系统参考颜色直方图是所述多个摄像机(10a、10b、IOc)的全局颜色参考， 对象颜色直方图发生器(38)，被布置为确定由所述对象检测单元(30)检测的所述对象的对象颜色直方图， 颜色直方图更新器(40)，用于利用由所述对象颜色直方图发生器(38)确定的所述对象颜色直方图更新存储在所述第一存储器(34 )中的所述摄像机特定参考颜色直方图， 补偿系数发生器(42)，用于利用所述摄像机特定参考颜色直方图和存储在所述第二存储器(36)中的系统参考颜色直方图，确定所述摄像机(10)的相对颜色平衡为摄像机特定颜色直方图补偿系数。
13.根据权利要求12所述的摄像机(10)，还包括对象类型确定单元(32)，所述对象类型确定单元(32)被布置为确定所检测的对象的对象类型，例如汽车、动物或人，其中每个对象类型均具有特定的摄像机特定参考颜色直方图，并且其中每个对象类型均具有特定的系统参考颜色直方图。
14.根据权利要求12或13所述的摄像机(10)，还包括对象属性识别装置(80)，所述对象属性识别装置(80)被布置为用于利用所检测的对象的所述颜色直方图和所述摄像机特定颜色直方图补偿系数识别所述对象的属性。
15.—种计算机可读记录介质,在所述计算机可读记录介质上记录有程序,所述程序用于在具有处理能力的设备上执行时实现根据权利要求I至7中任一项所述的方法。
全文摘要
本发明涉及一种用于促进摄像机系统内的多个摄像机(10a、10b、10c)之间的颜色平衡同步的方法。该方法包括检测由系统中的摄像机(10a、10b、10c)采集的视频序列中的对象；确定所检测的对象的对象颜色直方图；利用上述确定的对象颜色直方图更新摄像机特定参考颜色直方图；以及通过比较摄像机特定参考颜色直方图与系统参考颜色直方图，确定一个或多个摄像机特定颜色直方图补偿系数。本发明还涉及一种用于促进多个摄像机之间的颜色平衡同步的系统以及一种能连接到用于促进多个摄像机之间的颜色平衡同步的摄像机网络上的摄像机(10)。
文档编号H04N9/04GK102892007SQ20121021617
公开日2013年1月23日 申请日期2012年6月27日 优先权日2011年7月19日
发明者米卡埃尔·兰博 申请人:安讯士有限公司