用于自动化的照明器检测与分类的系统和方法与流程

市政照明审计(audit)需要路灯杆的许多属性诸如地理位置、灯与照明器(luminaire)类型、杆条件和灯具的高度的收集。时常，这基于审计员的过去经验在视觉上进行推断。此外，整个处理是手工的并因此是缓慢的且不可缩放的(unscalable)。

ep1953568（boschgmbhrobert2008年8月6日（2008-08-06））教导一种成像仪-半导体组件，其包括用于接收图片信号的光学或红外辐射与放射的成像仪-像素的二维集成安排。测量元件被提供，其被集成在半导体组件上，用于通过测量光学或红外辐射的行进时间来确定距离。

技术实现要素：

示例性实施例涉及用于自动化的照明器检测的系统和方法。

根据本公开的一方面，该系统检测照明器高度。该系统包括被配置成捕获多个红外图像的红外记录组件、被配置成捕获多个深度图像的深度记录组件和处理设备。处理设备被配置成：在这些红外图像之中的至少一个中识别照明器，将所识别的照明器与这些深度图像之中的至少一个相关，并且基于这些深度图像之中的至少一个来确定照明器的高度。

在该系统的另一方面中，红外记录组件和深度记录组件被同步来同时捕获其各自的图像或者各自的图像以彼此独立的速率被捕获之一。

在另一方面中，该系统进一步包括存储器，其存储多个深度图像和多个红外图像。边界框(boundingbox)可以被叠加在多个红外图像之中的红外图像的一部分上。进一步，相关可以基于时间戳或gps坐标之一。

在另一方面中，该系统进一步包括进一步深度记录组件，其被配置成捕获进一步多个深度图像。处理器可以基于测量出的天花板上网格(ceilinggrid)来确定照明器的高度，其中测量出的天花板上网格基于多个深度图像或进一步多个深度图像之中的至少一个来生成。

在进一步方面中，用于收集照明器信息的系统包括：机动车辆；收集有关多个照明器的第一数据的第一数据收集装置，其中第一数据收集装置被安装在机动车辆上或在机动车辆内；收集有关多个照明器的第二数据的第二数据收集装置，其中第二数据收集装置被安装在机动车辆上或在机动车辆内；和处理设备，其被配置成分析第一和第二数据，以确定多个照明器之中的每一个的至少一个特征。

在另一方面中，第一数据收集装置是被配置成捕获多个红外图像的红外记录组件，而第二数据收集装置是被配置成捕获多个深度图像的深度记录组件。

在另一方面中，第一数据收集装置是被配置成捕获多个摄影图像的图像记录组件，而第二数据收集装置是被配置成测量多个波长测量的分光计。

在另一方面中，该系统进一步包括被配置成记录所收集的第一数据和所收集的第二数据的gps位置的gps组件。处理设备可以基于第一数据和第二数据（确定）照明器高度。在另一方面中，处理设备基于第一数据和第二数据来识别照明器簇(cluster)。

在进一步方面中，用于检测和识别照明器簇的系统包括：图像记录组件，其被配置成捕获多个摄影图像；分光计，其被配置成测量多个波长测量；和处理设备。处理设备被配置成：从摄影图像中检测和分组(group)照明器外壳(housing)结构，根据波长测量来识别和分组照明器类型，并且将分组的照明器外壳结构和分组的照明器类型进行分类。

在另一方面中，该系统进一步包括gps组件，其被配置成记录多个摄影图像之中的每一个和多个波长测量之中的每一个的gps位置。多个摄影图像之中的每一个和波长测量之中的每一个可以利用gps位置进行匹配。在还一方面中，图像记录组件在与分光计记录波长测量时不同的时间上记录多个摄影图像。

在另一方面中，处理设备进一步被配置成将分组的照明器外壳结构组织成子组(subgroup)，其中这些子组包括第一类型的照明器外壳结构组和第一类型的照明器类型。

在另一方面中，图像记录组件以一速率记录多个摄影图像，该速率与该系统的速度相关。

在另一方面中，将照明器外壳结构分组包括：将多个摄影图像中的照明器外壳结构之中的每一个与多个候选图像进行比较，基于针对候选图像之中的每一个的匹配点的数量给摄影图像之中的每一个分配分数，并且基于该分数将照明器外壳结构分组。

附图说明

图1显示根据示例性实施例的luminaireinformationcollection（照明器信息收集）系统。

图2显示根据示例性实施例的图1的处理设备。

图3显示根据示例性实施例的用于获得照明器的高度的方法的流程图。

图4显示根据示例性实施例的测量区域。

图5显示根据示例性实施例的双深度照相机设置。

图6显示根据示例性实施例的测量出的天花板上网格。

图7显示根据示例性实施例的用于检测和识别照明器簇的方法的流程图。

图8显示根据示例性实施例的比较匹配点的示例。

图9显示根据示例性实施例的谱功率分布。

具体实施方式

参考以下描述和附图可以进一步明白这些示例性实施例，其中类似的元素利用相同的参考数字来提及。这些示例性实施例涉及用于照明器的自动化检测的系统和方法。

图1显示根据示例性实施例的luminaireinformationcollection（照明器信息收集）（lic）系统100。lic系统100可以包括以下组件：处理设备110，红外照相机120，深度照相机130，图像照相机140，分光计150，照明仪表160和全球定位系统（gps）模块170。本领域技术人员将明白：lic系统100能够利用上面公开组件的任何组合并且也可以包括附加的组件。处理设备110可以被连接到剩余组件。在示例性实施例中，这些组件被安装在机动车辆上和/或在机动车辆中。例如，红外照相机120和深度照相机130可以被安装在机动车辆的车顶上。

处理设备110可以是任何类型的计算设备，诸如个人计算机、平板计算机、智能电话或能够被使用来记录数据的其他电子设备。红外照相机120可以是任何类型的热像照相机，诸如使用红外辐射而非可见光来形成图像（例如，红外图像）的热像照相机。深度照相机130可以是任何类型的基于距离的成像设备，其被使用来解析(resolve)深度照相机130与（多个）对象之间的距离。这可以通过测量深度图像中的每个像素来完成，然而也可以利用其他的方法。

图像照相机140可以是任何类型的摄影照相机，诸如能够捕获摄影图像的摄影照相机。分光计150可以是任何类型的能够测量（光）谱、诸如将强度显示为波长的函数的图表的设备。特别地，分光计可以被利用来记录与照明器有关的测量。照明仪表160可以是任何类型的能够测量照明器的照度（或亮度隆起(eminence)）、颜色、温度、波长谱、色彩渲染指数和/或色度坐标的设备。gps模块170可以是任何类型的能够通过利用gps卫星的信息来精确地计算地理位置的设备。特别地，gps模块可以产生利用这些lic组件之中的任何一个所记录的测量或图像的gps坐标。例如，在捕获时或在捕获之后，利用红外照相机120进行的红外图像捕获可以利用gps坐标来标记(tag)。也可以使用其他的位置。应注意：利用这些lic组件之中的任何一个所记录的测量或图像之中的任何一个也可以利用时间戳、日期等等来标记。

图2显示根据示例性实施例的图1的处理设备110。处理设备110包括处理器210、存储器220、输入设备240、输出设备250、接收器260和发射器270。

处理器210可以使得lic系统100组件执行数据收集。存储器220存储利用lic系统组件所收集的数据以及其他的数据，诸如但不限于时间戳、日期、红外照相机120和/或深度照相机130的仰角(elevation)等等。

输入设备240可以从用户接收输入并且包括键盘、鼠标、触摸屏和/或其他的输入设备。进一步，输入设备240可以从lic系统100组件接收输入。输出设备250可以经由监视器、打印机和/或其他的输出设备将数据传送至用户。接收器260和发射器270可以被用于诸如与通信网络进行的有线和/或无线通信。在示例性实施例中，组合的收发器可以被利用来提供接收器260和发射器270的功能。

图3显示根据示例性实施例的用于获得照明器的高度的方法300。照明器的高度可以是道路（或地面）与照明器之间的高度。下面将针对图1的lic系统100来描述方法300。方法300所利用的组件可以至少包括处理设备110、红外照相机120和深度照相机130。进一步，红外照相机120和深度照相机130可以被设置成垂直向上面向并且具有相同的视野范围。

在步骤310中，lic系统100记录利用红外照相机120和深度照相机130收集的数据。具体地，安装有lic系统100的机动车辆可以沿道路行驶。红外照相机120可以连续地捕获红外图像，而深度照相机130连续地捕获深度图像。红外照相机120和深度照相机130可以被同步来同时捕获其各自的图像。可供选择地，红外照相机120和深度照相机130可以在不同的速率上捕获其各自的图像。

用于确定红外图像和深度图像的捕获的速率的各种方法可以被实现。在一个示例性实施例中，捕获的速率可以被设置为指定的时间间隔。在不同的示例性实施例中，捕获的速率可以被设置为与机动车辆的速度相关。例如，捕获的速率可以被设置为依赖于机动车辆的速度而线性地或指数地增减。在还一示例性实施例中，捕获的速率可以被设置为0，如果机动车辆是静止的，诸如在红绿灯处或在交通堵塞中。

在进一步示例性实施例中，红外照相机120可以被设置为在热签名(signature)被检测到时捕获红外图像。这样，深度照相机130可以被设置成拍摄深度图像，以响应红外照相机120的动作。例如，深度照相机130可以被配置成在与红外照相机120捕获红外图像的同步时间或在指定的时间延迟上捕获深度图像。附加地，可以设置有关所捕获的红外图像的量与所捕获的深度图像的量之比率。例如，对于所捕获的红外图像之中的每一个，可以捕获两个深度图像。

虽然优选，但是在方法300中，对于机动车辆在夜间行驶，lic系统100能够在一天中的任何时间记录数据，只要照明器在产生热签名。所捕获的红外图像和深度图像可以被存储在存储器220中。

在步骤320中，步骤310的记录的数据（例如，红外图像和深度图像）被处理。虽然示例性实施例将参考这个步骤以及由处理器210执行的方法300的进一步步骤，但是应注意：记录的数据可以由进一步处理单元来处理。例如，记录的数据可以从处理单元110的存储器220被传递到进一步处理单元。

在示例性实施例中，处理可以包括识别照明器在红外图像中的存在。如上所讨论的，这可以通过在红外图像中检测红外辐射来完成。如果没有照明器被检测到，则处理器210可以转至下一红外图像。如果照明器被检测到，则处理器210可以进一步确定是否该照明器与在不同的红外图像中所识别的照明器相同。如果同一照明器被识别，则处理器210可以再次转至下一红外图像。没有检测到的照明器的红外图像可以被丢弃。

在示例性实施例中，边界框可以在被识别为照明器的红外图像的部分上被利用。边界框可以是点集，其完全包围红外图像中的区域。例如，在红外图像中检测到热签名之后，边界框可以被叠加来包围热签名。如下面将进一步解释的，类似的边界框可以随后被叠加在相关（多个）深度图像上的类似位置中。通过利用边界框，所需的处理的量将被减少，因为只有（多个）深度图像的被包围部分才需要被分析。

处理可以进一步包括将具有检测到的照明器的红外图像与（多个）深度图像相关。这可以通过使用时间戳或gps坐标来完成。一旦（多个）红外图像和（多个）深度图像进行相关，则边界框也可以被强加在深度图像上。特别地，如果红外图像和深度图像同时或几乎同时被捕获，则边界框可以在深度图像上被放置在与其被放置在红外图像上相同的位置上。在可供选择的示例性实施例中，边界框在深度图像中的放置可以相对于边界框在红外图像上的放置而被适当地移位，以考虑红外照相机120和深度照相机130的不同放置、红外照相机120和深度照相机130的不同视野、捕获的时间和/或车辆在捕获时间上的速度的不同等等。

在进一步示例性实施例中，可以提高识别的精度。特别地，深度照相机130可以被安装在45°角度上，以致深度照相机130向上以及横向面向。如果照明器在红外图像中被检测到，则处理器210可以验证是否结构对象被依附到相关的深度图像中的照明器。另外，处理器可以验证是否该结构对象延伸至相关的深度图像中的街道侧视图。本领域技术人员将明白：在这个实施例中可以使用进一步深度照相机而不是深度照相机130被安装在45°角度上。本领域技术人员也将明白：对于任何实施例而言，安装的角度可以为了最佳测量而被改变。

在步骤330中，lic系统100确定照明器的高度。可以通过将道路/地面与深度照相机130之间的测量高度和深度照相机130与照明器之间的垂直高度相组合来确定照明器的高度。垂直高度可以被测量或被计算。

在一个示例性实施例中，如果机动车辆能够或在照明器正下方或相对靠近照明器行驶的话，则利用深度照相机130测量的距离被确定为垂直高度。为了增加垂直高度的精度，可以利用如在图4中所看到的测量区域。测量区域是被强加在深度图像上的约束，诸如两条平行线从深度图像的中心等距偏移。垂直高度将在照明器位于测量区域内时被确定。因而，因为测量区域将位于深度照相机130的中心的正上方，所以更精确的垂直高度被确定。

在可供选择的实施例中，如在图5中所看到的，第一深度照相机130a和第二深度照相机130b可以被使用来确定垂直高度。照明器与第一深度照相机130a之间的距离（d1）和照明器与第二深度照相机130b之间的距离（d2）在步骤310期间被记录。附加地，第一深度照相机130a和第二深度照相机130b之间的距离（d3）也被测量并被记录。d1、d2和d3之中的每一个随后被代入以下公式：

d1²=(d3+c)²+h²

d2²=c²+h²。

由于d1、d2和d3是已知值，所以处理器210能够根据上面公式计算c和h的值。h的值将是垂直高度。所测量的道路/地面之间的垂直高度可以是或但不限于第一照相机130a的高度、第二照相机130b的高度或其各自高度的平均值。当在照明器正下方或相对靠近照明器行驶是不可行的时，可以使用这个方法。

在还一实施例中，如在图6中看到的，可以使用第三方法来确定深度照相机130与照明器之间的垂直高度。具体地，深度照相机130可以被校准为固定设置或保持固定镜头(lens)。这样，深度图像中的每个像素将具有与图像的中心中的像素相距的已知角度偏移。

通过利用深度图像上测量出的天花板上网格，每个像素的角度能够被确定。天花板上网格可以包含网格坐标并且可以具有预定高度。应注意：通过使得网格坐标之间的间距变窄，可以提高分辨率。网格坐标之中的每一个的角度偏移可以通过以下函数来确定：

θ=tan^-1(z/r)

其中：

r=沿着水平面从原点到网格坐标的半径长度

z=网格坐标的垂直z轴高度

θ=由水平面与指向网格坐标的视线所形成的角度。

所计算的θ随后被插入公式z=sin(θ)*d。变量d是利用深度照相机130所进行的测量。由此产生的变量z产生垂直高度。

在步骤340中，lic系统100确定是否具有任何剩余数据可用于处理。如果有的话，该方法转至步骤320，以便继续处理数据。如果没有图像剩余，则该方法可以结束。

图7显示用于检测和识别照明器簇的方法700。照明器簇可以是同一类别的多个照明器或同一类型的多个照明器外壳结构。在可供选择的示例性实施例中，照明器簇可以是具有单个类别的照明器的同一类型的多个照明器外壳结构。将针对图1的lic系统100来描述方法700。方法700所利用的lic系统组件可以包括但不限于处理单元110、图像照相机140、分光计150和gps模块170。图像照相机140可以被利用来捕获照明器外壳结构的摄影图像，而分光计150可以被利用来记录具有照明器外壳结构的照明器的波长测量。

在步骤710中，lic系统100记录利用图像照相机140、分光计150和gps模块170所收集的数据。具体地，安装有lic系统100的机动车辆可以沿道路行驶。图像照相机140可以连续地捕获摄影图像，而分光计150记录波长测量。进一步，gps模块170可以记录所捕获的摄影图像之中的每一个和/或所记录的波长测量之中的每一个的gps坐标。图像照相机140和分光计150可以被同步来同时捕获/记录其各自的图像和测量。可供选择地，图像照相机140和分光计150可以在不同的速率上捕获/记录其各自的图像和测量。

在示例性实施例中，摄影图像的捕获和波长测量的记录可以在分开的时间上被进行。具体地，摄影图像可以在白天被捕获。这将提供摄影图像的改进细节。这与在夜间捕获摄影图像相比而言将进一步不需要闪光灯设备。另一方面，波长测量的记录可以在夜间进行。这将确保：照明器被接通并发出其各自的波长。如上所公开的，gps模块170可以记录所捕获的摄影图像之中的每一个和所记录的波长测量之中的每一个的gps坐标。

类似于步骤310，用于确定摄影图像的捕获的速率和波长测量的记录的速率的各种方法可以被使用。在一个示例性实施例中，摄影图像的捕获的速率可以被设置为指定的时间间隔。在不同的示例性实施例中，摄影图像的捕获的速率可以被设置为与机动车辆的速度相关。例如，摄影图像的捕获的速率可以被设置为依赖于机动车辆的速度而线性地或指数地增减。在还一示例性实施例中，摄影图像的捕获的速率可以被设置为0，如果机动车辆是静止的，诸如在红绿灯处或在拥堵中(intraffic)。本领域技术人员将明白：类似的方法可以被应用于波长测量的记录的速率。在可供选择的示例性实施例中，可以使用照明仪表160来代替分光计150。

在步骤720中，步骤710的记录的数据（例如，摄影图像和分光计测量）被处理。虽然示例性实施例将参考这个步骤和由处理器210执行的方法700中的进一步步骤，但是应注意：记录的数据可以由进一步处理单元来处理。

在示例性实施例中，处理可以包括从摄影图像中检测照明器外壳结构。具体地，程序可以被利用来检测与照明器外壳结构相对应的摄影图像之中的每一个中的像素的子集。被确定为拥有照明器外壳结构的摄影图像之中的每一个可以保持被存储以便进一步处理，而被确定为不拥有照明器外壳结构的摄影图像之中的每一个可以被丢弃。用于检测照明器外壳结构的程序可以是cascade对象检测器、viola-jones算法或可以依靠haar特性。

处理可以进一步包括将照明器外壳结构类型分组。具体地，可以从摄影图像中选择照明器外壳结构类型的候选图像。剩余摄影图像可以与候选图像进行比较。例如，基于匹配点的数量，可以给剩余摄影图像之中的每一个分配分数，如在图8中看到的。如果摄影图像的匹配点的数量超过阈值，则摄影图像与候选图像一起被分组。如果摄影图像没有达到阈值，则摄影图像保持被存储。没有达到阈值的摄影图像然后可以与不同的照明器外壳结构类型的不同候选图像进行比较。

处理也可以包括从分光计测量中识别照明器类型的存在。这可以通过将来自分光计测量的波长的强度与谱功率分布进行比较来完成。例如，如在图9中看到的，分光计测量可以与多个谱功率分布进行比较。如果照明器的分光计测量匹配或相似于某谱功率分布，则分光计测量可以被贴标签并保持被存储以便进一步处理。如果照明器的分光计测量并不匹配或相似于多个谱功率分布之中的任何一个，则这些分光计测量可以被丢弃。

剩余分光计测量随后可以与各自的摄影图像相关，从而形成汇集(compilation)。在示例性实施例中，相关可以通过将分光计测量的gps坐标与摄影图像相匹配来完成。在另一示例性实施例中，相关可以通过利用时间戳来完成。

本领域技术人员将明白：gps坐标可以被使用来消除识别或照明器或照明器外壳结构在其各自的测量/摄影图像中的存在。特别地，如果这些摄影图像被处理，则gps坐标可以被使用来消除在被确定为不包含任何照明器外壳结构的位置中的分光计测量，并且反之亦然。这将减少所需的处理量。

在示例性实施例中，被分组的照明器外壳结构类型可以被进一步组织成子组。具体地，照明器外壳结构类型的组可以基于其相关分光计测量而被组织成子组。例如，包含照明器外壳结构类型1的摄影图像的组一可以被分为子组1和子组2，其中子组1包含具有第一类型的照明器的照明器外壳结构类型，而子组2包含具有第二类型的照明器的照明器外壳结构类型。这些组和/或子组之中的每一个可以被识别为多个簇之一并被分配识别号。

在步骤730中，这些组和/子组可以被分类。具体地，分类算法可以被利用来循环思考（cyclethought）这些组和/或子组并分配指示照明器类别和照明器外壳结构类型的分类。例如，算法可以指示：照明器类别是钨白炽类别、汞荧光类别、低压钠类别、高压钠类别或金属卤化物类别之一。本领域技术人员将明白：上面的照明器类别列表不是穷举的，并且其他的照明器类别可以被包括。在另一示例性实施例中，人可以被使用来循环思考这些组和/或子组并分配指示照明器类别和灯类型的分类。特别地，该人可以是能够快速识别该组和/或子组的专家。

或分类算法或人可以识别被不适当贴标签的汇集、组或子组。例如，可以作出该汇集并不类似于该组/子组的剩余部分的确定。非类似的汇集随后可以从该组中被移除并被正确识别。

在步骤740中，反馈回路可以被使用来提高方法700的精度。具体地，非类似的汇集可以被分析来确定有关为什么非类似的汇集之中的每一个被不恰当贴标签的原因。处理数据步骤720随后可以为了改进的性能而被修改。

本领域技术人员将明白：上述示例性实施例可以采用任何数量的方式、包括作为单独的软件模块、作为硬件和软件的组合等等被植入(implant)。进一步，本领域技术人员将明白：可以单独或组合来使用上述示例性实施例。例如，如图1所示，机动车辆可以利用任一或所有的lic系统100组件来装备。这样，方法300和方法700可以根据需要同时或单独被执行。

注意：权利要求书根据pctrule6.2(b)可以包括参考标志/数字。然而，本权利要求书不应该被认为限于与这些参考标志/数字相对应的示例性实施例。

示例1：

一种用于检测和识别照明器簇的系统，包括：

图像记录组件，其被配置成捕获多个摄影图像；

分光计，其被配置成测量多个波长测量；和

处理设备，其被配置成：

-从摄影图像中检测和分组照明器外壳结构；

-从波长测量中识别和分组照明器类型；和

-将分组的照明器外壳结构和分组的照明器类型分类。

示例2：

示例1的系统，进一步包括：

gps组件，其被配置成：针对多个摄影图像之中的每一个和多个波长测量之中的每一个，记录gps位置。

示例3：

示例2的系统，其中多个摄影图像之中的每一个和波长测量之中的每一个利用gps位置进行匹配。

示例4：

示例3的系统，其中图像记录组件在与分光计记录波长测量时不同的时间上记录多个摄影图像。

示例5：

示例1的系统，其中处理设备进一步被配置成：

将分组的照明器外壳结构组织成子组，其中这些子组包括第一类型的照明器外壳结构组和第一类型的照明器类型。

示例6：

示例1的系统，其中图像记录组件以一速率记录多个摄影图像，该速率与该系统的速度相关。

示例7：

示例1的系统，其中分组照明器外壳结构包括：

将来自多个摄影图像的照明器外壳结构之中的每一个与多个候选图像进行比较；

基于针对候选图像之中的每一个的匹配点的数量，给摄影图像之中的每一个分配分数；和

基于分数，将照明器外壳结构分组。