传感器系统的试运行的制作方法

文档序号:15235144发布日期:2018-08-21 20:25阅读:251来源:国知局

本发明涉及对被试运行的传感器系统中的试运行错误的检测。



背景技术:

传感器系统可以包括被布置为提供对传感器区域的覆盖的多个传感器。例如,在包括多个灯具的照明系统中,可以将传感器集成在每个灯具中或者与每个灯具共置在一起。

在传感器系统的上下文中,“试运行”指初始的过程,通过该初始的过程,使传感器系统是可操作的,以使得其可以执行其预期的功能。试运行阶段包括:对传感器系统的物理安装,其可以例如包括安装或者放置传感器、布线、对传感器的物理调整等;以及对传感器的任何配置,例如,对相关联的软件、相关联的数据库等的配置。例如,每个传感器可以是与设备标识符(id)相关联的。设备id可以例如是或者包括唯一地识别该传感器的传感器id和/或识别被与其共置在一起的灯具的灯具id(在适用的情况下)。为了提供例如位置服务,设备id中的每个设备id可以是与数据库中的识别其位置的位置标识符相关联的——在这种情况下,用位置id填充数据库被看作传感器系统的试运行阶段的部分。

从美国专利申请us2014/0235269a1中,知道了一种试运行区域内的传感器的方法。为此,所述方法提出跟踪区域内的计算设备的位置和将计算设备与多个传感器单元中的至少一个传感器单元耦合在一起。接下来,计算设备基于计算设备的被跟踪的位置和多个传感器单元中的这至少一个传感器单元的标识符识别和记录多个传感器单元中的这至少一个传感器单元的位置。

传感器系统可以是大型的和复杂的,例如具有数百的或者甚至数千的传感器。特别是在大型系统中,特别(如果不是全部的话)由于其是本质上手动的过程,试运行阶段是易出错的。试运行错误可以以一些方式出现,例如,由于在安装期间对传感器的不正确的放置或者(在适用的情况下)由于在用位置信息填充数据库时的错误。此外,现有的用于检测试运行错误的机制一般依赖于本质上手动的检测被执行(例如,通过单个地对每个传感器进行检查),以使得检查过程自身是易出错的。



技术实现要素:

本发明涉及使用随时间从传感器收集的数据(即,历史传感器数据)的对试运行错误的检测,所述传感器可以例如是图像捕获设备——在本文中也被称为“视觉传感器”——或者其它的传感器设备(诸如是例如雷达、声纳或者超声波传感器设备)。所述历史数据是采用在至少一个移动的实体移动通过被所述传感器覆盖的区域期间的时间间隔中被收集的位置数据的集合的形式的。

本发明的第一方面涉及一种检测被试运行的传感器系统中的试运行错误的方法,其中,所述传感器系统包括被安装为使得覆盖区域的多个传感器设备,所述方法包括以下步骤:由所述传感器设备在至少一个实体移动通过所述区域的同时从所述区域捕获数据;由所述传感器系统的计算机系统对所述传感器数据进行处理以生成识别被所述至少一个移动的实体遍历的位置的位置数据的集合;在位置数据的所述集合中检测由所述传感器设备中的至少一个传感器设备已经被不正确地试运行造成的不一致;以及基于所述检测步骤,对所述传感器系统作出修改以补偿或者纠正所述至少一个传感器设备的所述不正确的试运行。

即,所述不一致不是直接地从所述传感器数据(例如,图像)中被检测的。相反,其是使用从所述传感器数据(例如,图像)中提取的位置数据被检测的,所述位置数据由于其更低的信息内容而可以使用比其已经从其中被提取的所述传感器数据(例如,图像数据)更少的比特来表示。这允许节省存储器和带宽,因为一旦所述位置数据已经被提取则所述传感器数据(例如,图像数据)不需要被存储或者发送。即,由于可以在生成所述位置数据时从所述传感器数据(例如,图像数据)中丢弃(多余的)信息,以使得从所述传感器数据(例如,图像)中提取仅相关的位置信息,所以可以节省存储器和带宽。特别在所述传感器数据是由可以是图像捕获设备的所述传感器设备捕获的图像的图像数据的情况下,这还为任何出现在所述图像中的人提供额外的隐私性。

在优选的实施例中,所述传感器设备是在所述至少一个实体移动通过所述区域的同时从所述区域捕获图像数据的图像捕获设备。即,根据其生成所述位置数据的所述传感器数据可以是由所述图像捕获设备在所述至少一个实体移动通过所述区域的同时从所述区域捕获的图像数据。换句话说,所述传感器数据可以是由所述图像捕获设备捕获的所述区域的图像的图像数据。

所述图像捕获设备中的至少一个图像捕获设备可以包括可见光照相机和/或所述图像捕获设备中的至少一个图像捕获设备可以包括热成像传感器(例如,热电堆阵列或者微辐射热测量计)。

然而,所述传感器设备可以采用其它的形式(诸如是例如分别生成采用雷达数据、声纳数据和超声波数据的形式的传感器数据的雷达、声纳或者超声波设备)。

在实施例中,位置数据的所述集合可以例如是地球参照系中的(即,相对于公共的空间原点的)位置向量(即,二维或者三维位置向量)的集合。

试运行错误如果它们不被正确地纠正或者考虑在内则可以导致产生应用错误(例如,更高层的应用错误或者所述系统的不稳定的行为)。

例如,在本发明的特定的实施例中,所述传感器系统可以被用于执行人数计数。即,为了基于从所述传感器数据(例如,图像)中提取的所述位置信息估计所述区域中的总人数。

作为一个示例,在所描述的本发明的实施例中,所述传感器系统是包括以下各项的被连接的照明系统:视觉传感器;中央处理器,其被配置为,基于通过对由所述视觉传感器捕获的图像进行处理提取/生成的位置数据生成人群计数(指代所述区域中的所估计的总人数),并且基于所述人群计数提供启用了数据的应用。在这样的系统中,由于传感器的误放产生的传感器试运行中的错误或者其它的试运行错误可以导致产生更高层的应用错误或者所述系统的不稳定的行为。

所述人群计数接着可以被用于提供基于人群计数的启用了数据的应用。本发明的发明人已经认识到,试运行错误如果不被正确地纠正或者考虑在内则可以导致产生错误(例如,在所述系统被用于人群计数时,更高的系统层处的具体的感兴趣的点的空间或者位置(诸如书桌)中的估计的人数的错误)。即,接着可以导致产生任何依赖于所述人群计数的应用的非预期的行为。

在实施例中,所述方法可以包括:由所述计算机系统的各自位于所述传感器(例如,图像捕获)设备中的分别的传感器设备的本地的多个本地处理器(例如,图像处理器)中的每个本地处理器对由该设备捕获的传感器数据(例如,图像数据)进行处理以生成识别位于该设备的视场内的被所述至少一个实体遍历的位置的位置数据的单个的集合;以及由每个本地处理器(例如,本地图像处理器)将其位置数据的单个的集合传送给所述计算机系统的中央处理器,其中,被用于生成该集合的所述传感器(例如,图像)数据不被传送给所述中央处理器,其中,所述中央处理器对从所述本地处理器(例如,本地图像处理器)接收的位置数据的所述单个的集合进行聚合以生成被用于检测所述不一致的位置数据的所述集合。

例如,在实施例中,被每个传感器(例如,图像捕获)设备捕获的位置数据的所述单个的集合可以是相对于该设备的一个或多个位置向量(二维的或者三维的)的集合。一般地说,可以在不同的参照系中(即,相对于不同的空间原点)表述位置数据的所述单个的集合。对位置数据的所述单个的集合进行聚合可以包括:对所述单个的集合中的至少一个集合应用空间变换(例如,平移的和/或旋转的变换)以使得位置数据的该集合中的所述位置向量全部位于地球参照系中(即,是相对于公共的空间原点的)。

这节省带宽,并且还确保对于所述传感器(例如,图像捕获)设备的视场中的任何人维持隐私性。

所述检测步骤可以是通过所述计算机系统对位置数据的所述集合应用路径检测算法而被执行的。即,计算机实现的路径检测算法可以通过在所述计算机系统的处理器上执行体现所述算法的代码而被实现。

替换地,所述方法可以包括:由所述计算机系统控制显示器向用户显示位置数据的所述集合的视觉表示,其中,所述检测步骤可以是由所述用户使用所显示的表示执行的。

在所描述的实施例中,试运行错误是使用(i)由执行步行测试的试运行专员或者机器人生成的位置数据(第一个所描述的实施例)或者(ii)穿过传感器边界的用户轨迹和/或所述位置数据的直方图中的模式(第二个所描述的实施例)检测的错误。

在所描述的实施例中的第一个实施例中,每个传感器设备是被连接到位于该设备的本地的分别的处理器的图像捕获设备(视觉传感器),并且:

i.每个本地处理器对由其视觉传感器设备捕获的图像进行处理以提取所述图像中的任何人的位置;

ii.每个本地处理器向中央处理器传送每个人的所述位置以及视觉传感器标识符(id)和时间戳(例如,计数器);

iii.试运行专员在他/她是出现在所述空间中的仅有的一个时执行步行测试(即,遵循预定义的轨迹走过房间或者其它的区域)。替换地,在可以被所述视觉传感器检测的配置中,使机器人以类似的方式遵循已定义的轨迹。

iv.所述中央处理器呈现对所述空间中的所述试运行专员的所述轨迹的汇编;

v.所述试运行专员或者在所述中央处理器上被执行的路径检测算法检测所报告的轨迹与预期的轨迹之间的任何一项或多项不一致。

所述区域的所述图像(或者其它的传感器数据)可以是在多个人在其期间移动通过所述区域的时间间隔中被捕获的,其中,位置数据的所述集合可以识别被所述人遍历的所述区域中的位置。

所述方法可以包括:由所述计算机系统对于被所述多个人遍历的多个所述位置中的每个位置生成传达该位置已经在其处在所述时间间隔中被遍历的相对频率的相关联的值,其中,所述频率值可以被用于检测所述不一致。

例如,所述视觉表示可以在视觉上向所述用户传达关于与所述多个位置相关联的所述频率值的信息,例如,使用色彩(色度和/或照度)和/或阴影等来传达该信息。替换地,可以显示仅那些已经以门限以上的相对频率被遍历的位置。该视觉表示可以例如被覆盖在所述区域的被显示的地图上,以允许检测诸如是看起来像穿过墙壁的路径等这样的不一致。

在所描述的示例中的第二个实施例中,每个传感器设备是被连接到位于该设备的本地的分别的处理器的图像捕获设备(视觉传感器),并且:

i.每个本地处理器对由其视觉传感器设备捕获的图像进行处理以提取所述图像中的任何人的所述位置;

ii.每个本地处理器向中央处理器传送:每个人的所述位置(和运动的大小),以及所述视觉传感器id和时间戳(例如,计数器);

iii.所述中央处理器收集长的持续时间的时间(例如,若干小时或者优选地至少一天)中的来自全部所述视觉传感器的所述位置信息;

iv.所述中央处理单元构建与处于特定的门限以上的运动相对应的位置的热度图(或者其它的视觉表示);

v.管理员或者在所述中央处理器上被执行的路径检测算法检测位置的所述热度图与预期的有效位置之间的不一致。位置的无效的轨迹可以指示所述配置中的错误(例如,穿过墙壁的轨迹是无效的)。

所述至少一个实体可以是用户或者机器人。所述机器人可以以自动化的方式(例如,遵循信标、内部的加速度计或者某种室内定位)确定通过所述区域的路径,或者其可以是被用户远程地控制的。

所述检测步骤可以包括:检测例如由于所述传感器(例如,图像捕获)设备中的所述至少一个传感器设备已经以不正确的朝向被安装或者由于已经在所述传感器系统的设备数据中不正确地使设备标识符与所述至少一个传感器(例如,图像捕获)设备相互关联而产生的位置数据的所述集合中的不连续性。

替换地或者另外,所述检测步骤可以包括:通过将位置数据的所述集合与所述区域的地图进行比较检测所述位置数据的部分与通过所述区域的不可遍历的路径相对应。

所述修改步骤可以包括:

•在物理上对所述至少一个传感器(例如,图像捕获)设备进行调整,和/或

•通过在对所述计算机系统可访问的存储器中存储纠正数据对所述错误进行补偿,所述纠正数据将所述至少一个传感器(例如,图像捕获)设备识别为已经被不正确地安装,因此尽管有所述错误也允许所述计算机系统正确地从由所述至少一个传感器(例如,图像捕获)设备捕获的传感器数据(例如,图像)中提取信息,和/或

•修改不正确的设备标识符已经与识别所述至少一个传感器(例如,图像捕获)设备的位置的位置标识符和/或识别所述至少一个传感器(例如,图像捕获)设备的朝向的朝向标识符相关联地被存储在其中的所述传感器系统的设备数据库,以用正确地识别所述至少一个传感器(例如,图像捕获)设备的设备标识符替换所述不正确的设备标识符。

各自与所述传感器(例如,图像捕获)设备中的分别的传感器设备相互关联并且识别该传感器(例如,图像捕获)设备的位置的多个设备位置标识符可以被存储在所述传感器系统的设备数据库中,其中,所述设备位置标识符被用于生成位置数据的所述集合。

根据本发明的第二方面,一种传感器系统包括:被安装为在至少一个实体移动通过区域的同时从所述区域捕获传感器数据的多个传感器设备;处理逻辑,其被配置为,对所述传感器数据进行处理以生成识别被所述至少一个移动的实体遍历的位置的位置数据的集合;以及路径检测模块,其被配置为,对位置数据的所述集合应用路径检测算法,以检测由所述传感器设备中的至少一个传感器设备已经被不正确地试运行造成的位置数据的所述集合中的不一致,因此将所述至少一个传感器设备识别为已经被不正确地试运行。

“处理逻辑”(例如,“图像处理逻辑”)表示任何被配置为实现所述处理(例如,图像处理)的硬件(本地化的或者分布式的)和/或软件的合适的组合。

例如,优选地,所述(例如,图像)处理逻辑是由各自位于所述图像捕获设备中的分别的图像捕获设备的本地并且被配置为对由该设备捕获的(例如,图像)数据进行处理以生成识别位于该设备的视场内的被所述至少一个实体遍历的位置的位置数据的单个的集合的多个本地处理器(例如,图像处理器)构成的;并且所述传感器系统包括聚合模块(例如,由中央处理器执行的代码实现的),所述聚合模块被配置为,对所述单个的集合进行聚合以生成被用于检测所述不一致的位置数据的所述集合。

在实施例中,所述路径检测模块可以基于所检测的不一致例如通过自动地在所述系统的存储器中存储将所述至少一个设备识别为已经被不正确地试运行的所述至少一个设备的标识符和/或通过自动地控制所述传感器系统的输出设备(例如,显示器)向所述输出设备的用户输出(例如,显示)将所述至少一个传感器(例如,图像捕获)设备识别为已经被不正确地试运行的信息来识别所述至少一个传感器(例如,图像捕获)设备。

所述传感器系统优选被嵌入在包括多个灯具的照明系统中/是这样的照明系统的部分。更优选地,将每个灯具与所述传感器(例如,图像捕获)设备中的分别的传感器设备共置在一起。

本发明的第三方面涉及一种用于检测传感器系统中的试运行错误的计算机程序产品,其中,所述传感器系统包括被安装为覆盖区域的多个传感器设备,所述计算机程序产品包括代码,所述代码被存储在计算机可读存储介质上,并且在被执行时被配置为实现以下步骤:对由所述传感器设备从所述区域捕获的传感器数据进行处理,因此生成识别被至少一个移动的实体遍历的所述区域内的位置的位置数据的集合;以及在位置数据的所述集合中检测由所述传感器设备中的至少一个传感器设备已经被不正确地试运行造成的不一致,因此将所述至少一个传感器设备识别为已经被不正确地试运行。

本发明的第四方面涉及一种检测被试运行的传感器系统中的试运行错误的方法,其中,所述传感器系统包括被安装为覆盖区域的多个图像捕获设备,所述方法包括以下步骤:由所述图像捕获设备在至少一个实体移动通过所述区域的同时捕获所述区域的图像;由所述传感器系统的计算机系统对所述图像的图像数据进行处理以生成识别被所述至少一个移动的实体遍历的位置的位置数据的集合;在位置数据的所述集合中检测由所述图像捕获设备中的至少一个图像捕获设备已经被不正确地试运行造成的不一致;以及,基于所述检测步骤,对所述传感器系统作出修改以补偿或者纠正所述至少一个图像捕获设备的所述不正确的试运行。

根据本发明的第五方面,一种传感器系统包括:被安装为在至少一个实体移动通过区域的同时捕获所述区域的图像的多个图像捕获设备;图像处理逻辑,其被配置为,对所述图像的图像数据进行处理以生成识别被所述至少一个移动的实体遍历的位置的位置数据的集合;以及,路径检测模块,其被配置为,对位置数据的所述集合应用路径检测算法以检测由所述图像捕获设备中的至少一个图像捕获设备已经被不正确地试运行造成的位置数据的所述集合中的不一致。

本发明的第六方面涉及一种用于检测传感器系统中的试运行错误的计算机程序产品,其中,所述传感器系统包括被安装为覆盖区域的多个图像捕获设备,所述计算机程序产品包括代码,所述代码被存储在计算机可读存储介质上,并且在被执行时被配置为实现以下步骤:对由所述图像捕获设备捕获的图像的图像数据进行处理,因此生成识别被至少一个移动的实体遍历的所述区域内的位置的位置数据的集合;以及在位置数据的所述集合中检测由所述图像捕获设备中的至少一个图像捕获设备已经被不正确地试运行造成的不一致。

应当指出,与以上方面中的任一个方面相关联地被描述的任一个特征可以在以上方面中的任一个其它的方面的实施例中被实现。

附图说明

为了对本发明的更好的理解,并且为了示出相同的实施例可以如何被付诸实践,参考以下附图,其中:

图1是一个照明系统的示意图;

图2是一个灯具的示意性方框图;

图3是相邻的灯具的对的透视图;

图3a是一个照明系统的部分的平面图;

图4是用于操作照明系统的中央处理单元的示意性方框图;

图4a是说明照明系统的示例性控制架构的示意性方框图;

图5说明了本地图像处理器如何与中央处理单元协作以提供人群计数功能;

图6示出了可以被用于生成采用一个或多个人员位置标识符的形式的单个的位置数据的由视觉传感器捕获的示例性图像;

图7a说明了由被正确地配置的传感器系统生成的位置数据的集合;

图7b说明了其中视觉传感器已经被不正确地取向(造成位置数据的集合中的第一种类型的内部不一致)的由传感器系统生成的位置数据的集合;

图7c说明了其中视觉传感器的位置数据已经被不正确地记录(造成位置数据的集合中的第二种类型的内部不一致)的由传感器系统生成的位置数据的集合;

图7d说明了其中传感器网格中的一整行传感器的位置数据已经被不正确地记录(造成位置数据与被传感器覆盖的区域的物理布局之间的不一致)的由传感器系统生成的位置数据的集合;

图8a说明了用于作为专用的试运行验证过程的部分基于单个用户或者机器人的运动检测由传感器系统生成的位置数据的集合中的不一致的过程;

图8b说明了用于基于感应多个人穿过被传感器覆盖的区域的运动检测在传感器系统处在操作中的同时在长的时间间隔中收集的位置数据的集合中的不一致的过程;

图9说明了被不正确地配置的传感器系统可以如何被用于实现人群计数。

具体实施方式

本发明的实施例提供了一种视觉传感器系统,这样的系统可以是具有位于每个灯具中的视觉传感器或者与灯具的组相关联的视觉传感器的被连接的照明系统。针对成本和复杂度被优化的视觉传感器仍然可以提供比通常被用在照明系统中的常规pir(被动红外线)传感器丰富得多的数据。对于隐私保护,每个视觉传感器在实时地操作时不向中央处理单元提供整个的图像,而仅提供从那些图像中提取的信息,具体地说,提供位置数据(以及可选地诸如是块像素信息这样的其它数据,例如,出现决策和/或光水平)。这还减少系统中所需的存储器和通信带宽的量。视觉传感器具有重叠的视场(fov)和感应区域,以避免传感器覆盖中的间隙。

位置数据是由位于视觉传感器的本地的图像处理器在本地生成、在中央处理器(例如,诸如是本地服务器这样的本地计算机设备或者云计算平台的)处集中地从视觉传感器被收集并且通过在中央处理器上被执行的路径检测算法和/或手动地根据数据的轨迹或者直方图中的模式被分析的。

视觉传感器系统是包括多个灯具、视觉传感器和中央处理器的被连接的照明系统。视觉传感器是经由速率受限的通信链路经由分别的本地图像处理器被连接到中央处理器的。中央处理单元可以是位于照明系统的相同的位置或者附近的位置的,或者其可以是位于云或者互联网(例如)的某个其它的服务器中的。

对速率受限的通信链路的使用因为图像数据不经由该链路被传送——仅更有限的被提取的信息(具体地说,在本地生成的位置数据)经由该链路被传送——而变得可能。

图1说明了采用被试运行的照明系统1的形式的一个示例性的被试运行的视觉传感器系统。即,其已经被试运行。

尽管照明系统1已经被试运行,但其不必受约束于随后的专用的试运行验证过程,专用的试运行验证过程有时是在系统被投入正常操作之前以检测试运行错误为具体意图被执行的。在这种情况下,可以如下面描述的第一实施例中那样应用本技术来实现试运行验证过程。

替换地,被试运行的照明系统1可以已经是处在操作中的,即,“存活的”。在这种情况下,专用的试运行验证过程可以已经或者可以还未被执行。即,并非全部被试运行的照明系统必然在它们进入正常操作之前受约束于专用的验证。在这种情况下,本技术可以如下面描述的第二实施例中那样被用于在系统处在操作中(即,执行诸如是人群计数这样的其预期的功能)的同时检测试运行错误。

照明系统1包括多个灯具4,多个灯具4被安装在环境2中、被布置为发光以照亮该环境2。示出了灯具4中的每个灯具4被连接到其的网关10。网关10实现对照明系统1内的灯具4的控制,并且有时被称为照明网桥。

在这个示例中,环境2是室内空间(诸如一个或多个房间和/或走廊(或者其部分))或者被部分地覆盖的空间(诸如体育场或者露台(或者其部分))。灯具4是顶装的,以能够照亮它们下面的地面(例如,地板)。它们在天花板的平面中沿两个相互垂直的方向被布置成网格,以构成两个大致上平行的行的灯具4,每个行是由多个灯具4构成的。像每个行内的单个的灯具4一样,这些行具有近似相等的间隔。

在环境中示出了站在灯具4的正下方的地板上的多个人8。

图2示出了代表照明系统1中的每个灯具4的单个的配置的灯具4的方框图。灯具4包括至少一个灯5(诸如基于led的灯(一个或多个led)、气体放电灯或者白炽灯泡)加上任何相关联的外壳或者支撑物。灯具4还包括:与灯具5共置在一起的采用照相机的形式的视觉传感器6;本地处理器(由一个或多个例如是cpu、gpu等这样的处理单元构成的)11;被连接到本地处理器11的网络接口7和本地存储器13(由一个或多个诸如是dma和/或ram单元这样的存储器单元构成的)。照相机6可以是能够在照亮环境时检测来自灯具4的辐射的,并且优选地是可见光照相机。然而,不排除对热照相机的使用。

视觉传感器6被连接以向本地处理器11提供由视觉传感器6捕获的原始图像数据,由在本地处理器11上被执行的本地图像处理代码12a对原始图像数据应用本地人员检测算法。本地人员检测算法可以以一些方式操作,下面详细描述了这些方式的示例。本地人员检测算法生成采用传达传感器视场中的任何可检测的实体相对于传感器自身的位置的位置的一个或多个(单个的,即,本地的)“实体位置标识符”的形式的本地出现指标。如在下面详细讨论的,实体可以是人或者机器人。这些可以例如是相对于该传感器自身的二维或者三维位置向量(x,y)、(x,y,z)。即,可以在不同的参照系中(即,相对于不同的空间原点)表述单个的位置向量。

本地处理器11被连接到灯5,以允许在本地处理器11上被执行的本地控制代码12b控制至少被灯5发射的光照的水平。诸如是色彩这样的其它的光照特性也可以是可控制的。在灯具4包括多个灯5的情况下,这些灯5可以是至少某种程度上可以被本地处理器11单个地控制的。例如,可以提供不同的着色的灯5,以使得可以通过单独地它们的单个的光照水平来控制总色彩平衡。

网络接口7可以是无线的(例如,zigbee、wi-fi、蓝牙)或者有线的(例如,以太网)网络接口,并且提供网络连接,由此,照明系统4中的灯具4能够构成照明网络并且因此连接到网关10。网络可以具有任何合适的网络拓扑(例如,网状拓扑、星型拓扑或者任何其它的允许信号在每个灯具4与网关10之间被发送和接收的合适拓扑)。网络接口7被连接到本地处理器11,以允许本地处理器11经由网络接收外部的控制信号。这些控制本地控制代码12a的操作,并且因此允许在外部控制灯5的照亮。该连接还允许本地处理器11经由网络向外部的目的地发送已经由本地图像处理代码12a将图像量化应用于其的由视觉传感器6捕获的图像。

图3示出了如上面描述的包括第一和第二光源5a、5b和第一和第二视觉传感器6a、6b的灯具中的第一和第二灯具(4a、4b)的透视图。第一和第二灯具4a、4b是相邻的灯具,即,是在网格中沿网格的方向中的一个方向或者沿网格的对角线中的一个对角线与彼此相邻的。

灯具4a、4b中的每个灯具的分别的灯5a、5b被布置为向表面29(在这个示例中是地板)发射光照,因此照亮位于灯具4下方的表面29。以及贴合环境,由灯具4提供的光照致使人8可以被视觉传感器6检测。

每个灯具4a、4b的分别的视觉传感器6a、6b具有有限的视场。视场定义在图4中通过虚线来标记的一定体积的空间,在该空间内,可视的结构是可以被该视觉传感器6a、6b检测的。每个视觉传感器6a、6b被定位为捕获位于其分别的灯具4a、4b正下方的其视场(“感应区域”)内的表面29的分别的部分(即,区域)30a、30b的图像。如在图3中可见,在存在在其内结构是可以被视觉传感器6a、6b两者检测的的空间的区的意义上,第一和第二视觉传感器4a、4b的视场重叠。因此,第一传感器6a的感应区域30a的边界30r中的一个边界30r位于第二传感器6b的传感器区域30b(“第二感应区域”)内。同样地,第二传感器6a的传感器区域32b的边界30l中的一个边界30l位于第一传感器6a的传感器区域30a(“第一感应区域”)内。示出了是第一和第二传感器区域30a、30b的交集的区域a。区域a是对第一和第二传感器6a、6b中的全部两个传感器可见的表面29的部分(“传感器重叠”)。

图3a示出了照明系统1的部分的平面图,其中,示出了各自具有分别的传感器30a,…,30h的九个灯具4a,…,4h的3x3网格,如下面描述的,九个灯具4a,…,4h是其分别的视觉传感器的传感器区域。如所示的,在沿网格的全部两个方向和与网格成对角的全部两个方向上,每个灯具的感应区域与其相邻的灯具中的每个相邻的灯具的感应区域重叠。因此,相邻的灯具的每个对(4a,4b)、(4a,4c)、(4a,4d)、(4b,4c),…具有重叠的传感器区域。视觉传感器的重叠的fov/感应区域确保不存在任何死角感应区域。

尽管在图3a中示出了九个灯具,但本技术可以被应用于具有更少的或者更多的灯具的照明系统。

图4示出了中央处理单元20的方框图。中央处理单元是用于操作照明系统1的诸如是服务器这样的计算机设备20(例如,本地服务器或者云的部分)。中央处理单元20包括:由例如一个或多个cpu构成的处理器21(中央处理器);以及网络接口23。网络接口22被连接到中央处理器21。中央处理单元21能访问由一个或多个诸如是dma和/或ram设备这样的存储器设备构成的存储器。存储器22可以是位于计算机20的外部或者内部的,或者是这两者的组合(即,在一些情况下,存储器22可以指代内部的和外部的存储器设备的组合),并且在后一种情况下,可以是本地的或者远程的(即,经由网络来访问的)。处理器20被连接到显示器25,显示器25可以例如是被集成在计算机设备20中的或者是外部的显示器。

示出了处理器21执行照明系统管理代码24(一般地说,传感器管理代码)。特别地,照明管理应用聚合算法以聚合从不同的灯具4接收的多个实体位置标识符以生成覆盖被传感器覆盖的整个区域的位置数据的(聚合的)集合。

网络接口23可以是有线的(例如,以太网、usb、火线)或者无线的(例如,wi-fi、蓝牙)网络接口,并且允许中央处理单元20连接到照明系统1的网关10。网关10充当中央处理单元20与照明网络之间的接口,并且因此允许中央处理单元20经由照明网络与灯具4中的每个灯具4通信。具体地说,这允许中央处理单元20向灯具4中的每个灯具4发送控制信号和从灯具4中的每个灯具4接收图像。网关10提供任何对于允许中央处理单元20与照明网络之间的通信必要的协议转换。

应当指出,图2和4两者是高度示意性的。具体地说,箭头指代灯具4和中央计算机20的部件之间的高层交互,并且不指代本地的或者物理的连接的任何具体的配置。

图4a示出了一种示例性的照明系统控制架构,其中,中央处理单元20经由分组基础网络42被连接到网关10,分组基础网络42在这个示例中是tcp/ip网络。中央处理单元20使用tcp/ip协议经由基于分组的网络42与网关10通信,tcp/ip协议可以例如在链路层处使用以太网协议、wi-fi协议或者这两者的组合来实现。网络42可以例如是局域网(公司或者家庭网络)、互联网或者简单地是中央处理单元20与网关10之间的直接的有线的(例如,以太网)或者无线的(例如,wi-fi)连接。照明网络44在这个示例中是zigbee网络,其中,灯具4a,4b,4c,…使用zigbee协议与网关10通信。网关10执行tcp/ip与zigbee协议之间的协议转换,以使得中央计算机20可以经由基于分组的网络42、网关10和照明网络44与灯具4a、4b、4c通信。

应当指出,这是示例性的,并且存在实现中央计算机20与灯具4之间的通信的许多种方式。例如,计算机20与网关10之间的通信可以是经由其它的协议(诸如蓝牙)或者经由某种其它的直接的连接(诸如usb、火线或者定制的连接)的。

存储器22存储设备数据库22a。数据库22a包含照明系统1中的每个视觉传感器6(或者每个灯具4)的分别的标识符(id)(其在照明系统1内唯一地识别该视觉传感器6)和该视觉传感器6的相关联的设备位置标识符;例如,二维的(x,y)或者三维的位置标识符(x,y,z)(例如,如果视觉传感器被安装在不同的高度处)。位置标识符可以传达仅相对基础的位置信息,诸如指代对应的灯具在网格中的位置的网格参照——例如,针对第n行中的第m个灯具的(m,n),或者其可以以任何期望的准确度例如用米或者英尺传达视觉传感器6(或者灯具4)自身的更准确的位置。灯具/视觉传感器的id和它们的位置因此对于中央处理单元20是已知的。

数据库22a已经在照明系统1的试运行阶段期间被填充。例如,在试运行阶段期间,可以中手动地(即,在数据库22a与图像捕获设备自身的设备标识符相关联地)为图像捕获设备分配识别图像捕获设备的位置的设备位置标识符。

例如,在传感器系统的试运行阶段期间,可以(即,在数据库22a中与图像捕获设备的设备标识符相关联地)为图像捕获设备分配识别图像捕获设备的位置的设备位置标识符。图像自身传达相对于捕获设备的位置,可以使用设备位置标识符将所述位置转换到公共的参照系。即,可以使用设备位置标识符对单个的位置向量中的至少一些位置向量应用空间的(平移的和/或旋转的)变换,以使得经变换的向量处在相同的参照系中(即,是相对于公共的原点的)。

图5说明了中央处理器20和灯具4如何在系统1内协作。首先,示出了第一、第二和第三灯具4a、4b、4c,尽管这是纯示例性的。

每个灯具的视觉传感器6a、6b、6c捕获其分别的感应区域的至少一个图像60a、60b、60c。该灯具的本地处理器11a、11b、11c对该图像应用本地人员检测算法。即,并行地在灯具4a、4b、4c中的每个灯具处单独地应用本地人员检测算法以生成分别的本地出现指标62a、62b、62c。经由网络42、42和网关10将本地出现指标62a、62b、62c中的每个本地出现指标发送给中央处理单元20。不将图像60a、60b、60c自身发送给中央处理单元20。在一些情况下,在灯具4a、4b、4c的本地使用传感器重叠元数据22b来生成本地出现指标;替换地或者另外,可以在中央计算机20处使用这样的信息,但是任一种情况都不是必要的,因为如果必要,可以从位置数据自身中检测任何重叠的fov(见下面)。

图6示出了被第一灯具4a的视觉传感器6a捕获的一个示例性图像60。

在这个示例中,单个实体61是在图像60中可检测的。在这个示例中,实体61是人,尽管其可以替换地是机器人,并且在那种情况下,关于人的全部描述内容同样地适用于机器人。

如所讨论的,视觉传感器6a捕获位于其正下方的表面29的部分的图像,因此图像60是人61的从上到下的视图,由此他们的头和肩膀的顶部是可见的。应当指出,在人61位于传感器重叠区域a中的情况下,他们将是可以在由第二灯具4b捕获的图像中类似地检测的。即,相同的人61将是同时在来自第一和第二灯具4a、4b两者的图像中在那些图像中的不同的分别的位置处可见的。

每个视觉传感器6将关于占有人的相同的视觉传感器的相对位置以及其id和时间戳例如作为采用位置向量的形式的出现指标传送给中央处理单元20。

在图6中说明了一个示例,图6示出了如何生成单个位置向量62(x,y),单个位置向量62(x,y)指代单个人61相对于捕获图像60的第一视觉传感器6a的位置,并且是与至少近似地指代该人61位于该位置(x,y)处的时间和捕获图像的传感器的传感器标识符相关联的。

中央处理单元20从多个视觉传感器收集这样的位置向量。中央单元20具有关于来自数据库22a的每个视觉传感器的位置的位置的知识,并且因此可以例如在期望的时间间隔中通过使用数据库22a中的设备位置标识符对它们应用合适的空间变换(具体地说,转换性变换(即,数学意义上的转换))将每个占有人在每个视觉传感器内的相对位置转换到公共的参照系,即,相对于公共的空间原点。从多个视觉传感器收集的经变换的位置向量构成针对该时间间隔的聚合位置数据的集合。

从经变换的位置向量中,有可能通过多个视觉传感器的感应区域确定由人61在他们移动通过被传感器覆盖的区域时遍历的路径。

在图7a-7d中说明了这样的示例。在这些图中用点来代表随着时间从本地图像处理器11收集的经变换的向量(被指代为62’),并且示出了视觉传感器的传感器区域以辅助进行说明。

图7a说明了在传感器系统1被正确地配置(即,没有任何试运行错误)时生成的位置数据的一个示例。在这种情况下,有可能随着时间在人61移动通过区域时被收集的经变换的位置向量62’传达如所预期的反映被人61遵循的实际路径的大致上连续的(即,非断裂的)路径。

相反,图7b-7d示出了可以出现在经变换的位置向量62’中的各种类型的不一致可以如何由于照明系统1中的试运行错误而出现。即,由经变换的位置向量62’指示的路径与通过区域的被人62’遍历的预期的路径(即,实际的、物理的路径)之间的不一致。

这可以是位置数据的聚合集合内的“内部的”不一致。即,位置数据的部分自身之间的不一致(诸如由经变换的位置向量62’传达的路径中的不一致)。如在图7b中说明的,这样的不一致可以例如在图像捕获设备中的一个图像捕获设备被不正确地取向的情况下出现。在这个示例中,可以看出,朝向错误传播到由第二视觉传感器6b生成的与其感应区域30b中的位置相对应的本地位置向量62中,并且因此传播到那些向量的经变换的版本中。

作为另一个示例,在被实体遍历的位置是使用数据库20a中的预存储的设备位置信息确定的的情况下,如果数据库22a中的预存储的位置信息中存在错误,则这样的不一致可以出现。即,如果数据库22a已经在试运行期间被不正确地填充。在图7c的示例中,尽管相对于(在这个示例中)第二视觉传感器6b的在本地生成的位置向量是正确的,但第二视觉传感器的位置已经在试运行期间被不正确地记录在数据库22a中;具体地说,数据库22a中的与第二视觉传感器6b相关联的位置实际上是第四视觉传感器6d的位置。如在图7c中说明的,该数据库错误在空间变换被应用于来自第二传感器30b的单个的位置向量时传播到用于第二传感器30b的经变换的位置向量62’中。

任一种类别的内部不一致可以例如通过在显示器25上作为二维平面上的点向用户显示经变换的位置向量62’以使得用户可以自己检测不一致被手动地检测,或者通过在处理器21上被执行并且被应用于所接收的本地位置向量62的合适的路径检测算法被自动地检测。

替换地,如在图7d中那样,这可以是“外部的”不一致。即,即使位置数据的集合是不具有任何明显的不连续性的在内部一致的,其也可以与区域的物理现实冲突。外部的不一致可以通过将经变换的位置向量62’与被传感器6覆盖的区域的地图70(诸如楼层平面图)进行比较来检测。例如,在位置数据传达穿过墙壁的明显的路径(如在图7d的示例中那样)或者是在现实中不可遍历的的情况下。比较可以是手动的或者自动的(在这种情况下,由路径检测算法将被电子地存储的地图数据与位置数据的集合进行比较)。

在图1中描绘了涉及各种信息单元的视觉感应系统。

图8a说明了本发明的第一实施例。

在第一实施例中,每个视觉传感器向中央处理单元20传送:每个人8的位置,以及视觉传感器id和时间戳/计数器。每个人8的位置可以例如是就视觉传感器6来说的,并且因此中央处理单元20可以将位置转换到地球参照。替换地,机器人使用可以被视觉传感器6检测的配置遵循已定义的轨迹。机器人例如可以例如遵循信标、内部加速度计或者某种室内定位自动地确定其自己的路径。替换地,机器人可以是由例如来自控制室的用户使用遥控机制远程地控制的。

试运行专员例如在专用的试运行验证过程期间执行步行测试,即,他/她在没有任何其他的人8出现在空间处时遵循预定义的轨迹走过房间。

中央处理单元22接收和收集从每个视觉传感器6被报告的全部位置62,并且将它们汇编成被传感器6覆盖的区域的xy平面上的路径(“轨迹”)。

该轨迹信息或者在显示器25上被显示给试运行专员,或者被在处理器21上被执行的路径检测算法分析,以检测所报告的与所预期的轨迹之间的任何不一致。

如所讨论的,轨迹可以指示误配置或者其它的试运行错误,例如,错误的id在数据库22a中被分配给视觉传感器、传感器在安装期间被错误地定位和/或取向。

在图8a中,示出了一个示例,在该示例中,由于视觉系统1是被正确地配置的,所以第一经汇编的轨迹63(i)遵循预期的轨迹。相反,示出了第二经汇编的轨迹63(ii),在该第二经汇编的轨迹63(ii)中,如在图7b的示例中那样,第二视觉传感器6b已经以错误的朝向被安装。

图8b说明了本发明的第二实施例。

在第二实施例中,每个视觉传感器6向中央处理单元20传送每个人8的(诸如示例性图像60中的人62)位置以及视觉传感器id和时间戳(诸如计数器或者其它的时间戳)。每个人8的位置可以例如是就该视觉传感器6来说的,并且因此,中央处理单元将位置转换到地球参照。额外地,视觉传感器6(即,被连接到该传感器6的本地图像处理器11)可以例如作为在两个或多个图像中被确定的速度值或者速率向量报告每个被检测的人8的运动的大小。

中央处理单元20在长的持续时间的时间(例如,一天或者多天)内从全部视觉传感器6收集位置信息62。中央处理单元20构建与处于特定的门限以上的运动(即,具有速度(标量)或者速率(向量))相对应的位置的分布。

这些值可以例如以如在图8b中被说明的“热度图”的形式被显示在显示器25上,其中,在图8b中示出了第一和第二热度图72(i)、72(ii)。

为了生成热度图72(i)、72(ii),把被传感器覆盖的区域细分成例如子区域的网格。子区域可以例如是非常小的(例如,与单个的像素或者少量的视觉传感器像素相对应的),以使得每个子区域实际上是区域内的点。每个子区域是与针对该区域被生成的值相关联的,所述值被存储在存储器22中。它们在本文中因为各自传达子区域已经在其处被遍历的相对频率而被称为频率值。然而,频率值不需要是频率,因此——例如,每个频率值可以是对已经遍历该子区域的人的计数。

然后,如图8b中所示的那样,在所显示的热度图72(i)/72(ii)中使用不同的色彩(例如,不同的色度和/或照度)和/或亮度和/或阴影代表不同的频率值。在图8b中,较暗的强度指代比较亮的亮度更频繁地被遍历的位置。根据热度图,对于管理员来说,有可能直观地推断通过区域的最频繁地被遍历的路径,并且此外,对于他们来说,有可能检测和不一致。

管理员或者在处理器21上被执行的路径检测算法对热度图中的位置的相对频率进行分析以检测位置的热度图与预期的有效位置之间的不一致。位置的无效的轨迹可以指示配置中的错误。作为由于配置中的错误造成的无效的轨迹的一个示例:穿过墙壁的轨迹(如在图7d中那样)、相邻的视觉传感器之间的轨迹中的不连续性(如在图7b和7c中那样)。在图8b中,第一热度图72(i)与视觉系统的正确地配置相对应,而第二热度图72(ii)反映第二视觉传感器72(ii)的朝向错误。即,第二热度图72(ii)反映在其中视觉传感器已经以错误的朝向被安装的情况。

热度图是合适的视觉表示的仅一个示例。例如,另一种类型的视觉表示是显示仅那些已经以门限以上的相对频率(例如,在时间间隔的多于50%中)被遍历的位置。

可以从视觉传感器6报告运动的大小,或者中央处理单元20可以基于每个人8的连续的所报告的位置计算运动的大小。

在以上实施例中的任一个实施例中,路径检测算法可以例如计算可以被用于检测轨迹的空间和/或热连续性中的不一致的区域之间的转变的概率,以自动地检测聚合位置数据62’中的内部的不一致。

应当指出,在上述的实施例中,图像60自身不被传送给中央处理单元20或者在上述的过程中被中央处理单元20使用——仅通过本地处理器11对图像进行处理从图像中提取的位置数据62被传送给中央处理单元20。这使用较少的带宽,并且在其中过程在传感器系统处在使用中时被执行的第二实施例中,保护空间中的人的隐私性。即,不一致不是直接地从图像60中而仅是从提取自那些图像的位置数据62中被检测的。

如上面指示的,如果必要,传感器重叠a可以从位置向量自身中被识别:对于传感器重叠区域中的任何人,本地位置向量中的两个或多个本地位置向量将与相对于公共的原点的相同的位置和相同的时间相对应(位于分别的半径和时间门限内)。这可以被在中央处理单元20上被执行的代码检测,以使得在检测被人/人群/机器人遍历的路径时与相同的物理位置相对应的来自不同的传感器6的多个位置向量仅被考虑在内一次。替换地,重叠可以在位置被显示在显示器25上由用户手动地检测。

一旦试运行错误已经被检测,则可以以多种方式对它们进行纠正或者补偿。例如,可以在物理上调整被不正确地取向的传感器,或者替换地,可以通过重新配置视觉传感器系统1的软件例如以使得在于本地处理器11或者中央处理器21上被执行时软件被配置为对由该传感器(在相关本地处理器11处)捕获的图像或者对从那些图像中提取的位置向量应用旋转的变换以将不正确的物理朝向考虑在内(在相关本地处理器处或者在中央处理器21处)来对其进行补偿。在错误是数据库22a中的错误的情况下,可以通过纠正数据库22a中的信息来对其进行纠正。作为另一个示例,除了在数据库22a中记录传感器6的位置之外,额外地,它们的朝向可以被记录,并且被用于在这种情况下通过对图像和/或所提取的信息应用平移的变换和(在必要的情况下)旋转的变换两者生成经变换的位置向量62’。如将显而易见的,在这种情况下,在数据库22a中对朝向的不正确的记录将导致产生图7b中所示的类型的不一致。一旦被检测,则这可以例如通过纠正数据库22a中的朝向数据来纠正。

在一些应用中,需要对具体的区域中的人群的计数。人群计数信息可以被用于启用诸如是空间优化、规划和维护、hvac(加热、通风和空调)控制和数据分析驱动营销这样的应用。例如,在营销分析中,需要人群计数作为用于分析的输入数据中的一项输入数据。对于空间优化,需要(伪)实时的对人群的计数来识别热和空间使用模式。配置错误可以导致产生不正确的人群计数,不正确的人群计数接着中断依赖于准确的人群计数的过程。

一旦试运行错误已经根据上面的技术被检测和矫正,则系统1可以被用于在系统处在使用中的同时使用由本地图像处理器11生成的位置标识符62提供准确的人群计数66(见图9)。

尽管已经参考作为图像捕获设备的传感器设备描述了以上内容,但传感器设备可以采用其它的形式(诸如是例如分别生成采用雷达数据、声纳数据和超声波数据的形式的传感器数据的雷达、声纳或者超声波设备;或者任何其它的可以检测和提供位置信息的传感器,即,其可以生成可以被处理以检测和定位实体(机器人、人群、其它的物体等)的传感器数据)。关于“图像捕获设备”或者“图像数据”的全部描述内容分别同样地适用于这样的其它类型的传感器设备和传感器数据。例如,传感器系统可以包括多个多模态传感器设备。即,这些(或者其它的)类型的传感器中的两项或者多项的组合。

尽管已经参考具有被布置成网格的顶装式灯具的室内照明系统描述了以上内容,但如将显而易见的,这些技术可以概括地说被应用于视觉传感器被部署在其中的任何照明系统(室内的、室外的或者这两者的组合)。例如,在室外空间(诸如公园或者花园)中。尽管由于所讨论的原因而将传感器与灯具共置在一起可以是方便的,但这决不是必要的,也不存在任何对具有相同数量的灯具和传感器的需求。此外,这些技术根本不需要在照明系统中被应用。

此外,为了避免怀疑,应当指出,上面描述的架构是示例性的。例如,本公开内容的技术可以以更分布式的方式被实现,例如,在没有网关10或者中央处理单元20的情况下。在这种情况下,如上面描述的中央处理单元20的功能可以由被附着到视觉传感器6中的一个视觉传感器6(概括地说,其可以或者可以不是与灯具4共置在一起的)的本地处理器13实现,或者被分布在多个本地处理器13中。

通过对附图、本公开内容和所附权利要求的学习,所公开的实施例的其它变型可以被本领域的技术人员在实践所要求保护的发明时理解和实现。在权利要求中,术语“包括”不排除其它的元素或者步骤,并且不定冠词“一个(a)”或者“一个(an)”不排除多个。单个处理器或者其它的单元可以完成在权利要求中被详述的若干项目的功能。事实上,在相互不同的从属权利要求中详述特定的措施不指示不可以使用这些措施的组合以获得优势。计算机程序可以被存储/分布在合适的介质(诸如随其它的硬件一起或者作为其它的硬件的部分被提供的光学存储介质或者固态介质)上,但也可以以其它的形式被分布(诸如经由互联网或者其它的有线的或者无线的电信系统)。权利要求中的任何标号不应当被解释为对范围进行限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1