用于多个3D传感器校准的方法和系统与流程

背景技术：

本公开总体涉及使多个3d传感器彼此校准，并且更具体地说，涉及用于乘客运输的多个3d传感器安装。

对于单独3d深度传感器的世界坐标系，即，不同于固有传感器定向的坐标系的任何坐标系(其中例如已经根据制造商的数据知道了其内部参数)的校准采用不同的、已知的(x,y,z)世界坐标处的至少4个位置。这4个位置可能是恰好在视场(fov)中‘找到’的物体。然而，对于专业安装，便携式校准夹具可仔细地安置在所测量的世界坐标处，并且这个夹具的校准数据由3d深度传感器获取。利用世界坐标(xi,yi,zi)的数据以及对应的3d深度传感器观察的坐标(ui,vi,di)，i＝1,..4，可对变换矩阵进行求解以实现校准。为了更稳健的解决方案，可使用最小二乘法来测量多于4个点。

实现跟踪潜在运输乘客的一种方式是具有一个深度传感器，所述深度传感器具有从例如信息亭到运输工具(例如电梯轿厢)的不间断的、不被遮挡的视野。由于对物理空间的约束以及对传感器的fov的限制，这几乎是不可能的。另一种途径是具有没有重叠fov的几个传感器，并且通过在不同的fov中重新关联检测到的潜在乘客来尝试跟踪。这可能难以准确地完成。此外，由于乘客的速度可能随时间而改变，所以在没有连续跟踪的情况下可能无法进行准确的到达时间估计。最后，可通过具有来自具有重叠fov的多个传感器的连续空间覆盖来实现跟踪。所述后一种途径可能需要传感器对其相互的fov具有共同理解，这可能需要潜在的费力且易错的手动校准。

单独传感器的校准需要确定5个内部传感器参数和6个外部传感器参数中的一个或多个。众所周知，5个内部参数是fx和fy(焦距)、x0和y0(主点偏移量)以及s(轴偏斜量)。这可被认为是2d平移量、2d剪切量以及2d缩放量。内部参数例如根据制造商的数据通常是已知的，或者可在安装传感器之前通过已知技术确定。6个外部参数是从世界坐标系的原点的x、y、z偏移量，以及相对于坐标轴的俯仰、偏航和横滚角。

在任何多个传感器校准中，一些参数可以是已知的，并且仅需要估计总数的子集。为了估计k个参数，必须进行至少k个独立测量，以便针对明确定义的解决方案具有足够的数据。具体地说，如果具有已知内部参数的两个3d传感器被独立地校准至它们的相应世界坐标系，那么在最一般的情况下需要6个参数(3个平移量，3个旋转量)来将传感器校准至公共坐标系。

校准具有重叠fov的多个3d传感器的一个问题是，两个传感器之间的任何观察结果可能由于以下各项而改变：所述3d传感器的当前单独校准的不准确性，传感器之间的时间同步的差异，以及物体感测的差异(尤其是当物体具有3d尺寸时，使得不同的传感器观察到不同的方面)。

一种途径是将一个或多个小的、但仍然可检测的物体手动放置在相互的fov中，并且根据已知何种先验的相互校准信息(如果有的话)，在物体保持静止时测量位置。利用足够数量的唯一测量值，可对数学方程式进行求解以确定相互校准。然而，这种方法可能是耗时的，并且手动测量可能引入误差。

技术实现要素：

根据本公开的一个公开的非限制性实施方案，一种用于多个3d传感器校准的方法可包括：通过移动物体数学模型、根据形成公共视场的一对3d传感器中的每一个的空间测量值来计算质心位置；根据每个质心位置的位置来计算平移参数和旋转参数中的至少一个；以及根据平移参数和旋转参数中的至少一个来将所述一对3d传感器中的一个校正至公共世界坐标系。

本公开的另一个实施方案可包括：其中将一对多个3d传感器中的每一个单独校准至世界坐标导致它们之间的零相对旋转。

本公开的另一个实施方案可包括使多个3d传感器中的每一个在时间上同步。

本公开的另一个实施方案可包括使多个3d传感器中的每一个在时间上同步至1帧时间内。

本公开的另一个实施方案可包括：根据两个质心(x1,y1)和(x2,y2)的(x,y)位置，通过减法计算至少一个平移参数。

本公开的另一个实施方案可包括：根据两个质心(x1,y1)和(x2,y2)的(x,y)位置，计算至少一个旋转参数。

本公开的另一个实施方案可包括：根据至少两个质心(x1,y1)和(x2,y2)的(x,y)位置，通过最小二乘(ls)解法计算平移参数(dx,dy)。

本公开的另一个实施方案可包括：其中所述一对3d传感器中的一个被选择作为相对于公共世界坐标系的调节标准(governing)。

本公开的另一个实施方案可包括将多个3d传感器中的每一个单独校准至世界坐标。

本公开的另一个实施方案可包括：其中响应于三个平移参数是未知的，对公共点执行三个测量。

本公开的另一个实施方案可包括通过找到每个传感器的单独地平面来计算平移量(dz)以及计算差值。

本公开的另一个实施方案可包括使用随机抽样一致性(ransac)算法找到一组一致的点以便找到单独地平面中的每一个。

本公开的另一个实施方案可包括：其中响应于三个旋转参数和三个平移参数是未知的，对公共点执行六个测量。

本公开的另一个实施方案可包括：当三个旋转参数和三个平移参数未知时，使用移动物体的顶部和底部以及移动物体的顶部与底部之间的间距。

本公开的另一个实施方案可包括：其中采用物体数学模型来估计公共质心位置。

本公开的另一个实施方案可包括：其中物体数学模型是椭圆形截面数学模型。

本公开的另一个实施方案可包括：其中物体数学模型是椭圆形截面人体数学模型。

本公开的另一个实施方案可包括：其中物体数学模型是全3d人体形状数学模型。

根据本公开的一个公开的非限制性实施方案，一种用于乘客运输系统的传感器校准系统可包括：多个传感器，其具有至少一个重叠的视场；处理模块，其与所述多个传感器通信，所述处理模块包括移动物体数学模型，所述移动物体数学模型可操作来估计公共质心位置以便根据每个质心位置的位置来计算平移参数，从而有助于根据平移参数将所述一对3d传感器中的至少一个校正至公共世界坐标系。

本公开的另一个实施方案可包括：其中物体数学模型是椭圆形横截面的数学模型。

本公开的另一个实施方案可包括：其中物体数学模型是全3d的人形状数学模型。

前述特征和元件可组合成各种组合而不具排他性，除非另外明确地指示。这些特征和元件以及其操作将根据以下描述和附图变得更显而易见。然而，应理解，以下描述和附图在本质上意图为示例性的而非限制性的。

附图说明

各种特征将从以下所公开的非限制性实施方案的详细描述中对本领域技术人员变得显而易见。随附于详细描述的附图可简要描述如下：

图1是根据一个公开的非限制性实施方案的电梯系统的示意图；

图2是根据另一个公开的非限制性实施方案的电梯系统的框图；

图3是多个传感器的fov的示意图；

图4-5是来自两个深度传感器的1个人的3d点云；并且

图6是根据一个公开的非限制性实施方案的3d传感器校准方法的框图。

具体实施方式

图1示意性地示出诸如电梯系统的乘客运输系统20。系统20可包括电梯轿厢22、电梯门24、门厅呼梯26、轿厢操作面板(cop)28、传感器系统30以及控制系统32。应理解，尽管本文将电梯系统作为实例公开和示出，但是诸如大型运输车辆的其他系统也将从本文中受益。任何多个3d传感器情况的校准将从本文中受益，不仅仅是乘客运输工具，例如单层会展中心，其中到处都是用于跟踪在建筑物周围移动的人的3d传感器。事实上，多个传感器的一个益处是在遍布建筑物的环境中，而不是在单个传感器可能已足够的电梯周围的局部区域中。应进一步理解，尽管特定的系统被单独定义，但是每个系统或任何系统可包括通过硬件和/或软件以其他方式组合或分离。

各种电梯系统可利用乘客启动输入来标志对电梯服务的需求。例如，来自门厅呼梯26的输入可包括按下例如向上、向下的按钮或期望的目的地(例如楼层号)以请求电梯服务。乘客启动输入(例如，通过呼叫按钮)可通知控制系统32存在等待电梯服务的乘客。作为响应，控制系统32可将电梯轿厢22调度到适当的楼层。任选地，一旦在电梯轿厢22内，乘客就可以按下轿厢操作面板(cop)28上指定期望的目的地、方向等的按钮，然后控制系统32可将电梯轿厢22调度到那个目的地。

控制系统32可包括具有处理器42、存储器44和接口46的控制模块40。控制模块40可包括中央控制的一部分、独立单元或其他系统(诸如基于云的系统)。处理器42可包括任何类型的微处理器或具有期望的性能特性的其他处理器。存储器44可包括存储本文所公开的数据和控制过程的任何类型的计算机可读介质。也就是说，存储器44是示例性计算机存储介质，其可具有体现在其上的计算机可用指令(诸如过程)，所述指令在执行时，可执行期望的方法。控制模块40的接口46可有助于控制模块40与其他系统之间的通信。

参考图2，基于深度传感器的乘客感测系统60可包括具有重叠视场的多个传感器62、62’，它们与数据捕获模块64和处理模块66通信。基于深度传感器的乘客感测系统60可以是控制系统32的一部分、独立单元或与控制系统32通信的其他系统(诸如基于云的系统)。

数据捕获模块64和处理模块66可特定于多个传感器62、62’或嵌入其中，以获得并处理来自所述多个传感器62、62’的数据。在一个实例中，通过数据捕获模块64和处理模块66，多个传感器62、62’可操作来获得门厅h的深度图数据。来自多个传感器62、62’的深度图数据可涵盖门厅h之外的区域，例如，连接的走廊、通路、运输工具或建筑物的其他公共访问区域。根据深度图数据，处理66可确定在深度数据中潜在乘客的存在、潜在乘客将变成实际乘客的概率、在传感器62、62’的共同fov中的任何位置处潜在乘客的估计到达时间(eta)、门厅h中的潜在乘客的数量等。根据一个公开的非限制实施方案，多个传感器62、62’可安装在门厅h中(图3)。这个公开的非限制性实施方案中的多个传感器62、62’中的每一个是3d深度感测传感器。应理解，贯穿本公开使用的术语“传感器”是指在1d、2d、3d或其组合中产生一个或多个深度图的传感器。这种传感器可在能够产生对应维度的深度图(也被称为点云或占用网格)的电磁波谱或声谱中进行操作。各种深度感测传感器技术和设备包括但不限于：结构光测量、相移测量、飞行时间测量、立体三角测量设备、光片三角测量设备、光场相机、编码孔径相机、计算成像技术、同时定位与绘图(slam)、成像雷达、成像声纳、激光雷达、扫描lidar、闪光lidar、无源红外(pir)传感器以及小的焦平面阵列(fpa)，或包括上述中的至少一个的组合。不同技术可包括主动型(发射和接收信号)或被动型(仅接收信号)，并且可在诸如可见、红外等的电磁波谱或声谱的频带中进行操作。深度感测的使用可具有胜过常规2d成像的特殊优点。红外感测的使用可具有胜过可见光谱成像的特殊益处，以使得可替代地或另外，传感器可以是具有一个或多个像素的空间分辨率的红外传感器，例如，无源红外(pir)传感器或ir焦平面阵列(fpa)。

在2d成像中，捕获来自第一物体的在从成像器的每个径向方向上的反射颜色(波长的混合物)。那么，2d图像是场景中的源照明和物体的光谱反射率的结合频谱。2d图像可被人们解释为图片。在1d、2d或3d深度感测传感器中，不存在颜色(光谱)信息；相反地，捕获在一个(1d)或多个(2d)径向方向上从传感器到第一反射物体的距离(深度、范围)。1d、2d和3d深度感测技术可具有固有的最大可检测范围极限，并且可以是比典型的2d成像器相对更低的空间分辨率。相较于常规的2d成像，1d、2d或3d深度感测的使用在其对环境照明问题的相对抗扰性方面可有利地提供改善的操作、更好的遮挡物体分离以及更好的隐私保护。例如，2d图像不可转换为深度图，并且深度图也不可转换为2d图像。尽管人为地将连续颜色或灰度指定为连续深度可允许人们在某种程度上将深度图粗略地解释为类似于人们看到的2d图像的情形，但它不是常规意义上的图像。不能将深度图转换为图像可能似乎是一种缺陷，但是在本文公开的某些分析学应用中这可以是有利的。

在一个实例中，多个传感器62、62’可以是护眼性行扫描lidar，其中视场(fov)可以例如是约180度，所述视场可水平地覆盖门厅的整个区域或相邻于电梯门24(图2)的其他区域。lidar的输出可以例如是在安装有多个传感器62、62’的高度处对周围环境的2d水平扫描。对于有源传感器，扫描中的每个数据点表示fov中的物理物点的反射，可以获得从所述数据点到那个物点的范围和水平角。lidar的扫描速率可以例如是50ms扫描一次，这有助于可靠地跟踪乘客。也就是说，在通过处理模块66应用分析过程之前，lidar扫描数据可被转换为占用网格表示。每个网格表示小区，例如5cmx5cm。网格的状态可用数字方式指示，例如1或0，以便指示每个网格方块是否被占用。因此，每次数据扫描可以被转换为二进制图，并且然后使用这些图来认识门厅的背景数学模型，例如通过使用针对深度数据设计或修改的过程，诸如高斯混合数学模型(gmm)过程、主成分分析(pca)过程、码本过程或包括上述中的至少一个的组合。在另一个实例中，多个传感器62、62’可以是2d护眼性飞行时间深度传感器或结构光传感器，其输出对周围环境的3d容积扫描。

处理模块66可利用能够使系统更准确的(本文中其他地方公开的)各种3d检测和跟踪过程，诸如背景减除、伪数据滤波和卡尔曼滤波。具体地说，伪数据可以是深度感测固有的并且可以随着所采用的具体技术而改变。对于主动型技术(例如，结构光、飞行时间、lidar等)，其中发射特定信号并且随后检测特定信号以便确定深度，高度反射表面可产生伪深度数据，例如不是反射表面本身的深度，而是漫反射表面在以下深度处的深度：所述深度是反射表面的深度加上从反射表面到某个漫反射表面的深度。高度漫反射表面不能反射足够量的发射信号以确定深度，这可导致深度图中的伪间隙。更进一步地，环境光中的变化、其他有源深度传感器造成的干扰或信号处理中的不准确性可导致伪数据。

参考图3，多个传感器62(示出五个，它们安装到由虚线指示的壁)包括多个公共fov100。可利用公共fov100(示出四个，在每个传感器正前方的小重叠小得可忽略不计)通过联合估计技术来自动地确定相互校准参数。

用于计算用于校准的变换矩阵的具体数学方法随着需要估计的参数而改变。每种方法的共同之处是：(i)例如由安装者手动启动校准模式，或自动检测对校准的需求；(ii)通过利用多个传感器同时测量移动物体(例如，在公共fov100中行走的人)来自动收集足够的信息；(iii)通过使用移动物体(例如，具有椭圆截面以使得半椭圆对每个传感器可见的人)的数学模型e1、e2(图4和图5)来自动计算未知的校准参数；以及(iv)自动退出校准模式。

参考图6，在用于多个3d传感器校准的方法100的一个实施方案中，安装多个传感器62、62’，并通过已知技术初始地将它们单独准确地校准至单独的世界坐标系，其中多个传感器62、62’之间的相对俯仰、偏航和横滚是零(步骤102)。接下来，使单独传感器62、62’在时间上同步至1个深度图抽样时间(有时也被称为“帧时间”或只是“帧”)内，所述1个深度图抽样时间优选地小于或等于一秒的1/25，由此深度图抽样时间足够小，以致使移动物体在抽样时间期间是大致静止的(步骤104)。如果传感器62、62’具有互联网接入，这可以通过使用nettime同步客户端等来实现。在先验同步不可能的情况下，传感器之间的时间差可以例如计算为当物体的单独视图的质心在世界坐标中最靠近在一起时的时间。然后，这个时间差可用作时间偏移量以便同步多个传感器62、62’。用于计算时间差的其他方法是可能的，诸如包括优化构想中的时间差等。

单独传感器62、62’可相对于同一楼层安装在相同的高度处(步骤106)。那么，任何一对传感器62、62’之间仅存在有待根据测量数据进行估计的两个偏移参数(dx,dy)。在给定移动穿过每对传感器62、62’的公共fov的物体的情况下，由于它们的不同安装位置，每个传感器62、62’可以看到处于不同姿势的物体(图4和5)。

在传感器62、62’深度数据中的一个中的物体的检测和跟踪可以通过以下过程实现：确定背景、减除背景以用于前景物体检测、形态学操作、几何滤波以及贝叶斯滤波器跟踪。

可以计算深度背景，其可用来通过码本模型、高斯混合模型、非高斯混合模型、pca等将前景物体(例如乘客、行李等)与背景(例如墙壁和地板)分割开。应理解，可替代地，深度数据可以被称为深度图、点云或占用网格。深度数据可以是相对“有噪声的”。具体地说，深度不确定性(噪声)可以是范围的分析函数，并且因此深度数据误差(噪声)可以是不连续的(或大致不连续的)，并且深度分布可以是非高斯的。可从当前深度数据中减除背景模型以确定前景检测。

在背景减除和前景检测之后，可以使用形态学操作来去除隔离的小前景区(例如，所述小前景区也可以是“噪声”)并且分割被称为斑点的移动物体以用于进一步分析。然而，2d连接成分的3d扩展可能是不合适的，因为3d数据在占用网格中仍然具有自遮挡，例如“阴影”。用于这种滤波的方法可包括2d连接成分过程的扩展，以便在占用网格中包括“未知”类别以用于3d形态学滤波。然后，可根据范围的变化执行尺寸滤波，所述尺寸滤波可去除在预定尺寸以下的物体。然后，可基于深度不连续性在3d中分割所述物体。可能的是，一些物体在深度不连续性分割之后将变得相对较小，例如，几乎完全被另一个人遮挡的某个人将呈现为小斑点。这种方法可用来跟踪此类小物体，因此可以对它们进行分类而不是将它们过滤掉。如果所选择的特性，诸如高度、宽度、纵横比、体积、加速度、速度和/或其他时空特性超出检测阈值(例如，动态地计算的阈值、静态阈值等)，可以使用形态学滤波来去除斑点。

可应用几何滤波以进一步去除超出场景边界的伪斑点。深度背景限定环境的3d场景边界。表示实物的斑点应在3d边界之内。也就是说，如果斑点的深度大于深度背景的对应位置的深度，那么斑点超出3d边界并且可以去除，例如，从诸如镜子的反射表面检测到的斑点。

乘客跟踪可基于使用贝叶斯滤波器法，诸如卡尔曼滤波器或粒子滤波器的滤波的检测前景。基于检测和跟踪，可以获得潜在乘客数据，诸如门厅中乘客的存在、潜在乘客的计数、针对每个潜在乘客的估计到达时间(eta)以及等待乘客的数量。这些数据可以公制单位计，因为单独传感器62、62’是以公制单位校准至世界坐标。在此上下文中，公制单位不限于国际单位制(si)(也被称为公制)中的那些单位，而是指示易于转换为公制单位的任何测量单位。

现在参考图4和图5，从两个深度传感器的角度示出检测到的人的两种不同姿势(图4和5)(分别表示为点云)。在图4中，人稍微转向其左侧，并且在图5中，人转向其右侧。由于人的姿势、传感器的安装位置以及深度感测的物理性质，相应的点云在空间上是基本上分开的。因此，两个传感器对于共同感测的空间物体都不具有公共空间位置。

再次参考图6，物体的深度数据的质心位置可基于来自每个传感器62、62’的每个帧的深度数据来计算(步骤108)。为了实现必要的独立测量，当物体移动时，在不同时间获取不同帧的深度数据。深度数据是独立的，可以通过所计算的第一物体位置与所计算的第二物体位置的比较进行验证。如果移动物体具有显著体积以使得多个深度传感器62、62’接收来自物体不同侧的返回，那么可采用物体数学模型来估计单个公共物体位置，诸如质心位置。因此，由于人通常具有显著体积，优选地物体的深度数据被拟合至移动物体数学模型，例如，3d人体数学模型，这有助于确定人的公共(x,y)位置。3d人体数学模型可以是圆形截面的圆柱体(圆柱体的非圆形维度与人的身高对准)、椭圆形截面的圆柱体(圆柱体的非椭圆形维度与人的身高对准)、3d椭圆形或更复杂的人体形状模型。可替代地，可利用半3d椭圆形到每个传感器的深度数据的拟合。

根据至少两个质心(x1,y1)和(x2,y2)的(x,y)位置，当人移动时，平移参数(dx,dy)可通过简单的减除而计算出110。根据多于两个测量值，可计算更准确的最小二乘法(ls)解。在没有一般性损失的情况下，一个世界坐标系可被选择作为控制标准，并且另一个世界坐标系可根据(dx,dy)来校正以便校准至公共世界坐标系(步骤112)。

在替代实施方案中，其中传感器并未安装在相对于公共楼层的相同高度处，但是相对俯仰、偏航和横滚仍然为零，所有三个平移参数(dx,dy,dz)都是未知的，并且需要属于公共质心的三个独立测量值。由于可能出现的模糊或物体仅部分在fov中，物体的顶部或底部可用作目标。可替代地，可使用双参数方法，并且甚至无需移动物体，可通过找到每个传感器的单独地平面并计算差值来计算平移量(dz)。为了找到地平面，可通过找到n个一致的点并对等式(1)进行求解来找到深度(3d)数据中的平面(2d表面z＝mx+py+b，其中m、p和b是参数)。

由于数据中可能存在许多平面(墙壁、地板等)，可替代地或另外，可以使用随机抽样一致性(ransac)算法来找到一组一致的点。另外的逻辑可用来区别哪个平面是地板。此类另外的逻辑可由确定哪个平面具有最大范围、哪个平面与移动物体的最低末端接触等组成。

在又一个替代实施方案中，除了不知道平移参数(dx,dy,dz)之外，多个传感器62、62’不可以在零相对俯仰、偏航和横滚的情况下安装。在这种情况下，所有六个偏移参数和旋转参数都是未知的，并且需要至少六个独立测量。为了实现对一个移动物体(例如人)的测量独立性，利用来自多个帧的深度数据的顶部和底部以及间距(恒定高度)。

为了计算所有六个未知参数，数学方程式可制定为ts1＝s2，其中s1是一个传感器坐标系中的物体上的点并且s2是另一个传感器坐标系中的对应点，其中所述对应是所述点为传感器的公共fov中的一个物体的质心。在齐次坐标中，t是期望的变换矩阵，其包括坐标系之间的旋转量和平移量。

方法100提供具有最小或无需安装者努力的多个3d传感器校准。也就是说，安装者既不需要特殊的校准目标，也不需要在传感器和世界坐标系两者中进行测量。

本文公开和描绘的元件，包括贯穿附图的流程图和框图，暗示元件之间的逻辑边界。然而，根据软件或硬件工程实践，所描绘的元件和其功能可通过具有能够执行存储在其上的程序指令的处理器的计算机可执行介质在机器上被实现为整体软件结构，为独立软件模块或为采用外部例程、代码、服务以及等等的模块或者这些的任何组合，并且所有此类实现可以在本公开的范围内。

应了解，诸如“向前(forward)”、“向后(aft)”、“上部(upper)”、“下部(lower)”、“高于(above)”、“低于(below)”、“底部(bottom)”、“顶部(top)”以及此类的相对位置术语参考正常的操作姿势并另外不应该被认为是限制性的。

应理解，贯穿若干附图，相同参考数字识别对应或相似元件。还应理解，尽管在所示出的实施方案中公开了特定的部件布置，但其他布置将从此受益。

尽管不同的非限制性实施方案具有具体示出的部件，但本发明的实施方案不局限于那些特定组合。使用来自非限制性实施方案中的任一个的部件或特征结构中的一些与来自其他非限制性实施方案中的任一个的特征结构和部件组合是可能的。

尽管示出、公开和要求保护特定的步骤顺序，但应理解，除非另外指示，否则步骤可以任何次序、单独或组合执行，并且将仍然从本公开受益。

前述描述是示例性的而不是由其中的限制所限定。本文中公开了各种非限制性实施方案，然而，本领域普通技术人员将意识到，根据以上教义的各种修改和变化将落入随附权利要求书的范围内。因此，应理解在随附权利要求书的范围内，本公开可以按不同于本文具体公开的方式来实践。因此，应研习随附权利要求书来确定真实范围和内容。