专利名称：用于校准图象传感器的装置及方法
现有技术本发明涉及用于确定图像传感器的校准参数的装置及方法。
机动车制造者计划使用传感机构、尤其是图像传感器来监测机动车内空间。所考虑的是在气囊智能控制上使用图像传感器。在气囊智能控制的范围中将致力于机动车中座位占用情况的分类，以便例如防止在后座安装儿童座椅的情况下由气囊的释放引起儿童受伤。另一方面，计划通过所谓“离位时的检测”来监测乘客身体部分的位置，如头或躯干和/或乘客相对气囊的坐姿，以防止尤其在气囊组件释放时由于头部在气囊组件上的过紧密的定位而使其受伤。
例如WO 01/60662 A1公开了一种用于借助视频传感器及脚部空间传感机构识别座位占用的方法及装置。其中提出，一个坐在座位上的人的头部高度由视频传感机构来检测，与脚部空间传感机构一起来进行座位占用情况的分类及根据座位占用情况来控制气囊。但在该WO 01/60662 A1中未指出用于确定视频传感机构的图像传感器的校准参数的装置及方法。
本发明的优点以下所述的用于确定至少一个图像传感器的至少一个校准参数的装置-其中在识别出该至少一个图像传感器的偏离校准时，至少一个处理单元将根据图像信号来确定至少一个校准参数，这些图像信号由该至少一个图像传感器至少从至少一个不变的图案中导出-具有其优点，由偏离校准可识别出至少一个图像传感器的功能误差并且对其附加地自动校正。变换地或附加地，有利的是，将识别的偏离校准传送给至少一个后置系统和/或机动车驾驶员(操作人员)。该校准的自动检测以有利的方式对图像传感器的功能可靠性作出贡献及由此尤其允许图像传感器使用在机动车内空间中与安全休戚相关的应用中。
此外，以有利方式通过至少一个校准参数的自动确定减小了在机动车中至少一个图像传感器的安装成本。由此取消了在机动车制造和/或在修理时执行专门校准方法的必要性。此外该装置还有助于允许窄的制造公差加大，在无以下将描述的用于保持校准参数的装置时该窄的制造公差必需被规定。由此产生了在机动车制造和/或修理时特别有利的成本下降。总地来说，以下将描述的装置以有利的方式适用于图像传感器在机动车中与安全休戚相关的应用上批量地使用，尤其是应用在气囊的智能控制上，因为图像传感器的功能误差尤其可用偏离校准的形式被识别。
尤其有利的是，该至少一个不变的图案通过至少一个为了确定至少一个校准参数而设置在场景中的参考目标来构成。有利地，利用信号化参考目标来校准至少一个图像传感器，特别有利的是，信号化的参考目标是在机动车内空间中。信号化参考目标具有其优点，即它可由传感机构简单地检测及通过信号化由信号处理装置在测量数据中可靠地识别出来。
有利地的是，参考目标的信号化(发出信号)是通过特别的亮度来达到的，即或有源地通过发光装置如LED二极管和/或红外线发光二极管和/或无源地通过高反射率(反射能力，反射系数)的表面来达到的。因此特别有利地设有这样的参考目标，这些参考目标被构造成发光装置，尤其是构造成发光二极管(LED二极管)和/或具有高反射率。这样构成的参考目标有助于通过处理单元简单获得所述至少一个不变的图案的可能性。
此外有利的是，至少一个参考目标的信号化通过一个特殊的形状来实现。尤其有利的是具有几何形状的参考目标，该几何形状例如是一个点和/或一个圆和/或一个三角形和/或一个四边形和/或一个正方形。变换地或附加地，字母和/或编码顺序和/或标记作为参考目标也是有利的。这有助于简单识别图像信号中至少一个不变的图案的可能性。
有利的还在于，对至少一个两维(2D)和/或至少一个三维(3D)的不变的图案设置多个参考目标，其中所述图案具有一个几何形状，例如一个十字和/或一个圆和/或一个编码顺序。特别有利的是，以下将描述的装置的该方案与信号化参考目标、尤其是与通过发光装置如发光二极管发出信号的参考目标相联系。这有助于，该至少一个不变的图案通过处理单元简单地再识别及需要时可使不同的不变的图案相互被区分。
特别有利的是，在场景的、在该至少一个图像传感器的监测功能方面重要的至少一个目标上设置该至少一个参考目标。尤其是，当在至少一个对于相应的应用重要的目标、例如气囊挡板和/或气囊本身和/或方向盘上具有至少一个已知的参考目标和/或不变的图案(参考图案)时，该装置应用在机动车中是特别有利的。这允许在机动车内空间中至少一个或多个这种重要目标与其它的、非信号化的目标之间的距离测量，而无需事先知道-例如通过用另一传感器测量-传感机构即该至少一个图像传感器相对该至少一个重要目标的位置及定向。
有利的还在于，该至少一个不变的图案变换地或附加地由场景中的至少一个自然存在的目标构成。特别有利的是，为了校准，在图像信号中监测及跟踪在机动车中存在的由结构形式限定的目标的位置。在机动车中存在的由结构形式限定的目标例如是至少一个车门立柱和/或至少一个仪表盘和/或至少一个机动车顶板。
以下将描述的用于确定至少一个CMOS图像传感器和/或至少一个CCD图像传感器和/或至少一个单目图像传感器和/或至少一个立体摄像机和/或至少一个提供景深图像的图像传感器的至少一个校准参数的装置是有利的。
以上所述的装置的优点也适用于相应的用于确定至少一个图像传感器的至少一个校准参数的方法。
特别有利的是一个具有程序码媒介的计算机程序，用于当该程序在一个计算机上被执行时，执行以下将描述的方法的所有步骤或至少主要的步骤。计算机程序的应用允许该方法快速及低成本地适配不同的不变的图案和/或不同的场景，尤其是机动车的不同内空间。
由以下参照附图对实施例的说明及相关的权利要求书可得到其它的优点。
以下将借助在附图中所示的实施形式来详细描述本发明。
附图表示-图1是一个概示图，-图2是一个框图，-图3是一个优选实施例的概示图，-图4是一个流程图，-图5是另一个实施例的概示图。
具体实施例方式
以下将描述用于至少一个图像传感器的几何校准的至少一个校准参数的监测、跟踪及确定的装置及方法，其中所述至少一个图像传感器这样地构型，即，它监测部分上固定的场景。在一个实施例中，该至少一个图像传感器用于监测一个机动车的内空间。
当在机动车内空间中的智能气囊控制的范围中、尤其在座位占用分类和/或离开位置时的检测上使用图像传感器时，必需在测量数据与机动车内空间、例如车身和/或气囊组件之间建立几何位置关系。对此可考虑两个不同的方案。一个方案是，可以通过一个数学模型来明确地描述测量值记录(Messwerter fassung)。该数学模型包含描述该至少一个图像传感器相对机动车的位置的数字的校准参数(外部校准的外部校准参数)和/或表示在该至少一个图像传感器中的测量值记录的特征的数字的校准参数(内部校准的内部校准参数)，内部校准参数例如为至少一个摄像机常数和/或至少一个主摄像机点和/或至少一个目录参数。在第二方案中直接进行测量数据的求值，例如通过一个分类器求值。在此情况下，在图像传感器及求值部分的整个系统中明确地不存在数字校准参数。为了分类，在处理单元中使用一个有学习功能的分类器，例如一个神经网络。该分类器首先受训练。为此借助传感器记录不同的座位占用，例如空座位和/或儿童座位，及对于该情况手动地存储所希望的正确的判断、例如空座位。具有正确判断的测量数据被传送给分类器，后者从这些数据中提取用于分类的数据(神经网络的训练)。在后来的使用中，分类器将由收到的测量数据推导出一个判断。但分类器对于几何及校准一无所知。当图像传感器改变了它在机动车中的位置时，则不能保证分类器在未重新训练的情况下提供正确的结果。当一个图像传感器在机动车中投入工作来监测内空间时，根据这两种方案或者必需已知和/或确定校准参数或隐含地假定测量值记录的特性是已知的及在应用时间间隔中是不改变的。该至少一个图像传感器的这些特性，即，在测量数据与被监测的场景、尤其是机动车内空间之间存在一个明确和/或隐含地已知的几何位置关系，被称为该至少一个图像传感器的几何校准。
以下所述的装置及方法提供该至少一个图像传感器的偏离校准--例如通过测量值记录中的失调和/或改变--自动监测及识别。此外，该装置及方法允许在传感器工作期间自动确定和/或跟踪该至少一个图像传感器的至少一个校准参数。对于该至少一个图像传感器的偏离校准的自动监测及校准将使用至少一个专门的信号化的参考目标，在一个优选实施例中该参考目标被安装在一个机动车的内空间中，和/或使用场景中的至少一个自然存在的目标作为参考目标，在一个优选的实施例中该目标为至少一个在机动车中因结构形式原因而存在的目标。这些参考目标将由所述至少一个图像传感器来观察。此外，对该至少一个图像传感器的属于参考目标的测量数据求值，其方式是将测量数据与给定数据比较。根据测量数据与给定数据之间的差值将监测该至少一个图像传感器的功能和/或在确定至少一个校准参数后校准该至少一个图像传感器。
图1表示一个优选实施例的概示图，它用于解释图像传感器12的使用，该图像传感器被用来监测一个机动车的内空间28。图像传感器12被这样地安装在机动车的风挡玻璃30及车顶36的区域中，以致图像传感器12的图像检测区域可覆盖机动车的内空间28。这里图像传感器12摄取座位38，例如副驾驶座位，和/或头枕40。此外，必要时，图像传感器12检测内空间28中、尤其是座位38上的一个未示出的人和/或其它物件。图像传感器12通过一个信号导线26与一个处理单元14相连接。在图1中表示图像传感器12相对机动车参考系统32的位置30。此外，图1示出一个气囊组件50，该气囊组件用于在机动车事故中保护内空间28中的人员。
图2表示图1的实施例的一个框图，它由待监测的场景10、图像传感器12及一个处理单元14组成。待监测的场景10是机动车内空间。图像传感器12由待监测的场景10的光辐射20产生图像信号22。这些图像信号22作为测量数据通过图1中所示的信号导线26传送到处理单元14。在处理单元14中一方面执行以下将描述的用于确定至少一个校准参数的方法。另一方面，在该处理单元14中进行图像传感器12的图像信号22的处理，以便完成图像传感器12的监测功能。图像传感器12及处理单元14构成测量系统16。在该优选实施例中图像传感器12用于气囊的智能控制。处理单元14对图像信号22求值，以便将测量系统24的信号通过信号导线传送到下个用于气囊控制的系统18。测量系统24的信号包括用于座位占用分类的信息和/或关于机动车座位上人员离开位置时的检测的数据。图像信号22和/或测量系统24的信号在信号导线上的传送是通过电和/或光和/或通过无线电来实现的。在一个优选实施例的方案中，图像传感器12和/或处理单元14和/或所述下个系统18用一个或需要时用多个单元来实现。
图3表示具有一个用于确定图像传感器12的至少一个校准参数的装置的优选实施例的概示图。图3是图1的一个扩展。下面将仅说明图3中的附加部分。在机动车的内空间28中这样地安装了专门信号化的目标42，即它们在图像传感器的图像检测范围内。信号化的目标42是这样的目标，即可由相应的传感器系统、在该优选实施例中由图像传感器12良好地自动检测的目标。在该优选实施例中使用红外线发光二极管(IR发光二极管)。在图像传感器12(视频传感器)的测量数据(图像信号)中的信号化目标42的位置将在处理单元14中与信号化目标42的给定位置相比较。当有偏差时则识别出偏离校准。此外，在传感器测量数据中的信号化目标42的位置被用来跟踪和/或确定至少一个校准参数。在该优选实施例的一个变型中使用具有高反射率的表面的参考目标作为信号化参考目标42。最好使用具有在0.5与1.0之间的反射率的信号化参考目标42。同义词反射率，反射能力，反射系数给出入射到表面的光线被反射的分量。反射率的值可取0至1之间的值，其中值1表示入射光线的100％被反射。另外需要时参考目标具有一个几何形状。作为几何形状例如可使用例如至少一个点和/或至少一个圆和/或至少一个三角形和/或至少一个四边形和/或至少一个正方形。对几何形状替代地或附加地，在另外的方案中使用至少一个字母和/或至少一个编码顺序和/或至少一个标记来作为参考目标。在另一方案中对一个2维的或3维的图案替换地或附加地设置了多个参考目标，例如至少一个十字和/或至少一个圆和/或至少一个编码顺序。此外这些参考目标和/或图案可替换地或附加地被设置在至少一个对相应的应用重要的目标，例如气囊挡板和/或气囊本身和/或方向盘上。处理单元14包括至少一个微处理器及由多个在图4中所示的模块组成，这些模块被构成为该至少一个微处理器的程序和/或程序步骤。
图4表示一个优选实施例的方法的流程图，它用于自动控制和/或跟踪和/或确定所述至少一个图像传感器的几何校准的至少一个校准参数。该方法的前提是已知关于机动车内空间中参考目标的几何位置的模型60和/或机动车内空间中参考目标的至少一个图像传感器的测量数据的给定值64。在使用(工作)期间通过图像传感器12检测图像信号22形式的、属于已知的参考目标的传感器测量数据。参考目标的传感器测量数据(图像信号22)在差值形成模块66中与给定数据64相比较及由此在确定校准数据的模块68中识别图像传感器的偏离校准和/或它由参考目标的传感器测量数据(图像信号22)通过图像传感器成像的数学模型来确定至少一个校准参数。在机动车内空间中定义了一种欧几里德坐标系统(机动车坐标系统)。在机动车内空间中具有一些点状的、带有已知3维坐标(xi，yi，zi)的参考目标Pi(i＝1...N)。此外以3维机动车坐标系统给出了一个图像传感器的给定位置(外部校准参数)。该给定位置由6个参数组成，即机动车中图像传感器的投影中心的位置(tx，ty，tz)及机动车与图像传感器之间的旋转，它用转动角度α，ψ，γ给出。由旋转角度得到旋转矩阵
R=r11r12r13r21r22r23r31r32r33=cosψcosγcosψsinγ-sinψsinαsinψcosγ-cosαsinγsinαsinψsinγ+cosαcosγsinαcosψcosαsinψcosγ+sinαsinγcosαsinψsinγ-sinαcosγcosαcosψ---(1)]]>此外已知内部校准参数，摄像机常数cx，cy及主图像点坐标xH，yH。这些点目标的3维坐标(xi，yi，zi)在所述图像中、在图像坐标(x’i，y’i)中的投影可用数学式来描述
结果得到图像中点状参考目标的给定坐标x’si，y’si。图像中点状参考目标的测量提供图像坐标x’Mi，y’Mi。给定位置与实际位置之间的距离为dSMi=(x′Si-x′Mi)2+(y′Si-y′Mi)2---(3)]]>该距离被用于识别传感器系统的偏离校准。当该距离超过一个预给定的阈值(dMSi＞dMSmax)时，则出现图像传感器的偏离校准。为了校正图像传感器的外部校准参数(α，ψ，γ，tx，ty，tz)使参数(α，ψ，γ，tx，ty，tz)改变，以使得测量的图像坐标与投影的图像坐标之间的误差平方和为最小Σi(x′Mi-x′(α,ψ,γ,tx,ty,tz,xi,yi,zi))2+(y′Si-y′(α,ψ,γ,tx,ty,tz,xi,yi,zi))2→min---(4)]]>由上述投影法则(2)得到图像坐标x’(α，ψ，γ，tx，ty，tz)或y’(α，ψ，γ，tx，ty，tz)。
图5表示具有用于确定图像传感器12的至少一个校准参数的装置的第二实施例的概示图。图5是图1的扩展。下面将仅说明图5中的附加部分。为了监测偏离校准和/或确定几何校准的至少一个校准参数，在该实施例中以传感器测量数据监测在机动车中存在的由结构形式限定的目标的位置。在机动车中存在的由结构形式限定的目标，如车门立柱44和/或机动车顶板46和/或仪表盘48可被用作参考目标，其中它们的位置将根据图像传感器12的图像信号来测量及控制。处理单元14如图3中的优选实施例那样包括至少一个微处理器及由图4中所示的多个模块组成，这些模块作为该至少一个微处理器的程序和/或程序段构成。在另一实施形式中作为参考目标不仅使用至少一个为了确定至少一个校准参数在场景中施加的参考目标(信号化参考目标)而且至少一个在场景中自然存在的目标，即在机动车内空间中存在的由结构形式限定的目标。
所述的用于确定至少一个图像传感器的至少一个校准参数的装置及方法不被限制在机动车技术的应用上。而所述具有相应特征的方案也可在机动车以外使用。前提仅在于，至少一个图像传感器这样地构成，以致该至少一个图像传感器适合监测部分上固定的场景。一个部分上固定的场景的特征是，该场景的这些部分在时间上不变化。这种场景例如出现在监测技术及安保技术中。在机场，火车站或街道监测中这种场景也是部分上固定的。另一应用例是用至少一个图像传感器监测一个房间，例如一个银行的保险库间。该场景也是部分上固定的。此外该方法可在至少一个图像传感器的情况下使用，该图像传感器用于监测机动车的外围。这里的前提也是，该场景的一些部分在时间上不变化。当机动车的组成部分、例如发动机盖和/或保险杠位于该至少一个图像传感器的图像检测范围中时，则存在时间上不改变的部分。
在所述装置及方法的一个变型中，在场景的、在该至少一个图像传感器的监测功能方面重要的至少一个目标上设置至少一个参考目标。重要的目标的特征是，它或直接是该至少一个图像传感器12的监测功能的目标或变换地或附加地间接地在功能上与该图像传感器的监测功能相联系。在机动车技术的领域中，气囊挡板(Airbagklappe)就是重要目标的一个例子，它间接地在功能上与图像传感器的监测功能相联系。虽然图像传感器是主要用于监测座位的占用情况，但该监测功能在功能上通过气囊控制与气囊挡板相联系。在安保技术的领域中，例如在检测一个银行的保险库间时，该银行的保险库直接是该至少一个图像传感器的监测功能的重要目标。
在另外的变型中，上述的装置及方法可在至少一个或多于一个的图像传感器的情况下应用。作为图像传感器，使用至少一个单目(monokular)的图像传感器和/或至少一个立体摄像机和/或至少一个提供景深图像的图像传感器。立体摄像机由至少两个基本摄取同一场景的图像传感器组成。提供景深图像的图像传感器为远距离图像传感器，例如航空(Time-of-Flight)光学传感器(range video camera)。
权利要求
1.用于确定至少一个图像传感器的至少一个校准参数的装置，其中，该至少一个图像传感器监测部分上固定的场景，尤其是机动车的内空间，其中，至少一个处理单元根据图像信号来识别在该至少一个图像传感器工作中该至少一个图像传感器的偏离校准，其中，该至少一个处理单元在识别出偏离校准时将该偏离校准通报给一个后置系统和/或驾驶员，和/或根据图像信号来确定至少一个校准参数，其中，该至少一个图像传感器至少从该至少一个图像传感器的图像检测范围中的至少一个不变的图案中导出图像信号。
2.根据权利要求1的装置，其特征在于该至少一个不变的图案通过至少一个为了确定该至少一个校准参数而设置在场景中的参考目标来形成。
3.根据权利要求2的装置，其特征在于该至少一个参考目标是一个发光装置；尤其是该至少一个参考目标是一个红外线发光二极管；和/或该至少一个参考目标被这样地构成，以致它具有高的反射率；尤其是它具有在0.5与1.0之间的反射率。
4.根据权利要求2至3中一项的装置，其特征在于该至少一个参考目标具有一个几何形状，例如一个点和/或一个圆和/或一个三角形和/或一个四边形和/或一个正方形，和/或该至少一个参考目标是至少一个字母和/或至少一个编码顺序和/或至少一个标记。
5.根据权利要求2至4中一项的装置，其特征在于在该场景的、在该至少一个图像传感器的监测功能方面重要的至少一个目标上设置该至少一个参考目标；尤其是，在机动车内空间中的至少一个气囊挡板和/或至少一个气囊和/或至少一个方向盘上设置该至少一个参考目标。
6.根据以上权利要求中一项的装置，其特征在于该至少一个不变的图案由场景中的至少一个自然存在的目标构成；尤其是，该至少一个不变的图案由至少一个在机动车内空间中存在的由结构形式限定的目标构成。
7.用于确定至少一个图像传感器的至少一个校准参数的方法，其中，该至少一个图像传感器监测一个部分上固定的场景，尤其是机动车的内空间，其中，根据图像信号来识别在该至少一个图像传感器工作期间该至少一个图像传感器的偏离校准，其中，在识别出偏离校准时，将该偏离校准通报给一个后置系统和/或驾驶员，和/或根据图像信号来确定该至少一个校准参数，其中，由至少一个图像传感器至少从在该至少一个图像传感器的图像检测范围中的至少一个不变的图案中导出图像信号。
8.根据权利要求7的方法，其特征在于这些图像信号至少由至少一个为了确定该至少一个校准参数而设置在场景中的参考目标和/或场景中的至少一个自然存在的目标导出，其中，该至少一个参考目标尤其是一个发光装置和/或该至少一个参考目标具有一个高的反射率。
9.根据权利要求8的方法，其特征在于这些图像信号至少由至少一个参考目标导出，其中，在场景的、在该至少一个图像传感器的监测功能方面重要的目标上设置该至少一个参考目标；尤其是，在机动车内空间中的至少一个气囊挡板和/或至少一个气囊和/或至少一个方向盘上设置该至少一个参考目标。
10.具有程序码媒介的计算机程序，用于当该程序在一个计算机上被执行时，实施权利要求7至9中任一项的所有步骤。
全文摘要
本发明涉及用于至少一个图像传感器的几何校准的至少一个校准参数的监测、跟踪及确定的装置及方法，其中，该至少一个图像传感器监测部分上固定的场景。在一个实施例中，该至少一个图像传感器被用于监测一个机动车的内空间。
文档编号B60R25/10GK1777527SQ200480010989
公开日2006年5月24日 申请日期2004年2月19日 优先权日2003年4月24日
发明者汉斯·迪特尔·博特, 斯特芬·亚伯拉罕 申请人:罗伯特·博世有限公司