借助相机传感器的距离判定的制作方法

借助相机传感器的距离判定的制作方法
【专利摘要】本发明涉及一种借助相机传感器的距离判定方法，其中基于相机信息判定所述相机传感器到目标对象的距离，该方法由以下事实限定：所述相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的空间范围。
【专利说明】借助相机传感器的距离判定
【技术领域】
[0001]本发明涉及借助权利要求1的前序所述的相机传感器的距离判定方法，以及涉及权利要求19的前序所述的距离判定系统。
【背景技术】
[0002]现有技术已经公开了各种用于捕捉周围环境且具体地用于测量到目标对象的距离的传感器系统。在这一点上，W02008/080951公开了一种驾驶员辅助系统，该系统例如使用雷达或激光雷达传感器确定与前方行驶的车辆的距离。为了确保距离传感器沿着前方行驶的车辆的方向定向，而不管道路不平且导致司机自己的车辆发生倾斜，提供了相机，其识别前方行驶的车辆并使距离传感器的定向(orientation)适应相应情况。但是，仅当相机和距离传感器安装在车辆中的同一高度或者借助于三角测量法(假设已知相机与前方行驶的车辆的距离)时，才能准确定向距离传感器。为此，WO 2008/080951涉及从相机图像估计相机与前方行驶的车辆的距离。但是在这种情况下，距离判定精确度的要求只能降低。
[0003]DE 10 2007 048 809 Al描述了一种用于识别道路交通中隐匿对象的方法和装置。在这种情况下，位置判定系统使用各种传感器，例如GPS模块、雷达传感器、激光雷达传感器或立体相机(stereo camera)来确定自己车辆的位置和相邻车辆的位置。使用立体相机允许在不使用其它距离传感器的情况下识别对象并执行相当精确的距离测量。此外，公开了一种车辆间通信系统，该系统将其自己车辆捕捉的周围环境数据传输到相邻车辆，从而使相邻车辆能够感知它们自己无法看到的对象。对于每个被传输的对象，存在若干或者借助于传感器系统判定，或者从查找表中检索的属性。此外，车辆间通信系统从自己的车辆传输车辆参数，例如车长、车宽以及车辆类型。
[0004]现有技术中已知的这些装置和方法的缺点是精确的距离测量总是需要专用传感器，例如雷达传感器、激光雷达传感器或立体相机。但是这些传感器需要额外的成本开销。假如借助GPS位置数据的比较执行基于现有技术的距离判定，则确定的距离会非常不准确，因为用于位置判定的全球导航卫星系统总是受到一定量的局部容限(localtolerance)的限制。使用单目相机(mono camera)估计距离也只能提供非常不准确的数据，这些数据不适合安全相关的应用，例如制动干涉。
[0005]因此，本发明的目标是提供一种允许在不使用单独的距离传感器的情况下，提供可靠且基本准确的目标对象距离测量的方法和系统。

【发明内容】

[0006]本发明借助权利要求1所述的距离判定方法以及权利要求19所述的距离判定系统实现此目标。
[0007]借助相机传感器实现的本发明的距离判定方法与众不同，根据此方法，基于相机信息判定所述相机传感器到目标对象的距离，此方法的不同之处在于所述相机信息包括在所述相机传感器中的光敏元件上被所述目标对象覆盖的区域的物理范围(physicalextent)0此方法的优点是所述距离判定涉及依赖于所述相机直接捕捉的信息，即，所述光敏元件上所述对象的物理范围。因此，不需要诸如雷达传感器或激光雷达传感器之类的单独的距离传感器。由于目前大量的车辆已经配备了相机传感器，因此，本发明的距离判定方法允许在不增加成本和制造开销的情况下，实现大量驾驶员辅助系统，例如，智能速度和距尚控制O
[0008]优选地，包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的物理范围的相机信息与有关所述目标对象的实际物理范围的信息进行逻辑组合。所述光敏元件上的所述范围与有关所述实际范围的信息的逻辑组合允许借助几何关系容易地计算相机传感器到目标对象的距离。
[0009]此外，所述相机传感器优选地为单目相机传感器。由于本发明的距离判定仅需要有关所述光敏元件上的所述物理范围的信息，因此，不需要第二个相机，如在立体相机中那样。因此，可避免像在立体相机传感器中那样，通过对齐两个单独相机的图像来执行本身已知但是又相当棘手的距离判定。使用单目相机传感器替代立体相机传感器还降低了制造开销，从而减小了生产成本。
[0010]根据本发明的进一步的优选实施例，所述相机传感器为立体相机传感器。本发明的方法还可以在不增加立体相机传感器开销的情况下执行。例如，这样可构想本身已知的距离判定方法借助立体相机传感器执行，然后借助本发明的方法验证，或者借助本发明的方法执行，然后借助立体相机传感器验证。
[0011]根据本发明的进一步的优选实施例，所述相机信息包括所述相机传感器中的光敏元件上被目标对象覆盖的区域沿着水平方向的物理范围。因此，在目标对象的宽度上执行所述距离判定，假设所述目标对象例如为小汽车，则这样做具有以下优点，即使用可在行驶方向上捕捉的最大宽度执行距离判定。这样，不可避免地伴随任何物理变量测量的相对不精确度特别低。
[0012]此外，所述相机信息有利地包括所述相机传感器中的光敏元件上被目标对象覆盖的区域沿着垂直方向的物理范围。在这种情况下，所述距离判定附加地或替代地使用所述目标对象的高度执行。假设所述目标对象为大卡车，则其物理高度通常大于其物理宽度，因此可以执行更精确的距离判定。
[0013]此外，所述相机信息优选地包括所述相机传感器中的光敏元件上被目标对象覆盖的区域的面积。所述光敏元件上的覆盖面积通常很容易判定，例如对于CCD传感器，通过对传感器单元进行计数来判定。所述覆盖面积提供有关所述目标对象的额外信息，此信息例如允许检查借助所述目标对象的宽度和/或所述目标对象的高度判定的距离。因此可以使用同一传感器捕捉并验证所述距离信息。
[0014]在本发明的进一步的优选实施例中，有关所述目标对象的所述实际物理范围的信息包括所述目标对象在水平方向上和/或垂直方向上和/或横截面上的物理范围。如上所述，借助几何关系实现的有关所述相机传感器中所述覆盖区域的范围的信息与所述目标对象实际物理范围的逻辑组合允许容易地判定相机传感器与目标对象之间的距离。有关实际物理范围的可用数据越多，并且所述光敏元件上所述覆盖面积的物理范围越大，本发明的方法就可以执行得越精确、越可靠。
[0015]此外，所述光敏元件有利地为CXD (电荷耦合器件)传感器芯片或CMOS (互补金属氧化物半导体)传感器芯片。因此无需额外的开销，便可简单地对所述光敏元件进行电子读取。考虑到电子处理所述传感器捕捉的图像信息，这尤其有利。
[0016]具体而言，所述相机信息有利地包括所述CCD (电荷耦合器件)传感器芯片或所述CMOS (互补金属氧化物半导体)传感器芯片上被所述目标对象覆盖的检测器行数和/或所述光敏元件芯片上被所述相机传感器中的所述目标对象覆盖的检测器列数和/或被覆盖的检测器单元总数。对于CCD传感器芯片或CMOS传感器芯片，所述覆盖区域的宽度、高度和面积的测量值可容易地通过对所述检测器列、检测器行或各个检测器单元进行计数来捕捉。
[0017]在本发明的进一步的优选实施例中，所述光敏元件上被所述目标对象覆盖的区域的物理范围用于形成在水平方向和垂直方向和/或总覆盖面积上的范围的比率。这允许判定各种目标对象类型的特征范围比率，从而进一步改进有关目标对象的信息。
[0018]在本发明的更进一步的优选实施例中，所述范围的比率用于将目标对象分配到对象类别。分配到对象类别允许更密切地识别目标对象并有可能依赖于作为所述对象类别的特性的实际物理范围以便计算所述距离，假设这些实际物理范围未被所述目标对象直接传输的话。
[0019]优选地，所述方法的不同之处在于所述对象类别将所述目标对象分类为与以下一个或多个类别关联:车辆品牌、车辆型号、行人或骑车人。这允许基本准确地对目标对象进行识别和分类，且与之相关，允许基本个别地分配到对象类别。因此，可以基本依赖于目标对象的个别实际物理范围，假设它们没有直接被所述目标对象传输的话。
[0020]此外，额外的相机信息有利地包括目标对象相对于相机传感器的移动方向。捕捉相对于相机传感器的移动方向允许判定目标对象相对于相机传感器的物理定向。有关相对于相机传感器的物理定向的信息提供以下优点:即，当目标对象和相机传感器的定向不同时，在所述光敏元件中检测到的宽度可进行后向计算以获取当所述定向相同时的宽度。因此，例如，即使在其中所述目标对象的定向由于所述目标对象在曲线中的不同位置而与随后的配备所述相机传感器的车辆的定向不同的曲线中，也可以确定对应于实际物理宽度的所述光敏元件中的覆盖范围。
[0021]此外，优选地有关所述目标对象的额外信息包括所述目标对象相对于所述相机传感器的移动方向和/或从所述目标对象的位置信息，其中所述位置信息具体基于全球导航卫星系统。在这种情况下，所述额外信息例如可以直接从所述目标对象传输到判定所述距离的车辆。因此，获得以下优点，即，独立于判定距离的所述车辆的相机传感器识别目标对象的移动方向，可知道目标对象的定向。这产生已经描述的优点，即，当目标对象和相机传感器的定向不同时，在所述光敏元件中检测到的目标对象的宽度可进行后向计算以获取当所述定向相同时的宽度。有关目标对象的位置信息同样可以由目标对象传输，并且允许检查借助本发明的方法判定的所述距离，但不可能进行精确检查，因为借助于全球导航卫星系统的位置判定与本发明的方法相比具有相当高的不精确度。然而，仍可能识别被判定在几米区域内且因此在与安全相关的方面不正确的距离。
[0022]优选地，有关目标对象的实际物理范围的信息和/或有关目标对象的额外信息是借助车辆到X(vehicle-t0-X)通信来捕捉的。由此产生的优点是每个目标对象可以将实际物理范围的单独(因此是最佳匹配的)数据记录传输到判定距离的所述车辆，这允许准确、可靠的距离判定，因为距离判定所需的输出数据准确地描述了目标对象。
[0023]在本发明的更进一步的优选实施例中，所述车辆到X通信根据以下至少一种类型的连接来交换信息:
[0024]-WLAN 连接，具体根据 ffiEE802.11，
[0025]-1SM连接(工业、科学、医学频带)，
[0026]-红外链路以及
[0027]-移动无线电链路。
[0028]在这种情况下，这些类型的连接具有不同的优点和缺点，这取决于所讨论的类型和波长。例如WLAN连接允许高数据传输率。但是，在障碍物周围的数据传输仅在有限程度上是可能的。相比之下，尽管ISM连接提供较低数据传输率，但它们还允许围绕可视障碍物传输数据。红外链路转而提供低数据传输率，当没有可视链路时，该数据传输率也会受到严重限制。最后，移动无线电链路不会受到可视障碍物的损害，并且提供良好的数据传输率。相反，链路的设置相对缓慢。多种这些类型连接的结合以及同时或并行使用将产生进一步的优点，因为通过这种方式，可以弥补单独类型连接的缺点。
[0029]此外，针对目标对象借助所述相机信息判定的距离有利地可以被提供给至少一个驾驶员辅助系统。因此，可以向例如执行制动干涉或者通过接管引擎控制调整与前方行驶的车辆的距离的驾驶员辅助系统提供所述距离信息，该信息对于所述驾驶员辅助系统在没有其它距离传感器的情况下的执行是需要的。同样，还可构想所述距离信息可以被提供给其它驾驶员辅助系统，当小于安全关键的最小距离时，所述其它驾驶员辅助系统根据需要向驾驶员发出警告。该示例性驾驶员辅助系统列表并不完整，可以根据需要扩展，因为确定的距离可以被提供给任何驾驶员辅助系统和任何车辆系统。
[0030]方便地，有关目标对象的实际物理范围的所述信息和/或有关目标对象的所述额外信息通过与所述相机信息和/或所述额外相机信息比较来验证。因此，获得的优点是，可以在处理例如借助车辆到X通信捕捉的信息或额外信息之前，执行借助所述相机传感器的验证。由于所述相机传感器本来要用于根据本发明的方法的距离判定，因此，它可以用于验证而无需另外涉及进一步的传感器。由于不能在光敏元件上测量绝对的实际范围，因此，可以比较所述光敏元件上的范围的比率与例如所述目标对象传输的实际物理范围的比率。如果范围的比率匹配，则有关所述目标对象的实际物理范围的所述信息被视为经过验证。相比之下，目标对象相对于相机传感器的移动方向可以由相机传感器直接捕捉。因此，还可以有利地验证有关所述目标对象的所述额外信息。
[0031]此外，当已经借助有关目标对象的实际物理范围的信息将目标对象分配到对象类别时，所述相机传感器中的目标对象识别算法有利地降低识别阈值。这展示本发明的方法的进一步的优点，因为有关目标对象的信息可以用于加速相机传感器进行的对象识别。因此，结果是适当的驾驶员辅助系统以总体上加速的方式捕捉周围环境。
[0032]本发明还涉及一种距离判定系统，具体而言，所述距离判定系统判定从相机传感器到目标对象的距离，并且执行本发明的距离判定方法。所述系统包括相机传感器和车辆到X通信设备和/或电子存储设备，并且其不同之处在于所述相机传感器捕捉的相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的物理范围。
[0033]所述电子存储设备优选地存储对象类别矩阵，所述矩阵包含多个不同的对象类别在水平方向和垂直方向和/或所述总覆盖面积上的范围的比率。因此，本发明的系统具有以下选项，即使用所述光敏元件上被覆盖的区域的范围的比率与存储在所述电子存储设备上的范围的比率的一致，以便将目标对象分配到对象类别。因此，分配到对象类别独立于可能借助车辆到X通信接收的对象类别，或者独立于借助车辆到X通信接收的实际范围。获得的优点是，即使当目标对象没有传输距离判定所需的信息或者判定距离的车辆未接收任何相应的信息(例如，因为它没有车辆到X通信装置)时，也可以执行所述距离判定。
【专利附图】

【附图说明】
[0034]从以下参考附图的示例性实施例的从属权利要求和描述，产生进一步的优选实施例，这些附图是:
[0035]图1示出光敏元件上被目标对象覆盖的区域的物理范围、目标对象的实际范围和关联的光束路径，
[0036]图2示出通过使用目标对象的物理范围的比例对目标对象进行分类的单目相机传感器，以及
[0037]图3示出其中使用本发明的距离判定方法和距离判定系统的交通状况。
【具体实施方式】
[0038]图1a示出本发明的方法的示例性和示意性实施例。示出相机传感器1，其包括光敏元件2和光学透镜3。光敏元件2和光学透镜3被布置为彼此相距距离8。在相机传感器I的视场内，有车辆4。车辆4的定向使得相机传感器I捕捉到车辆4的后视图。车辆4的后视图在水平方向具有物理范围5，这对应于车宽。通过光束路径6，在光敏元件2上产生范围7,所述范围指示光敏元件2上被覆盖的区域的宽度。根据示例，车辆4的物理范围5已知。距离8和光敏元件2上被车辆4覆盖的区域的范围7同样已知或者可捕捉。因此，根据示例，使用简单的几何关系确定从车辆4到相机传感器I的距离。图1b中示出根据示例的几何关系。长度10对应于图1a中的距离8，长度10’对应于相机传感器I和车辆4之间的距离。长度11对应于光敏元件2上的范围7，长度11’对应于车宽5。长度12和12’对应于光束路径6。根据示例，现在使用长度10与10’以及11与11’的比率判定从相机传感器I到车辆4的距离10，。
[0039]图2示出具有光敏元件2的相机传感器I。在该示例性实施例中，相机传感器I捕捉到车辆13的后视图。将沿着水平方向和垂直方向的物理范围14和15按比例映射到光敏元件2。根据示例，形成按比例映射到光敏元件2的范围14与15的比率。从电子存储器中的对象类别矩阵，现在寻找对应于从范围14和范围15形成的比率值的比率值。获取与卡车的比率值的匹配。因此，相机传感器I根据来自所述车辆的范围14与15的比率，将车辆13识别为卡车。
[0040]图3中所示的示例性实施例示出车辆16，其在道路车道19中尾随车辆17并相距一定的距离。根据示例，这两台车辆都有车辆到X通信设备。由于道路车道19为曲线，因此，车辆16和17沿着不同的方向定向。相机传感器I捕捉来自车辆17的物理范围18。但是，由于车辆的不同定向，范围18并不对应于车辆17的宽度而是对应于车辆17的对角线。借助车辆到X通信设备，车辆16接收车辆17的实际长度和宽度等。仅根据车辆17的实际范围和光敏元件2上被覆盖的区域执行的距离确定将导致错误确定的距离，因为光敏元件2上被覆盖的区域并不对应于车辆17的宽度而是对应于其对角线18。为了在本发明的距离判定期间避免这种错误，根据示例，车辆17还传输其移动方向。在该示例性实施例中，通过比较车辆17的移动方向与车辆16的单独移动方向，车辆16现在首先判定这两台车辆针对彼此的相对定向。根据相对定向，相机传感器I现在对捕捉到的对角线18进行后向计算以获取对应于车辆17的车宽的范围。后向计算的范围允许判定车辆16与车辆17之间的实际距离。
[0041]在同样在图3中所示的示例性实施例中，使用相机传感器I捕捉到的这两台车辆的相对定向和对角线18进行后向计算，以获取光敏元件2上的车长的范围。因此，根据示例，借助车辆17的长度而不是宽度来判定这两台车辆之间的距离。
[0042]根据图3中所示的进一步的示例性实施例，仅车辆16配备车辆到X通信设备，而车辆17未配备。因此，车辆16既不接收有关车辆17的定向的信息，也不接收有关车辆17的实际物理范围的信息。但是，相机传感器I从道路标记20识别车辆17沿着曲线行驶。根据示例，通过假设车辆17沿着车道19行驶，借助道路标记20的定向，判定车辆17与车辆16的相对定向。此外，对于车辆17，假设车宽与车长的平均比率，以便使距离判定期间的任何误差保持平均尽可能的小。因此，车辆16具有足够的信息，能够借助光敏元件2上被对角线18覆盖的区域，确定与车辆17的距离。两台车辆再次沿着相同的方向行驶(即，具有相同的定向)时，相机传感器I便可以直接捕捉车辆17的车宽。一旦捕捉到车辆17的宽度，便可以在随后的曲线行驶中使用该信息进行准确的距离判定，而不必依赖于车宽与车长的平均比率值。
【权利要求】
1.一种借助相机传感器的距离判定方法，其中基于相机信息判定所述相机传感器到目标对象的距离，其特征在于， 所述相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的物理范围。
2.根据权利要求1的方法，其特征在于， 包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的物理范围的所述相机信息与有关所述目标对象的实际物理范围的信息进行逻辑组合。
3.根据权利要求1和2的至少一个权利要求的方法，其特征在于， 所述相机传感器是单目相机传感器。
4.根据权利要求1和2的至少一个权利要求的方法，其特征在于， 所述相机传感器是立体相机传感器。
5.根据权利要求1至4的至少一个权利要求的方法，其特征在于， 所述相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域沿着水平方向的物理范围。
6.根据权利要求1至5的至少一个权利要求的方法，其特征在于， 所述相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域沿着垂直方向的物理范围。
7.根据权利要求1至6的至少一个权利要求的方法，其特征在于， 所述相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的面积。
8.根据权利要求1至7的至少一个权利要求的方法，其特征在于， 有关所述目标对象的实际物理范围的信息包括所述目标对象在所述水平方向上和/或所述垂直方向上和/或所述横截面上的物理范围。
9.根据权利要求1至8的至少一个权利要求的方法，其特征在于， 所述光敏兀件为CCD (电荷稱合器件)传感器芯片或CMOS (互补金属氧化物半导体)传感器芯片。
10.根据权利要求1至9的至少一个权利要求的方法，其特征在于， 所述光敏元件上被所述目标对象覆盖的区域的物理范围用于形成在所述水平方向和所述垂直方向和/或所述总覆盖面积上的范围的比率。
11.根据权利要求10的方法，其特征在于， 所述范围的比率用于将所述目标对象分配到对象类别。
12.根据权利要求11的方法，其特征在于， 所述对象类别将所述目标对象分类为与以下一个或多个类别关联:车辆品牌、车辆型号、行人或骑车人。
13.根据权利要求1至12的至少一个权利要求的方法，其特征在于， 有关所述目标对象的额外信息包括所述目标对象相对于所述相机传感器的移动方向和/或来自所述目标对象的位置信息，其中所述位置信息具体基于全球导航卫星系统。
14.根据权利要求1至13的至少一个权利要求的方法，其特征在于， 有关所述目标对象的实际物理范围的所述信息和/或有关所述目标对象的所述额外信息是借助车辆到X通信来捕捉的。
15.根据权利要求8的方法，其特征在于， 所述车辆到X通信根据以下至少一种类型的连接来交换信息: -WLAN连接，具体根据IEEE802.11， -1SM连接(工业、科学、医学频带)， -红外链路以及 -移动无线电链路。
16.根据权利要求1至15的至少一个权利要求的方法，其特征在于， 借助所述相机信息判定的到目标对象的距离被提供给至少一个驾驶员辅助系统。
17.根据权利要求1至16的至少一个权利要求的方法，其特征在于， 有关所述目标对象的实际物理范围的信息和/或有关所述目标对象的额外信息通过与相机信息和/或额外相机信息比较来验证。
18.根据权利要求1至17的至少一个权利要求的方法，其特征在于， 当已经借助有关所述目标对象的实际物理范围的信息将所述目标对象分配到对象类别时，所述相机传感器中的目标对象识别算法降低识别阈值。
19.一种距离判定系统，其判定从相机传感器到目标对象的距离，并且其中具体执行根据权利要求1至18中的至少一个·的方法，所述距离判定系统包括相机传感器和车辆到X通信设备和/或电子存储设备，其特征在于， 所述相机传感器捕捉的相机信息包括所述相机传感器中光敏元件上被所述目标对象覆盖的区域的物理范围。
20.根据权利要求19的系统，其特征在于， 所述电子存储设备存储对象类别矩阵，所述矩阵包含多个不同的对象类别在水平方向和垂直方向和/或总覆盖面积上的范围的比率。
【文档编号】G08G1/16GK103597528SQ201280028755
【公开日】2014年2月19日 申请日期:2012年5月7日 优先权日:2011年5月11日
【发明者】U·施特林 申请人:大陆-特韦斯贸易合伙股份公司及两合公司