基于立体摄相机检测接近车辆的物体的系统和方法与流程

本发明总体上涉及基于摄相机进行物体检测并且更具体地涉及使用车辆上的一个或多个摄相机检测物体以便阻止车门向这些物体打开的系统和方法。

背景技术：

现代车辆尤其是汽车越来越多地包括用于检测和收集有关车辆的周围环境的信息的各种传感器。这些传感器能够包括用于检测车辆接近位于车辆的周围环境中的物体的超声波传感器。然而，超声波传感器可能在某些情况下具有有限的准确性，诸如当这些物体相对靠近这些传感器时。因此，进行物体检测的替代解决方案会是令人期望的。

技术实现要素：

本公开的示例涉及使用立体摄相机来检测接近车辆的物体。在一些示例中，该车辆确定这些物体是否将干涉该车辆上的一个或多个车门的打开并且如果是则阻止车门向这些物体打开。

附图说明

图1示出根据本公开的示例的具有两个车门的示例性车辆。

图2a-2c示出根据本公开的示例的具有一个朝向侧方设置的立体摄相机的示例性车辆。

图3示出根据本公开的示例的示例性立体摄相机校准图案。

图4示出根据本公开的示例的朝向侧方设置的立体摄相机的示例性校准。

图5示出根据本公开的示例的系统框图。

具体实施方式

在以下示例描述中，参考形成其一部分的附图，并且在附图中通过说明示出能够被实践的特定示例。应当理解的是能够使用其他示例并且能够做出结构改变而不背离所公开的示例的范围。

一些车辆诸如汽车能够包括用于检测车辆接近位于车辆的周围环境中的物体的超声波传感器。然而，超声波传感器可能在某些情况下具有有限的准确性，诸如当这些物体相对靠近这些传感器时。本公开的示例涉及使用一个或多个摄相机来检测接近车辆的物体。在一些示例中，该车辆确定这些物体是否将干涉该车辆上的一个或多个车门的打开并且如果是则阻止车门向这些物体打开。

图1示出根据本公开的示例的具有车门104和106的示例性车辆102。车辆102能够是任何车辆，诸如汽车、公交车、卡车、货车、飞机、轮船等等。在图1中示出车辆102的右半部分，然而应当理解的是车辆还能够包括左半部分。车辆102能够包括能够向车辆外部空间打开的一个或多个元件。例如，车辆能够包括车门104和106，这些车门能够分别经由铰链108和110耦合到车辆。交互空间105和107能够是位于车辆102外部的空间，车门104和106能够分别向这些空间打开。尽管图1示出车辆在每一侧具有两个车门，应当理解的是所公开的系统和方法还能够在具有不同数量的车门上使用(例如，每一侧一个车门)。将在车门的上下文中描述本公开的示例，然而应当理解的是本公开的示例能够在车辆102上的能够向车辆外部空间打开的任何元件的上下文中实现，诸如引擎盖、行李箱盖、车窗、油箱门舱口盖、侧视镜等等。

会有益的是车辆102上的用于确定物体是否将干涉车门104和/或106的打开(例如，车门104和/或106完全打开)的一个或多个系统。例如，如果车门104和/或106是自动车门(例如，如果车门打开、使用电动机、响应于打开车门的用户命令(例如，按压按钮或者位于车门或车门把手某个接近度内))，并且如果物体将干涉车门104和/或106的打开，车辆102能够确定向车辆的操作人员提供有关干涉物体的警告、阻止车门104和/或106打开和/或仅将车门104和/或106打开到干涉物体所允许的程度(例如，仅打开车门106一半)。如果车门104和/或106是手动车门(例如，如果车门通过手打开)，车辆102能够类似地确定向车辆的操作人员提供有关干涉物体的警告、阻止车门104和/或106打开(例如，通过锁上车门或车门打开机构)和/或仅允许车门104和/或106打开到干涉物体所允许的程度。

在一些示例中，车辆102能够通过确定物体是否分别在交互空间105和107内来确定该物体将是否干涉车门104和106中的一个或多个车门的打开。例如，参考图1，车辆102能够确定物体112(例如，墙壁、柱子、树木、停车计时器等等)是否在车门106的交互空间107内。因此，车辆102能够确定物体112将干涉车门106的打开并且车辆能够确定适当的响应，如上所述。与此相反，车辆102能够确定物体114不在交互空间107(也不在任何其他交互空间内)内并且因此将不会干涉车门106(或任何其他车门)的打开。类似地，车门102能够确定没有物体位于车门104的交互空间105内并且因此能够允许车门104自由地打开。

本公开的车辆能够通过使用一个或多个立体摄相机确定一个或多个物体是否将干涉一个或多个车门的打开，如以下将讨论的。具体地，本公开的示例能够使用来自两个或更多个图像传感器的图像数据来在车门的交互空间中创建深度图并且然后确定深度图中的物体是否与车门的交互空间相交。

图2a-2c示出根据本公开的示例的具有包括第一图像传感216和第二图像传感器218的立体摄相机的示例性车辆202的侧视图。类似于图1的车辆102，图2的车辆202能够具有右手门204和206。图像传感器216和218能够是任何类型的摄相机，诸如可见光摄相机、红外摄相机、紫外线摄相机等等。图像传感器216和218能够分离开基线距离(例如，每个图像传感器的中心之间的距离)。

在一些示例中，每个图像传感器能够安装在相应的车门上。例如，图2a示出安装在车门204上的图像传感器216和安装在车门206上的图像传感器218。在一些示例中，每个车门具有其自身的对应的立体摄相机(例如，每个车辆两个图像传感器)。每个图像传感器能够具有基本上朝向侧方设置的相应的视野。例如，安装在车门204上的图像传感器21能够具有视野222，而安装在车门206上的图像传感器218能够具有视野224。如图2b-2c所示，每个图像传感器的视野之间的重叠能够包括立体摄相机的立体视野，如以下进一步详细描述的。

图像传感器216和218能够用于通过确定物体(例如，物体112)是否将干涉车门204和206中的一个或多个车门的打开(例如，通过确定该物体是否位于车门204和/或206的交互空间内，如前所述)。具体地，车辆202能够基于图像传感器216和218相对于物体的不同视角确定该物体相对于车辆的相对位置，如以下将更详细描述的。因为车辆202能够在做出上述确定之前知道车门204和206的交互空间，车辆能够将物体的确定相对位置与车门204和206的交互空间进行比较来确定该物体是否在这些交互空间中的一个或多个交互空间内。在一些示例中，在做出上述确定之前(例如，当制造车辆202或在制造车辆之后进行的校准过程期间)，车门204和206的交互空间能够存储在车辆202的存储器中。

车辆202能够使用任何合适的方法来使用组成立体摄相机的图像传感器216和218确定物体的相对位置，诸如从立体图像生成深度图的任何算法。在这种算法中，立体视野中的一个或多个物体的相对位置能够由来自每个摄相机的图像数据中的属于相同物体的协同定位像素确定。来自不同视图的图像中的协同定位像素能够将颜色、形状、边缘等等考虑在内。例如，在简单的示例中，大小为图像中的单个像素的深红色物体能够简单地位于来自每个传感器的图像数据中，尤其是如果红色物体的背景为白色的话。如果对应于红色物体的像素位于来自每个传感器的图像中的不同位置，则能够在这两个图像数据集之间确定红色物体的差异。这个差异与红色物体到车辆的距离成反比(即，越小的差异指示物体离车辆越远而越大的差异指示物体离车辆越近)。差异值能够用于为物体进行三角测量。能够基于在这两个图像数据集之间协同定位的每个像素的差异值和这两个图像传感器之间的基线距离计算该像素的距离估计值。在一些示例中，其他信息(诸如每个图像传感器的焦距)也能够用于确定每个像素的距离估计值。以此方式，能够生成包括能够在来自每个图像传感器的图像数据集之间协同定位的每个像素的距离估计值集合生成深度图。

因为图像传感器216和218能够安装到车辆202上，如前所述，能够确定对图像传感器可见的车辆的深度图。例如，如果物体位于这两个图像传感器216和218的视野内，能够生成指示物体的位置的深度图，车辆能够从这个深度图确定物体是否将干涉车门204和206中的一个或多个车门的打开。

在一些示例中，图像传感器216和218能够被安装在车辆202上的已知位置(例如，已知位置、高度、朝向等等)。因此，当确定车辆202的周围环境中的物体的位置时，与图像传感器位置可能不是已知的情况相比，车辆能够使用这些已知量中的一个或多个量来增加深度图的准确性。换言之，图像传感器的已知位置中的一项或多项例如能够用于确定物体相对于车辆202的位置。

在一些示例中，能够基于车门204和206的交互空间选择图像传感器216和218之间的基线距离。例如，如图2b-2c所示，当这些图像传感器之间的基线距离越小，可使用的立体视野就越大，如图2b所示，与图2c相比，其示出越大的基线距离对应于越小的立体视野。可能需要更大的立体视野来在立体视野中捕捉车门204和206的更多交互空间。然而，当基线距离增加时，深度图生成过程变得更准确。相应地，这些图像传感器之间的基线距离能够被选择为平衡立体视野的深度图的准确性vs覆盖面积。在一个示例中，能够选择仍覆盖车门的交互空间的阈值比例(例如，90％)的最长基线距离。

在一些示例中，当接收到用于打开车门的输入时(例如，在车辆停车之后)时能够确定上述深度图，并且深度图能够用于确定物体是否将阻止打开车辆的任何一个车门。在其他示例中，能够仅在车辆202确定其将会在某个阈值时间量(例如，1秒、5秒、10秒等等)内停车之后才确定深度图，这能够基于车辆的车门不可能在车辆移动时打开的假设。以此方式，车辆202能够避免例如在高速公路或道路上以相对恒定的速度行进时生成深度图。在这种示例中，一旦车辆202确定其将可能停车，能够触发生成深度图，从而使得在车辆停车并且车门正在或者被请求打开时这些图是就绪的。在一些示例中，如果车辆以低于阈值速度(例如，5mph、10mph等等)慢下来或者正在从所检测的行进速度以高于阈值速率减速的话，车辆202能够确定其将可能在某个阈值时间量内停车。在一些示例中，能够仅在车辆202确实停车之后生成深度图，此时，车辆能够处理来自图像传感器216和218的图像数据以确定深度图。在一些示例中，能够在车辆停车之后或者当检测到接近的用户(例如，通过检测用户的钥匙坠存储器或通过使用摄相机识别用户)时生成深度图。

在一些示例中，车辆能够使用立体摄相机结合检测将干涉车门打开的可能物体。例如，另一种检测方法(例如，超声波检测、雷达等等)能够在情况不利于依赖于立体摄相机时被用作可依靠的东西。例如，当存在低环境光时或当环境具有低对比度(例如，白墙)时，立体摄相机可能无法适当地检测将干涉车门打开的物体。相应地，在一些示例中，车辆能够使用立体摄相机和超声波检测两者来确定是否应当打开车门。在其他示例中，能够使用立体摄相机并且能够基于环境光或例如在两个图像之间成功地协同定位的像素比例生成置信值。如果置信值下降到预定阈值(例如，90％)以下，则能够使用超声波检测而不是立体摄相机。在一些示例中，当置信值下降到预定阈值以下时，用户能够被通知警告(例如，经由音频通知，诸如蜂鸣声，或显示器上的图形通知)：车辆无法确定物体是否将干涉车门打开。

图3示出根据本公开的示例的示例性立体摄相机校准图案326。校准图案能够用于校准深度构图算法以便解释车辆上的每个图像传感器的物理定位和特征。例如，相同的图案326能够由每个图像传感器使用图案相对于该图像传感器的相同相对定位来捕捉。基于这两个图像数据集之间的差异，能够计算第二图像传感器相对于第一图像传感器的平移和旋转。这些平移和旋转参数能够然后用作在使用立体摄相机从第一图像传感器和第二图像传感器形成图像期间校正来自第二图像传感器的校准参数，就像这两个图像平面是平行的，即使这两个图像传感器的朝向存在个人喜好。例如，棋盘图案的正方形应当在这两个图像之间共线，并且如果它们不共线，能够为构图方程计算参数从而使得棋盘图案的正方形在这两个图像中共线。

图4示出根据本公开的示例的朝向侧方设置的立体摄相机的示例性校准。多个校准图案426能够位于车辆组装线上，从而使得当车辆402停在组装线的校准站时，校准图案与朝向侧方设置的图像传感器416、418、428和430中的每个图像传感器对准(例如，每个相应的校准图案能够被定位成与每个图像传感器的假设理想焦平面平行)。例如，组装线的校准站能够在组装线的将车门安装在车辆的底盘上的那一部分之后。在自动地移动到组装线上位于校准站的位置之后，每个图像传感器能够自动地捕捉其相应的校准图案的图像并且能够为每个图像传感器对计算校准参数。例如，车辆能够计算图像传感器418相对于图像传感器416的旋转和平移以便稍后用于校正来自图像传感器418的图像。类似地，车辆能够计算图像传感器430相对于图像传感器428的旋转和平移以便稍后用于校正来自图像传感器430的图像。在一些示例中，车辆402可能未停在校准站并且校准图案426能够而是沿着组装线以与车辆402相同的速度移动，确保了适当的校准对准。然而图4示出每个图像传感器一个校准图案，在一些示例中，能够为每一对图像传感器使用单个校准图案，并且车辆能够从校准图案与这对中的第一图像传感器对准的第一位置或校准图案与这对中的第二图像传感器对准的第二位置移动，并且能够在第一位置和第二位置中的每一个位置捕捉校准图像。

图5示出根据本公开的示例的系统框图。车辆控制系统500能够执行参照图1-4描述的任何方法。系统500能够并入车辆中，诸如消费者汽车。能够并入系统500的其他示例车辆包括但不限于飞机、轮船或工业汽车。车辆控制系统500能够包括能够捕捉图像数据(例如，视频数据)的一个或多个摄相机506，如上所述。车辆控制系统500能够包括车载计算机510，该车载计算机耦合到摄相机506并且能够从摄相机接收图像数据以及确定图像数据中的一个或多个物体是否将干涉车辆的一个或多个车门的打开以及物体是否将干涉车门，如本公开所述。车载计算机510能够包括存储设备512、存储器516和处理器514。处理器514能够执行参照图1-4描述的任何方法。另外，存储设备512和/或存储器516能够存储数据和指令以便执行参照图1-4描述的任何方法。存储设备512和/或存储器516能够是任何非瞬态计算机可读存储介质，诸如固态驱动器或硬盘驱动器，除了其他可能性之外。车辆控制系统500还能够包括控制器520，该控制器能够控制车辆操作的一个或多个方面，诸如基于车载计算机510的确定移动车辆或控制车门操作。

在一些示例中，车辆控制系统500能够连接到车辆中的一个或多个致动器系统530(例如，经由控制器520)。该一个或多个致动器系统530能够包括但不限于电动机531或引擎532、电池系统533、传动装置534、悬架装置535、刹车536、转向系统537和车门系统538。基于一个或多个物体相对于车门538的交互空间的所确定的位置，车辆控制系统500能够控制这些制动器系统530中的一个或多个系统阻止车门向这些物体中的一个物体打开。这能够通过例如控制车门538的操作来实现，如本公开中所讨论的。作为另一个示例，车辆控制系统500能够移动车辆，从而使得即将打开的车门将能够自由地打开，通过调整转向角度以及接合传动系统(例如，电动机)来以受控速度移动车辆。摄相机系统506能够继续捕捉图像并且将其发送到车辆控制系统500进行分析，如以上示例中所描述的。车辆控制系统500能够进而继续或周期性地向该一个或多个致动器系统530发送命令来阻止车门向这些物体中的一个物体打开。

因此，本公开的示例提供了使用一个或多个摄相机阻止车辆车门向物体打开的各种方式。

在一些实施例中，公开了一种系统。所述系统能够包括一个或多个处理器以及存储器，所述存储器包含指令，当由所述一个或多个处理器执行时，所述指令使所述一个或多个处理器执行方法。所述方法能够包括：从安装在车辆上的第一图像传感器接收第一图像数据以及从安装在所述车辆上的第二图像传感器接收第二图像数据，所述车辆包括被配置成向车辆外部空间打开的元件；从所述第一图像数据和所述第二图像数据生成深度图，所述深度图包含物体；根据在所述深度图中确定所述物体位于所述元件被配置成向其打开的所述空间内，确定所述物体将干涉所述元件向所述空间打开；以及根据在所述深度图中确定所述物体不位于所述元件被配置成向其打开的所述空间内，确定所述物体将不干涉所述元件向所述空间打开。另外或可替代地，所述元件包括车门，所述车门被配置成向车辆外部的交互空间打开。另外或可替代地，所述第一图像传感器安装在所述车门上，并且所述第二图像传感器安装在所述车辆的另一个车门上。另外或可替代地，生成所述深度图包括：当确定所述车辆将可能在某个时间阈值内停车时，生成所述深度图；以及当确定所述车辆将不可能在所述时间阈值内停车时，放弃生成所述深度图。另外或可替代地，生成所述深度图包括：确定所述车辆已停车时，生成所述深度图；以及当确定所述车辆未停车时，放弃生成所述深度图。另外或可替代地，所述第一图像传感器安装在原理所述第二图像传感器的第一距离处，并且所述深度图是基于所述第一距离生成的。另外或可替代地，所述第一图像传感器和第二图像传感器包括立体摄相机。另外或可替代地，所述方法能够进一步包括：生成与所述深度图相关联的置信值；以及对所述置信值与预定阈值进行比较。另外或可替代地，所述方法能够进一步包括：根据所述置信值低于所述预定阈值，在所述元件向所述空间打开之前使用超声波检测定位所述物体。另外或可替代地，所述方法能够进一步包括：根据所述置信值低于所述预定阈值，在所述元件向所述空间打开之前生成警告通知。另外或可替代地，所述方法能够进一步包括：当确定所述物体将干涉所述元件向所述空间打开时，阻止所述元件打开；以及当确定所述物体将不干涉所述元件向所述空间打开时，允许所述元件打开。另外或可替代地，所述方法能够进一步包括：检测使所述元件打开的用户输入；响应于检测到用户输入：当确定所述物体将干涉所述元件向所述空间打开时，使所述元件按照所述物体所允许的程度部分地向所述空间打开；以及当确定所述物体将不干涉所述元件向所述空间打开时，使所述元件完全地向所述空间打开。另外或可替代地，所述方法能够进一步包括：检测用户接近所述车辆；响应于检测到所述用户接近所述车辆：当确定所述物体将干涉所述元件向所述空间打开时，使所述元件按照所述物体所允许的程度部分地向所述空间打开；以及当确定所述物体将不干涉所述元件向所述空间打开时，使所述元件完全地向所述空间打开。

在一些实施例中，公开了一种系统。所述系统能够包括：一个或多个处理器；以及存储器，包含指令，当由所述一个或多个处理器执行时，所述指令使所述一个或多个处理器执行对包括基本上朝向侧方设置的第一图像传感器和第二图像传感器的车辆进行校准的方法。所述方法能够包括使所述车辆沿着组装线移动，从而使得所述第一图像传感器与位于所述车辆旁边的第一校准目标对准；使所述第一图像传感器捕捉所述第一校准目标的第一图像数据；以及基于所述第一图像数据计算校准参数。另外或可替代地，所述方法能够进一步包括：使所述车辆进一步沿着所述组装线移动，从而使得所述第二图像传感器与所述第一校准目标对准；以及使所述第二图像传感器捕捉所述第一校准图像的第二图像数据，其中，基于所述第二图像数据进一步计算所述校准参数。另外或可替代地，当所述第一图像传感器与所述第一校准目标对准时，所述第二图像传感器与位于所述车辆旁边的第二校准目标对准，所述方法进一步包括：使所述第二图像传感器捕捉所述第二校准图像的第二图像数据，其中，基于所述第二图像数据进一步计算所述校准参数。

然而已经参照附图充分地描述了本公开的示例，应当注意的是本领技术人员能够认识到各种明显变化和修改。这种变化和修改应当被认为被包括在所附权利要求书所限定的本公开的示例的范围内。