多目相机系统、智能驾驶系统、汽车、方法和存储介质与流程

本发明属于相机技术领域，特别涉及一种大视角、小盲区的多目相机系统、智能驾驶系统、汽车、方法和存储介质，该多目相机系统特别适合用于智能驾驶系统。

背景技术：

立体相机为了准确测量距离，通常采用畸变较小的长焦距镜头光学系统，导致立体相机覆盖的视角较小，盲区较大。而广角相机通常畸变较大，难以准确测量距离。

现有技术中还没有一种大视角小盲区且能精准测距的相机。

技术实现要素：

针对现有技术的不足，本申请提供大视角小盲区的相机。

根据本发明的一个方面，提供了一种多目相机系统，可以包括：广角相机；立体相机，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；和图像分析处理器，其能够接收所述广角相机捕获的图像和所述立体相机捕获的图像，并且对捕获的图像执行以下操作：对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

进一步地，根据上述多目相机系统，所述立体相机的视野范围完全被广角相机的视野范围覆盖。

进一步地，根据上述多目相机系统，所述图像分析处理器进一步执行以下操作：对于处于广角相机视野内但在立体相机视野范围外的区域，通过对广角相机捕获的图像进行处理，捕捉并跟踪目标；以及当所述目标进入立体相机的视野范围时，对所述立体相机捕获的图像中的目标进行距离检测，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

进一步地，根据上述多目相机系统，所述图像分析处理器还可操作来：根据距离检测所检测到的距离，进行以下控制中的至少一种：刹车；换道。

进一步地，上述多目相机系统还包括：对广角相机和立体相机进行标定，获得立体相机的内参、广角相机的内参、以及外参，外参包括立体相机的位置关系以及立体相机和广角相机之间的位置关系。

进一步地，根据上述多目相机系统，还包括：在预定情形发生时，重新进行标定。

进一步地，根据上述多目相机系统，所述预定情形包括以下项中的至少一种或者其组合：距上一次标定过去了预定时间；立体相机、广角相机中任一个的方位发生改变；周围事物的情景发生超出预定阈值的改变。

进一步地，根据上述多目相机系统，包括多个立体相机，每个立体相机的视野范围与所述广角相机的视野范围内的不同区域重叠。

进一步地，根据上述多目相机系统，还包括输出设备，其输出所述图形分析处理器获得的广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

进一步地，根据上述多目相机系统，其中所述多目相机系统可旋转和/或可升降。

进一步地，根据上述多目相机系统，其中所述立体相机安装在旋转器上，其能够独立于广角相机产生0-45°的偏转角度。

进一步地，根据上述多目相机系统，其中所述立体相机包括左目相机模组和右目相机模组，所述立体相机产生双目图像。

进一步地，根据上述多目相机系统，其中所述广角相机与立体相机是一体式结构，所述广角相机设置于所述左目相机模组和所述右目相机模组之间。

进一步地，根据上述多目相机系统，其中在对所述广角相机捕获的图像进行目标检测之前，还包括：用标定的内参和外参对广角相机捕获的图像进行去畸变；以及在所述“对所述立体相机捕获的图像进行距离检测”之前，还包括：用标定的内参和外参对立体相机捕获的图像进行去畸变。

进一步地，根据上述多目相机系统，其中所述“对所述立体相机捕获的图像进行距离检测”包括：用立体匹配算法对捕获的图像进行匹配，获得对应像素在图像中的距离差；通过立体相机的内参和外参计算出至少一个捕获的图像中各个像素的距离。

进一步地，根据上述多目相机系统，所述的时间同步和匹配校准进一步包括以下步骤中的一个或者多个：对所述广角相机捕获的图像和所述立体相机捕获的图像的时间戳进行比较，确定是在同一时刻捕获的图像；根据广角相机和立体相机的外参来将图像配准到一个坐标系下；把从所述广角相机捕获的图像中识别的目标像素坐标映射到从所述立体相机捕获的图像中获得的距离中，得到目标的距离。

根据本发明另一方面，还提供了一种智能驾驶系统，其包括上述多目相机系统。

根据本发明另一方面，还提供了一种智能驾驶汽车，其采用上述智能驾驶系统。

根据本发明另一方面，还提供了一种智能驾驶汽车获得目标距离的方法，包括：由车载广角相机捕获图像；由车载立体相机捕获图像，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

进一步地，根据上述多目相机系统，所述立体相机的视野范围完全被广角相机的视野范围覆盖，所述方法还包括：对于处于广角相机视野内但在立体相机视野范围外的区域，通过对广角相机捕获的图像进行处理，捕捉并跟踪目标，以及当所述目标进入立体相机的视野范围时，对所述立体相机捕获的图像中的目标进行距离检测，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

根据本发明另一方面，还提供了一种计算机存储介质，存储有计算机可执行指令，所述指令当被处理器执行时，可操作来执行下述方法：获得由车载广角相机捕获的图像；获得由车载立体相机捕获的图像，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。本申请的多目相机系统兼具广角相机视野宽的优点和多目相机测距准确的优点，特别适合用于智能驾驶系统，为智能驾驶系统提供最优的辅助信息。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1示出了本发明一个实施例的多目相机的结构示意图。

图2示出了根据本发明一个实施例的图像分析处理器30的示例性功能性结构框图。

图3示出了根据本发明实施例的图像分析处理器30执行的图像分析处理方法200的总体流程图。

图4示出了图3所示的步骤s230一个具体实施方法的流程图。

图5示出了根据本发明实施例的具有预判功能的图像处理方法300的流程图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本申请中的术语除非在本申请中具有明确定义，否则具有本领域技术人员通常理解的含义。

立体匹配算法是计算机视觉中的一种常用技术，其目标是从二维图像或图像序列中获取对外部世界的认识和理解，即利用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与连接。可用于本申请中的立体匹配算法没有特别限制，只要能够满足具体场合的需要即可。现有技术中存在多种立体匹配算法，比如局部约束算法(其包括特征匹配算法、相位匹配算法等)和全局约束算法(其包括动态规划算法、图割算法、人工智能算法等等)等。

在使用相机进行目标识别之前，需要进行相机的标定。相机标定主要解决的是从世界坐到相机坐标，再到成像坐标之间的投影矩阵关系。在对相机标定的过程中，需要使用到相机的“内参(即内参数)”和“外参(外参数)”。内参数的意义包括图像从相机坐标系到像平面坐标系的变换参数以及拍摄图片时的畸变系数，外参数体现在多镜头的情况下，各镜头之间的位置关系的。相机内参涉及相机镜头的畸变参数，包括径向畸变和切线畸变甚至有棱镜畸变。相机外参可以包括三维位置的移动和三相旋转参数。

长焦镜头：长焦距镜头是指比标准镜头的焦距长的摄影镜头。一般而言，焦距大于60mm的镜头即可称为长焦镜头。长焦距镜头分为普通远摄镜头和超远摄镜头两类。普通远摄镜头的焦距长度接近标准镜头，而超远摄镜头的焦距却远远大于标准镜头。以135照相机为例，其镜头焦距从85毫米—300毫米的摄影镜头为普通远摄镜头，300毫米以上的为超远摄镜头。

广角镜头：广角镜头是一种焦距短于标准镜头、视角大于标准镜头、焦距长于鱼眼镜头、视角小于鱼眼镜头的摄影镜广角镜头。一般而言，视角为60°以上的镜头即可称为广角镜头。

在本申请中，术语“物体”和“目标”当用来描述图像中的实体时，具有相同的含义，可以互换使用。

智能驾驶系统，本文中的智能驾驶系统主要包括传感器(广义，包括视觉传感器、雷达、超声波传感器、红外线传感器)以及控制系统，控制系统接收传感器的输入，经过分析、处理，做出决策，并发出控制指令，控制系统例如包括处理器(例如cpu)和存储器。

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1是本发明一个实施例的多目相机系统的结构示意图。

如图1所示，所述多目相机装置包括：广角相机10、立体相机20和图像分析处理器30。根据本发明的优选应用，多目相机系统搭载于自动驾驶汽车上，具体地，广角相机10和立体相机20搭载于汽车的前上方，以便拍摄汽车的前方情况。

根据本发明实施例，广角相机10的视野范围大于立体相机20的视野范围，所述立体相机的视野范围与所述广角相机的视野范围存在重叠。优选地，立体相机的视野范围完全落入广角相机的视野范围之内。

广角相机10具有较宽广的视角，在有限距离内能够容纳较多的景物范围，也能进行粗略的物体定位。立体相机20视野范围较窄，但是对于其视野范围内的物体，能够进行相对精准的定位。

作为立体相机的例子，有双目相机，tof相机，结构光相机等。

图1中示出了双目相机作为立体相机的示例，双目相机20包括左目相机模组202和右目相机模组203，设置于在立体相机支架201上，分别捕获得到左图像和右图像，左图像和右图像可以传送到图像分析处理器30，由图像分析处理器进行畸变矫正、距离信息计算等操作。

双目相机是立体相机中最常见的一种形式，也更加节约成本，在多目相机系统中使用双目相机的左目相机模组和右目相机模组是比较有利的。

立体相机优选采用畸变较小的长焦距镜头光学系统。

下文实施例中以将多目相机系统搭载于自动驾驶汽车上，以及双目相机作为立体相机的例子来进行描述。

广角相机10、立体相机20将图像信息传输至图像分析处理器30，图像分析处理器30将广角相机10传输的图像进行畸变校正，并采用目标检测算法对广角相机视野范围内的场景进行目标检测，同时图像分析处理器30对立体相机20视野范围内的物体进行距离检测，以及对广角相机捕获的图像和立体相机捕获的图像进行时间同步和匹配校准处理。

图像分析处理器30可以为例如专用计算装置或通用计算装置，可以具有中央处理单元和存储器，存储器中存储有计算机可执行指令，计算机可执行指令可加载入内存由中央处理器执行，图像分析处理器也可以为由分布式组件协作的装置，例如部分部件可以在云端，甚至部分功能部件物理上可以集成到立体相机20和/或广角相机10中，例如去畸变、距离计算、相机标定等。

示例性，立体相机和广角相机各自独立地与图形分析处理器之间通过无线连接或者通过有线连接传输。立体相机或广角相机与图形分析处理器之间的连接方式是本领域技术人员根据需要可以进行选择的，各自的优缺点是本领域技术人员根据需要能够权衡的。

在图1所示示例中，广角相机和立体相机是一体式结构，其中立体相机包括左目相机模组和右目相机模组，广角相机设置于所述左目相机模组和右目相机模组之间。不过，替代地，广角相机与立体相机可以是分体式结构。所谓的广角相机和立体相机是一体式结构表示多目相机是一体的，不可拆分；相对比地，广角相机和立体相机是分体式结构表示两者可以拆分。

在一些示例中，多目相机系统是固定的。在另外一些示例中，多目相机系统是整体可旋转的，例如在拐弯的时候向需要拐弯的方向旋转。所述多目相机系统整体可旋转例如可以通过将多目相机系统安装在旋转器上来实现。在另一些示例中，多目相机是可升降的，例如通过将多目相机系统安装可升价机构上来实现。通过使得多目相机系统可旋转和/或可升降，使得多目相机系统的视野范围可视需要灵活调整。

在图1所示示例中，多目相机系统包括一个立体相机。不过此仅为示例，在另外的示例中，多目相机系统可以包括多个立体相机，每个立体相机的视野范围与广角相机的视野范围内的不同区域重叠。

在图1所示的示例中，多目相机系统包括一个广角相机。不过此仅为示例，在其它示例中，多目相机系统可以包括多个广角相机，优选地，不同广角相机覆盖不同的视野范围，不同广角相机视野范围之间可以有重叠。

在一些示例中，多目相机系统还可以包括输出设备，其输出图形分析处理器获得的广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。当多目相机系统安装于智能驾驶系统用来进行目标探测时，这些信息对于智能驾驶系统来说，是用来执行自动驾驶的参考信息。此时，其输出设备与智能驾驶系统的输入设备连接，或者说智能驾驶系统从该输出设备获取信息。

在一些示例中，立体相机可以安装在旋转器上，其能够独立于广角相机产生0-45°的偏转角度，从而使得立体相机的视野能够发生变化。这样的多目相机系统更加适合用于智能驾驶系统。在汽车转弯的情况下，立体相机如果能够发生偏转，那么能够比较好地检测弯道上的目标情况，从而更加有利于智能驾驶系统做出正确的驾驶决策。

图2示出了根据本发明一个实施例的图像分析处理器30的示例性功能性结构框图。

如图2所示，图像分析处理器30包括：相机标定器31、广角相机图像处理器32、立体相机图像处理器33和图像配准器34。

相机标定器31对该多目相机进行标定，获得所述多目相机的内参和外参。其中所述内参包括立体相机的内参和广角相机的内参，外参包括立体相机的外参以及立体相机和广角相机之间的外参。

广角相机图像处理器32根据广角相机的内参对广角相机捕获的图像进行去畸变处理，并进行目标检测。

立体相机图像器33根据立体相机的内参和外参对立体相机捕获的图像进行去畸变处理，并执行距离检测算法，获得图像像素的距离信息。

图像配准器34将广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而基于广角相机视野范围内的目标识别信息，来得到目标的距离信息。

下面参考附图具体描述图像分析处理器30执行的处理示例。

图3示出了根据本发明实施例的图像分析处理器30执行的图像分析处理方法200的总体流程图。

首先需要说明的是，在多目相机系统工作之前，要进行一些初始化操作，包括对广角相机和立体相机进行标定，获得立体相机的内参、广角相机的内参、以及外参。在立体相机为双目相机情况下，立体相机的内参包括双目相机中的左目相机和右目相机每个的内参；外参包括与左目相机和右目相机之间的位置关系相关的外参，以及与立体相机与广角相机之间的位置关系相关的外参。内参为图像的去畸变处理所需，外参为图像之间的配准所需。本发明实施例的标定包括立体相机自身的标定、广角相机自身的标定，以及立体相机和广角相机之间关系的标定。立体相机的标定包括内参(镜头畸变)和外参(两个接受目之间的位置关系或发送目和接受目之间的位置关系)，而立体相机和广角相机的标定涉及二者之间的位置关系。

除了初始化之时进行标定外，优选地，在预定情形发生时，要对相机系统进行重新标定。例如预定情形包括以下项中的至少一种或者其组合：距上一次标定过去了预定时间；立体相机、广角相机中任一个的方位发生改变；周围事物的情景发生超出预定阈值的改变。

图3的流程图假定有关的标定已经完成，且图像分析处理器已经获得了广角相机捕获的图像和立体相机捕获的图像。

在步骤s210中，对所述广角相机捕获的图像进行目标检测，获得目标的像素坐标。

例如，经由图像处理检测图像中的行人和/或车辆。有关检测算法可以使用常用的目标识别算法，例如神经网络、svm等，此非本发明要点，这里省略对其的详细说明。

在步骤s220中，对所述立体相机捕获的图像进行距离检测，获得各个像素的距离。

具体地，作为实现示例，对所述立体相机捕获的图像进行距离检测，获得各个像素的距离可以包括：用立体匹配算法对捕获的图像进行匹配，获得对应像素在图像中的距离差；通过立体相机的内参和外参计算出至少一个捕获的图像中各个像素的距离。

例如，对于立体相机为双目相机的情况，用立体匹配算法对于左目图像和右目图像进行匹配，获得对应像素在图像中的距离差；然后基于左目相机和右目相机的内参和外参，来计算得到左目图像和右目图像中至少一个，例如以左目图像作为参考图像情况下，左目图像中的各个像素的距离，此距离表征像素对应的物理点距双目相机的距离信息。

有关立体匹配算法和距离计算方法均可以使用本领域惯用技术，此非本发明要点，这里不再赘述。

另外需要说明的是，关于步骤s210中对广角相机捕获的图像的处理和步骤s220中对立体相机捕获的图像的处理，两者之间可以独立进行，对于相互之间顺序没有特别要求，例如，可以串行、并行或者任意组合顺序进行。

在步骤s230中，将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

图4示出了图3所示的步骤s230的一个具体实施方法的流程图。

在步骤s231中，对所述广角相机捕获的图像和所述立体相机捕获的图像的时间戳进行比较，确定是在同一时刻捕获的图像。

在本申请中，同一时刻捕获的图像是指两幅图像的捕获时间差小于一定的阈值(如50ms)。比如如果立体相机图像的捕获时间为t1，广角相机图像的捕获时间为t2，那么只需要|t1-t2|<50ms即认为两幅图像是在同一时刻捕获的，即可进行后续的操作。

在步骤s232中，根据多目相机的外参来将广角相机捕获的图像和立体相机捕获的图像配准到一个坐标系下。

在步骤s233中，把从所述广角相机捕获的图像中识别的目标像素坐标映射到从所述立体相机捕获的图像中获得的距离中，得到目标的距离。

回到图3，在完成步骤s230的处理之后，就获得了目标的距离信息。这样的目标距离信息可以输出给自动驾驶汽车的智能驾驶系统，智能驾驶系统根据该距离信息，进行决策，并对于动作执行机构发出指令，例如指令进行刹车、换道或者给出报警等等。

根据本发明另一实施例，广角相机视野范围完全覆盖立体相机视野范围，以及充分利用广角相机视野宽广的优势，预测目标的运动趋势，在目标进入立体相机视野的瞬间，通过立体相机图像和广角相机图像配准，来迅速确定目标的距离，并将确定的距离提供给智能驾驶系统，来进行决策。

下面结合图5来描述根据本发明实施例的具有预判功能的图像处理方法300。

如图5所示，在步骤s310中，对于处于广角相机视野内但在立体相机视野范围外的区域，通过对广角相机捕获的图像进行处理，捕捉并跟踪物体，并预测该物体的运动趋势。

根据广角相机和立体相机的内参和外参，能够确定广角相机捕获的图像中哪些区域在立体相机的视野范围之外，对于这些区域，可以捕捉并跟踪物体，并预测该物体的运动趋势。

可以使用图像处理领域的运动对象识别和跟踪技术来实现对物体的捕捉、跟踪、运动趋势预测。

在步骤s320中，对所述立体相机捕获的图像进行距离检测，获得各个像素的距离。步骤s320的实现与图3所示的步骤s220类似，这里不再赘述。

在步骤s330中，判断物体正进入立体相机的视野范围。如果是，前进到步骤s330，否则回到步骤s310中。

在步骤s340中，将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

更具体地，作为示例，基于跟踪物体技术所估计的物体的运动方向和运动速度，能够确定物体大概何时进入立体相机的视野范围，则可以在估计的进入立体相机的视野范围时刻(或稍微提前一点儿时间)，对广角相机图像中物体进入立体相机视野范围的部分进行确定，然后将广角相机图像和立体相机图像进行同步和配准，接下来针对物体进入立体相机视野范围的部分来确定距离信息。

由此，能够第一时间获知一个跟踪对象的精准距离信息，此时该跟踪对象例如前方人或车辆刚刚进入立体相机视野范围(很可能已进入或即将进入搭载立体相机的本车辆的车道中)，立刻知道其距离信息，能够据此判断本车与目标之间是否处于安全距离、是否有必要采取行动措施。

根据本发明另一方面，还提供了一种智能驾驶系统，其包括上述多目相机系统，智能驾驶系统作为智能驾驶汽车的大脑，利用多目相机系统提供的目标识别信息和距离信息，来做出智能驾驶决策，并向驾驶执行部件发出控制指令。

根据本发明另一方面，还提供了一种智能驾驶汽车，其采用上述智能驾驶系统。

根据本发明另一方面，还提供了一种智能驾驶汽车获得目标距离的方法，包括：由车载广角相机捕获图像；由车载立体相机拍摄图像；通过所述广角相机捕获的图像进行目标检测，获得目标的像素坐标；通过所述立体相机捕获的图像进行距离检测，获得各个像素的距离；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

根据本发明另一方面，还提供了一种计算机存储介质，存储有计算机可执行指令，所述指令当被处理器执行时，可操作来执行下述方法：获得由车载广角相机捕获的图像；获得由车载立体相机捕获的图像；通过所述广角相机捕获的图像进行目标检测，获得目标的像素坐标；通过所述立体相机捕获的图像进行距离检测，获得各个像素的距离；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

本公开的多目相机系统结合了广角相机的大视角、小盲区的优点和立体相机的精准测距的优势，能够跟踪目标的运动，预测目标的运动趋势，并迅捷给出可能影响本车驾驶的目标的距离信息，特别适合于智能驾驶系统的驾驶决策和控制。

本申请所述的多目相机系统特别适合于智能驾驶系统中用于目标的识别，其既能够识别大范围内的目标，又能够识别重点范围内的目标距离，能够为智能驾驶系统提供较好的输入数据。因此，本申请还提供一种智能驾驶系统，其包括任一项以上所述的多目相机系统。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。