使用最小费用流网络的宽基线双目物体匹配方法
【专利摘要】一种使用最小费用流网络的宽基线双目物体匹配方法，包括捕获第一图像和第二图像，第一图像从第一摄像机装置捕获并且第二图像从第二摄像机装置捕获。多个图像应用于第一图像和第二图像并且确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用。确定各对应于第一图像与第二图像之间的图像块的选定的匹配对中的相应匹配对的多个匹配费用。基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径并且基于至少一个费用流路径跟踪目标物体。
【专利说明】使用最小费用流网络的宽基线双目物体匹配方法
【技术领域】
[0001]本公开涉及使用双目摄像机系统的物体检测和匹配。
【背景技术】
[0002]这部分的陈述主要提供关于本公开的背景信息。因此这些陈述并非旨在承认构成现有技术。
[0003]主动安全和驾驶员辅助系统(ASDAS)利用单目视觉系统作为检测目标物体诸如沿道路行进的前车辆的低费用解决方案。单目视觉系统基于平地的假设来估计深度。但是，当平地假设并不适用时，深度估计偏离其真实值。例如，当平地假设并不适用时，单目视觉系统可能将离目标物体的距离估计为比目标物体实际距离更远。
[0004]众所周知，例如，利用距离检测装置诸如雷达和激光雷达来检测目标物体的存在和离目标物体的距离。但是，这种距离检测装置费用较高，增加了配备ASDAS的车辆的价格。
[0005]还已知，例如，通过从两个捕获的图像(每个图像来自相应的摄像机装置)的视差图提取三维特征，且匹配关键点的稀疏集以利用立体成像方案来确定目标物体的存在。但是，这种立体成像方案具有深度不准确的缺点，这归因于两个摄像机装置之间的窄基线，因为深度准确度随深度以二次方降级。此外，当两个摄像机装置之间的基线增加时，可出现导致不能用的视差图的像素对应问题。
[0006]因此，需要改进使用立体成像而不提取三维特征(其需要使用视差图)的深度准确度。
【发明内容】
[0007]利用双目系统跟踪目标物体的方法包括:捕获第一图像和第二图像，第一图像从第一摄像机装置捕获，而第二图像从第二摄像机装置捕获。多个图像应用于第一图像和第二图像并且确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用。确定各与第一图像与第二图像之间的图像块的选定的匹配对中的相应匹配对相对应的多个匹配费用。基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径并且基于至少一个费用流路径跟踪目标物体。
[0008]本发明包括以下方案:
方案1.一种利用双目摄像机系统跟踪目标物体的方法，包括:
捕获第一图像和第二图像，第一图像从第一摄像机装置捕获，而第二图像从第二摄像机装置捕获；
将多个图像块应用到第一图像和第二图像中的每一个；
确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费
用；
确定各与第一图像与第二图像之间的图像块的匹配对中的相应匹配对相对应的多个选定匹配费用；
基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及
基于至少一个费用流路径跟踪目标物体。
[0009]方案2.根据方案I所述的方法，其中跟踪目标物体包括下列中的至少一个:
跟踪离目标物体的距离；以及
跟踪目标物体的速度。
[0010]方案3.根据方案I所述的方法，其中第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近。
[0011]方案4.根据方案I所述的方法，其中将多个图像块应用到第一图像和第二图像中的每一个包括:
将预定数量的图像块应用到第一图像和第二图像，每个图像块包括矩形框并且具有离散尺寸和位置。
[0012]方案5.根据方案4所述的方法，其中应用于第一图像的多个图像块中的每一个由第一图像的第一层和第一图像的第二层表示，并且应用于第二图像的多个图像块中的每一个由第二图像的第一层和第二图像的第二层表示。
[0013]方案6.根据方案5所述的方法,其中由相应第一层表不的应用于的第一图像的多个图像块中的每一个链结到源顶点并且由相应第二层表示的应用于第二图像的多个图像块中的每一个链结到沉顶点。
[0014]方案7.根据方案I所述的方法，其中确定各与应用于第一图像和第二图像的图像块的相应图像块相关联的多个检测费用包括:
应用包括多个判定边界的线性向量分类器到应用于第一图像和第二图像的图像块中的每一个，每个判定边界对应于可能的目标物体的相应视角；以及下列情况的一种:
当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用，以及 当线性向量分类器的量值至少为零时，确定与相应图像块相关联的正检测费用。
[0015]方案8.根据方案7所述的方法，还包括:
当确定了相关联的负检测费用时，将相应图像块指定为被占据；以及 当确定了相关联的正检测费用时，将相应图像块指定为未被占据。
[0016]方案9.根据方案7所述的方法，其中包括判定边界的向量分类器包括线性权向量和预定偏置检测阈值。
[0017]方案10.根据方案I所述的方法，其中第一图像与第二图像之间的图像块的选定匹配对中的相应匹配对如下来选择:
监视应用于第一图像和第二图像的图像块中的每一个的位置信息；
监视应用于第一图像和第二图像的图像块中的每一个的外观信息；
选择所述匹配对包括选择具有相关外观信息和相关位置信息的应用于第一图像的图像块中的选定图像块和应用于第二图像的图像块中的选定图像块。
[0018]方案11.根据方案10所述的方法，还包括
当应用于第一图像和第二图像的图像块中的选定图像块的每一个的监视的位置信息以小于预定位置阈值偏离时，认为图像块中的选定图像块的每一个之间的位置信息为相关的。
[0019]方案12.根据方案10所述的方法，还包括:
当应用于第一图像和第二图像的图像块中的选定图像块中每一个的监视的外观信息以小于预定外观阈值偏离时，认为图像块中的选定图像块中每一个之间的外观信息为相关的。
[0020]方案13.根据方案I所述的方法，其中确定各与第一图像与第二图像之间的图像块的选定匹配对中的相应匹配对相对应的多个匹配费用包括:
监视与每个选定匹配对相关联的图像块中的每一个的位置信息；
监视与每个选定匹配对相关联的图像块中的每一个的外观信息；
测量与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点；
测量与每个选定匹配对相关联的图像块中每一个之间的外观信息的相异点；以及基于与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点和外观信息的相异点来确定多个匹配费用。
[0021]方案14.根据方案I所述的方法，其中确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径包括:
监视从第一图像的源顶点到第二图像的沉顶点的多个费用流路径；
将每个费用流路径分段成多个运载单元，
每个运载单元包括下列之一:检测成本之一和匹配费用之一；
基于从每个相应费用流路径分段的每个运载单元的之和来确定每个费用流路径的总累积费用；以及
基于具有最低总累积费用的费用流路径来选择最少费用流路径。
[0022]方案15.根据方案11所述的方法，其中最少费用流路径包括负的总累积费用。
[0023]方案16.使用立体成像用于估计离前目标车辆的距离的方法，包括:
从安装于驾驶员侧A-柱附近的第一向前的摄像机装置捕获第一图像；
从安装于乘客侧A-柱附近的第二向前的摄像机装置捕获第二图像；
将预定数量的图像块应用于第一图像和第二图像的每一个，每个图像块包括矩形框并且具有离散尺寸和位置；
应用线性向量分类器到应用于第一图像和第二图像的图像块中的每一个来确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
选择图像块的匹配对，包括基于具有相关外观信和相关位置信息的应用于第一图像的图像块中选定图像块以及应用于第二图像的图像块中选定图像块；
确定各对应于图像块的选定匹配对中的相应匹配对的多个匹配费用；
基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径；以及
基于最小费用流路径估计前目标车辆的距离。
[0024]方案17.根据方案16所述的方法，其中应用线性向量分类器到图像块中的每一个包括下列之一:
当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用以及将相应图像块指定为被占据；以及 当线性向量分类器的量值至少为零时，确定与相应图像块相关联的正检测费用以及将相应图像块指定为未被占据。
[0025]方案18.根据方案16所述的方法，其中确定各对应于图像块的匹配对中的相应匹配对的多个匹配费用包括:
监视与每个选定匹配对相关联的图像块中的每一个的位置信息；
监视与每个选定匹配对相关联的图像块中的每一个的外观信息；
测量与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点；
测量与每个选定匹配对相关联的图像块中每一个之间的外观信息的相异点；以及基于与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点和外观信息的相异点来确定多个匹配费用。
[0026]方案19.根据方案16所述的方法，其中基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径包括:
监视从第一图像的源顶点到第二图像的沉顶点的多个费用流路径；
将每个费用流路径分段成多个运载单元，
每个运载单元包括下列之一:检测费用之一和匹配费用之一；
基于从每个相应费用流路径分段的每个装配单元的之和来确定每个费用流路径的总累积费用；以及
基于具有最低总累积费用的费用流路径选择最小费用流路径。
[0027]方案20.—种利用双目摄像机系统跟踪目标物体的设备，包括:
包括第一摄像机装置和第二摄像机装置的双目摄像机系统，第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近；以及
物体检测和匹配模块；
捕获第一图像和第二图像，第一图像从第一摄像机装置捕获并且第二图像从第二摄像机装置捕获；
将多个图像块应用于第一图像和第二图像的每一个；
确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费
用；
确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用；
基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及
基于至少一个费用流路径来跟踪目标物体。
【专利附图】
【附图说明】
[0028]现将参考附图以举例方式描述一个或多个实施例，其中:
图1示出根据本公开的单目摄像机装置和雷达装置的实验和导出数据，其描绘了在弯曲路面上离目标物体的距离测量；
图2示出根据本公开利用双目摄像机系统来跟踪目标物体的示例性主动安全驾驶员辅助系统(ASDAS)；
图3示出根据本公开的具有宽基线的示例性双目摄像机系统，其包括安装于源车辆挡风玻璃的第一端附近的第一摄像机装置和安装于源车辆挡风玻璃的第二端附近的第二摄像机装置；
图4示出根据本公开的从图3的第一摄像机装置捕获的第一图像和应用于第一图像的多个图像块；
图5示出根据本公开的从图3的第二摄像机装置捕获的第二图像和应用于第二图像的多个图像块；
图6示出根据本公开的图4的第一图像和图5的第二图像的示例性四层有向图，用来基于与图像块相关联的检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的费用流路径；
图7示出根据本公开的示例性四层有向图，其示出从第一图像的源顶点到第二图像的沉顶点的两个费用流路径；
图8示出根据本公开的来自第一摄像机装置、第二摄像机装置和双目摄像机系统的实验数据和导出数据，其描绘了根据每帧错误物体检测的漏失的物体检测；
图9示出根据本公开的来自第一摄像机装置、第二摄像机装置和双目摄像机系统的实验数据和导出数据，其描绘了根据每帧错误物体检测的多个物体检测精确度；
图10用曲线图示出根据本公开，来自单目摄像机装置、雷达装置和双目摄像机系统的实验数据和导出数据，其描绘了离目标物体距离的估计；以及
图11为根据本公开的利用双目摄像机系统来跟踪目标物体的示例性流程图。
【具体实施方式】
[0029]现参考附图，其中展示图只是出于示出某些示例性实施例的目的而不用于限制它们的目的，图1用曲线图示出根据本公开的来自单目摄像机装置和雷达装置的实验数据和导出数据的曲线100，其描绘了在弯曲路面上的离目标物体的距离测量。水平轴线表示以秒为单位的测试时间，而竖直轴线表示以米为单位的离目标物体的间距。曲线100描绘了使用单目摄像机装置估计的离目标物体的距离测量分布曲线102以及使用具有分米准确度的雷达装置的离目标物体的实际距离测量分布曲线104。使用雷达装置进行的目标物体检测可称作地面实况，其提供离目标物体的实际距离或尽可能接近准确距离的距离。应意识到违背了平地假设，因为目标物体是在弯曲路面上，且因此，由于违背平地假设，所以在估计距离测量分布曲线102与实际测量曲线图104之间存在显著偏差。
[0030]图2示出根据本公开的利用双目摄像机系统201和物体检测和匹配(ODM)模块200来跟踪目标物体的示例性主动安全驾驶员辅助系统(ASDAS) 250。ASDAS 250位于源车辆内。本公开不限于ASDAS 250所在的源车辆的部分或车厢。显然的是，当违背平地假设时，利用具有与示例性ODM模块200相关联的宽基线的双目摄像机系统201允许准确估计离目标物体的距离，而无需从视差图提取三维特征。跟踪目标物体可包括估计离前目标车辆的距离和估计前目标车辆的速度中的至少一个。
[0031]参考图3，示出了根据本公开的示例性双目摄像机系统具有宽基线310，包括第一摄像机装置302和第二摄像机装置304。第一摄像机装置302安装于源车辆挡风玻璃305的第一端307附近(例如，左侧)和驾驶员侧A-柱附近。因此，第一摄像机装置302可称作驾驶员侧摄像机装置。第二摄像机装置304安装于源车辆挡风玻璃305的第二端309的附近(例如，右侧)和乘客侧A-柱的附近。因此，第二摄像机装置304可称作乘客侧摄像机装置。因此，具有宽基线310的双目摄像机系统能提供立体成像以增加深度和距离估计的准确度。在示例性实施例中，宽基线310为大约两米。应意识到距离估计准确度分别随着第一摄像机装置302与第二摄像机装置304之间的基线310宽度增加而增加。第一摄像机装置320和第二摄像机装置304中的每一个分别被配置成捕获车辆前方的道路场景的相应图像，包括目标物体315，例如如在道路场景上行进的目标车辆。第一摄像机装置302和第二摄像机装置304分别可各被称作朝前摄像机装置。应意识到这里讨论的实施例可同样实施为使用两个朝后摄像机装置的双目摄像机系统。
[0032]示例性ODM模块200分别从双目摄像机系统201接收第一图像203和第二图像205。双目摄像机系统201包括第一个摄像机装置202和第二摄像机装置204。第一摄像机装置202可包括驾驶员侧摄像机装置和乘客侧摄像机装置之一，而第二摄像机装置204包括右侧摄像机装置和左侧摄像机装置中的另一个。第一图像203从第一摄像机装置捕获。为了简单起见，第一图像203对应于从包括驾驶员侧摄像机装置的第一摄像机装置捕获的驾驶员侧图像。第二图像205从第二摄像机装置捕获。为了简单起见，第二图像205对应于从包括乘客侧摄像机装置的第二摄像机装置捕获的乘客侧图像。在示例性实施例中，第一摄像机装置202对应于图3的第一摄像机装置302，而第二摄像机装置204对应于图3的第二摄像机装置304。
[0033]ASDAS 250包括双目摄像机系统201、ODM模块200和车辆控制模块230。ODM模块200包括图像块检测模块206、流网络模块212、费用模块216、费用流模块222和跟踪模块226。费用模块216还包括检测费用模块218和匹配费用模块220。跟踪模块226被配置成跟踪或估计离目标物体的距离227和/或目标物体的速度。车辆控制模块230配置成基于目标物体的跟踪来自动地或半自动地控制源车辆。例如，如果目标物体在预定距离内或低于预定速度行进，那么车辆控制模块230可发送制动请求来降低源车辆的速度。
[0034]控制模块、模块、控件、控制器、控制单元、处理器和类似术语表示下列中的任一个或者一个或多个的各种组合:(多个)专用集成电路(ASIC)、(多个)电子电路、(多个)中央处理单元(优选地(多个)微处理器)，和执行一个或多个软件或固件程序或例程的相关存储器和储存装置(只读、可编程只读、随机存取、硬驱动等)、(多个)组合逻辑电路、(多个)输入/输出电路和装置，适当信号条件和缓冲器电路以及提供所描述的功能的其它组件。软件、固件、程序、指令、例程、代码、算法和类似术语表示任何控制器可执行的指令集合，包括校准和查找表。控制模块具有通过执行来提供所需功能的控制例程。通过诸如中央处理单元来执行例程，并且例程可通过操作以监视自传感装置和其它联网的控制模块的输入，并且执行控制和诊断例程来控制致动器的操作。在正在进行发动机和车辆操作期间可以固定间隔执行例程，例如每3.125,6.25、12.5、25和100毫秒。
[0035]参考图4，示出第一图像203包括在源车辆前方的驾驶场景上的目标物体403 (例如，图3的目标物体315)。在示例性实施例中，第一图像203为从驾驶员侧摄像机装置捕获的驾驶员侧图像，驾驶员侧摄像机装置安装于源车辆挡风玻璃的驾驶员侧附近和驾驶员侧A-柱附近。参考图5，示出第二图像205包括在源车辆前方的驾驶场景上的目标物体415(例如，图3的目标物体315)。在示例性实施例中，第二图像205为从乘客侧摄像机装置捕获的乘客侧图像，乘客侧摄像机装置安装于源车辆挡风玻璃的乘客侧的附近和乘客侧A-柱的附近。
[0036]图像块检测模块206分别从双目摄像机系统201接收第一图像203和第二图像205。预定数量的图像块208应用于第一图像203且通过流网络模块212接收。同样，预定数量的图像块210应用于第二图像205且通过流网络模块212接收。这些图像块中的每一个指示关注的包含物体的候选物(例如，在本实施例中包括前目标车辆的目标物体)。在示例性实施例中，参看图4和图5，图像块检测模块206将多个图像块1、2、3、4、5分别应用于第一图像203和第二图像205中的每一个。因此，预定数量的图像块208对应于应用于在图4中示出的第一图像203的图像块1、2、3、4、5且预定数量的图像块210对应于应用于在图5中示出的第二图像205的图像块1、2、3、4、5。应用于第一图像203的每个图像块1、
2、3、4、5包括具有相对于第一图像203的离散尺寸和位置的矩形框，且应用于第二图像205的每个图像块1、2、3、4、5包括具有相对于第二图像205的离散尺寸和位置的矩形框。应意识到相同预定数量的图像块将分别应用于第一图像203和第二图像205中的每一个。每个图像块1、2、3、4、5可称作物体候选物。参考检测费用模块218在下文中更详细讨论，基于图像块1、2、3、4、5中的每一个的检测费用，图像块中的每一个可被指定为被目标物体占据或不被目标物体占据之一。为了确定图像块是否被目标物体占据或不被目标物体占据中的一种情况，可比较每个图像块与考虑到例如客车的目标物体的视角的目标模板。例如，可比较每个图像块与表示客车不同视角的六个模板之一。
[0037]流网络模块212接收应用于第一图像203的预定数量的图像块208和应用于第二图像205的预定数量的图像块210。流网络模块212基于与图像块相关联的检测费用和匹配费用生成四层有向图214来最终确定从第一图像的源顶点到第二图像的沉顶点的费用流路径。
[0038]参考图6，四层有向图214包括第一图像203，第一图像203具有包括第一层601和第二层602的两层。四层有向图214还包括第二图像205，第二图像205具有包括第三层603和第四层604的两层。对于第一层601的所有可能图像块，应用于第一图像203的图像块208将被列举为1_1、1_2、1-3、1-4、1-5。因此，所列举的图像块1_1、1_2、1-3、1-4、1-5为第一层601的顶点并且分别对应于应用于图4中示出的第一图像203的图像块1、2、3、4、5中的相应图像块。对于第二层602的所有可能图像块而言，应用于第一图像203的图像块208还被列举为2-1、2-2、2-3、2-4、2-5。因此，所列举的图像块2-1、2-2、2-3、2-4、2-5为第二层602的顶点。第二层602被认为是第一层601的阴影，且因此，第二层602包括与第一层601相同的结构。因此，应用于第一图像203的多个图像块1、2、3、4、5中的每一个由第一图像203的第一层601和第二层602表示。第一层601和第二层602中的每一个的相应所列举的图像块之间的弧分别表示检测费用ξα610。例如，检测费用ζα610由在1-1与
2-1、1-2与2-2、1-3与2-3、1-4与2_4以及1_5与2_5之间的弧中的每一个确定。换言之，确定各与应用于第一图像203的图像块中的相应图像块相关联的多个检测费用ζ α610。在下文参考费用模块216更详细讨论确定检测费用ζα610。
[0039]对于第三层603的所有可能图像块，应用于第二图像205的图像块210被列举为
3-1、3-2、3-3、3-4、3-5。因此，所列举的图像块3-1、3-2、3-3、3-4、3_5为第三层603的顶点并且分别对应于应用于图5中示出的第二图像205的图像块1、2、3、4、5的相应图像块。对于第四层604的所有可能图像块，应用于第二图像205的图像块210被进一步列举为4_1、
4-2、4-3、4-4、4-5。因此，所列举的图像块4-1、4-2、4-3、4-4、4_5为第四层604的顶点。第四层604被认为是第三层603的阴影，且因此，第四层604包括与第三层603相同的结构。因此，应用于第二图像205的多个图像块1、2、3、4、5中的每一个由第二图像205的第三层603和第四层604表示。第三层603和第四层604中的每一个的相应所列举的图像块之间的弧分别表示检测费用ζ e620。例如，检测费用ζ ,620由在3-1与4-1、3-2与4_2、3_3与4-3、3-4与4-4以及3-5与4_5之间的弧中的每一个来确定。换言之，确定各与应用于第二图像205的图像块中的相应图像块相关联的多个检测费用ζ062Ο。在下文参考费用模块216更详细讨论确定或计算检测费用ζ 0620。
[0040]由第二层602和第三层603表示的所列举的图像块之间的附随的弧分别表示应用于第一图像203的图像块与应用于第二图像205的图像块之间的可能匹配。μ α063Ο表示应用于第一图像203的图像块与应用于第二图像205的图像块之间的可能匹配的费用。例如，匹配费用μ α e630由2-2与3_2、2_3与3_2、2_3与3_3、2_3与3-4以及2-4与3-2之间的弧中的每一个来确定。换言之，确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用。在下文中参考费用模块216将更详细讨论确定或计算匹配费用μ α063Ο。
[0041]由第一层601表示的应用于第一图像203的多个图像块1_1、1_2、1_3、1_4、1_5中的每一个链结到源顶点O。到源顶点O的每一个链路的成本为零，如由虚线所示。由第四层604表示的应用于第二图像205的多个图像块4-1、4-2、4-3、4-4、4-5中的每一个链结到沉顶点50。到沉顶点50的每一个链路的成本为零,如由虚线所示。
[0042]参考图2和图6，四层有向图214输入至费用模块216。费用模块216包括检测费用模块218和匹配费用模块22`0。检测费用模块218确定分别应用于第一图像203和第二图像205的图像块208和210中的每一个的检测费用219。显然，基于相应图像块的检测费用，可以检测在图像块内目标物体的存在(例如，图像块被占据)。图6所示的检测费用ζ α610和ζ 0620由输入到费用流模块222的检测费用219表示。
[0043]检测费用模块218可包括线性支持向量机(SVM)，其被训练为基于每个图像块的检测费用219来确定应用于第一图像和第二图像的每个图像块是否被占据或未被占据中的一种情况。SVM将线性向量分类器应用于用于第一图像和第二图像的图像块中的每一个。在示例性实施例中，线性向量分类器应用于图像块1、2、3、4、5中的每一个，图像块1、2、3、
4、5分别应用于在图4和图5中示出的第一图像203和第二图像205。线性分类器包括多个判定边界。每个判定边界对应于可能的目标物体的相应视角。例如，可能的目标物体的视角可包括车辆的边缘。判定边界可包括线性权向量和预定偏置检测阈值。线性向量分类器应用到用于第一图像的图像块中的每一个来确定与分别应用于第一图像203和第二图像205的图像块中的相应图像块相关联的检测费用219，可表达如下:
【权利要求】
1.一种利用双目摄像机系统跟踪目标物体的方法，包括: 捕获第一图像和第二图像，第一图像从第一摄像机装置捕获，而第二图像从第二摄像机装置捕获； 将多个图像块应用到第一图像和第二图像中的每一个； 确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用； 确定各与第一图像与第二图像之间的图像块的匹配对中的相应匹配对相对应的多个选定匹配费用； 基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及 基于至少一个费用流路径跟踪目标物体。
2.根据权利要求1所述的方法，其中跟踪目标物体包括下列中的至少一个: 跟踪离目标物体的距离；以及 跟踪目标物体的速度。
3.根据权利要求1所述的方法，其中第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近。`
4.根据权利要求1所述的方法，其中将多个图像块应用到第一图像和第二图像中的每一个包括: 将预定数量的图像块应用到第一图像和第二图像，每个图像块包括矩形框并且具有离散大小和位置。
5.根据权利要求4所述的方法，其中应用于第一图像的多个图像块中的每一个由所述第一图像的第一层和第一图像的第二层表示，并且应用于第二图像的多个图像块中的每一个由第二图像的第一层和第二图像的第二层表示。
6.根据权利要求5所述的方法，其中由所述相应第一层表示的应用于的第一图像的多个图像块中的每一个链结到源顶点并且由相应第二层表示的应用于第二图像的多个图像块中的每一个链结到沉顶点。
7.根据权利要求1所述的方法，其中确定各与应用于第一图像和第二图像的图像块的相应图像块相关联的多个检测费用包括: 应用包括多个判定边界的线性向量分类器到应用于第一图像和第二图像的图像块中的每一个，每个判定边界对应于可能的目标物体的相应视角；以及下列情况的一种: 当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用，以及 当线性向量分类器的量值至少为零时，确定与相应图像块相关联的正检测费用。
8.根据权利要求7所述的方法，还包括: 当确定了相关联的负检测费用时，将相应图像块指定为被占据；以及 当确定了相关联的正检测费用时，将相应图像块指定为未被占据。
9.使用立体成像用于估计离前目标车辆的距离的方法，包括: 从安装于驾驶员侧A-柱附近的第一向前的摄像机装置捕获第一图像； 从安装于乘客侧A-柱附近的第二向前的摄像机装置捕获第二图像； 将预定数量的图像块应用于第一图像和第二图像的每一个，每个图像块包括矩形框并且具有离散尺寸和位置； 应用线性向量分类器到应用于第一图像和第二图像的图像块中的每一个来确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用； 选择图像块的匹配对，包括基于具有相关外观信和相关位置信息的应用于第一图像的图像块中选定图像块以及应用于第二图像的图像块中选定图像块； 确定各对应于图像块的选定匹配对中的相应匹配对的多个匹配费用； 基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径；以及 基于最小费用流路径估计前目标车辆的距离。
10.一种利用双目摄像机系统跟踪目标物体的设备，包括: 包括第一摄像机装置和第二摄像机装置的双目摄像机系统，第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近；以及 物体检测和匹配模块； 捕获第一图像和第二图像，第一图像从第一摄像机装置捕获并且第二图像从第二摄像机装置捕获； 将多个图像块应用于第一图像和第二图像的每一个； 确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用； 确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用； 基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及 基于至少一个费用流路径来跟踪目标物体。
【文档编号】G06K9/62GK103530868SQ201310265291
【公开日】2014年1月22日 申请日期:2013年6月28日 优先权日:2012年6月28日
【发明者】S.曾 申请人:通用汽车环球科技运作有限责任公司