一种快速视差图像计算方法及装置的制造方法
【技术领域】
[0001] 本申请设及图像处理技术，尤其设及一种快速视差图像计算方法及装置。
【背景技术】
[0002] 随着多媒体、Internet等技术的深入发展，普通二维模式图像/视频越来越无法 满足人们的需求。近年来，=维（3D)图像的使用更加频繁。人们在观看3D电影时可W获 得2D电影难W企及的立体视觉体验。除了在影视方面的应用，接近真实场景的=维信息已 慢慢开始在其他各个领域被使用到，尤其是在视频监控领域，立体视觉系统能够更加有效 的定位、分辨或者跟踪被监测的目标。常见的监控业务中，如车辆、行人的检测或跟踪，立维 的视频信息能够表现出明显优越于二维信息的效果。
[0003] 视差信息是立体视觉系统的基础，故获取视差信息的视差算法作为立体视觉的关 键成为计算机视觉领域研究的热点。视差估计的基本原理是利用从两个视点观察同一场景 获取的立体像图化W其中一个视点的图像作为基准，匹配出两幅图像中的对应像点，从而 估计参考视图中每一像素点的视差。根据使用的约束信息的不同，可W将视差估计算法分 为两类：
[0004] 1)局部匹配算法，该类方法利用的是对应点本身W及邻近的局部区域的约束信 息，局部算法的优点是效率高，但在遮挡区域、边界区域W及缺失纹理的区域会产生较大的 误差。根据匹配特征和匹配方式的不同，局部匹配算法主要分为基于特征的方法和基于区 域的方法。基于特征的方法具有较好的抗干扰性能，但它只能获得稀疏的视差场，要得到稠 密的视差场必须辅之W复杂的插值过程。区域法能产生稠密的视差场，算法简单、有效、易 于实现，缺点是精度不高，易受噪声的影响。然而该方案计算速度较快，但需要依赖于一个 初始的视差估计，如果初始估计错误比较明显，则动态规划之后效果也不够理想
[0005] 2)全局匹配算法，该类方法利用了图像的全局约束信息，在整个图像上定义一个 包含数据误差、光滑程度W及遮挡在内的能量函数，把问题转化成优化问题来解决，全局算 法对局部图像的模糊不敏感，但是它的计算代价很高。全局匹配算法包括基于置信等级传 播的算法、基于动态规划的算法和基于遗传算法的方法等，目前都难W做到实时生成视差 图像。该方案计算精度较高，但算法对性能要求很高，在视频监控的领域当中，很难做到实 时产生全图视差。与普通影视应用不同的是，在监控领域，观察者经常需要看到实时的=维 视频。处理速度慢在监控等专业领域可能是无法被用户接受的。
【发明内容】
[0006] 有鉴于此，本申请提供一种快速视差图像计算装置，应用于图像处理设备上，所述 装置包括：
[0007] 背景差分单元，用于将双目摄像机输出的时间上相互对应的一对原始图像分别进 行背景差分处理获得一对背景图像W及一对前景图像；
[000引背景视差单元，用于按照预设的第一视差算法基于一对背景图像生成背景视差图 像；
[0009] 前景视差单元，用于按照预设的第二视差算法基于一对前景图像生成前景视差图 像；
[0010] 图像整合单元，用于将前景视差图像与当前背景视差图像整合为完整的视差图 像。
[0011] 本申请还提供一种快速视差图像计算方法，应用于图像处理设备上，该方法包 括：
[0012] 将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获 得一对背景图像W及一对前景图像；
[0013] 按照预设的第一视差算法基于一对背景图像生成背景视差图像；
[0014] 按照预设的第二视差算法基于一对前景图像生成前景视差图像；
[0015] 将前景视差图像与当前背景视差图像整合为完整的视差图像。
[0016] 相较于现有技术，本申请可W大幅度提升完整视差图像计算的实时性，对监控等 专业应用市场来说技术意义尤为突出。
【附图说明】
[0017] 图1A是一个例子中图像处理设备的结构图。
[0018] 图1B是一个例子中快速视差图像计算装置结构图。
[0019] 图2是本申请一个例子中快速视差图像计算方法流程图。
[0020] 图3是本申请一个例子中背景视差图像计算过程示意图。
[0021] 图4是本申请一个例子中针对前景图像的扫描示意图。
[0022] 图5是本申请另一个例子中针对前景图像扫描的示意图。
[0023] 图6是本申请一个例子中针对差生相反突变情况下的视差计算示意图。
【具体实施方式】
[0024] 在描述本申请提供的技术方案之前，先对后续需要使用到的相关概念进行简要说 明。
[0025] 双目摄像机；通常包括两个光轴平行，标称的焦距及其它参数相同的摄像机。一 般来说该两台摄像机的相对位置固定，标定完成之后可W用来获取有效视野内所有物体的 =维信息。一般来说，可W把双目摄像机的中一个摄像机称为"左目摄像机"，而另一个称 为"右目摄像机"。该里所说的左目和右目是相对的概念，从摄像机正面观察到左目摄像机 在背面观察则是右目摄像机。因此左目摄像机可W是双目摄像机中的任意一个摄像机，为 了描述方便起见，后续实施方式中将W面向镜头取景方向时位于左侧的摄像机为左目摄像 机，另一个摄像机为右目摄像机。
[0026] 视差；从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两 个点之间的夹角，叫做该两个点的视差，两点之间的距离称作基线。只要知道视差角度和基 线长度，就可W计算出目标和观测者之间的距离。
[0027] 双目修正；把消除崎变后的来自两个摄像机的两幅图像严格地进行行对应，使得 两幅图像的对极线恰好在同一水平线上，该样一幅图像上任意一像素点与其在另一幅图像 上的对应点就必然具有相同的行号，只需在该行进行一维捜索即可匹配到对应的像素点。 [002引极线约束；该一概念源自极几何（epipolar geometry)中的定义，双目摄像机两 幅图像之间存在的极线对应关系，在双目修正完成之后，两幅图像的极线完全水平对应，其 中一幅图像上的任意像素点都可W在另一幅图像上对应的极线上捜索对应的像素点。
[0029] 本发明提供一种快速视差图像计算方法及装置，该技术方案可W基于计算机软件 实现，当然也可W采用硬件或逻辑器件等其他方式实现。该方案可W应用在包括双目摄像 机W及图像处理设备的监控场景中。实施时，所述双目摄像机的光轴可W倾斜于检测场地 的地平面，在少数情况下可能是垂直或接近垂直。从安装上来说，为了更好地发挥本发明的 优势，安装好的双目摄像机光屯、的连线和地平面平行或接近平行，该安装约束条件主要是 为了相关算法可W使用先验的人或其他目标的高度信息。而双目摄像机的光轴在地平面上 的投影和行人或车辆的正常运行路线保持平行或接近平行，该安装约束条件为了后续算法 使用先验的目标信息或知识，比如从二维图像中来观察，被遮挡的物体一般处于遮挡物体 的上方。
[0030] 请参考图1A所示的图像处理设备，其可W是一个位于监控系统后端可W获得双 目摄像机输出的图片序列的服务器（或其他主机），也可W是双目摄像机中某个摄像机内 置的计算系统。该图像处理设备包括了一般的计算机系统的硬件框架，具体来说，该设备可 W包括处理器、内存、非易失性存储器（比如硬盘）W及内部总线。在软件实现方案中，所 述处理器可W将快速视差图像计算装置所对应的计算机程序指令从非易失性存储器读入 内存中然后运行，在逻辑意义上形成所述快速视差图像计算装置。请查考图1B和图2,在逻 辑层面，该快速视差图像计算装置包括；背景差分单元、背景视差单元、前景视差单元W及 图像整合单元。该装置在图像处理设备上运行的过程中，执行如下处理方法。
[0031] 步骤201，背景差分单元，将双目摄像机输出的时间上相互对应的一对原始图像分 别进行背景差分处理获得一对背景图像W及一对前景图像；
[0032] 步骤202,背景视差单元，按照预设的第一视差算法基于一对背景图像生成背景视 差图像；
[0033] 步骤203,前景视差单元，按照预设的第二视差算法基于一对前景图像生成前景视 差图像；
[0034] 步骤204,图像整合单元，前景视差图像与背景视差图像整合为完整的视差图像。
[0035] 一般来说，针对双目摄像机需要进行双目修正处理，其可W确保视差计算的准确 性。而双目修正的实