配置视差值的方法和系统的制作方法

配置视差值的方法和系统的制作方法
【专利摘要】本发明公开了配置视差值的方法和系统。在一个实施例中，该方法可以包括：获取参考图像；将获取的参考图像分割为多个区域；对分割得到的多个区域进行分类；基于分类结果为每个区域内的像素分配视差值。根据本发明提供的配置视差值的方法和系统，可以更准确地配置视差值，获得准确并且稠密的视差图像。
【专利说明】配置视差值的方法和系统

【技术领域】
[0001] 本发明涉及图像处理领域，更具体地涉及配置视差值的方法和系统。

【背景技术】
[0002] 近年来，立体视觉技术获得广泛关注。立体视觉的基本原理是结合两个(双目）或 更多视点的信息，以获得不同视角下同一物体的图像，并利用三角测量原理来计算图像的 像素点之间的位置偏差，从而获得物体的立体信息。该立体视觉包括图像获取、摄像机定 标、特征提取、立体匹配、深度及内插等处理，其中，通过立体匹配技术得到的视差信息(深 度信息）可用来估量摄像机和物体之间的相对距离。这些视差信息可以应用于诸多场合， 例如三维电影、机器人、监控、基于三维技术的道路检测、行人检测、自动驾驶、智能车辆控 制等等。例如，在智能车辆控制中，基于通过视差信息获得的视差图，可以很容易地检测到 路面、白线和栅栏，从而检测包括行人和车辆等目标，以便基于检测结果对车辆进行智能控 制。可见，获得鲁棒和准确的视差图在立体视觉中起着重要的作用。
[0003] 通常，立体匹配技术可以分成两类，一类是基于像素的算法，另一类是基于分割的 算法。基于像素的算法单独考虑每个像素。如图1所示，基于像素的算法为像素P和Q单 独寻找对应像素，实际上，P和Q均位于路面区域，它们的视差值之间满足某种特定关系。基 于像素的算法需要很长的处理时间。
[0004] 另外一种常用的算法是基于分割的算法。图像分割是基于分割的算法的基本模 块，该算法的基本思想是对同一区域块内的所有像素一起进行考虑，即利用区域块内有效 像素的视差值来估计每个区域块的视差分布。图2为典型的基于分割的立体匹配算法的系 统框图，该算法包括对参考图像进行分割，根据参考图像和目标图像计算初始视差值获得 初始视差图像，对每个分割的区域块计算视差值从而利用计算的视差值更新初始视差图像 来获得视差图像。
[0005] 例如，题为 "Segment based image matching method and system，'的美国专利 US7330593B2公开了一种图像匹配方法，其中用彩色信息对参考图像进行分割，通过基本的 局部立体匹配算法生成一幅初始视差图像，采用平面拟合方法对分割的每个区域进行建模 并利用置信传播方法生成最优的视差图。
[0006] 基于分割的算法在很大程度上解决了基于像素的算法所存在的问题：处理时间过 长。但是，基于分割的算法带来一个新问题：在一些区域存在严重错误的视差值。以路面 区域为例，如图3所示，根据典型的基于分割的算法获得的路面区域的视差图向右倾斜，存 在错误。根据 "A Complete U-V-Disparity Study for Stereovision Based3D Driving Environment Analysis"Zhencheng Hu,Francisco Lamosa and Keiichi Uchimura, Department of Computer Science, Kumamoto University, Japan, Graduate School of Science and Technology, Kumamoto University, Japan，因为对于路面区域来说，每条水平 线上的深度值是恒定的，所以对于路面区域的正确的视差图应该是由很多水平线组成。
[0007] 由此可见，典型的基于分割的立体匹配算法有些盲目，对初始视差图像过于依赖， 得到的视差图可能不够准确。如图4所示，如果初始视差图像中有特别多噪声点，就会产生 错误的视差图。因此，需要提供能够更准确地配置视差图中的视差值的方法和系统。


【发明内容】

[0008] 考虑到以上问题，本申请提出了基于分类的视差图配置方法及装置，其利用更加 鲁棒的方法获得更加准确的稠密视差图。
[0009] 根据本发明的一个方面，提供了配置视差值的方法，该方法可以包括：获取参考图 像；将获取的参考图像分割为多个区域；对分割得到的多个区域进行分类；基于分类结果 为每个区域内的像素分配视差值。
[0010] 可选地，对分割得到的多个区域进行分类的步骤可以包括：建立不同平面类型的 视差分布模型；对于分割得到的每个区域计算与每个平面类型的视差分布模型对应的参 数；基于每个区域的各个参数确定该区域所属于的平面类型。
[0011] 可选地，基于分类结果为每个区域内的像素分配视差值的步骤可以包括：根据每 个区域所属于的平面类型，利用与该平面类型相对应的视差分布模型来计算该区域内的像 素点的视差值。
[0012] 可选地，建立不同平面类型的视差分布模型可以包括：建立与第一平面类型对应 的第一视差分布模型；建立与第二平面类型对应的第二视差分布模型；建立与第三平面类 型对应的第三视差分布模型。对于分割得到的每个区域计算参数可以包括：对每个区域分 别计算与第一视差分布模型对应的第一参数、与第二视差分布模型对应的第二参数以及与 第三视差分布模型对应的第三参数。
[0013] 可选地，基于每个区域的各个参数确定该区域所属于的平面类型的步骤可以包 括：如果任意区域的第一参数小于预定阈值并且该第一参数充分小于该区域的第二参数， 则确定该区域属于第一平面类型；如果该区域的第二参数小于该预定阈值并且该第二参数 充分小于该第一参数，则确定该区域属于第二平面类型；否则，确定该区域属于第三平面类 型。可以基于该区域的第三参数设置该预定阈值。
[0014] 可选地，该方法还可以包括：获取与该参考图像对应的初始视差图。计算与第一视 差分布模型对应的第一参数的步骤可以包括：扫描每个区域的每一行像素以从所述初始视 差图获得每一行像素的有效视差值的直方图；获得每一行像素的有效视差值的直方图的峰 值；按照第一视差分布模型，利用每一行像素的纵坐标和与该直方图峰值对应的初始视差 值形成的点对拟合出该区域的第一视差分布表达式；根据该区域的第一视差分布表达式， 计算该区域的第一参数。有效视差值是大于零的视差值
[0015] 可选地，计算与第二视差分布模型对应的第二参数的步骤可以包括：扫描每个区 域的每一列像素点以从所述初始视差图获得每一列像素的有效视差值的直方图；获得每一 列像素的有效视差值的直方图的峰值；按照第二视差分布模型，利用每一列像素的横坐标 和与直方图峰值对应的视差值形成的点对拟合出该区域的第二视差分布表达式；根据该区 域的第二视差分布表达式，计算该区域的第二参数。
[0016] 可选地，计算与第三视差分布模型对应的第三参数的步骤可以包括：扫描每个区 域内的所有像素以从所述初始视差图获得所有像素的有效视差值；按照第三视差分布模 型，利用每个区域内具有有效视差值的所有像素的横坐标、纵坐标以及相应的有效视差值 拟合出该区域的第三视差分布表达式，根据该区域的第三视差分布表达式，计算该区域的 第三参数。
[0017] 可选地，根据每个区域所属于的平面类型，利用与该平面类型相对应的视差分布 模型来计算该区域内的像素点的视差值的步骤可以包括：如果任意区域被分类为第一平面 类型，则根据该区域的第一视差分布表达式计算该区域内的像素点的视差值，作为分配给 所述像素点的视差值，如果该区域被分类为第二平面类型，则根据该区域的第二视差分布 表达式计算该区域内的像素点的视差值，作为分配给所述像素点的视差值，如果该区域被 分类为第三平面类型，则根据该区域的第三视差分布表达式计算该区域内的像素点的视差 值，作为分配给所述像素点的视差值。
[0018] 根据本发明的上述实施例，将参考图像划分成多个区域并对它们进行分类，并根 据不同的类别采用不同的视差值配置方法，从而能够自适应地选择该平面类型对应的视差 值配置方法配置该区域块内像素的视差值，获得更加准确的视差值。
[0019] 根据本发明的另一方面，提供了配置视差值的系统，该系统可以包括：获取单元， 配置为获取参考图像；分割单元，配置为将获取的参考图像分割为多个区域；分类单元，配 置为对分割单元所分割的多个区域进行分类；分配单元，配置为基于分类单元的分类结果 为每个区域内的像素分配视差值。
[0020] 可选地，该分类单元可以通过以下来对多个区域进行分类：建立不同平面类型的 视差分布模型；对于分割得到的每个区域计算与每个平面类型的视差分布模型对应的参 数；基于每个区域的各个参数确定该区域所属于的平面类型。
[0021] 可选地，该分配单元可以通过以下来为每个区域内的像素分配视差值：根据每个 区域所属于的平面类型，利用与该平面类型相对应的视差分布模型来计算该区域内的像素 点的视差值。
[0022] 典型的基于分割的立体匹配算法过于盲目，对初始视差图像过于依赖。然而，在根 据本发明的实施例的方法和系统中，通过对区域分类并与区域所属的类别相应地计算视差 值，将已知的场景信息引入到视差计算过程当中，因此根据本发明的实施例的方法更加鲁 棒，得到的视差图像更加准确。

【专利附图】

【附图说明】
[0023] 图1是基于像素的立体匹配算法的示意图。
[0024] 图2是基于分割的立体匹配算法的示意图。
[0025] 图3例示路面区域及通过基于分割的方法获得的相应视差图。
[0026] 图4例不初始视差图中存在过多噪声点的情况下获得的视差图。
[0027] 图5是本发明的实施例可应用的硬件系统的框图。
[0028] 图6是根据本发明的一个实施例的配置像素的视差值的方法的流程图。
[0029] 图7是根据本发明的一个实施例的对分割得到的区域分类的方法的流程图。
[0030] 图8(a)到8(d)是根据本发明的一个实施例的三种平面类型及相应的例子的示意 图。
[0031] 图9是根据本发明的一个实施例的计算第一参数的方法的流程图。
[0032] 图10是根据本发明的一个实施例的基于第一视差分布模型计算第一参数的示意 图。
[0033] 图11是根据本发明的一个实施例的计算第二参数的方法的流程图。
[0034] 图12是根据本发明的一个实施例的基于第二视差分布模型计算第二参数的示意 图。
[0035] 图13是根据本发明的一个实施例的计算第三参数的方法的流程图。
[0036] 图14(a)和14(b)示出通过典型的基于分割的立体匹配算法得到的视差图。
[0037] 图15(a)和14(b)示出根据本发明的一个实施例得到的视差图。
[0038] 图16示出根据本发明的一个实施例的配置视差值的系统的框图。

【具体实施方式】
[0039] 现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结 合具体实施例描述本发明，但是将理解，不意图将本发明限于所公开的具体实施例。应注 意，在此所述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布 置可被实现为物理实体或逻辑实体、或者两者的组合。
[0040] 如上所述，典型的基于分割的方法归于盲目，对于初始视差图像过于依赖，然而， 如果已知场景并将其引入到视差计算过程中，则对视差值的配置将更加准确。根据本发明， 通过对分割参考图像获得的区域块进行分类，基于区域块的类别而相应地配置视差值，从 而获得更加准确的视差图，以下详细描述。
[0041] 首先参考图5,描述应用于本发明的实施例的硬件系统100的框图。
[0042] 硬件系统100包括：立体相机110,用于从两个或更多视点拍摄两个或更多图像； 解码器120,用于从立体相机110拍摄的图像中提取与像素相关的图像信息、例如灰度信 息、彩色信息等；数字信号处理器130,用于对解码器120输出的各种信息进行数字信号处 理；存储器140,与数字信号处理器130耦合，用于存储由数字信号处理器处理130的数据 或向数字信号处理器130提供数据；以及与应用相关的其他模块150,用于利用数字信号处 理器130处理的结果进行进一步的动作。
[0043] 根据本发明的实施例的方法和系统可以实现在图5所示的数字信号处理器130 中。当然，这仅仅是一个例子，其实现方式不限于此。
[0044] 以下参考图6的流程图描述根据本发明的一个实施例的配置像素的视差值的方 法。
[0045] 如图6所示，配置视差值的方法600可以包括：
[0046] 步骤601，获取参考图像；
[0047] 步骤602,将获取的参考图像分割为多个区域；
[0048] 步骤603,对分割得到的多个区域进行分类；
[0049] 步骤604,基于分类结果为每个区域内的像素分配视差值。
[0050] 在步骤601，可以通过任何已知的方法获得目标场景的参考图像。例如，通过双目 相机，可以获得目标场景的左眼图像和右眼图像，可以取其中的任意一个、例如左眼图像作 为参考图像，则右眼图像作为目标图像，或反之亦然。当然，这仅仅是例子，获取参考图像的 方法不限于此。
[0051] 可选地，在一个实施例中，在步骤601中输入参考图像和目标图像，并由此获取相 应的初始视差图像。或者，在另一实施例中，输入参考图像和相应的初始视差图像。可以通 过本领域中已知的方法、例如立体匹配算法来获取初始视差图，当然，获取初始视差图的方 法不限于此。
[0052] 在步骤602,分割参考图像。图像分割是将一幅图像划分成若干区域的过程，每 个区域内的像素具有一些共同的或者相似的特征。特征对于图像分割算法而言是至关重 要的，如果用彩色(灰度）信息作为特征，则分割的每个区域内的像素具有几乎相同的彩 色(灰度）值。基于均值漂移的算法是目前常用的图像分割算法，彩色(灰度）特征是常用 的特征。例如，在 Yizong Cheng 的"Mean Shift，Mode Seeking，and Clustering，'IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 17, NO. 8, AUGUSTI 995中，详细描述了均值漂移算法及其应用，其全文被引用合并于此作为参考。以下以彩色 (灰度）特征作为图像分割特征举例说明图像分割的过程，然而，图像分割特征的选取不限 于彩色特征或灰度特征，也可以采用本领域中已知的其他特征。
[0053] 首先，定义图像分割特征，考虑像素的彩色(灰度）信息，该图像分割特征可以表示 为：（I K，Ie，Ib)或者I，其中，（IK，Ie，I b)和I分别为像素（X，y)的R、G、B彩色值和灰度值。 然后，在特征空间中通过均值漂移过程为每个像素寻找收敛模式。收敛模式是特征空间中 的一个点，漂移至该点后特征值不再变化。根据由此得到的收敛模式，对所有像素进行聚 类，从而获得多个符合预定特征(例如，具有共同的或者相似的特征)的像素区域。在图2中， 示出了参考图像被分割为多个区域的分割结果。
[0054] 当然，可以采用任何基本的图像分割算法来对参考图像进行分割。在这里，假设实 际场景由许多平面组成，分割得到的每个区域块对应于实际场景中的一个平面。经此分割 后，输出与分割结果相关的信息，该信息可以包括但不限于以下中的一个或多个：分割的区 域的数目、每个区域内像素的数目、整个参考图像的标记图像等。这些与分割结果相关的信 息将在后续步骤中使用。
[0055] 在步骤603,将分割得到的各个区域分类。参考图7的流程图描述根据本发明的一 个实施例的对分割得到的区域分类的示例方法700。
[0056] 如图7所示，分类方法700可以包括：
[0057] 步骤701，建立不同平面类型的视差分布模型；
[0058] 步骤702,对于分割得到的每个区域计算与每个平面类型的视差分布模型对应的 参数；
[0059] 步骤703,基于在步骤702中获得的每个区域的各个参数确定该区域所属于的平 面类型。
[0060] 通常，可以将实际场景中的平面分成三类。在如图8所示的世界坐标系统 (XW，Y W，Zw)的情况下，这三类平面分别是：绕旋转的第一类平面，如图8 (a)所示，属于 第一类的所有平面具有相同的视差分布模式；绕Yw轴旋转的第二类平面，如图8 (b)所示， 属于第二类的所有平面具有相同的视差分布模式；绕2￥轴旋转的第三类平面，如图8(c)所 示，属于第三类的所有平面具有相同的视差分布模式，其中在该图8中的该坐标系统中的 (XpyJ为参考图像的图像坐标系统，（X^y 1)为目标图像的图像坐标系统。
[0061] 图8(d)给出了三种类别的平面在实际场景中的例子。对于图8(d)所示的图像，其 图像坐标系按照下面的方式建立：图像左上角的像素点为坐标原点，水平向右为X轴正方 向，坚直向下为Y轴正方向；相应的世界坐标系为：XW轴正方向水平向右，Yw轴正方向坚直 向下，2￥轴正方向垂直纸面向里。如图8(d)所示，路面、车辆后背板平面、大楼的正面属于 第一类平面，大楼的侧面属于第二类平面，人行道旁侧立的倾斜墙壁面属于第三类平面。图 8 (d)中用于标示三种平面类型的矩形框仅仅是示意性的，并不是对参考图像进行分割的实 际结果，当然，分割后的区域不限于矩形。
[0062] 以下描述在步骤701中建立视差分布模型的一种示例的实现方式。在 Zhencheng Hu 等人的"A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment Analysis，'，Department of Computer Science, Kumamoto University,Japan, Graduate School of Science and Technology, Kumamoto University，Japan中，给出了这三种平面类型的平面方程以及视差分布方程，其全文被引 用合并于此作为参考。对于第一类平面，其平面方程Z w以及视差分布方程d(x，y)分别由 以下公式（1)和公式（2)表示：
[0063] Zw=C1YJc2 (C2 关 0) 公式（1)

【权利要求】
1. 一种配置视差值的方法，包括： 获取参考图像； 将获取的参考图像分割为多个区域； 对分割得到的多个区域进行分类； 基于分类结果为每个区域内的像素分配视差值。
2. 如权利要求1所述的方法，其中对分割得到的多个区域进行分类的步骤包括： 建立不同平面类型的视差分布模型； 对于分割得到的每个区域计算与每个平面类型的视差分布模型对应的参数； 基于每个区域的各个参数确定该区域所属于的平面类型。
3. 如权利要求2所述的方法，其中基于分类结果为每个区域内的像素分配视差值的步 骤包括：根据每个区域所属于的平面类型，利用与该平面类型相对应的视差分布模型来计 算该区域内的像素点的视差值。
4. 如权利要求2或3所述的方法，其中建立不同平面类型的视差分布模型包括： 建立与第一平面类型对应的第一视差分布模型； 建立与第二平面类型对应的第二视差分布模型； 建立与第三平面类型对应的第三视差分布模型， 其中，对于分割得到的每个区域计算与每个平面类型的视差分布模型对应的参数的步 骤包括：对每个区域分别计算与第一视差分布模型对应的第一参数、与第二视差分布模型 对应的第二参数以及与第三视差分布模型对应的第三参数。
5. 如权利要求4所述的方法，其中，基于每个区域的各个参数确定该区域所属于的平 面类型的步骤包括： 如果任意区域的第一参数小于预定阈值并且该第一参数充分小于该区域的第二参数， 则确定该区域属于第一平面类型； 如果该区域的第二参数小于该预定阈值并且该第二参数充分小于该第一参数，则确定 该区域属于第二平面类型； 否则，确定该区域属于第三平面类型， 其中，基于该区域的第三参数设置该预定阈值。
6. 如权利要求5所述的方法，还包括：获取与该参考图像对应的初始视差图， 其中，计算与第一视差分布模型对应的第一参数的步骤包括： 扫描每个区域的每一行像素以从所述初始视差图获得每一行像素的有效视差值的直 方图； 获得每一行像素的有效视差值的直方图的峰值； 按照第一视差分布模型，利用每一行像素的纵坐标和与该直方图峰值对应的初始视差 值形成的点对拟合出该区域的第一视差分布表达式； 根据该区域的第一视差分布表达式，计算该区域的第一参数， 其中，有效视差值是大于零的视差值。
7. 如权利要求6所述的方法，其中，计算与第二视差分布模型对应的第二参数的步骤 包括： 扫描每个区域的每一列像素点以从所述初始视差图获得每一列像素的有效视差值的 直方图； 获得每一列像素的有效视差值的直方图的峰值； 按照第二视差分布模型，利用每一列像素的横坐标和与直方图峰值对应的视差值形成 的点对拟合出该区域的第二视差分布表达式； 根据该区域的第二视差分布表达式，计算该区域的第二参数。
8. 如权利要求7所述的方法，其中，计算与第三视差分布模型对应的第三参数的步骤 包括： 扫描每个区域内的所有像素以从所述初始视差图获得所有像素的有效视差值； 按照第三视差分布模型，利用每个区域内具有有效视差值的所有像素的横坐标、纵坐 标以及相应的有效视差值拟合出该区域的第三视差分布表达式， 根据该区域的第三视差分布表达式，计算该区域的第三参数。
9. 如权利要求8所述的方法，根据每个区域所属于的平面类型，利用与该平面类型相 对应的视差分布模型来计算该区域内的像素点的视差值的步骤包括： 如果任意区域被分类为第一平面类型，则根据该区域的第一视差分布表达式计算该区 域内的像素点的视差值，作为分配给所述像素点的视差值， 如果该区域被分类为第二平面类型，则根据该区域的第二视差分布表达式计算该区域 内的像素点的视差值，作为分配给所述像素点的视差值， 如果该区域被分类为第三平面类型，则根据该区域的第三视差分布表达式计算该区域 内的像素点的视差值，作为分配给所述像素点的视差值。
10. -种配置视差值的系统，包括： 获取单元，配置为获取参考图像； 分割单元，配置为将获取的参考图像分割为多个区域； 分类单元，配置为对分割单元所分割的多个区域进行分类； 分配单元，配置为基于分类单元的分类结果为每个区域内的像素分配视差值。
【文档编号】G06T7/00GK104240219SQ201310233783
【公开日】2014年12月24日 申请日期:2013年6月13日 优先权日:2013年6月13日
【发明者】刘振华, 刘媛, 师忠超, 鲁耀杰 申请人:株式会社理光