视差计算方法及其立体匹配装置制造方法
【专利摘要】本发明公开了一种视差计算方法及其立体匹配装置，视差计算方法，包括根据第一图像区块及第二图像区块，产生能量矩阵，其中能量矩阵包括多个像素对应于多个视差候选的多个能量；将能量矩阵中对应于多个像素中起始像素及多个视差候选中特定视差候选的能量设定为第一预设值，并将能量矩阵中对应于起始像素及其余视差候选的能量设为第二预设值，其中第二预设值大于第一预设值；根据能量矩阵，产生路径矩阵；以及根据路径矩阵，由多个像素中结束像素开始依序决定对应于多个像素的多个视差，其中多个视差中对应于结束像素的视差被设定为第三预设值。
【专利说明】视差计算方法及其立体匹配装置
【技术领域】
[0001] 本发明涉及一种视差计算方法及其立体匹配装置，尤其涉及一种可使图像中位于 边缘部分的视差信息平滑的视差计算方法及其立体匹配装置。
【背景技术】
[0002] 随着图像技术不断进步，消费者可挑选的显示装置的尺寸与功能日益多元化，而 为了满足不同的使用者需求，各家显示装置的制造商也设法提供输出效能及解析度更佳的 新产品，其中最值得关注的产品之一是具有三维立体显示的显示装置。而一般常见的三维 立体显示技术有偏光式（Polarized)、交错式（Interlaced)或分时式（Anaglyph)等显示 方式，其原理为将相关于深度信息的不同视角图像利用特殊光学设计分别投射到人的左右 目艮，如此可使人的左右眼分别看到不同视角的图像，并经过人脑的合成后产生三维深度信 息，让人感觉出三维立体的图像。
[0003] 当具有三维立体显示功能的显示装置欲显示的来源图像为不具有深度信息的二 维图像时，由于来源图像缺少深度信息，故显示装置无法产生出各种相关于深度信息的多 视角（multi-view)图像，以投射到人的左右眼。在此情形下，显示装置需另针对二维图像进 行分析以获得深度信息，进而才能显示出多视角图像。在现有技术中，需利用多个图像撷取 装置分别位于不同位置来获得至少两个不同的视角图像，才可分析出深度信息，而针对两 不同视角图像来进行分析以获得深度信息的流程称之为立体匹配（stereomatching)，其 原理为在两不同视角图像之间相互搜寻是否有匹配的物件(或者也可为特征或像素点等)， 进而获得两不同视角图像中匹配物件位置值的差值，成为视差（disparity)信息（即所谓的 视差图)，并通过视差信息可计算出匹配物件的深度信息。
[0004] 然而，当在两不同视角图像间执行立体匹配来取得深度信息时，由于图像的景观 不尽相同，且用来取得两不同视角图像的两图像撷取装置间位置距离也不相同，因此如何 在两不同视角图像(如左眼图像与右眼图像）间正确地搜寻出匹配物件并获得正确的视差 信息将会影响深度信息的准确性。然而，由于遮蔽（occlusion)作用，两不同视角图像间具 有无法匹配的物件，从而导致视差估计偏差。举例来说，位于图像的边缘(如左右边缘)的像 素往往无法找到相对应的像素，从而导致位于图像的边缘的视差信息通常具有较大的偏差 及变动。因此，在两视角图像间执行立体匹配时，如何降低图像中位于边缘部分的视差信息 的偏差及变动，已成为立体视觉技术最重要的课题之一。
【发明内容】
[0005] 为了解决上述的问题，本发明提出一种可使图像中位于边缘部分的视差信息平滑 的视差计算方法及其立体匹配装置。
[0006] 在一方面，公开一种视差计算方法，用于一立体匹配装置中，用来计算一当前图像 中一第一图像区块与一第二图像区块间的多个像素的多个视差，该视差计算方法包括根据 该第一图像区块及该第二图像区块，产生一能量矩阵，其中该能量矩阵包括该多个像素对 应于多个视差候选的多个能量；将该能量矩阵中对应于该多个像素中一起始像素及该多个 视差候选中一特定视差候选的能量设定为一第一预设值，并将该能量矩阵中对应于该起始 像素及其余视差候选的能量设为一第二预设值，其中该第二预设值大于该第一预设值；根 据该能量矩阵，产生一路径矩阵；以及根据该路径矩阵，由该多个像素中一结束像素开始依 序对应于该多个像素的该多个视差，其中该多个视差中对应于该结束像素的视差被设定为 一第三预设值。
[0007] 另一方面，公开一种立体匹配装置，包括一处理单元；以及一储存单元，用来储存 一程序代码，该程序代码指示该处理单元执行以下步骤：根据该第一图像区块及该第二图 像区块，产生一能量矩阵，其中该能量矩阵包括该多个像素对应于多个视差候选的多个能 量；将该能量矩阵中对应于该多个像素中一起始像素及该多个视差候选中一特定视差候选 的能量设定为一第一预设值，并将该能量矩阵中对应于该起始像素及其余视差候选的能量 设为一第二预设值，其中该第二预设值大于该第一预设值；根据该能量矩阵，产生一路径矩 阵；以及根据该路径矩阵，由该多个像素中一结束像素开始依序对应于该多个像素的该多 个视差，其中该多个视差中对应于该结束像素的视差被设定为一第三预设值。
[0008] 根据上述技术方案，本发明相较于现有技术至少具有下列优点及有益效果：本发 明可使图像中位于边缘部分的视差信息平滑。据此，因遮蔽作用而导致三维立体图像中位 于边缘的视差信息偏差可获得解决。
【专利附图】
【附图说明】
[0009] 图1为本发明实施例一立体装置的示意图。
[0010] 图2为本发明实施例一视差计算方法的流程图。
[0011] 图3为本发明实施例一像素-视差特征曲线图。
[0012] 其中，附图标记说明如下：
[0013] 10 立体匹配装置
[0014] 100 处理单元
[0015] 110 储存单元
[0016]114 程序代码
[0017]20 视差计算方法
[0018]200、202、204、206、208、210步骤
[0019] B1、B2 图像区块
[0020] D1?Dn视差
[0021] DC1?DCm、DCa视差候选
[0022] E11?Enm能量
[0023] EM能量矩阵
[0024] FM路径矩阵
[0025] P1?Pn像素
[0026] PV1?PV3 预设值
【具体实施方式】
[0027] 在本发明的范例实施例中，立体匹配装置通过在计算两不同视角图像（如左眼图 像及右眼图像）中不同区块的视差信息时，将对应于区块中一起始像素的一特定视差候选 的能量设定为一极小值以及将扫描线中结束像素的视差设定为一定值，从而使计算所得的 视差信息中位于边缘部分的视差信息平滑。为更清楚地了解本发明，以下将配合附图，以至 少一实施例来做详细说明。此外，以下实施例中所提到的连接用语，例如：耦接或连接等，仅 是参考附加附图用以例示说明，并非用来限制实际上两个元件之间的连接关系是直接耦接 或间接耦接。
[0028] 请参考图1，图1为本发明实施例一立体匹配装置10的示意图。立体匹配装置10 可用来计算一当前图像CF的视差（disparity)信息，其包括一处理单元100以及一储存 单元110。处理单元100可为一微处理器或一特定应用集成电路（Application-Specific Integrated Circuit, ASIC)。储存单元110可为任一数据储存装置，用来储存一程序代码 114,处理单元100可通过储存单元110读取及执行程序代码114。举例来说，储存单元110 可为用户识别模块（Subscriber Identity Module，SIM)、只读式内存（Read-Only Memory， ROM)、随机存取内存（Random-Access Memory，RAM)、光盘只读存储器（CD-ROM / DVD-ROM)、 磁带（magnetic tape)、硬盘（hard disk)及光学数据储存装置（optical data storage device)等，而不限于此。
[0029] 请参考图2,图2为本发明实施例一视差计算方法20的流程图。视差计算方法20 用于图1中的立体匹配装置10中，可用来计算当前图像CF中一左眼图像IL的一图像区块 B1与一右眼图像IR的一图像区块B2间的视差（disparity)信息。其中，图像区块Bl、B2 可分别为左眼图像IL与右眼图像IR中位于相同列（row)的扫瞄线（scanline)。视差计 算方法20可被编译成程序代码114,其包括以下步骤：
[0030] 步骤200:开始。
[0031] 步骤202 :根据图像区块B1及图像区块B2,产生一能量矩阵EM，其中能量矩阵EM 包括像素P1?Pn对应于视差候选DC1?DCm的能量E11?Enm。
[0032] 步骤204:将能量矩阵EM中对应于像素P1?Pn中一起始像素P1及视差候选 DC1?DCm中一视差候选DCa的能量设定为一预设值PV1，并将能量矩阵EM中对应于起始 像素P1的其余视差候选的能量设为一预设值PV2,其中预设值PV2大于预设值PV1。
[0033] 步骤206 :根据能量矩阵EM及图像区块Bl、B2,产生一路径矩阵FM。
[0034] 步骤208:根据路径矩阵FM，由像素P1?Pn中一结束像素Pn开始依序决定对应 于像素Pn?P1的视差Dn?D1，其中视差D1?Dn中对应于结束像素Pn的视差Dn会被设 定为一预设值PV3。
[0035] 步骤210:结束。
[0036] 根据视差计算方法20,在计算图像区块B1、B2间的能量矩阵EM时，对应于起始像 素P1的视差候选DCa的能量会被设定为预设值PV1，且对应于起始像素P1视差候选DC1? DCm中其余的视差候选的能量会被设为预设值PV2。其中，预设值PV1小于预设值PV2。举 例来说，预设值PV1可为0,且预设值PV2可为无穷大。较佳地，预设值PV2应远大于预设 值PV1，以确保对应于预设值PV1的视差候选DCa必然成为对应于起始像素P1的视差D1。 接下来，在根据路径矩阵FM由结束像素Pn开始依序决定对应于像素Pn?P1的视差Dn? D1时，视差D1?Dn中对应于结束像素Pn的视差Dn会被设定为预设值PV3。在此状况下， 立体匹配装置10会被强制由预设值PV3开始依序决定视差Dn-1?D1。并且，由于对应于 起始像素P1的视差候选DCa的能量为对应于起始像素的所有视差候选DC1?DCm中的最 小值，因此在决定视差Dn-1?D1时，最后必定会收敛至视差候选DCa(即对应于起始像素 P1的视差D1为视差候选DCa)。如此一来，通过合适地设定视差候选DCa及预设值PV1? PV3,当前图像CF中位于边缘部分的视差信息可被平滑。
[0037] 详细来说，视差计算方法20主要通过一动态规划（DynamicProgramming)演算法 来计算当前图像CF中左眼图像IL的图像区块B1与右眼图像IR的图像区块B2间的视差 信息。其中，图像区块B1、B2可分别为左眼图像IL与右眼图像IR中位于相同列的扫瞄线。 首先，立体匹配装置10根据图像区块B1及图像区块B2,计算能量矩阵EM。立体匹配装置 10计算能量矩阵EM中对应于视差候选dc且位于第x行的像素（即像素Px)的累积能量公 式可表示为：
【权利要求】
1. 一种视差计算方法，用于一立体匹配装置中，用来计算一当前图像中一第一图像区 块与一第二图像区块间的多个像素的多个视差，该视差计算方法包括： 根据该第一图像区块及该第二图像区块，产生一能量矩阵，其中该能量矩阵包括该多 个像素对应于多个视差候选的多个能量； 将该能量矩阵中对应于该多个像素中一起始像素及该多个视差候选中一特定视差候 选的能量设定为一第一预设值，并将该能量矩阵中对应于该起始像素及其余视差候选的能 量设为一第二预设值，其中该第二预设值大于该第一预设值； 根据该能量矩阵，产生一路径矩阵；以及 根据该路径矩阵，由该多个像素中一结束像素开始依序对应于该多个像素的该多个视 差，其中该多个视差中对应于该结束像素的视差被设定为一第三预设值。
2. 如权利要求1所述的视差计算方法，其特征在于该第一图像区块及该第二图像区块 分别为该当前图像的一第一图像及一第二图像中位于同一排的扫描线，且该第一图像与该 第二图像具有不同的视角。
3. 如权利要求1所述的视差计算方法，其特征在于该特定视差候选是根据该当前图像 的一先前图像的多个视差所决定。
4. 如权利要求3所述的视差计算方法，其特征在于该特定视差候选为该先前图像的该 多个视差的一平均值。
5. 如权利要求3所述的视差计算方法，其特征在于该特定视差候选为该先前图像的该 多个视差的一中位数。
6. 如权利要求1所述的视差计算方法，其特征在于该第三预设值是根据该当前图像的 一先前图像的多个视差所决定。
7. 如权利要求6所述的视差计算方法，其特征在于该第三预设值为该先前图像的该多 个视差的一平均值。
8. 如权利要求6所述的视差计算方法，其特征在于该第三预设值为该先前图像的该多 个视差的一中位数。
9. 一种立体匹配装置，包括： 一处理单元；以及 一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤： 根据该第一图像区块及该第二图像区块，产生一能量矩阵，其中该能量矩阵包括该多 个像素对应于多个视差候选的多个能量； 将该能量矩阵中对应于该多个像素中一起始像素及该多个视差候选中一特定视差候 选的能量设定为一第一预设值，并将该能量矩阵中对应于该起始像素及其余视差候选的能 量设为一第二预设值，其中该第二预设值大于该第一预设值； 根据该能量矩阵，产生一路径矩阵；以及 根据该路径矩阵，由该多个像素中一结束像素开始依序对应于该多个像素的该多个视 差，其中该多个视差中对应于该结束像素的视差被设定为一第三预设值。
10. 如权利要求9所述的立体匹配装置，其特征在于该第一图像区块及该第二图像区 块分别为该当前图像的一第一图像及一第二图像中位于同一排的扫描线，且该第一图像与 该第二图像具有不同的视角。
11. 如权利要求9所述的立体匹配装置，其特征在于该特定视差候选是根据该当前图 像的一先前图像的多个视差所决定。
12. 如权利要求11所述的立体匹配装置，其特征在于该特定视差候选为该先前图像的 该多个视差的一平均值。
13. 如权利要求11所述的立体匹配装置，其特征在于该特定视差候选为该先前图像的 该多个视差的一中位数。
14. 如权利要求9所述的立体匹配装置，其特征在于该第三预设值是根据一先前图像 的多个视差所决定。
15. 如权利要求14所述的立体匹配装置，其特征在于该第三预设值为该先前图像的该 多个视差的一平均值。
16. 如权利要求14所述的立体匹配装置，其特征在于该第三预设值为该先前图像的该 多个视差的一中位数。
【文档编号】H04N13/00GK104427324SQ201310393454
【公开日】2015年3月18日 申请日期:2013年9月2日 优先权日:2013年9月2日
【发明者】刘广智, 周磊, 周正伟 申请人:联咏科技股份有限公司