影像立体匹配系统的制作方法
【专利摘要】本发明是有关于一种影像立体匹配系统，包含至少一个立体匹配单元（SMU），每一个立体匹配单元接收视角对（view?pair）的第一视角与第二视角，据以产生第一视角的第一深度图。反向追踪器接收第一深度图，据以得到第二视角的第二深度图。借由本发明，能够降低电路面积及时间延迟，或/且使用可调适视窗尺寸以改善深度图。
【专利说明】影像立体匹配系统【技术领域】
[0001]本发明是有关于三维成像，特别是关于具可调适视窗尺寸的立体匹配(stereomatching)系统。
【背景技术】
[0002]三维成像技术利用二偏位影像(亦即，左影像及右影像)于观者大脑结合形成三维深度感知，用以产生、增强或记录影像的深度假像。
[0003]立体匹配是立体三维调整(stereo3D adjustment)、多视角成像(mult1-viewrendering)、自由视角系统(free view point system)等各种应用的核心技术。图1显示传统影像立体匹配系统100于二视角应用的方框图。如图1所示，使用二个立体匹配单元(SMU)IlA与IlB以分别得到左(L)影像与右(R)影像的深度图。由于立体匹配单元IlA与IlB所需计算量庞大，因此会占用大电路面积或造成时间延迟。
[0004]此外，在传统立体匹配系统中，执行立体匹配的匹配视窗具固定正方形视窗尺寸。如果视窗尺寸设得太小，通常会得到噪声大的深度图。反过来说，如果视窗尺寸设得太大，通常会得到具模糊边缘的 深度图。
[0005]因此亟需提出一种新颖的影像立体匹配系统，用以克服传统三维系统的缺点。
[0006]由此可见，上述现有的传统三维系统在结构与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品又没有适切结构能够解决上述问题，此显然是相关业者急欲解决的问题。
【发明内容】
[0007]本发明的目的在于提出一种影像立体匹配系统，用以降低电路面积及时间延迟，或/且使用可调适视窗尺寸以改善深度图。
[0008]本发明的目的及解决其技术问题是采用以下技术方案来实现的。本发明一种影像立体匹配系统，包含至少一个立体匹配单元(SMU)及反向追踪器。每一个立体匹配单元接收视角对(view pair)的第一视角与第二视角，该立体匹配单元据以产生第一视角的第一深度图。反向追踪器接收第一深度图，据以得到第二视角的第二深度图。
[0009]本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
[0010]较佳的，前述的影像立体匹配系统，其中该第一视角与该第二视角分别包含左影像与右影像。
[0011]较佳的，前述的影像立体匹配系统，其中该第一深度图的产生是经由该立体匹配单元决定该第一视角与该第二视角的匹配视窗之间的相似度指标。
[0012]较佳的，前述的影像立体匹配系统，其中该相似度指标包含绝对差值和(SAD)。
[0013]较佳的，前述的影像立体匹配系统，其中该立体匹配单元更产生所述多个匹配视窗之间的视差。[0014]较佳的，前述的影像立体匹配系统，其中该第二深度图的获得是将该第一深度图的深度数据映射至该第二视角的相应匹配视窗，且该相应匹配视窗依该视差而移位。
[0015]较佳的，前述的影像立体匹配系统，其更包含补偿单元，用以填补该第二深度图的至少一个孔洞区域。
[0016]较佳的，前述的影像立体匹配系统，其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行内插以建构深度值给该孔洞区域。
[0017]较佳的，前述的影像立体匹配系统，其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行外插以建构深度值给该孔洞区域。
[0018]较佳的，前述的影像立体匹配系统，其中该匹配视窗的尺寸根据该第一视角的纹理密度而动态改变。
[0019]较佳的，前述的影像立体匹配系统，其更包含:影像缓冲器，用以存放像素值；边缘侦测器，用以得到该第一视角的边缘讯息；及纹理密度单元，将该边缘讯息与至少一个密度临界值作比较，以决定该匹配视窗的视窗尺寸。
[0020]较佳的，前述的影像立体匹配系统，其中该边缘侦测器包含索贝尔(Sobel)滤波器。
[0021]较佳的，前述的影像立体匹配系统，其中该边缘讯息包含边缘图的区域直方图(histogram),提供给 该纹理密度单元以产生纹理密度,该纹理密度再与该密度临界值作比较。
[0022]较佳的，前述的影像立体匹配系统，其中该纹理密度愈大则分派愈小的视窗，根据所分派的视窗，该影像缓冲器当中被所分派视窗所涵盖的像素值被送至该立体匹配单元以进行处理。
[0023]较佳的，前述的影像立体匹配系统，其更包含线缓冲器，当纹理密度小于预设密度临界值而表示为平坦区域时，则将该影像缓冲器所存放的像素值重新组合后存放于该线缓冲器。
[0024]借由上述技术方案，本发明影像立体匹配系统至少具有下列优点及有益效果:借由本发明，能够降低电路面积及时间延迟，或/且使用可调适视窗尺寸以改善深度图。
[0025]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
【专利附图】
【附图说明】
[0026]图1显示传统影像立体匹配系统于二视角应用的方框图。
[0027]图2显示本发明实施例的影像立体匹配系统的方框图。
[0028]图3显示右影像的深度图的产生。
[0029]图4显示多视角应用的影像立体匹配系统的方框图。
[0030]图5显示本发明实施例的提供可调适左影像的视窗尺寸给立体匹配单元(图2)的系统方框图。
[0031]【主要元件符号说明】
[0032]100:影像立体匹配系统[0033]IIA:(左影像)立体匹配单元
[0034]IIB:(右影像)立体匹配单元
[0035]200:影像立体匹配系统
[0036]21:立体匹配单元
[0037]22:反向追踪器
[0038]23:补偿单元
[0039]31:(左影像)匹配视窗
[0040]32:(右影像)匹配视窗
[0041]500:提供可调适视窗尺寸的系统
[0042]51:边缘侦测器
[0043]52:纹理密度单元
[0044]53:影像缓冲器
[0045]54:线缓冲器
【具体实施方式】
[0046]为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种影像立体匹配系统的【具体实施方式】、结构、特征及其功效，详细说明如后。
[0047]图2显示本发明实施例的影像立体匹配系统200的方框图。虽然本实施例以二视角(亦即，左视角及右视角)结构作为例示，然而本发明可适用于多视角的应用。本实施例的系统200可使用积体电路来实施，也可执行于数字影像处理器。
[0048]如图2所示，影像立体匹配系统200包含立体匹配单元(SMU) 21，其接收左(L)影像及右(R)影像，借以产生左影像的深度图。一般来说，在多视角的应用中，立体匹配单元21产生第一视角的第一深度图。在本实施例中，深度图的产生可经由决定左影像与右影像的匹配视窗之间的相似度指标(例如绝对差值和(SAD))。如图3所例示，决定左影像的匹配视窗31与右影像的相应匹配视窗32之间的最小SAD，则可得到匹配视窗31与32之间的视差(disparity)。移动匹配视窗31与32于整个图框(frame)以决定其相似度，因而可以得到左影像的深度图。在本实施例中，匹配视窗指立体匹配单元21目前接收并处理的左影像或右影像的影像区域的像素。
[0049]再参阅图2,影像立体匹配系统200包含反向追踪器(backward tracer) 22,其接收视差及左深度图，据以得到右影像的深度图。一般来说，在多视角的应用中，反向追踪器22可得到第二视角的第二深度图。详而言之，左影像的深度图的深度数据被映射(或反向追踪)至右影像的相应匹配视窗，且该相应匹配视窗依视差而移位，因而得到右影像的深度图。由于本实施例不需使用计算量庞大的SAD以得到右影像的深度图，因而可以减少大量的电路面积(例如省略右影像的立体匹配单元)且可大量加快处理速度。
[0050]有时候，右影像的部分像素无法得到匹配深度值，因此所得到的右深度图会有孔洞区域的情形。根据本实施例的另一特征，影像立体匹配系统200可包含补偿单元23，用以填补或修补右深度图的至少一个孔洞区域，因而得到补偿右深度图。在实施例中，可使用内插技术并根据邻近区域的深度值以建构孔洞区域(特别是窄的孔洞区域)的深度值。例如，将邻近孔洞区域的邻近区域的深度值予以平均，作为建构深度值以填补孔洞区域。在另一实施例中，可使用外插技术并根据邻近区域的深度值以建构孔洞区域(特别是宽的孔洞区域)的深度值。例如，使用邻近孔洞区域的邻近区域的深度值作为建构深度值，以填补孔洞区域。
[0051]上述二视角应用的实施例可推广适用于多视角的应用，如图4所示。对于二视角对(pair)的每一视角或影像(例如视角O与视角I )，使用单一立体匹配单元21(例如SMU0)以产生第一视角的第一深度图(例如，深度图O)，并得到第二视角的第二深度图(例如，深度图1)。类似的情形，其他视角对(例如，视角2-视角3、视角4-视角5、视角6-视角7)分别使用SMU1-SMU3来处理，以分别产生第一深度图(例如，深度图2、深度图4、深度图6)并分别得到第二深度图(例如，深度图3、深度图5、深度图7)。
[0052]根据本实施例的又一特征，上述匹配视窗的尺寸可根据左影像的纹理密度(texture dens ity)而调适地或动态地改变。图5显示本发明实施例的提供可调适左影像的视窗尺寸给立体匹配单元21 (图2)的系统500方框图。在本实施例中，提供可调适视窗尺寸的系统500包含边缘侦测器51 (例如索贝尔(Sobel)滤波器)，用以获得左影像的边缘讯息。纹理密度单元52将边缘讯息与至少一个密度临界值作比较，以决定视窗尺寸。
[0053]在实施例中，自边缘侦测器51得到的边缘图的区域直方图(histogram)提供给纹理密度单元52，以产生纹理密度。纹理密度再与三密度临界值(例如，由小至大依序为第一密度临界值、第二密度临界值、第三密度临界值)作比较。当纹理密度大于第一密度临界值但小于第二密度临界值，则分派大视窗尺寸(例如，7x7视窗)。当纹理密度大于第二密度临界值但小于第三密度临界值，则分派中视窗尺寸(例如，5x5视窗)。当纹理密度大于第三密度临界值，则分派小视窗尺寸(例如，3x3视窗)。一般来说，纹理密度愈大则分派愈小的视窗。根据所分派的视窗，影像缓冲器53当中被视窗所涵盖的像素值被送至立体匹配单元21(图2)以进行处理。虽然上述实施例以正方形视窗作为例示，然而也可以使用矩形视窗。
[0054]根据本实施例的再一特征，当纹理密度小于第一密度临界值时，表示匹配视窗附近为平坦区域，则将影像缓冲器53 (例如大视窗尺寸)所存放的像素值重新组合后存放于线缓冲器54。存放于线缓冲器54 (而非影像缓冲器53)的像素值则被送至立体匹配单元21以进行处理。
[0055]以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【权利要求】
1.一种影像立体匹配系统，其特征在于其包含: 至少一个立体匹配单元，每一个该立体匹配单元接收视角对的第一视角与第二视角，该立体匹配单元据以产生第一视角的第一深度图；及 反向追踪器，接收该第一深度图，据以得到第二视角的第二深度图。
2.根据权利要求1所述的影像立体匹配系统，其特征在于其中该第一视角与该第二视角分别包含左影像与右影像。
3.根据权利要求1所述的影像立体匹配系统，其特征在于其中该第一深度图的产生是经由该立体匹配单元决定该第一视角与该第二视角的匹配视窗之间的相似度指标。
4.根据权利要求3所述的影像立体匹配系统，其特征在于其中该相似度指标包含绝对差值和。
5.根据权利要求3所述的影像立体匹配系统，其特征在于其中该立体匹配单元更产生所述多个匹配视窗之间的视差。
6.根据权利要求5所述的影像立体匹配系统，其特征在于其中该第二深度图的获得是将该第一深度图的深度数据映射至该第二视角的相应匹配视窗，且该相应匹配视窗依该视差而移位。
7.根据权利要求1所述的影像立体匹配系统，其特征在于其更包含补偿单元，用以填补该第二深度图的至少一个孔洞区域。
8.根据权利要求7所述的影像立体匹配系统，其特征在于其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行内插以建构深度值给该孔洞区域。
9.根据权利要求7所述的影像立体匹配系统，其特征在于其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行外插以建构深度值给该孔洞区域。
10.根据权利要求3所述的影像立体匹配系统，其特征在于其中该匹配视窗的尺寸根据该第一视角的纹理密度而动态改变。
11.根据权利要求10所述的影像立体匹配系统，其特征在于其更包含: 影像缓冲器，用以存放像素值； 边缘侦测器，用以得到该第一视角的边缘讯息 '及 纹理密度单元，将该边缘讯息与至少一个密度临界值作比较，以决定该匹配视窗的视窗尺寸。
12.根据权利要求11所述的影像立体匹配系统，其特征在于其中该边缘侦测器包含索贝尔滤波器。
13.根据权利要求11所述的影像立体匹配系统，其特征在于其中该边缘讯息包含边缘图的区域直方图，提供给该纹理密度单元以产生纹理密度，该纹理密度再与该密度临界值作比较。
14.根据权利要求13所述的影像立体匹配系统，其特征在于其中该纹理密度愈大则分派愈小的视窗，根据所分派的视窗，该影像缓冲器当中被所分派视窗所涵盖的像素值被送至该立体匹配单元以进行处理。
15.根据权利要求13所述的影像立体匹配系统，其特征在于其更包含线缓冲器，当纹理密度小于预设密度临界值而表示为平坦区域时，则将该影像缓冲器所存放的像素值重新组合后存放于该线缓冲器。
【文档编号】H04N15/00GK103986923SQ201310049760
【公开日】2014年8月13日 申请日期:2013年2月7日 优先权日:2013年2月7日
【发明者】谢明得, 杨得炜, 朱立家, 王宗仁 申请人:财团法人成大研究发展基金会, 奇景光电股份有限公司