影像匹配方法及立体匹配系统的制作方法
【专利摘要】本发明公开了一种影像匹配方法，用于一立体匹配系统中执行一第一影像区块至一第二影像区块的立体匹配，该影像匹配方法包含有根据第一匹配算法，对该第一影像区块至该第二影像区块执行匹配运算以产生第一匹配结果；根据第二匹配算法，对该第一影像区块与该第二影像区块间执行匹配运算以产生第二匹配结果与第三匹配结果；根据第二匹配结果与第三匹配结果，获得该第一影像区块的匹配误差值及匹配相似度；以及根据匹配误差值与匹配相似度，判断该第一影像区块的立体匹配结果。
【专利说明】
影像匹配方法及立体匹配系统
【技术领域】
[0001]本发明涉及一种影像匹配方法及立体匹配系统，尤涉及一种可配合影像中对象的特性，选择出适当立体匹配结果的影像匹配方法及立体匹配系统。
【背景技术】
[0002]随着影像技术不断进步，消费者可挑选显示装置的尺寸与功能日益多元，而为了满足不同的使用者需求，各家显示装置的制造商也设法提供输出效能及分辨率更佳的新产品，其中最值得关注的产品之一是具有三维立体显示的显示装置。而一般常见的三维立体显示技术有偏光式(Polarized)、交错式(Interlaced)或分时式(Anaglyph)等显示方式，其原理为将相关于深度信息的不同视角影像利用特殊光学设计分别投射到人的左右眼，如此可使人的左右眼分别看到不同视角的影像，并经过人脑的合成后而产生三维深度信息，让人感觉出三维立体的影像。
[0003]当具有三维立体显示功能的显示装置欲显示的来源影像为不具有深度信息的二维影像时，由于来源影像缺少深度信息，故显示装置无法产生出各种相关于深度信息的多视角(mult1-view)影像，以投射到人的左右眼。在此情形下，显示装置需另针对二维影像进行分析以获得深度信息，进而才能显示出多视角影像。在现有技术中，需利用如多个影像撷取装置分别位于不同位置来获得至少两个不同的视角影像，才可分析出深度信息，而针对两个不同视角影像来进行分析以获得深度信息的流程称为立体匹配(stereo matching),其原理为于两个不同视角影像间相互搜寻是否有匹配的对象(或者也可为特征或像素点等)，进而获得两个不同视角影像中匹配对象位置值的差值，成为视差(disparity)信息(SP所谓的视差图)，并通过视差信息可计算出匹配对象的深度信息。
[0004]然而，当于两个不同视角影像间执行立体匹配来取得深度信息时，由于影像的景观不尽相同，且用来取得兩不同视角影像的两影像撷取装置间位置距离也不相同，因此如何于两不同视角影像间正确地搜寻出匹配对象并获得正确的视差信息将会影响深度信息的准确性。例如，当两影像的对象发生匹配错误时，例如左视角影像的A对象匹配至右视角影像的B对象而非A对象，则对象的视差信息便会产生错误，故会获得错误的深度信息而使对象显示出错误深度，并使人看不见相对应的对象，或者造成对象变形。因此，当两视角影像间执行立体匹配时，如何准确获得影像中各对象的立体匹配结果，已成为立体视觉技术最重要的课题之一。
【发明内容】
[0005]因此，本发明的主要目的即在于提供一种影像匹配方法及立体匹配系统，其可配合影像中对象的特性，选择出适当的立体匹配结果。
[0006]本发明公开一种影像匹配方法，用于一立体匹配系统中执行一第一影像区块至一第二影像区块的一立体匹配，该影像匹配方法包含有根据一第一匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第一匹配结果；根据一第二匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第二匹配结果；根据该第二匹配算法，对该第二影像区块至该第一影像区块执行匹配运算，以产生一第三匹配结果；根据该第二匹配结果与该第三匹配结果，获得该第一影像区块相关于该第二匹配算法的一匹配误差值，并根据该第二匹配结果，获得该第一影像区块匹配至该第二影像区块的一匹配相似度；以及根据该匹配误差值与该匹配相似度，判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
[0007]本发明还公开一种立体匹配系统，用以执行一第一影像区块至一第二影像区块的一立体匹配，该立体匹配系统包含有一第一匹配模块，用来根据一第一匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第一匹配结果；一第二匹配模块，用来根据一第二匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第二匹配结果，及对该第二影像区块至该第一影像区块执行匹配运算，以产生一第三匹配结果，并且根据该第二匹配结果与该第三匹配结果，获得该第一影像区块相关于该第二匹配算法的一匹配误差值，及根据该第二匹配结果，获得该第一影像区块匹配至该第二影像区块的一匹配相似度；以及一计算判断模块，用来根据该匹配误差值与该匹配相似度，判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
【专利附图】
【附图说明】
[0008]图1为本发明实施例一立体匹配系统的示意图。
[0009]图2为本发明实施例第一影像区块相关于动态规划算法的第一匹配结果的示意图。
[0010]图3为本发明实施例第一影像区块与第二影像区块相关于扫描线最佳化算法的第二匹配结果与第三匹配结果的示意图。
[0011]图4为本发明实施例一影像匹配流程的流程图。
[0012]其中，附图标记说明如下:
[0013]10立体匹配系统
[0014]100第一匹配模块
[0015]102第二匹配模块
[0016]104计算判断模块
[0017]110第一影像区块
[0018]112第二影像区块
[0019]120第一立体匹配结果
[0020]122第二立体匹配结果
[0021]RESl 第一匹配结果
[0022]RES2 第二匹配结果
[0023]ERR匹配误差值
[0024]SIM匹配相似度
[0025]XO?X7 像素点
[0026]YO?Y7 像素点
[0027]AO?A7 像素点
[0028]BO?B7 像素点
[0029]40流程
[0030]400 ?412 步骤
【具体实施方式】
[0031]请参考图1,图1为本发明实施例一立体匹配(stereo matching)系统10的示意图。如图1所示，立体匹配系统10包含有一第一匹配模块100、一第二匹配模块102及一计算判断模块104，而立体匹配系统10可执行第一影像区块110与第二影像区块112间的立体匹配，以获得第一影像区块110与第二影像区块112的视差信息，即第一立体匹配结果120与第二立体匹配结果122。
[0032]一般而言，藉由两影像撷取装置分别于一待摄物左右两边可取得相对于该待摄物的两不同视角影像，称为左视角影像与右视角影像，当欲执行左视角影像与右视角影像的立体匹配时，由于计算成本与复杂度的考虑，会将左视角影像与右视角影像切割成较小单位的影像区块来执行立体匹配，以获得小单位影像区块的立体匹配结果，并最后再将小单位影像区块的立体匹配结果整合为整体左视角影像与右视角影像的立体匹配结果。
[0033]于图1中，第一影像区块110与第二影像区块112可视为左视角影像与右视角影像中个别小单位的影像区块，如左视角影像的扫描线与右视角影像的扫描线，或也可视为左视角影像的小区块与右视角影像的小区块，如方形或矩形的像素点区块等。以第一影像区块110与第二影像区块112为两不同视角影像的两扫描线而言，第一影像区块110与第二影像区块112的区块大小(即扫描线的像素点数目)并非固定，可视计算时间、计算成本与结果需求来加以调整，例如当扫描线的像素点数目较多时，立体匹配系统10可于较多像素点内执行立体匹配，即具有较大的匹配搜索范围，如此可使匹配结果较为正确，但相对地需增加较多的计算时间及成本。
[0034]最后，由于立体匹配系统10产生第一立体匹配结果120与第二立体匹配结果122中包含有视差信息，故可据以分析出第一影像区块110与第二影像区块112的深度信息并合成出相关于第一影像区块110与第二影像区块112的多视角影像区块，进而整合出左视角影像与右视角影像的多视角影像。
[0035]详细来说，第一匹配模块100、第二匹配模块102及计算判断模块104分别可利用特殊应用集成电路(applicat1n-specific integrated circuit, ASIC)来实现，或者也可通过微处理器(mic1processOT)结合储存装置来实现，而储存装置可储存程序代码指示微处理器执行匹配运算与计算判断相关流程。其中，储存装置为只读式内存(read-onlymemory, ROM)、随机存取内存(random-access memory, RAM)、光盘只读存储器(CD-ROMs)、磁带(magnetic tapes)、软盘(floppy disks)、光学数据储存装置(optical data storagedevices)等等,并不限于此。
[0036]首先，立体匹配系统10会执行第一影像区块110至第二影像区块112的立体匹配，以获得第一影像区块110的第一立体匹配结果120。在此情形下，第一匹配模块100以第一影像区块110为来源影像区块，以第二影像区块112为目的影像区块，根据第一匹配算法对第一影像区块110至第二影像区块112执行匹配搜寻与视差计算，以获得第一匹配结果RES1，其包含有第一影像区块110相关于第一匹配算法的视差信息，并且第一匹配模块100再将第一匹配结果RES1输出至计算判断模块104。同时，第二匹配模块102以第一影像区块110为来源影像区块，以第二影像区块112为目的影像区块，根据第二匹配算法对第一影像区块110至第二影像区块112执行匹配搜寻与视差计算，以获得第二匹配结果RES2，其包含有第一影像区块110相关于第二匹配算法的视差信息，并且第二匹配模块102再将第二匹配结果RES2输出至计算判断模块104。此外，第二匹配模块102另会以第二影像区块112为来源影像区块，以第一影像区块110为目的影像区块，同样根据第二匹配算法对第二影像区块112至第一影像区块110执行匹配搜寻与视差计算，以获得第三匹配结果RES3，而其包含有第二影像区块112相关于第二匹配算法的视差信息。
[0037]借此，第二匹配模块102根据第二匹配结果RES2中所包含相关于第一影像区块110的视差信息，可获得第一影像区块110的一代表点于第二影像区块112中的视差匹配位置，并标示为第二影像区块112的一匹配点。进一步地，第二匹配模块102根据第三匹配结果RES3所包含相关于第二影像区块112的视差信息，可再获得第二影像区块112的匹配点于第一影像区块110中的视差匹配位置，并标示为第一影像区块110的一验证点。接着，第二匹配模块102计算第一影像区块110代表点与验证点间的距离差值，以获得匹配误差值ERR，用以表示于第二匹配算法的匹配演算下，同一匹配特征点于第一影像区块110的视差信息与于第二影像区块112的视差信息间的误差值大小，第二匹配模块102并输出匹配误差值ERR至计算判断模块104。
[0038]另外，第二匹配模块102根据第二匹配结果RES2中所包含相关于第一影像区块110的视差信息，可获得第一影像区块110中所有原始点于第二影像区块112中的所有视差匹配位置，并标示为第二影像区块112的所有相似点。接着，第二匹配模块102计算第一影像区块110的所有原始点与第二影像区块112的所有相似点间像素值的整体相似程度，以获得匹配相似度SM，并将匹配相似度SM输出至计算判断模块104。
[0039]最后，计算判断模块104根据所接收到的匹配误差值ERR与匹配相似度SM，当匹配误差值ERR小于一误差临界值且匹配相似度SM小于一相似临界值时，判断第一影像区块110相关于第二算法匹配运算的匹配结果为合理，而选择第二匹配结果RES2成为第一立体匹配结果120。并且，当匹配误差值ERR大于误差临界值或匹配相似度SM大于相似临界值时，计算判断模块104判断第一影像区块110相关于第二算法匹配运算的匹配结果为不合理，而选择第一匹配结果RES1成为第一立体匹配结果120。其中，误差临界值与相似临界值可视需求来加以调整并不受限，以使匹配结果能更准确。
[0040]立体匹配系统10执行完第一影像区块110至第二影像区块112的立体匹配，而获得第一影像区块110的第一立体匹配结果120之后，立体匹配系统10同样地根据上述的匹配运算来执行第二影像区块112至第一影像区块110的立体匹配，以获得第二影像区块112的第二立体匹配结果122，其包含有第二影像区块112的视差信息。
[0041]如此一来，立体匹配系统10可针对不具有深度信息的两不同视角影像，依序地执行影像中相对应个别影像区块的立体匹配，并产生个别影像区块的立体匹配结果，而可整合出两不同视角影像的整体立体匹配结果，并可进一步根据立体匹配结果所包含的视差信息(即两不同视角影像的视差图)，获得两不同视角影像的深度信息并合成出多视角影像。需注意的是，立体匹配系统10是同时利用两个不同的算法(第一匹配算法与第二匹配算法)来执行立体匹配以获得两个不同的立体匹配结果，故可分别设计两个不同算法以分别适用影像中所包含两不同对象的对象特性，并于执行立体匹配后判断其中一个匹配算法的匹配结果是否合理，选择出适当的立体匹配结果，使得立体匹配系统10的立体匹配结果能更准确。
[0042]值得注意地，第一匹配模块100根据第一匹配算法来执行立体匹配的实现方式未有所限。较佳地，第一匹配模块100可根据一动态规划(Dynamic Programming)算法对第一影像区块110至第二影像区块112执行匹配搜寻与视差计算，以获得第一匹配结果RESl。根据动态规划算法的匹配运算，第一影像区块110与第二影像区块112先相互执行匹配搜寻，以获得各自的匹配状态后，再将各自的匹配状态转换为视差能量评价函数，此函数由数据项和平滑项构成，并搭配算法來求得视差能量评价函数的能量最小值，进而获得第一影像区块110与第二影像区块112中每像素点的视差信息(即为每像素点的视差值)。也就是说，动态规划算法是根据第一影像区块110与第二影像区块112间的匹配状态，通过视差能量评价函数以评量出最适当的视差信息。
[0043]请参考图2，图2为本发明实施例第一影像区块110相关于动态规划算法的第一匹配结果RESl的示意图。如图2所示，第一影像区块110为包含有像素点XO?X7的扫描线，而第二影像区块112为包含有像素点YO?Y7的扫描线。于本实施例中第一影像区块110的像素点XO?X7经由动态规划算法的匹配运算后，可获得第一匹配结果RES1，其为像素点XO?X7的视差值4、4、4、4、3、2、1、0。由此可知，根据动态规划算法所评量的像素点XO?X3的视差值，第一影像区块110的像素点XO?X3于第二影像区块112中相距离4个像素点的位置为像素点XO?X3于第二影像区块112的视差匹配位置，即第二影像区块112的像素点Y4?Y7 (如图2中相连接的箭头线所示)。而根据动态规划算法所评量的像素点X4?X7的视差值，第一影像区块110的像素点X4?X7于第二影像区块112中相距离3、
2、1、0个像素点的位置为像素点X4?X7于第二影像区块112的视差匹配位置，即第二影像区块112的像素点Y7、Y7、Y7、Y7 (未特别标示于图2中)。
[0044]借此，由于动态规划算法是基于第一影像区块110与第二影像区块112间具有顺序相关性的特征所设计，因此除搭配算法來求得视差能量评价函数的能量最小值以获取视差信息外，动态规划算法还会限制需依循第一影像区块110与第二影像区块112间的顺序相关性来求得视差信息，故当像素点XO?Χ3视为具有4像素点宽的大型对象时，所评量出视差信息是具有顺序且无快速变动的特性，即像素点XO?Χ3为整体视差匹配至像素点Υ4?Υ7。因此，动态规划算法可适用于第一影像区块110与第二影像区块112中具有大型对象的匹配运算，并具有视差信息较稳定的特性。
[0045]再者，第二匹配模块102根据第二匹配算法来执行立体匹配的实现方式亦未有所限。较佳地，第二匹配模块102可根据一扫描线最佳化(Scan-line Optimizat1n)算法对第一影像区块HO与第二影像区块112执行匹配搜寻与视差计算，以获得第二匹配结果RES2与第三匹配结果RES3。根据扫描线最佳化算法的匹配运算，第一影像区块110与第二影像区块112亦需先相互执行匹配搜寻，以获得各自的匹配状态后，再将各自的匹配状态转换为视差能量评价函数，并搭配算法來求得能量的最小值，进而获得第一影像区块110与第二影像区块112中每像素点的视差信息。相较于动态规划算法，扫描线最佳化算法为基于第一影像区块110与第二影像区块112间不具有顺序相关性的特征所设计，因此是单纯地搜寻视差能量评价函数的能量最小值以获得视差信息，而无相关的搜寻限制。
[0046]请参考图3，图3为本发明实施例第一影像区块110与第二影像区块112相关于扫描线最佳化算法的第二匹配结果RES2与第三匹配结果RES3的示意图。如图3所示，第一影像区块110为包含有像素点AO?A7的扫描线,而第二影像区块112为包含有像素点BO?B7的扫描线。当本实施例中第一影像区块110的像素点AO?A7经由扫描线最佳化算法的匹配运算后，可获得像素点AO?A7的第二匹配结果RES2，其为像素点AO?A7的视差值4、5、4、5、3、2、1、0。第二影像区块112的像素点BO?B7经由扫描线最佳化算法的匹配运算后，可获得像素点BO?B7的第三匹配结果RES3，其为像素点BO?B7的视差值7、6、6、5、2、3、4、5。
[0047]进一步地，当以像素点AO为第一影像区块110的代表点时，根据像素点AO的视差值为4，第一影像区块110的像素点AO于第二影像区块112中相距离4个像素点的位置，为像素点AO于第二影像区块112的视差匹配位置，即第二影像区块112的像素点B4。另一方面，根据第二影像区块112的像素点B4相关于最佳化算法所评量的视差值为2，故第二影像区块112的像素点B4于第一影像区块110中相距离2个像素点的位置,为像素点B4于第一影像区块110的视差匹配位置，即第一影像区块110的像素点A2。
[0048]由此可知，第二匹配模块102根据扫描线最佳化算法，同时对第一影像区块110至第二影像区块112执行匹配运算，及对第二影像区块112至第一影像区块110执行匹配运算，可获得第一影像区块110的像素点AO视差匹配至第二影像区块112的像素点B4，而第二影像区块112的像素点B4视差匹配至第一影像区块110的像素点A2，故于第一影像区块110中，计算像素点AO与像素点A2间的距离差值(即为2个像素点)，可获得第一影像区块110的匹配误差值ERR。
[0049]同时，第二匹配模块102根据像素点AO?A7的视差值，可获得第一影像区块110的像素点AO?A7于第二影像区块112中的所有视差匹配位置，并可分别计算像素点AO?A7与相对应第二影像区块112中视差匹配位置的像素点的像素差值的绝对值，以分别获得像素点AO?A7的相似度，再将像素点AO?A7的相似度累加以获得第一影像区块110匹配至第二影像区块112的匹配相似度SIM。
[0050]借此，由于扫描线最佳化算法是基于第一影像区块110与第二影像区块112间不具有顺序相关性的特征所设计，因此单以求得视差能量评价函数的能量最小值以获得视差信息，故所评量出的视差信息不具有顺序性而有快速变动的特性，如第一影像区块110的像素点AO于第二影像区块112的视差匹配位置为像素点B4，而第一影像区块110的像素点Al于第二影像区块112的视差匹配位置为像素点B6，其非连续稳定变化。因此，扫描线最佳化算法较适用于第一影像区块110与第二影像区块112中具有小型对象的匹配运算，可快速反应出小型对象的视差信息并具有快速变动的特性。
[0051]如此一来，第一匹配模块100可根据如动态规划算法的设计执行适用于大对象的匹配运算，第二匹配模块102可根据如扫描线最佳化算法的设计执行适用于小对象的匹配运算。由于第一匹配模块100适用于大对象，故第一匹配模块100用于两不同视角影像中具有大对象的匹配运算时，其匹配结果会较稳定且不会有快速变动。另外，由于第二匹配模块102适用于小对象，故第二匹配模块102用于两不同视角影像中具有小对象的匹配运算时，其匹配结果快速反应出小型对象的视差信息。同时，为了避免第二匹配模块102所产生的视差信息因快速变动而造成不正确的立体匹配结果，第二匹配模块102同时进行计算匹配误差值ERR与匹配相似度SM，并通过计算判断模块104判断当匹配误差值ERR小于预定的误差临界值且匹配相似度SIM小于预定的相似临界值时，第一影像区块110于扫描线最佳化算法的匹配运算下的匹配结果为合理，故选择第二匹配结果RES2为第一立体匹配结果120。而计算判断模块104判断当匹配误差值ERR大于预定的误差临界值或匹配相似度SIM大于预定的相似临界值时，第一影像区块110于扫描线最佳化算法的匹配运算下的匹配结果为不合理，故选择第一匹配结果RESl为第一立体匹配结果120。因此，可于两不同特性的算法所评量出的匹配结果中适当地选择出匹配结果，而可使得匹配结果能更正确。
[0052]关于立体匹配系统10执行第一影像区块110与第二影像区块112间的立体匹配，以获得第一立体匹配结果120所适用的方法，可进一步归纳为一影像匹配流程40，如图4所示。影像匹配流程40包含以下步骤:
[0053]步骤400:开始。
[0054]步骤402:根据第一匹配算法，对第一影像区块110至第二影像区块112执行匹配运算，以产生第一匹配结果RES1。
[0055]步骤404:根据第二匹配算法，对第一影像区块110至第二影像区块112执行匹配运算，以产生第二匹配结果RES2。
[0056]步骤406:根据第二匹配算法，对第二影像区块112至第一影像区块110执行匹配运算，以产生第三匹配结果RES3。
[0057]步骤408:根据第二匹配结果RES2与第三匹配结果RES3，获得第一影像区块110相关于第二匹配算法的匹配误差值ERR，并根据第二匹配结果，获得第一影像区块匹配至第二影像区块的匹配相似度SIM。
[0058]步骤410:根据匹配误差值ERR与匹配相似度SM，判断第一影像区块110的第一立体匹配结果120为第一匹配结果RESl或第二匹配结果RES2。
[0059]步骤412:结束。
[0060]影像匹配流程40中每一步骤的详细操作，可参考前述实施例的相关段落说明，在此不赘述。较佳地，步骤402到步骤408的先后操作顺序，亦可根据实际需求来对应调整，例如先进行步骤404到步骤408先获得第一影像区块110相关于第二匹配算法的匹配结果、匹配误差值及匹配相似度后，再进行步骤402获得第一影像区块110相关于第一匹配算法的匹配结果，亦为本发明的范畴。另外，本实施例所提供的影像匹配流程40是针对第一影像区块110的匹配运算，用以获得第一立体匹配结果120，关于第二影像区块112的第二立体匹配结果122，同样可依据影像匹配流程40，根据第一匹配算法获得第二影像区块112的匹配结果，并且根据第二匹配算法获得第二影像区块112的匹配结果、匹配误差值及匹配相似度后，再根据匹配误差值及匹配相似度判断出第二立体匹配结果122为相关于第一匹配算法的匹配结果或相关于第二匹配算法的匹配结果。
[0061]具体而言，本发明实施例是在立体匹配系统中，考虑适用于小对象的算法所产生的视差信息具有快速变动的特性，故针对适用于小对象的算法如扫描线最佳化算法，执行两图像区块间的匹配运算，并根据两图像区块间匹配运算的结果，相互比较以获得其中图像区块的匹配误差值及匹配相似度，用以判断视差信息是否合理。本领域的技术人员当可据以进行修饰或变化，举例来说，于本实施例中，第二算法为扫描线最佳化算法，于其它实施例中，第二算法也可为如可信度传递算法(Belief Propagat1n, BP)等同样适用于小对象的算法，并不受限。
[0062]再者，于本实施例中，动态规划算法与扫描线最佳化算法通过匹配搜寻与计算能量评价函数来获得视差信息。于其它实施例，动态规划算法与扫描线最佳化算法也可再增加其它限制或增加其它计算与判断，来增加视差信息的准确性，如根据两扫描线的时间相关性或空间相关性来加以判断，以获得相关于动态规划算法与扫描线最佳化算法的准确视差信息，之后才可再依据较准确的视差信息，计算出匹配误差值及匹配相似度，并据以判断与选择出正确的匹配结果。
[0063]此外，于本实施例中，先执行完第一影像区块110至第二影像区块112的立体匹配，而获得第一影像区块110的第一立体匹配结果120的后，再执行第二影像区块112至第一影像区块110的立体匹配，以获得第二影像区块112的第二立体匹配结果122。于其它实施例中，也可同时执行第一影像区块110至第二影像区块112的立体匹配及第二影像区块112至第一影像区块110的立体匹配，并同时获得第一影像区块110的第一立体匹配结果120与第二影像区块112的第二立体匹配结果122，而不受限。
[0064]综上所述，在现有技术中，仅利用单一算法来执行兩不同视角影像间的立体匹配，由于影像的景观不尽相同，因此当算法不适用于影像中对象的特性时，便会获得错误的视差信息，而影响深度信息的准确性。相较之下，本发明同时利用两不同算法执行兩不同视角影像间的匹配运算，且可设计两不同算法为适用于大对象与小对象的匹配运算，并可同时获得相对应的两不同匹配结果。借此，本发明可再针对视差信息较易快速变动的算法，执行两不同视角影像间的匹配运算，用以比较并获得匹配误差值及匹配相似度，而据以判断以选择出准确的匹配结果。
[0065]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种影像匹配方法，用于一立体匹配系统中执行一第一影像区块至一第二影像区块的一立体匹配，该影像匹配方法包含有: 根据一第一匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第一匹配结果； 根据一第二匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第二匹配结果； 根据该第二匹配算法，对该第二影像区块至该第一影像区块执行匹配运算，以产生一第三匹配结果； 根据该第二匹配结果与该第三匹配结果，获得该第一影像区块相关于该第二匹配算法的一匹配误差值，并根据该第二匹配结果，获得该第一影像区块匹配至该第二影像区块的一匹配相似度；以及 根据该匹配误差值与该匹配相似度，判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
2.如权利要求1所述的方法，其中该第一影像区块与该第二影像区块为一影像的两条扫描线或两个区块。
3.如权利要求1所述的方法，其中第一匹配算法包含根据该第一影像区块与该第二影像区块间具有一顺序相关性的特征所设计，并适用于该第一影像区块与该第二影像区块中具有一大型对象的匹配运算。
4.如权利要求1所述的方法，其中第一匹配算法包含根据一动态规划算法来执行匹配运算。
5.如权利要求1所述的方法，其中第二匹配算法包含根据该第一影像区块与该第二影像区块间不具有一顺序相关性的特征所设计，并适用于该第一影像区块与该第二影像区块中具有一小型对象的匹配运算。
6.如权利要求1所述的方法，其中第二匹配算法包含根据一扫描线最佳化算法来执行匹配运算。
7.如权利要求1所述的方法，其中根据该第二匹配结果与该第三匹配结果，获得该第一影像区块相关于该第二匹配算法的该匹配误差值的步骤，包含有: 根据该第二匹配结果，获得该第一影像区块的一代表点匹配至该第二影像区块的一匹配点； 根据该第三匹配结果，获得该第二影像区块的该匹配点匹配至该第一影像区块的一验证点；以及 计算该代表点与该验证点的一距离差值，以获得该第一影像区块相关于该第二匹配算法的该匹配误差值。
8.如权利要求1所述的方法，其中根据该第二匹配结果，获得该第一影像区块匹配至该第二影像区块的该匹配相似度，包含有: 根据该第二匹配结果，获得该第一影像区块的至少一原始点匹配至该第二影像区块的至少一相似点；以及 根据该第一影像区块的该至少一原始点与该第二影像区块的该至少一相似点，获得该匹配相似度。
9.如权利要求1所述的方法，其中该匹配相似度为该至少一原始点与该至少一相似点的至少一像素差值的一绝对值的一总和。
10.如权利要求1所述的方法，其中根据该匹配误差值与该匹配相似度，判断该第一影像区块的该立体匹配结果为该第一匹配结果或该第二匹配结果的步骤，包含有: 当该匹配误差值小于一误差临界值且该匹配相似度小于一相似临界值时，判断该立体匹配结果为该第二匹配结果，以及当该匹配误差值大于该误差临界值或该匹配相似度大于该相似临界值时，判断该立体匹配结果为该第一匹配结果。
11.如权利要求1所述的方法，其中该立体匹配结果包含有该第一影像区块至该第二影像区块的一视差息。
12.—种立体匹配系统，用以执行一第一影像区块至一第二影像区块的一立体匹配，该立体匹配系统包含有: 一第一匹配模块，用来根据一第一匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第一匹配结果； 一第二匹配模块，用来根据一第二匹配算法，对该第一影像区块至该第二影像区块执行匹配运算，以产生一第二匹配结果，及对该第二影像区块至该第一影像区块执行匹配运算，以产生一第三匹配结果，并且根据该第二匹配结果与该第三匹配结果，获得该第一影像区块相关于该第二匹配算法的一匹配误差值，及根据该第二匹配结果，获得该第一影像区块匹配至该第二影像区块的一匹配相似度；以及一计算判断模块，用来根据该匹配误差值与该匹配相似度，判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
13.如权利要求12所述的立体匹配系统，其中该第一影像区块与该第二影像区块为一影像的两条扫描线或两个区块。
14.如权利要求12所述的立体匹配系统，其中第一匹配算法包含根据该第一影像区块与该第二影像区块间具有一顺序相关性的特征所设计，并适用于该第一影像区块与该第二影像区块中具有一大型对象的匹配运算。
15.如权利要求12所述的立体匹配系统，其中第一匹配算法包含根据一动态规划算法来执行匹配运算。
16.如权利要求12所述的立体匹配系统，其中第二匹配算法包含根据该第一影像区块与该第二影像区块间不具有一顺序相关性的特征所设计，并适用于该第一影像区块与该第二影像区块中具有一小型对象的匹配运算。
17.如权利要求12所述的立体匹配系统，其中第二匹配算法包含根据一扫描线最佳化算法来执行匹配运算。
18.如权利要求12所述的立体匹配系统，其中根据该第二匹配结果与该第三匹配结果，获得该第一影像区块相关于该第二匹配算法的该匹配误差值的步骤，包含有: 根据该第二匹配结果，获得该第一影像区块的一代表点匹配至该第二影像区块的一匹配点； 根据该第三匹配结果，获得该第二影像区块的该匹配点匹配至该第一影像区块的一验证点；以及 计算该代表点与该验证点的一距离差值，以获得该第一影像区块相关于该第二匹配算法的该匹配误差值。
19.如权利要求12所述的立体匹配系统，其中根据该第二匹配结果，获得该第一影像区块匹配至该第二影像区块的该匹配相似度，包含有: 根据该第二匹配结果，获得该第一影像区块的至少一原始点匹配至该第二影像区块的至少一相似点；以及 根据该第一影像区块的该至少一原始点与该第二影像区块的该至少一相似点，获得该匹配相似度。
20.如权利要求12所述的立体匹配系统，其中该匹配相似度为该至少一原始点与该至少一相似点的至少一像素差值的一绝对值的一总和。
21.如权利要求12所述的立体匹配系统，其中根据该匹配误差值与该匹配相似度，判断该第一影像区块的该立体匹配结果为该第一匹配结果或该第二匹配结果的步骤，包含有: 当该匹配误差值小于一误差临界值且该匹配相似度小于一相似临界值时，判断该立体匹配结果为该第二匹配结果，以及当该匹配误差值大于该误差临界值或该匹配相似度大于该相似临界值时，判断该立体匹配结果为该第一匹配结果。
22.如权利要求12所述的立体匹配系统，其中该立体匹配结果包含有该第一影像区块至该第二影像区块的一匹配信息，并可由该匹配信息获得该第一影像区块的一视差信息。
【文档编号】H04N13/00GK104284172SQ201310279902
【公开日】2015年1月14日 申请日期:2013年7月4日 优先权日:2013年7月4日
【发明者】周磊, 刘广智, 周正伟 申请人:联咏科技股份有限公司