专利名称：快速动态接图点搜寻方法
技术领域：
本发明涉及广角图像的图像接图；更具体来说，涉及一种可快速且动态 地找出多重图像的适当接图点的方法。
背景技术：
通过将个别图像无缝地接合起来以产生广角(全景)图像是一种常见的 已知技术。此技术通常仅局限于远距物体的图像的接图，或者只能针对某固 定距离的目标物来执行接图，而无法针对具有不同距离的动态物体的复杂图 像(或短距物体的图像)找出适当接图点来执行接图。因为此种复杂图像的 接图需要有拍摄物体与摄像机间之距离的相关资讯。欲求得上述距离之正确 数值，需要相当繁复且耗时的计算工作。但是，对于即时处理动态影片而言， 为了提供即时且平滑的输出，将无法接受相当繁复且耗时的计算工作。因此， 希望能以更快速且简单的方法来执行接图操作。
发明内容
本发明的目的是提供一种能够动态且快速地找出最佳接图点以将个别 图像无缝地接图成一广角(全景)图像的方法。利用该快速动态接图点搜寻 方法，得以减少已知技术的复杂计算而并未牺牲接图点搜寻的准确性。
为达成上述目的，依据本发明的一种快速动态接图点搜寻方法包含根 据摄像机角度以决定一第一图像的可能接图区及一第二图像的可能接图区； 计算出针对不同的指定距离的坐标转换矩阵，以便将该第 一 图像中的坐标转 换至该第二图像；选择具有一特定尺寸的区块；选择包括多个区块的搜寻视 窗，其中该搜寻视窗不超出该可能接图区；执行该第一图像与该第二图像间 的区块匹配程序以找出多个候选接图点；及于该多个候选接图点中决定一最 佳接图点。
依据本发明的特征，该区块匹配程序包含于该第一图像的该可能接图 区内随机地选择多个预定接图点(P！至Pn);利用该坐标转换矩阵以将该多
个预定接图点(Pi至Pn )转换至该第二图像的该可能接图区内而取得多个相 应接图点(P、至P，n);计算该多个预定接图点(Pi至Pn)为中心的区块与 包括该多个相应接图点(P、至P，n)的多个搜寻视窗(W!至Wn)内的所有
区块间的第一 SAD (差异绝对值之和)值；及决定每一该多个搜寻视窗(
至WJ内具有最小第一SAD值的多个候选接图点(Ai至An)。
依据本发明的特征，该决定一最佳接图点的步骤包含以该多个候选接 图点(A!至An)为接图点执行该第一图像与该第二图像的接图，以取得多
个接像(I,至IJ;于该多个接像(1至In)内选取一接图判断区；
计算每一该多个候选接图点(A,至An)针对该接图判断区的个别第二 SAD (差异绝对值之和)值；及选取该多个候选接图点(A!至An)中具有最小
第二 SAD值者为 一最佳接图点。
依据本发明的特征，该第一及第二 SAD值的计算是根据像素值。 依据本发明的特征，进一步包含在决定可能接图区之后执行彩色至灰阶
转换及边缘检测程序。
图1是多眼摄像机系统的概略示意图。 图2是依据本发明的快速动态接图点搜寻方法的流程图。 图3是一示意图，其显示多眼摄像机系统中以不同角度的镜头所拍摄的 两个图像。
图4是一图形，其说明依据本发明的快速动态接图点搜寻方法的区块匹 酉己(block matching)禾呈序。
图5是一图形，其说明如何从多个候选接图点中选出一最佳接图点。
主要元件符号说明
100:多眼摄像机系统
110:图像信号处理单元
120:广角图像产生器
122:多重图像自动曝光(AE)匹配单元
124:接图单元
具体实施例方式
图l是一种多眼摄像机系统的概略示意图。如图1中所示， 一多眼摄像
机系统100包含N个镜头(M至LN )，其个别地将拍摄图像传送至N个图 像信号处理单元(ISPU!至ISPUN) 110。这些图像信号处理单元110是处理 这些镜头所拍摄的图像以增进图像的品质。经个别图像信号处理单元(ISPUi 至ISPUN) 110处理后的图像被传送至一广角图像产生器120。广角图像产 生器120包含一多重图像自动曝光(AE)匹配单元122,用以减少不同光线 环境下所拍摄的图像间的色差问题；及一接图单元124,用以针对处理后的 图像进行接图点搜寻及接图操作。最后可输出一广角图像。
接下来，将参考图2至图5以说明依据本发明的快速动态接图点搜寻方 法，其中图2是显示依据本发明的快速动态接图点搜寻方法200的流程；图 3是说明多眼摄像机系统中以不同角度镜头所拍摄的两个图像；图4是说明 依据本发明的快速动态接图点搜寻方法的区块匹配(block matching)程序； 及图5是说明如何从多个候选接图点中选出 一最佳接图点。
首先，如图3所示，假设欲执行接图操作的两图像为一中心图像C及一 侧边图像S ，其中的阴影部分分别为中心图像C及侧边图像S的重迭区域(于 下文中，称为可能接图点区PRc及PRs),这些可能接图点区根据不同的摄 像机角度以及物体距离而调整。由于物件距离难以获得，所以通常仅通过摄 像机角度以取得可能接图点区。在这些可能接图点区内，将根据摄像机角度、 物体距离以及所欲的接图点精确度以决定搜寻视窗，如图3中所示的W，以 便于这些搜寻视窗W内找出最佳接图点(将详述于下文中)。应注意的是， 相较于已知技术针对所有可能接图点执行区块匹配，依据本发明的接图点搜 寻方法仅于搜寻视窗内执行区块匹配，因而得以减少计算复杂度并加速接图 点的搜寻。
参考图2，在步骤ST210，执行图像切割(分别针对中心图像C与侧边 图像S),以去除图像中的多余部分而只留下可能接图点区PRc及PRs。在步 骤ST220，执行彩色至灰阶转换及边缘检测程序。此步骤的目的在于减少因 拍摄时的不同角度、光线等因素所造成的色差的问题，以增进接图点搜寻的 精确度。然而，应注意的是，若已知并无色差问题存在于欲执行接图操作的 两图像之间，则无须执行步骤ST220。当然，也可直接省略此步骤以便达成 更快速的接图点搜寻。
接下来，在步骤ST230,事先计算出针对不同的指定距离的坐标转换矩
阵，以便后续于不同图像(中心图像c与侧边图像s)间的坐标转换。在步
骤ST 240,随机地选取可能接图点区PRc中之数个预定接图点P (如图3及 图4所示)。在步骤ST 250,根据所欲的接图点精确度以选择区块尺寸及搜 寻视窗尺寸。应注意的是，在一定的搜寻范围内，选定的区块尺寸越小，则 需做的区块匹配量越大，故找到的最佳接图点更为精确。此外，搜寻视窗的 尺寸越大，则可能漏掉最佳接图点的概率越小。
然后，在步骤ST 260，通过计算像素值的SAD (差异绝对值之和)来 执行区块匹配程序以找出候选接图点。以下将参考图4以进一步说明步骤 ST 260中所执行的区块匹配程序。
首先，应了解的是，图像的最小单位为像素(pixel),因此，图像中的 每个点均代表一个像素，且均具有一特定的像素值。如图4中所示，假设可 能接图点区PRc中的各个点的坐标为(x, y),且已于上述步骤ST 240随机地 选取了 n个预定接图点P(或P,至Pn)。接着，利用上述步骤ST230中所求 得的坐标转换矩阵以计算出可能接图点区PRS中的各对应点P，(或P，！至P，n) 的坐标(x，， y，)。举例而言，假设针对距离d!的上述坐标转换矩阵为一 2x2 的矩阵Mp贝'J P，的坐标(x，，y，)为<formula>formula see original document page 7</formula>
接着，分别以P及P，为中心，根据所欲的接图点精确度以选择区块尺寸， 亦即，以P及P，为中心点分别取得一BxB的区块，其中B称之为区块尺寸。 举例而言，在图4之范例中，系选择一3x3 (B = 3)的包含9个点(像素) 的区块，其中各像素均具有一特定的像素值(如Pi的区块所示)。再次强调， 在一定的搜寻范围内，区块尺寸越小(B的值越小)，则需做的区块匹配量 越大，虽较为耗时，但能找到较为精确的最佳接图点。
此时即根据下列方程式以计算P为中心的区块与P，为中心的区块间的 SAD (差异绝对值之和)值
其中i及j为整数；
fc(x,y)为可能接图点区PRc中的坐标(x,y)的像素值；及
fs(x，， y，)为可能接图点区PRS中的坐标(x，， y，)的像素值。
此SAD(x，， y，)值即用来表示可能接图点区PRS中的点P，与可能接图点区
PRc中的点P的近似程度，SAD(x，， y，)的值越小则表示两者越近似。
至此，上迷方程式(l)可算出可能接图点区PRc中的点P与可能接图点区
PRs中的其对应点P，的近似程度，例如，图4中所示的Pi与P^间的近似程
度、P2与P 间的近似程度、或Pn与Pn，间的近似程度。然而，由于最佳接
图点不一定刚好位于p，点上，故为了更精确地搜寻接图点，需以Pf至pn，
为中心选取一大小适中的搜寻视窗W (或Wi至Wn ),进一步于此搜寻视窗
W中找出最接近预定接图点P的最佳接图点。再次强调，选定的搜寻视窗的 尺寸越大，则可能漏掉最佳接图点的概率越小。举例而言，假设图4所示的 搜寻视窗W,为包括P、的25个点(像素)，则需在此Wi内针对所有可能的 区块(共9个3x3的区块)，再次利用上述方程式(l),计算出可能4妄图点区 PRc中的P！与这些可能的区块(除了已计算过的P、为中心的区块以外)之 间的近似程度。此时再将所有的SAD(x，，y，)值(在本范例中为9个)比较后， 取出其中最小的值，即可判断该值所代表的点为最接近P！的点(在下文中称 之为候选接图点A)，在图4中以Ai表示。
之后，重复上述步骤以计算出W2中与P2最接近的候选接图点A2、…W^ 中与最接近的候选接图点、及Wn中与Pn最接近的候选接图点An。
最后，在步骤ST 270，通过计算所有候选接图点A的SAD (差异绝对 值之和)来决定最佳接图点。以下将参考图5以说明步骤ST 270如何在候 选接图点A!至An之中决定出何者为最佳接图点。
如图5所示，假设以预定接图点P!及候选接图点Ai分别为中心图像C 及侧边图像S的接图点来执行接图，则获得如该图下半部所示的一接像 L。在此接像L中，以该接图点A"在接图后与Pi为同一点)为中心选 取一块宽度为D而高度为H的接图判断区J，如图5中所示的阴影部分。根 据下列方程式以计算候选接图点Aj十对该接图判断区J的SAD (差异绝对 值之和)值
其中i及j为整数；
fs(x，，y，)为侧边图像S中的坐标(x，，y，)的像素值；及 fc(x, y)为中心图像C的坐标(x, y)的像素值。
如此所计算出的SAD值系表示候选接图点A于接线L(如图5中所示) 两边的对称位置上的像素值的差异绝对值之和。该SAD值越小则代表接线L 两边对称位置上的像素值越接近，亦即，接图的效果越好。
接着利用上述方程式(2)，重复地针对A2( P2)、 A3( P3).....P
w )及An ( Pn)计算出其他相应接像I2至In的个别的SAD值，再从总 共n个SAD值(分别针对A!至An )中取出最小的，即可决定该值所代表的 候选接图点A为最佳接图点。
在决定了最佳接图点之后，即根据此最佳接图点来执行接图操作。接着， 执行alpha混和(alpha blending)处理程序以使图像间的接图处的颜色变化 较为平滑，由此减少接图处的不自然感。此时即可产生一无缝的广角(全景) 图像。
发明的效果
欲达成无缝的接像需要得知从摄像机至拍摄物体间的距离(即，图 像深度)。然而，欲通过图像的计算以得知图像深度是极困难的工作。此外， 已知用于摄像机图像的接图点搜寻方法在应用于高解析度的多重图像时将 耗费庞大的运算量及时间。
本发明是事先计算出针对不同的指定距离的坐标转换矩阵。如此得以减 少接图点搜寻区域，进而加速接图点的搜寻。此外，本发明利用改良的区块 匹配方式以增进接图点搜寻的精确度。因此，本发明不仅减少了已知接图点 搜寻方法的庞大的运算量及时间，还同时克服了要求得知图像深度的问题， 而可动态且快速地找出最佳接图点。
权利要求
1. 一种快速动态接图点搜寻方法，包含根据摄像机角度以决定一第一图像的可能接图区及一第二图像的可能接图区；计算出针对不同的指定距离的坐标转换矩阵，以便将该第一图像中的坐标转换至该第二图像；选择具有一特定尺寸的区块；选择包括多个区块的搜寻视窗，其中该搜寻视窗不超出该可能接图区；执行该第一图像与该第二图像间的区块匹配程序以找出多个候选接图点；及在该多个候选接图点中决定一最佳接图点。
2. 如权利要求1所述的快速动态接图点搜寻方法，其中该区块匹配程序 包含在该第一图像的该可能接图区内随机地选4奪多个预定接图点(Pi至Pn);利用该坐标转换矩阵以将该多个预定接图点(Pt至Pn)转换至该第二图 像的该可能接图区内而取得多个相应接图点(P、至P，n);计算该多个预定接图点(P！至Pn)为中心的区块与包括该多个相应接图 点(P、至P，n)的多个搜寻视窗(Wi至Wn)内的所有区块间的第一 SAD (差 异绝对值之和)值；及决定每一该多个搜寻视窗(Wi至Wn)内具有最小第一 SAD值的多个 候选接图点(A!至An)。
3. 如权利要求1所述的快速动态接图点搜寻方法，其中该决定一最佳接 图点的步骤包含以该多个候选接图点(Ai至An)为接图点执行该第一图像与该第二图 像的接图，以取得多个接像(Ii至lJ;在该多个接像(Ii至In)内选取一接图判断区；计算每一该多个候选接图点(Ai至An)针对该接图判断区的个别第二 SAD (差异绝对值之和)值；及选取该多个候选接图点(Ai至An)中具有最小第二SAD值者为一最佳 接图点。
4. 如权利要求2或3所述的快速动态接图点搜寻方法，其中该第一及第二 SAD值的计算系根据像素值。
5. 如权利要求1所述的图像拾取装置，进一步包含在决定可能接图区之后执行彩色至灰阶转换及边缘检测程序。
全文摘要
本发明公开一种多眼摄像机系统的快速动态接图点搜寻方法，其在由摄像机角度、物体距离及所期望的接图点精确度所决定的搜寻视窗内进行区块匹配(block matching)，由此减少已知接图点搜寻方法的计算复杂度并得以动态地且快速地找出及调整接图点。
文档编号H04N9/09GK101394571SQ20071015290
公开日2009年3月25日 申请日期2007年9月21日 优先权日2007年9月21日
发明者郑钦宗 申请人:台湾新力国际股份有限公司