专利名称：从图像序列中计算摄像机焦距的实时方法
技术领域：
本发明涉及计算机视觉领域，尤其涉及从图像序列中恢复场景三维模型的实现方法。
背景技术：
在计算机视觉领域，人们对从图像序列中如何获取摄像机运动和场景三维模型的 研究由来已久。最初的应用体现在机器视觉方面，研究人员通过从图像序列中提取的几何 信息来判断场景的空间关系，并进一步指导机器人的运动，这类研究通常需要使用特殊而 且昂贵的采集设备，并且对应用场景也有较大的局限。随着硬件设备的发展和普及，研究人 员希望能够从普通采集设备获得的序列图像中计算场景的三维模型，其中涉及的关键技术 就是摄像机的标定工作。摄像机的标定技术是计算机视觉研究中的重要步骤，广泛地使用在三维重建、导 航等领域。从发展的历史看，摄像机标定技术可以分为传统标定技术、主动标定技术和自 标定技术。传统标定技术使用精确制作的标定物，根据标定物特征点的三维坐标和二维图 像投影之间建立映射来求取摄像机参数，传统标定技术能够得到比较准确的结果，但是操 作不便，只能在某些特殊场合应用；主动标定技术通过向场景中投射特殊的几何图案，通过 几何特征和图像之间的联系完成摄像机标定。该方法的优点在于避免了标定物的使用，并 且能够通过精确的投影，能够恢复准确的摄像机参数，缺点在于加入了投影单元，增加了设 备复杂度，不具有通用性。近年来得到广泛研究的摄像机自标定技术，利用摄像机内参的约 束计算出对应摄像机的焦距值，该技术不需要场景和摄像机运动的信息，能够在各种图像 序列中灵活应用。摄像机自标定技术的研究始于20世纪90年代初，首先由Faugeras，Luong和 Maybank提出自标定的概念，并且在早期的自标定方法研究中引入Kruppa方程，利用绝对 二次曲线和极线变换建立图像之间的方程组，最后直接求解方程组得到摄像机的内参数。 但是基于Kruppa方程的方法得到的解存在多义性，并且直接求解高次方程组比较困难。 Bill Triggs在97年提出了基于绝对对偶二次曲面的自标定方法。该方法同时包含摄像机 内参数和无穷远平面的参数，利用摄像机内参数约束联立方程组求解。该方法相比Kruppa 方程拥有更强的约束，并且可以通过线性和非线性的方法进行求解，在操作性和准确性上 都有提高，缺点在于求解过程中要求半正定的约束往往难以满足。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的一个目的在于提出一种从图像序列中计算摄像机焦距的实时方 法，该方法解决了摄像机自标定在实际应用中的不足，实现了快速、准确的对摄像机焦距参 数的估计。为达到上述目的，本发明提出了一种从图像序列中计算摄像机焦距的实时方法，包括以下步骤从图像序列中选取相邻两张图像；对所述的两张图像进行特征点匹配以得 到匹配点对；对所述匹配点对中任意七组匹配点对求解以得到焦距的多个可能解；评估所 述每个可能解的准确性且把评估值作为所述每个可能解的权重；依据所述权重对所述每个 可能解计算加权求和以评估得到焦距的概率密度函数；在所述焦距的概率密度函数曲面上 进行多次采样以得到多个采样点；运用高斯函数拟合所述采样点，并以所述函数峰值作为 最终焦距值。在本发明的一个实施例中，所述对两张图像进行特征点匹配以得到匹配点对进一 步包括以图像的颜色信息作为特征，以运用特征点选取算法选取若干特征点；根据所述 特征点在所述两张图像中找到若干组匹配点对，其中，在匹配过程中把颜色特征最相近的 两个特征点组成一组匹配点对。在本发明的一个实施例中，所述每一组匹配点对中的两个特征点是场景中同一个 点分别在两张图像上的投影结果。在本发明的一个实施例中，所述对所述匹配点对中任意七组匹配点对求解以得到 焦距的多个可能解进一步包括从所述两张图像的所有匹配点对中随机选择七组匹配点 对；把所述七组匹配点对代入相关数学方程求解以得到一个多元高次方程组；求解所述多 元高次方程组以得到焦距的若干个可能解。在本发明的一个实施例中，在得到焦距的若干个可能解之后还包括从所述两张 图像的剩余匹配点对中随机选择另外七组匹配点对；把所述另外七组匹配点对代入相关数 学方程求解以得到一个多元高次方程组；求解所述多元高次方程组以再次得到焦距的若干 个可能解。在本发明的一个实施例中，直到没有足够多的剩余匹配点或者求解达到预定次数 后停止执行且输出所有可能解。在本发明的一个实施例中，所述评估每个可能解的准确性且把评估值作为每个可 能解的权重进一步包括把所述图像对的剩余匹配点对代入所述相应可能解中，以对所述 剩余匹配点进行相关约束验证为判断所述可能接的正确性；把满足约束的匹配点数在所有 匹配点对中的比例作为所述可能解的权重。在本发明的一个实施例中，所述依据所述权重对所述每个可能解计算加权求和以 评估得到焦距的概率密度函数进一步包括将所述焦距记为一个二维的随机变量；所述每 一个可能解对应为概率空间上的一个核函数；在概率空间上对所述每一个核函数进行加权 求和，以得到焦距的概率密度函数，其中，所述每一个核函数的权重为对应所述可能解的权重。在本发明的一个实施例中，所述每个采样点的值为对应可能解的出现概率。在本发明的一个实施例中，运用高斯函数拟合所述采样点，并以所述函数峰值作 为最终焦距值为运用所述采样点集合在所述概率空间中拟合出一个高斯曲面，其中，所述 高斯曲面峰值对应的二维随机变量的值为相应两张图像相机的焦距值。本发明的另一方面提出了一种从图像序列中计算摄像机焦距的装置，包括图像 选取模块，用于从图像序列中选取相邻两张图像；图像匹配模块，用于对所述的两张图像进 行特征点匹配以得到匹配点对；焦距计算模块，用于对所述匹配点对中任意七组匹配点对 求解以得到焦距的多个可能解；权重评估模块，用于评估所述每个可能解的准确性且把评
5估值作为所述每个可能解的权重；概率密度函数构造模块，用于依据所述权重对所述每个 可能解计算加权求和以评估得到焦距的概率密度函数，且在所述焦距的概率密度函数曲面 上进行多次采样以得到多个采样点；和高斯函数构造模块，用于运用高斯函数拟合所述采 样点，并以所述函数峰值作为最终焦距值。通过本发明提出的从图像序列中计算摄像机焦距的实时方法，不但解决了摄像机 自标定在实际应用中的不足，而且实现了快速、准确的对摄像机焦距参数的估计。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的从图像序列中计算摄像机焦距实时方法的流程图；图2为本发明实施例的图像序列的特征点和匹配点对示意图；图3为本发明实施例的非参数方法估计焦距概率密度函数的示意图；图4为本发明实施例的对概率密度函数重采样的示意图；图5为本发明实施例的对重采样点进行高斯拟合示意图；和图6为本发明实施例的从图像序列中计算摄像机焦距的装置结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明是针对现有摄像机自标定技术中的不足，而提出的一种从图像序列中计算 摄像机焦距的实时方法，通过该方法能够快速、准确的估计出摄像机焦距参数值。为了能够对本发明实施例提出的从图像序列中计算摄像机焦距的实时方法有更 清楚的理解，以下就该方法做出简要描述该方法首先对相邻两张图像选择和匹配特征点， 并随机选取其中七组匹配点对求解得到焦距的多个可能解，然后对所有可能的解进行准确 性评估，并将评估值作为权重用于非参数估计，以便得到焦距的概率密度函数，最后在概率 密度函数上重采样，并利用新的采样点进行高斯拟合，进一步把拟合后函数的峰值作为摄 像机焦距的最终解。即为本发明实施例提出的摄像机焦距参数值。具体地，如图1所示，为本发明实施例的从图像序列中计算摄像机焦距的实时方 法的流程图，包括以下步骤步骤S101，从图像序列中选取相邻两张图像。更为具体地，将所述图像序列中的图 像进行编号，例如可以记为I1,12,13...当然也可以记为其它可以把图像区分开的任何形 式的记号。在编号完成后首先选取I1,12两张图像使用本发明提出的方法进行摄像机焦距 的求解，在求解完毕后选取13，I4进行求解，以此类推，直到序列中所有图像对应的焦距都 已经利用被发明提出的方法求解完成。(以下以I1,12为例)。步骤S102，对所述的两张图像进行特征点匹配以得到匹配点对。
2. 1，以图像的颜色信息作为特征，利用图像特征点提取算法SIFT算法从两张图 像中分别提取出若干特征点(如图像的角点、拐点等)，并且对每个特征点记录其在图像中 的像素坐标，记为(X，y)，和一个128维的特征矢量，特征矢量为多个尺度空间下的局部颜 色特征。2. 2，对于I1中的每个特征点，记为pl，在I2中的所有特征点，记为{Pi}。在{pj 中找到特征点P2，使得p2的特征矢量与pl的特征矢量在欧式空间上的距离是所有特征点 中最近的。因此，(pl，p2)组成一个匹配点对，在本发明的一个实施例中把这个匹配点对记
为 IIlo结合图2，为本发明实施例的图像序列的特征点和匹配点对示意图，从图2中能够 清楚地看到匹配点对，从图中还能够看出对于每一组匹配点对中的两个特征点，是拍摄时 场景中的同一个点分别在两张图像上投影的结果。步骤S103，对所述匹配点对中任意七组匹配点对求解以得到焦距的多个可能解。3. 1，从两张图像的所有匹配点对中随机选择七组匹配点对，记为Hi1, m2. . . m7。3. 2，对于3. 1中的每一组匹配点对Hii中的特征点，记为Pil，Pi2，都相应的满足下 面的方程pi2T*F*pn = 0· · · (1)其中Pil = (xn, yn, 1)，pi2 = (xi2, yi2,1)，F为一个3*3的未知矩阵。并将七组匹 配点对代入上式中，可以得到由七个方程组成的线性方程组。3. 3，对3. 2中的线性方程组进一步求解得到F的通解F1, F2，满足F = ^FfF2,其 中χ为未知的系数；接下来，将上述F的表达式代入到下面的方程(矩阵形式表示)中det (F) = 0... (2)2FQFTQF-trace (FQFtQ) F = O ... (3)其中det (F)表示F矩阵的行列式，trace (.)表示矩阵的迹，Q矩阵为对角矩阵 肚叫([111/(树2)])，fi; f2为摄像机对应的焦距；由(2) (3)式得到由十个多元高次方程组成的方程组，求解该方程组，得到多个 解，记为{SJ。其中每一个解包含了两张图像的焦距&，&，它们都是数学意义上正确的解， 因为都满足上述的多元高次方程组，但因为在匹配过程中可能出现错误的匹配点对，所以 在实际图像中并不能保证每个解都是物理意义上正确的解。3. 4，将3. 1,3. 2,3. 3循环执行若干遍，以便得到焦距的更多可能解。步骤S104，评估所述每个可能解的准确性且把评估值作为所述每个可能解的权 重。4. 1，对每一个可能解Si,能够求出一个矩阵，记为F，将其他的所有匹配点对和该 F矩阵代入到3. 2中的式(1)中，把满足等式的匹配点对称为Si的支持点。对于一个可能 解，支持点越多，则表明该可能解的正确性越高。4. 2，把支持点数在所有匹配点对中的比例作为该可能解的权重值，记为wi0步骤S105，依据所述权重对所述每个可能解计算加权求和以评估得到焦距的概率 密度函数。5. 1，首先将摄像机的焦距记为一个二维的随机变量(f1; f2)。
5. 2，对于步骤S104中的每一个解，对应了概率空间上的一个核函数，在本发明的 一个实施例中使用了高斯核函数，如图3所示，为本发明实施例的非参数方法估计焦距概 率密度函数的示意图。从图3能能够看到本发明实施例的焦距的概率密度函数的函数图形 和高斯核函数的函数图形。(为了直观显示，画出了一维情况的示意图，二维情况相同，只是 从曲线转为曲面)。5. 3，在概率空间上，对5. 2中的每一个核函数进行加权求和，得到焦距的概率密 度函数，记为P (f” f2)。每一个核函数的权重即为对应4. 2中的可能解的权重Wi。步骤S106，在所述焦距的概率密度函数曲面上进行多次采样以得到多个采样点。 具体地，对于加权求和得到的概率密度函数曲面，在每一个可能解的位置进行采样以得到 一个采样点(样本点)，这样能够得到所有可能解对应的所有采样点(样本点)。每个采样 点(样本点)的值对应该可能解的出现概率。更为具体地，如图4所示，为本发明实施例的 对概率密度函数多次采样的示意图(为了直观显示，画出了一维情况的示意图，二维情况 相同，只是从曲线转为曲面)。在图4中能够明显看到多个采样点(样本点)。对于加权求 和得到的概率密度函数曲面记为P(f\，f2)，在每一个可能解(fn，fi2)的位置进行采样，得到 相应的采样点(样本点)，每个采样点(样本点)，即(fn，fi2，Pi) Wpi对应了该可能解的 出现概率。步骤S107，运用高斯函数拟合所述采样点(样本点)，并以所述函数峰值作为最终 焦距值。为了对本发明有更清楚的认识，结合图5，为本发明实施例的对重采样点进行高斯 拟合示意图(为了直观显示，画出了一维情况的示意图，二维情况相同，只是从曲线转为曲 面)。不难看出，从该图5中能够明显看到本发明实施例的高斯函数图像、从采样点图像和 最终估计的焦距值。具体地7. 1，运用步骤S106中的新的样本点集合{(fn，fi2，Pi)}在概率空间中拟合出一个 高斯曲面。7. 2,7. 1中所述高斯曲面峰值对应的二维随机变量的值分别为两张图像对应的焦 距值f” f2。本发明还提出了一种从图像序列中计算摄像机焦距的装置，如图6所示，为本发 明实施例的从图像序列中计算摄像机焦距的装置结构图。该从图像序列中计算摄像机焦 距的装置100包括图像选取模块110、图像匹配模块120、焦距计算模块130、权重评估模块 140、概率密度函数构造模块150和高斯函数构造模块160。其中，图像选取模块110，用于 从图像序列中选取相邻两张图像；图像匹配模块120，用于对所述的两张图像进行特征点 匹配以得到匹配点对；焦距计算模块130，用于对所述匹配点对中任意七组匹配点对求解 以得到焦距的多个可能解；权重评估模块140，用于评估所述每个可能解的准确性且把评 估值作为所述每个可能解的权重；概率密度函数构造模块150，用于依据所述权重对所述 每个可能解计算加权求和以评估得到焦距的概率密度函数，且在所述焦距的概率密度函数 曲面上进行多次采样以得到多个采样点；和高斯函数构造模块160，用于运用高斯函数拟 合所述采样点，并以所述函数峰值作为最终焦距值。但是本领域的技术人员知道，所述概率密度函数构造模块150可以细化为功能更 为具体的多个功能模块，如用于依据所述权重对所述每个可能解计算加权求和以评估得 到焦距的概率密度函数的功能模块，和用于在所述焦距的概率密度函数曲面上进行采样以得到采样点的功能模块。这些也应当属于本发明的保护范围之内。通过本发明提出的从图像序列中计算摄像机焦距的实时方法，不但解决了摄像机 自标定在实际应用中的不足，而且实现了快速、准确的对摄像机焦距参数的估计。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种从图像序列中计算摄像机焦距的实时方法，其特征在于，包括以下步骤从图像序列中选取相邻两张图像；对所述的两张图像进行特征点匹配以得到匹配点对；对所述匹配点对中任意七组匹配点对求解以得到焦距的多个可能解；评估所述每个可能解的准确性且把评估值作为所述每个可能解的权重；依据所述权重对所述每个可能解计算加权求和以评估得到焦距的概率密度函数；在所述焦距的概率密度函数曲面上多次采样以得到多个采样点；运用高斯函数拟合所述采样点，并以所述函数峰值作为最终焦距值。
2.如权利要求1所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，所述 对两张图像进行特征点匹配以得到匹配点对进一步包括以图像的颜色信息作为特征，以运用特征点选取算法选取若干特征点； 根据所述特征点在所述两张图像中找到若干组匹配点对，其中，在匹配过程中把颜色 特征最相近的两个特征点组成一组匹配点对。
3.如权利要求2所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，所述 每一组匹配点对中的两个特征点是场景中同一个点分别在两张图像上的投影结果。
4.如权利要求1所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，所述 对所述匹配点对中任意七组匹配点对求解以得到焦距的多个可能解进一步包括从所述两张图像的所有匹配点对中随机选择七组匹配点对；把所述七组匹配点对代入相关数学方程求解以得到一个多元高次方程组；求解所述多元高次方程组以得到焦距的若干个可能解。
5.如权利要求4所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，在得 到焦距的若干个可能解之后还包括从所述两张图像的剩余匹配点对中随机选择另外七组匹配点对； 把所述另外七组匹配点对代入相关数学方程求解以得到一个多元高次方程组； 求解所述多元高次方程组以再次得到焦距的若干个可能解。
6.如权利要求5所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，直到 没有足够多的剩余匹配点或者求解达到预定次数后停止执行且输出所有可能解。
7.如权利要求1所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，所述 评估每个可能解的准确性且把评估值作为每个可能解的权重进一步包括把所述图像对的剩余匹配点对代入所述相应可能解中，以对所述剩余匹配点进行相关 约束验证为判断所述可能接的正确性；把满足约束的匹配点数在所有匹配点对中的比例作为所述可能解的权重。
8.如权利要求7所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，所述 依据所述权重对所述每个可能解计算加权求和以评估得到焦距的概率密度函数进一步包 括将所述焦距记为一个二维的随机变量； 所述每一个可能解对应为概率空间上的一个核函数；在概率空间上对所述每一个核函数进行加权求和，以得到焦距的概率密度函数，其中， 所述每一个核函数的权重为对应所述可能解的权重。
9.如权利要求8所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，所述 每个采样点的值为对应可能解的出现概率。
10.如权利要求9所述的从图像序列中计算摄像机焦距的实时方法，其特征在于，运用 高斯函数拟合所述采样点，并以所述函数峰值作为最终焦距值为运用所述采样点集合在所 述概率空间中拟合出一个高斯曲面，其中，所述高斯曲面峰值对应的二维随机变量的值为 相应两张图像相机的焦距值。
11.一种从图像序列中计算摄像机焦距的装置，其特征在于，包括 图像选取模块，用于从图像序列中选取相邻两张图像；图像匹配模块，用于对所述的两张图像进行特征点匹配以得到匹配点对； 焦距计算模块，用于对所述匹配点对中任意七组匹配点对求解以得到焦距的多个可能解；权重评估模块，用于评估所述每个可能解的准确性且把评估值作为所述每个可能解的 权重；概率密度函数构造模块，用于依据所述权重对所述每个可能解计算加权求和以评估得 到焦距的概率密度函数，且在所述焦距的概率密度函数曲面上进行多次采样以得到多个采 样点；和高斯函数构造模块，用于运用高斯函数拟合所述采样点，并以所述函数峰值作为最终 焦距值。
12.如权利要求11所述的从图像序列中计算摄像机焦距的装置，其特征在于，所述每 一组匹配点对中的两个特征点是场景中同一个点分别在两张图像上的投影结果。
13.如权利要求11所述的从图像序列中计算摄像机焦距的装置，其特征在于，直到没 有足够多的剩余匹配点或者求解达到预定次数后停止执行且输出所有可能解。
全文摘要
本发明提出了一种从图像序列中计算摄像机焦距的实时方法，包括以下步骤从图像序列中选取相邻两张图像；对所述的两张图像进行特征点匹配以得到匹配点对；对所述匹配点对中任意七组匹配点对求解以得到焦距的多个可能解；评估所述每个可能解的准确性且把评估值作为所述每个可能解的权重；依据所述权重对所述每个可能解计算加权求和以评估得到焦距的概率密度函数；在所述焦距的概率密度函数曲面上多次采样以得到多个采样点；运用高斯函数拟合所述采样点，并以所述函数峰值作为最终焦距值。通过本发明的计算摄像机焦距的实时方法，解决了摄像机自标定在实际应用中的不足，实现了快速、准确的对摄像机焦距参数的估计。
文档编号G06T7/00GK101894369SQ20101022234
公开日2010年11月24日 申请日期2010年6月30日 优先权日2010年6月30日
发明者戴琼海, 邵航 申请人:清华大学