一种摄像机定标方法、图像处理设备和机动车辆的制作方法

专利名称：一种摄像机定标方法、图像处理设备和机动车辆的制作方法
技术领域：
本发明属于摄像机定标技术领域，具体涉及一种摄像机定标方法、图像处理设备 和机动车辆。
背景技术：
空间物体表面某点的三维几何位置与其在图像中对应点间的相互关系由摄像机 成像的几何模型决定，其参数就是摄像机参数。该参数包括摄像机内部几何和光学特性 (内部参数)，以及摄像机相对世界坐标系的三维位置和方向(外部参数)。这些参数必须 通过实验和计算得到，这个过程称为摄像机定标。在摄像机成像中，通过摄像机的定标可以建立世界坐标与图像坐标的对应关系， 再通过视角变换将图像转化为俯瞰图等视图。这种技术可应用于如车载摄像机定标、机器 人手眼定标、移动摄像机定标等领域。摄像机定标技术主要分为传统的摄像机定标技术、基于主动视觉的摄像机定标技 术和自定标技术。传统摄像机定标技术标定精度较高，但是其对实验环境和实验控制要求 太高，例如要求模板与摄像机的位置关系固定，这种定标技术往往因为不能满足条件而无 法应用。基于主动视觉的摄像机定标技术和自定标技术较为灵活，但是此类技术存在以下 一些缺点往往需要对摄像运动进行一定的控制从而采集不同位置的图像，定标时间长； 许多模型都是基于线性假设的，对于完全的射影模型，即当有畸变因子(skew factor)存在 时，定标精度不高；对于同时标定内部参数和外部参数的情况还不能很好地解决；往往需 要角点检测，但在超广角摄像机定标拍摄下会发生很大的畸变，无法进行角点检测。

发明内容
本发明要解决的主要技术问题是提供一种摄像机定标方法、图像处理设备和装置 和机动车辆，降低对定标环境的要求，减少了定标时间。根据本发明的一方面，提供一种摄像机定标方法，包括步骤获取模板图像步骤对预定模板进行拍摄获取模板图像；分配参数步骤利用收敛算法分配一个参数系列，所述一个参数系列包括一组或 多组摄像机参数；计算适应值步骤比较模板图像与预定模板的理想世界图像的差异，得到适应值， 所述适应值计算步骤包括根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄 像机参数，计算模板图像的图像坐标；和计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和，得到与各 组摄像机参数相关联的适应值；终止判断步骤判断适应值计算结果是否满足设定的终止条件，当适应值计算结 果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数；当没有满足终止条件时继续执行分配参数步骤，重新产生一个参数系列。根据本发明的另一方面，提供一种图像处理设备，包括摄像装置，用于对预定模板进行拍摄获取模板图像；分配参数模块，用于利用收敛算法分配一个参数系列，所述一个参数系列包括一 组或多组摄像机参数；适应值计算模块，用于比较模板图像与预定模板的理想世界图像的差异，从而得 到适应值，所述适应值计算模块包括图像坐标计算单元，用于根据预先建立的模板图像的世界坐标和图像坐标之间的 转换关系以及分配的摄像机参数，计算模板图像的图像坐标；和像素差异值计算单元，用于计算模板图像与理想世界图像之间相同图像坐标的像 素差异值的总和，得到与各组摄像机参数相关联的适应值；终止判断模块，用于判断适应值计算结果是否满足设定的终止条件，当适应值计 算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数；当没有满足 终止条件时继续执行分配参数步骤，重新产生一个参数系列。本发明还提供一种包括上述图像处理设备的机动车辆。与现有技术相比，本发明通过将摄像机定标问题转化为参数优化问题，减少对定 标环境的要求和定标时间，提高了定标精度。


图1为一种实施例中图像处理设备的结构示意图；图2为一种实施例中适应值计算模块的结构示意图；图3为一种实施例中分配参数模块的结构示意图；图4为另一种实施例中图像处理设备的结构示意图；图5为一种实施例中摄像机自动定标方法的流程图；图6为摄像机获取的模板图像；图7为模板图像二值化后的图像；图8为一种实施例中判断是否满足设定的终止条件的流程图；图9为完成摄像机定标后图像矫正的效果示意图。
具体实施例方式下面通过具体实施方式
结合附图对本发明作进一步详细说明。在下面具体的描述中，为了深入理解以下所描述的实施例，提供了很多具体细节。 然而，本领域的技术人员应该认识到，其中一个或几个具体细节可以省略，或者可以用其他 的方法，器件或材料来代替。在有些情况下，有些操作没有图示也没有详细描述。请参考图1，图1示出了一种实施例中图像处理设备的结构示意图，图像处理设备 包括摄像装置10、分配参数模块30、适应值计算模块40和终止判断模块50。摄像装置10用于对预定模板进行摄像获取模板图像，摄像装置10可以是摄像机、 摄像头或其它可拍摄图像的装置。当需要定标时，在摄像装置10可拍摄到的区域内放置预 先定制的模板，控制摄像装置10像通常拍照一样拍摄。预先定制的模板可以是黑白格相间
6的平面体，具有指定的外围尺寸和方格数量。预先定制的模板也可以是黑白条相间的平面 体。为用于后面的对比，在图像处理设备中的存储装置中已经预先存储了该定制模板的理 想世界图像，理想世界图像就是按照理想化的小孔成像原理拍摄到的图像。分配参数模块30用于利用收敛算法分配一个参数系列，一个参数系列可以包括 一组摄像机参数，也可以包括多组摄像机参数，每组摄像机参数都包括摄像机外部参数和 摄像机内部参数。摄像机外部参数是指摄像机相对世界坐标系的三维位置和方向，比如位 置高度、旋转角度、平移方向和大小等。摄像机内部参数是指摄像机内部几何和光学特性， 比如焦距、比例因子和镜头畸变等。当进行第一次适应值计算时，分配参数模块30进行初 始化，随机或均勻产生一参数系列用于适应值的计算。适应值计算模块40用于比较模板图像与预定模板的理想世界图像的差异，从而 得到适应值。摄像装置10自然拍摄的模板图像不同于模板的理想世界图像，两者之间存在 一定的对应关系，而该对应关系由摄像机参数决定，该摄像机参数就是用于将摄像装置10 自然拍摄的图像转换成由图像坐标表示的世界图像的定标参数。本实施例中，适应值为模 板图像与模板的理想世界图像之间的差异。终止判断模块50用于判断适应值计算结果是否满足设定的终止条件，当适应值 计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数；当没有满 足终止条件时继续执行分配参数步骤，重新产生一个参数系列。请参考图2，在一种实施例中，所述适应值计算模块40包括图像坐标计算单元41 和像素差异值计算单元42。图像坐标计算单元41用于根据预先建立的模板图像的世界坐 标和图像坐标之间的转换关系以及分配的摄像机参数，计算模板图像的图像坐标。上述实施例中，将拍摄的模板的普通图像通过预先建立的图像坐标与世界坐标的 对应关系模型转换成模板的世界图像，使模板图像在摄像机参数确定的情况下可建立确定 的世界图像，不断优化摄像机参数也使模板的世界图像得到不断优化，从而将摄像机定标 问题转化为摄像机参数优化问题，逐步寻找最优解，从而完成摄像机定标。在摄像机参数优 化过程中，不要求摄像装置在特定的位置和从特定的角度来采集模板的图像，摄像装置可 如拍摄普通图像一样来拍摄预定模板的图像，因此降低了对定标环境的要求。在摄像机参 数优化过程中，摄像装置只需要采集一次图像即可，不需要从不同的位置和方向多次采集 图像，因此也不需要对多个图像进行处理，因此缩短了定标的时间。在一种实施例中，所述图像坐标计算单元41用于建立图像坐标与世界坐标的对 应关系，包括外部参数计算单元411和内部参数计算单元413，外部参数计算单元411用于 根据外部参数建立世界坐标与摄像机坐标的对应关系，即根据预先建立的模板图像的世界 坐标和摄像机坐标之间的转换关系以及摄像机外部参数计算模板图像的摄像机坐标。内部 参数计算单元413用于根据内部参数建立所述矫正后的摄像机坐标与图像坐标的对应关 系，即根据预先建立的模板图像的摄像机坐标和图像坐标之间的转换关系以及摄像机内部 参数计算模板图像的图像坐标。本领域技术人员应该认识到，还可以通过其它方法计算模 板图像的图像坐标。在另一实施例中，图像坐标计算单元41还包括畸变矫正单元412和插值单元414， 畸变矫正单元413用于根据内部参数中的畸变参数矫正所述摄像机坐标；插值单元414用 于将所述坐标关系中的小数转化为整数形式。
像素差异值计算单元42用于计算模板图像与理想世界图像之间相同图像坐标的 像素差异值的总和，从而得到与各组摄像机参数相关联的适应值。请参考图3，在一种实施例中，分配参数模块30所用的收敛算法可以是粒子群智 能算法，分配参数模块30利用粒子群智能算法为每次的迭代计算分配一个参数系列。在一 具体实施例中，分配参数模块30包括初始化单元31、适应值评价单元32、密度计算单元33 和粒子进化单元34。初始化单元31用于在进行第一次迭代计算时初始化算法参数，将解空 间按照粒子数分割从而生成初始解。将每组摄像机参数作为一个粒子的坐标，即每组摄像 机参数决定一个粒子。适应值评价单元32用于评价粒子所处位置的适应值的优劣，根据适 应值查找出本次迭代计算的最优粒子和最差粒子，所述最优粒子为与适应值中最小适应值 相关联的一组摄像机参数确定的粒子，所述最差粒子为与适应值中最大适应值相关联的一 组摄像机参数确定的粒子。密度计算单元33用于计算用于本次迭代计算适应值步骤中的 粒子群体的密度。粒子进化单元34用于根据粒子群体密度确定用于下次计算适应值步骤 中的参数系列，当粒子群体密度判断为低时，使粒子朝着最优粒子运动从而确定用于下次 计算适应值步骤中的参数系列；当粒子群体密度判断为高时，使粒子背向最坏粒子运动从 而确定用于下次计算适应值步骤中的参数系列。在如图4所示的另一实施例中，与上述实施例不同的是图像处理设备还包括图像 前处理模块20，图像前处理模块20用于对摄像装置10拍摄的模板图像进行去噪处理，使 图像更清晰。在一种实施例中，图像前处理模块20包括灰度直方图单元21、分割阈值单元 22和二值化单元23。图像前处理模块20处理后的图像输出给适应值计算模块40用于计 算各组摄像机参数的适应值。灰度直方图单元21根据图像统计生成灰度直方图；分割阀值 单元22将灰度直方图分为高灰度类与低灰度类，并根据两类之间距离最大的原则确定分 割阀值；二值化单元23依据所述分割阀值将图像进行二值化转化。上述实施例中，分配参数模块、适应值计算模块和终止判断模块可以是各自独立 的处理器，也可以是根据自身功能分成若干分立的处理器，也可以是两个或三个模块集成 在一个处理器中，处理器通过执行计算机可执行指令实现各模块的功能。请参考图5，在一种实施例中，基于上述图像处理设备的一种摄像机自动定标方法 流程图包括以下步骤步骤Sll 对预定模板进行拍摄获取模板图像，如图6所示，在一种实施例中，获取 的模板图像为黑白相间的图像。步骤S12 对采集的模板图像进行去噪处理。具体的，首先统计图像的像素直方图，假定阀值将直方图划分为高像素与低像素 两类，根据两个类间方差值最大的原则确定分割阀值，对图像进行二值化处理，降低图像噪
声影响。其中，分割阀值计算方法为对某张图像，记t为前景与背景的分割阈值，前景点 数占图像比例为wO，平均像素为uO ；背景点数占图像比例为wl，平均像素为ul。图像的 总平均像素为u = W0*u0+Wl*ul。从最小像素值到最大像素值遍历t，当t使得值g = wO*(uO-u)2+wl*(ul-u)2最大时t即为分割的最佳阈值。二值化单元依据分割阀值t对图 像进行二值化处理，最终处理后的图像如图7所示。步骤S13 利用收敛算法分配一个参数系列，每个参数系列包括一组或多组摄像机参数，每组摄像机参数包括摄像机外部参数和摄像机内部参数。收敛算法可以是粒子智 能算法、遗传算法、蚂蚁算法或鱼群算法。当采用粒子智能算法为迭代计算分配参数系列 时，一组摄像机参数对应一个粒子；当采用遗传算法为迭代计算分配参数系列时，一组摄像 机参数对应一个染色体；当采用鱼群算法为迭代计算分配参数系列时，一组摄像机参数对 应一条鱼；当采用蚂蚁算法为迭代计算分配参数系列时，一组摄像机参数对应一个蚂蚁。当 第一次进行迭代计算时，收敛算法进行初始化，使粒子/染色体/蚂蚁随机分布或均勻分 布，从而为第一次的迭代计算分组一个参数系列，该参数系列可以只包括一个粒子/染色 体/蚂蚁，即只包括一组摄像机参数，也可以包括多个粒子/染色体/蚂蚁，即包括多组摄 像机参数，例如50个粒子/染色体/蚂蚁。在以后的迭代计算中，收敛算法根据一定的规 则产生新的参数系列。步骤S14 根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系模型 以及分配的摄像机参数，计算模板图像的图像坐标。在一种实施例中，模板图像的世界坐标和图像坐标之间的转换关系模型可通过以 下方式建立假设摄像机参数已知的情况下，建立模板图像坐标与世界坐标之间的对应关系。 具体包括步骤 为坐标。

坐标；m2
为
第一步，先根据摄像机外部参数确立摄像机坐标与世界坐标的关系。其计算公式
I 1
尺 3x3 '3x1
Or 1
1
(1)
其中t3X1为平移向量，R3x3为旋转矩阵，(X。Y。Z。)T为摄像机坐标，(XwYwZJt为世界
第二步，再根据径向畸变参数和切向畸变参数，对摄像机坐标进行修正。 其计算公式为
Λ
χ = x(\ +U1TTI2 + k2m4)+ IplXy + p2(m2 +2x2)...................(2)
Λ
y = y(l-^klTn2 +k2m4) + 2p2xy + ρλ{m2 + 2x2)
式中，；^和丨是由小孔模型计算出来的图像点坐标的理想值，(x，y)为实际图像点的 =x2+y2，kl、k2为径向畸变系数，pl、p2为切向畸变系数。 第三步，根据摄像机内部参数建立摄像机坐标与图像坐标的关系；其计算公式
其中，(u，ν)表示图像坐标系中的坐标，原点位于(u0，vO)像素点上，kXl表示一 个像素点的大小(其单位为毫米)，f为摄像机焦距，θ为摄像机坐标系的偏斜度。第四步，为了提高了摄像机定标精度，利用双线性插值处理对模板图像坐标进行 整数化处理，最终确定模板图像坐标和世界坐标的关系。利用双线性插值将模板图像坐标 整数化，其计算公式为 f (x, y) = ax+by+cxy+d.
⑷根据坐标位置最邻近的若干个坐标点的像素值，再通过加权平均计算得出。因此在步骤S14中，首先利用分配的摄像机外部参数，在模板图像的世界坐标已 知的情况下，利用公式(1)可计算出模板图像的摄像机坐标。然后利用分配的摄像机内部 参数，在模板图像的摄像机坐标已知的情况下，利用公式(3)可计算出模板图像的图像坐 标，形成由图像坐标确定的模板的世界图像。步骤S15 计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总 和，得到与各组摄像机参数相关联的适应值。其中，所述像素差异值的总和的计算公式为
η m Sum = YY^Nlj-Mv\
=1 ；=1其中，Nij表示模板图像上坐标(i，j)上的像素值，Mij表示理想世界图像上坐标 (i，j)的像素值，Sum表示世界图像和理想世界图像像素差异值的总和，也就是适应值，每 个适应值与一组摄像机参数相关联。图像中每个坐标是对应一个像素值，相同的坐标对于 两幅不同的图就会有不同的像素值，已知具体的一个参数数组就可以计算出Sum的值。已知模板形状，即理想世界图像是已知的，将模板图像与理想世界图像的像素差 异值的总和作为优化函数模型的函数值，摄像机参数为变量。改变变量，使函数值改变，本 实施例中，像素差异值的总和越小，摄像机参数越优。步骤S16 判断适应值计算结果是否满足设定的终止条件，当适应值计算结果满 足终止条件时执行步骤S17,当没有满足终止条件时继续执行步骤S13，重新产生一个参数 系列。设定的终止条件包括收敛算法运行次数达到设定值、迭代计算的次数达到设定 值和适应值达到预期值中的任一或两个以上的组合。在一种实施例中，判断适应值计算结 果是否满足设定的终止条件的流程如图8所示，包括步骤S161，判断迭代计算的次数是否达到设定的次数，如果是，则执行步骤S17， 否则继续步骤S162。步骤S162，判断本次迭代计算中是否有适应值小于预期值，如果有，则执行步骤 S17，否则继续步骤S163。步骤S163，判断收敛算法的运行次数是否达到设定值，如果是，则执行步骤S17。
10
当然，本领域根据此处公开的内容应该认识到，终止条件判断步骤中还可以是在 上述实施例的基础上减少一个或两个终止条件，也可以任意改变其判断顺序，也可以只选 择其中的一个终止条件。步骤S17 将与该适应值相关联的一组摄像机参数作为定标参数输出，结束迭代计算。利用确定的定标参数对平时拍摄的图像进行矫正，图9为完成摄像机定标后模板 图像矫正的效果图。下面以收敛算法采用粒子群智能算法为例，说明如何分配摄像机参数。本实施例中，将每个世界坐标对应的像素值定义为一个粒子，用粒子的位置表示 待优化问题的解，每个粒子的优劣程度取决于待优化问题目标函数确定的适应值(即Sum 值)，适应值越小，代表粒子越优。首先，定义摄像机参数数组为粒子位置，即一个粒子就是一组摄像机参数。初始化 粒子群算法参数及粒子位置，粒子随机分布在解空间，以每次迭代计算具有50个粒子为例 进行说明，即每次迭代计算产生50组摄像机参数。在适应值计算步骤中，采用产生的50组摄像机参数分别计算出与各自摄像机参 数相关联的50个适应值。根据计算出的适应值，评价粒子所处位置的适应值的优劣，根据 适应值得到最优粒子和最坏粒子，适应值越小，粒子最优，适应值越大，粒子越差。在一种实 施例中，查找本次迭代计算的最优粒子和最差粒子步骤包括以下步骤根据历次计算出的与各粒子相关联的适应值，查找个体或者群体最优粒子并将个 体或者群体最优粒子作为本次迭代计算的最优粒子，查找个体或者群体最差粒子并将个体 或者群体最差粒子作为本次迭代计算的最差粒子，找出各粒子的个体或群体最优粒子、个 体或群体最差粒子，所述某粒子的个体最优粒子为与该粒子历次计算出的适应值中最小适 应值相关联的一组摄像机参数确定的粒子，所述某粒子的个体最差粒子为与该粒子历次计 算出的适应值中最大适应值相关联的一组摄像机参数确定的粒子。所述某粒子的群体最优 粒子为所有个体最优粒子适应值中的最小适应值相关联的一组摄像机参数确定的粒子，所 述某粒子的群体最差粒子为所有个体最差粒子适应值中的最大适应值相关联的一组摄像 机参数确定的粒子。例如有50个粒子参加迭代计算，共进行了 10次迭代计算，即每个粒子都有10个 适应值，在每个粒子的10个适应值中查找出最小的适应值和最大的适应值，该最小适应值 对应的粒子为个体最优粒子，该最大适应值对应的粒子为个体最差粒子。按照上述方法可 找到50个个体最优粒子和50个个体最差粒子，在50个个体最优粒子中再查找出最小的适 应值，该最小适应值对应的粒子为群体最优粒子。同样，在50个个体最差粒子中再查找出 最大的适应值，该最大适应值对应的粒子为群体最差粒子。在另一种实施例中，查找本次迭代计算的最优粒子和最差粒子步骤包括以下步 骤在本次迭代计算得到的适应值中找出最大适应值和最小适应值，将与最小适应值 相关联的一组摄像机参数确定的粒子作为本次迭代计算的最优粒子，将与最大适应值相关 联的一组摄像机参数确定的粒子作为本次迭代计算的最差粒子。确定最优和最差粒子后计算粒子群体密度。在一种实施例中，所述粒子群体密度的计算步骤包括计算所有粒子各维度的平均值，得到中心粒子；计算各个粒子与中心粒 子的空间欧氏距离的平方和。若该平方和超过设定的阀值则认为粒子密度为低，若低于设 定的阀值则认为粒子密度为高。然后根据粒子群体密度的情况，进行粒子进化。当群体密度较低时，粒子朝着最优粒子运动；而当群体密度较高时，粒子背向最差 粒子运动。粒子每次运动的步距可根据公式实时计算出来，也可以规定步距为一确定的值， 用于本次迭代计算的粒子加上或减去步距后可得到用于下一次迭代计算的粒子。同时，粒 子以一定的概率产生变异，而随机分布在可行解范围。本实施例通过将摄像机定标问题转化为参数优化问题，并利用粒子群优化算法进 行求解以完成摄像机定标，搜索的精度更高，无局部收敛现象，可以更大概率搜索到全局最 优的定标参数，提高了定标精度，并且减少了定标时间。实施例中包括多个步骤，而其中一些步骤可以通过通用或专用的计算机(或其他 电子器件)执行机器可执行指令来实现。另外，这些步骤也可以通过包含有特定逻辑电路 的硬件或者通过硬件、软件和/或固件的组合来实现。具体实施例也可以是一个可完成这里所描述的过程的计算机程序产品，它包括一 个可机读的介质，介质中存储有计算机(或其他电子器件)可执行的指令。可机读介质包 括但不限于硬件驱动器、软盘、光盘、CD ROM、DVD ROM、ROM、RAM、EPROM、EEPROM、磁卡或光 卡、固体存储器件或其他类型的适用于存储电子指令的媒介/可机读介质。上述实施例中的步骤和图像处理设备可以集成在机动车辆上，也可以制作成一个 单独的设备安装在机动车辆上，用于机动车辆的安全驾驶和安全泊车。上述实施例中的步 骤和图像处理设备可以用于智能机器人或其他图像处理设备上。以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发 明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱 离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护 范围。
权利要求
一种摄像机定标方法，其特征在于，包括获取模板图像步骤对预定模板进行拍摄获取模板图像；分配参数步骤利用收敛算法分配一个参数系列，所述一个参数系列包括一组或多组摄像机参数；计算适应值步骤比较模板图像与预定模板的理想世界图像的差异，得到适应值，所述适应值计算步骤包括根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数，计算模板图像的图像坐标；和计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和，得到与各组摄像机参数相关联的适应值；终止判断步骤判断适应值计算结果是否满足设定的终止条件，当适应值计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数；当没有满足终止条件时继续执行分配参数步骤，重新产生一个参数系列。
2.如权利要求1所述的方法，其特征在于，所述分配的每组摄像机参数包括摄像机外 部参数和摄像机内部参数，所述根据模板图像的世界坐标和图像坐标之间的转换关系以及 分配的摄像机参数计算模板图像的图像坐标包括根据预先建立的模板图像的世界坐标和摄像机坐标之间的转换关系以及摄像机外部 参数计算模板图像的摄像机坐标；根据预先建立的模板图像的摄像机坐标和图像坐标之间的转换关系以及摄像机内部 参数计算模板图像的图像坐标。
3.如权利要求1或2所述的方法，其特征在于，所述收敛算法为粒子群智能算法。
4.如权利要求3所述的方法，其特征在于，利用粒子群智能算法计算摄像机参数包括将每组摄像机参数作为一个粒子的坐标，根据适应值查找出本次迭代计算的最优粒子和最差粒子，所述最优粒子为与适应值中最小适应值相关联的一组摄像机参数确定的粒 子，所述最差粒子为与适应值中最大适应值相关联的一组摄像机参数确定的粒子；计算用于本次迭代计算适应值步骤中的粒子群体的密度；根据粒子群体密度确定用于下次计算适应值步骤中的参数系列，当粒子群体密度判断 为低时，使粒子朝着最优粒子运动从而确定用于下次计算适应值步骤中的参数系列；当粒 子群体密度判断为高时，使粒子背向最坏粒子运动从而确定用于下次计算适应值步骤中的 参数系列。
5.如权利要求4所述的方法，其特征在于，所述一个参数系列包括多组摄像机参数，所 述查找本次迭代计算的最优粒子和最差粒子步骤包括根据历次计算出的与各粒子相关联的适应值，查找个体或者群体最优粒子并将个体或 者群体最优粒子作为本次迭代计算的最优粒子，查找个体或者群体最差粒子并将个体或者 群体最差粒子作为本次迭代计算的最差粒子，所述某粒子的个体最优粒子为与该粒子历次 计算出的适应值中最小适应值相关联的一组摄像机参数确定的粒子，所述某粒子的个体最 差粒子为与该粒子历次计算出的适应值中最大适应值相关联的一组摄像机参数确定的粒 子，所述某粒子的群体最优粒子为所有个体最优粒子适应值中的最小适应值相关联的一组 摄像机参数确定的粒子，所述某粒子的群体最差粒子为所有个体最差粒子适应值中的最大适应值相关联的一组摄像机参数确定的粒子。
6.如权利要求4所述的方法，其特征在于，所述查找本次迭代计算的最优粒子和最差 粒子步骤包括在本次迭代计算得到的适应值中找出最大适应值和最小适应值，将与最小适应值相关 联的一组摄像机参数确定的粒子作为本次迭代计算的最优粒子，将与最大适应值相关联的 一组摄像机参数确定的粒子作为本次迭代计算的最差粒子。
7.如权利要求4所述的方法，其特征在于，所述粒子群体密度的计算步骤包括计算所 有粒子各维度的平均值，得到中心粒子；计算各个粒子与中心粒子的空间欧氏距离的平方 和，若该平方和超过设定的阀值则认为粒子群体密度为低，若低于设定的阀值则认为粒子 群体密度为高。
8.如权利要求1至7中任一项所述的方法，其特征在于，用于进行第一次适应值计算的 参数系列为随机产生。
9.如权利要求1至8中任一项所述的方法，其特征在于，所述设定的终止条件包括收 敛算法运行次数达到设定值、迭代计算的次数达到设定值和适应值达到预期值中的任一或 两个以上的组合。
10.如权利要求1所述的方法，其特征在于，所述收敛算法还包括遗传算法、蚂蚁算法 或鱼群算法。
11.一种图像处理设备，其特征在于包括摄像装置，用于对预定模板进行拍摄获取模板图像；分配参数模块，用于利用收敛算法分配一个参数系列，所述一个参数系列包括一组或 多组摄像机参数；适应值计算模块，用于比较模板图像与预定模板的理想世界图像的差异，从而得到适 应值，所述适应值计算模块包括图像坐标计算单元，用于根据预先建立的模板图像的世界坐标和图像坐标之间的转换 关系以及分配的摄像机参数，计算模板图像的图像坐标；和像素差异值计算单元，用于计算模板图像与理想世界图像之间相同图像坐标的像素差 异值的总和，得到与各组摄像机参数相关联的适应值；终止判断模块，用于判断适应值计算结果是否满足设定的终止条件，当适应值计算结 果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数；当没有满足终止 条件时继续执行分配参数步骤，重新产生一个参数系列。
12.如权利要求11所述的图像处理设备，其特征在于，所述分配的每组摄像机参数包 括摄像机外部参数和摄像机内部参数，所述图像坐标计算单元用于根据预先建立的模板图 像的世界坐标和摄像机坐标之间的转换关系以及摄像机外部参数计算模板图像的摄像机 坐标，根据预先建立的模板图像的摄像机坐标和图像坐标之间的转换关系以及摄像机内部 参数计算模板图像的图像坐标。
13.如权利要求11或12所述的图像处理设备，其特征在于，所述分配参数模块利用粒 子群智能算法为每次的迭代计算分配一个参数系列。
14.如权利要求13所述的图像处理设备，其特征在于，所述分配参数模块包括适应值评价单元，用于将每组摄像机参数作为一个粒子的坐标，根据适应值查找出本次迭代计算的最优粒子和最差粒子，所述最优粒子为与适应值中最小适应值相关联的一组 摄像机参数确定的粒子，所述最差粒子为与适应值中最大适应值相关联的一组摄像机参数 确定的粒子；密度计算单元，用于计算用于本次迭代计算适应值步骤中的粒子群体的密度；粒子进化单元，用于根据粒子群体密度确定用于下次计算适应值步骤中的参数系列， 当粒子群体密度判断为低时，使粒子朝着最优粒子运动从而确定用于下次计算适应值步骤 中的参数系列；当粒子群体密度判断为高时，使粒子背向最坏粒子运动从而确定用于下次 计算适应值步骤中的参数系列。
15.如权利要求14所述的图像处理设备，其特征在于，所述一个参数系列包括多组摄 像机参数，所述适应值评价单元用于根据历次计算出的与各粒子相关联的适应值，查找个体最优粒子或者群体最优粒子并 将个体或者群体最优粒子作为本次迭代计算的最优粒子，查找个体最差粒子或者群体最差 粒子并将个体或者群体最差粒子作为本次迭代计算的最差粒子，所述某粒子的个体最优粒 子为与该粒子历次计算出的适应值中最小适应值相关联的一组摄像机参数确定的粒子，所 述某粒子的个体最差粒子为与该粒子历次计算出的适应值中最大适应值相关联的一组摄 像机参数确定的粒子，所述某粒子的群体最优粒子为所有个体最优粒子适应值中的最小适 应值相关联的一组摄像机参数确定的粒子，所述某粒子的群体最差粒子为所有个体最差粒 子适应值中的最大适应值相关联的一组摄像机参数确定的粒子。
16.如权利要求14所述的图像处理设备，其特征在于，所述适应值评价单元用于在本次迭代计算得到的适应值中找出最大适应值和最小适应值，将与最小适应值相关 联的一组摄像机参数确定的粒子作为本次迭代计算的最优粒子，将与最大适应值相关联的 一组摄像机参数确定的粒子作为本次迭代计算的最差粒子。
17.如权利要求14所述的图像处理设备，其特征在于，所述密度计算单元用于计算所 有粒子各维度的平均值，得到中心粒子；计算各个粒子与中心粒子的空间欧氏距离的平方 和，若该平方和超过设定的阀值则认为粒子群体密度为低，若低于设定的阀值则认为粒子 群体密度为高。
18.如权利要求11至17中任一项所述的图像处理设备，其特征在于，用于进行第一次 适应值计算的参数系列为随机产生。
19.如权利要求11所述的图像处理设备，其特征在于，所述设定的终止条件包括收敛 算法运行次数达到设定值、迭代计算的次数达到设定值和适应值达到预期值中的任一或两 个以上的组合。
20.一种包括如权利要求11至19中任一项所述的图像处理设备的机动车辆。
全文摘要
本发明公开了一种摄像机定标方法、图像处理设备和机动车辆，其中摄像机定标方法包括步骤获取模板图像步骤；分配参数步骤；计算适应值步骤；终止判断步骤。与现有技术相比，本发明通过将摄像机定标问题转化为参数优化问题，减少对定标环境的要求和定标时间，提高了定标精度。
文档编号G06T7/00GK101957990SQ20101025302
公开日2011年1月26日 申请日期2010年8月13日 优先权日2010年8月13日
发明者吴泽俊 申请人:武汉大学