专利名称：显微视觉系统中运动误差矫正方法
技术领域：
本发明涉及计算机显微成像技术领域，尤其涉及显微视觉系统中运动误差矫正方法。
背景技术：
随着信号处理科学和计算机技术的发展，计算机视觉作为人工智能的一个新领域也逐渐形成并得到了极大的发展，计算机视觉技术用摄像机代替人眼获取景物图像并转换为数字信号，利用计算机代替人的大脑对客观世界进行视觉感知和解释。虽然目前还不能够使计算机、机器人或其他智能机器也具有像人类等生物那样高效、灵活和通用的视觉，但自20世纪50年代以来视觉理论和技术得到了迅速发展，从阿帕奇上的头盔瞄准到军用车辆上的电子稳像，从导弹上的图像制导到军事目标识别，计算机视觉已被广泛的应用于军事、制造业、检验、文档分析、医疗诊断等各种领域。而随着个人计算机的发展，硬件成本的 降低促进了计算机视觉这一新兴技术逐步走入人们的生活，为人们所熟悉。通常一个完整的立体视觉系统的工作过程包括摄像机标定、特征提取、立体匹配、三维重建等部分，而三维重建是计算机视觉研究的最终目的之一。其中旋转三维重建技术，将观测物体做旋转运动作为限制条件，从而获取物体的运动信息，提高三维重建效率与精度。然而，由于显微视觉系统中显微运动视频由高倍显微镜与CCD图像传感器采集到，微小对象的旋转运动存在明显的运动位置偏移，极大地影响了后期的三维重建。同时目前计算机视觉中的误差矫正方法都是基于光学畸变误差，一般通过建立相应的光学畸变模型进行图像校正，这类矫正方法主要侧重于图像成像过程中产生的光学畸变，却没有考虑到显微序列图像间的运动变换关系，忽视了运动偏移导致的图像误差。
发明内容
本发明提出一种显微视觉系统中运动误差矫正方法，其目的是为了克服显微视觉系统下旋转三维重建过程中存在明显的运动位置偏移，能够准确评估显微视觉系统的运动误差，建立误差矫正模型，对采集到的显微图像进行预处理，显著减小运动误差。一种显微视觉系统中运动误差矫正方法，应用于显微视觉系统，所述显微视觉系统包括用于获取被观测物体的显微图像的单目光学显微镜和摄像机，载物台以及控制所述载物台作一定倾斜角度的旋转运动的运动控制设备，以及用来进行视觉处理的计算机系统，所述矫正方法包括步骤(I)建立误差矫正模型；(2)调整载物台位置以适应被观测物体，采用标定板对摄像机进行标定，计算出摄像机的内外参数；(3)根据所述摄像机录制的被观测物体的显微图像对应的旋转角度，将步骤(2)得到的摄像机的内外参数代入误差矫正模型，计算所述旋转角度对应的偏移矫正向量，对所述显微图像进行矫正。
进一步地，所述步骤(I)建立误差矫正模型包括步骤(I. I)采用标定板对所述摄像机进行标定，确定所述摄像机的内外参数，建立显微视觉系统的摄像机模型；(I. 2)对标定板进行角点跟踪；(I. 3)确定显微视觉系统载物台旋转轴；(I. 4)建立理想的旋转运动轨迹；(I. 5)构建误差矫正模型。进一步地,所述摄像机模型通过空间点P = [X，y，z]与其在摄像机中显示的二维图像上的投影点P = [U，V]的关系表示为-A=AlR TJP ;
其中河Pf分别是P和P加I的增向量，S是尺度因子，A为摄像机内参矩阵，[RT]为摄像机外参矩阵。进一步地，所述标定板是微棋盘格，所述步骤(I. 2)包括步骤(I. 2. I)、输入所述摄像机采集的微棋盘格显微运动视频，截帧获取K张显微序列图像；(1. 2. 2)、取其中一张图像，转换为灰度图，建立角点的集合U，和空的链表L ；(I. 2. 3)、从集合U中搜索找到棋盘格顶点，将该点移到链表L中并设为基点；(I. 2. 4)、根据集合U中任意两点间最短距离，建立基点的搜索域；(I. 2. 5)、如果在搜索域中找到两个角点，并且当前基点是边界角点，则根据两角点与基点的关系，调整它们的顺序，并移动到链表L中；如果找到一个角点，并且当前基点非边界角点，则直接移动到链表L中；否则调整搜索域，重复步骤(1.2.5)；(1.2.6)如果链表L长度达到N，则保存链表L，取下一张图像，回到(1.2.2);否贝U，取链表L中基点的下一个点为当前基点，回到步骤(1.2.4)；(I. 2. 7)当K张显微序列图像都经过角点检测并编号，则得到K个链表L，根据角点序号建立对应关系，得到N个角点跟踪轨迹。根据本发明的角点跟踪策略，可以避开复杂的角点匹配过程，却能够准确地跟踪角点完整的运动轨迹。进一步地，所述步骤(I. 2)还包括步骤对于每一个角点，获取K个旋转的跟踪点，对这些跟踪点经过最小二乘法拟合出角点运动的二次曲线为该角点的真实的跟踪轨迹，其中η为角点的序号；重复上述步骤得到N个角点的跟踪轨迹。进一步地，所述确定显微视觉系统的旋转轴是指通过角点跟踪得到的N个角点跟踪轨迹，由轨迹上的离散点的二维图像坐标求平均，近似得到旋转轴与载物台的交点的二维图像坐标，利用摄像机模型反投影得到该交点的世界坐标，从而确定旋转轴。进一步地,所述建立理想的旋转运动轨迹是指对于空间中一点，绕所述旋转轴连续旋转不同角度，经过坐标变换得到一组新的空间点，再分别通过所述摄像机模型投影变换，产生一组二维投影点，这些点经过最小二乘法拟合得到的二次曲线就是该点的理想的旋转运动轨迹，针对所述的N个角点,建立所述N个角点的理想运动轨迹Cn,其中η为角点的序号。进一步地，所述步骤(I. 5)构建误差矫正模型包括步骤空间点P绕所述旋转轴旋转角度Θ得到理想点坐标P’(X’，y’，ζ’)和实际点坐标(u，，v，)和分别为p’j的二维图像点，那么满足下面两个公式:
Γ 「X'
Ui](s V' =4^ T]
Z
I
u—
卜 「&
UΛ>^ V =^R Τ] {
ζ
I
L JI将上述公式相减可得s7fe =ARDr9其中A =( .ν'-. ，,ζ'-5)为世界坐标系上的位置偏移量，4 =( '- ,ν'- Ο为二维图像坐标系上的位置偏移量，而石为d0的增O向量；通过所述N个角点的跟踪轨迹与理想运动轨迹得到 θ= 士乞((;;(％08 -( ;,(i )cos 砟 4,2( ;,_n<9-(:胸 sin 外 O
乂 N ^zlAlJ其中Cn为第η个角点的理想运动轨迹的两次曲线，(\(0)为第η个角点的跟踪轨迹的两次曲线；经过变换得到误差矫正模型EeS: Ee=Dl = SR-1A-1J^其中s是尺度因子，A为摄像机内参矩阵，[R Τ]为摄像机外参矩阵。其中，所述摄像机的内外参数包括尺度因子，内参矩阵和外参矩阵。本发明的有益效果主要表现在只要通过一次误差评估就能够建立起显微视觉系统的误差矫正模型，利用该模型能够矫正系统采集的任意显微运动视频，减小系统的运动误差，提高三维重建精度，具有较好的实用性。
图I是显微视觉系统结构示意图；图2是本发明显微视觉系统中运动误差矫正方法的流程图；图3是本发明显微视觉系统中建立误差矫正模型的流程图；图4是显微视觉系统的几何模型示意图；图5是显微图像经过角点检测及编号算法后的结果示意图；图6是显微运动视频内15个角点经过角点跟踪策略后得到的跟踪结果示意图；图7是误差评估结果的示意图；图8是误差矫正模型的示意图；图9是显微运动视频经过误差矫正后其中四帧的结果示意图；图IOa是本发明实施例载物台倾斜0°矫正前后误差评估结果对比示意图；图IOb是本发明实施例载物台倾斜5°矫正前后误差评估结果对比示意图；图IOc是本发明实施例载物台倾斜15°矫正前后误差评估结果对比示意图11是矫正前后误差评估结果的表格表示形式。
具体实施例方式下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。本发明采用的显微视觉系统，如图I所示，包括单目光学显微镜I与摄像机2，负责获取被观测物体的显微图像(或者显微视频)；还包括载物台3和运动控制设备4，摄像机2与运动控制设备4均连接到计算机系统5，计算机系统5 —方面通过运动控制设备4控制载物台3作一定倾斜角度的旋转运动，另一方面作为视觉信息处理系统将获取的显微运动视频作为输入数据，利用旋转三维重建方法，精确计算出微小对象的三维结构。下面以图I为例，详细描述本发明显微视觉系统中运动误差矫正方法，具体方法流程如图2所示，包括如下步骤·
步骤201、建立误差矫正模型。具体地，建立误差矫正模型的方法流程如图3所示，包括步骤步骤301、采用标定板微棋盘格对摄像机进行标定，精确得到摄像机内外参数，建立显微视觉系统的摄像机模型。具体地，本发明采用张正友的平面标定方法(Z. Zhang. A Flexible New Techniquefor Camera Calibration[J]. IEEE Transactions on Pattern Analysis and MachineIntelligence, 2000, 22 (11) : 1330-1334 (2000))，标定板为精密加工过的微棋盘格，利用运动控制设备4调整载物台3，用单目光学显微镜I和摄像机2采集微棋盘格在不同角度下的十张显微图像(其中包含显微视频的初始帧)作为摄像机标定的输入数据。通过摄像机标定精确得到摄像机内外参数，从而建立系统的摄像机模型，建立的摄像机模型如图4所不，其中，坐标系0。-乂。￥。2。为摄像机坐标系{C}, Oc为显微摄像机的光心，Zc轴为显微摄像机的光轴。坐标系O-UV为二维图像坐标系，摄像机光轴与之垂直相交点O’(u。，V。)。坐标系Ow-XwYwZw为世界坐标系{W}，为基准坐标系，用来描述在物理环境中显微摄像机的位置和微小对象的位置。空间点P= [X，y，z]与其在摄像机中显示的二维图像上的投影点P= [U，V]的关系表不如下s罗= AlR TJP(I)其中声和戶分别是P和P加I的增向量，s是尺度因子，A为摄像机内参矩阵，[R T]为摄像机外参矩阵。步骤302、对标定板微棋盘格进行角点跟踪。具体地，摄像机采集微棋盘格显微运动视频，针对微棋盘格显微序列图像的特性，先从显微视频截帧获取K张显微序列图像，然后检测每张图像中的所有角点并对其中N个角点进行编号得到角点序列，如图5所示，根据角点序号便可以对K张显微序列图像中K*N个角点建立对应关系，得到N个角点跟踪轨迹,如图6所示。角点跟踪的具体步骤如下第一步输入显微运动视频，截帧获取K张显微序列图像，即得到K张棋盘格一角的视图；第二步取其中一张图像，转换为灰度图，利用Harris角点检测(C. Harris,M. Stephens,“A combined comer and edge detector”，Proc.Alvey Vision Conference,1988，pp. 189-192 一种角点和边界点的检查子)，建立角点的集合U，和空的链表L ；第三步从集合U中搜索找到微棋盘格顶点，将该点移到链表L中并设为基点；第四步根据集合U中任意两点间最短距离，建立基点的搜索域；第五步如果在搜索域中找到两个角点，并且当前基点是边界角点，则根据两角点与基点的关系，调整它们的顺序，并移动到链表L中；如果找到一个角点，并且当前基点非边界角点，则直接移动到链表L中；否则调整搜索域，重复步骤五第六步如果链表L长度达到N，则保存链表L，取下一张图像，回到步骤二 ；否则，取链表L中基点的下一个点为当前基点，回到步骤四；
第七步当K张显微序列图像都经过角点检测并编号，则得到K个链表L，根据角点序号建立对应关系，得到N个角点的跟踪轨迹。对每个角点的跟踪点经过最小二乘法拟合出角点运动的二次曲线，为该角点的真实的跟踪轨迹，其中η为角点的序号；重复上述步骤得到N个角点的跟踪轨迹。根据本发明的角点跟踪策略，可以避开复杂的角点匹配过程，却能够准确地跟踪角点完整的运动轨迹。步骤303、载物台旋转轴的确定。由于显微视觉系统下载物台的旋转运动为同一平面内的运动，如图4所示，将世界坐标系建立在载物台上，即载物台的旋转平面为世界坐标系中O-XY平面，则旋转轴Lg的方向向量为V =
，并垂直交与O-XY平面点G，那么只需求出旋转轴垂直交与载物台的交点G的世界坐标，就可以确定旋转轴的空间位置。通过某个角点的跟踪轨迹，由轨迹上的离散点的二维图像坐标求平均，近似得到交点G的二维图像坐标，利用公式(I)得到交点G的世界坐标，交点G与旋转轴的方向向量V=
共同确定了载物台的旋转轴Lg。步骤304、建立理想的旋转运动轨迹。理论上，空间中某点绕固定旋转轴连续旋转不同角度，经过坐标变换得到一组新的空间点，再分别通过摄像机模型投影变换，产生一组二维投影点，这些点经过最小二乘法拟合得到的二次曲线就是该点的理想的旋转运动轨迹。下面详细说明理想旋转运动轨迹中离散的二维投影点的求解原理假设空间点P绕旋转轴Lg旋转不同角度Θ i(逆时针旋转，旋转角度可以被运动控制系统精确测量)，得到新的空间点P’ i，经过摄像机投影变换得到二维图像点P’ i，那么，P=[X，y，ζ]与p’ i = [Ui, Vi]的关系通过#与》',.表达如下
τ{ I φαΑ) ο Γ I r1]-< sP^-I ] οΓ I οΓ I Or I(2)
Rv (^i) = (I-Cos^1 )=t=v*vr + cosQi */+sin6>,. *[v]x其中，戶和K是P和的加I增向量,Rv(Qi)为空间上绕单轴旋转角度Qi的旋转矩阵，V为旋转轴的方向向量，[v]x为V的反对称向量，I为3X3的单位向量，t为将世界坐标系原点偏移到旋转轴上的偏移向量。通过公式⑵可以确定任意空间点的理想的旋转运动轨迹。针对微棋盘格的N个角点，建立每个角点的理想运动轨迹Cn，其中η为角点的序号。
步骤305、进行运动误差评估，建立误差矫正模型。利用本发明中提出的角点跟踪策略，可以拟合出N个角点的运动的二次曲线为真实的跟踪轨迹，同时对每个角点，建立理想的运动轨迹Cn，通过下面公式可以评估旋转到任意角度Θ时存在的误差值
权利要求
1.一种显微视觉系统中运动误差矫正方法，应用于显微视觉系统，所述显微视觉系统包括用于获取被观测物体的显微图像的单目光学显微镜和摄像机，载物台以及控制所述载物台作一定倾斜角度的旋转运动的运动控制设备，以及用来进行视觉处理的计算机系统，其特征在于，所述矫正方法包括步骤 (1)建立误差矫正模型； (2)调整载物台位置以适应被观测物体，采用标定板对摄像机进行标定，计算出摄像机的内外参数； (3)根据所述摄像机录制的被观测物体的显微图像对应的旋转角度，将步骤(2)得到的摄像机的内外参数代入所述误差矫正模型，计算所述旋转角度对应的偏移矫正向量，对所述显微图像进行矫正。
2.如权利要求I所述的运动误差矫正方法，其特征在于，所述步骤(I)建立误差矫正模型包括步骤 (I. D采用标定板对所述摄像机进行标定，确定所述摄像机的内外参数，建立显微视觉系统的摄像机模型； (I. 2)对标定板进行角点跟踪； (I. 3)确定显微视觉系统载物台旋转轴； (I. 4)建立理想的旋转运动轨迹； (1.5)构建误差矫正模型。
3.如权利要求2所述的运动误差矫正方法，其特征在于，所述摄像机模型通过空间点P = [X，1，z]与其在摄像机中显示的二维图像上的投影点P = [U，V]的关系表示为 其中户和戶分别是P和P加I的增向量，S是尺度因子，A为摄像机内参矩阵，[RT]为摄像机外参矩阵。
4.如权利要求2所述的运动误差矫正方法，其特征在于，所述标定板是微棋盘格，所述步骤(I. 2)包括步骤 (I. 2. I)、输入所述摄像机采集的微棋盘格显微运动视频，截帧获取K张显微序列图像； (I. 2. 2)、取其中一张图像，转换为灰度图，建立角点的集合U，和空的链表L ； (I. 2. 3)、从集合U中搜索找到棋盘格顶点，将该点移到链表L中并设为基点； (I. 2. 4)、根据集合U中任意两点间最短距离，建立基点的搜索域； (1.2. 5)、如果在搜索域中找到两个角点，并且当前基点是边界角点，则根据两角点与基点的关系，调整它们的顺序，并移动到链表L中；如果找到一个角点，并且当前基点非边界角点，则直接移动到链表L中；否则调整搜索域，重复步骤(I. 2. 5)； (1.2.6)如果链表L长度达到N，则保存链表L，取下一张图像，回到(1.2.2);否则，取链表L中基点的下一个点为当前基点，回到步骤(1.2.4)； (I. 2. 7)当K张显微序列图像都经过角点检测并编号，则得到K个链表L，根据角点序号建立对应关系，得到N个角点跟踪轨迹。
5.如权利要求4所述的运动误差矫正方法，其特征在于所述步骤(I.2)还包括步骤 对于每一个角点，获取K个旋转的跟踪点，对这些跟踪点经过最小二乘法拟合出角点运动的二次曲线 ，为该角点的真实的跟踪轨迹，其中η为角点的序号； 重复上述步骤得到N个角点的跟踪轨迹。
6.如权利要求5所述的运动误差矫正方法，其特征在于，所述确定显微视觉系统的旋转轴是指通过角点跟踪得到的N个角点跟踪轨迹，由轨迹上的离散点的二维图像坐标求平均，近似得到旋转轴与载物台的交点的二维图像坐标，利用摄像机模型反投影得到该交点的世界坐标，从而确定旋转轴。
7.如权利要求6所述的运动误差矫正方法，其特征在于，所述建立理想的旋转运动轨迹是指对于空间中一点，绕所述旋转轴连续旋转不同角度，经过坐标变换得到一组新的空间点，再分别通过所述摄像机模型投影变换，产生一组二维投影点，这些点经过最小二乘法拟合得到的二次曲线就是该点的理想的旋转运动轨迹，针对所述的N个角点，建立所述N个角点的理想运动轨迹Cn，其中η为角点的序号。
8.如权利要求7所述的运动误差矫正方法，其特征在于，所述步骤(1.5)包括步骤 空间点P绕所述旋转轴旋转角度Θ得到理想点坐标P’(X’，y’，ζ’)和实际点坐标P(x,yJ),pf (u，，v，)和如U，)分别为P’、#的二维图像点，那么满足下面两个公式
9.如权利要求I所述的运动误差矫正方法，其特征在于，所述摄像机的内外参数包括尺度因子，内参矩阵和外参矩阵。
全文摘要
本发明公开了一种显微视觉系统中运动误差矫正方法，应用于显微视觉系统，首先通过标定板对摄像机进行标定，建立摄像机模型，对标定板的角点进行跟踪，通过最小二乘法拟合出角点的跟踪轨迹和理想旋转轨迹，然后进行误差评估，建立误差矫正模型，从而利用误差矫正模型对显微图像进行矫正。本发明的方法只需通过一次误差评估就能建立起显微视觉系统的误差矫正模型，利用该模型能够矫正系统采集的任意显微运动视频，减小系统的运动误差，提高三维重建精度，具有较好的实用性。
文档编号G06T5/00GK102842117SQ20121024307
公开日2012年12月26日 申请日期2012年7月13日 优先权日2012年7月13日
发明者刘盛, 翟斌斌, 金海强, 陈胜勇 申请人:浙江工业大学