采用残差反馈的slm显微视觉数据重构方法
【技术领域】
:
[0001]本发明涉及一种采用残差反馈的SLM显微视觉数据重构方法，特别是涉及以针孔摄像机模型为基础通过建立残差补偿模型对其进行改进而提升SLM显微视觉系统重构精度的方法。
【背景技术】
:
[0002]光学体式显微镜是一种精密的光学仪器，主要分为CM0型SLM(stere0 lightsystemhGreenough型SLMXM0型SLM的两套子光路共享前端大物镜，共包含三条光轴，并且相互平行。在CM0型SLM的子光路像面处安装CCD相机可构成SLM显微立体视觉系统，SLM显微视觉系统属于典型的计算机双目立体视觉系统，拥有较大的工作空间，而且属于非接触式光学测量，通过相机可实时拍摄物空间的整个场景，不存在类似电子显微镜的信号延时，这些特点使其逐渐在微操作，微测量，微装配等领域中广泛使用。对微小物体进行微操作，微测量需对其三维物空间进行准确重构，高效准确的视觉建模是进行工作的关键所在。
[0003]视觉建模是SLM显微视觉系统在进行微操作，微测量过程中的重要研究内容之一。针孔模型为线性模型，在宏观立体视觉中广泛应用，是一种成熟简便的视觉模型，但并不适合直接用于SLM显微视觉坐标的重构。由于CMO-styleSLM的成像过程不符合针孔成像的原理，直接使用针孔摄相机模型进行三维重构时会产生较大定位误差。极易造成误匹配，误操作，降低微测量，微操作，微装配，过程中的工作效率。Kim(1990)使用了简易的视觉模型，比较早的把量化的SLM显微视觉系统应用到微观世界测量中，很有意义，但是模型使用了较少的参数对透镜畸变抵抗能力较弱。Danuser( 1999)建立了一个高精度的视觉模型，比较系统的论述了参数的标定过程，很有代表性，但是模型引入大量的参数来拟合畸变，需要设计复杂的标定过程估计参数，如果选择了不合适的优化过程，大量参数的引入往往会导致标定结果的不稳定性，Danuser (1999)提出的模型使用起来比较困难。
【发明内容】
[0004]针对上述重构方法标定过程复杂，精度低，直接使用针孔模型在SLM显微视觉系统中由图像坐标重构物空间世界坐标时存在的较大定位误差问题，本发明推出了采用残差反馈的SLM显微视觉数据重构方法，其目的是在保留针孔模型优势的基础上，降低参数标定难度，通过建立残差补偿方法，克服现有针孔模型在微光领域应用时的不足，提高微结构三维形貌数据重构精度，新方法具有更强的实用性。
[0005]本发明所涉及的采用残差反馈的SLM显微视觉数据重构方法，是建立在针孔摄相机模型之上，对SLM显微视觉重构数据的残差进行分析补偿。所述的方法包括以下步骤:
[0006]1、等间距采集SLM立体图像对
[0007]通过SLM显微视觉系统在世界坐标系中沿X轴，y轴，ζ轴等间距采集立体图像对，输出X轴图像序列，y轴图像序列，ζ轴图像序列。获取图像格点世界坐标真值集合Pu
[0008]2、图像对准与视差畸变矫正
[0009]在x轴图像序列中，利用拟合算法，分别对所采集到的左图像、右图像中图像特征点行进轨迹进行拟合，估计左右图像相对旋转角及相对偏移，进行左右图像对准，矫正左右图像视差曲面畸变。
[0010]3、建立初始视觉模型
[0011]采用标定软件通过针孔摄像机模型理论，对SLM视觉系统进行初始标定，输出标定参数。利用沿ζ轴采集到的图像序列，对左右立体图像对视差数据进行统计，建立视差增量与ζ轴坐标增量线性关系，输出视差增量比例系数E，给出初始的视觉模型。
[0012]4、重构残差计算
[0013]等间距采集图像序列时，图像由位置1移动到位置2时，所有格点具有相同的移动距离Di。利用初始模型重构X轴图像序列，y轴图像序列，ζ轴图像序列格点的世界坐标，获得所有格点世界坐标的测量值集合P2，计算格点由位置1移动到位置2的相对重构距离作为真值，D2作为测量值，对重构格点间相对位移残差参数进行计算。相对位移残差参数包括重构X轴图像序列时沿X轴轴向偏移残差，沿y轴径向偏移残差，沿ζ轴径向偏移残差;重构y轴图像序列时，沿y轴轴向偏移残差，沿X轴径向偏移残差，沿ζ轴径向偏移残差;重构ζ轴图像序列时，沿ζ轴轴向偏移残差，沿X轴径向偏移残差，沿y轴径向偏移残差。
[0014]5、重构残差精度评估
[0015]根据SLM显微视觉系统数据重构精度要求，选定残差区间，为保证较高重构精度，残差区间可从(-5M1，5μπι)至(-200μπι，200μπι)范围内进行选取。残差区间范围越小则重构精度越高，依用户决定。统计位于该区间内的残差样本点的数量Κ，参与统计的总的残差样本点数量记为U，定义有效比例系数S = K/U。当残差区间设置越小，S越大，说明重构精度越高，残差数据发散度越小。记重构残差精度评估参数为M。根据有效比例系数S的值对重构残差精度进行评估。当S〈M时，认为重构精度低，需进行残差补偿。当S>M时，认为重构精度满足要求。为获得较高重构精度，选定得重构残差精度评估参数Μ的值应大于等于0.85。
[0016]6、残差补偿
[0017]采用线性补偿法分别对重构残差精度低参数进行补偿。在初始模型基础上，首先对重构X轴图像序列时，重构残差精度低参数进行线性补偿，输出补偿参数，得到第一次补偿后世界坐标向量。在此基础上，对重构Ζ轴图像序列时重构残差精度低参数进行线性补偿，输出补偿参数，得到第二次补偿后世界坐标向量。最后对重构y轴图像序列时，重构残差精度低参数进行线性补偿，输出补偿参数，输出高精度重构数据。
[0018]本发明所涉及的采用残差反馈的SLM显微视觉数据重构方法，首先，建立了视差畸变矫正的方法，从标定样板图像中获取需要的各类数据，采用线性拟合、多项式拟合等方法矫正视差畸变;然后，在传统针孔摄像机模型理论基础上修正ζ坐标的重构方法，建立初始的视觉模型；最后，对初始视觉模型进行误差补偿，建立残差补偿模型，输出高精度的重构数据。在以SLM显微视觉系统为基础的微操作，微装配系统中的重构误差来自多种因素，如视觉模型本身的缺陷、透镜畸变、驱动组件的定位精度等，重构数据的残差是所有误差的综合体，残差补偿模型对重构数据的残差进行拟合，补偿重构误差。这种建模方法具有更强的适应能力，对于任意一种SLM视觉系统，只要确定了残差补偿模型就可以输出高精度的重构数据。
[0019]附图如下
[0020]图1为本发明涉及的采用残差反馈的SLM显微视觉数据重构方法流程图
[0021]图2为本发明涉及的图像对准与视差畸变矫正方法的流程图
[0022]图3为本发明涉及的建立初始视觉模型的流程图
[0023]图4为本发明涉及的残差补偿流程图
[0024]图5为采用残差反馈的SLM显微视觉数据重构方法重构后的残差数据分布图
[0025]图6为本发明涉及的使用针孔模型重构方法的残差数据分布图
【具体实施方式】
:
[0026]现结合附图对本发明作进一步详细阐述。图1显示本发明涉及的采用残差反馈的SLM显微视觉数据重构方法流程图，如图所示，采用残差反馈的SLM显微视觉数据重构方法包括以下步骤:
[0027]1、等间距采集SLM立体图像对
[0028]通过MEMS工艺制作网格状平面标定样板，标定样板上设计7行X7列圆形图案，直径为0.15mm，相邻标志图案圆形间距为0.3mm，阵列格点的定位精度为土 0.25μηι，圆形图案的中心点定义为格点。把标定样板固定在驱动装置上，图像采集平面基本位于SLM的聚焦面处，SLM具有有效深度范围，以聚焦面为中心，所使用SLM的有效深度范围约为±1.13_。
[0029]标定样板分别沿世界坐标系X轴，y轴，ζ轴等间距移动，间隔设置为0.1mm通过SLM显微视觉系统等间距采集标定样板立体图像对Sll，x轴、y轴和ζ轴的采集长度范围分别为4.1_1，2.9111111和3.1111111，输出1轴图像序列321，7轴图像序列322，2轴图像序列323。获取图像格点世界坐标真值集合S31，记为，zwl)。
[0030]2、图像对准与视差畸变矫正
[0031](l)SLM显微视觉的一项重要功能是利用视差估计物空间的深度，即世界坐标系的纵向坐标，为了建立线性度较高的视觉模型，需进行图像对准与视差畸变矫正S41。输入X轴图像序列S21，格点在图像中的运行轨迹近似为直线，运行方向沿图像的X轴方向，但与X轴并不平行。利用拟合算法如:最小二乘法，分别对所采集到的左图像、右图像中每个图像格点行进轨迹进行拟合S24，由左图像序列获得拟合直线斜率集合匕，各拟合直线相对X轴旋转角为ai = arctanki，由右图像序列获得拟合直线斜率集合kr，各拟合直线相对X轴旋转角为ar = arctankr。令(^与?作差并求其平均值α，作为左右图像相对旋转角。以左图像为基准，右图像坐标旋转_α角，实现对左右图像序列对相对旋转进行校正S25。输出图像格点坐标S26。记旋转后左图像序列格点图像坐标集合为(XI，yi)，右图像序列格点图像坐标集合为
(Xr’yr) Ο
[0032](2)输入图像格点坐标S26，输入y轴图像序列S22，输入ζ轴图像序列S23共同估计左右图像在竖直方向上的相对偏移距离Τ。令每个图像序列中左右图像对应格点图像纵坐标yi与yr作差，所有差值求和后取平均值，即为左右图像纵向相对偏移距离Τ。以左图像为基准，右图像在y轴方向平移T，实现对左右图像纵向相对偏移进行校正。通过对左右图像相对旋转与偏移进行校正实现左右图像对准S32。输出经对准后格点图像坐标(X2，y2)。左图像序列格点图像坐标记为(χ2ι，y2i)，右图像序列格点图像坐标记为(x2r，y 2r)。
[0033](3)在SLM视觉系统中，视差是重构世界坐标系中ζ坐标的重要技术指标，需采用经图像对准的X轴图像序列对左右图像视差畸变进行矫正。格点初始视差Ρ由公式P = y2r-y2i计算得出，在X轴图像序列中，一个格点对应一条视差轨迹曲线，使用直线拟合格点横坐标X2与视差P对应关系，拟合视差直线S33。输出视差直线方程:Y = KpX2+B，式中KP为拟合视差直线斜率集合，Β为截距集合，Υ为拟合视差值。计算直线拟合残差Ν，公式为:Ν = Υ-Ρ。利用拟合算法如:最小二乘法，拟合残差Ν与格点横坐标χ2多项式关系，拟