专利名称：多视角大深度显微立体视觉特征融合测量方法
技术领域：
本发明涉及一种多视角大深度显微立体视觉特征融合测量方法，该方法使用复合式体视显微镜显微立体视觉测量系统采集多维空间立体图像对，系统包括辅助条纹投影系统、三维操作台、旋转台、横向位移台、体视显微镜和左、右相机(采用CCD相机)，特别是涉及采用投影条纹图像序列与多视角多深度面立体图像序列的配准、融合，以条纹作为辅助边界条件确定原始图像局部匹配，输出条纹边缘像素视差和局部原始图像像素视差，实现高精度、无遮挡、大尺度的显微立体测量。
背景技术：
体视显微镜具有两套光路，呈一定夹角，可以与两个相机组合后构成显微立体视觉系统，通过立体图像对的匹配反求微观对象的的三维立体结构，在计算机中输出立体图形，可用于微观对象的立体结构测量，如长度、宽度、高度、表面粗糙度等等。目前，已有的体视显微镜视觉测量系统主要通过立体图像对的匹配来实现，采用灰度匹配法、相关匹配法、模板匹配法等建立原始图像的相似性评价，对其具有完全的依赖性。现有测量方法最大的问题来自立体匹配算法本身具有的不足，微观对象类型多种多样，表现在透明度、颜色、反光度、大小、形状等均存在差异，反应在图像中的目标对象也存在差异性。现有匹配方法提取的信息仅仅依赖原始被测目标，难以克服图像信号广义的差异性和随机性，匹配结果中总出现大量的错匹配和误匹配数据，无法保证匹配的精度，也导致重构点云中存在大量的奇异点。因此，现有的基于原始图像匹配的体视显微镜视觉测量技术仍然存在难以克服的技术瓶颈，其技术方案更无法从本质上解决测量中出现的局部遮挡和大深度微观对象的测量问题，在技术应用上难以推广。本发明对现有的体视显微镜视觉系统做了改进，增加了辅助条纹投影系统，配合三维操作台、旋转台、横向位移台以“桶形”方式采集空间位置的原始立体图像对，从多个视点、多个深度面采集图像，构成空间图像序列，包含了空间的多方位多深度信息，实现了带有辅助条纹投影系统、三维操作台、旋转台和横向位移台的复合式体视显微镜显微立体视觉测量系统，以复合式视觉系统为基础，在测量方法上进行了创新。投影条纹作为人为增加的图像特征参与平面多节点图像的配准和融合，获取多视点多深度面的图像清晰度信息，通过多维图像融合解决测量中的遮挡、大深度测量问题。同时，建立左右条纹图像的配准关系，条纹是非常明显的线性特征元素，现有图像处理算法能够精确计算条纹的边缘像素视差，通过在图像中增加条纹，能够从本质上解决现有的完全依赖匹配的测量系统中的错匹配和误匹配，如果条纹间隔密集，直接通过条纹图像处理即可给出精确的视差图。以条纹边缘作为边界条件，条纹边缘像素视差作为约束条件，建立局部小区域内的原始目标匹配关系，把立体匹配的区域加以限制，有效抑制错匹配和误匹配的出现，原始目标匹配结果作为辅助因素参与数据重构，而条纹边缘像素视差成为了主体，完全不同于现有的完全依赖匹配的解决方案，能够从本质上解决现有体视显微镜视觉系统测量方法存在的不足。
发明内容
针对现有体视显微镜立体视觉测量法存在的问题，本发明推出了增加辅助条纹投影系统、三维操作台、旋转台和横向位移台的复合式体视显微镜显微立体视觉测量系统，使用该系统以“桶形”节点结构采集原始立体图像对，通过同一深度面不同节点位置处的原始图像序列的配准，输出该深度面合成后的原始合成图像，通过不同深度面原始合成图像序列的融合，输出融合后的原始融合图像，使用该系统采集条纹图像，以条纹边缘像素视差为主体，条纹边缘界定的局部限制区域内原始图像匹配结果为辅助，给出条纹复合的视差计算结果，其目的是解决现有体视显微镜立体视觉测量方法完全依赖原始图像匹配而导致的大量错匹配和误匹配现象，提高匹配精度，更进一步解决该测量方式中存在的遮挡和大深度测量问题，通过条纹投影实现高精度匹配数据的输出。本发明所涉及的多视角大深度显微立体视觉特征融合测量方法，是由复合式体视显微镜显微立体视觉测量系统，以“桶形”节点结构采集原始立体图像对，在计算机中对“桶形”节点图像进行处理，对同一深度面不同节点位置处的原始图像序列进行配准，生成该深度面合成后的原始合成图像，实现条纹参与的不同深度面图像的匹配与融合，输出条纹边缘视差和局部限制区域内的原始图像视差，通过视觉反演计算空间坐标，生成三维立体图形、输出三维立体信息。所述的多视角大深度显微立体视觉特征融合测量方法包括以下步骤:1、“桶形”节点结构原始图像采集及条纹图像采集复合式体视显微镜显微立体视觉测量系统的主体为体视显微镜5，左相机6和右相机7分别固定于体视显微镜5的左相机固定架16与右相机固定架17上面,显微物镜18固定在体视显微镜5的下端，环形光源15固定在显微物镜18的下端。辅助条纹投影系统I (COHERENT公司生产)产生投影条纹，固定在条纹投影系统光源支架2上，被测物体8置于旋转台9上面，旋转台9安放在横向位移台10上，条纹投影系统光源支架2和横向位移台10安放在载物台3上。载物台3与三维操作台4固定，使载物台3与三维操作台4始终位于同一平面内。移动台控制器14与三维操作台4、旋转台9、横向位移台10连接并控制三维操作台4、旋转台9、横向位移台10动作。左相机6和右相机7通过USB 口与计算机11连接，移动台控制器14通过串口与计算机11通信。计算机11采集左相机6和右相机7中的立体图像对并进行处理，通过串行口控制移动台控制器14输出脉冲信号，控制三维操作台4沿深度面纵向图像采集方向12移动，控制旋转台9沿深度面平面图像采集方向13旋转，控制横向位移台10沿与条纹垂直方向移动，在深度面纵向图像采集方向12和深度面平面图像采集方向13上产生“桶形”节点。在复合式体视显微镜显微立体视觉测量系统中，通过控制三维操作台4和旋转台9实现被测物沿深度面纵向图像采集方向12和深度面平面图像采集方向13移动，以“桶形”节点结构采集原始立体图像对。首先通过计算机11操作三维操作台4和旋转台9，将被测物体8移动到体视显微镜5的第I深度面第I节点位置K11,采集原始立体图像对，使用体视显微镜5的聚焦面作为第I深度面Plane_l，第一深度面第一节点位置K11任意确定，然后控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别在节点位置K12、K13至Kin处等待一段时间，采集原始立体图像对，节点间的角度α =360° /N。在第I深度面Plane_l采集完所有节点的原始立体图像对后，调整旋转台9沿深度面平面图像采集方向13旋转回第一深度面第一节点K11位置，然后调整三维操作台4沿深度面纵向图像采集方向12向上移动，到达第2深度面Plane_2，控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别在K21、K22、K23至K2n处采集原始立体图像对；依次类推，最后调整三维操作台4沿深度面纵向图像采集方向12向上移动，到达第M深度面Plane_M，控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别在节点位置KM1、KM2、KM3至Kmn处等待一段时间，采集原始立体图像对，完成整个“桶形”图像采集过程。每个深度面对应的第N个位置的节点，即K1N、K2n…Kmn节点在深度面纵向图像采集方向上处于同一条直线；在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像；同一深度面不同节点位置处的左原始图像集合称为该深度面的左原始图像序列，同一深度面不同节点位置处的右原始图像集合称为该深度面的右原始图像序列；辅助条纹投影系统I提供线结构光来生成条纹图像。在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像，该深度面的左原始图像序列Si以左原始参考图像为基准进行配准，合成为该深度面的左原始合成图像，该深度面的右原始图像序列S6的配准与合成与左原始图像序列SI的配准与合成方法相同。在每层深度面的第一节点位置处采集条纹图像对，通过计算机11控制横向位移台10带动旋转台9和被测物体8沿与条纹垂直方向一维等间隔移动，间隔距离任意确定，在一维方向上从被测物体8的起始端到末端设置多个采集位置，每个位置上均采集条纹立体图像对，如图3所不,米集左条纹图像lu、1l2、lu、Iy Ilv和右条纹图像In1、Ike、1r3> Im…丨1 ，并按采集的先后顺序编号，把各位置处的条纹图像合成为该深度面的一幅左条纹参考图像和一幅右条纹参考图像。2、同一深度面不同节点位置处的原始图像配准使旋转台9沿深度面平面图像采集方向13等角度旋转，对采集的同一深度面不同节点位置处的原始立体图像对，采用通用的形状匹配方法建立各节点位置处图像的配准。每一深度面第一节点位置采集的原始立体图像对保存为左原始参考图像和右原始参考图像，左原始参考图像和右原始参考图像分别生成各自的模板图像S21。通过形状匹配方法计算左原始图像序列SI的仿射参数S23，根据仿射参数对该深度面各节点位置处的图像进行变换，并与左原始参考图像进行配准，生成该深度面的左原始合成图像。该深度面的右原始合成图像的生成方法与左原始合成图像的生成方法相同。3、条纹图像的合成与配准同一深度面各位置处采集的左条纹图像合成在一幅图像中，形成该深度面的左条纹参考图像，所有深度面的左条纹参考图像的集合即为左深度面条纹参考图像序列S5，通过对左深度面条纹参考图像序列S5的融合而成为左条纹融合图像S11，提取左条纹融合图像Sll的边缘，根据左条纹图像采集时的编号寻找左条纹参考图像的对应条纹边缘，保存像素位置，完成配准。右条纹图像的合成与配准过程和左条纹图像的合成与配准过程相同。
4、基于深度面条纹参考图像序列的不同深度面原始合成图像序列的融合同一深度面不同节点位置处采集的原始立体图像对经过配准之后成为描述该深度面360度整体信息的一幅原始合成图像，对于大深度被测对象，需沿体视显微镜5中心轴的纵向设置多个深度面，在不同深度面上布置节点采集图像，不同深度面的节点图像经过相同过程的配准之后形成不同深度面的原始合成图像序列S102。以不同深度面条纹参考图像序列SlOl和不同深度面原始合成图像序列S102作为输入量，使用通用边缘像素检测方法提取深度面条纹参考图像序列SlOl的边缘，对图像进行网格划分，网格内的边缘梯度作为输入量建立清晰度评价函数，然后计算出每层深度面图像像素的清晰度，根据清晰度判别结果，对两类图像分别进行融合，输出融合后的条纹融合图像和原始融合图像。5、基于条纹参考图像序列的原始立体图像对局部匹配条纹参考立体图像对经过配准后，输出条纹边缘像素对应的视差。在左原始图像中以相邻条纹的相邻边缘为界线，获得界线区域内的左原始图像像素，根据条纹所对应的图像采集时的编号，使用通用的立体匹配算法进行局部匹配和约束检测，再根据相邻条纹的相邻边缘像素视差进行检验，完成局部匹配。右原始图像的局部匹配过程与左原始图像的局部匹配过程相同，最后输出条纹边缘像素视差值和局部区域内左原始图像和右原始图像像素的视差值。6、三维数据计算三维操作台使用多个步进电机控制，能够实时提供空间位移，把三维操作台的位移数据作为矫正和标定用数据输入视觉反演模型，同时把条纹边缘像素视差和局部原始图像像素视差也代入通用的视觉反演模型，三维操作台的位移数据作为参考基准修正视觉反演模型的计算结果，计算匹配像素对应的物空间坐标，输出空间点云。7、输出长度、宽度、高度和立体图形通过三角剖分拟合空间点云，对点云网格化，进行点云位置约束检测，剔除异常点，生成规则的立体图形，输出被测对象的长度、宽度和高度等立体信息。本发明所涉及的多视角大深度显微立体视觉特征融合测量方法对现有的体视显微镜视觉系统做了改进，增加辅助条纹投影系统1、三维操作台4、旋转台9和横向位移台10构成新的复合式体视显微镜显微立体视觉测量系统。基于该系统提出了适用于大深度被测微观对象的立体测量方法，通过“桶形”的原始图像采集方式和条纹图像的参与，形成了新的基于条纹图像的配准、合成和融合方法，克服了传统匹配方法导致的大量错匹配和误匹配现象，能够输出条纹视差数据和局部原始图像视差数据。该方法能够解决显微立体测量中的遮挡和大尺度微观对象精密测量问题，从本质上克服现有体视显微镜视觉测量方法存在的技术瓶颈。
图1为本发明涉及的复合式体视显微镜显微立体视觉测量系统图2为本发明涉及的“桶形”图像采集结构图3为本发明涉及的原始立体图像对和条纹立体图像对结构图4为本发明涉及的多视角大深度显微立体视觉特征融合测量方法组成图5为本发明涉及的同一深度面不同节点位置处的图像，即原始图像序列的配准方法图6为本发明涉及的不同深度层图像融合方法图7为本发明涉及的条纹配准和条纹边界局部匹配方法
附图中标记说明1、辅助条纹投影系统2、条纹投影系统光源支架3、载物台4、三维操作台5、体视显微镜6、左相机7、右相机8、被测物体9、旋转台10、横向位移台11、计算机12、深度面纵向图像采集方向13、深度面平面图像采集方向14、移动台控制器15、环形光源16、左相机固定架17、右相机固定架18、显微物镜Kn、第I深度面第I节点位置K12、第I深度面第2节点位置Kin、第I深度面第N节点位置K21、第2深度面第I节点位置K22、第2深度面第2节点位置K2n、第2深度面第N节点位置Km1、第M深度面第I节点位置Km2、第M深度面第2节点位置Kw、第M深度面第N节点位置Plane_l、第 I 深度面Plane_2、第 2 深度面Plane_M、第 M 深度面P_l、第I深度面节点集合P_2、第2深度面节点集合P_M、第M深度面节点集合IL1、左原始图像IR1、右原始图像IL2、左条纹图像IR2、右条纹图像Iu、左条纹图像中第I条条纹
左条纹图像中第2条条纹Iu、左条纹图像中第3条条纹、左条纹图像中第4条条纹Iw、左条纹图像中第V条条纹Ik1、右条纹图像中第I条条纹Ik2、右条纹图像中第2条条纹Ik3、右条纹图像中第3条条纹1Κ4、右条纹图像中第4条条纹Iw、右条纹图像中第V条条纹
具体实施例方式现结合附图对本发明作进一步详细阐述。图1-图7显示本发明涉及的多视角大深度显微立体视觉特征融合测量方法的流程图，如图所示，多视角大深度显微立体视觉特征融合测量方法包括以下步骤:1、“桶形”节点结构原始图像采集及条纹图像采集使用图1中的复合式体视显微镜显微立体视觉测量系统以“桶形”方式采集原始立体图像对，体视显微镜5采用通用的双目结构式光学显微镜，左相机6和右相机7的分别率为1280X1024。移动台控制器14使用脉冲式可分频的控制器，最高输出频率大于1MHz，三维操作台4、旋转台9、横向位移台10通过步进电机驱动。辅助条纹投影系统I使用通用的线结构光激光器(COHERENT公司生产)，线宽小于25微米。“桶形”节点结构由深度面和节点构成，通过计算机11控制三维操作台4沿深度面纵向图像采集方向12等间隔移动，间隔距离任意确定，产生不同的参考面，第I深度面Plane_l是起始参考面，使用体视显微镜5的聚焦面作为第I深度面Plane_l，然后在第I深度面Plane_l上任意设定第一深度面第I节点K11,以K11为起点，通过计算机11控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别得到K12- Kin多个节点，节点间的角度α =360° /N，在节点位置处停留一定时间，采集此处的原始立体图像对。在第I深度面Plane_l采集完所有节点图像后，调整旋转台9旋转回第一深度面第一节点K11位置，然后通过计算机11控制三维操作台4沿深度面纵向图像采集方向12等间隔移动，间隔角度任意确定，产生第2-第M深度面，在不同深度面上以与第I深度面相同的节点方式采集图像，获得其他深度面上各节点的原始立体图像对。在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像。各深度面的第一节点位置，即κη、κ21...κΜ1处采集的所有原始图像的集合即为原始参考图像序列，同一深度面不同节点位置，即Kn、KfK1N，K21、KyK2ir.KM1、KfKm处采集的所有原始图像的集合即为该深度面的原始图像序列。该深度面的左原始图像序列Si以左原始参考图像为基准进行配准，合成为该深度面的左原始合成图像，该深度面的右原始图像序列S6的配准与合成与左原始图像序列SI的配准与合成方法相同。在每层深度面的第一节点位置处采集条纹图像，通过计算机11控制横向位移台10带动旋转台9和被测物体8沿与条纹垂直方向一维等间隔移动，间隔距离任意确定，在一维方向上从被测物体8的起始端到末端设置多个采集位置，每个位置上均采集条纹立体图像对，如图3所不,米集左条纹图像lu、1L2> 1L3> Im…Ilv和右条纹图像lR1、1E2> 1R3> Im…1ι ，并按米集的先后顺序编号，把各位置处的条纹图像合成为该深度面的左条纹参考图像和右条纹参考图像。所有深度面的条纹参考图像的集合即为条纹参考图像序列S101。图像采集的具体方法如下:(I)控制三维操作台4移动，把被测对象调整到体视显微镜5物空间的中心位置，然后调整三维操作台4沿深度面纵向图像采集方向12移动，确定第I深度面Plane_l为体视显微镜5的聚焦面；(2)辅助条纹投影系统I使用激光线结构光光源。关闭体视显微镜5的环形光源15，启动辅助条纹投影系统1，在第I深度面Plane_l中，通过计算机11控制横向位移台10带动旋转台9和被测物体8沿与条纹垂直方向一维等间隔移动，间隔距离任意确定，在每个位置均采集一次条纹立体图像对，采集完毕后合成，把所有条纹放置在同一立体图像对中，并记录各位置图像对应的编号Iu- 1LV, Ie1-1ev ;
(3)开启环形光源15，关闭辅助条纹投影系统1，在第I深度面Plane_l中，沿深度面平面图像采集方向13调整旋转台9，在第I深度面Plane_l中第I节点位置K11处采集原始立体图像对，第一深度面第一节点位置K11任意确定，原始图像为不包含条纹的被测对象的图像。然后控制旋转台9沿深度面平面图像采集方向13间隔旋转，间隔角度α =360° /N，分别在节点位置K12-Kin处采集原始立体图像对，保存图像，记录下图像的编号。采集完第I深度面Plane_l的所有节点图像后，调整旋转台9沿深度面平面图像采集方向13旋转回第一深度面第一节点K11位置；(4)控制三维操作台4沿深度面纵向图像采集方向12移动，分别在第2参考面Plane_2-第M参考面Plane_M中以图像在第I参考面Plane_l中的方式采集条纹和原始图像，获得一系列节点位置处的原始立体图像对；(5)图像采集完毕后，节点按图2所示的“桶形”结构排列。2、同一深度面不同节点位置处的原始图像配准从左原始参考图像序列S4中选择各深度面的左原始参考图像并生成模板图像S21,采用通用的形状匹配方法S22，如灰度匹配、相关匹配、特征匹配等建立同一深度面不同节点位置处图像的特征模板匹配关系，计算左原始图像序列SI的仿射参数S23，根据仿射参数把该深度面各节点位置处的左原始图像与该深度面的左原始参考图像进行配准，合成为该深度面对应的左原始合成图像。该深度面的右原始合成图像的生成方法与左原始合成图像的生成方法相同。所有深度面的原始合成图像的集合即为原始合成图像序列S102。3、条纹图像的合成与配准通过计算机11控制横向位移台10带动旋转台9和被测物体8沿与条纹垂直方向一维等间隔移动，间隔距离任意确定，在一维方向上从被测物体8的起始端到末端设置多个采集位置，如图3所示，每一次采集的条纹立体图像对均保存为左条纹图像和右条纹图像。将此深度面各位置处采集的左条纹图像合成在一幅图像中，形成该深度面的左条纹参考图像，所有深度面的左条纹参考图像的集合即为左深度面条纹参考图像序列S5，通过对左深度面条纹参考图像序列S5的融合而成为左条纹融合图像S11，左条纹融合图像Sll包含了清晰的条纹，采用通用的边缘提取方法，如小波变换法、神经网络法、Sobel算子等提取左条纹融合图像Sll的边缘，根据左条纹图像采集时的编号建立左条纹图像中边缘的一对一配准关系。右条纹图像的合成与配准过程和左条纹图像的合成与配准过程相同。最后输出左图像中条纹像素与右图像中条纹像素之间的视差。4、基于深度面条纹参考图像序列的不同深度面原始合成图像序列的融合条纹参考图像序列SlOl包括左深度面条纹参考图像序列S5和右深度面条纹参考图像序列S9，每层深度面条纹参考图像序列SlOl的清晰度与同层深度面原始合成图像序列S102具有相同的清晰度分布规律。采用通用的边缘提取方法，如小波变换法、神经网络法、Sobel算子等提取不同深度层的条纹参考图像序列SlOl的边缘，对每一深度面的整幅图像进行网格划分。基于网格中的边缘梯度使用通用清晰度评价函数确定图像清晰度，剔除图像中不清晰的网格，保留图像清晰的部分，然后对不同深度层对准后的原始合成图像序列S102进行融合，输出最后的融合后图像S104。不同深度层的条纹参考图像序列SlOl的融合过程同步进行，输出左右条纹融合图像Sll和S14。5、基于条纹参考图像序列的原始立体图像对局部匹配根据左条纹融合图像Sll与右条纹融合图像S12包含的条纹边缘线，相邻的两条条纹具有四条边缘，中间相邻边缘之间的区域未被条纹覆盖，以这两条边缘作为区域界线，确定局部区域，左原始图像和右原始图像划分过程相同。在左原始融合图像S12与右原始融合图像S13中提取局部区域中的像素，局部区域的编号与条纹所对应的图像采集时的编号一致，采用通用的匹配方法，如相关法、灰度匹配法、特征匹配法等建立左原始图像和右原始图像对应局部区域原始图像的匹配关系，输出左原始图像和右原始图像匹配点的视差。如果条纹足够密集，局部区域的两边缘界线视差梯度和区域内像素原始图像像素的视差梯度满足线性关系，依据此条件对输出的原始图像匹配点进行检验，剔除线性度较差的异常像素。6、三维数据计算三维操作台4使用多个步进电机控制，能够实时提供空间位移。把三维操作台4的位移数据作为矫正和标定用数据输入视觉反演模型。以条纹边缘像素视差为主体，原始图像匹配像素视差为辅助，采用通用视觉反演模型，如透视投影模型、小孔成像模型等计算条纹匹配像素与原始图像匹配像素对应的空间点坐标，输出空间点云。以条纹边缘像素视差为主、原始图像视差为辅的方法能够满足更多的重构环境，在条纹较稀疏时同样可用，区别于传统体视显微镜视觉测量完全依赖原始图像匹配像素的方法，保证更高的数据重构精度。7、输出长度、宽度、高度和立体图形通过三角剖分拟合空间点云，对点云网格化，进行点云位置约束检测，剔除异常点，生成规则的立体图形，输出被测对象的长度、宽度和高度等立体信息。对本领域的技术人员来说，很明显，本发明可以做出多种改进和变化，只要落入所附的权利要求书及其等同的范围内，本发明就涵盖本发明的这些改进和变化。
权利要求
1.一种多视角大深度显微立体视觉特征融合测量方法，其特征在于，包括以下步骤:使用复合式体视显微镜显微立体视觉测量系统以“桶形”方式采集原始立体图像对，复合式体视显微镜显微立体视觉测量系统包括辅助条纹投影系统(I)、三维操作台(4)、体视显微镜(5)、左相机(6)和右相机(7),主体为体视显微镜(5),左相机(6)和右相机(7)分别固定于体视显微镜(5)的左相机固定架(16)与右相机固定架(17)上面,显微物镜(18)固定在体视显微镜(5)的下端，环形光源(15)固定在显微物镜(18)的下端；辅助条纹投影系统(I)固定在条纹投影系统光源支架(2)上，被测物体(8)置于旋转台(9)上面，旋转台(9)安放在横向位移台(10 )上，条纹投影系统光源支架(2 )和横向位移台(10 )安放在载物台(3 )上；载物台(3)与三维操作台(4)固定，使载物台(3)与三维操作台(4)始终位于同一平面内；移动台控制器(14 )与三维操作台(4 )、旋转台(9 )、横向位移台(10 )连接并控制三维操作台(4)、旋转台(9)、横向位移台(10)动作；左相机(6)和右相机(7)与计算机(11)连接，移动台控制器(14)通过串口与计算机(11)通信；计算机(11)采集左相机(6)和右相机(7)中的立体图像对并进行处理，通过串行口控制移动台控制器(14)输出脉冲信号，控制三维操作台(4)沿深度面纵向图像采集方向(12)移动，控制旋转台(9)沿深度面平面图像采集方向(13)旋转，控制横向位移台(10)沿与条纹垂直方向移动，在深度面纵向图像采集方向(12)和深度面平面图像采集方向(13)上产生“桶形”节点； 该方法包括以下步骤: 1)、“桶形”节点结构原始图像采集及条纹图像采集:在复合式体视显微镜显微立体视觉测量系统中，通过控制三维操作台(4)和旋转台(9)实现被测物沿深度面纵向图像采集方向(12)和深度面平面图像采集方向(13)移动，以“桶形”节点结构采集原始立体图像对；首先通过计算机(11)操作三维操作台(4)和旋转台(9)，将被测物体(8)移动到体视显微镜 (5)的第I深度面第I节点位置K11,采集原始立体图像对，使用体视显微镜(5)的聚焦面作为第I深度面Plane_l，第一深度面第一节点位置K11任意确定，然后控制旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，分别在节点位置K12、K13至Kin处等待一段时间，采集原始立体图像对，节点间的角度α =360° /N ;在第I深度面Plane_l采集完所有节点的原始立体图像对后，调整旋转台(9)沿深度面平面图像采集方向(13)旋转回第一深度面第一节点K11位置，然后调整三维操作台(4)沿深度面纵向图像采集方向(12)向上移动，到达第2深度面Plane_2，控制旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，分别在K21、K22, K23至K2n处采集原始立体图像对，依次类推，最后调整三维操作台(4)沿深度面纵向图像采集方向(12)向上移动，到达第M深度面Plane_M，控制旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，分别在节点位置KM1、KM2、KM3至Kmn处等待一段时间，采集原始立体图像对，完成整个“桶形”图像采集过程；每个深度面对应的第N个位置的节点，即K1N、KfKm节点在深度面纵向图像采集方向(12)上处于同一条直线； 在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像；同一深度面不同节点位置处的左原始图像集合称为该深度面的左原始图像序列，同一深度面不同节点位置处的右原始图像集合称为该深度面的右原始图像序列；该深度面的左原始图像序列(SI)以左原始参考图像为基准进行配准，合成为一幅该深度面的左原始合成图像，该深度面的右原始图像序列(S6)的配准与合成与左原始图像序列(SI)的配准与合成方法相同；在每层深度面的第一节点位置处采集条纹图像，通过计算机(11)控制横向位移台(10)带动旋转台(9)和被测物体(8)沿与条纹垂直方向一维等间隔移动，间隔距离任意确定，在一维方向上从被测物体的起始端到末端设置多个采集位置，每个位置上均采集条纹立体图像对，采集左条纹图像lu、1L2> 1L3> Im…和右条纹图像1K1、,1E2> 1E3> Ik4…U，并按采集的先后顺序编号，把各位置处的条纹图像合成为该深度面的一幅左条纹参考图像和一幅右条纹参考图像； ,2)、同一深度面不同节点位置处的原始图像配准:使旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，对采集的同一深度面不同节点位置处的原始立体图像对，采用通用的形状匹配方法建立各节点位置处图像的配准；每一深度面第一节点位置采集的原始立体图像对保存为左原始参考图像和右原始参考图像，左原始参考图像和右原始参考图像分别生成各自的模板图像(S21);通过形状匹配方法计算左原始图像序列(SI)的仿射参数(S23)，根据仿射参数对该深度面各节点位置处的图像进行变换，并与左原始参考图像进行配准，生成该深度面的左原始合成图像；该深度面的右原始合成图像的生成方法与左原始合成图像的生成方法相同； , 3)、条纹图像的合成与配准:同一深度面各位置处采集的左条纹图像合成在一幅图像中，形成该深度面的左条纹参考图像，所有深度面的左条纹参考图像的集合即为左深度面条纹参考图像序列(S5)，通过对左深度面条纹参考图像序列(S5)的融合而成为左条纹融合图像(S11)，提取左条纹融合图像(Sll)的边缘，根据左条纹图像采集时的编号寻找左条纹参考图像的对应条纹边缘，保存像素位置，完成配准；右条纹图像的合成与配准过程和左条纹图像的合成与配准过程相同； , 4)、基于深度面条纹参考图像序列的不同深度面原始合成图像序列的融合:同一深度面不同节点位置处采集的原始立体图像对经过配准之后成为描述该深度面360度整体信息的一幅原始合成图像，对于大深度被测对象，需沿体视显微镜(5)中心轴的纵向设置多个深度面，在不同深度面上布置节点采集图像，不同深度面的节点图像经过相同过程的配准之后形成不同深度面的原始合成图像序列；以不同深度面条纹参考图像序列和不同深度面原始合成图像序列作为输入量，使用通用边缘像素检测方法提取深度面条纹参考图像序列的边缘，对图像进行网格划分，网格内的边缘梯度作为输入量建立清晰度评价函数，然后根据评价函数判别每层深度面图像像素的清晰度，再根据判别结果对两类图像分别进行融合，输出融合后的条纹融合图像和原始融合图像； ,5)、基于条纹参考图像序列的原始立体图像对局部匹配:条纹参考立体图像对经过配准后，输出条纹边缘像素对应的视差；在左原始图像中以相邻条纹的相邻边缘为界线，获得界线区域内的左原始图像像素，根据条纹所对应的图像采集时的编号，使用通用的立体匹配算法进行局部匹配和约束检测，再根据相邻条纹的相邻边缘像素视差进行检验，完成局部匹配；右原始图像的局部匹配过程与左原始图像的局部匹配过程相同，最后输出条纹边缘像素视差值和局部区域内左原始图像和右原始图像像素的视差值； ,6)、三维数据计算:三维操作台使用多个步进电机控制，能够实时提供空间位移，把三维操作台的位移数据作为矫正和标定用数据输入视觉反演模型，同时把条纹边缘像素视差和局部原始图像像素视差也代入通用的视觉反演模型，三维操作台的位移数据作为参考基准修正视觉反演模型的计算结果，计算匹配像素对应的物空间坐标，输出空间点云； , 7 )、输出长度、宽度、高度和立体图形:通过三角剖分拟合空间点云，对点云网格化，进行点云位置约束检测，剔除异常点，生成规则的立体图形，输出包括被测对象的长度、宽度和高度的立体信 息。
全文摘要
本发明涉及一种多视角大深度显微立体视觉特征融合测量方法，该方法使用复合式体视显微镜视觉系统，以“桶式”节点结构采集原始立体图像对，通过同一深度面不同节点位置处图像的配准、条纹配准、不同深度面原始合成图像序列的融合、原始图像局部匹配，提供准确的匹配视差数据，能够重构高精度的三维图形。该方法能够解决显微立体测量中的遮挡和大尺度微观对象精密视觉测量问题，从本质上克服现有体视显微镜视觉测量方法存在的技术瓶颈。
文档编号G01B11/02GK103075960SQ201210583760
公开日2013年5月1日 申请日期2012年12月30日 优先权日2012年12月30日
发明者王跃宗, 殷文佳, 张称称, 马国栋 申请人:北京工业大学