线激光用于slm显微立体视觉的小尺度物体表面重构方法
【技术领域】
[0001 ] 本发明涉及一种线激光用于体视显微镜(Stereo Light Microscope,简称为SLM) 显微立体视觉的小尺度物体(尺寸范围为0.1mm至0.5mm)表面重构方法，特别是将线激光和 SLM结合使用，获取激光条纹图像对序列，通过对图像中激光条纹的处理估计小尺度物体的 视差表面，再通过视觉模型转换重构出在世界坐标系中小尺度物体的表面，建立了新型有 效的小尺度物体表面重构方法。
【背景技术】
[0002] 结构光法重构物体三维表面通常是基于三角测量原理，通过激光器发出激光经物 体表面反射被相机接收，计算物体的三维结构，这种重构系统通常是单目视觉结构。运用双 目立体视觉和结构光相结合的重构方法，主要是基于双目立体视觉原理进行重构物体表 面，通常包括一个光源和两个相机等部件。这些方法通常是针对宏观对象进行重构，不能适 用于小尺度对象的表面重构。
[0003] 体式显微镜（SLM)能够通过目镜观测微观对象的立体结构，其独特的双光路结构 能够从不同角度观测微小对象，在光路末端安装工业相机构成显微立体视觉系统，通过对 立体图像对处理能够获得小尺度物体的表面属性。目前，基于SLM显微视觉的测量方法主要 分为两类:采用单目激光条纹投影的方法和传统的采用立体匹配的显微测量方法。刘元坤 等（2014)采用栅线投影法重构微观对象的3D形貌，在SLM的一个光路上安装编码光栅和激 光光源，在另一个光路上安装相机，实际属于单目的视觉检测系统，通过解调相位信息获得 物体的三维形貌。光源经过光栅发出条纹投射在小尺度物体表面，计算小尺度物体表面轮 廓依赖于高精度的相位测量。相位评估算法通常基于条纹的正弦强度分布，但是正弦光栅 的传输分布在制造过程是非常复杂和困难的。传统的采用立体匹配的显微测量方法是通过 立体匹配算法寻找立体图像对中的相关点，利用图像中灰度、边缘、纹理等信息建立相关性 测度，若在左图像中给定某个特征点，通过相似性测度估计其匹配点在右图像中的位置，这 种相关点的搜寻过程是在全局图像或者局部区域图像中实现。但是立体匹配过程存在严重 问题，表现在:1)立体匹配算法要求立体图像对能够提供丰富的特征信息，如果立体图像对 中特征不明显，很难搜寻到足够多的相关点；2)在全局区域图像中进行立体匹配总是产生 大量的错误匹配数据，并且这些数据的数量是随机的，造成立体匹配结果的不确定性，进一 步影响表面重构精度;3)全局图像的畸变矫正是非常困难的，估计畸变参数通常采用优化 方法，利用显著性和相关性检验判断参数对畸变的贡献率，如果引入不合理的参数往往导 致整个参数序列估计的不稳定性，进一步影响视觉模型的定位能力。王跃宗等（2015)提出 了多视角大深度显微立体视觉特征融合测量方法，主要依赖于图像序列融合和条纹辅助划 分匹配区域计算视差，实际上是将不同视角的图像序列中的清晰部分融合在一副图像中， 并依靠条纹特征将图像划分成局部区域进行匹配，最终计算出图像视差，这种方法的重构 对象是大深度对象。在0.1_至0.5mm范围内的小尺度物体通常不超过体视显微镜的景深范 围，不需要进行分层采集图象和融合不同视角的图像，因此王跃宗（2015)提出的多视角大 深度显微立体视觉特征融合测量方法不适用于小尺度物体的表面重构。这些缺点制约了小 尺度物体的表面重构。
【发明内容】
：
[0004] 针对重构小尺度物体表面重构的问题，本发明将线激光和SLM结合应用，线型激光 器投射出线型激光条纹于小尺度物体表面，小尺度物体被置于机械臂末端的底板平面上， 小尺度物体在机械臂的带动下沿世界坐标系Χ0ΥΖ的X轴水平移动，激光条纹与运动方向垂 直或者在90度± 15度范围内，完成小尺度物体的表面扫描；同时置于SLM光路末端的两个工 业相机采集高对比度的激光条纹图像对序列，每对条纹图像反映出小尺度物体一个位置的 信息，图像对序列共同反映出小尺度物体的三维信息。对每幅图像单独处理，获取小尺度物 体不同位置的三维表面信息，再将所有位置的三维信息按照规则排列即可得到小尺度物体 三维表面信息。在图像采集过程中，小尺度物体只需要沿X轴方向均匀平移即可，图像采集 简单、可靠。在图像处理过程中，被测对象的三维表面信息只在激光条纹中体现出来，因此 只需要对激光条纹区域进行畸变矫正和对准，降低了畸变矫正的难度，提高了对准的准确 率。同时，每幅条纹图像单独处理，避免了复杂的大量的图像融合过程，降低了图像处理难 度。在视差条纹排列步骤中通过对底板条纹的位姿变换解决了底板平面与SLM聚焦面不平 行的问题，同时也能消除机械臂的平移误差。本发明解决了现有SLM重构过程中遇到的问 题，能够高效、精确地重构小尺度物体的表面结构。
[0005] -种线激光用于SLM显微立体视觉的小尺度物体表面重构方法，小尺度物体尺寸 范围为0.1mm至0.5mm，其特征在于包括以下步骤:采集激光条纹图像对序列，条纹中心亚像 素级提取，左右图像相对参数计算，条纹中心纵向畸变矫正，条纹中心区域分割，匹配点视 差计算，视差条纹位姿变换，输出视差曲面，重构小尺度物体表面。
[0006] 采集激光条纹图像对序列具体为线型激光器投射出宽度小于或等于25μπι的激光 条纹至小尺度物体表面，小尺度物体放置在底板平面上，机械臂带动底板平面均匀移动，激 光条纹与运动方向垂直或者在90度±15度范围内，线型激光器投射的激光条纹扫描小尺度 物体表面，同时利用SLM显微视觉系统拍摄不同位置下的激光条纹左图像和右图像序列，向 计算机输入左右图像对序列。
[0007] 条纹中心纵向畸变矫正具体为运用图像畸变模型对图像中激光条纹区域进行纵 向的畸变矫正，输出无畸变条纹中心坐标。
[0008] 条纹中心分割具体为运用条纹中心分割方法将图像中的激光条纹分割为底板条 纹中心和目标条纹中心。
[0009] 匹配点视差计算具体为对右图像进行旋转和平移使左图像和右图像满足外极限 约束条件，根据外极限约束条件分别在底板条纹和目标条纹上寻找匹配点并计算匹配点视 差，输出底板视差条纹和目标视差条纹。
[0010] 视差条纹位姿变换、小尺度物体的视差曲面和输出小尺度物体表面具体为对底板 视差条纹进行位姿的变换并输出变换矩阵，将变换矩阵应用于对应的目标视差条纹的位姿 变换中，将目标视差条纹排列，输出小尺度物体的视差曲面并代入视觉模型，重构出小尺度 物体表面。
[0011] 具体的，所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法包括以 下步骤：
[0012] 1、采集激光条纹图像对序列
[0013] 线激光用于SLM显微立体视觉的小尺度物体表面重构系统如图1所示，体视显微镜 1 (SLM)的双光路末端分别安装左相机2和右相机3。三自由度机械臂7在SLM的下方，机械臂 的末端执行器上固定有平面底板6,被测小尺度物体5安置在平面底板6上。为了便于理解， 将重构系统中局部区域10换个视角观察得到第二视角局部区域11。机械臂7能够在计算机9 的控制下驱动平面底板6和小尺度物体5沿X，Y，Z三个方向平移，左相机2和右相机3与计算 机9连接能够实时采集图像。图像采集前，调整平面底板6及小尺度物体5、SLM 1和线型激光 器4的相对位置，使得平面底板6和小尺度物体5在SLM的聚焦面上并与之平行，同时投射在 小尺度物体5表面上的激光条纹最细。图像采集过程中，计算机9控制机械臂7带动平面底板 6和小尺度物体5沿X方向以间隔ΔΧ从激光条纹的一侧平移至另一侧均匀平移，平移方向与 激光条纹垂直;每移动一个位置，左相机2和右相机3采集激光条纹图像对，扫面完成时获得 激光条纹图像对序列并输入计算机9进行图像处理。
[0014] 2、条纹中心亚像素级提取
[0015]在步骤1中所采集的条纹图像对序列中，条纹特征明显并且在图像中的位置相对 固定，便于条纹中心提取。首先，选择图像中激光条纹区域并进行面积滤波、平滑滤波预处 理过程，得到R0I区域。其次，对R0I区域应用亚像素级条纹中心检测算法(如Hessian矩阵法 等)提取出条纹中心坐标。
[0016] 3、左右图像相对参数计算
[0017] 由于SLM系统中左相机和右相机的安装误差，所采集到的右图像相对于左图像存 在旋转角度和纵向平移，需要通过对标定样板图像对的处理计算右图像相对于左图像的旋 转和偏移参数。首先，在SLM系统下采集标定样板图像对，提取标定样板左图像和右图像中 格点坐标，对左图像和右图像中的每行格点分别进行直线拟合，得到拟合直线与图像横轴 的夹角，再对所有夹角求平均值，得到图像中格点点阵与图像横轴的夹角，从而计算出右图 像相对于左图像的旋转角度;其次，在计算得到左图像和右图像中格点点阵与各自横轴的 夹角之后，分别对左图像和右图像按照旋转公式进行旋转使得图像中格点点阵与横轴的夹 角为零。此时，计算右图像中每个格点的纵坐标相对于左图像中对应格点纵坐标的偏移量 并计算平均值，得到右图像相对于左图像的纵向偏移量。
[0018] 4、条纹中心纵向畸变矫正
[0019]采集的条纹图像中，被测小尺度物体的表面信息包含在图像的条纹信息中，因此， 只需要对图像中激光条纹区域进行纵向畸变矫正即可。首先，应用第三步中得到标定样板 图像对中格点的坐标，并对左图像和右图像分别旋转使得点阵与图像