实现自动对焦和三维重建的显微系统及其图像获取方法与流程

本发明属于显微视觉信号检测、处理及控制领域，具体涉及一种实现自动对焦和三维重建的显微系统及其图像获取方法。

背景技术：

随着医学仪器的发展，现代医学仪器显微系统中的显微镜的放大倍数越来越大导致景深越来越小，因此采用手动调焦必然会增加手动调焦的难度。现有技术中，单纯的自动调焦系统已经被实现，其系统主要包括PC机和相应步进电机控制电路，其中PC机主要完成显微图像处理、电机控制电路根据PC机反馈的信号对步进电机进行控制。而现代医学中显微视觉下物体的三维重建，在市场上也有比较成熟的产品，如日本奥林巴斯公司生产的激光共聚焦显微镜可以实现对细胞图像的三维重建、该三维重建后的图像为伪彩色三维图像，并不是真正意义上的三维图像；德国卡尔·蔡司公司生产的体视显微镜也可以实现对细胞图像的三维重建，其工作原理的实质是两个单镜筒显微镜并列放置，两个镜筒的光轴构成相当于人们用双目观察一个物体时所形成的视角，以此形成三维空间的立体视觉图像，但其调焦部分仍然采用手动的方式进行。现有的产品技术中，可实现自动调焦的不能实现图像的三维重建，可实现图像三维重建的，不具有自动调焦的功能。

技术实现要素：

本发明旨在解决现有技术中存在的技术问题，而提出一种既能实现显微物体自动调焦又能实现图像三维重建的显微系统。

为实现上述目的，本发明提出的实现自动对焦和三维重建的显微系统包括PC机；显微摄像头，与所述PC机通信连接，所述显微摄像头前方设置有显微镜头，显微镜头将待观察物体显微放大；单片机，与所述PC机通信连接并接收PC机的指令信号并转换成控制信号输出；一号步进电机，与所述一号平台连接并用于驱动所述一号平台旋转；二号步进电机，与所述一号平台连接并用于驱动所述一号平台前后移动；三号步进电机，与所述一号平台连接并用于驱动所述一号平台倾斜角度α；四号步进电机，与所述一号平台连接并用于驱动所述一号平台上下移动；五号步进电机，与所述一号平台连接并用于驱动所述一号平台前后移动；一号步进电机驱动板，与所述单片机连接并根据所述单片机输出的控制信号控制所述一号电机工作；二号步进电机驱动板，与所述单片机连接并根据所述单片机输出的控制信号控制所述二号电机工作；三号步进电机驱动板，与所述单片机连接并根据所述单片机输出的控制信号控制所述三号电机工作；四号步进电机驱动板，与所述单片机连接并根据所述单片机输出的控制信号控制所述四号电机工作；五号步进电机驱动板，与所述单片机连接并根据所述单片机输出的控制信号控制所述五号电机工作。

通过一号步进电机驱动一号平台带动位于其上的待观察物件进行旋转，可以获得不同旋转角度条件下的显微图像，因此通过旋转的方式来模拟实现三维重建当中的双目功能，因此在进行角度旋转时，常采用在未进行旋转的基础上加上180°的方式进行旋转，这样就可以模拟实现双目三维重建当中的左视图和右视图的采集功能，通过二号步进电机驱动一号平台带动位于其上的待观察物件进行前后移动，可以调整显微物体在视野当中的前后位置；五号步进电机电机驱动一号平台带动位于其上的待观察物件进行左右移动，可以调整显微物体在视野当中的左右位置；通过三号步进电机驱动一号平台带动位于其上的待观察物件进行倾斜角度a进行调整，达到通过倾斜不同的角度实现对显微物体的不同侧面进行观察；四号步进电机驱动一号平台带动位于其上的待观察物件进行上下移动，达到对已经调整好旋转角度和倾斜角度的平台进行自动调焦；显微镜头对1号平台上的待显微物体进行放大，然后后成像在摄像头当中的感光芯片上，最后传输至PC机的软件上进行图像处理，达到三维建模的目的，另外可以通过操作PC机上的软件实现对各步进电机工作的控制，达到自动对焦的目的，从而可以减少人为造成的误差，即实现了自动调焦有能实现三维重建。

进一步的，实现显微物体自动对焦和三维重建的显微系统还包括二号平台和三号平台，所述一号步进电机固置于所述二号平台上并驱动所述一号平台旋转，所述三号步进电机设置在二号平台与三号平台之间并驱动所述二号平台带动所述一号平台倾斜，二号步进电机、四号步进电机和五号步进电机与三号平台连接并驱动所述三号平台带动所述二号平台及所述一号平台分别作前后移动、上下移动和左右移动。

进一步的，由于显微视觉的视野范围比较小，因此倾斜角度α满足-5°≥α≥5°可以得到比较满意的视觉效果。

上述实现自动对焦和三维重建的显微系统显微图像获取方法包括一下步骤：

S10：摄像头的标定,采用张正友提出的平面标定法进行摄像头的标定；

S20：左视图和右视图的获取，将自动调焦完成之后视频信号的某一帧作为左视图，将旋转角度完成之后视频信号的某一帧作为右视图；

S30：图像特征提取及匹配、采用GFTT算法对特征点进行提取，采用SIFT算法作为图像特征匹配的算法；

S40：三维重建过程，采用基于特征区域扩张的方法进行三维重建。

显微图像获取方法中，摄像头的标定采用张正友提出的平面标定法，具有高精度和高鲁棒性等特点，在平面标定方法中得到很好的应用；由于摄像机向上位机软件传送的是视频信号，由于在左视图和右视图选取之前，需要进行自动调焦操作，因此把自动调焦完成之后视频信号的某一帧作为左视图，而将旋转角度完成之后视频信号的某一帧作为右视图；采用GFTT算法对特征点进行提取是由于该算法作为特征点检测算法在显微环境下已经得到很好应用，而SIFT算法采用KD-tree搜索策略，具有较高的匹配精度和较强的鲁棒性；基于特征区域扩张的方法主要利用特征点匹配重建空间稀疏点，在通过扩散得到物体表面的稠密点云，该方法无需任何初始信息，操作简单，算法精度取决于特征点的匹配。

具体的，在步骤S20中，左视图和右视图的获取包括以下步骤过程：

S21:观察显微图像，控制二号步进电机和五号步进电机工作，使得显微图像在视野范围之内；

S22：控制三号步进电机工作，进行显微摄像调焦，直至自动调焦结束，其中在调焦过程中控制四号步进电机工作，控制一号平台倾斜角在设定范围内，其中显微摄像调焦采用基于laplacian清晰度评价函数的方法进行调焦；

S23：选取视频信号中的一帧图像作为左视图，并存储；

S24：控制室一号步进电机工作，一号平台转动角度β时的一帧图像作为右视图，并存蓄，其中225°≥β≥145°。

在步骤S22中，还包括对laplacian清晰度评价函数进行修改，修改方法如下：

由原Laplacian清晰度评价函数为：

拉普拉斯算子是二阶算子，其定义为：

由二阶导函数的定义得到：

则Laplacian函数表示为：

设空间任意位置处p(x,y,z)投影到感光器件上的像素点为f(x,y)，则空间任意位置处p(x,y,z)在竖直方向的投影为p(x,y)，而p(x,y,z)与p(x,y)之间的夹角为倾斜角度α，因此间接求出p(x,y)对应的清晰度评价函数为f(x,y)cosθ，之后对二阶导函数的定义做如下修改：修改后的Laplacian函数可以表示为：

最后把修改后的Laplacian函数作为自动调焦算法的清晰度评价函数。

在步骤S24中，选取185°≥β≥175°。

具体的，在步骤S30中，GFTT算法具体步骤为：

S31：计算每个像素点的二阶偏导(I_X)²、(I_y)²、I_xI_y；

S32：计算每个像素的二阶矩阵M

式中代表卷积，

S33：获得M矩阵对应的两个特征值λ₁和λ₂；

S34：选取max(min(λ₁,λ₂))确定最终的角点。

本发明提供的实现自动对焦和三维重建的显微系统通过图像获取方法实现自动对焦和三维重建，系统电路和光路设计简单，集成度高；通过相应上位机软件，可以实现对底层硬件电路的操作，这样就可以减少人为造成的误差。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1本发明的实现自动对焦和三维重建的显微系统结构示意图；

图2本发明的显微系统图像获取方法过程示意图；

图3是本发明方案中的旋转拍照模型图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图3对本发明实施例作进一步的描述。

如图1所示，实现自动对焦和三维重建的显微系统，包括：PC机、USB2.0端口的显微摄像头、位于摄像头前方的放大倍数为100X的显微镜头、一号步进电机、二号步进电机、三号步进电机、四号步进电机、五号步进电机以及与之相对应的一号步进电机驱动板、二号步进电机驱动板、三号步进电机驱动板、四号步进电机驱动板、五号步进电机驱动板、单片机、RS232串口通信模块。PC机与单片机之间通过RS232模块进行通信，单片机根据接收到的PC机(即上位机)指令信号向与之对应的步进电机驱动板发送相应控制信号，之后步进电机根据接收到的控制信号执行相应的动作，这些动作包括转动时间、转动方向和转速。具体执行动作方式为：一号步进电机固置于所述2号平台上并根据一号步进电机驱动板接收到的控制信号可带动一号平台(载物台)进行360°旋转；其主要作用是为了获得不同旋转角度条件下显微图像，而本实施例中主要想通过旋转的方式来模拟实现三维重建当中的双目功能，因此在进行角度旋转时，常采用在未进行旋转的基础上加上β角度的方式进行旋转，其中225°≥β≥145°都能实现基本目的，在185°≥β≥175°时效果更加理想，控制β＝180°时则是一个绝佳对称位置，这样就可以模拟实现双目三维重建当中的左视图和右视图的采集功能。二号步进电机根据二号步进电机驱动板接收到的控制信号可对一号平台(载物台)、二号平台和三号平台进行前后移动；其主要作用是为了调整显微物体在显微镜头视野当中的前后位置；三号步进电机根据三号步进电机驱动板接收到的控制信号可对一号平台(载物台)和二号平台倾斜角度α进行控制，精度控制在5°≥α≥-5°，即一号平台面与显微镜头面之间的夹角小于等于5°；其主要作用是通过旋转不同的角度实现对显微物体的不同侧面进行观察，获得比较满意的视觉效果，如果倾斜角大于5°显微图像将变模糊，达不到理想的可识别效果；四号步进电机根据四号步进电机驱动板接收到的控制信号可对一号平台(载物台)、二号平台和三号平台上下进行控制；其主要作用是对已经调整好旋转角度和倾斜角度的平台进行自动调焦；五号步进电机根据五号步进电机驱动板接收到的控制信号可对一号平台(载物台)、二号平台和三号平台左右进行控制；其主要作用是为了调整显微物体在视野当中的左右位置。显微镜头(物镜)对一号平台上的显微物体进行放大，并成像于摄像头当中的感光芯片上，最后通过USB2.0通信模块传输至PC机软件上进行图像处理。其中图像处理包括的步骤有摄像头的标定、左视图和右视图的获取、图像特征提取及匹配、三维重建。

以上实施例中，电机与各平台的连接关系可以进行变换组合，只要实现调整一号平台的位置即可，例如可以二号电机可以只驱动一号平台和二号平台运动以调整前后位置。

摄像机的标定：采用张正友提出的平面标定方法进行标定，现有技术中的参考文献可以发现摄像机的标定方法有很多种，但张正友提出的平面标定法具有高精度和高鲁棒性等特点，在平面标定方法中得到很好的应用。

左视图和右视图的获取：由于摄像机向PC机(上位机)软件传送的是视频信号，因此在进行左视图和右视图选取时，常常选取视频信号的某一帧作为左视图或者右视图；由于在左视图和右视图选取之前，需要进行自动调焦操作，因此常常把自动调焦完成之后视频信号的某一帧作为左视图，而右视图的选取，常常把三号步进电机旋转角度完成之后视频信号的某一帧作为右视图。

图像特征提取及匹配：采用GFTT算法对图像特征点进行提取，GFTT算法具体步骤为：

1、计算每个像素点的二阶偏导(I_X)²、(I_y)²、I_xI_y。

2、计算每个像素的二阶矩阵M

其中代表卷积；

3、获得M矩阵对应的两个特征值λ₁和λ₂；

4、选取max(min(λ₁,λ₂))确定最终的角点；

参考文献发现特征点检测算法比较多，而GFTT特征点检测算法在显微环境下得到很好应用给，故采用GFTT算法对特征点进行提取。

特征匹配算法采用SIFT算法，特征匹配SIFT算法采用KD-tree搜索策略，具有较高的匹配精度和较强的鲁棒性。

三维重建：

采用基于特征区域扩张的方法对显微物体进行三维重建，显微物体三维重建是实现三维结构精密测量的关键一步，目前国内外学者已经开发出各种各样的重建技术。其中比较常用的有基于侧影轮廓的方法和基于特征区域扩张的方法，基于侧影轮廓的方法是利用图像中物体轮廓信息来估计物体的形状，其精度主要取决于物体轮廓提取的准确性、获取图像序列的数量以及物体结构的复杂程度，影响因子多，精度不易控制，局限于凸状物体的重建；而基于特征区域扩张的方法主要利用特征点匹配重建空间稀疏点，在通过扩散得到物体表面的稠密点云，该方法无需任何初始信息，操作简单，算法精度仅取决于特征点的匹配，精度控制容易实现故本发明实施例中三维重建算法将采用基于特征区域扩张的方法来实现。

在图2中，显微系统图像获取方法过程，该方法实施过程如下：

首先启动上位机软件，通过上位机软件摄像机进行标定，标定完成之后，对传至PC机(上位机)软件上的视频图像进行去噪，同时观察显微图像是否在视野范围之内，如果显微图像不在视野范围之内，上位机软件通过RS232通信模块向单片机发送控制命令，控制二号步进电机和五号步进电机转动，带动一号平台进行前后及左右位置调整，以实现显微图像在视野中的位置；当显微图像处于视野中，并且处在一个合理的位置时，之后上位机软件通过RS232通信模块向单片机发送控制命令，控制三号步进电机转动，实现一号平台和二号平台倾斜一定角度a；当倾斜角度调整完成之后，执行上位机软件当中自动调焦算法，并根据自动调焦算法计算出的结果实时通过RS232通信模块向单片机发送控制命令，控制四号步进电机转动，实现一号平台、二号平台和三号平台上下位置的调整，从而实现自动调焦；调焦完成之后，选取视频信号中的一帧图像作为左视图，并存储该图像；存储完成之后，上位机软件通过RS232通信模块向单片机发送控制命令，控制一号步进电机转动，实现一号平台旋转一定角度，为了更好的找到左视图对称位置的图像，旋转角度设置为180°；旋转角度完成之后，选取视频信号中的一帧图像作为右视图并存储该图像。之后对以存储的左视图和右视图采用GFTT算法对其特征点进行图像特征点提取，之后再采用SIFT算法对已经提取的图像特征点进行匹配；在特征点匹配完成之后，在上位机软件上执行三维重建操作；三维重建完成之后，上位机软件分别向通过RS232通信模块向单片机发送控制命令，控制一号、二号、三号、四号、五号步进电机转动使之平台回到初始位置。

在图3中，给出了旋转拍照模型，接下来将对基于旋转模型的自动调焦原理进行介绍。在对显微图像调焦时，常常采用基于清晰度评价函数的方法进行调焦，然而在使用基于清晰度评价函数进行调焦时，显微平面都是不倾斜的平面，因为一旦平面倾斜不能聚焦的像素点就会增多，虽然不倾斜的平面在最佳聚焦位置，也不能保证所有的像素点聚焦，但显微物体一般景深都比较小，因此不聚焦的像素点的个数会远远小于聚焦的像素点的个数，所以当显微物体处于最佳聚焦位置时，整体看到的显微图像的清晰程度处于人眼可以接受的范围之内。但当显微平面倾斜时，就相当于间接的拉伸显微物体的景深，显然当显微平台处于最佳聚焦位置时，离焦像素点就会增多。在图1中发现，倾斜平面上的物体在感光器件上的投影，与水平面上的物体在感光器件上的投影有一定的差别，而现有的清晰度评价函数都是针对水平面上的物体进行自动调焦的，因此如果不对倾斜平面投影到感光器件上形成图像的像素做一下处理，那么现有的基于清晰度评价函数的调焦算法就不能使用，自动调焦也就无法实现。

参考文献发现常用的清晰度评价函数有很多种，每种清晰度评价函数都有各自的优缺点，其中Laplacian清晰度评价函数为：

拉普拉斯算子是二阶算子，其定义为：

由二阶导函数的定义可以得到：

则Laplacian函数可以表示为：

如果空间任意位置处p(x,y,z)投影到感光器件上的像素点为f(x,y)，则空间任意位置处p(x,y,z)在竖直方向的投影为p(x,y)，而p(x,y,z)与p(x,y)之间的夹角为倾斜角度a，因此可以间接求出p(x,y)对应的清晰度评价函数为f(x,y)cosθ；之后对二阶导函数的定义做如下修改：

修改后的Laplacian函数可以表示为：

最后把修改后的Laplacian函数作为自动调焦算法的清晰度评价函数；

其中调焦算法采用固定步长与自适应变步长相结合的方法进行调焦。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点，本行业的技术人员应该了解，其中的术语“连接”、“相连”均应作广义理解，可以是机械连接也可以是电连接，可以是固定连接、一体连接也可以是活动连接或可拆卸连接，可以是物理连接也可以是信号连接，可以是直接相连也可以是通过中介媒介间接相连，只要不超出实际的本质连接关系，都应被正常接受的理解，以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的创造性精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。