专利名称：一种基于dmd的结构光显微镜成像方法及系统的制作方法
技术领域：
本发明涉及显微镜的成像方法及系统，具体地说是指一种基于数字微镜器件DMD的结 构光显微镜成像方法及系统。
背景技术：
结构光显微镜，其工作原理是在荧光显微镜基础上增加照明调制功能，产生一组不同 相位的调制光照射在样品上，再通过相移算法从这组不同相位调制的图像数据中提取聚焦 平面的信息，重建出切层图像和三维图像。其图像质量接近于传统的共聚焦激光扫描显微 镜，且结构简单，成像速度快，成本低，在性价比方面具有很大的优势。
在结构光方法中，照明的不稳定性及其空间的不均匀性，照明调制的相移不稳定都会 在重建的切层图像中引入明暗条纹，增加了后期的图像处理难度。目前市场上的结构光显 微镜如0ptiGrid和ApoTome，都是采用光栅作为空间光调制器，由压电陶瓷驱动光栅实 现相移，该方法简单，但不能对照明的稳定性或空间均匀性进行校正，并且容易引起光栅 相移的不稳定性，需要很繁琐的标定，可参照美国专利US7115848B1所述。另外，在结构 光方法中，轴向分辨率越高，要求调制频率越高，因此在使用不同参数的物镜时，要求调 制频率也跟着变化，而光栅的空间频率是固定的，这样，在切换物镜时，需要手动更换合 适频率的光栅(如，0ptiGrid在采用20X/0. 75NA objective物镜时选用的是151p/mm光 栅，在采用60x/1.42NA油浸物镜时选用的是301p/mm光栅)，使用起来比较麻烦。
发明内容
本发明提供一种基于DMD的结构光显微镜成像方法及系统，其主要目的在于克服现有 技术的结构光显微镜成像方法中具有照明不稳定性、空间不均匀性、照明调制的相移不稳 定会在重建的切层图像中引入明暗条纹，增加了后期的图像处理难度的缺点。
本发明采用如下技术方案-
一种基于DMD的结构光显微镜成像方法，包括以下步骤1)通过计算机控制DMD， 改变DMD的各个微镜片的PWM控制寄存器的值，从而改变DMD的各个微镜片的反射强度，从而在DMD的一个第一反射方向得到空间均匀的照明；2)在DMD的一个第二反射方向用 一单元探测器监测光源的变化，再通过计算机根据单元探测器监测到的光源的变化情况实 时地改变DMD的各个微镜片的PWM控制寄存器的值以改变DMD的各个微镜片的反射强度， 从而得到具有时间稳定性的照明；3)将DMD的各个微镜片以若干列为单位分割成多个子 块，通过改变各子块内的各列上的微镜片的反射方向来得到不同相位的调制图像；4)通 过相移算法从不同相位的调制图像数据中提取聚焦平面的信息，得到切层图像数据。
前述一种基于DMD的结构光显微镜成像方法，其DMD的第一反射方向为+12。，所述 DMD的第二反射方向为-12。。
所述步骤l)进一步包括1)建立DMD各微镜片与相机成像像元之间的匹配数学模 型；2)用一个反射系数均匀的切片作为样品，放置在载物台上；3)将DMD的全部微镜片 置为+12"方向且PWM值均置为255，将入射到DMD的光全部反射至显微镜的相机，并触发 相机工作；4)计算机采集图像，找出图像中最暗点；5)以最暗点的灰度值作为基准值， 根据图像数据的灰度值及上述得到的匹配模型调整DMD各个微镜片的PWM值，使得采集图 像的各个像素灰度值与基准值相等。
进一步地，所述建立DMD各微镜片与相机成像像元之间的匹配数学模型进一步包括 1 )通过依次打开各个微镜片并成像来得到各个DMD微镜片与其在相机上成像的对应关系； 2)对相机成像像元的定位采用加权像元定位方法，得到高精度的亚像元定位，亚像元定 位精度公式为
M1=1 >1 Mi=l 乂=1
,'=i 乂=1
其中m、"为目标提取矩形框的长宽尺寸，以像素为单位，、为像素(i，))对应的灰度值，
1'、 y的取值范围分别是i "和i w， &的值为1或0,它以预先选定的阈值为判据， l代表的是目标，0代表的是背景；3) DMD微镜片的坐标系和相机成像像元坐标系的关系 用变换数学模型表示，该变换数学模型考虑了消除光学系统引起的畸变；4)所述变换数
6学模型用一个2次高阶方程式表达为x = aX2 + bXY + cY2 + dX + eY + f ， y = gX2 + hXY + iY2 + jX + kY + 1，其中x, y为相机成像像元坐标系，X， Y为DMD微镜片的坐标系， a， b， c， d, g， f, g， h， i， j, k, 1为2阶方程的12个系数；5)通过用最小二乘法求解2次高阶 方程式，建立DMD微镜片坐标系和相机成像像元坐标系之间的关系。
所述步骤3)得到不同相位的调制图像的过程进一步包括以4列为单位把DMD分割 成多个子块，把每个子块里的4列微镜片分别编号为1、 2、 3、 4，其中编号相邻的两列 微镜片处于同一反射方向，其他两列则处于相反的反射方向，微镜片按编号1和2、 2和 3、 3和4依次处于"+12°"反射方向，同时编号3和4、 l和4、 1和2依次处于"-12°" 反射方向，共形成三种调制图案，分别对应于三种不同的调制相位。
进一步地，所述步骤2)得到具有时间稳定性的照明的过程进一步包括设在每个调 制相位下相机采集的图像数据分别为Dl， D2， D3，单元探测器模数转换后的数据分别记 为R1， R2， R3,以其中任一个为参考记为R，则图像数据经照明稳定性校正后的数据为
<formula>formula see original document page 7</formula>
更进一步地，所述步骤4)得到切层图像数据的过程进一步包括用照明稳定性校正 后的数据Dn'根据相移算法反演切层图像数据O，
<formula>formula see original document page 7</formula>
一种基于DMD的结构光显微镜成像系统，其特征在于包括计算机；显微镜，具有和 计算机连接并受控于该计算机的数码相机和自动载物台；DMD，通过DMD驱动板连接到计 算机并受控于该计算机；光源，其发光经一会聚镜组后成像在一积分棒的一端，积分后从 另一端射出，再经一远心系统放大后，再由一反射镜反射到DMD上；单元探测器，设置于 DMD的-12。反射方向，并通过信号调理和模数转换电路连接到所述计算机；阻挡滤色片组， 设于DMD的+12。反射方向，包括激发滤色片、分色分光镜和阻挡滤色片，所述DMD的+12。 反射方向的反射光经该激发滤色片后由分色分光镜反射到一物镜上，落射在所述自动载物 台上的切片样品，激发切片样品产生的荧光又入射到所述物镜上，再透射过所述分色分光 镜后经所述阻挡滤色片至一成像透镜，经该成像透镜至所述数码相机成像。由上述对本发明结构的描述可知，和现有技术相比，本发明具有如下优点 一，本发 明利用可编程的数字微镜器件DMD作为空间调制器，具有相移稳定的特点，这是因为DMD 的微镜片只是绕自身转轴转动，不会产生平面的位移，因此不需要额外的标定就能确保相 移稳定，实现简单，也避免了因相移不稳引起重建图像的干扰，降低后期图像处理的难度; 二，本发明利用可编程的数字微镜器件DMD作为空间调制器，具有照明调制频率可编程的 特点，可根据不同的物镜自动调整调制频率，无需手动更换空间调制器，使用方便；三, 本发明利用调整数字微镜器件DMD各微镜片的PWM，获得空间均匀的照明，实现简单，避 免了因照明的空间不均匀性引起重建图像的干扰，降低后期图像处理的难度；四，本发明 利用在数字微镜器件DMD的-12。方向上增加照明稳定性的监视子系统以实现+12。方向时间 上的照明稳定性校正，硬件成本低，方法简单有效，避免了因照明的不稳定性引起重建图 像的干扰，降低后期图像处理的难度。
图1为本发明的系统结构示意图2为本发明的控制框图3-a和图3-b为DMD及其在相机上成像图像的一一对应关系示意图； 图4为DMD微镜片坐标系和相机成像像元坐标系之间的关系示意图； 图5为用DMD实现空间上均匀性校正原理示意图； 图6为用DMD实现时间上稳定性校正原理示意图； 图7为DMD的微镜片编码； 图8-a至图8-c为DMD产生的调制图案示意图。
具体实施例方式
下面参照
本发明的具体实施方式
。
基于DMD的结构光显微镜成像系统如图1所示，光源1 (如汞灯)经过会聚镜组2后 成像在积分棒3的一端，积分后从另一端射出，再经包括透镜401、光闺402和透镜403 的远心系统4放大后，由反射镜5反射到DMD6上，实现积分棒3端面尺寸和DMD的匹配。 DMD的+12"反射方向的光先经过管镜8，再经过阻挡滤色片组9的激发滤色片901后，经分色分光镜902反射至物镜10,落射在自动载物台12的切片样品11上，激发样品产生 的荧光又入射至物镜10后，从分色分光镜902透射至胆挡滤色片903，再由成像透镜14 成像至相机15的面阵探测器感光面上。而DMD6的-12°反射方向的光经会聚透镜16后入 射到单元探测器17上。
本发明的控制系统如图2所示，数码相机15通过信号线连接至计算机19,由计算机 19来控制数码相机15进行图像的采集；单元探测器17经信号调理和模数转换电路18连 接至计算机19，由计算机19控制单元探测器17与数码相机15同步工作；计算机19通 过DMD驱动板7控制DMD 6,调整DMD 6的PWM值以在DMD 6的+12°反射方向上产生空间 均匀的照明，并产生结构光方法中所需的调制图案；同时计算机19通过运动控制卡13 与自动载物台12相连，控制自动载物台12的轴向位移，以实现样品ll在不同深度处断 面的切层成像。
图3-a为打开其中17个微镜片的DMD示意图，亮点表示微镜片处于"+12°"反射方 向，图3.b为打开17个微镜片的DMD在数码相机上的成像图像，可以依次打开DMD这17 个微镜片并成像，确定DMD 6和数码相机15的成像像元之间一一对应关系，两图中用相 同的序号来表示一一它们对应关系。
图4为DMD头6的微镜片坐标系和数码相机15的成像像元的坐标系的关系示意图， 在建立DMD微镜片坐标和相机成像像元坐标之间一一对应关系之后，对相机成像像元的定 位采用加权像元定位方法，进一步得到高精度的亚像元定位，为了消除光学系统引起的畸 变，用一个2次高阶方程式的数学模型表示DMD微镜片坐标系和相机成像像元坐标系之间 的关系。
图5为用DMD 6实现空间均匀性校正的原理示意图，为方便说明，假设DMD6只有4 个微镜片，从光源1接收到的光强分别为60i、 50i、 55i和58i，要保持数据相机15接 收到均匀的照明，则以最低值50i为基准，调整各个微镜片PWM值分别为213、 255、 232 和220,这样即可保证数码相机15从DMD6的各个微镜片接收到的照明都是50i，也就是 空间均匀的照明。
图6为用DMD 6实现时间上稳定性校正原理示意图，假设因为光源1不稳定使得DMD 6
9接收到的光强增大到原来的1.1倍，则DMD 6的各个微镜片接收到的光强分别变为66i、 55i、 60. 5i和63. 8i，反射至+12°方向的光强和反射至_12°方向的光强也同时增大1.1倍， 将此时数码相机15采集的图像数据除以1.1，即可获得等效在50i照明下采集的图像数 据，等效于数码相机15是在稳定照明下采集图像数据。
图7为DMD6的微镜片编码示意图，以4列为单位把DMD 6分割成多个子块，把每个 子块里的4列微镜片分别编号为1、 2、 3、 4，从而把DMD 6的所有微镜片按空间位置分 成4类微镜片l、微镜片2、微镜片3和微镜片4。
图8-a至图8-c为DMD 6产生的三种调制图案示意图，亮条表示DMD 6的微镜片处于 "+12。"反射方向，暗条表示DMD 6的微镜片处于"-12°"反射方向，在DMD 6产生调制 图案时，其中编号相邻的两列微镜片处于同一反射方向，其他两列则处于相反的反射方向， 如l、 2列处于"+12°"反射方向时(PWM保持空间均匀性校正后的值)，其他两列3、 4列 则处于"-12°"反射方向(PWM置为0)，以此类推，微镜片按编号l、 2列，2、 3列，3、 4列依次处于"+12。"反射方向，同时编号3、 4列，1、 4列，1、 2列依次处于"-12°"反 射方向，共有3种调制图案。图8.a、 8.b和8.c分别对应于3种不同的调制相位时的调 制图案。
上述基于DMD的结构光显微镜成像系统的成像方法，包括
第一、DMD产生空间均匀照明的方法，通过改变DMD6对应的微镜片区域的脉宽调制 PWM以在DMD 6的+12°反射方向获得空间均匀的照明，具体步骤如下
1)建立DMD微镜片与相机成像像元的匹配数学模型，其具体步骤如下
① 通过依次打开DMD 6的各个微镜片并成像来得到DMD微镜片与相机成像像元的对应 关系；
② 对数码相机15的成像像元的定位采用加权像素元定位方法，得到高精度的亚像元 定位，亚像元定位精度公式为
附"1 >1
10<formula>formula see original document page 11</formula>其中m、"为目标提取矩形框的长宽尺寸，以像素为单位，、为像素(i'，y)对应的灰度值，1'、
的取值范围分别是l "和l m, ^的值为1或0，它以预先选定的阈值为判据，l代表的 是目标，0代表的是背景。
③ DMD 6的微镜片的坐标系和数码相机15的成像像元坐标系的关系通过变换数学模型
表示，该数学模型考虑了消除光学系统引起的畸变；
④ 上述数学模型用一个2次高阶方程式表达为
x = aX2 + bXY + cY2 + dX + eY + f y = gX2 + hXY + iY2 + jX + kY + 1 其中x， y为相机成像像元坐标系，X， Y为DMD微镜片的坐标系， a， b, c, d， g， f， g, h, i, j， k, 1为2阶方程的12个系数；
⑤ 通过用最小二乘法求解2次高阶方程式的12个系数，从而建立DMD微镜片坐标系 和相机成像像元坐标系之间的关系。
2) 用一个反射系数均匀的切片作为样品，放置在载物台上。
3) 将DMD 6的全部微镜片置为+12。方向且不进行脉宽调制(PWM置为255)，将入射 到DMD 6的光全部反射至显微镜的数码相机15，并触发数码相机15工作。
4) 计算机19采集数码相机19的成像图像，找出图像中最暗点。
5) 计算机19以最暗点的灰度值作为基准值，根据匹配模型调整DMD6各个微镜片的 PWM值，使得采集图像的各个像素灰度值与基准值相等，即可获得空间上均匀的照明，DMD 6的PWM控制寄存器为8bits,理论上空间均匀性可以达到0. 4% (即1/255)。
第二、建立DMD 6产生不同相位的调制光照射方法
以4列为单位把DMD 6分割成多个子块，把每个子块里的4列微镜片分别编号为1、 2、 3、 4，从而把DMD 6的所有微镜片按空间位置分成4类微镜片1、微镜片2、微镜片3和微镜片4，在DMD 6产生调制图案时，其中编号相邻的两列微镜片处于同一反射方向， 其他两列则处于相反的反射方向，如l、 2列处于"+12°"反射方向时(PWM保持空间均匀 性校正后的值)，其他两列3、 4列则处于"-12°"反射方向(PWM置为0)，以此类推， 微镜片按编号l、 2列，2、 3列，3、 4列依次处于"+12°"反射方向，同时编号3、 4列， 1、 4列，1、 2列依次对应处于"-12°"反射方向，共有3种调制图案，分别对应于3种 不同的调制相位；这些调制图案对照明调制后照射在自动载物台12的切片样品11上，由 于切片样品11和DMD6是关于物镜共轭的，因此切片样品ll将被调制，在每种调制状态 下触发数码相机15工作，计算机19同时采集数码相机15获得的图像数据。 第三、建立DMD实现时间上的光照明稳定性的校正方法
经过空间均匀性校正后，在DMD6的两个反射方向即+12"和-12°方向的反射系数是确 定的，当照明发生变化时，这两个方向的光强都会同比例的跟着改变，因此-12。方向的光 强变化可以反映+12°方向的光强变化情况，在_12°方向放置一个由会聚透镜16和单元探 测器17组成的监视子系统，以监视+12°方向的光强变化情况，该单元探测器17和数码相 机15是同步工作的，其输出信号由计算机19采集后对数码相机15获得的图像数据进行 稳定性校正，具体校正方法如下设在每个调制相位下相机采集的图像数据分别为Dl、 D2、 D3,单元探测器17的信号经模数转换后的数据分别记为R1、 R2、 R3，以其中一个作 为参考记为R (可以在R1， R2， R3中任选一个)，则图像数据经照明稳定性校正后的数据
为<formula>formula see original document page 12</formula>
第四、用照明稳定性校正后的数据Dn'根据相移算法反演切层图像数据O:
<formula>formula see original document page 12</formula>
第五、通过计算机19控制改变自动载物台12的轴向位置，再重复上述第二、三、四 的步骤，可以实现样品不同深度处断面的切层图像。
上述DMD为数字微镜器件的英文縮写，数字微镜器件是一种现有技术。P冊值是指脉 宽调制值。数码相机15和自动载物台12是自动显微镜的组成部分，与计算机19相连并受控于计算机19。
上述仅为本发明的具体实施方式
，但本发明的设计构思并不局限于此，凡利用此构思 对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
权利要求
1、一种基于DMD的结构光显微镜成像方法，包括以下步骤1)通过计算机控制DMD，改变DMD的各个微镜片的PWM控制寄存器的值，从而改变DMD的各个微镜片的反射强度，从而在DMD的一个第一反射方向得到空间均匀的照明；2)在DMD的一个第二反射方向用一单元探测器监测光源的变化，再通过计算机根据单元探测器监测到的光源的变化情况实时地改变DMD的各个微镜片的PWM控制寄存器的值以改变DMD的各个微镜片的反射强度，从而得到具有时间稳定性的照明；3)将DMD的各个微镜片以若干列为单位分割成多个子块，通过改变各子块内的各列上的微镜片的反射方向来得到不同相位的调制图像；4)通过相移算法从不同相位的调制图像数据中提取聚焦平面的信息，得到切层图像数据。
2、 如权利要求1所述的一种基于DMD的结构光显微镜成像方法，其特征在于所述DMD 的第一反射方向为+12° ，所述0\ )的第二反射方向为-12° 。
3、 如权利要求2所述的一种基于DMD的结构光显微镜成像方法，其特征在于所述步骤1) 进一步包括1) 建立DMD各微镜片与相机成像像元之间的匹配数学模型；2) 用一个反射系数均匀的切片作为样品，放置在载物台上；3) 将DMD的全部微镜片置为+12"方向且PWM值均置为255，将入射到DMD的光全部反 射至显微镜的相机，并触发相机工作；4) 计算机采集图像，找出图像中最暗点；5) 以最暗点的灰度值作为基准值，根据图像数据的灰度值及上述得到的匹配模型调整 DMD各个微镜片的PWM值，使得采集图像的各个像素灰度值与基准值相等。
4、 如权利要求3所述的一种基于DMD的结构光显微镜成像方法，其特征在于所述建立DMD 各微镜片与相机成像像元之间的匹配数学模型进一步包括1) 通过依次打开各个微镜片并成像来得到各个DMD微镜片与其在相机上成像的对应 关系；2) 对相机成像像元的定位采用加权像元定位方法，得到高精度的亚像元定位，亚像元定位精度公式为<formula>formula see original document page 3</formula>其中/n、"为目标提取矩形框的长宽尺寸，以像素为单位，^为像素(i，力对应的灰度值，1'、 7'的取值范围分别是l "和l m， ^的值为1或0，它以预先选定 的阈值为判据，l代表的是目标，0代表的是背景；3) DMD微镜片的坐标系和相机成像像元坐标系的关系用变换数学模型表示，该变换数 学模型考虑了消除光学系统引起的畸变；4) 所述变换数学模型用一个2次高阶方程式表达为 x = aX2 + bXY + cY2 + dX + eY + fy = gX2 + hXY + iY2 + jX + kY + 1其中x， y为相机成像像元坐标系，X， Y为DMD微镜片的坐标系， a， b， c, d, g, f， g, h, i, j, k, 1为2阶方程的12个系数；5) 通过用最小二乘法求解2次高阶方程式，建立DMD微镜片坐标系和相机成像像元 坐标系之间的关系。
5、 如权利要求2所述的一种基于DMD的结构光显微镜成像方法，其特征在于所述步骤3) 进一步包括以4列为单位把DMD分割成多个子块，把每个子块里的4列微镜片分别 编号为l、 2、 3、 4,其中编号相邻的两列微镜片处于同一反射方向，其他两列则处于 相反的反射方向，微镜片按编号1和2、 2和3、 3和4依次处于"+12°"反射方向， 同时编号3和4、 l和4、 l和2依次处于"-12°"反射方向，共形成三种调制图案， 分别对应于三种不同的调制相位。
6、 如权利要求5所述的一种基于DMD的结构光显微镜成像方法，其特征在于所述步骤2) 得到具有时间稳定性的照明的过程进一步包括设在每个调制相位下相机采集的图像 数据分别为D1， D2， D3,单元探测器模数转换后的数据分别记为Rl, R2， R3，以其中任一个为参考记为R，则图像数据经照明稳定性校正后的数据为RDn'=——*Dn。 Rn
7、 如权利要求6所述的一种基于DMD的结构光显微镜成像方法，其特征在于所述步骤4) 得到切层图像数据的过程进一步包括用照明稳定性校正后的数据Dn'根据相移算法 反演切层图像数据0,O = 0.707*V(Dl'-D2')2 + (D2'-D3')2 。
8、 一种基于DMD的结构光显微镜成像系统，其特征在于包括计算机；显微镜，具有和计算机连接并受控于该计算机的数码相机和自动载物台； DMD，通过DMD驱动板连接到计算机并受控于该计算机；光源，其发光经一会聚镜组后成像在一积分棒的一端，积分后从另一端射出，再 经一远心系统放大后，再由一反射镜反射到DMD上；单元探测器，设置于DMD的-12°反射方向，并通过信号调理和模数转换电路连接 到所述计算机；阻挡滤色片组，设于DMD的+12。反射方向，包括激发滤色片、分色分光镜和阻挡 滤色片，所述DMD的+12°反射方向的反射光经该激发滤色片后由分色分光镜反射到一 物镜上，落射在所述自动载物台上的切片样品，激发切片样品产生的荧光又入射到所 述物镜上，再透射过所述分色分光镜后经所述阻挡滤色片至一成像透镜，经该成像透 镜至所述数码相机成像。
全文摘要
一种基于DMD的结构光显微镜成像方法及系统，包括通过计算机控制DMD，改变DMD的各个微镜片的反射强度，从而在DMD的一个第一反射方向得到空间均匀的照明；在DMD的一个第二反射方向用一单元探测器监测光源的变化，再通过计算机根据单元探测器监测到的光源的变化情况实时地改变DMD的各个微镜片的反射强度，从而得到具有时间稳定性的照明；将DMD的各个微镜片以若干列为单位分割成多个子块，通过改变各子块内的各列上的微镜片的反射方向来得到不同相位的调制图像；通过相移算法从不同相位的调制图像数据中提取聚焦平面的信息，得到切层图像数据。本发明具有照明时间稳定性、空间均匀性、照明调制频率自动调整等优点。
文档编号G02B21/36GK101655601SQ200810071628
公开日2010年2月24日 申请日期2008年8月22日 优先权日2008年8月22日
发明者倩 肖, 进 陈, 陈木旺 申请人:麦克奥迪实业集团有限公司