一种结构光照明超分辨显微成像系统及其成像方法与流程

文档序号:12451106阅读:614来源:国知局

本发明涉及光学显微成像技术,具体涉及一种结构光照明超分辨显微成像系统及其成像方法。



背景技术:

超分辨光学显微技术利用对荧光发射在空间或时间上的调制,实现了突破光学衍射极限的显微成像。结构光照明超分辨显微成像技术(Structure Illumination Microscopy,SIM),是在宽场荧光显微的基础上,利用特殊调制的结构光照明样品,运用特定算法从调制图像中提取高频信息,突破衍射极限的限制。

二维SIM的常规重建方法需要至少9张原始图像。该重建方法由Gustafsson提出[1],在每一个照明方向取3个不同的初相位值,获得3幅原始图像,通过解线性方程组得到频域中的高频成分;为保证在各个方向上分辨率均得到2倍提升,通常照明条纹需选取3个不同方向,也就是说总共需要9张原始图像。另外Heintzmann和Cremer提出了一种四相位重构方法,计算量小,但在每一方向的照明条纹需要获取4幅原始图像,且对照明条纹的初相位取值精度的要求较高,因而并不常用[2]。有一些新方法可以将重建所需的图像数量降低,最低可至到4张[3,4],但这些方法基于空间域的迭代,而非传统方法中的频域求解,既有可能产生更多的伪像,也未能提供迭代一定收敛的理论解释。并且这些降低所需图像数量的方法,对结构光位相的精度要求更高。而从系统搭建的角度看,利用光栅来产生照明条纹时,需用机械的方式来控制光栅平移,造成速度和精度的牺牲。



技术实现要素:

针对以上现有技术中存在的问题,本发明提出了一种结构光照明超分辨显微成像方法及配套成像系统;本发明的成像方法能有效降低需要的原始图像数量,且能只需旋转照明条纹,不需平移。

本发明的一个目的在于提出一种结构光照明超分辨显微成像系统。

本发明的结构光照明超分辨显微成像系统包括:照明光源、旋转结构光生成器、第一会聚透镜、分光镜、物镜、载物台、样品、第二会聚透镜、数字成像设备和计算机;其中,数字成像设备通过数据线连接至计算机;照明光源发出激发光;激发光经旋转结构光生成器发生衍射;衍射的激发光经第一会聚透镜会聚后,经二向色镜,由物镜聚焦,照射在放置在载物台上的样品上,形成结构光条纹;样品在结构光条纹的激发下发射荧光;荧光经物镜聚焦后,经二向色镜后,再经第二会聚透镜会聚,由数字成像设备采集荧光,并将光信号转换成电信号后传输至计算机;计算机形成原始图像;旋转样品上的结构光条纹至新的角度,在每一个角度上分别采集形成一幅原始图像,形成4幅以上或3幅的原始图像;通过成像图像重建算法处理原始图像,得到样品的超分辨图像。

旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器。如果旋转结构光生成器采用光栅,则将光栅或者放置样品的载物台设置在旋转装置上,旋转装置以光轴为旋转轴,带动光栅或载物台能够360°旋转,从而带动光栅与样品之间发生相对角度变化,使得样品上的结构光条纹旋转至新的角度;如果旋转结构光生成器采用数字微镜阵列或空间光调制器,通过数字方式生成光条纹产生角度变化,使得样品上的结构光条纹旋转至新的角度。

照明光源采用激光光源、LED光源或汞灯光源。

分光镜采用二向色镜或半透半反镜。

本发明的另一个目的在于提供一种结构光照明超分辨显微成像方法。

为获得传统的各向均一的2倍分辨率提升,理论上原始图像数量可以从传统方法的9幅减少至4幅;进一步减少原始图像数量至3幅,理论上可获得各向均一的1.5倍左右的分辨率提升。

本发明的结构光照明超分辨显微成像方法,原始图像不少于4幅,包括以下步骤:

1)激发光经旋转结构光生成器发生衍射,衍射的激发光经第一会聚透镜会聚后,经二向色镜,由物镜聚焦,照射在放置在载物台上的样品上,形成结构光条纹;样品在结构光条纹的激发下发射荧光,荧光经物镜聚焦后,经二向色镜后,由第二会聚透镜会聚,由数字成像设备采集荧光,并将光信号转换成电信号后传输至计算机,计算机形成原始图像;

2)旋转样品上的结构光条纹至新的角度,重复步骤1),在每个角度采集形成一幅原始图像,直至在M个不同的角度下形成M幅原始图像,M≥4;

3)将每一幅原始图像进行离散傅里叶变换,获得各幅原始图像的频谱Dn,其中Dn为第n张原始图像的频谱,n=1,2,……,M,M≥4;

4)计算每幅原始图像对应的结构光条纹的方向和相位,根据结构光条纹的方向和相位计算得到结构光条纹的频谱In,其中In为第n个结构光条纹的频谱;

5)样品的超分辨图像的频谱S,结构光照明超分辨显微成像系统的光学传递函数(OTF)H,结构光条纹的频谱In和原始图像的频谱Dn满足下式:

其中为卷积,·为点乘;从上式得到,各幅原始图像的频谱Dn在各个像素上的值,均是超分辨图像的频谱S的多个像素的值的线性组合,其系数由In和H决定;故将上述公式改写为下述线性方程组:

d=Ms

其中,向量d是所有原始图像的频谱的各个像素的值,一维向量s是样品的超分辨图像的频谱的各个像素的值,M是构造得到的稀疏卷积矩阵;

6)解上述线性方程组得到向量s,将一维向量s重排得到二维的样品的超分辨图像的频

谱,然后通过傅里叶逆变换得到样品的超分辨图像。

其中,在步骤2)中,旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器;如果旋转结构光生成器采用光栅,则将光栅或者放置样品的载物台设置在旋转装置上,旋转装置以光轴为旋转轴,带动光栅或载物台能够360°旋转,从而带动光栅与样品之间发生相对角度变化,使得样品上的结构光条纹旋转至新的角度;如果旋转结构光生成器采用数字微镜阵列或空间光调制器,通过数字方式生成光条纹产生角度变化,使得样品上的结构光条纹旋转至新的角度。

本发明的结构光照明超分辨显微成像方法,原始图像为3幅,包括以下步骤:

1)激发光经旋转结构光生成器发生衍射,衍射的激发光经第一会聚透镜会聚后,经二向色镜,由物镜聚焦,照射在放置在载物台上的样品上,形成结构光条纹;样品在结构光条纹的激发下发射荧光,荧光经物镜聚焦后,经二向色镜后,由第二会聚透镜会聚,由数字成像设备采集荧光,并将光信号转换成电信号后传输至计算机,计算机形成原始图像;

2)旋转样品上的结构光条纹至新的角度,重复步骤1),在每个角度采集形成一幅原始图像,直至在3个不同的角度下形成3幅原始图像;

3)将每一幅原始图像进行离散傅里叶变换,获得各幅原始图像的频谱Dn,其中Dn为第n张原始图像的频谱,n=1,2,3;

4)计算每幅原始图像对应的结构光条纹的方向和相位,根据结构光条纹的方向和相位计算得到结构光条纹的频谱In,其中In为第n个结构光条纹的频谱;

5)样品的超分辨图像的频谱S,结构光照明超分辨显微成像系统的光学传递函数(OTF)H,结构光条纹的频谱In和原始图像的频谱Dn满足下式:

其中为卷积,·为点乘;从上式得到,各幅原始图像的频谱Dn在各个像素上的值,均是超分辨图像的频谱S的多个像素的值的线性组合,其系数由In和H决定;故将上述公式改写为下述线性方程组:

d=Ms

其中,向量d是所有原始图像的频谱的各个像素的值,一维向量s是样品的超分辨图像的频谱的各个像素的值,M是构造得到的稀疏卷积矩阵;

6)解上述线性方程组得到向量s,将一维向量s重排得到二维的样品的超分辨图像的频

谱,然后通过傅里叶逆变换得到样品的超分辨图像。

其中,在步骤2)中,旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器;如果旋转结构光生成器采用光栅,则将光栅或者放置样品的载物台设置在旋转装置上,旋转装置以光轴为旋转轴,带动光栅或载物台能够360°旋转,从而带动光栅与样品之间发生相对角度变化,使得样品上的结构光条纹旋转至新的角度。如果旋转结构光生成器采用数字微镜阵列或空间光调制器,通过数字方式生成光条纹产生角度变化,使得样品上的结构光条纹旋转至新的角度。

本发明的优点:

本发明通过成像图像重建算法处理原始图像,只需要旋转4次结构光条纹,不需要相位平移即可实现超分辨;成像图像重建算法基于频域处理而非空间域处理;样品的超分辨图像的频谱的过程,与传统频域方法不同,并非逐个结构光方向进行解析,而是将所有方向合并进行解析;为获得传统的各向均一的2倍分辨率提升,理论上原始图像数量可以从传统方法的9幅减少至4幅;进一步减少原始图像数量至3幅,理论上可获得各向均一的1.5倍左右的分辨率提升。

附图说明

图1为本发明的结构光照明超分辨显微成像系统的一个实施例的示意图。

具体实施方式

下面结合附图,通过具体实施例,进一步阐述本发明。

如图1所示,本实施例的结构光照明超分辨显微成像系统包括:照明光源1、旋转结构光生成器2、旋转装置3、第一会聚透镜4、二向色镜6、物镜7、载物台8、样品、第二会聚透镜9和数字成像设备10;其中,旋转结构光生成器2采用光栅,设置在旋转装置3上,以光轴为旋转轴,旋转装置带动光栅能够360°旋转,旋转角度不固定;照明光源1发出激发光;激发光经光栅发生衍射;衍射的激发光经第一会聚透镜4会聚后,经二向色镜6透射,由物镜7聚焦,照射在放置在载物台8上的样品上,形成结构光条纹;样品在激发光的激发下发射荧光;荧光经物镜7聚焦后,经二向色镜6反射后,由第二会聚透镜会聚,由数字成像设备采集形成原始图像。

本实施例的结构光照明超分辨显微成像方法,包括以下步骤:

1)激发光经旋转结构光生成器发生衍射,衍射的激发光经第一会聚透镜会聚后,经二向色镜,由物镜聚焦,照射在放置在载物台上的样品上,形成结构光条纹;样品在结构光条纹的激发下发射荧光,荧光经物镜聚焦后,经二向色镜后,由第二会聚透镜会聚,由数字成像设备采集荧光,并将光信号转换成电信号后传输至计算机,计算机形成原始图像;

2)通过旋转装置带动光栅旋转至新的角度,从而使得样品上的结构光条纹至新的角度,重复步骤1),在每个角度采集形成一幅原始图像,直至在M个不同的角度下形成M幅原始图像,M≥4;

3)将每一幅原始图像进行离散傅里叶变换,获得各幅原始图像的频谱Dn,其中Dn为第n张原始图像的频谱,n=1,2,……,M;

4)计算每幅原始图像对应的结构光条纹的方向和相位,根据结构光条纹的方向和相位计算得到结构光条纹的频谱In,其中In为第n个结构光条纹的频谱;

5)样品的超分辨图像的频谱S,结构光照明超分辨显微成像系统的光学传递函数(OTF)H,结构光条纹的频谱In和原始图像的频谱Dn满足下式:

其中为卷积,·为点乘;从上式得到,各幅原始图像的频谱Dn在各个像素上的值,均是超分辨图像的频谱S的多个像素的值的线性组合,其系数由In和H决定;故将上述公式改写为下述线性方程组:

d=Ms

其中,向量d是所有原始图像的频谱的各个像素的值,一维向量s是样品的超分辨图像的频谱的各个像素的值,M是构造得到的稀疏卷积矩阵;

6)解上述线性方程组得到向量s,将一维向量s重排得到二维的样品的超分辨图像的频

谱,然后通过傅里叶逆变换得到样品的超分辨图像。

最后需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

参考文献:

1.Gustafsson,M.G.,et al.,Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination.Biophysical Journal,2008.94(12):p.4957-4970.

2.Heintzmann,R.and C.G.Cremer,Lateral modulated excitation microscopy:Improvement of resolution by using a diffraction grating.Proceedings of SPIE-The International Society for Optical Engineering,1999.3568(8442):p.1399–1400.

3.Dong,S.,et al.,Resolution doubling with a reduced number of image acquisitions.Biomed Opt Express,2015.6(8):p.2946-52.

4.Orieux,F.,et al.,Bayesian estimation for optimized structured illumination microscopy.IEEE Trans Image Process,2012.21(2):p.601-14.

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1