一种超快时间分辨率和低激发阈值多光子荧光显微成像系统的制作方法

本发明涉及激光脉冲整形和计算光学成像技术领域，尤其是一种超快时间分辨率和低激发阈值多光子荧光显微成像系统。

背景技术：

多光子荧光显微镜在物理上，与一般的单光子荧光过程本质上的不同是，多光子荧光激发就是一个荧光分子同时吸收两个或两个以上的长波长光子，激发出一个满足能量守恒和动量守恒的短波长光子。因此，多光子荧光技术相较于普通单光子技术对于生物荧光显微成像具有许多突出的优点——穿透深度深、分辨率高、信噪比高。但是，由于n个光子激发过程是一个非线性物理过程，荧光效率和荧光强度正比于激光脉冲峰值功率的n阶次方。因此过高能量的激光脉冲会破坏生物组织样品，过低的脉冲能量无法达到激发阈值，导致无法产生多光子荧光或者信噪比极低。因此，在目前的多光子荧光显微镜中，激发阈值和损伤阈值相互矛盾，限制了多光子荧光显微镜的发展。

随着近年来激光器的高速发展，飞秒激光器产生飞秒脉冲，具备超短脉冲、超高能量、宽频谱等特点。因此，基于红外波段飞秒激光的多光子荧光显微技术，除了具备多光子荧光显微的特点，还具有高峰值功率、低热效应、多个激发通道等优势。飞秒脉冲整形技术是基于飞秒脉冲啁啾技术，利用空间光调制器对飞秒脉冲进行频域尺度上的强度和相位调制，从而实现对飞秒脉冲的时域形状的调制。基于多光子激发过程的相位匹配原理，通过脉冲整形技术可以实现在光学手段上对多光子激发过程进行调控。

随着生命科学的发展，为了更好地研究生命过程，人们需要一种有效的光学显微成像技术对生物体内的过程实时观测。由于荧光寿命显微镜（flurescencelifetimeimagingmicroscopy,flim）其在检测细胞活动时拥有专一性和敏感性的特点，flim技术目前在生物医学、材料科学、化学以及其他相关领域里正快速发展和应用推广。例如，用于研究蛋白质之间的相互作用、新陈代谢状态、药物作用的监测和分析、表征新材料、诊断早期癌症。从这些应用可以看出，在尽可能短的采样时间内获取所需flim数据是一个重要的课题。与单张相片拍摄不同，视频采样是一个对于三维时空连续测量的采样过程。由于视频成像的过程信息量庞大，电子器件的信息传输物理极限极大地限制了视频连续采样过程的重复频率，这对于扫描式的荧光寿命显微镜flim在连续拍摄上带了极大的挑战。因此，为了确保荧光寿命视频中每帧荧光寿命图的荧光寿命信息的同时性，或者说，为了确保单帧荧光寿命图的像素间的时延较低，利用单脉冲进行荧光寿命测量是目前很有潜力的发展方向。

随着计算科学和信息论的发展，压缩感知理论的出现，打破了传统的奈奎斯特采样定律，人们可以通过在采样的过程同时进行编码压缩，然后通过计算机算法对少量数据进行重构还原出完整的信号。结合了这种压缩感知采样理论的计算显微成像技术，能够突破传统相机直接成像所受到的器件限制，实现高于cmos器件速率的超快成像速度。

技术实现要素：

本发明的目的是针对现有技术的不足而提供的一种超快时间分辨率和低激发阈值多光子荧光显微成像系统，本发明通过飞秒激光器及自适应飞秒脉冲整形模块获得时域整形后的目标飞秒脉冲，并由荧光显微成像模块获得荧光显微信号，

由压缩感知超快成像模块生成稀疏编码二维数字图像数据，并由计算通信模块对稀疏编码二维数字图像数据进行目标信号重构。本发明通过自适应激光脉冲整形系统来控制飞秒激光器产生的飞秒脉冲中不同光谱的相位延迟，使得激发光脉冲和样品荧光标记物的多光子荧光各个过程之间满足需要的相位匹配关系，从而实现在较低的激光脉冲峰值功率下获得较高的多光子荧光效率，达到低激发阈值荧光成像的目的。然后，样品的荧光信号通过荧光显微成像模块放大成像到压缩感知超快成像模块中，在压缩感知超快成像模块中进行物理上的荧光信息稀疏编码和信号采集。最后，通过压缩感知重构算法，就可以实现将压缩感知超快成像模块中采集到的时域曝光卷积后的单张二维数字图像信号解卷积成包含荧光变化信息的三维数字视频信号。本发明中在传统的非线性多光子荧光显微成像转置中引入了飞秒激光脉冲整形系统、压缩感知超快成像系统，从而实现了一种同时拥有超快时间分辨能力、低多光子激发阈值特性的单脉冲荧光显微成像系统。本发明克服了传统多光子荧光寿命显微镜受限于激发阈值、激发效率和光电转换速度等因素，所导致的成像速度低和荧光寿命测量精度低的缺点，实现了荧光寿命超快时间分辨率、低激发阈值的多光子荧光显微成像。

实现本发明目的的具体技术方案是：

一种超快时间分辨率和低激发阈值多光子荧光显微成像系统，其特点包括飞秒激光器、自适应飞秒脉冲整形模块、荧光显微成像模块、压缩感知超快成像模块及计算通信模块；

所述自适应飞秒脉冲整形模块由第一反射镜、第一光栅、第一柱透镜、空间光调制器、第二柱透镜、第二光栅、第二反射镜及第三反射镜构成并依次光路连接；

所述荧光显微成像模块由二向色镜、显微物镜、样品台及第一透镜组构成，所述二向色镜将光路分为两路，一路与第一透镜组光路连接，另一路与显微物镜及样品台依次光路连接；

所述压缩感知超快成像模块由分束立方体、第二透镜组、数字微镜阵列、第三透镜组、条纹相机及cmos相机构成，所述分束立方体将光路分为两路，一路与第二透镜组及数字微镜阵列依次光路连接，另一路与第三透镜组、条纹相机及cmos相机依次光路连接；

所述计算通信模块由计算机及脉冲延时器构成；所述计算机与脉冲延时器之间电子通信连接；

所述飞秒激光器与自适应飞秒脉冲整形模块的第一反射镜光路连接；

所述自适应飞秒脉冲整形模块的第三反射镜与荧光显微成像模块的二向色镜光路连接；

所述荧光显微成像模块的第一透镜组与压缩感知超快成像模块的分束立方体光路连接；

所述飞秒激光器、自适应飞秒脉冲整形模块的空间光调制器、压缩感知超快成像模块的数字微镜阵列、条纹相机及cmos相机分别与计算通信模块的计算机电子通信连接。

所述飞秒激光器、压缩感知超快成像模块的条纹相机及cmos相机分别与计算通信模块的脉冲延时器电子通信连接。

所述飞秒激光器、空间光调制器、cmos相机及计算机构成自适应脉冲整形闭环控制系统。

所述飞秒激光器、条纹相机、cmos相机及脉冲延时器构成同步系统。

所述第一柱透镜与第一光栅的光学距离为第一柱透镜的前焦距，

所述空间光调制器与第一柱透镜的光学距离为第一柱透镜的后焦距。

所述第二柱透镜与空间光调制器的光学距离为第二柱透镜的前焦距。

所述第二光栅与第二柱透镜的光学距离为第二柱透镜的后焦距。

本发明通过飞秒激光器及自适应飞秒脉冲整形模块获得时域整形后的目标飞秒脉冲，并由荧光显微成像模块获得荧光显微信号，由压缩感知超快成像模块生成稀疏编码二维数字图像数据，并由计算通信模块对稀疏编码二维数字图像数据进行目标信号重构。本发明通过自适应激光脉冲整形系统来控制飞秒激光器产生的飞秒脉冲中不同光谱的相位延迟，使得激发光脉冲和样品荧光标记物的多光子荧光各个过程之间满足需要的相位匹配关系，从而实现在较低的激光脉冲峰值功率下获得较高的多光子荧光效率，达到低激发阈值荧光成像的目的。然后，样品的荧光信号通过荧光显微成像模块放大成像到压缩感知超快成像模块中，在压缩感知超快成像模块中进行物理上的荧光信息稀疏编码和信号采集。最后，通过压缩感知重构算法，就可以实现将压缩感知超快成像模块中采集到的时域曝光卷积后的单张二维数字图像信号解卷积成包含荧光变化信息的三维数字视频信号。本发明中在传统的非线性多光子荧光显微成像转置中引入了飞秒激光脉冲整形系统、压缩感知超快成像系统，从而实现了一种同时拥有超快时间分辨能力、低多光子激发阈值特性的单脉冲荧光显微成像系统。本发明克服了传统多光子荧光寿命显微镜受限于激发阈值、激发效率和光电转换速度等因素，所导致的成像速度低和荧光寿命测量精度低的缺点，实现了荧光寿命超快时间分辨率、低激发阈值的多光子荧光显微成像。

附图说明

图1为本发明的结构示意图：

图2为飞秒激光器整形前的飞秒脉冲的光谱、时域分布示意图；

图3为自适应飞秒脉冲整形模块的激光传播过程示意图；

图4为飞秒激光器整形前的飞秒脉冲与加载的pai相位调制的光谱分布示意图；

图5为整形前的飞秒脉冲、pai相位调制的目标飞秒脉冲及最优荧光激发效率曲线的目标飞秒脉冲的时域分布示意图；

图6为荧光激发效率曲线的对比示意图；

图7为压缩感知超快成像模块对荧光显微信号压缩感知采样的光路结构示意图；

图8为在数字微镜阵列上加载的空间编码信息示意图；

图9为cmos相机采样得到的稀疏编码二维数字图像数据的示意图；

图10为压缩感知采样过程的数学模型示意图；

图11为压缩感知算法重构得到的三维时序荧光显微数字视频结果的示意图；

图12为本发明的自适应脉冲整形闭环控制系统的流程示意图。

具体实施方式

参阅图1，本发明包括飞秒激光器100、自适应飞秒脉冲整形模块200、荧光显微成像模块300、压缩感知超快成像模块400及计算通信模块500；

所述自适应飞秒脉冲整形模块200由第一反射镜2、第一光栅,3、第一柱透镜4、空间光调制器5、第二柱透镜6、第二光栅7、第二反射镜8及第三反射镜9构成并依次光路连接；

所述荧光显微成像模块300由二向色镜10、显微物镜11、样品台12及第一透镜组13构成，所述二向色镜10将光路分为两路，一路与第一透镜组13光路连接，另一路与显微物镜11及样品台12依次光路连接；

所述压缩感知超快成像模块400由分束立方体14、第二透镜组15、数字微镜阵列16、第三透镜组17、条纹相机18及cmos相机19构成，所述分束立方体14将光路分为两路，一路与第二透镜组15及数字微镜阵列16依次光路连接，另一路与第三透镜组17、条纹相机18及cmos相机19依次光路连接；

所述计算通信模块500由计算机20及脉冲延时器21构成；所述计算机20与脉冲延时器21之间电子通信连接；

所述飞秒激光器100与自适应飞秒脉冲整形模块200的第一反射镜2光路连接；

所述自适应飞秒脉冲整形模块200的第三反射镜9与荧光显微成像模块（300）的二向色镜10光路连接；

所述荧光显微成像模块300的第一透镜组13与压缩感知超快成像模块400的分束立方体14光路连接；

所述飞秒激光器100、自适应飞秒脉冲整形模块200的空间光调制器5、压缩感知超快成像模块400的数字微镜阵列16、条纹相机18及cmos相机19分别与计算通信模块500的计算机20电子通信连接；

所述飞秒激光器100、压缩感知超快成像模块400的条纹相机18及cmos相机19分别与计算通信模块500的脉冲延时器21电子通信连接。

所述飞秒激光器100、空间光调制器5、cmos相机19及计算机20构成自适应脉冲整形闭环控制系统。

所述飞秒激光器100、条纹相机18、cmos相机19及脉冲延时器21构成同步系统。

所述第一柱透镜4与第一光栅3的光学距离为第一柱透镜4的前焦距，

所述空间光调制器5与第一柱透镜4的光学距离为第一柱透镜4的后焦距。

所述第二柱透镜6与空间光调制器5的光学距离为第二柱透镜6的前焦距。

所述第二光栅7与第二柱透镜6的光学距离为第二柱透镜6的后焦距。

本发明实施例：

在本发明系统的正式运行前，需对系统进行同步设置、系统状态初始化及算法设置，步骤如下：

a）、同步设置，通过计算通信模块500中的计算机20对脉冲延时器21设置时延参数，确保飞秒激光器100、压缩感知超快成像模块400中的条纹相机18及cmos相机19同步运行；

b）、系统状态初始化，通过计算通信模块500中的计算机20对飞秒激光器100、自适应飞秒脉冲整形模块200中的空间光调制器5进行初始状态参数设置；

c）、算法设置，在计算通信模块500的计算机20中，按照需求设置图像重构所需的压缩感知算法（twist算法），以及自适应脉冲整形闭环控制系统的反馈算法（遗传算法）；

完成系统的预设置之后，开始本发明系统的正式运行。

飞秒激光器的工作：

参阅图1、图2，所述飞秒激光器100产生飞秒激光脉冲入射到自适应飞秒脉冲整形模块200；整形前的飞秒脉冲满足高斯波形，其中心波长为800nm，时域半高宽为50fs，光谱半高宽为40nm；

其中，图2（a）为飞秒激光器整形前的飞秒脉冲的光谱分布示意图；图2（b）为飞秒激光器整形前的飞秒脉冲的时域分布示意图。

自适应飞秒脉冲整形模块的工作：

参阅图1、图3、图4、图5，由第一反射镜2将来自飞秒激光器100的飞秒激光脉冲反射到第一光栅3；由第一光栅3对第一反射镜2入射的激光空间色散，得到一级衍射光；

第一柱透镜4与第一光栅3的光学距离为第一柱透镜4的前焦距；第一柱透镜4对第一光栅3的一级衍射光进行傅里叶变换，得到空间分布的光谱信号；

空间光调制器5与第一柱透镜4的光学距离为第一柱透镜4的后焦距；空间光调制器5对第一柱透镜4的光谱信号在光谱相位上进行pai相位调制得到调制后的目标光谱信号；

第二柱透镜6与空间光调制器5的光学距离为第二柱透镜6的前焦距；对空间光调制器5的目标光谱信号进行傅里叶逆变换，得到所需的傅里叶逆变换信号；

第二光栅7与第二柱透镜6的光学距离为第二柱透镜6的后焦距；第二光栅7对第二柱透镜6的傅里叶逆变换信号进行空间逆色散，得到时域整形后的目标飞秒脉冲，该脉冲波形为双峰波形；

通过对比时域整形后的目标飞秒脉冲和整形前的飞秒脉冲的时域分布，可以看出在相同的激光能量下，时域整形后的目标飞秒脉冲的具备更低的峰值功率；

最后，自适应飞秒脉冲整形模块200产生的时域整形后的目标飞秒脉冲经过第二反射镜8与第三反射镜9入射到荧光显微成像模块300。

其中，图3为自适应飞秒脉冲整形模块的激光传播过程示意图；

图4为飞秒激光器整形前的飞秒脉冲的光谱分布与空间光调制器上加载的pai相位调制的光谱分布示意图；

图5为整形前的飞秒脉冲、pai相位调制的目标飞秒脉冲及最优荧光激发效率曲线的目标飞秒脉冲的时域分布示意图；由图5可见，pai相位调制的目标飞秒脉冲的双峰波形与整形前的飞秒脉冲的波形，在相同的激光能量下，双峰波形具备更低的峰值功率。

荧光显微成像模块的工作：

时域整形后的目标飞秒脉冲经荧光显微成像模块300的二向色镜10反射之后进入到显微物镜11。

参阅图1、图6，显微物镜11将时域整形后的目标飞秒脉冲聚焦得到照明光斑，照明光斑与样品台12上样品的荧光标记（掺杂sm离子的nayf4纳米颗粒）激发多光子荧光过程，产生400nm中心波长的荧光信号；由于时域整形后的目标飞秒脉冲比整形前的飞秒脉冲更加满足相位匹配条件，因此，在相同的激光峰值功率下，由时域整形后的目标飞秒脉冲激发样品，能够更高的激发双光子荧光的效率；

显微物镜11将荧光信号通过放大显微成像得到荧光显微信号；

二向色镜10对中心波长为400nm的荧光显微信号没有影响，但是能对样品散射回来的中心波长为800nm的照明光进行反射，从而滤去不需要探测的照明光；

第一透镜组13对荧光显微信号进行转像，将荧光显微成像模块300产生的荧光显微信号导引进入本发明的压缩感知超快成像模块400。

图6为在相同的激发峰值功率条件下，用不同脉冲形状的飞秒脉冲激发样品，所得到荧光激发效率曲线的对比示意图。

压缩感知超快成像模块的工作：

参阅图1、图7、图8、图9，荧光显微信号通过分束立方体14、第二透镜组15传输到数字微镜阵列16的光学平面上；

数字微镜阵列16位于第二透镜组15的像平面，数字微镜阵列16通过控制其微镜单元的反射状态对荧光显微信号在空间光强分布上进行编码操作，得到所需的空间编码的荧光显微信号；加载在数字微镜阵列16上的空间编码信息是一个满足伯努利分布的随机矩阵；

由第二透镜组15对空间编码的荧光显微信号进行转像并导入分束立方体14；分束立方体14将空间编码的荧光显微信号反射到第三透镜组17；

由第三透镜组17将空间编码的荧光显微信号成像到条纹相机18的前端上，由于条纹相机18的前端的光阴极板作用而发生光电转换，产生荧光显微信号电子，向条纹相机18后端飞行传播；

条纹相机18按照指定的时变电场（一个脉宽为0.5纳秒-1毫秒、峰值电压在1kv以上的三角波信号），对荧光显微信号电子进行指定的空间方向的偏移，偏移的距离线性正比于荧光显微信号电子的时刻位置，偏移后的电子在后端的荧光板上发生电光转换，得到光子形式的稀疏编码信号，并传输到cmos相机19；

cmos相机19对稀疏编码信号进行时间积分采集，将光信号变为电信号，并ad转换得到所需要的稀疏编码二维数字图像数据。

最后由压缩感知超快成像模块400中的cmos相机19将生成的稀疏编码二维数字图像数据经过电子通信传输到计算通信模块500中的计算机20。

图7为压缩感知超快成像模块对荧光显微信号压缩感知采样的光路结构示意图；

图8为在数字微镜阵列上加载的空间编码信息示意图；

图9为cmos相机采样得到的稀疏编码二维数字图像数据的示意图。

计算通信模块的工作：

计算机20对来自压缩感知超快成像模块400中cmos相机19的稀疏编码二维数字图像数据进行目标信号重构操作。

参阅图1、图10，压缩感知采样过程的数学模型来自三个数学过程：来自数字微镜阵列16的二维空间编码算子c、来自条纹相机18的时变空间偏转算子s及来自cmos相机19的时间积分采样算子t。因此，所需要观测的荧光显微信号与计算机20接受到的稀疏编码二维数字图像数据满足下列数学关系式：

y=tscx

上式中，y为稀疏编码二维数字图像数据，x为所需要观测的荧光显微信号的离散数字数据——三维时序荧光显微数字视频。

图10为压缩感知采样过程的数学模型示意图。

参阅图1、图11，最后，依据这个压缩感知采样过程的数学模型，计算机20利用压缩感知算法（twist算法）对稀疏编码的二维数字图像数据进行求解运算，得到所需的三维时序荧光显微数字视频。

图11为压缩感知算法重构得到的三维时序荧光显微数字视频结果的示意图。

至此，本发明飞秒激光器100的激光主干系统运行完一个循环。

本发明自适应脉冲整形闭环控制系统的工作：

参阅图1、图12，本发明由飞秒激光器100、空间光调制器5、cmos相机19及计算机20构成自适应脉冲整形闭环控制系统，其运行流程如下：

完成本发明系统的同步设置、系统状态初始化及算法设置后，由cmos相机19生成稀疏编码二维数字图像数据，通过电子通信传输到计算机20。

参阅图5、图6，计算机20对稀疏编码二维数字图像数据按照遗传算法进行反馈运算，得到所需的系统优化参数，并计算荧光激发效率曲线，以荧光激发效率曲线是否达到最优荧光激发效率曲线，判断是否对飞秒激光器100、空间光调制器5进行系统优化操作；

如果荧光激发效率曲线没有达到最优荧光激发效率曲线，则进行闭环反馈优化，通过电子通信将系统优化参数传输给飞秒激光器100、空间光调制器5；

飞秒激光器100和空间光调制器5根据所接受的新参数对飞秒脉冲整形过程进行优化，得到新的目标飞秒脉冲，最优荧光激发效率曲线的目标飞秒脉冲的时域分布；

新的目标飞秒脉冲激发样品得到新的荧光显微信号，最终被cmos相机19采集产生新的稀疏编码二维数字图像数据，通过电子通信传输到计算机20；

计算机20对新的稀疏编码二维数字图像数据进行反馈运算，通过计算荧光激发效率变化曲线，判断以荧光效率是否达到最优值为判据；

如果荧光激发效率曲线达到最优荧光激发效率曲线，停止闭环反馈优化，自适应脉冲整形闭环控制系统停止迭代运行，飞秒激光器100、空间光调制器5保持多次闭环反馈操作迭代所得到的系统参数；最终，使得本发明系统保持最优工作状态运行。

图12为本发明的自适应脉冲整形闭环控制系统的流程示意图。

本发明同步系统的工作：

本发明由飞秒激光器100、条纹相机18、cmos相机19及脉冲延时器21构成同步系统，其运行流程如下：

飞秒激光器100产生与所述整形前的飞秒脉冲同一时刻的电子脉冲信号，通过电子通信传递给脉冲延时器21；

脉冲延时器21对接受到的电子脉冲信号进行延时补偿操作，产生电子同步信号，通过电子通信传输给条纹相机18、cmos相机19，确保条纹相机18、cmos相机19、飞秒激光器100同步运行；

本发明对精度的要求：

本发明的计算机20与条纹相机18电子通信连接，通过电路控制条纹相机18的参数确定本发明的荧光时间分辨精度极限为2ps。

本发明的计算机20与数字微镜阵列16电子通信连接，计算机20通过电路控制着数字微镜阵列16上的编码参数（编码矩阵、编码像素物理尺寸），这些参数确定本发明的成像空间分辨率极限为800纳米，本发明的每帧图像像素为512*512。