一种高速立体三维多模态成像系统和方法与流程

本发明属于计算机立体技术的光学检测领域，更具体地，涉及一种高速立体三维多模态成像系统和方法。

背景技术：

在无损成像领域中，基于相干反斯托克斯拉曼光谱(cars)的多光子光谱显微技术是一种观察微观世界的强大手段。该技术通过探测目标分子或固体晶格特定的振动来提供成像所需的信号，通过非线性光学过程大大提高了检测的灵敏度与精度。cars可以同时联合其他模态的非线性光谱(如：双光子荧光tpef，二次谐波shg，三次谐波thg等)构成多模态非线性光谱显微成像技术，能够实现在单次实验中同时对微纳尺度样品多成分分析物理化学性质。同时，多模态非线性光谱成像技术本征地具备三维成像能力。然而已有的多模态非线性光谱成像技术在实现超快三维(3d)成像上面临着严峻的挑战。(1)目前的3d成像技术主要基于计算机断层扫描，需要将样品相对于照明源多次旋转，或者对不同深度进行聚焦层析，完成了全套2d投影，然后重新组合以形成3d图像。但这技术需要数百个视图，需要巨额耗时和大幅剂量的照射，使该技术面对超快速过程或剂量敏感的样品成像不可行。(2)为了减少测量次数，人们提出了一种基于处理皮质区域中的双眼视差原理的人脑快速3d感知成像方法。但此三维成像方法的主要缺点是人脑的3d感知效果纯粹是生理性的，且没有定量的深度信息；此外，为了实现认知的3d重建，两个二维视图之间的角度必须很小，限制了结构信息的增益。

综上所述，现有真三维成像方法需要多角度转动样品进行多次观测，成像条件限制多，操作复杂，导致成像速度慢，且难以定量地获得3d物体深度信息。文献中已有体内层叠技术(ptychotomography)可用于超高分辨率3d成像，然而ptychotomography在所需的投影数量方面也非常苛刻，同时这种技术需要大量相同的样本，并生成大量需要进行分类和组合的数据，以提供一整套一致的3d数据。尽管miao等人提也出了从单次衍射图案检索3d结构的技术，但是它们是在有限的情况下工作并且严重依赖于样本的先验知识，成像局限性太大。

技术实现要素：

针对现有技术中3d成像速度慢、景深难测量和成像条件苛刻的问题，本发明提供了一种高速立体三维多模态成像系统和方法，其目的在于通过将光一分为二，调整光对样品的入射角度，借助计算机立体成像技术，实现高速三维成像，只需一次测量可获得三维立体景深信息。

为实现上述目的，按照本发明的第一方面，提供了一种高速立体三维多模态成像系统，所述系统包括：

分束器，用于产生两束角度不同的第一、第二近红外子飞秒脉冲激光光束；

旋转角度分别可调的平面镜对，分别用于反射第一、第二近红外子超快脉冲激光光束；

紧聚焦透镜，用于紧聚焦第一、第二近红外子飞秒脉冲激光光束于三维微纳尺度样品上；

显微镜载物台，用于装载三维微纳尺度样品，以及三维位移样品；

成像透镜，用于收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号，得到两幅二维图像；

大面积阵列探测器，用于同时探测两幅二维图像；

真三维成像模块，用于根据探测得到的两幅二维图像进行真三维成像。

为实现上述目的，按照本发明的第二方面，提供了一种高速立体三维多模态成像系统，所述系统包括：

分束器，用于产生两束角度不同的第一、第二近红外子飞秒脉冲激光光束；

旋转角度分别可调的平面镜对，分别用于反射第一、第二近红外子超快脉冲激光光束；

紧聚焦透镜，用于紧聚焦第一、第二近红外子飞秒脉冲激光光束于三维微纳尺度样品上；

显微镜载物台，用于装载三维微纳尺度样品，以及三维位移样品；

成像透镜，用于收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号，得到两幅二维图像；

滤光片，用于从多模态非线性光谱信号选择单一光谱，得到单一光谱对应的单色二维图像；

在大面积阵列探测器，用于同时探测两幅单一光谱对应的单色二维图像；

真三维成像模块，用于在对每个目标光谱进行一次探测之后，对每个目标光谱形成的单色图像进行叠加，形成多模态彩色二维视图，根据叠加的两幅多模态彩色二维视图进行真三维成像。

优选地，所述分束器为三面反射棱镜。

具体地，根据样品特征，选择适用的光束波长范围、激光能量、相位匹配条件，使得在选择的光束照射下产生最强的信号光。

优选地，显微镜载物台为纳米压电位移平台。

优选地，所述成像系统通过快速双边立体视觉算法，一次性获得三维样品深度信息。

为实现上述目的，按照本发明的第三方面，提供了一种高速立体三维多模态成像方法，所述方法包括以下步骤：

s1.将三维微纳样品装载于显微镜载物台；

s2.选择多模态非线性光谱成像所需的激发光束；

s3.对选择的激光光束进行分光，得到两束角度不同的第一、第二近红外子飞秒脉冲激光光束；

s4.将第一、第二近红外子飞秒脉冲激光光束分别通过旋转角度可调节的反射镜，调节反射镜旋转角度，将反射后的第一、第二近红外子飞秒脉冲激光光束分别通过紧聚焦透镜照射于样品；

s5.调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品产生第一、第二非线性光谱信号；

s6.收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号，得到两幅二维图像，在大面积阵列探测器的最佳探测模式下，同时探测两幅二维图像；

s7.基于探测到的两幅二维图像，构建立体三维成像，同时获得三维样品的深度信息。

为实现上述目的，按照本发明的第四方面，提供了一种高速立体三维多模态成像方法，所述方法包括以下步骤：

s1.将三维微纳样品装载于显微镜载物台；

s2.选择多模态非线性光谱成像所需的激发光束；

s3.对选择的激光光束进行分光，得到两束角度不同的第一、第二近红外子飞秒脉冲激光光束；

s4.将第一、第二近红外子飞秒脉冲激光光束分别通过旋转角度可调节的反射镜，调节反射镜旋转角度，将反射后的第一、第二近红外子飞秒脉冲激光光束分别通过紧聚焦透镜照射于样品；

s5.调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品产生第一、第二非线性光谱信号；

s6.收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号；

s7.根据选择的模态成像，选择合适波长的滤波片进行代表单模态的单色成像，得到两幅二维图像，在大面积阵列探测器的最佳探测模式下，同时探测两幅二维图像；

s8.根据应用需求，将每个多个单一模态的二维图像进行叠加成为二维多模态图像；

s9.基于探测到的两幅二维图像，构建立体三维成像，同时获得三维样品的深度信息。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)针对现有技术3d成像速度慢的问题，本发明采用旋转角度可调的平面镜与分束镜组合将激光光束一分为二，由于改变样品的入射光角度速度远远大于机械转动样品的速度，使得无须转动样品一次观测即可获得样品的三维图像，从而实现对样品的三维形貌与化学特征变化飞秒量级时间帧过程的观测。

(2)针对现有技术三维景深难测的问题，本发明采用计算机立体算法，由于计算机立体算法是通过两幅视图的角度差获得定量景深信息，使得三维景深可被精准定量测量。

(3)针对现有技术成像条件苛刻的问题，本发明采用大面积阵列探测器计算机立体成像用二维视图，由于整个探测器的面积较市场上常规用的两个立体镜头面积大以及计算机立体算法，使得两幅视图的角度差的范围可以非常广泛灵活。

(4)针对现有技术无损成像光路复杂的问题，本发明采用基于近红外超快激光非线性过程的多模态光谱显微成像技术，由于多模态非线性成像所用光源是从紫外扩展到近红外波长，使得可选用商用的近红外波长超快激光器。

附图说明

图1为现有技术中多模态非线性光学显微成像系统的结构示意图；

图2为本发明实施例提供的第一种高速立体三维多模态成像系统结构示意图；

图3为本发明实施例提供的第二种高速立体三维多模态成像系统结构示意图；

在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：

1为双路输出超快激光器；2为非偏振分束器；3为镀膜反射镜；4为半波片；5为频率调制器；6为扩束镜；7为偏振合束器；8为4f系统；9为二向色镜；10为显微物镜；11为二维电动位移平台；12为三维纳米压电位移平台；13为连接成像光谱仪的探头；14为延迟线；15为格兰棱镜；16为二维振镜；17为光子晶体光纤系统；18为光传输和光探测模块，由8、9、10、11、12、13组成；

201为分光棱镜；202为角度可调的平面镜对；203为紧聚焦透镜；204为载物台；205为成像透镜；206为滤光片；207为大面积阵列探测器；208为真三维图像算法模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，现有技术中已公开了一种多模态非线性光学显微成像系统装置，该装置包括：

双路输出超快激光器1，用于产生飞秒激光辐照光源。

非偏振分束器2，用于预备扩展分光给作其他用途如激光加工。

镀膜反射镜3，用于改变激光传播方向。

半波片4，用于改变激光偏振态。

频率调制器5，用于调整激光脉冲频率。

扩束镜6，用于对入射激光扩束准直，使进入显微镜后聚焦的激光焦斑半径更小。

偏振合束器7，用于预备扩展给其他方向激光输入。

4f系统8，用于共轭光点。

二向色镜9，用于反射波长大于截止波长的激光与投射波长小于截止波长的激光。

显微物镜10，通常具备高数值孔径值，用于满足相位匹配的紧聚焦条件。

二维电动位移平台11，用于二维移动用样品

三维纳米压电位移平台12，用于三维移动样品

连接成像光谱仪的探头13，其中由成像透镜与滤光片组成，用于收集光谱与成像。

延迟线14，用于产生两脉冲激光时间差。

格兰棱镜15，用于与半波片一起调节激光功率大小。

二维振镜16，用于x-y方向形成二维平面扫描。

光子晶体光纤系统17，用于产生连续波长激光。

光传输和光探测模块18，由8、9、10、11、12、13组成，用于传输与探测激光通过样品后产生的非线性光谱信号与图像。

该装置是通过将近红外超快激光(1)通过光路传输模块(2-8，14-16)导入显微镜里模块(9-13)，对样品进行辐照成像。在满足相位匹配的条件，聚焦的近红外超快激光会激发样品的非线性(包含cars、tpef、shg、thg等)过程，通过成像透镜收集非线性信号，并透过成像光谱仪探测非线性信号的光谱与成像，即实现多模态非线性光谱成像。

本发明提出一种基于计算机立体成像原理的新成像系统与方法，通过单次测量多模态非线性光谱产生的两幅二维的视图，并通过计算机算法将两幅二维视图生成一幅三维图像。本发明大大地减少对三维样品的观测时间与对辐照敏感样品的损伤，其中两个二维视图之间的角度非常灵活，并且可定量地获得样品的深度信息，从而是一种前景广阔的技术，可用于纳米级快速时间帧的三维化学成像表征。

如图2所示，本发明提供了一种高速立体三维多模态成像系统，所述系统代替图1中模块18。所述系统包括：

分束器201，用于产生两束角度不同的第一、第二近红外子飞秒脉冲激光光束。

根据样品特征，选择适用的光束波长范围、激光能量、相位匹配等，使得在选择的光束(入射光)照射下产生最强的信号光(探测光)。其中，基于相干反斯托克斯拉曼散射效应探测的波长选择，需要满足双色激光频率差与样品拉曼活性分子同频共振关系，同时两光束要同步平行合束。为了满足产生非线性过程的实验条件，需要超强激光，同时考虑对样品的损伤，需要近红外波长的激光辐照，因此需要使用近红外超快激光光束，超快一般定义为飞秒级或者皮秒级。

本发明中分束器优选三面反射棱镜。基于计算机立体成像原理，采用三面反射棱镜结合两个旋转角度可调的平面镜，用于将一束激光分成两个角度入射照明的激光光束。三面棱镜由消色差增反平面镜面组合，相比于普通棱镜而言反射光束质量更好。

旋转角度分别可调的平面镜对202，分别用于反射第一、第二近红外子超快脉冲激光光束。

为了避免在立体成像过程中转动样品，本发明采用调整样品的入射光角度。具体地，通过旋转角度可调的平面镜对202来调整。

紧聚焦透镜203，用于紧聚焦第一、第二近红外子飞秒脉冲激光光束于三维微纳尺度样品上。

因为紧聚焦透镜能够满足产生非线性过程所需的相位匹配，本发明使用紧聚焦透镜来聚焦第一、第二近红外子飞秒脉冲激光光束于三维微纳尺度样品上。经过紧聚焦透镜的光满足相位匹配条件，产生非线性光谱信号(nonlinearspectrum)。微纳尺度是指纳米级别或微米级别。近红外超快激光和紧聚焦的结合，可实现相干拉曼、二次谐波(shg)、三次谐波(thg)、双光子荧光(tpef)等其他多模态。

显微镜载物台204，用于装载三维微纳尺度样品，以及三维位移样品。

显微镜载物台一般为纳米压电位移平台。

成像透镜205，用于收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号，得到两幅二维图像。

大面积阵列探测器207，用于同时探测两幅二维图像。

探测到的两幅二维图像分别为左视图、右视图。

为了广角探测非线性光谱信号，本发明优选大面积阵列探测器，可优选不低于1024×1024像素的scmos或emccd相机。在校正后的最佳探测模式下，用所述大面积阵列相机结合成像透镜，对多模态非线性光谱信号进行收集。

每个子光束照射样品形成一幅二维图像，因此一次性可获得两幅二维图像。不同角度入射照明产生的两幅图像被同一个成像透镜以及图像探测器获取。大面积零像差成像透镜与同一个大面积阵列探测器组合，代替了一般立体成像所需的两个镜头，用于产生立体图像对。与需要两个镜头的立体成像角度固定相比，该方式成像角度灵活，同时增大了两幅二维图像的中心点位置差。探测成像模式可分为前向或后向探测。

真三维成像模块208，用于根据探测得到的两幅二维图像进行真三维成像。

所述三维成像系统可以通过立体成像算法，一次性获得三维样品深度信息，实时揭示三维微纳样品形貌信息。为了整合两幅二维视图成反应实际物体深度信息的真三维图像，本发明优选stefanomattoccia教授在计算机视觉的顶级国际会议iccv2011提出的快速双边(fastbilateral)立体视觉算法(l.de-maeztu,s.mattoccia,a.villanueva,r.cabeza,"linearstereomatching",13thinternationalconferenceoncomputervision)，该算法先将两幅视角不一样的二维图像进行视图参数校正、标准化、立体相关性、三角剖分处理，通过二维图像的视角差异，计算出物体的实际三维景深。

本发明提供一种高速立体三维多模态成像方法，所述方法包括以下步骤：

s1.将三维微纳样品装载于显微镜载物台；

s2.选择多模态非线性光谱成像所需的激发光束；

s3.对选择的激光光束进行分光，得到两束角度不同的第一、第二近红外子飞秒脉冲激光光束；

s4.将第一、第二近红外子飞秒脉冲激光光束分别通过旋转角度可调节的反射镜，调节反射镜旋转角度，将反射后的第一、第二近红外子飞秒脉冲激光光束分别通过紧聚焦透镜照射于样品；

s5.调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品产生第一、第二非线性光谱信号；

s6.收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号，得到两幅二维图像，在大面积阵列探测器的最佳探测模式下，同时探测两幅二维图像；

s7.基于探测到的两幅二维图像，构建立体三维成像，同时获得三维样品的深度信息。

上述系统和方法适用于一次性探测单种光谱的情形，形成的三维图像是黑白效果，有光谱信号的位置为白色，无光谱信号的位置为黑色。该系统无法直接适用于彩色三维成像。因此，本发明提出另一种三维多模态成像系统，其包括滤光片，用于在对每一个目标光谱进行单色成像，不同目标光谱形成的单色图像进行叠加，形成多模态彩色二维视图，从而最终实现彩色三维成像。

如图3所示，本发明提出一种高速立体三维多模态成像系统，所述系统代替图1中模块18。所述系统包括：

分束器201，用于产生两束角度不同的第一、第二近红外子飞秒脉冲激光光束。

旋转角度分别可调的平面镜对202，分别用于反射第一、第二近红外子超快脉冲激光光束。

紧聚焦透镜203，用于紧聚焦第一、第二近红外子飞秒脉冲激光光束于三维微纳尺度样品上。

显微镜载物台204，用于装载三维微纳尺度样品，以及三维位移样品。

成像透镜205，用于收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号，得到两幅二维图像。

滤光片206，用于从多模态非线性光谱信号选择单一光谱，得到单一光谱对应的单色二维图像。

在光谱探测成像需要滤光片。滤光片一般为单色性好的超快激光用的滤光片，尺寸根据样品大小灵活选择。

大面积阵列探测器207，用于同时探测两幅单一光谱对应的单色二维图像。

真三维成像模块208，用于在对每个目标光谱进行一次探测之后，对每个目标光谱形成的单色图像进行叠加，形成多模态彩色二维视图，根据叠加的两幅多模态彩色二维视图进行真三维成像。

由于采用分光棱镜对产生双子光束，结合计算机立体成像技术，无需对样品进行多次不同角度或不同深度层析，相比于传统三维成像技术更加简单与快速。本发明提出多模态非线性光谱成像技术，并将其与计算机立体三维技术有机结合，形成高速实时三维成像，具有全面表征三维样品多成分功能，可达至纳米空间分辨率与飞(阿)秒时间分辨率。

本发明提供一种高速立体三维多模态成像方法，所述方法包括以下步骤：

s1.将三维微纳样品装载于显微镜载物台；

s2.选择多模态非线性光谱成像所需的激发光束；

s3.对选择的激光光束进行分光，得到两束角度不同的第一、第二近红外子飞秒脉冲激光光束；

s4.将第一、第二近红外子飞秒脉冲激光光束分别通过旋转角度可调节的反射镜，调节反射镜旋转角度，将反射后的第一、第二近红外子飞秒脉冲激光光束分别通过紧聚焦透镜照射于样品；

s5.调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品产生第一、第二非线性光谱信号；

s6.收集在紧聚焦后的第一、第二近红外子飞秒脉冲激光光束照射样品下样品散射产生的多模态非线性光谱信号；

s7.根据选择的模态成像，选择合适波长的滤波片进行代表单模态的单色成像，得到两幅二维图像，在大面积阵列探测器的最佳探测模式下，同时探测两幅二维图像；

s8.根据应用需求，将每个多个单一模态的二维图像进行叠加成为二维多模态图像。

s9.基于探测到的两幅二维图像，构建立体三维成像，同时获得三维样品的深度信息。

实施例一——相干反斯托克斯拉曼模态形成黑白三维图像

以相干反斯托克斯拉曼光谱探测基于飞秒双光子聚合制作的三维微纳样品为例，对该方法进行详细说明。

(1)调配用纯光刻胶，并通过飞秒激光直写的方式在sio2或者玻璃基片上制备三维微纳结构。

(2)打开双路输出飞秒激光器，将第一路输出波长调谐至780nm，并将另一路激光调整至1040nm，将两束光合束同步，并选择可以产生相干反斯托克斯(cars)的激光能量。

(3)将合束后的激光，通过三面棱镜分光，分光后的光束分为第一、二子光束。

(4)调节反射镜旋转角度，将反射后的第一、二子光束分别通过紧聚焦透镜照射于样品。

(5)调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品可以产生非线性光谱信号。

(6)打开与设置探测器参数，在校正后的最佳探测模式下，所述大面积阵列相机结合成像凸透镜对光谱信号光进行收集，并形成由于样品非线性光谱信号散射所投射的二维图像。每个子光束照射样品形成一幅二维图像，因而一次性可获得两幅二维图像。

(7)根据立体成像算法软件构建立体三维成像，获得三维样品的深度图，揭示样品的三维形貌。

实施例二——二次谐波模态形成单光谱(单色)成像

以单个非线性光谱(如：二次谐波shg)探测由飞秒双光子激光定向三维组装的zno纳米线微纳结构为例，对该方法进行详细说明。

(1)调配掺杂zno纳米线的光刻胶，并通过飞秒激光直写的方式在sio2或者玻璃基片上制备三维zno纳米线阵列结构。

(2)打开双路输出飞秒激光器，将第一路输出波长调谐至800nm，并选择适合产生二次谐波(shg)的激光能量。

(3)将合束后的激光，通过三面棱镜分光，分光后的光束分为第一、二子光束。

(4)调节反射镜旋转角度，将反射后的第一、二子光束分别通过紧聚焦透镜照射于样品。

(5)调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品可以产生非线性光谱信号。

(6)打开与设置探测器参数，预备所述大面积阵列相机，结合成像凸透镜对光谱信号光进行收集。每个子光束照射样品形成一幅二维图像，因而一次性可获得两幅二维图像。

(7)根据选择的模态成像，选择合适波长(如：400nm)的滤波片进行单模态的单色成像，得到两幅二维图像，在大面积阵列探测器的最佳探测模式下，同时探测两幅二维图像。

(8)将单一模态的二维图像进行输出成为二维单色图像。

(9)根据立体成像算法软件构建立体三维彩色成像，获得三维样品的深度图，揭示样品的三维形貌。

实施例三——多种模态形成多光谱(彩色)成像

以多模态非线性光谱探测基于飞秒双光子激光聚合的定向组装掺杂型(如：zno纳米线)光刻胶样品的过程为例，对该方法进行详细说明。

(1)调配掺杂zno纳米线光刻胶，并通过飞秒激光直写的方式在sio2或者玻璃基片上原位形成三维微纳结构。

(2)打开双路输出飞秒激光器，将第一路输出波长调谐至780nm，并将另一路激光调整至1040nm，将两束光合束同步，并选择可以产生相干反斯托克斯(cars)、二次谐波(shg)以及双子荧光(tpef)的激光能量。

(3)将合束后的激光，通过三面棱镜分光，分光后的光束分为第一、二子光束。

(4)调节反射镜旋转角度，将反射后的第一、二子光束分别通过紧聚焦透镜照射于样品。

(5)调节载物台位置，使得样品处于紧聚焦透镜的焦平面处位置，使得照射后的微纳样品可以产生非线性光谱信号。

(6)打开与设置探测器参数，预备所述大面积阵列相机，结合成像凸透镜对光谱信号光进行收集。每个子光束照射样品形成一幅二维图像，因而一次性可获得两幅二维图像。

(7)根据选择的每个模态成像，选择合适波长的滤波片进行代表单模态的单色成像，得到两幅二维图像，在大面积阵列探测器的最佳探测模式下，同时探测两幅二维图像。

(8)将多个模态(cars,shg,tpef)的二维图像进行叠加成为二维多模态图像。

(9)根据立体成像算法软件构建立体三维彩色成像，获得三维样品的深度图，揭示样品的三维形貌。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。