穿透散射介质的快速三维成像系统及方法与流程

本发明涉及光场显微成像和偏振光成像等技术领域，特别涉及一种穿透散射介质的快速三维成像系统及方法。

背景技术：

光场显微(Light field microscopy,LFM)是一种无需扫描的三维计算成像方法，该方法能够同时记录透过显微样本光线的二维空间和二维角度的分布，计算机视觉领域中的多视角成像原理与之相同。这种空间-角度的数据可以计算合成重聚焦图像，能够进行灵活的景深调整，以及实现样本的三维体重建，因而在光学生物成像方面有着重要的应用。目前的光场显微成像方式有通过在光学显微镜中间级像平面上加入微透镜阵列的方式实现，使得传感器像素能够在单次曝光过程中采集光场的光线。然而，这种基于微透镜阵列的光场显微(Microlens array based light field microscopy,MALM)需要在传感器的空间分辨率和角度分辨率之间进行折中，因此所获得的图像空间分辨率相比原始的传感器分辨率降低了几个数量级。另外一种成像方式则是基于相机阵列的显微成像系统，基于相机阵列的显微成像系统(CALM)提出的基于相机阵列的光场显微相比基于微透镜阵列的光场显微具有更大的灵活性。这里通过三个方面给出两种方法的差异。第一，相比基于微透镜阵列的光场显微系统(MALM)采用单个传感器，CALM通过整合传感器阵列，因此能够获得更高分辨率的光场。第二，不同视角的图像间存在大量冗余，相比低角度分辨率，人眼对低空间分辨率更加敏感。CALM可以很容易的配置成低角度分辨率、高空间分辨率光场采集，而MALM则要求所采用的微透镜阵列中的每一个微透镜尺寸足够小并且有合适的焦距，加工工艺复杂而且困难。第三，CALM中的每个相机参数可以根据不同的应用独立设置，比如应用于非均匀光照角度补偿、或聚焦位置不一致的补偿等。

正交偏振谱(Orthogonal Polarization Spectral，简称OPS)技术是近些年来发展起来的微循环成像技术，该方法利用生物组织浅表层散反射光不改变偏振态，而从组织深处散射的光束会发生退偏的特性，可以通过偏振方向正交的偏振过滤掉浅表层反射光，从背向散射光中探测到组织深层的二维图像信息，背向反射光大约占全部光线的10％。在光源的发射光谱与红血球的吸收光谱相匹配，且弱光探测信号不被背景噪声干扰时，该方法可以得到高对比度的微血管图像。正交偏振谱技术的一个缺点在于它只能用于二维血管图像探测，并不能在深度方向进行连续探测，因而该技术目前并没有很好的应用于三维成像。

技术实现要素：

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。

为此，本发明的目的在于提出一种在结合正交偏振谱方法中偏振光退偏成像的思想以及基于相机阵列的光场显微装置，特别提出了一种穿透散射介质的快速三维成像系统及方法，该成像系统及方法能够实现穿透薄散射介质后的快速三维成像，特别是人体微循环的三维观测，并且简单易实现。

为了实现上述目的，本发明的第一方面的实施例公开了一种穿透散射介质的快速三维成像系统，包括：照明模块，用于产生可见光谱段的线偏振光并通过显微镜物镜照射半透明显微样本；显微镜，用于通过所述显微镜的相机引出口将显微样本放大到像平面，内含两块三棱柱树脂粘合而成的分光镜；液晶可调滤光片，用于选择性透过成像光线中的部分频谱，观察窄带宽可见光成像；内含偏振片，可调节至偏振方向与样本入射光偏振方向垂直的方向，过滤样本表面保持原偏振性的反射光；放大模块，用于根据所述像平面生成光圈平面；相机阵列，所述相机阵列中的每个相机具有成像透镜和传感器，所述相机阵列包括：成像透镜阵列，用于通过所述光圈平面获取所述显微样本在不同视角下的样本图像，且所述放大模块将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致；传感器阵列，所述传感器阵列中的每个传感器与所述成像透镜阵列中的每个成像透镜对应，所述每个传感器相应地记录与其对应的成像透镜获取的样本图像；以及控制器，所述控制器与所述相机阵列相连，对所述显微样本在不同视角下的所述样本图像进行同步采集和光学校准以获取所述显微样本的多视角图像和/或视频。

另外，根据本发明上述实施例穿透散射介质的快速三维成像系统还可以具有如下附加的技术特征：

进一步地，所述相机阵列中的每个相机独立设置。

进一步地，所述放大模块为两级中继系统，且所述两级中继系统包括：第一级中继透镜，所述第一级中继透镜根据所述像平面生成所述光圈平面；以及第二级中继透镜，所述第二级中继透镜将所述光圈平面放大至覆盖整个所述相机阵列的大小。

进一步地，所述第二中继透镜的数值孔径大于所述第一中继透镜的数值孔径。

进一步地，通过对准所述相机阵列、所述两级中继系统和所述相机引出口的光轴，并将所述每个相机的光轴汇聚对准到所述两级中继系统的第二级中继透镜的中心进行光学校准。

进一步地，通过采用主从服务器构架方式对各传感器之间进行同步采集。

进一步地，照明模块能够产生所有包含所有可见光频率的光。

本发明第二方面的实施例公开了一种穿透散射介质的快速三维成像方法，其中，相机阵列中的每个相机具有成像透镜和传感器，所述相机阵列包括成像透镜阵列和传感器阵列，所述方法包括以下步骤：通过调节照明模块中偏振片1，其偏振方向和液晶可调滤光片中偏振片偏振方向垂直；通过显微镜的相机引出口将显微样本放大到像平面；通过内含偏振片的液晶可调滤光片过滤从相机引出口出射的光线，保留特定频谱下显微样本深层反射的去偏散射光；根据所述过滤后的像平面生成光圈平面，并且将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致；所述成像透镜阵列通过所述光圈平面获取所述显微样本在不同视角下的样本图像；所述传感器阵列中每个传感器相应地记录与其对应设置的相机获取的样本图像；对所述显微样本在不同视角下的所述样本图像进行同步采集和光学校准以获取所述半透明显微样本的不同视角的图像和/或视频；用三维解卷积方法对不同视角下获得的图像进行处理，获取显微样本内部三维结构。

另外，根据本发明上述实施例的穿透散射介质的快速三维成像方法还可以具有如下附加的技术特征：

进一步地，所述相机阵列中的每个相机独立设置且相机参数需设置相同。

进一步地，所述根据所述像平面生成光圈平面，并且将所述光圈平面的尺寸与所述成像透镜整列的尺寸匹配相一致具体包括：根据所述像平面生成所述光圈平面；以及将所述光圈平面放大至覆盖整个所述成像透镜阵列的大小。

进一步地，通过采用主从服务器构架方式对各传感器之间进行同步。

根据本发明的实施例提出，通过相机阵列获取半透明显微样本在不同视角下的图像，从而对半透明显微样本在不同视角下的样本图像进行同步采集和光学校准，通过整合传感器整列记录的数据，再利用三维解卷积算法进而实现半透明显微样本内部结构的三维成像。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述的和/或附加的方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的穿透散射介质的快速三维成像系统的结构示意图；

图2为根据本发明一个实施例的穿透散射介质的快速三维成像系统的结构示意图；

图3为根据本发明实施例的穿透散射介质的快速三维成像方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面参照附图描述根据本发明实施例提出的穿透散射介质的快速三维成像系统及方法，以下简称F3DIPSM(Fast three-dimensional imaging of penetrating scattering medium，穿透散射介质的快速三维成像)系统及F3DIPSM方法，首先将参照附图描述根据本发明实施例提出的穿透散射介质的快速三维成像系统。参照图1所示，该F3DIPSM系统包括：照明模块、显微镜、液晶可调谐滤光片、放大模块、成像透镜阵列、传感器阵列和控制器。其中，成像透镜阵列和传感器阵列组成相机阵列。

具体地，照明模块，用于产生可见光谱段的线偏振光并通过显微镜物镜照射半透明显微样本。显微镜用于通过显微镜的相机引出口将显微样本放大到像平面，内含两块三棱柱树脂粘合而成的分光镜。液晶可调滤光片，用于选择性透过成像光线中的部分频谱，观察窄带宽可见光成像；内含偏振片，可调节至偏振方向与样本入射光偏振方向垂直的方向，过滤样本表面保持原偏振性的反射光。放大模块用于根据像平面生成光圈平面。相机阵列中的每个相机具有成像透镜和传感器。成像透镜阵列用于通过光圈平面获取显微样本在不同视角下的样本图像，且放大模块将光圈平面的尺寸与成像透镜阵列的尺寸匹配相一致。传感器阵列中的每个传感器与成像透镜阵列中的每个成像透镜对应，每个传感器相应地记录与其对应的成像透镜获取的样本图像。控制器与相机阵列相连，控制器对显微样本在不同视角下的所述样本图像进行同步采集和光学校准以获取所述显微样本的多视角图像和/或视频。

进一步地，在本发明的一个实施例中，照明模块能够产生所有包含所有可见光频率的光。

进一步地，在本发明的一个实施例中，相机阵列中的每个相机独立设置。

进一步地，在本发明的一个实施例中，参照图2所示，放大模块优选为两级中继系统201，且两级中继系统201包括：第一级中继透镜2011和第二级中继透镜2012。

其中，第一级中继透镜2011根据像平面生成光圈平面。第二级中继透镜2012将光圈平面放大至覆盖整个相机阵列的大小，也可以理解为放大至覆盖整个成像透镜阵列的大小。

进一步地，在本发明的一个实施例中，第二中继透镜2012的数值孔径大于第一中继透镜2011的数值孔径。其中，两级中继系统201的放大倍数由两级中继透镜的焦距比决定，此外为了实现数值孔径的匹配，第二级中继透镜2012的数值孔径要比第一级中继透镜2011的数值孔径大。

具体地，参照图2所示，为了能够生成显微光场的多视角图像，本发明实施例可以采用两级中继系统201将光圈平面扩展到相机阵列中成像透镜阵列的尺寸大小，使得相机阵列中的每个传感器能够采集到子光圈的图像。通过组合校准以及同步之后的不同视角的图像，本发明实施例能够获得在传感器帧率下半透明显微样本的多视角图像。

在本发明的一个具体实施例中，参照图2所示，图2为F3DIPSM系统的光学原理示意图。其中，为方便原型系统构建，本发明实施例的照明光源可以采用100W高压汞灯，(USH10USH-102D Olympus Optical Co1,Ltd,Japan)，入射光路放置偏振片1对照明光进行起偏，偏振光照射到分光棱镜后反射通过物镜照射至显微样本。本发明实施例的显微镜可以采用商业的宽视场显微镜(Olympus IX73)来放大显微样本到像平面。本发明实施例的显微镜可以采用10倍物镜103(Olympus，UPLSAPO10X2，N.A.＝0.4，F.N.＝26.5)。显微镜的相机引出口将像平面引出，透过液晶可调谐滤光片VariSpecTM LCTF(CRI,Inc1,Woburn,Massachusetts)进行光谱的选择，带宽10nm，可以选择特定波长的光形成的像面；此外，LCFT中内含偏振片2，可调节至偏振方向与样本入射光偏振方向垂直的方向，过滤样本表面保持原偏振性的反射光。通过液晶可调谐滤光片过滤后的像面通过两级中继系统放大到成像透镜阵列的尺寸，相机引出口包括透镜套管和镜子。

其中，为减少畸变，本发明实施例可以采用商业镜头作为中继透镜，第一级中继透镜2011(Canon EF，85nm，f/1.8，USM)为第二级中继透镜2012(Computar M0814-MP2，8mm，f/1.4)产生光圈平面，第二级透镜2012将该光圈平面放大到能够覆盖整个成像透镜阵列的大小。最后，放置成像透镜阵列(CCTV SV-10035V，100nm，f/3.5)在二级透镜放大后的光圈平面上，每个子光圈成像到相应传感器上。传感器可以采用PointGray Flea2-08S2C-C RGB彩色相机，像素尺寸为4.65nm，分辨率1024*768，帧率30帧/秒。

另外，根据本发明实施例的显微镜的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做详细赘述。

在本发明的实施例中，显微镜的物镜的空间带宽积(SBP)可表示为：SBP＝F.O.V/(0.5d)2，其中F.O.V＝π(0.5F.N./Magnification)2为物平面的视场大小，d＝0.61λ/N.A.是物镜的衍射极限，0.5来自奈奎斯特采样理论。如图2所示，物镜的SBP表示为SBP 1，约为3130万像素；成像透镜阵列的SBP表示为SBP 2，约为1990万像素。为充分利用光学系统的信息容量，传感器阵列400可以采用25个传感器，一共1960万像素，系统角度分辨率为5*5。为了和第二级中继透镜2012的有效数值光圈相匹配并减少环境光的影响，成像透镜的f/#设为7.0。系统在接近衍射极限分辨率下工作。由于所使用的物镜衍射极限d为0.84μm，衍射极限所限制的每个视角图像的横向分辨率约为4.20μm。

进一步地，在本发明的一个实施例中，通过采用主从服务器构架方式对各传感器之间进行同步采集。其中，本发明实施例可以采用主从服务器的构架实现各传感器之间的同步，同时实现大容量多视角图像和/或视频的存储，并提供用户交互。

在本发明的一个实施例中，主从服务器构架包括一台主服务器和四台从服务器。主服务器和从服务器通过局域网相连，主服务器用于提供用户操作界面，接受用户指令并向从服务器发送控制命令；从服务器接受主服务器的控制命令并控制相机同步采集，不同相机采集后的图像或者视频数据存储于相应的从服务器。

进一步地，在本发明的一个实施例中，参照图2所示，通过对准成像透镜阵列、两级中继系统201和相机引出口的光轴，并将每个相机的光轴汇聚对准到两级中继系统201的第二级中继透镜2012的中心进行光学校准。

具体地，对于几何校准，首先要对准相机阵列、两级中继系统201以及显微镜的相机引出口的光轴，然后将相机阵列中每个相机的光轴汇聚对准到第二级中继透镜2012的中心。校准过程中通过将棋盘格放置在显微镜的像平面位置，采集到的多视角图像并通过简单的平面视差方法实现配准生成校准后的多视角图像。

其次，参照附图描述根据发明实施例提出的穿透散射介质的快速三维成像方法。

参照图3所示，相机阵列中的每个相机具有成像透镜和传感器，相机阵列包括成像透镜阵列和传感器阵列，该F3DIPSM方法包括以下步骤：

S101，通过调节照明模块中偏振片，使其偏振方向和液晶可调滤光片中偏振片偏振方向垂直。

S102，通过显微镜的相机引出口将显微样本散射光成像放大到像平面。

S103，通过内含偏振片的液晶可调滤光片过滤从相机引出口出射的光线，保留特定频谱下显微样本深层反射的去偏散射光。

S104，根据所述过滤后的像平面生成光圈平面，并且将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致。

进一步地，在本发明的一个实施例中，根据像平面生成光圈平面，并且将光圈平面的尺寸与所相机阵列的尺寸匹配相一致具体包括：根据像平面生成光圈平面；以及将光圈平面放大至覆盖整个相机阵列的大小。

S105，成像透镜阵列通过光圈平面获取显微样本在不同视角下的样本图像。

S106，传感器阵列中每个传感器相应地记录与其对应设置的相机获取的样本图像。

S107，对显微样本在不同视角下的所述样本图像进行同步采集和光学校准以获取所述半透明显微样本的不同视角的图像和/或视频。

S108，利用现有的三维解卷积方法对不同视角的图像进行处理，获取显微样本内部的三维结构。

进一步地，在本发明的一个实施例中，通过采用主从服务器构架方式对各传感器之间进行同步。

应理解，根据本发明实施例的穿透散射介质的快速三维成像方法的具体实现过程可与本发明实施例的穿透散射介质的快速三维成像系统的具体实现方式相同，为了减少冗余，此处不做详细赘述。

根据本发明的实施例，通过相机阵列获取半透明显微样本在不同视角下的图像，从而对半透明显微样本在不同视角下的样本图像进行同步采集和光学校准，通过整合传感器整列记录的数据，再利用三维解卷积算法进而实现半透明显微样本内部结构的三维成像。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多的用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。