一种光场光学显微镜及其光场显微成像分析系统的制作方法

本发明涉及显微技术领域，尤其涉及一种光场光学显微镜及其光场显微成像分析系统。

背景技术：

显微镜一直是医学和科学研究中不可缺少的工具，它可以产生小物体的放大图像。但是，传统显微镜存在一些局限性。首先，使用高倍率镜头或更大光圈镜头时，景深非常浅。为了查看大量物体的不同层面的情况，需要可调平台来上下移动物体，这样会难以观察或捕获到生物体或光敏样品的图像，且浅景深限制了小焦点区域的标本观察。其次，单目相机很难在单次曝光中捕捉能够用于生成三维立体图的光场图像；传统的光学显微镜只在一个方向投影，所以只能拍摄二维照片。第三，目前，大多数能够将光场图像转化为三维立体图的采集设备都是为工业和商业用途开发的，造价和费用都较高。因此，普通消费者很难使用到这种采集设备，即便使用到这种采集设备，其操作也较为复杂。

技术实现要素：

本发明本发明提供了一种光场光学显微镜及其光场显微成像分析系统，其结构简单、成本低廉，操作方便，能够进行浅景深的小焦点区域的样品观察且能够准确地捕获光场图像，以生成三维立体图或三维视频。

针对上述技术问题，本发明用于解决以上技术问题的技术方案为，提供了一种光场光学显微镜，包括光学显微镜，还包括：多向照明系统，安装在所述光学显微镜中，用于为光场图像的拍摄和视频记录提供多向光源和可控的光通量；

光场相机，安装在所述光学显微镜的顶部，用于捕获光场图像或记录光场视频。

可选地，所述光场相机包括：数码相机和安装在所述数码相机中的复眼件，所述数码相机包括防护玻璃和位于防护玻璃一侧的图像传感器，所述复眼件安装在所述防护玻璃和图像传感器之间的靠近所述图像传感器的一侧。

可选地，所述复眼件为经过超精密机器加工后在精密成型机中注塑成型而成的微透镜阵列。

可选地，所述光学显微镜包括镜座、安装在镜座上的载物台，且所述载物台的背离所述镜座的一侧侧面上设置有样品放置处，用于放置样品；

所述多向照明系统包括背光照明系统和周围照明系统，所述背光照明系统设置在所述镜座朝向所述载物台的一侧上；所述周围照明系统设置在所述载物台的背离所述镜座的一侧侧面上且环绕所述样品放置处设置，用于为光场图像的拍摄和光场视频的记录提供周向的多向光源和可控的光通量。

可选地，所述周围照明系统包括陈列环、多个led灯和与多个与所述多个led灯一一对应的开关，所述陈列环设置在所述载物台的背离所述镜座的一侧侧面上且环绕所述样品放置处设置，所述多个led灯均匀地分布所述陈列环的环壁上，所述多个开关与所述多个led灯一一对应地设置在陈列环的环壁上。

可选地，光场光学显微镜还包括校正透镜，安装在所述光学显微镜和所述光场相机之间，用于匹配所述光学显微镜和所述光场相机，并校正光路。

本发明还提供了一种光场显微成像分析系统，包括：如权利要求1-8所述的光场光学显微镜；

图像分析处理系统，与所述光场相机相连，用于获取所述光场相机捕获的光场图像和视频，分析和处理所述光场图像，以生成三维立体图或重聚焦图像。

可选地，图像分析处理系统包括：

图像接收模块，与所述光场相机相连，用于获取所述光场相机捕获的光场图像和视频；

分析处理模块，提取所述光场图像和视频的像素，根据所述像素的焦深信息将所述像素分为若干像素组。

图像生成模块，根据所述像素组生成三维立体图或重聚焦图像。

本发明的光场光学显微镜仅通过对现有的数码相机和光学显微镜进行改进即可获得，采用普通光学显微镜和数码相机的操作即可控制本发明中的光场光学显微镜，其操作简便，结构简单。其次，本发明中的复眼件是在图像传感器前设置的微透镜阵列，用于光场图像拍摄。复眼件的生产成本很低，因此，它们可以大批量注塑，可以达到采用低成本即可捕获用于生成三维立体图或者视频的光场图像或视频的技术效果。最后，本申请的多向照明系统可为光场图像拍摄提供足够多向的光线，并且可以在光通量和方向上进行控制，从而使得本申请的光场光学显微镜能够进行浅景深的小焦点区域的样品观察且使得具有复眼件的光场相机能够准确地捕获光场图像。光场显微成像分析系统通过图像分析处理系统对光场图像进行处理，生成三维立体图和深度信息后，可以生成重聚焦的二维图像，通过实现重聚焦进一步克服浅景深限制了小焦点区域的样本观察的技术问题。通过图像分析处理系统，光场显微成像分析系统能够在单次曝光中生成三维立体图或者视频，解决了现有技术中，单目相机很难在单次曝光中捕捉到三维立体图的技术问题。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1本发明提供的光场光学显微镜示意图；

图2本发明提供的复眼件和单个微透镜的尺寸图；

图3为本发明提供的光场光学显微镜立体图；

图4为本发明提供的光场显微成像分析系统的示意图；

图5a为本发明提供的光场显微成像分析系统的示意图；

图5b为本发明提供的光场显微成像分析系统的示意图；

图6a为本发明提供的焦点位于羽毛的分支上的重聚焦图像；

图6b为本发明提供的焦点位于羽毛中部的重聚焦图像；

图6c为本发明提供的焦点位于羽毛右部的重聚焦图像；

图7为本发明提供的关于样品的照射方向示意图；

图8为本发明提供的背部光源照射到样品上的光场图像；

图9为本发明提供的光从样品的后面和背部照射到样品上的光场图像；

图10为本发明提供的光从样品的前面和背部照射到样品上的光场图像；

图11为本发明提供的光从样品的顶部和背部照射到样品上的光场图像。

具体实施方式

为了使本领域技术人员能够更加清楚地理解本发明，下面将结合附图及具体实施例对本发明做进一步详细的描述。

如图1所示，本发明提供一种光场光学显微镜100，包括光学显微镜110；多向照明系统120，安装在所述光学显微镜110中，用于为光场图像的拍摄和视频记录提供多向光源和可控的光通量；光场相机130，安装在所述光学显微镜110的顶部，用于捕获光场图像或记录光场视频。

光场光学显微镜100由三部分组成：光场相机130，光学显微镜110和多向照明系统120。光学显微镜110是从市场上购买的。光学显微镜110提供了基本的显微镜观察。光场相机130是一种定制的数码相机131，它将安装在光学显微镜110的顶部。多向照明系统120是一种定制开发的led灯阵列，为物体提供不同的照明角度。

本发明将普通光学显微镜110与光场相机130相结合，通过多向照明系统120向光场相机130提供多向照明光线，即可形成能够捕获光场图像的光场光学显微镜100，其结构简单且成本较低；操作方面只需基本的光学显微镜110和光场相机130的操作即可捕捉到光场图像，操作方便。本申请的多向照明系统120可为光场图像拍摄提供足够多向的光线，并且可以在光通量和方向上进行控制，使得捕捉到的光场图像可以被用于生成三维立体图或者视频。通过多向照明系统120提供的足够的多向光线，光场相机130可以捕捉光照强度，颜色和方向的信息，并将这些信息反映在光场图像中。在处理光场图像时，可以提取物体位移和景深信息。因此，在光场相机130一次拍摄到光场图像后，可以在图像分析系统处理后实现“重聚焦”的图像。因此，与传统的带有图像传感器1311的光学显微镜110相比，光场光学显微镜100可以捕获处理后能够重聚焦的光场图像，捕获更大的景深图像，使得后续的图像分析系统能够基于光场图像，通过像素合成降低数字噪声并渲染三维物体得到三维立体图像或者三维视频成为可能。可以理解地，视频本身由图帧组成，本发明在能够获得光场图像的情况下，通过组合一句时间顺序获得的每一帧光场图像，即可得到三维视频。

光场相机130具有定制设计的数码相机，包括：数码相机131和安装在所述数码相机131中的复眼件132，所述数码相机131包括防护玻璃和位于防护玻璃一侧的图像传感器1311，所述复眼件132安装在所述防护玻璃(未图示)和图像传感器1311之间的靠近所述图像传感器1311的一侧。所述复眼件132由微透镜阵列经过超精密机器加工后在精密成型机中注塑成型而成。

基于典型的光学显微镜110和数码相机131的技术规范开发的光场光学显微镜100主要通过制备光场相机130和设计光场相机130和光学显微镜110中的光路完成。制造光场相机130主要有三个步骤：第一步，将微透镜阵列放入超精密机器中加工，并在精密成型机中注塑成型为复眼件132。具体地，在复眼件132的制造中，需要充分考虑到图像传感器1311参数，由于图像传感器1311用于采集光场图像，因此，cmos(补充金属氧化物半导体晶体管)图像传感器1311的规格和参数将直接影响微透镜阵列的光学参数。以微米级精密加工微小的微透镜阵列以制备复眼件132的制造工艺包括在超精密机器中进行复眼件132模具嵌入加工，复眼件132注塑成型和测量复眼件132质量。在加工过程中，超精密加工工具路径必须根据光场相机130和光学显微镜110参数，例如复眼件132的厚度，微透镜半径，螺距和高度等参数进行设计。在注塑成型过程中，成型压力，温度，冷却时间等是影响微透镜质量的因素。因此，需要对复眼件132进行表面轮廓测量以测量复眼件132质量，确保复眼件132的表面粗糙度为达到预定标准。如果复眼件132质量低于预定标准，则重复制造过程直到达到上述表面粗糙度的要求为止。可选地，如图2所示，复眼件132包括12万个微透镜，每两个相邻的微透镜之间的间距为0.06mm，每个微透镜的半径为0.5mm，高度为0.0009mm。复眼件132的尺寸为长24.9mm、宽17.4mm、高1mm。在该尺寸下，与一般数码相机的规格和图像传感器的规格较匹配，且能够捕获足够的用于生成三维立体图的光场图像。

第二步，将复眼件132置入普通的商业数码相机131中形成光场相机130，其安装位置位于防护玻璃和图像传感器1311之间的靠近所述图像传感器1311的一侧，在数码相机131中，组件紧密封装，所以安装空间有限，复眼件132紧邻图像传感器1311安装。

第三步，根据复眼件132，光学显微镜110和数码相机131的规格以及复眼件132的规格在zemax中对光路进行仿真，重新设计光学显微镜110中的光路，并根据仿真结果确定光场光学显微镜100的光路，使得整个光学光场显微镜的光路能够满足多项照明系统、光场相机130、光学显微镜110的要求。

可选地，光场光学显微镜100还包括校正透镜140，安装在所述光学显微镜110和所述光场相机130之间，用于匹配所述光学显微镜110和所述光场相机130，并校正光路。校正透镜140用作配件以匹配显微镜和光场相机130，校正光路并适应光场相机130。

本发明的光场光学显微镜100仅通过对现有的数码相机131和光学显微镜110的简单改进即可获得，采用普通光学显微镜110和数码相机131的操作即可控制本发明中的光场光学显微镜100及其显微成像分析系统，其操作简便，结构简单。其次，本发明中的复眼件132是在图像传感器1311前设置的微透镜阵列，用于光场图像拍摄。复眼件132的生产成本很低，因此，它们可以大批量注塑，复眼件132的可以将光场图像投射到图像传感器1311上，从而可以达到采用低成本即可捕获光场图像或视频，并为单次曝光中生成三维立体图或者视频提供原始光场图像的数据输入，解决了现有技术中，单目相机很难在单次曝光中捕捉到光场图像或视频的技术问题。

请结合图1，参见图3所示，光学显微镜110包括镜座111、安装在镜座111上的载物台112，且所述载物台112的背离所述镜座111的一侧侧面上设置有样品放置处(未示出)，用于放置样品113；多向照明系统120包括背光照明系统121和周围照明系统122，背光照明系统121设置在所述镜座111朝向所述载物台112的一侧上。背光照明系统121具有高功率led灯，可在样品113的背部提供充足的光源。通过背光照明系统121，光场光学显微镜100能够拍摄透明和半透明物体的微观图像。可选地，将一凸透镜放置在背光照明系统121和载物台112之间，其功能是将光线聚焦到载物台112上的样品113上。

周围照明系统122设置在载物台112的背离镜座111的一侧侧面上且环绕样品放置处设置，用于为光场图像的拍摄和光场视频的记录提供环绕样品113的多向光源和可控的光通量。周围照明系统122包括陈列环1221、多个led灯1222和与多个所述多个led灯1222一一对应的开关(未示出)，所述陈列环1221设置在所述载物台112的背离所述镜座111的一侧侧面上且环绕所述样品放置处设置，所述多个led灯1222均匀地分布所述陈列环1221的环壁上，所述多个开关与所述多个led一一对应地设置在陈列环1221的环壁上。可以理解地，开关也可以不设置于陈列环1221上。

在本申请一优选实施例中，多个led灯1222的数量为4-12个led灯，均匀分布陈列环1221上，分别与图3中的x轴呈0，30，45，60，75，90度分布在陈列环1221上。多个led灯1222彼此之间在光线温度和光线比率方面具有一致性，从而保证光线的均匀和光通量的控制效果。每个led都有一个单独的开关，用于控制光通量。周围照明系统122中的led灯用于照亮不透明的样品113。当所有周围照明led灯亮起时，将具有足够的光通量来观察样品113表面。当样品113具有复杂形状时，圆形光源是获取三维模型的一种方法，因此，陈列环1221的形状为圆形，并将多个led灯1222均匀地分布在陈列换上以观察具有复杂形状的样品113的表面。通过开关一一对应地独立控制每一个led灯的开关，可以控制光通量和光线的方向。控制光线的方向可以提高三维深度的对比度，而在特定方向增强光线可以在浅层提供光线补偿，从而克服在传统的光学显微镜110中，浅景深限制了小焦点区域的样本观察的技术问题。

本申请的多向照明系统120可为光场图像拍摄提供足够多向的光线，并且可以在光通量和方向上进行控制，能够进行光照补偿，便于用户捕捉多个光学显微图像角度，使得捕捉到的光场图像可以被用于生成三维立体图或者视频。

如图1所示，光学显微镜110还包括镜管114，镜管114具有相对的两端，一端为物镜115，另一端则为光学显微镜的顶部，其上安装有光学相机130或者安装有校正透镜140。镜管114的一侧延伸出目镜管(未图示)，目镜117位于目镜管上。目镜管与镜管114的连通处设置有半透明镜116，用于改变从物镜115处传播来的光线，从而向目镜117提供样品113的显微图像。从物镜115中传播来的光线，一部分通过半透明镜116反射入目镜117中，另一部分则通过半透明镜116直接透射到光场相机130中，或者通过校正透镜140校正后，射入光场相机130中。当然，光学显微镜还包括调节系统(未示出)，用户可以通过目镜117观察样品，并通过调节调节系统对样品113进行聚焦，调节系统为现有技术，在此不再赘述。

现有技术中，大多数三维采集设备都是为工业和商业用途开发的，消费者很难接触到高科技产品，即便接触也很难掌握这种三维采集设备的操作。而本申请通过以上技术方案，使得整个光学光场显微镜是在普通数码相机131和普通光学显微镜110的基础上开发的，结构简单，费用低廉，便于用户熟悉和使用本发明所提供的光场光学显微镜100。

如图4所示，本发明还提供了一种光场显微成像分析系统，包括：如上所述的光场光学显微镜100：还进一步包括图像分析处理系统200，与所述光场相机130相连，用于获取所述光场相机130捕获的光场图像和视频，分析和处理所述光场图像，以生成三维立体图或进行重聚焦。

光场技术在光学显微镜110中的应用，可以捕捉光场图像并在图像分析处理系统200处理后生成三维立体图和景深信息。图像分析处理系统200处理捕获的光场图像，计算深度信息，渲染三维立体图，生成三维立体图并进行重聚焦。还可以将三维显示器或vr显示器将连接到光场显微成像分析系统以显示光场图像。通过图像分析处理系统200对光场图像进行处理，生成三维立体图和深度信息后，可以生成重聚焦的二维图像，能够进一步克服浅景深限制了小焦点区域的样本观察的技术问题。通过图像分析处理系统200，光场显微成像分析系统能够在单次曝光中生成三维立体图或者视频，解决了现有技术中，单目相机很难在单次曝光中捕捉到三维立体图的技术问题。

图像分析处理系统200进一步包括：图像接收模块210，与所述光场相机130相连，用于获取所述光场相机130捕获的光场图像和视频；分析处理模块220，与所述图像接收模块210相连，提取所述光场图像和视频的像素，根据所述像素的焦深信息将所述像素分为若干像素组。图像生成模块230，与所述分析处理模块220相连，根据所述像素组生成三维立体图或进行重聚焦。

分析处理模块220还对图像接收模块210获得的光场图像进行编程分析。光场图像包含光强度，颜色和方向信息。处理完信息后，可以提取样本的物理距离和深度信息。图像生成模块230还用于在组合和计算多个深度信息时，计算样本的整个深度并且可以实现重聚焦图像或基于深度信息生成三维立体图。

下面，用羽毛演示光场显微镜系统。羽毛用40倍物镜拍摄。它在背光照明系统开启的情况下拍摄，原始光场图像如图5a所示。图5b中以100％的比例显示了裁剪出来的部分光场图像，以呈现光场图像中的微透镜阵列图案。

通过图像分析处理系统对光场图像进行图像分析和处理之后，可以获得重聚焦图像。基于不同焦点进行重聚焦的图像如图6a至6c所示，并按照从近到远的顺序示出在图6a至6c中。如图6a所示的羽毛，焦点在羽毛的分支上。如图6b所示的羽毛，焦点在羽毛的中部，因此，中部的羽毛的图像清晰。如图6c所示的羽毛，焦点在羽毛的右部，因此，羽毛的右部锐化且清晰。由此可知，通过本发明的光场光学显微镜和光场显微成像分析系统可以得到清晰的光场图像，并实现重聚焦效果。

多向照明系统的设计确保样本具有足够的光线和可控的照明。陈列环上的多个led灯所提供的圆形光源是获取三维模型的可选方法，该模型在照明补偿中也很有用。

下面将展示具有复杂形状的样品在不同光源下的成像过程。所使用的样品是多根实心电线捆绑在一起的电线束，采用两个主要照明方向进行比较。电线束具有线性图案，易于识别，每根电线之间都具有微小的距离。而且，为了易于展示，照明方向可以简化为两个方向。关于图1中的样品113的照射方向示意图如图7所示，图8至11中显示了四种照明光源组合。全尺寸光场图像显示在左侧和比例为100％的裁剪图像显示在右侧。图8中的光源唯一，光源位于样品的背部，形成仅有背部光源照射到样品上的光场图像。图9中光源位于样品的后面和背部，光从样品的后面和背部照射到样品上的光场图像。图10显示了光源位于样品的前面和背部，光从样品的前面和背部照射到样品上的光场图像。图11显示了光源位于样品的顶部和背部，光从样品的顶部和背部照射到样品上的光场图像。

与多光源相比，背光图像只显示样品的边缘，因此很难分析深度并捕获颜色信息。虽然使用顶部和后面的光源提供基本照明来捕捉光场图像，但图像是平面的且对比度较低。尽管有图像质量，但上层的一些导线阻挡了光线。因此，研究发现前面和后面的光源照明效果较好，结果表明多光源有利于图像分析和处理。因此，本发明采用背部照明系统和周围照明系统，可以得到更好的光源照明效果。

综上所述，本发明的光场光学显微镜仅通过对现有的数码相机和光学显微镜进行改进即可获得，采用普通光学显微镜和数码相机的操作即可控制本发明中的光场光学显微镜，其操作简便，结构简单。其次，本发明中的复眼件是在图像传感器前设置的微透镜阵列，用于光场图像拍摄。在数码相机中加入复眼件制备出光场相机，复眼件的生产成本很低，因此，它们可以大批量注塑，可以达到采用低成本即可捕获用于生成三维立体图或者视频的光场图像或视频的技术效果。最后，本申请的多向照明系统可为光场图像拍摄提供足够多向的光线，并且可以在光通量和方向上进行控制，从而使得本申请的光场光学显微镜能够进行浅景深的小焦点区域的样品观察且使得具有复眼件的光场相机能够准确地捕获光场图像。光场显微成像分析系统通过图像分析处理系统对光场图像进行处理，生成三维立体图和深度信息后，可以生成重聚焦的二维图像，通过实现重聚焦进一步克服浅景深限制了小焦点区域的样本观察的技术问题。通过图像分析处理系统，光场显微成像分析系统能够在单次曝光中生成三维立体图或者视频，可以通过存储模块对三维立体图或者视频进行存储，能够更好地保留实验数据，也可以通过连接3d显示器和vr系统，直接展示该三维立体图或者视频，从而取得更直观准确的显微效果。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。