本发明涉及超分辨率显微镜，特别涉及一种超分辨率显微镜图像的系统及重建方法。
背景技术：
随着现代生物医学的发展，超分辨率(super-resolution，sr)显微镜成为越来越重要的研究工具。为了获得需要的空间分辨率图像，传统的超分辨率显微镜往往通过增加照明量来实现。然而，增加照明量(例如，增加照明时间，增加照明功率)会导致严重的光漂白和光毒性。那么，对于活细胞的超分辨率显微镜应用大大受到了光漂白和光毒性的限制。近些年来，结构光照明显微镜(sim)在利用少量光子获得高空间分辨率方面很出色，具有更高的光子效率。研究表明，sim可以以100hz的时间分辨率进行硬件重建，并且可以利用传统的基于算法的重建来实现5hz至79hz范围内的帧速率。然而，由于sim重建本质上是一种易于产生重建伪影欠定反问题，在重建具有较差信噪比的原始图像时，常规的处理方法通常产生较大的伪影。
此外，长时间超分辨成像显微镜在应用方面也面临一些问题。开发更亮更耐光的染料通常被认为是实现长时间超分辨成像的有效方法。然而，某些高密度的细胞蛋白质的荧光标记存在很大的困难，且用于可发光染料的高照度可能与内生发色团相互作用以产生光损伤。而且，对于常用的荧光基团，例如egfp，因为较高的激发强度降低了荧光分子在发射状态的可能性，egfp的荧光发射在大约1.5kw/cm2的功率下饱和。简单地增加超过阈值的照明功率会诱导egfp的非线性光漂白，这会限制成像持续时间。
因此，超分辨率显微镜及其图像重建的方法仍有巨大的改进和发展空间。
技术实现要素：
本发明的目的在于提供一种成像系统(即，超分辨显微镜)及其图像的处理方法和系统。
第一方面，本发明披露了一种图像重建方法。该方法包括：基于至少两组原始图像，得到超分辨图像。其中，每组原始图像包括至少两张原始图像，所述至少两组原始图像中的至少一组原始图像与所述至少两组原始图像中的其他组原始图像有一张或多张原始图像相同。
在一些实施例中，所述至少两组原始图像中连续的两组原始图像有一张或多张原始图像相同。
在一些实施例中，所述至少两组原始图像中连续的两组原始图像有六张原始图像相同。
在一些实施例中，所述方法进一步包括：将方向和相位相同的至少两张原始图像进行平均，得到平均图像；基于所述平均图像，得到所述超分辨图像。
在一些实施例中，所述方法进一步包括：基于所述超分辨图像，建立目标函数；基于所述目标函数，得到去噪图像。其中，所述目标函数包括海森惩罚项，所述海森惩罚项与所述去噪图像在横坐标方向、纵坐标方向和时间坐标方向上的海森矩阵有关。
在一些实施例中，所述海森矩阵中涉及时间坐标的元素与一个或多个参数有关，所述一个或多个参数表示时空坐标方向上的惩罚力度。
在一些实施例中，当样品进行超速运动时，所述一个或多个参数为零。其中，所述样品用于获取所述原始图像。
第二方面，本发明披露了一种图像重建系统。该系统包括生成模块。所述生成模块用于：基于至少两组原始图像，得到超分辨图像。其中，每组原始图像包括至少两张原始图像，所述至少两组原始图像中的至少一组原始图像与其他组原始图像有一张或多张原始图像相同。
在一些实施例中，所述系统进一步包括确定模块和生成模块。所述确定模块用于将至少两张相位和方向相同的原始图像进行平均得到平均图像，并基于所述平均图像确定重建参数。所述生成模块用于基于所述重建参数，得到所述超分辨图像。
在一些实施例中，所述系统进一步包括去噪模块。所述去噪模块用于：基于所述超分辨图像，建立目标函数；基于所述目标函数，得到去噪图像。其中，所述目标函数包括海森惩罚项，所述海森惩罚项与所述去噪图像在横坐标方向、纵坐标方向和时间坐标方向上的海森矩阵有关。
第三方面，本发明披露了一种计算机可读存储介质。所述存储介质存储计算机指令，所述计算机指令运行时执行所述图像重建方法。
第四方面，本发明披露了一种图像重建装置的装置。所述装置包括图像重建装置的程序，所述图像重建装置的程序运行时执行所述图像重建方法。
第五方面，本发明披露了一种成像系统，包括光源、空间光调制器、二向色镜、物镜和探测器，其特征在于，所述成像系统进一步包括偏振旋转器。所述偏振旋转器用于调整照明图案的衍射光的偏振方向，使所述衍射光的偏振方向一致，以及当所述照明图案的方向发生变化时，所述偏振旋转器固定不动。
在一些实施例中，所述偏振旋转器包括两块第一玻璃片和四块第二玻璃片。所述第一玻璃用于保持入射光的偏振方向；所述第二玻璃用于改变入射光的偏振方向。
在一些实施例中，所述二向色镜包括一层或多层光学膜。所述一层或多层光学膜用于保持入射光的偏振方向。
在一些实施例中，所述系统进一步包括时间序列产生模块。所述时间序列产生模块用于产生时间序列。所述时间序列用于使所述系统在同步触发模式下工作。
附图说明
图1所示的是荧光成像系统的一种示例性系统配置示意图；
图2是用于实现本发明技术方案的专用系统的示例性计算设备的框图；
图3是根据本发明技术方案的一些实施例示出的示例性处理器的结构框图；
图4是根据本发明技术方案的一些实施例示出的基于原始图像获取去噪图像的示例性流程示意图；
图5是根据本发明技术方案的一些实施例示出的基于原始图像获取去噪图像的示例性流程示意图；
图6是根据本发明技术方案的一些实施例示出的基于原始图像获取去噪图像的示例性流程示意图；
图7是根据本发明技术方案的一些实施例示出的示例性偏振旋转器结构示意图；
图8是根据本发明技术方案的一些实施例示出的示例性偏振旋转器功能示意图；
图9是根据本发明技术方案的一些实施例示出的海森重建方法示例性流程示意图；
图10是根据本发明技术方案的一些实施例示出的示例性时间序列示意图；
图11至图16描述的是在亚毫秒曝光期间，使用不同算法重建得到的一种密集堆积的细胞肌动蛋白结构的超分辨图像的相关实验结果；
图17至图19描述的是在亚毫秒曝光期间，使用不同算法重建得到的另一种密集堆积的细胞肌动蛋白结构的超分辨图像的相关实验结果；
图20至图27描述的是活细胞中细胞骨架结构的双色超快速超分辨成像的相关实验结果；
图28至图30描述的是平均照明功率和脉冲激发的曝光时间与光漂白的关系；
图31至图39描述的是通过海森算法鉴定四种关键的胞吐中间体，包括放大的孔隙收缩阶段；
图40至图46描述的是不同配置下超分辨图像的分辨率；
图47至图49描述的是由可变速度运动的荧光微珠产生的可能运动伪影；
图50至图52描述的是原始图像中的过度噪声破坏后的维纳重建会产生随机伪影，可以通过使用海森算法来抑制；
图53至图57描述的是不同的错误参数导致的重建伪影；
图58至图61描述的是海森算法中选择不同的参数μ和σ对重建结果的影响；
图62和图63描述的是在重建受过度噪声干扰的合成图像时利用其他算法对海森算法进行基准性能分析；
图64至图66描述的是不同激发方案引起的不同光漂白过程；
图67至图70描述的是活ins-1细胞中eb3-egfp的长时间跟踪和重建的超分辨率微管结构；
图71和图72描述的是用超速sim解析快速运动的囊泡；
图73至图75描述的是小er环(erloops)快速运动的跟踪和解析；
图76和图77描述的是刺激引起分泌囊泡的双相释放，其中fnr和fr融合具有不同的峰值荧光振幅；
图78至图80描述的是滚动重建提供了更多时间轴上的信息；
图81至图88描述的是海森重建减少了由dii标记的活lsec和固定lsec的维纳重建产生的伪像；
图89描述的是用hessian-sim获得的荧光强度与用tirf显微镜获得的荧光强度相关；
图90描述的是将海森重建应用于超快2d-sim可抑制维纳反卷积产生的伪影；
图91至图94描述的是用尼康n-sim拍摄并用海森算法去噪的3d肌动蛋白丝；
图95至图98描述的是hessian-sim下活细胞中线粒体嵴结构的动态过程。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“安装在……上”、“与……连接”可以指直接连接、安装，也可以指通过一个或多个中间件和/或连接件间接连接、间接安装。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1所示的是荧光成像系统的一种示例性系统配置示意图。所述荧光成像系统可以对样品成像，得到原始图像。示例性成像系统100可以包括光源101、声光可调谐滤波器(aotf)102、棱镜103、光纤104、棱镜105、偏振分束器(pbs)106、半玻片(hwp)107、空间光调制器108、棱镜109、掩膜110，偏振旋转器(pr)111、棱镜112、棱镜113、二向色镜(dm)114、物镜115、样品116、棱镜117、探测器118和散光吸收器119。图示中的箭头表示光在光路中传输的方向。
在一些实施例中，成像系统100可以是结构光照明显微镜。成像系统100可以应用于二维结构光照明荧光显微镜(2d-sim)、三维结构光照明荧光显微镜(3d-sim)、全内反射结构光照明荧光显微镜(tirf-sim)等。对于tirf-sim，成像系统100使用正弦照明光作为激发光源，产生tirf-sim原始数据集。所述正弦照明光具有三个方向的照明图案，三个方向之间的间隔为60°，每个方向上具有三个相位差为120°的相位。所述tirf-sim数据集由多组原始图像组成，每组原始图像包括九张原始图像。
在一些实施例中，成像系统100可以根据时间序列运行。所述时间序列可以使成像系统100在同步触发模式下工作。所述同步触发模式可以有效地协调空间光调制器108的照明图案生成和相机读出间隔。例如，对于256*128像素的图像区域，所述同步触发模式可以使探测器118获取原始图像的速率为873hz，此时曝光时间最短达到0.5毫秒左右，切换时间在0.65毫秒左右。又例如，对于256*72像素的图像区域，所述同步触发模式可以使探测器118获取原始图像的速率为1692hz，此时曝光时间最短达到0.2毫秒左右，切换时间在0.39毫秒左右。更多关于时间序列的说明可以参见图10的描述。
在一些实施例中，在长时间使用适度的照明功率情况下，成像系统100可以实现高速、高保真超分辨图像成像。成像系统100可以具有较高的光子收集效率、较高的光子转换率，以及较小的重建伪影。此时，成像系统100可以具有基于结构光照明的高数值孔径(例如，1.7)的tirf照明系统。成像系统100具有高帧率的铁电液晶空间光调制器108。成像系统100具有峰值量子效率为82％的探测器118(scmos相机，orca-flash4.0v2，hamamatsu)。具体关于成像系统100的描述如下。
光源101可以用于发射激光。在一些实施例中，光源101可以由一种或多种激光器组成。从而，光源101可以发射出一种或多种激光。声光可调谐滤波器102可以用于合并、切换和调整光源101的照明功率。棱镜103可以为准直透镜，用于将光源101发射的激光耦合到光纤104。光纤104可以为偏振保持单模光纤，用于将激光传输到棱镜105。经棱镜105可以为准直透镜，用于准直激光。偏振分束器106、半玻片107和空间光调制器108可以组成纯相位光栅，纯相位光栅可以生成相位单一的衍射光。棱镜109可以将纯相位光栅发射出的衍射光消除色差后聚焦到中间的瞳面上。纯相位光栅发射出的衍射光为多级衍射光，例如，0级衍射光，±1级衍射光，±2级衍射光。掩膜110可以设置在所述瞳面上，用于阻挡所述衍射光中的0级衍射光和其他杂散光通过，仅允许所述多级衍射光中的±1级衍射光通过。偏振旋转器111用于调制所述±1级衍射光。棱镜112和棱镜113用于传输和准直所述±1级衍射光。二向色镜114可以允许荧光穿过，而将其他光反射出去。物镜115用于聚焦所述±1级衍射光，使之在像平面发生干涉，生成干涉光。样品116经干涉光激发后发射出荧光。棱镜117用于传输和准直所述荧光。探测器118用于捕获所述荧光，生成原始图像。散光吸收器119用于吸收光源101发射出的杂散光。
空间光调制器108可以生成和显示照明图案。所述照明图案由平行线组成。在一些实施例中，可以用空间光调制器108上的铁电液晶生成照明图案。空间光调制器108可以是sxga-3dm、qxga-3dm或第四维显示器。
在一些实施例中，空间光调制器108可以周期性地生成和显示照明图案。每个照明图案生成和显示周期内，空间光调制器108生成和显示两个或两个以上方向上的照明图案，每个方向上的照明图案具有多个相位。不同方向上的照明图案具有的多个相位是相同的。所述多个相位可以通过平移照明图案得到。
在一些实施例中，对于tirf-sim，在一个照明图案生成和显示周期内，空间调制器108可以生成和显示三个方向上的照明图案，每个方向上的照明图案具有三个相位。所述三个方向之间的夹角为60°，即180°/3。将每个方向上的照明图案平移两次，可以得到三个相位的照明图案，每个相位之间的夹角为为120°，即360°/3。那么，一个周期内，空间光调制器108可以生成和显示九个照明图案。
具体地，空间光调制器108生成具有第一相位的第一方向上的照明图案。将所述照明图像平移两次，分别得到具有第二相位和第三相位的第一方向上的照明图像。然后，空间光调制器108生成具有第一相位的第二方向上的照明图案。将所述照明图像平移两次，分别得到具有第二相位和第三相位的第二方向上的照明图像。最后，空间光调制器108生成具有第一相位的第三方向上的照明图案。将所述照明图像平移两次，分别得到具有第二相位和第三相位的第三方向上的照明图像。从而，空间光调制器108完成了一个周期内的照明图案的生成和显示。
物镜115的数值孔径可以为1.1、1.4、1.7等。数值孔径描述了物镜115收光椎角的大小。数值孔径越大，成像系统100的收光能力越大，获取的原始图像的空间分辨率越高。在一些实施例中，对于2d-sim和/或tirf-sim，物镜后焦面上的环的半径为5.2mm和3.1mm。相应地，物镜115的激发数值孔径分别为1.45和0.9。
样品116可以是生物结构、生物组织、生物大分子、蛋白质、细胞、微生物或其他物质。所述细胞可以包括，人脐静脉内皮细胞(huvecs)、ins-1细胞、hek293细胞、肝窦内皮细胞(lsecs)、cos-7细胞等。在一些实施例中，样品116可以是荧光物质。所述荧光物质被激发后可以发射出荧光。在一些实施例中，样品116可以是非荧光物质。所述非荧光物质经过荧光标记，再被激发可以发射出荧光。在一些实施例中，成像系统100可以对样品116进行在线方法成像。此时，样品116需要进行一些预处理，以下关于样品116预处理的描述仅作为示例。
当成像系统100对huvecs进行在线方法成像时，所述huvecs可以在补充有成纤维细胞生长因子、肝素和20％胎牛血清(fbs)的m199培养基(thermofisherscientific，31100035)中，或在含有内皮细胞生长补充物(ecgs)和10％fbs的ecm培养基中分离和培养。用逆转录病毒系统感染huvecs，使之表达lifeact-egfp。将转染的细胞培养24小时后，使用胰蛋白酶-edta分离，接种于聚-l-赖氨酸涂布的盖玻片(h-laf10l玻璃，反射指数：1.788，厚度：0.15mm，定制)上，并在实验前在37℃和5％co2的培养箱中培养20-28小时。为了标记细胞中的微管蛋白，将细胞与浓度为1μm的sir-微管蛋白(cytoskeleton，inc.cy-sc006)在37℃下的生长培养基中温育2小时，然后在没有洗涤情况下对其成像。
当成像系统100对ins-1细胞进行在线方法成像时，根据制造商的说明书，使用lipofectaminetm2000试剂(thermofisherscientific，11668019)使ins-1细胞转染vamp2-phluorin/eb3-egfp/npy-phluorin/vamp2-mneongreen。转染后，使用胰蛋白酶-edta将细胞分离，接种到聚-l-赖氨酸包被的盖玻片上，并在实验前在37℃和5％co2的培养箱中培养20-28小时。采用与huvecs相同的方法标记ins-1细胞中的微管蛋白。对于在ins-1细胞中进行的实验，我们用含有70mmkcl和20mm葡萄糖的溶液刺激细胞，并在成像系统100中观察细胞骨架动力学和囊泡融合。
当成像系统100对hek293细胞进行在线方法成像时，hek293细胞在高葡萄糖达尔伯克氏改良的伊格尔氏培养基(dmem)(hyclone，sh30022.01)培养，并用lipofectaminetm2000转染kdel-egfp/stim1-mko。所述培养基中含有10％fbs、50u/ml青霉素和50μg/ml链霉素(thermofisherscientific，15140122)。
当成像系统100对肝窦内皮细胞(lsecs)进行在线方法成像时，将lsecs分离并铺在100μg/ml胶原包被的盖玻片上，成像前将lsecs放在补充有10％fbs，1％l-谷氨酰胺，50u/ml青霉素和50μg/ml链霉素的高葡萄糖dmem中进行培养6小时。所述高葡萄糖dmem放置在37℃和5％co2条件下的培养箱中。然后将细胞在室温下用4％甲醛固定15分钟，然后将活细胞与dii(100μg/ml，biotium，60010)在37℃温育15分钟，从而进行dii标记。
当成像系统100对cos-7细胞进行在线方法成像时，将cos-7细胞在补充有10％fbs和1％100mm丙酮酸钠溶液(sigma-aldrich，s8636)的高葡萄糖dmem中进行培养。所述高葡萄糖dmem放置在37℃和5％co2条件下的培养箱中。然后使用胰蛋白酶-edta将细胞分离，接种到聚-l-赖氨酸包被的盖玻片上，并在实验前再培养2-18小时。之后，将cos-7细胞与500nmmitotrackertmgreenfm(thermofisherscientific，m7514)在高葡萄糖dmem中在37℃温育30分钟，对cos-7细胞中的线粒体进行标记。最后洗涤cos-7细胞，并在含有ca2+、mg2+但不含苯酚红(thermofisherscientific，14025076)的hbss溶液中成像。
需要注意的是，对上述细胞进行在线方法成像前，需要对细胞进行支原体感染测试。
为了最大化样品116发射出的荧光信号的调制对比度，需要使射入物镜115的两束入射光的偏振方向均为s方向(与s方向相对应的是p方向)。在一些实施例中，成像系统100可以通过液晶延迟器来调节所述两束入射光的偏振方向。但所述液晶延迟器在两个偏正方向上切换的时间为毫秒级，降低了成像系统100的成像速度。在一些实施例中，成像系统100可以使用偏振旋转器111来调节所述两束入射光的偏振方向。偏振旋转器111可以消除两个偏振方向上切换的时间。例如，对于2d-sim和/或tirf-sim，偏振旋转器111可以由六部分组成，两块第一玻璃和四块第二玻璃。所述第一玻璃可以保持入射光的偏振方向，例如，bk7玻片。所述第二玻璃可以改变入射光的偏振方向，例如，半玻片。通过偏振旋转器111的线偏振光束可以具有与偏振旋转器111半径相切的偏振方向，从而消除了不同照明偏振之间的切换时间。又例如，对于3d-sim，偏振旋转器111可以由十部分组成，两块第三玻璃和八块第四玻璃。所述第三玻璃可以保持入射光的偏振方向，例如，bk7玻片。所述第四玻璃可以改变入射光的偏振方向，例如，四分之一玻片。更多关于偏转旋转器111的说明可以参见图7和图8的描述。
探测器118可以生成原始图像。一张原始图像对应于一个照明图案。一个照明图案对应于一个方向和一个相位。那么，一张原始图像对应于一个方向和一个相位。参考上文关于空间光调制器108的描述，空间光调制器108可以周期性地生成和显示照明图案。一个照明图案生成和显示周期内，空间光调制器108生成和显示的照明图案对应的方向和/或相位是不同的。相应地，探测器118可以周期性地生成原始图像。一个原始图像生成周期内，探测器118生成的原始图像对应的方向和/或相位是不同的。原始图像生成周期与照明图案生成和显示周期是一一对应的。
为了方便描述，每个原始图像生成周期内，探测器118生成的原始图像为一组原始图像。一组原始图像可以重建出一张超分辨图像。在一些实施例中，对于2d-sim和tirf-sim，一个照明图案生成和显示周期内，空间光探测器108显示了三个方向上的照明图案。相应地，一个原始图像生成周期内，探测器118可以生成3*3(即，9)张原始图像。所述9张原始图像构成一组原始图像。一组原始图像可以重建出一张超分辨图像。此时探测器118原始图像生成速率为超分辨图像成像速率的九倍。例如，当探测器118原始图像生成速率为873hz时，超分辨图像成像速率则为97hz(即，873hz/9)。又例如，当探测器118原始图像生成速率为1692hz时，超分辨图像成像速率则为188hz(即，1692hz/9)。在一些实施例中，对于3d-sim，一个照明图案生成和显示周期内，空间光探测器108显示了三个方向上的照明图案。相应地，一个原始图像生成周期内，探测器118可以生成5*3(即，15)张原始图像。所述15张原始图像构成一组原始图像。一组原始图像可以重建出一张超分辨图像。此时探测器118原始图像生成速率为超分辨图像成像速率的十五倍。
一组原始图像对应一个时间点。所述时间点表示成像系统100生成一组原始图像对应的时刻。第一个时间点对应的原始图像组为第一组原始图像，第二个时间点对应的原始图像组为第二组原始图像，以此类推，第n个时间点对应的原始图像组为第n组原始图像。连续两个时间点对应的原始图像组为连续的两组原始图像。
在一些实施例中，探测器118可以生成多组原始图像。对多组原始图像进行重建，可以得到多张超分辨图像。所述多张超分辨图像组成一个视频流，每张超分辨图像为所述视频流中的一帧。因此，本申请中的超分辨图像成像速率和帧速率表达了相同的含义，两者之间可以互换使用。
为了充分地说明成像系统100的工作机制，以下描述仅作为示例。光源101由sapphire488lp-200，coherent、sapphire561lp-200，coherent、andmrliii-640-150，ilphotonics三种激光器组成，发射出激光。声光可调谐滤波器102用于合并、切换和调整所述三种激光器的照明功率。棱镜103为准直透镜(焦距：10mm，lightpath)，将光源101发射的激光耦合到光纤104。光纤104为偏振保持单模光纤(qpmj-3af3s，ozoptics)，将所述激光传输到棱镜105(cfiplanapochromatlambda2xn.a.0.10，nikon)。经棱镜105准直后的激光进入纯相位光栅，发生衍射，生成多级衍射光。所述多级衍射光经过棱镜109(ac508-250，thorlabs)消除色差后聚焦到中间的瞳面上。通过掩膜110的±1级衍射光经过偏振旋转器111调制后，穿过棱镜112(ac254-125，thorlabs)和棱镜113(itl200，thorlabs)，在二向色镜114处发生反射。然后反射光穿过物镜115，生成干涉光。样品116经干涉光激发后发射出荧光。所述荧光经物镜115收集后穿过二向色镜114和棱镜117，经图像分离器(w-viewgemini，hamamatsu，日本，图中未示出)分离，然后被探测器118(scmos照相机，flash4.0v2，hamamatsu，日本)捕获。
图2是用于实现本发明技术方案的专用系统的示例性计算设备200的框图。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出接口230和通信通信端口240。
处理器210可以执行计算指令(程序代码)并执行本发明描述的功能。所述计算指令可以包括程序、对象、组件、数据结构、过程、模块和功能(所述功能指本发明中描述的特定功能)。例如，处理器210可以重建从成像系统100获得的原始图像，得到超分辨图像。又例如，处理器210可以处理重建得到的超分辨图像，得到去噪图像。在一些实施例中，处理器210可以包括微控制器、微处理器、精简指令集计算机(risc)、专用集成电路(asic)、应用特定指令集处理器(asip)、中央处理器(cpu)、图形处理单元(gpu)、物理处理单元(ppu)、微控制器单元、数字信号处理器(dsp)、现场可编程门阵列(fpga)、高级risc机(arm)、可编程逻辑器件以及能够执行一个或多个功能的任何电路和处理器等，或其任意组合。仅为了说明，图2中的计算设备200只描述了一个处理器，但需要注意的是本发明中的计算设备200还可以包括多个处理器。
存储器220可以存储从成像系统100的任何其他组件获得的数据/信息，例如，原始图像、超分辨图像、去噪图像。在一些实施例中，存储器220可以包括大容量存储器、可移动存储器、易失性读取和写入存储器和只读存储器(rom)等，或其任意组合。示例性大容量存储器可以包括磁盘、光盘和固态驱动器等。可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘和磁带等。易失性读取和写入存储器可以包括随机存取存储器(ram)。ram可以包括动态ram(dram)、双倍速率同步动态ram(ddrsdram)、静态ram(sram)、晶闸管ram(t-ram)和零电容(z-ram)等。rom可以包括掩模rom(mrom)、可编程rom(prom)、可擦除可编程rom(perom)、电可擦除可编程rom(eeprom)、光盘rom(cd-rom)和数字通用盘rom等。
输入/输出接口230可以用于输入或输出信号、数据或信息。在一些实施例中，输入/输出接口230可以包括输入装置和输出装置。示例性输入装置可以包括键盘、鼠标、触摸屏和麦克风等，或其任意组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等，或其任意组合。示例性显示装置可以包括液晶显示器(lcd)、基于发光二极管(led)的显示器、平板显示器、曲面显示器、电视设备、阴极射线管(crt)等，或其任意组合。
通信端口240可以连接到网络以便数据通信。所述连接可以是有线连接、无线连接或两者的组合。有线连接可以包括电缆、光缆或电话线等，或其任意组合。无线连接可以包括蓝牙、wi-fi、wimax、wlan、zigbee、移动网络(例如，3g、4g或5g等)等，或其任意组合。在一些实施例中，通信端口240可以是标准化端口，如rs232、rs485等。在一些实施例中，通信端口240可以是专门设计的端口。例如，通信端口240可以根据数字成像和医学通信协议(dicom)进行设计。
图3是根据本发明技术方案的一些实施例示出的示例性处理器210的结构框图。处理器210可以包括：获取模块310、确定模块320、生成模块330和去噪模块340。
获取模块310，用于获取原始图像。所述原始图像可以是成像系统100(例如，探测器118)采集的。作为示例，获取模块310可以获取9n张原始图像，n为正整数。所述9n张原始图像由成像系统100(tirf-sim)采集。
确定模块320，用于确定重建参数。所述重建参数包括估计的照明光向量、照明光向量的调制深度和初始相位像。
在一些实施例中，确定模块320可以基于一组原始图像确定重建参数。例如，确定模块320可以基于任一一组原始图像确定重建参数。又例如，确定模块320可以基于信噪比高的一组原始图像确定重建参数。
在一些实施例中，确定模块320可以基于一组平均图像确定重建参数。所述一组平均图像的方向和相位与一组原始图像一一对应。所述平均图像的像素值为至少两张原始图像的平均像素值。定模块320可以按方向和相位对至少两张原始图像进行平均，即确定模块320将对应于相同方向和相位的至少两张原始图像进行平均，得到一张平均图像。
在一些实施例中，确定模块320可以基于一张或多张原始图像和一张或多张平均图像确定重建参数。应当理解的是，所述一张或多张原始图像和所述一张或多张平均图像构成一组图像。所述一组图像的方向和相位与一组原始图像一一对应。
在一些实施例中，确定模块320可以利用归一化互相关方法确定重建参数。更多关于确定重建参数的说明可以参考图5的描述。
生成模块330，用于基于重建参数和原始图像得到超分辨图像。一组原始图像可以重建一张超分辨图像。生成模块330可以对多组原始图像进行重建，得到多张超分辨图像。所述多张超分辨图像可以组成一个视频流。
生成模块330可以采用维纳滤波对多组原始图像进行重建。在一些实施例中，生成模块可以采用普通重建或滚动重建。所述普通重建是指用于重建的多组原始图像中的任一组原始图像中的任一原始图像与其他组原始图像不同。所述滚动重建是指用于重建的多组原始图像中的至少一组原始图像与其他组原始图像有一张或多张原始图像相同。在一些实施例中，所述多组原始图像中连续的两组原始图像有一张或多张原始图像相同。更多关于普通重建和滚动重建的说明可以参考图4的描述。
当用于重建的原始图像相同时，相较于普通重建，滚动重建得到的超分辨图像具有更高的时间分辨率。例如，使用tirf-sim，以188hz的帧速率对囊泡融合事件进行成像，获取了多张原始图像。对所述多张原始图像进行普通重建，发现囊泡融合事件的(41±5％)包含囊泡塌陷(t2)中间物。此结果作为基础事实，用于之后的对比。然后，对所述多张原始图像进行一半时间的下采样，生成帧速率为94hz的原始图像数据集。对所述数据集进行滚动重建后发现，在滚动重建下囊泡融合事件的(45±6％)包含囊泡塌陷(t2)中间物，与(41±5％)差异很小。而对所述数据集进行普通重建后发现，在普通重建下囊泡融合事件的(27±6％)包含囊泡塌陷(t2)中间物，远远小于(41±5％)。此外，在滚动重建下，更精确地估计t1和t2中间体的同时，可以识别出了另外一个t3中间体。
去噪模块340，用于基于超分辨图像，得到去噪图像。所述去噪图像具有较少的或没有伪影。
在一些实施例中，去噪模块340可以采用rl(richardson-lucy)算法得到去噪图像。具体关于rl方法的描述可以参考perez等发表在scientificreports上的论文“optimal2d-simreconstructionbytwofilteringstepswithrichardson-lucydeconvolution”，或müller等发表在naturecommunications上论文“open-sourceimagereconstructionofsuper-resolutionstructuredilluminationmicroscopydatainimage”。
在一些实施例中，去噪模块340可以采用总方差(tv)算法得到去噪图像。具体关于tv算法的描述可以参考chu等发表在opticsexpress上的论文“imagereconstructionforstructured-illuminationmicroscopywithlowsignallevel”。
在一些实施例中，去噪模块340可以采用海森算法(hessian)得到去噪图像。实验表明，hessian-sim可以在使用光子剂量小于常规结构光照明显微镜所需的10％的同时，获得最小伪影的超分辨图像(即去噪图像)。为了充分描述hessian-sim在去噪方面的优越性能，举例如下。
例如，在约8至250w/cm2的适度照明强度下，hessian-sim使得88nm和188hz的快速移动的分泌囊泡和内质网结构的超分辨成像没有运动伪影。所述超分辨图像可以用于鉴定新型的囊泡融合中间体。又例如，使用hessian-sim，可以观察到线粒体融合、裂变和嵴间重塑期间线粒体嵴结构的动态。又例如，在暗恢复时间之后的亚毫秒激发脉冲可以显着延长了egfp分子在光漂白之前的寿命，在延长的寿命期间，可以以97hz对密度堆积的细丝结构和稀疏的囊状结构连续超分辨成像，分别有6,800和58,200个连续时间点，比以前记录的时间长两个数量级。再例如，以1hz运行的超灵敏型hessian-sim可以实现长达一小时的时间推移超分辨成像，并缓解光漂白现象。
应当理解的是，以上描述仅作为示例，并不限制hessian-sim的应用范围，hessian-sim可以对各种试验下获取的超分辨图像进行去噪，从而获取去噪图像。更多关于确定超分辨图像去噪的说明可以参考图4和图5的描述。
图4是根据本发明技术方案的一些实施例示出的基于原始图像获取去噪图像的示例性流程示意图。为了方便流程400的描述，假设流程400重建的原始图像为成像系统100(tirf-sim)生成的9n张原始图像，且九张原始图像组成一组原始图像。流程400可以包括：
步骤410，获取模块310可以获取原始图像。所述原始图像可以由样品116成像得到的。所述原始图像可以由成像系统100(例如，探测器118)采集的。
作为示例，获取模块310可以获取9n张原始图像，n为正整数。所述9n张原始图像由成像系统100(tirf-sim)采集。按照生成时间的先后将9n张原始图像进行排序。应当理解的是，第1张原始图像、第10张原始图像、……、第(9n-8)张原始图像对应的方向和相位是相同的，第2张原始图像、第11张原始图像、……、第(9n-7)张原始图像对应的方向和相位是相同的，以此类推，第9张原始图像、第18张原始图像、……、第9n张原始图像对应的方向和相位是相同的。
根据一组原始图像的起始图像不同，上述9n张原始图像可以划分为不同的原始图像组。例如，当一组原始图像的起始图像为第1张原始图像时，第1-9张原始图像、第10-18张原始图像、第19-27张原始图像等可以分别组成一组原始图像。又例如，当一组原始图像的起始图像为第4张原始图像时，第4-12张原始图像、第7-15张原始图像、第10-18张原始图像等可以分别组成一组原始图像。再例如，当一组原始图像的起始图像为第7张原始图像时，第7-15张原始图像、第10-18张原始图像、第13-21张原始图像等可以分别组成一组原始图像。
此时，上述9n张原始图像至多可以被划分为(3n-2)组原始图像，即，第1-9张原始图像组成的第一组原始图像、第4-12张原始图像可以组成的第二组原始图像、……、第(9n-11)-(9n-3)张原始图像组成的第(3n-3)组原始图像、第(9n-8)-9n张原始图像组成的第(3n-2)组原始图像。
由以上描述可以发现，连续两组原始图像的起始图像的间隔为一个方向上的照明图案对应的相位数量(即，三)，这是由超分辨成像本身的性质决定的。可以理解的是，当原始图像是对于3d-sim采集时，即一个方向上的照明图案对应的相位数量为五时，连续两组原始图像的起始图像的间隔为五。
在一些实施例中，获取模块310获取的原始图像可能具有高或低的信噪比。对于由对准良好的成像系统100采集的高对比度的原始图像一般具有比较高的信噪比。而样品116快速运动、较短的曝光时间、成像系统100的缺陷(例如，白噪声)等会造成原始图像的信噪比较低。
步骤420，确定模块310可以基于所述原始图像确定重建参数。
在一些实施例中，确定模块320可以直接基于原始图像确定重建参数。例如，确定模块320可以基于任一一组原始图像，如第一组原始图像、第二组原始图像、或其他任一一组原始图像，确定重建参数。又例如，确定模块320可以基于信噪比高的一组原始图像确定重建参数。
在一些实施例中，确定模块320可以间接基于原始图像确定重建参数。具体地，确定模块320可以基于原始图像确定平均图像，然后基于平均图像确定重建参数。在本申请中，基于平均图像确定重建参数的方法称为平均重建。
在一些特殊的实施例中，确定模块320可以基于一组平均图像确定重建参数。作为示例，确定模块320可以对第1张原始图像、第10张原始图像、……、第(9n-8)张原始图像中的至少两张进行平均，得到第一张平均图像。确定模块320可以对第2张原始图像、第11张原始图像、……、第(9n-7)张原始图像中的至少两张进行平均，得到第二张平均图像。以此类推，确定模块320可以对第9张原始图像、第18张原始图像、……、第9n张原始图像中的至少两张进行平均，得到第九张平均图像。从而，确定模块320确定了一组平均图像，然后在基于一组平均图像确定重建参数。
在另一些特殊的实施例中，确定模块320可以基于一张或多张原始图像和一张或多张平均图像确定重建参数。所述一张或多张原始图像和所述一张或多张平均图像构成一组图像。所述一组图像的方向和相位与一组原始图像一一对应。作为示例，确定模块可以基于第一张原始图像和第二至九张平均图像确定重建参数。
在一些实施例中，确定模块320可以利用归一化互相关方法确定重建参数。更多关于确定重建参数的说明可以参考图5的描述。
步骤430，生成模块330可以基于所述重建参数和所述原始图像得到超分辨图像。一组原始图像可以重建一张超分辨图像。生成模块330可以对多组原始图像进行重建，得到多张超分辨图像。所述多张超分辨图像可以组成一个视频流。
在一些实施例中，生成模块330可以采用基于维纳滤波的普通重建。作为示例，对9n张原始图像进行重建，生成模块330可以对第1-9张原始图像组成的一组原始图像、第10-18张原始图像组成的一组原始图像、……、第(9n-8)-9n张原始图像组成的一组原始图像进行重建。每组原始图像中的原始图像均是不同的。此时，生成模块330可以得到n张超分辨图像。
在一些实施例中，生成模块330可以采用基于维纳滤波的滚动重建。作为示例，对9n张原始图像进行重建，生成模块330可以对第1-9张原始图像组成的一组原始图像、第4-12张原始图像组成的一组原始图像、……、第(9n-11)-(9n-3)张原始图像组成的一组原始图像、第(9n-8)-9n张原始图像组成的一组原始图像进行重建。此时，连续两组原始图像中有六张相同的原始图像，生成模块330可以得到(3n-2)张超分辨图像。此时，相对于普通重建，滚动重建的时间分辨率增加为原来的三倍。
当然，在滚动重建时，生成模块330也可以对第1-9张原始图像组成的一组原始图像、第7-15张原始图像组成的一组原始图像、第13-21张原始图像组成的一组原始图像、……、第(9n-8)-9n张原始图像组成的一组原始图像进行重建。此时，连续两组原始图像中有三张相同的原始图像。
由以上描述可以发现，连续两组原始图像中相同的原始图像的数量为一个方向上的照明图案对应的相位数量(即，三)或其倍数，这是由超分辨成像本身的性质决定的。可以理解的是，当原始图像是对于3d-sim采集时，即一个方向上的照明图案对应的相位数量为五时，连续两组原始图像中相同的原始图像的数量为五或五的倍数。
在一些实施例中，当获取模块310获取的原始图像具有较高的信噪比时，生成模块330可以根据精确地确定的重建参数，通过维纳滤波生成具有最小伪影的超分辨图像(分辨率为88±0.6nm，n＝20，已通过频域中重建的光学传递函数(otf)的大小确认)。
在一些实施例中，当获取模块310获取的原始图像具有较低的信噪比时，生成模块330重建得到的超分辨图像可能会出现伪影。所述伪影可能由样品116的运动、较短的曝光时间、成像系统100的缺陷等产生的。为了充分说明伪影产生的原因，举例如下。
例如，对于由在横坐标方向上快速移动的样品116成像得到的原始图像，生成模块330重建得到的超分辨图像可能会出现运动伪影。作为示例，当重建得到的超分辨图像的分辨率小于90nm时，在两个时间点之间大于等于90nm的荧光结构的移动将导致运动伪影。那么，当帧速率为97hz且重建时没有运动伪影时，移动的样品116的极限速度为8.73um/s(即，90nm*97hz/1000)。当帧速率为188hz且重建时没有运动伪影时，移动的样品116的极限速度为16.92um/s(即，90nm*188hz/1000)。
又例如，对于由亚毫秒曝光的样品116成像得到的原始图像，生成模块330重建得到的超分辨图像可能会出现有规律的伪影。这是因为亚毫秒曝光的样品116成像得到的原始图像常常被大量的噪声破坏，而所述造成难以估计出正确的照明光向量、照明光向量的调制深度和初始相位。通过将合成的高斯噪声叠加到荧光珠的高对比度图像上，可以系统地分析出噪声对超分辨图像参数估计的影响。当原始图像中的噪声表现出与平均信号具有相似幅度的标准偏差(sd)时，使用常规算法估计的照明光向量显示与实际值偏差2％。由于照明光向量中0.2-0.5％的误差可以导致点状发射体出现在fov边缘(图s6a)，由于确定的重建参数(例如，估计的照明光向量)不准确，生成模块330基于较差的信噪比的原始图像重建得到超分辨图像可能被固定的图案伪影破坏。
再例如，基于准确的重建参数，对于噪声较多的原始图像，生成模块330重建得到的超分辨图像可能会出现随机伪影。所述噪声可以来自探测器118，例如，白噪声(读出噪声、暗电流、散粒噪声等)。在重建过程中，反卷积会放大白噪声，从而在空间和时间域中产生随机的、非连续的伪影。对于具有高信噪比的原始图像，这些伪影可以通过维纳重建算法得到有效抑制。然而，对于在亚毫秒曝光或严重光漂白下拍摄的生物样品，这些类型的噪声将占主导地位，导致内在伪影的产生。
此时，需要对重建得到的超分辨图像进行去噪处理，即流程400需要进一步执行步骤440。
步骤440，去噪模块340可以基于超分辨图像得到去噪图像。在一些实施例中，去噪模块340可以采用rl算法、tv算法、海森算法等得到去噪图像。
海森算法利用样品116(例如，生物结构)在xyt维中的连续性作为先验信息来约束维纳滤波。x表示空间中的横坐标，y表示空间中的纵坐标，t表示时间坐标。简而言之，由于sim的点扩散函数(psf)的半高宽(fwhm)大约为2.9像素(约90nm)，所以沿着x和y轴的该区域内的样品116应该是连续的。此外，如果样品116在两个连续时间点之间移动的距离小于sim的横向分辨率，则样品116沿着t轴是连续的。相反地，随机高斯噪声造成的伪影大多是沿着xyt轴不连续的。因此，在hessian-sim重建过程中，可以根据xyt维度上像素的相邻像素的值迭代调整所述像素的值。
在使用海森算法进行去噪时，去噪模块340可以基于超分辨图像，建立具有海森惩罚项的目标函数。进一步地，去噪模块340可以基于所述目标函数，得到去噪图像。更多关于海森算法的说明可以参考图5的描述。
图5是根据本发明技术方案的一些实施例示出的基于原始图像获取去噪图像的示例性流程示意图。流程500可以是流程400的具体实施例。为了方便流程500的描述，假设流程500重建的原始图像为成像系统100(tirf-sim)生成的9n张原始图像，且九张原始图像组成一组原始图像。流程500可以包括：
步骤510，获取模块310可以获取原始图像并存储。然后，确定模块320可以对原始图像按照相位和方向进行平均，得到平均图像。
在一些实施例中，上述按照相位和方向进行平均是指，对方向和相位均相同的原始图像进行平均。相应地，确定模块320可以对之间间隔九张或九的倍数张原始图像的两张或两张以上的原始图像进行平均，得到平均图像。例如，确定模块32可以对第1张原始图像和第10张原始图像进行平均，得到平均图像。
在一些实施例中，上述进行平均是指，对两张或两张以上的原始图像中对应的像素点的像素值平均，得到平均图像。所述像素值可以是灰度值、亮度等。在一些实施例中，确定模块320可以采用下述等式得到平均图像：
其中，
步骤520，确定模块320可以对平均图像按照相位差分离得到分离图像。在一些实施例中，确定模块320可以根据下列等式对不同方向的平均图像进行分离：
其中，i表示虚数单位(i2＝-1)；
需要说明的是，基于反对称模式，pmd＝mpd，
在一些特殊的实施例中，确定模块320可以按照2π/3相位差对平均图像进行分离。此时，方向(即，d)的数量为3，可以分别表示为1、2、3；相位(即，m)的数量为3，可以分别表示为0、-1、+1。具体地，确定模块320可以按照下述等式对平均图像进行分离：
其中，0d、-1d和+1d分别表示照明图案对应于方向d时，对应的不同的相位；s0d、s-1d和s+1d分别表示对应于0d、-1d和+1d的三张分离图像；d0d、d-1d和d+1d分别表示对应于0d、-1d和+1d的三张原始图像的傅里叶变换，其中，d-1d和d+1d包含了光学传递函数之外的信息；y0d、y-1d和y+1d分别表示对应于0d、-1d和+1d的三张原始图像做相位差为2π/3的傅里叶变换；p0d，p-1d和p+1d分别表示对应于0d、-1d和+1d的照明光向量；c0d，c-1d和c+1d分别表示p0d，p-1d和p+1d的调制深度；
步骤530，确定模块320可以计算分离图像互相关函数，并确定互相关函数最大时对应的照明光向量作为估计的照明光向量。
在一些实施例中，确定模块320可以按照下述等式计算分离图像的互相关函数：
其中，p′表示照明光向量；m表示照明图案移动后对应的相位，m取值为+1或-1；c(p′)表示分离图像之间的互相关函数；
进一步地，确定模块320可以确定上述互相关函数c(p′)模的最大值(即，|c(p′)|)，并确定互相关函数模|c(p′)|在最大值时对应的照明光向量p′为估计的照明光向量。估计的照明光向量标记为pd。具体地，确定模块320可以设定照明光向量p′的初始值，然后以一定的步长，不断地地求解互相关函数模|c(p′)|，直至互相关函数模|c(p′)|达到最大值。所述照明光向量p′的初始值可以由空间光调制器108粗略估计的照明光向量。所述步长可以是系统自动设定的，也可以是人工设置的，例如，0.01像素、0.02像素。
步骤540，确定模块320可以对不同的分离图像，按照估计的照明光向量平移，得到重叠区域。进一步地，确定模块320可以对不同分离图像的重叠区域计算线性回归，估计出照明光向量的调制深度和初始相位。
具体地，确定模块320可以对分离图像
可以理解的是，上述确定重建参数(估计的照明光向量、照明光向量的调制深度和初始相位)中使用的分离图像可以替换为归一化的分离图像，其他计算保持不变。所述归一化分离图像可以由确定模块320对分离图像进行归一化处理后得到。在本申请中，这种方法称为归一化互相关方法。在一些实施例中，确定模块320可以按照下述等式对分离图像进行归一化处理：
其中，
步骤550，生成模块330可以根据估计出的初始相位分解原始图像得到分解图像，根据估计的照明光向量，对分解图像进行频率移动得到频率移动图像。
在一些实施例中，生成模块330可以按照
步骤560，生成模块330可以对频率移动图像进行维纳滤波，得到超分辨图像。维纳滤波的等式可以表示如下：
其中，r表示空间坐标；g(r)表示超分辨图像；*表示共轭；α表示维纳参数；ifft表示反傅里叶变换；
其中，v表示照明光向量长度和光学传递函数半径之和的上限频率，有效地消除高频伪影的同时，可以保留可能被高斯滤波器截断的高频信息。
步骤570，去噪模块340可以建立目标函数，对目标函数进行迭代更行，当误差小于等于阈值时得到去噪图像。
在一些实施例中，目标函数可以表述如下：
其中，f表示待估计的无伪影的超分辨图像，即去噪图像；g表示超分辨图像；
其中，ω表示图像f中所有的像素的集合；r表示空间坐标；‖.‖1表示第一个矩阵范数；σ表示惩罚项系数，用于限制样品116在t轴上的结构连续性；fxx表示图像f在横坐标方向的像素点的二阶差分的灰度值，fxy表示图像f在横坐标方向和纵坐标方向的像素点的二阶差分的灰度值，fxt表示图像f在横坐标方向和时间坐标方向的像素点的二阶差分的灰度值，fyx表示图像f在纵坐标方向和横坐标方向的像素点的二阶差分的灰度值，fyy表示图像f在纵坐标方向的像素点的二阶差分的灰度值，fyt表示图像f在纵坐标方向和时间坐标方向的像素点的二阶差分的灰度值，ftx表示图像f在时间坐标方向和横坐标方向的像素点的二阶差分的灰度值，fty表示图像f在时间坐标方向和纵坐标方向的像素点的二阶差分的灰度值，ftt表示图像f在时间坐标方向的像素点的二阶差分的灰度值。
由等式(8)和(9)，目标函数可以表述为：
在一些实施例中，可以采用split-bregman算法、majorization-minimization算法优化目标函数。
当采用split-bregman算法优化目标函数时，引入一个新的变量d来逼近hessian惩罚项的偏导数，变量f可以作为解析解来求解。等式(10)的约束最小化问题可以等价为：
此时，
其中，不同方向的d被引入以逼近hessian惩罚的偏导数。利用拉格朗日乘子法(lagrangemultiplier)，得到以下无约束问题：
其中，λ为拉格朗日乘子。使用split-bregman算法，等式(12)可以改写为：
其中，b在不同轴方向上的二阶偏导数被用于降低迭代中的计算复杂度，bxx可以表示如下：
而byy、btt、bxy、bxt、和byt的表达时可以与bxx类似，分别表示如下：
通过split-bregman算法，目标函数称为关于图像f的二次型，如等式(13)所示。此时，
其中，
以及
而byy、btt、bxy、bxt、和byt的求解可以与bxx类似，分别表述如下：
当采用majorization-minimization算法优化目标函数时，rhessian(f)可以转化为二次型qhessian(f；f(v))，表示如下：
其中，f(v)表示第v次迭代的去噪图像；rhessian(f(v))表示图像f(v)的海森惩罚项；const表示常数。
此时，目标函数可以表示如下：
令
通过共轭梯度法可以期解除去噪图像的最优解f(c)，将f(c)作为初始值，进行迭代计算。具体地，令c＝c+1，更新rhessian(f(v))和等式(19)，计算出最优解f(c+1)。不断重复此步骤，直至去噪图像质量合格。在一些实施例中，可以基于误差确定去噪图像质量是否合格。例如，当误差小于等于阈值时，表示去噪图像质量合格。具体表示如下：
ρc＝‖(f(c+1)-f(c))/f(c)‖≤t，(20)
其中，ρ表示误差；f表示去噪图像；t表示阈值。在一些实施例中，t可以是系统自动设置的，也可以是人工设定的。
应当理解的是，以上描述的对tirf-sim获取的原始图像进行重建的算法仅作为示例。在不偏离上述技术理念的情况下，可以对算法做一些简单的变动，使之可以应用于2d-sim和3d-sim。
图6是根据本发明技术方案的一些实施例示出的基于原始图像获取去噪图像的示例性流程示意图。流程600可以是流程400的具体实施例。为了方便流程600的描述，假设流程600重建的原始图像为成像系统100(tirf-sim)生成的9n张原始图像，且九张原始图像组成一组原始图像。流程600可以包括：
步骤610，获取模块310可以获取原始图像。所述原始图像是由对样品116成像得到的。
步骤620，确定模块320可以基于所述原始图像，确定估计的照明光向量、照明光向量的调制深度和初始相位。确定估计的照明光向量、照明光向量的调制深度和初始相位的具体操作可以参见图5及其相关描述。
步骤630，生成模块330可以判断所述原始图像的质量是否满足要求。在一些实施例中，生成模块330可以基于重叠区域的线性回归拟合优度
在一些实施例中，拟合优度可以表示如下：
其中，
当拟合优度小于第一阈值时，表示重叠区域的线性回归的拟合效果差。那么，对应的原始图像的成像质量差(亦称为无效原始图像)。此时，生成模块330判断所述原始图像的质量不合格，流程600返回到步骤610，并重新获取原始图像。
当拟合优度大于等于第一阈值时，表示重叠区域的线性回归的拟合效果较好。那么，对应的原始图像的成像质量较好。此时，生成模块330判断所述原始图像的质量合格，流程600进行到步骤640。
步骤640，生成模块330可以基于所述估计的照明光向量、照明光向量的调制深度和初始相位，和维纳滤波，得到超分辨图像。得到超分辨图像的具体操作可以参见图5及其相关描述。
步骤650，去噪模块340可以判断所述超分辨图像的质量是否满足要求。在一些实施例中，去噪模块340可以基于步骤610中获取的原始图像的信噪比，判断所述超分辨图像的质量是否满足要求。例如，去噪模块340可以基于原始图像的调制对比度噪声比(modulationcontrast-to-noiseratio，mcnr)判断所述超分辨图像的质量是否满足要求。具体地，去噪模块340可以使用simcheck软件确定原始图像的调制对比度噪声比，并将调制对比度噪声比与第二阈值进行比较。所述第二阈值可以是系统自动设置的，也可以是人工设置的。所述第二阈值可以是任意正数，例如，3.5、4.0、4.5等。
当原始图像的调制对比度噪声比小于第二阈值时，表示原始图像具有较低的信噪比。那么，对所述原始图像进行重建得到的超分辨图像可能具有较多的伪影，即所述超分辨图像的质量可能质量较差。此时，去噪模块340判断所述超分辨图像的质量较差，流程600进行到步骤660。
步骤660，去噪模块340可以判断样品116是否具有超速运动(ultrafastdynamics)。所述超速运动表示样本116内部的运动非常迅速，例如，分泌囊泡融合，钙扩散和动作电位传播等。在一些实施例中，去噪模块340可以基于运动和照明变化(motion&illuminationvariation，miv)判断样品116是否具有超速运动。运动和照明变化可以表征样品116在一个原始图像生成周期内(即，生成一组原始图像所需要的时间段内)的运动速度。例如，参考关于获取模块310的描述，运动和照明变化可以表征样品116在生成九张原始图像所需要的时间段内的运动。具体地，去噪模块340可以使用simcheck软件确定运动和照明变化区域，并对所述运动和变化区域进行分析。
当运动和照明变化区域只有白色区域或只存在少数非白色区域时，表示不存在能够导致超分辨图像模糊的运动伪影，即样品116可能不存在超速运动，例如，样品进行慢速运动或不运动。此时，去噪模块340判断样品116不具有超速运动，流程600进行到步骤670。
步骤670，去噪模块340可以基于作用于xyt轴上的海森惩罚项，得到超分辨图像。此时，海森惩罚项在时间轴上进行了约束，参见公式(8)和公式(9)对海森惩罚项的描述。即σ不为零，σ可以为任意正整数。在一些实施例中，σ可以由样品116的运动速度决定的。样品116的运动速度越快，σ越小；反之，样品116的运动速度越慢，σ越大。当样品116运动速度缓慢时，例如，对微管、肌动蛋白和eb3成像时，σ可以介于0和1之间。在一些实施例中，由于探测器118的曝光时间可以间接反映出样品116的运动速度，σ可以由探测器118的曝光时间决定。探测器118的曝光时间越短，反映出样品116的运动速度可能越快，则σ越小。在一些实施例中，对huvecs中的微管进行超分辨图像重建时，μ可以为100。
当运动和照明变化区域存在大量非白色区域时，表示可能存在大量能够导致超分辨图像模糊的运动伪影，即样品116可能存在超速运动。此时，去噪模块340判断样品116具有超速运动，流程600进行到步骤680。
步骤680，去噪模块340可以基于作用于xy轴上的海森惩罚项，得到超分辨图像。此时，消除海森惩罚项在时间轴上的约束，即σ＝0。
当原始图像的调制对比度噪声比大于等于第二阈值时，表示原始图像具有较高的信噪比。那么，对所述原始图像进行重建得到的超分辨图像可能具有较少的伪影，即所述超分辨图像的质量可能满足要求。此时，当去噪模块340判断所述超分辨图像的质量合格，流程600进行到步骤690。流程600结束。
图7是根据本发明技术方案的一些实施例示出的示例性偏振旋转器结构示意图。如图所示，偏振旋转器111由六块扇形玻片组成，分别为bk7玻片701和704，以及半玻片702、703、705和706。六个点状线表示入射光，点状线的朝向表示入射光的偏振方向。四个双箭头直线表示半玻片的快速轴(fastaxis)。左边示意图描述的是入射光通过偏振旋转器之前的入射光的偏振方向。右边示意图描述的是入射光通过偏振旋转器之后的入射光的偏振方向。
在相同偏振方向的入射光通过偏振旋转器111后，通过bk7玻片701和704的入射光的偏振方向保持不变。通过半玻片702、703、705和706的入射光的偏振方向发生变化，变为与四个快速轴相切的偏振方向。由此，偏振旋转器111在保持固定不动的情况下，调节了不同方向照明图案衍射光的偏振方向，从而消除了不同偏振方向上切换的时间。
图8是根据本发明技术方案的一些实施例示出的示例性偏振旋转器功能示意图。如图所示，表格第一列描述的是空间光调制器108生成和显示的三个照明图案。所述三个照明图案方向之间的夹角为60°。表格第二列描述的是进入偏振旋转器111的入射光，分别标记为第一入射光、第二入射光和第三入射光。箭头的方向表示入射光的偏振方向。三个不同方向的照明图案对应的入射光进入偏振旋转器111的方向是相同的。表格第三列描述的是偏振旋转器111。黑点表示入射光进入偏振旋转器111对应的位置。第一入射光对应于偏振旋转器111中的bk7玻片(例如，701和704)，第二入射光对应于偏振旋转器111中的半玻片(例如，702和705)，第三入射光对应于偏振旋转器111中的半玻片(例如，703和706)。表格第四列描述的是偏振旋转器111中入射光通过位置对应于的玻片，即bk7玻片和半玻片。表格第五列描述的是输出光，分别标记为第一输出光、第二输出光和第三输出光。箭头的方向表示输出光的偏振方向。对应于bk7玻片的第一输出光的偏振方向没有发生变化，和第一入射光相同。对应于半玻片的第二输出光的偏振方向发生了变化，和第二入射光相同。第二输出光的偏振方向与半玻片的快速轴的切向平行。对应于半玻片的第三输出光的偏振方向发生了变化，和第三入射光相同。第三输出光的偏振方向与半玻片的快速轴的切向平行。
可以理解的是，以上关于应用于2d-sim和/或tirf-sim的偏振旋转器111的描述只是示例性的，在不偏离上述技术理念的情况下，可以对偏振旋转器做一些简单的变动。例如，偏振旋转器可以由两块bk7玻片和八块四分之一玻片组成，使之可以应用于3d-sim。
图9是根据本发明技术方案的一些实施例示出的海森重建方法示例性流程示意图。海森重建流程可以包括：
(1)获取低信噪比的原始图像。
(2)基于原始图像精确地确定重建参数。在一些实施例中，可以基于相同方向和相位的原始图像求平均图像。例如，对于tirf-sim，基于第1张原始图像、第10张原始图像、第19张原始图像、第28张原始图像等求平均图像。然后，基于所述平均图像确定重建参数。确定重建参数可以包括：通过归一化分离不同的频率区域；互相关计算准确的照明光向量。
(3)基于重建参数对原始图像进行重建，得到超分辨图像。在一些实施例中，可以基于普通重建对原始图像进行重建。例如，对于tirf-sim，对第1-9张原始图像组成的第一组原始图像、第10-18张原始图像组成的第二组原始图像等进行重建，得到超分辨图像。在一些实施例中，可以基于滚动重建对原始图像进行重建。例如，对于tirf-sim，对第1-9张原始图像组成的第一组原始图像、4-12张原始图像组成的第二组原始图像、7-15张原始图像组成的第三组原始图像、10-18张原始图像组成的第四组原始图像等进行重建，得到超分辨图像。
(4)基于海森算法去除超分辨图像中的伪影。海森算法利用海森惩罚项进行约束。基于样品结构在xyt轴上的连续性作为先验信息来设计海森惩罚项。
图10是根据本发明技术方案的一些实施例示出的示例性时间序列示意图。在一些实施例中，成像系统100按照时间序列1000运行。这里，空间光调制器108用slm表示，探测器118用scmos相机表示，声光可调谐滤波器102用aotf表示。
如图所示，时间序列1000第一行描述的是slm显示，即照明图案。所述照明图案是预先加载到slm上的。第二行描述的是slm触发，即slm输出信号。所述输出信号可以触发scmos相机，例如，slm卡上的指定的led-使能信号。第三行描述的是scmos相机。所述scmos相机在同步触发模式下运行。此时，使用了scmos相机卷帘快门的下降沿和延迟时间(delay)来有效地协调slm在不同照明图案之间的切换。在一些实施例中，所述延迟时间为0.05毫秒。第四行描述的是来自scmos相机的曝光信号。所述曝光信号可以可以控制aotf的开关。第五行描述的是开启和关闭aotf信号。所述开启和关闭aotf信号用于可以选择照明波长和控制照明强度，即控制光源101。
图11至图16描述的是在亚毫秒曝光期间，使用不同算法重建得到的一种密集堆积的细胞肌动蛋白结构的超分辨图像的相关实验结果。曝光时间设置为0.5毫秒，使用tirf-sim对标记lifeact-egfp的huvec进行成像，获取多张原始图像。
图11左侧的三角形区域中描述的是tirf宽场(wide-field)中的图像。上侧的梯形区域描述的是原始图像维纳重建算法的结果。下侧的梯形区域描述的是原始图像海森反卷积的结果。
图12描述的是图11中框型区域重建的超分辨图像放大后的图像，分别利用了基于维纳滤波的平均重建、fairsim、tv算法、维纳滑动平均算法(running-averageofwiener，rawiener)、rl算法以及海森算法。
图13描述的是利用维纳和海森算法(n＝8)重建的超分辨图像中沿着穿过最薄的肌动蛋白丝的线的荧光峰的平均最大半高宽(fwhm)。
图14描述的是超分辨图像中荧光强度波动曲线。左上曲线描述的是在维纳重建算法重建的超分辨图像中垂直于图像11中使用白色线段标记的肌动蛋白丝的荧光强度波动。左下曲线描述的是在维纳重建算法重建的超分辨图像中沿着图像11中使用白色线段标记的肌动蛋白丝的荧光强度波动。右上曲线描述的是在海森反卷积重建的超分辨图像中垂直于图像11中使用白色线段标记的肌动蛋白丝的荧光强度波动。右下曲线描述的是在海森反卷积重建的超分辨图像中沿着图像11中使用白色线段标记的肌动蛋白丝的荧光强度波动。
图15描述的是在曝光时间为7毫秒和0.5毫秒(n⊥＝12)时使用不同算法重建的超分辨图像中垂直于肌动蛋白丝和沿着肌动蛋白丝的荧光强度的平均方差，即v⊥。从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图16描述的是在曝光时间为7毫秒和0.5毫秒(n||＝10)时使用不同算法重建的超分辨图像中沿着肌动蛋白丝和沿着肌动蛋白丝的荧光强度的平均方差，即v||。从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图17至图19描述的是在亚毫秒曝光期间，使用不同算法重建得到的另一种密集堆积的细胞肌动蛋白结构的超分辨图像的相关实验结果。在6800个连续时间点下使用tirf-sim对标记lifeact-egfp的huvec进行成像。同时，基于直方图匹配方法将漂白校正应用于延时数据。
图17描述的是利用不同算法重建的0秒和60秒时的超分辨图像的放大区域。所述不同算法包括维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。每个算法对应的左侧图像对应于时间点0秒，右侧图像对应于时间点60秒。
图18描述的是图17中使用不同算法重建得到的超分辨图像中垂直于肌动蛋白丝的荧光强度的平均方差随着时间的变化，即v⊥。从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图19描述的是图17中使用不同算法重建得到的超分辨图像中沿着肌动蛋白丝的荧光强度的平均方差随着时间的变化，即v||。从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图11至图19的实验结果表明，当曝光时间为亚毫秒时，使用海森算法重建得到的密集堆积的细胞肌动蛋白结构的超分辨图像具有最小的伪影。从而表明，此种情况下，海森算法优于其他几种算法。
图20至图27描述的是活细胞中细胞骨架结构的双色超快速超分辨成像的相关实验结果。基于直方图匹配方法将漂白校正应用于延时数据。
图20描述的是用硅罗丹明(sir)-微管蛋白和lifeact-egfp标记的huvec的超分辨成像。所述超分辨成像为使用海森算法在49hz下连续成像。超分辨图像中紫红色对应于硅罗丹明-微管蛋白，绿色对应于lifeact-egfp。
图21描述的是图20中框型区域重建的超分辨图像放大后的图像。分别对应时间点1.46秒、2.00秒、2.42秒、3.52秒和10秒。最薄的肌动蛋白和细管丝的平均半高宽分别为87.4±1.4nm和113.1±3.5nm(n＝8)。
图22描述的是用硅罗丹明-微管蛋白和eb3-egfp标记的ins-1细胞超分辨成像。所述超分辨成像为使用海森算法在49hz下连续成像。超分辨图像中紫红色对应于硅罗丹明-微管蛋白，绿色对应于eb3-egfp。
图23描述的是图22中框型区域重建的超分辨图像放大后的图像。分别对应时间点0秒、3.62秒、3.68秒、4.02秒、4.32秒、6.04秒、6.32秒、6.48秒、6.98秒和9.02秒。最薄的eb3和细管丝的平均半高宽分别为94.9±0.3nm和115.2±1.2nm(n＝8)。
图24描述的是图22中使用不同算法重建得到的超分辨图像中垂直于eb3的荧光强度的平均方差随着时间的变化(n⊥＝12)，即veb3⊥。如图所示，分别描述了不同算法对应于0秒、6秒和12秒时间点时得到的超分辨图像。每个时间点，从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图25描述的是图22中使用不同算法重建得到的超分辨图像中垂直于eb3的荧光强度的平均方差随着时间的变化(n||＝10)，即veb3||。如图所示，分别描述了不同算法对应于0秒、6秒和12秒时间点时得到的超分辨图像。每个时间点，从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图26描述的是图22中使用不同算法重建得到的超分辨图像中垂直于微管蛋白的荧光强度的平均方差随着时间的变化(n⊥＝12)，即vtubule⊥。如图所示，分别描述了不同算法对应于0秒、6秒和12秒时间点时得到的超分辨图像。每个时间点，从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图27描述的是图22中使用不同算法重建得到的超分辨图像中垂直于eb3的荧光强度的平均方差随着时间的变化(n||＝10)，即vtubule||。如图所示，分别描述了不同算法对应于0秒、6秒和12秒时间点时得到的超分辨图像。每个时间点，从左到右对应的算法分别是维纳重建算法、fairsim、维纳滑动平均算法、tv算法、rl算法和海森算法。
图28至图30描述的是平均照明功率和脉冲激发的曝光时间与光漂白的关系。减少平均照明功率和脉冲激发的曝光时间可以减缓光漂白过程。
图28描述的是用lifeact-egfp标记的huvec超分辨成像(1hz)。左侧的三张超分辨图像对应的曝光时间为7毫秒，重建算法为维纳重建算法。右侧的三张超分辨图像对应的曝光时间为0.2毫秒，重建算法为海森算法。上面的两张超分辨图像对应于第一个时间点。中间的两张超分辨图像对应于第601个时间点。下面的两张超分辨图像对应于第3001个时间点。基于直方图匹配方法将漂白校正应用于延时数据。
图29描述的是不同激发模式下lifeact-egfp荧光强度的光漂白随时间的变化。所述时间使用帧数表示。所述不同模式为：曝光时间为0.2毫秒，帧速率为1hz；曝光时间为0.2毫秒，帧速率为10hz；曝光时间为0.2毫秒，帧速率为188hz；曝光时间为7毫秒，帧速率为1hz；曝光时间为7毫秒，帧速率为10hz。由此可见，对于不同的帧速率，曝光时间越短，光漂白过程越慢。
图30描述的是不同平均照明功率对lifeact-egfp保留的荧光强度的作用。曲线3100对应的曝光时间为0.2毫秒，对应的时间点数量为500。曲线3200对应的曝光时间为0.2毫秒，对应的时间点数量为2900。曲线3300对应的曝光时间为7毫秒，对应的时间点数量为500。曲线3400对应的曝光时间为7毫秒，对应的时间点数量为2900。由此可见，对于不同的时间点数量，平均照明功率越小，光漂白过程越慢。
图31至图39描述的是通过海森算法鉴定四种关键的胞吐中间体，包括放大的孔隙收缩阶段。实验中，ins-1细胞用vamp2-phluorin或npy-phluorin转染，并用氯化钾和葡萄糖刺激。对采集的原始图像进行滚动重建，可达到291hz的帧速率。以下所有相关计算均基于由16个像素直径组成的感兴趣区域。
图31描述的是使用vamp2-phluorin(青色)标记的无孔结构(fnr)的囊泡中的代表性融合事件。上面的四张超分辨图像分别对应于0.162秒、0.175秒、0.244秒和0.402秒。下面的图像为囊泡融合事件动态变化图像。
图32描述的是使用npy-phluorin(洋红色)标记的无孔结构的囊泡中的代表性融合事件(fnr)。上面的四张超分辨图像分别对应于0.155秒、0.162秒、0.169秒和0.268秒。下面的图像为囊泡融合事件动态变化图像。
图33描述的是图31和图32中分别使用vamp2-phluorin和npy-phluorin标记的胞吐囊泡的荧光随时间的变化。如图所示，胞吐过程中描述荧光快速增加的曲线段(即，虚线框中的曲线段)在右上的方框中以较高的放大倍数显示。对应于荧光δf0、δf1、δf2和δf3的时间段标志着不同中间体的转化，包括融合孔开放、囊泡与质膜破裂、孔隙收缩和最终的膨胀。时间段t1、t2、t3以及衰变常数τ(通过单指数函数拟合)描述了每个中间体的动力学。
图34描述的是使用vamp2-phluorin(青色)标记的涉及扩大孔形成的囊泡中的代表性融合事件(fr)。所述扩大孔形成可以在t2到t3的中间体转化过程中观察到。上面的四张超分辨图像分别对应于0.158秒、0.175秒、0.268秒和0.430秒。下面的图像为囊泡融合事件动态变化图像。
图35描述的是对于fnr和fr融合事件中不同时期的荧光的平均增量。左侧的图表对应于胞吐期间，中间的图表对应于t1，右侧的图表对应于τ。由npy-phluorin标记的囊泡融合的t1期间以用于比较。
图36描述了fnr和fr融合事件中表示的孔收缩的融合事件的百分比和其平均值t3。如图所示，对于fnr融合事件，左侧的柱状图为表示的孔收缩的融合事件的百分比，右侧的柱状图为均值t3。对于fr融合事件，左侧的柱状图为表示的孔收缩的融合事件的百分比，右侧的柱状图为均值t3。
图37和图38描述的是使用vamp2-phluorin标记的相同融合事件中在不同帧速率条件下成像时测量的平均t1、t2、t3以及τ。如图所示，对于不同的时间段(即，t1、t2、t3以及τ)从左到右对应的帧速率均为94hz、282hz(滚动重建情况下)和188hz。
图39描述的是使用vamp2-phluorin标记的相同融合事件中在不同帧速率条件下成像时测量的表示的孔收缩的融合事件的百分比。左侧的图表对应于t2，右侧的图表对应于t3。对于不同的时间段(即，t2和t3)从左到右对应的帧速率均为94hz、282hz(滚动重建情况下)和188hz。
图40至图46描述的是不同配置下超分辨图像的分辨率。实验中，曝光时间为0.5ms，使用488nm激光照射涂布到盖玻片上的荧光珠(直径48nm)。
图40至图43分别描述的是使用tirf-sim、具有反卷积功能的tirf-sim、具有维纳滤波功能的tirf-sim以及具有海森重建功能的tirf-sim成像得到的荧光珠的超分辨图像。由此可见，具有海森重建功能的tirf-sim得到的超分辨图像具有最高的分辨率。
图44描述的是使用不同显微镜成像得到的荧光珠的超分辨图像的空间分辨率。左上图像表示tirf-sim成像对应的频率域。所述频率域直接为147个像素，对应的空间分辨率为226.3nm。左下图像表示具有rl反卷积功能的tirf-sim成像对应的频率域。所述频率域直接为170个像素，对应的空间分辨率为195.8nm。中间图像表示具有维纳滤波功能的tirf-sim成像对应的频率域。所述频率域直接为400个像素，对应的空间分辨率为83.2nm。右侧图像表示具有海森重建功能的tirf-sim成像对应的频率域。所述频率域直接为395个像素，对应的空间分辨率为84.2nm。
图45描述的是通过在不同成像配置下的荧光珠的半高宽评估的平均分辨率(n＝20)。tirf-sim(即，widefield)、具有反卷积功能的tirf-sim、具有维纳滤波功能的tirf-sim以及具有海森重建功能的tirf-sim成像对应的平均分辨率分别为224.0±3.5nm、198.9±2.0nm、87.7±0.6nm和87.0±0.3nm。
图46描述的是沿着图43中穿过两个相距100nm的荧光珠的白线段对应的荧光强度。
图47至图49描述的是由可变速度运动的荧光微珠产生的可能运动伪影。实验中，将荧光珠(直径48nm)置于盖玻片上，手动调整盖玻片的位置，并在结构光显微镜下以97hz或188hz的帧速率操作进行观察。
图47描述的是以97hz帧速率对荧光珠成像得到的超分辨图像。图48描述的是以97hz帧速率对以不同速度移动的荧光珠成像，并用维纳算法重建得到的超分辨图像。所述不同速度为0μm/s、3.0μm/s、5.7μm/s、8.1μm/s、10.7μm/s和18μm/s。图49描述的是以188hz帧速率对以不同速度移动的荧光珠成像，并用维纳算法重建得到的超分辨图像。所述不同速度为0μm/s、4.1μm/s、8.3μm/s、14.6μm/s、17.6μm/s和23.6μm/s。
图50至图52描述的是原始图像中的过度噪声破坏后的维纳重建会产生随机伪影，可以通过使用海森算法来抑制。
图50描述的是用不同级别的高斯噪声破坏的相同图像基于维纳重建后超分辨图像。所述相同的图像为在900曝光和7毫秒曝光时间条件下对荧光珠成像采集的原始图像。荧光珠的平均荧光强度为189个任意单位(a.u.，n＝944个荧光珠，直径5个像素)。然后将不同级别的高斯噪声添加到原始图像中。
图51描述的是不同方法下确定的不同信噪比的标准偏差对应的照明光向量(真值＝197)。所述信噪比为噪声强度与平均信号强度的比值。9-帧互相关表示仅使用9帧的角度和幅度的互相关。9-帧相位互相关表示仅使用9帧的角度的互相关；9-帧预滤波器互相关表示与预滤波器的互相关。900-帧相位互相关表示仅使用900帧的角度进行互相关。
图52描述的是使用不同算法对图50中框型区域重建得到的超分辨图像。左上的超分辨图像对应于维纳重建算法。左下的超分辨图像对应于海森算法。曲线5210描述的是维纳重建下穿过荧光珠的白色虚线段对应的荧光强度。曲线5220描述的是海森重建下穿过荧光珠的白色虚线段对应的荧光强度。
图53至图57描述的是不同的错误参数导致固定图案的重建伪影。
图53描述的是估计的照明光向量误差产生的重建伪影。利用频域坐标x轴距离照明光向量真值一个像素距离的照明光向量重建荧光珠，(即，p+1d增加(1,0)和p-1d增加(-1,0))。左侧图像中的五个框型区域(即，五个荧光珠)被放大后，按照从左至右的顺序放置在右侧。每一列对应一个荧光珠，每一行对应一个估计的照明光向量。第1至6行行对应的估计的照明光向量与照明光向量真值的偏差分别为0个像素、0.2个像素、0.4个像素、0.6个像素、0.8个像素、1个像素。由此可见，估计的照明光向量的准确度对重建的超分辨图像的质量有很大影响。
图54描述的是照明光向量的初始相位误差产生的重建伪影。利用与初始相位真值具有不同偏差的初始相位对荧光珠进行重建。从左至右的超分辨图像对应的初始相位与初始相位真值的偏差分别为0、π/2和π。由此可见，初始相位的准确度对重建的超分辨图像的质量有很大影响。
图55描述的是照明光向量的调制深度误差产生的重建伪影。利用与调制深度真值具有不同偏差的调制深度对荧光珠进行重建。从左至右的超分辨图像对应的调制深度与调制深度真值的偏差分别为5、0.5和0.1。由此可见，调制深度的准确度对重建的超分辨图像的质量有很大影响。
图56描述的是使用不同的光学传递函数对荧光珠进行重建。左上的超分辨图像对应于不准确估计的光学传递函数。右上的超分辨图像对应于使用100nm荧光珠进行测量的光学传递函数。左下的超分辨图像对应于模拟的光学传递函数。右下的超分辨图像对应于测量的的光学传递函数。由此可见，光学传递函数的准确度对重建的超分辨图像的质量有很大影响。
图57描述的是可以通过在频域中使用陷波滤波器来消除图案伪影。左侧图像是用stim1-mko标记的hek293细胞的十张连续重建的超分辨图像的总和。图像伪影是由于背景的残余频率峰值的移位产生的。右侧图像为左侧图像通过陷波滤波器去噪后的图像。
图58至图61描述的是海森算法中选择不同的参数μ和σ对重建结果的影响。图58描述的是选择不同的μ时对用sir-微管蛋白标记的huvec采用海森算进行重建后获得的超分辨图像。左上、右上和下面的超分辨图像对应的μ分别为100、25和5。
图59描述的是采用不同算法对运动的荧光珠进行重建后获得的超分辨图像。左侧上方的超分辨图像对应于维纳重建算法。右侧上方的超分辨图像对应于三帧维纳滑动平均算法。左侧中间的超分辨图像应于σ值为0.1的海森算法。右侧中间的超分辨图像应于σ值为1的海森算法。最下方的超分辨图像应于σ值为5的海森算法。
图60描述的是通过微管细丝的半高宽评估不同算法对应的空间分辨率。如图所示，纵轴表示的是空间分辨率，横轴表示的是维纳重建算法和具有不同μ的海森算法。
图61描述的是采用不同的算法得到的相同的第n帧超分辨图像中感兴趣区域内的荧光珠的荧光强度与沿其运动方向相邻的相同尺寸的感兴趣区域内的荧光珠的荧光强度的比率。例如，3×3大小的感兴趣区域6120内的荧光珠的荧光强度与相同尺寸的感兴趣区域6110或6130内的荧光珠的荧光强度的比率。图像6140、6150和6160分别对应于采用维纳重建算法得到第n-1帧、第n帧和第n+1帧超分辨图像。
下方图表的横坐标为不同的重建算法，纵坐标为前述荧光强度比率。如图所示，维纳重建算法得到的前述荧光强度比率接近于0，表示没有图像模糊。相比之下，三帧维纳滑动平均算法计算的前述荧光比率为0.8(n＝16)，表明由于荧光珠运动造成了很大大的模糊。
图62和图63描述的是在重建受过度噪声干扰的合成图像时利用其他算法对海森算法进行基准性能分析。合成图像为512×512×12像素，每个像素尺寸为32.5×32.5nm2。图像中物镜的荧光强度范围在0-250a.u之间。实验中，使用激发图案照射样品，然后用显微镜的点扩散函数对照射的样品进行卷积，然后用像素尺寸为65×65nm2的scmos相机记录。真值sim图像通过维纳反卷积对无噪原始图像进行重建后得到。为了模拟被噪声破坏的原始图像，在不同帧图像对应的相同位置探测到的光子中添加了泊松分布噪声。此外，添加了99a.u的背景值及20a.u标准偏差的高斯噪声到所有像素中。
图62描述的是无噪原始图像、宽场图像、被噪声破坏的九帧原始图像中的一帧原始图像、由无噪原始图像重建的真值sim图像、对被噪声破坏的原始图像进行维纳重建得到的超分辨图像，以及对被噪声破坏的原始图像进行海森重建得到的超分辨图像。
图63左侧的图像描述的是图62中的红色框型区域的放大图像，图像6370、图像6380和图像6390分别对应于真值sim图像、对被噪声破坏的原始图像进行维纳重建得到的超分辨图像，以及对被噪声破坏的原始图像进行海森重建得到的超分辨图像。曲线6310描述的是沿着图像6370中的点状线的荧光强度波动。曲线6320描述的是沿着图像6380中的点状线的荧光强度波动。曲线6330描述的是沿着图像6390中的点状线的荧光强度波动。
图64至图66描述的是不同激发方案引起的不同光漂白过程。用eb3-egfp转染ins-1细胞。图64描述的是具有不同曝光时间和帧速率的海森重建sim的不同激发方案。图65描述的是不同激发模式下eb3-egfp荧光强度的光漂白随时间的变化。并用188hz(0.2ms曝光)或1hz(0.2ms曝光)条件成像。所述时间使用帧数表示。所述不同模式为：曝光时间为0.2毫秒，帧速率为1hz；曝光时间为0.2毫秒，帧速率为188hz。由此可见，对于不同的帧速率，曝光时间越短，光漂白过程越慢。图66描述的是不同平均照明功率eb3-egfp的保留荧光强度的影响。曲线6610对应的曝光时间为0.2毫秒，对应的时间点数量为500。曲线6620对应的曝光时间为7毫秒，对应的时间点数量为2900。
图67至图70描述的是活ins-1细胞中eb3-egfp的长时间跟踪和重建的超分辨率微管结构。ins-1细胞使用eb3-egfp转染。图67描述的以1hz对ins-1细胞中的eb3-egfp斑点进行3712帧连续成像获得的第一张图像。图68描述的是单个eb3-egfp斑点的轨迹。图69描述的是不同时间分辨率下eb3-egfp斑点运动的平均速度。图70描述的是在前300帧内每100帧内eb3-egfp的最大荧光强度投影，其表示eb3相关微管的超分辨图像。
图71和图72描述的是用超速sim解析快速运动的囊泡。实验中使用vamp2-mneongreen转染ins-1细胞，并通过tirf-sim成像。图71描述的是以97hz帧速率对以7μm/s在胞质溶胶中运动的囊泡进行重建得到的超分辨图像。连续两张图像之间的时间间隔为10.3ms。图72描述的是以188hz帧速率对以4μm/s在胞质溶胶中运动的囊泡进行重建得到的超分辨图像。连续两张图像之间的时间间隔为10.6ms。
图73至图75描述的是小er环(erloops)快速运动的跟踪和解析。实验中，用kdel-egfp标记huvec，并通过tirf-sim以188hz成像。图73描述的对huvec进行6800帧连续成像获得的第一张超分辨率图像。图74描述的是不同的时间点时图73中封闭的er区域被放大后的图像。箭头指示的小环被另一个新出现的er环(箭头)推开。图75描述的是er环的速度直方图。使用imagej中的mtrackj插件追踪了六个环在786个时间点的运动，并且移除了任何等于零(n＝257)的速度以获得更好的显示效果。
图76和图77描述的是刺激引起分泌囊泡的双相释放，其中fnr和fr融合具有不同的峰值荧光振幅。图76描述的是在97hz下运行的hessian-sim检测到的融合事件随时间变化的直方图。数据是用vamp2-phluorin标记的三个细胞获得的。图77中左侧图表对应于所有融合事件所在融合位置处的vamp2-phluorin荧光信号峰值的直方图。图77中中间图表对应于所有fnr融合事件所在融合位置处的vamp2-phluorin荧光信号峰值的直方图。图77中右侧图表对应于所有fr融合事件所在融合位置处的vamp2-phluorin荧光信号峰值的直方图。
图78至图80描述的是滚动重建提供了更多时间轴上的信息。图78上面的图像和曲线对应于fnr融合事件的普通重建，可以发现普通重建下只检测到三种中间体。下面的图像对应于fnr融合事件的滚动重建，可以发现滚动重建下可以检测到四种融合中间体。
图79上面的图像和曲线对应于fnr融合事件的普通重建。下面的图像对应于fnr融合事件的滚动重建，可以发现滚动重建下可以更早地检测到扩大的孔。
图80描述的是通过滚动重建获得的附加图像可以携带超分辨图像信息。图80上面的图像对应于普通重建，可以得到快速运动的荧光珠(188hz时为7.5μm/s)在三个时间点的超分辨图像。下面的图像对应于滚动重建，在相同的条件下，滚动重建额外生成了四张超分辨图像。右侧的图表表示根据每帧的时间荧光珠沿着其运动方向在各帧处的位置线性回归拟合优度高，r2＝0.9904。
图81至图88描述的是海森重建减少了由dii标记的活lsec和固定lsec的维纳重建产生的伪像。用tirf-sim在0.5ms曝光时间和97hz下对用dii(100μg/ml)标记的活lsec进行成像。图81和图82分别描述的是维纳重建和海森重建得到的超分辨图像。图83描述的是图81中框型区域(包含在筛板)被放大后的图像。左侧图对应于维纳重建得到的超分辨图像。右侧图对应于海森重建得到的超分辨图像。图像84描述的是维纳重建和海森重建得到的超分辨图像中沿图83中白色线段的荧光强度波动。左侧曲线对应于维纳重建；右侧曲线对应于海森重建。
用tirf-sim在0.5ms曝光时间和97hz下对用dii(100μg/ml)标记的固定lsec进行成像。图85和图86分别描述的是维纳重建和海森重建得到的超分辨图像。图87描述的是图85中框型区域(包含在筛板)被放大后的图像。左侧图对应于维纳重建得到的超分辨图像。右侧图对应于海森重建得到的超分辨图像。图像88描述的是维纳重建和海森重建得到的超分辨图像中沿图87中白色线段的荧光强度波动。左侧曲线对应于维纳重建；右侧曲线对应于海森重建。
图89描述的是用hessian-sim获得的荧光强度与用tirf显微镜获得的荧光强度相关。将hessian-sim(
图90描述的是将海森重建应用于超快2d-sim可抑制维纳反卷积产生的伪影。曝光时间设置为0.5毫秒，以以97hz的帧速率使用tirf-sim对标记lifeact-egfp的huvec进行成像，获取多张原始图像。图90左侧的三角形区域中描述的是tirf宽场(wide-field)中的图像。上侧的梯形区域描述的是原始图像维纳重建算法的结果。下侧的梯形区域描述的是原始图像海森反卷积的结果。
下方的图描述的是不同时刻下框型区域对应的放大图像。框型区域中包括两个肌动蛋白丝。箭头表示一个肌动蛋白丝从另一个肌动蛋白丝上解锁并移开。
图91至图94描述的是用尼康n-sim拍摄并用海森算法去噪的3d肌动蛋白丝。实验中，用lifeact-egfp转染huvec，并用配备100x、na1.49的物镜(cfiapochromattirf100xoil)的nikon3d-sim显微镜成像。图91描述的是使用商业内置维纳沿xy、xz和yz平面构建的lifeact-egfp细丝三维结构。图92描述的是使用海森算法对图92进行去噪后图像。图93描述的是沿着图91中xy平面上突出显示的红线，用维纳重建或海森重建得到的图像的荧光强度波动。左侧曲线对应于维纳重建。右侧曲线对应于海森重建。图94描述的是沿着图91中yz平面中突出显示的红线，用维纳重建或海森重建得到的图像的荧光强度波动。左侧曲线对应于维纳重建。右侧曲线对应于海森重建。
图95至图98描述的是hessian-sim下活细胞中线粒体嵴结构的动态过程。实验中，用mitotrackergreen标记对照的cos-7细胞中的线粒体和用phb2-mscarlet转染的cos-7细胞中的线粒体，并用在2d-sim配置下操作的hessiansim成像。图95至图97对应于对照的cos-7细胞。图98对应于用phb2-mscarlet转染的cos-7细胞。
图95对应的原始图像使用0.5ms的曝光时间，并且在记录开始时以约18w/cm2的照度进行成像，在每次9幅图像采样后增加0.05％。图96至图98对应的原始图像使用5ms的曝光时间，绿光激发光强约为14w/cm2，红光激发光强约为50w/cm2。同时，基于直方图匹配方法将漂白校正应用于延时数据。
图95描述的是活细胞中线粒体在三个时间点(第1帧、第401帧及第800帧)对应的超分辨图像。
图96描述的是当两种不同线粒体中的嵴结构接触时发生的线粒体融合。图96中第2至7张图像为第1张图像中框型区域的放大图像。可以发现随着时间的推移(从第42.0秒至123.9秒)，两种线粒体发生了融合。
图97描述的是一种线粒体的裂变。图97中第2至5张图像为第1张图像中框型区域的放大图像。可以发现随着时间的推移(从第0秒至142.7秒)，线粒体发生了裂变。
图98描述的是在单一非融合线粒体中的内嵴结构的融合。图97中第2张图像为第1张图像中框型区域的放大图像。图97中第3至7张图像为第2张图像中框型区域的放大图像。可以发现随着时间的推移，两个嵴结构会聚成一个。
上文所描述的各个模块和单元并不是必须的，对于本领域的专业人员来说，在了解本申请内容和原理后，都可能在不背离本技术原理、结构的情况下，对该系统进行形式和细节上的各种修正和改变，各个模块可以任意组合，或者构成子系统与其它模块连接，而这些修正和改变仍在本申请的权利要求保护范围之内。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
以上所述为本申请的基本构思，仅以实施例形式呈现，显而易见地，本领域的技术人员依据本申请作出相应变化、改进或修正。这些变化、改进和修正已被本申请所暗示或间接提出，均包含在本申请实施例的精神或范围之内。
对于描述本申请的术语，例如“一个实施例”、“一些实施例”或“某些实施例”，表示与它们相关的至少一个特征、结构或特点是包含在本申请的实施例之中的。
另外，对于本领域的技术人员来说，本申请中的实施例可能涉及到一些新的流程、方法、机器、产品或者与它们相关的改进。因此，本申请的实施例可以在纯硬件或纯软件中实施，其中软件包括但不限于操作系统、常驻软件或微代码等；也可以在同时包含硬件和软件的“系统”、“模块”、“子模块”、“单元”等中实施。另外，本申请的实施例可以以计算机程序的形式存在，它们可以承载在计算机可读取的媒介中。