分子定位超分辨成像的降噪方法、装置及终端设备与流程

本发明涉及图像处理技术领域，尤其涉及一种分子定位超分辨成像的降噪方法、装置及终端设备。

背景技术：

荧光显微镜被广泛应用于细胞微生物成像，其中，分子定位超分辨成像是一种代表性的超分辨荧光成像技术。该技术在荧光显微镜的基础上，将单分子成像与高精度分子定位算法相结合，实现了20～30nm的超高空间分辨率，以观察到细胞中的超微结构。单分子定位成像方法包括光活化定位显微镜、随机光学重构显微镜和荧光光敏定位显微镜，他们都利用荧光的随机激活来开启单个光活化分子继而成像和漂白这些单分子，使得单次成像时在同一衍射极限内只有一个荧光探针发光。继而通过定位算法获得光激活和成像/漂白循环而得到的所有单分子坐标，经重构得到一幅最终的超分辨图像。

但是，由于分子密度的提升，常规的分子定位超分辨成像系统在定位过程中，单帧图像内分子间相互重叠的情形多，导致定位算法定位单分子错误，因此，分子定位超分辨成像方法在高密度标记样本的情况下，定位精度较低。

技术实现要素：

本发明的主要目的在于提出一种分子定位超分辨成像的降噪方法、装置及终端设备，以解决分子定位超分辨成像方法在高密度标记样本的情况下，定位精度较低的问题。

为实现上述目的，本发明第一方面提供一种分子定位超分辨成像的降噪方法，应用于分子定位超分辨显微镜，所述分子定位超分辨成像的降噪方法包括：

将分子定位超分辨显微镜获得的图像进行分割，获得n个单元处理图像，所述n为大于一的整数；

对所述单元处理图像进行泊松校正，获得第一图像；

对所述第一图像进行主成分分析处理，获得第二图像；

从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像；

根据n个所述重构后的单元处理图像，生成超分辨图像。

可选地，所述对所述单元处理图像进行泊松校正，获得第一图像包括：

获取所述单元处理图像中的噪声信号和原始图像信号；

通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；

所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：

其中，是在第i帧的所述原始图像检测到的第k个像素上的强度，是第i帧的整幅所述原始图像的平均强度，k为正整数。

可选地，所述对所述第一图像进行主成分分析，获得第二图像包括：

根据所述第一图像中的帧数，建立a个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，a为大于1的整数，a为大于等于1且小于a的整数；

根据所述映射后的第一图像坐标系，建立协方差矩阵，公式为：

其中，分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而分别是所述第一图像在第i和j帧的平均强度值；

计算所述协方差矩阵中的特征值，公式为：

c＝udv^t，

其中，v是右奇异向量，v^t是v的转置，包含所述协方差矩阵的右特征向量，u是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，d是与所述协方差矩阵的特征值对应的对角矩阵；

选择与所述协方差矩阵的特征值对应的对角矩阵d中所有t个特征值选择前m个为所述特征值，公式为：

其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；

计算m个所述特征图像中第p个主成分在k像素上的值，获得第二图像，公式为：

vp,i表示第p个特征向量在第i帧的值，表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。

可选地，所述从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像包括：

根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：

根据所述m幅第二图像的比重建立投影矩阵，表示公式为：

sm＝[r1s1，r2s2，...，rpsp，...，rmsm]；

根据所述投影矩阵重构图像，计算公式为：

其中，sm表示由m个根据所述m幅第二图像的比重建立的投影矩阵，

vm表示m个特征值对应的特征向量，表示去噪后的由k个像素组成的q帧图像；

根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。

可选地，所述与所述协方差矩阵的特征值对应的对角矩阵d按降序排序。

本发明实施例第二方面提供一种分子定位超分辨成像的降噪装置，应用于分子定位超分辨显微镜，所述分子定位超分辨成像的降噪装置包括：

分割模块，用于将分子定位超分辨显微镜获得的图像进行分割，获得若干单元处理图像；

校正模块，用于对所述单元处理图像进行泊松校正，获得第一图像；

主成分分析模块，用于对所述第一图像进行主成分分析，获得第二图像；

重构模块，用于从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像；

图像生成模块，用于根据若干所述重构后的单元处理图像，生成超分辨图像。

可选地，所述校正模块包括：

获取单元，用于获取所述单元处理图像中的噪声信号和原始图像信号；

调整单元，用于通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；

所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：

其中，是在第i帧的所述原始图像检测到的第k个像素上的强度，是第i帧的整幅所述原始图像的平均强度，k为正整数。

可选地，所述主成分分析模块包括：

坐标映射单元，用于根据所述第一图像中的帧数，建立a个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，a为大于1的整数，a为大于等于1且小于a的整数；

协方差矩阵建立单元，用于根据所述映射后的第一图像，建立协方差矩阵，公式为：

其中，分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而分别是所述第一图像在第i和j帧的平均强度值；

特征值计算单元，用于计算所述协方差矩阵中的特征值，公式为：

c＝udv^t，

其中，v是右奇异向量，v^t是v的转置，包含所述协方差矩阵的右特征向量，u是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，d是与所述协方差矩阵的特征值对应的对角矩阵；

选择与所述协方差矩阵的特征值对应的对角矩阵d中所有t个特征值选择前m个为所述特征值，公式为：

其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；

主成分分析单元，用于计算m个所述特征图像中第p个主成分在k像素上的值，获得第二图像，公式为：

vp,i表示第p个特征向量在第i帧的值，表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。

本发明实施例第三方面提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上所述的分子定位超分辨成像的降噪方法中的各个步骤。

本发明实施例第四方面提供了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的分子定位超分辨成像的降噪方法中的各个步骤。

本发明提出的分子定位超分辨成像的降噪方法，从分子定位超分辨显微镜获得的图像中提取若干单元处理图像，对每个单元处理图像进行泊松校正，降低标记样本中线性相关度高的变量，然后在校正后的图像基础上进行主成分分析，在时间序列上保留原始图像尽量多的主要信息，去除多余的噪声，即降低图像重构成分中重复的部分，提高分子定位超分辨成像系统在定位过程中单分子的定位精度，获得超分辨图像。

附图说明

图1为本发明实施例一提供的分子定位超分辨成像的降噪方法的实现流程示意图；

图2为图1中步骤s102的细化步骤流程示意图；

图3为图1中步骤s103的细化步骤流程示意图；

图4为图1中步骤s104的细化步骤流程示意图；

图5为本发明实施例二提供的分子定位超分辨成像的降噪装置的结构示意图；

图6为图5中校正模块的结构示意图；

图7为图5中主成分分析模块的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

在后续的描述中，发明实施例序号仅仅为了描述，不代表实施例的优劣。

实施例一

如图1所示，本发明实施例提供了一种分子定位超分辨成像的降噪方法，应用于如随机光学重构显微镜等的分子定位超分辨显微镜，以改进细胞微生物成像过程；分子定位超分辨成像的降噪方法包括：

s101、将分子定位超分辨显微镜获得的图像进行分割，获得n个单元处理图像，所述n为大于一的整数。

在上述步骤s101中，分子定位超分辨显微镜获得的图像为荧光探针在一定时间内完成闪烁后，采集的样品发出的荧光信息，从而获得的图像。由于采集的样品组分子密度逐渐提升，此时获得的图像中，单帧图像内分子间相互重叠的情形多，将导致定位算法定位单分子错误。

在本发明实施例中，将分子定位超分辨显微镜获得的图像进行分割，获得单元处理图像，能够提高定位精度和分子定位超分辨成像的降噪效果。在具体应用中，图像的具体分割方式可以为任意的，减少图像处理面积的方式；例如：根据图像的帧数进行分割、根据单帧图像的像素进行分割或者将图像根据帧数分割后，再对其像素进行分割，获得单元处理图像，在本发明实施中不对其做具体限定。

在具体应用中，对单元处理图像进行处理时，可以同时对多个单元处理图像进行处理，不降低图像处理效率。

s102、对所述单元处理图像进行泊松校正，获得第一图像。

在上述步骤s102中，对所述单元处理图像进行泊松校正表现为：校正近似于泊松分布的检测噪声对于信号强度的依赖性，保留单元处理图像中各变量线性关系，例如在图像不同像素的强度矢量之间的线性关系。

如图2所示，本发明实施例还对上述步骤s102细化说明，上述步骤s102中，对所述单元处理图像进行泊松校正，获得第一图像可以包括：

s1021、获取所述单元处理图像中的噪声信号和原始图像信号。

在上述步骤s1021中，噪声信号的来源是分子定位超分辨成像系统在成像过程中，光子噪声和其他基于传感器的噪声源，其在不同信号电平下以不同比例作出贡献，导致噪声信号的分布与图像信号强度有关；原始图像信号的信号强度表现为图像中每个像素上的亮度；在本发明实施例中，获取原始图像信号即是获取图像中每个像素上的亮度，噪声信号的分布与图像中每个像素上的亮度有关。

s1022、通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像。

所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：

其中，是在第i帧的所述原始图像检测到的第k个像素上的强度，是第i帧的整幅所述原始图像的平均强度，k为正整数。

在上述步骤s1022中，调整噪声信号强度和原始图像信号强度的分布的公式表示将获得的原始图像强度除以每个时间点平均强度的平方根；第一图像即是对原始图像进行泊松校正处理后的图像。

在本发明实施例中，泊松校正用于调整噪声信号强度和原始图像信号强度的分布，以减少噪声信号的分布与原始图像信号的分布之间的关联性，同时保留单元处理图像中各变量线性关系，例如在图像不同像素的强度矢量之间的线性关系。

s103、对所述第一图像进行主成分分析处理，获得第二图像。

在上述步骤s103中，对进行泊松校正处理后的原始图像进行主成分分析处理，主成分分析是一种空间映射方法，能够将重复的变量或者关系紧密的变量删去，建立尽可能少的新变量，使得新变量两两不相关，且新变量在反映课题的信息方面尽可能保持原有的信息。

如图3所示，本发明实施例还对上述步骤s103细化说明，上述步骤s103中对所述第一图像进行主成分分析包括：

s1031、根据所述第一图像中的帧数，建立a个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，a为大于1的整数，a为大于等于1且小于a的整数。

在上述步骤s1031中，根据所述第一图像中的帧数，建立a个第一图像坐标系，则a还小于第一图像中的帧数；由于第一图像中不同帧数的图像具有不同的坐标系，通过将坐标系中的变量映射到相邻坐标系中的主元，能够减少变量间的线性相关性。

s1032、根据所述映射后的第一图像坐标系，建立协方差矩阵，公式为：

其中，分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而分别是所述第一图像在第i和j帧的平均强度值。

s1033、计算所述第二协方差矩阵中的第二特征值，公式为：

c＝udv^t，

其中，v是右奇异向量，v^t是v的转置，包含所述第二协方差矩阵的右特征向量，u是左奇异向量，包含所述第二协方差矩阵的左特征向量的矩阵，d是与所述第二协方差矩阵的特征值对应的对角矩阵。

在上述步骤s1032和步骤s1033中，通过协方差矩阵，衡量变量之间的线性相关性；同时，为了达到主成分分析的目的，将获得的协方差矩阵进行奇异值分解，提取c的特征向量和特征值来分析矩阵，并将其写成三个矩阵的乘积。

在具体应用中，当样本是n维数据时，其协方差实际上是协方差矩阵(对称方阵)，方阵的边长是cn²。例如：对于3维数据(x，y，z)，协方差为：

为得到协方差矩阵，需将原来变量矩阵转换，以使协方差矩阵除了对角线上的元素，其他元素都变为0；上述的矩阵变化为矩阵对角化过程，通过奇异值分解完成。其中，奇异值分解是一个能适用于任意的矩阵的一种分解的方法，将一个矩阵分解成c＝uσvt的形式，u是左奇异向量阵，σ是由奇异值组成的对角矩阵，奇异值由大到小排列，v是右奇异向量。分解得到的σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特主要征向量就是描述这个矩阵变化方向，即从主要的变化到次要的变化排列。当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。这个线性变化可能无法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，通过特征值分解得到的前n个特征向量，对应这个矩阵最主要的n个变化方向。利用这前n个变化方向，则能够提取这个矩阵最重要的特征，根据上述特征，能够在减少变量间的相关性后，在变量反映课题的信息方面时，尽可能保持原有的信息。

在具体应用中，方差的大小描述的是一个变量的信息量，一般来说方差大的方向是信号的方向，方差小的方向是噪声的方向，在数字信号处理中，往往要提高信号与噪声的比例，也就是信噪比。通过奇异值分解能够找到方差最大的坐标轴，即第一个奇异向量，方差次大坐标轴就是第二奇异向量。总的来说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的。假设在n维空间中，可以找到n个这样的坐标轴，取前r个去近似这个空间，则实现了从一个n维的空间压缩到r维的空间，但是此时选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。

在一个实施例中，与所述第二协方差矩阵的特征值对应的对角矩阵d按降序排序。

s1034、选择与所述协方差矩阵的特征值对应的对角矩阵d中所有t个特征值选择前m个为所述特征值，公式为：

其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；

计算m个所述特征图像中第p个主成分在k像素上的值，获得第二图像，公式为：

vp,i表示第p个特征向量在第i帧的值，表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。

在上述步骤s1034中，由于一个特征向量对应一个投影图像，所以获得m个投影图像(s1,s2,…,sm)，即第二图像。

s104、从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像。

在上述步骤s104中，从进行了泊松校正和降维后的原始图像中提取图像重构成分，所提取的重构成分一方面避免重复提取，另一方面需保证根据此重构成分重构图像时不损失信息。

如图4所示，本发明实施例还对上述步骤s104细化说明，上述步骤s104中从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像包括：

s1041、根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：

s1042、根据所述m幅第二图像的比重建立投影矩阵，表示公式为：

sm＝[r1s1，r2s2，...，rpsp，...，rmsm]；

s1043、根据所述投影矩阵重构图像，计算公式为：

其中，sm表示由m个根据所述m幅第二图像的比重建立的投影矩阵，vm表示m个特征值对应的特征向量，表示去噪后的由k个像素组成的q帧图像。

根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。

在上述步骤s1043中，q帧图像为q个由k个像素组成的图像，ikn,i中的i表示由k个像素组成的第i帧图像，而q为图像总帧数。例如，假设图像帧数q为4，像素k为1000，则q帧图像为由1000个像素组成的第1帧图像、由1000个像素组成的第2帧图像、由1000个像素组成的第3帧图像和由1000个像素组成的第4帧图像。

在上述步骤s1041至步骤s1043中，通过一个特征向量计算得到一幅特征图像，如果选取m个特征值就有m个特征图像(s1，s2，…，sm)，其中第二图像即是投影图像，从第二图像中提取重构成分后，又由于每个特征值占的比重都不一样，则需要计算每个特征值的在其特征图像中的比重rp，即m个特征值在m幅第二图像中的比重；进行图像重构时，需根据m幅第二图像的比重建立投影矩阵，再根据投影矩阵重构图像，形成重构后的单元处理图像，此时对单元处理图像的处理完成。

s105、根据n个所述重构后的单元处理图像，生成超分辨图像。

在上述步骤s105中，将所有重构后的单元处理图像组合，生成完整的超分辨图像，此时图像中噪声少，单分子的定位精度高。

本发明实施例提供的分子定位超分辨成像的降噪方法，从分子定位超分辨显微镜获得的图像中提取若干单元处理图像，对每个单元处理图像进行泊松校正，降低标记样本中线性相关度高的变量，然后在校正后的图像基础上进行主成分分析，在时间序列上保留原始图像尽量多的主要信息，锐化在一个衍射极限内重复出现的点扩散函数，去除多余的噪声，即降低图像重构成分中重复的部分，提高分子定位超分辨成像系统在定位过程中单分子的定位精度，获得超分辨图像。

实施例二

如图5所示，本发明实施例提供了一种分子定位超分辨成像的降噪装置50，应用于分子定位超分辨显微镜，分子定位超分辨成像的降噪装置50包括：

分割模块51，用于将分子定位超分辨显微镜获得的图像进行分割，获得若干单元处理图像；

校正模块52，用于对单元处理图像进行泊松校正，获得第一图像；

主成分分析模块53，用于对第一图像进行主成分分析，获得第二图像；

重构模块54，用于从第二图像中提取图像重构成分，根据图像重构成分重构图像，获得重构后的单元处理图像；

图像生成模块55，用于根据若干重构后的单元处理图像，生成超分辨图像。

如图6所示，在本发明实施例中，校正模块52包括：

获取单元521，用于获取所述单元处理图像中的噪声信号和原始图像信号；

调整单元522，用于通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；

所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：

其中，是在第i帧的所述原始图像检测到的第k个像素上的强度，是第i帧的整幅所述原始图像的平均强度，k为正整数。

如图7所示，主成分分析模块53包括：

坐标映射单元531，用于根据所述第一图像中的帧数，建立a个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，a为大于1的整数，a为大于等于1且小于a的整数；

协方差矩阵建立单元532，用于根据所述映射后的第一图像，建立协方差矩阵，公式为：

其中，分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而分别是所述第一图像在第i和j帧的平均强度值；

特征值计算单元533，用于计算所述协方差矩阵中的特征值，公式为：

c＝udv^t，

其中，v是右奇异向量，v^t是v的转置，包含所述协方差矩阵的右特征向量，u是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，d是与所述协方差矩阵的特征值对应的对角矩阵；

主成分确定单元534，用于选择与所述协方差矩阵的特征值对应的对角矩阵d中所有t个特征值选择前m个为所述特征值，公式为：

其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；

主成分分析单元535，用于计算m个所述特征图像中第p个主成分在k像素上的值，获得第二图像，公式为：

vp,i表示第p个特征向量在第i帧的值，表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。

在一个实施例中，重构模块54包括比重计算单元、投影矩阵建立单元和图像重构单元，其中：

比重计算单元，用于根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：

投影矩阵建立单元，用于根据所述m幅第二图像的比重建立投影矩阵，表示公式为：

sm＝[r1s1，r2s2，...，rpsp，...，rmsm],

图像重构单元，用于根据所述投影矩阵重构图像，计算公式为：

其中，sm表示由m个根据所述m幅第二图像的比重建立的投影矩阵，vm表示m个特征值对应的特征向量，表示去噪后的由k个像素组成的q帧图像；

根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。

在具体应用中，q帧图像为q个由k个像素组成的图像，中的i表示由k个像素组成的第i帧图像，而q为图像总帧数。例如，假设图像帧数q为4，像素k为1000，则q帧图像为由1000个像素组成的第1帧图像、由1000个像素组成的第2帧图像、由1000个像素组成的第3帧图像和由1000个像素组成的第4帧图像。

本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如实施例一中所述的分子定位超分辨成像的降噪方法中的各个步骤

本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例一中所述的分子定位超分辨成像的降噪方法中的各个步骤。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。