一种用于超分辨定位显微成像的数据处理装置及方法与流程

本发明属于超分辨定位显微成像技术领域，更具体地，涉及一种用于超分辨定位显微成像的数据处理装置及方法。

背景技术：

超分辨定位成像技术已可实现达到20nm的空间分辨率，可以从分子水平研究细胞内复杂的工作机制，已成为生命科学研究领域不可或缺的研究工具。随着探测器技术的快速发展，人们希望在不牺牲成像视场和空间分辨率的情况下，提高超分辨定位成像的时间分辨率。为提高超分辨定位显微成像的时间分辨率，快速发展的弱光探测器(sCMOS)已经做到理论420M pixel/s的图像采集速率。然而，目前电脑对于采集到的数据计算速度却远不能做到实时处理。当前的主要系统架构是将sCMOS探测器采集到的数据，直接连接到计算机，由计算机的中央处理器(CPU)和图形处理器(GPU)联合计算，通过超分辨定位算法来实现图像的处理。依据不同的算法，所得到的超分辨图的精度和速度有很大差别。但均不能实现实时处理。对于sCMOS探测器而言，图像数据采集的速率远超算法的计算速率。即使是精度较低的代数算法，也需经过较长时间的数据处理才能得到一张超分辨重建图，极大地制约了超分辨定位显微成像技术的发展。因此，发明一种既能满足高精度的空间分辨率又能满足实时数据处理的方法成为本领域的迫切需求。

技术实现要素：

针对现有技术的缺陷，本发明提供的一种用于超分辨定位显微成像的数据处理装置，旨在解决现有处理装置不能兼顾高精度的空间分辨率又能满足实时数据处理的技术问题。

为实现上述目的，本发明提供了一种用于超分辨定位显微成像的数据处理装置，包括数据预处理电路以及第一处理器；

数据预处理电路包括：

探测器接口电路，用于采集并传输荧光图；

FPGA，其输入端与探测器接口电路的输出端连接，用于从荧光图中提取荧光分子子区域；以及

第一接口电路，其输入端与FPGA的输出端连接，用于将荧光分子子区域传输至第一处理器；

第一处理器包括：

存储器，其第一端与第一接口电路的输出端连接，用于存储荧光分子子区域；

CPU，用于向GPU发送定位指令，并接收GPU输出的超分辨重建图；

GPU，其第一端与CPU的第一端连接，其第二端与存储器的第二端连接，用于根据定位指令对荧光分子子区域进行定位处理，获得超分辨重建图，并将超分辨重建图传输至CPU，超分辨重建图由最终最终在图像显示器上显示出来。

本发明提供的数据处理装置，由数据预处理电路从荧光图中提取荧光分子子区域，将荧光分子子区域传输至第一处理器，第一处理器中的CPU与GPU仅完成对荧光分子子区域的定位处理，能够提高第一处理器获得超分辨重建图的效率。通过探测器接口电路快速从探测器中获取荧光图，由FPGA内部提供的硬件电路，能够实时从大量的荧光图中提取小数据量的荧光分子子区域，并由第一接口电路将荧光分子子区域快速传输至第一处理器。因此，本发明提供的数据处理装置既能实现高精度超分辨图像实时重建。

进一步地，数据预处理电路中还包括：多路复用电路，其输入端与探测器接口电路输出端连接，其第一输出端与FPGA的输入端连接，其第二输出端用于将荧光图传输至第二处理器，多路复用电路用于接收并将荧光图复制为两路荧光图输出。

多路复用电路实现将荧光图分为多路荧光图，一路荧光图传送至数据预处理电路，一路荧光图传送至第二处理器，由第二处理器对荧光图进行超分辨定位处理，使得本发明提供的数据处理装置与现有的数据处理装置能够兼容，用户可以保留原图像处理方式。

进一步地数据预处理电路中还包括：多路复用电路，其输入端与探测器接口电路输出端连接，其第一输出端与FPGA的输入端连接，其第二输出端用于将荧光图传输至第二处理器，其第三端至第N端用于作为扩展接口，多路复用电路用于接收并将荧光图复制为多路荧光图输出，其中，N≥3。

进一步地，FPGA包括：

荧光图读取模块，其输入端与探测器接口电路的输出端连接，用于获取荧光图，并将荧光图分为三路荧光图输出；

降噪处理模块，其输入端与所述荧光图读取模块的第一输出端连接，用于对荧光图进行降噪处理，输出第一图像；

去背景处理模块，其输入端与降噪处理模块的输出端连接，用于对第一图像进行去背景处理，输出第二图像；

背景波动强度获取模块，包括第三子区域获取电路，其输入端与荧光图读取模块第二输出端连接，用于从荧光图中提取出第三当前处理子区域；背景波动强度获取电路，其输入端与第三子区域获取电路的输出端连接，用于获得第三当前处理子区域的局部标准差，并将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度，用作荧光分子子区域判断的阈值；以及

子区域判断与提取模块，包括第四子区域获取电路，其输入端与去背景处理模块的输出端连接，用于从第二图像中提取第四当前处理子区域；子区域判断电路，其第一输入端与第四子区域获取电路的输出端连接，其第二输入端与背景波动强度获取电路的输出端连接，将第三当前处理子区域的背景波动强度作为第四当前处理子区的背景波动强度，根据第四当前处理子区域的背景波动强度和第四当前处理子区域的信号强度确定第四当前处理子区域是否存在荧光分子，并输出子区域提取控制信号；备选子区域获取电路，其输入端与所述荧光图读取模块第三输出端连接，用于从荧光图中提取备选子区域；子区域提取电路，其输入端与备选子区域提取电路的输出端连接，其控制端与子区域判断电路输出端连接，根据子区域提取控制信号确定备选子区域是否为荧光分子子区域。

背景波动强度获取模块中对第三当前处理子区域进行局部标准差处理，获得第三当前处理子区域的背景波动强度，仅用到局部的图像信息，使得每个子区域都有一个背景波动强度，而不是整个图像中所有子区域共享一个背景波动强度，可以在整幅图像具有不均匀背景的情况下使得所提取的荧光分子子区域更加准确，具有更好的适应性，由FPGA中电路完成从荧光图中提取荧光分子子区域，相较于现有的数据处理装置采用CPU与GPU联合处理荧光图，数据处理速率明显提升。

进一步地，背景波动强度获取电路包括：

像素比较器，其输入端与所述第三子区域获取电路的输出端连接，用于根据第三当前处理子区域各像素的灰度值从第三当前处理子区域中获得筛选像素；

均值加法器，其输入端与所述像素比较器的输出端连接，用于获得筛选像素的平均值；

减法器，其第一输入端与所述像素比较器的输出端连接，其第二输入端与均值加法器的输出端连接，用于获得各筛选像素与筛选像素的平均值的差值；以及

局部标准差加法器，其输入端与减法器的输出端连接，用于将各筛选像素与筛选像素的平均值的差值求和，获得第三当前处理子区域的局部标准差。

本发明提供的背景波动强度获取电路，通过像素比较器根据第三当前处理子区域的灰度值获得筛选像素，用筛选像素进行局部标准差计算，可以提高背景波动强度获取电路处理速度。

进一步地，子区域判断电路包括：

第一像素比较器，其输入端与所述第四子区域获取电路的输出端连接，用于判断第四当前处理子区域的中心像素灰度值是否为第四当前处理子区域各像素灰度值中最大值，并根据判断结果输出第一电平值；

第二像素比较器，其一输入端与所述第四子区域获取电路输出端连接，其另一输入端与所述背景波动强度获取电路输出端连接，用于根据第四当前处理子区域的中心像素灰度值和第四当前处理子区域的背景波动强度输出第二电平值；

四邻域像素加法器，其输入端与所述第四子区域获取电路输出端连接，用于将第四当前处理子区域中心像素的四邻域像素灰度值和第四当前处理子区域的中心像素灰度值进行累加处理输出第一累加灰度值；

八邻域像素加法器，其输入端与所述第四子区域获取电路输出端连接，用于将第四当前处理子区域中心像素的八邻域像素灰度值和第四当前处理子区域的中心像素灰度值进行累加处理获得第二累加灰度值；

四邻域像素比较器，其一输入端与所述四邻域像素加法器的输出端连接，其另一输入端与所述背景波动强度获取电路输出端连接，用于根据第一累加灰度值和第四当前处理子区域的背景波动强度输出第三电平值；

八邻域像素比较器，其一输入端与所述八邻域像素加法器输出端连接，其另一输入端与所述背景波动强度获取电路输出端连接，用于根据第二累加灰度值和第四当前处理子区域的背景波动强度输出第四电平值；以及

逻辑与门，其第一输入端与所述第一像素比较器的输出端连接，其第二输入端与所述第二像素比较器的输出端连接，其第三输入端与所述四邻域像素比较器的输出端连接，其第四输入端与所述八邻域像素比较器的输出端连接，用于根据第一电平值至第四电平值输出子区域提取控制信号。

本发明提供的子区域判断与提取模块，通过判断第四当前处理子区域的中心像素的灰度值是否为第四当前处理子区域的所有灰度值的最大值确定荧光分子位于第四当前处理子区域的中心位置，将第四当前处理子区域的背景波动强度作为阈值，将第四当前处理子区域的中心像素的灰度值、以及四邻域像素的灰度值、八邻域像素的灰度值与第四当前处理子区域的背景波动强度比较判断第四当前处理子区域是否存在荧光分子，消除背景对荧光分子判断的影响，使得判断结果更加准确。

作为本发明的另一方面，本发明提供了用于超分辨定位显微成像的数据预处理方法，包括如下步骤：

(1)对荧光图进行降噪声处理输出第一图像，并对第一图像进行去背景噪声处理，输出第二图像；

从荧光图中提取第三当前处理子区域，并对第三当前处理子区域进行局部标准差处理，获得第三当前处理子区域的局部标准差，并将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度；更新第三当前处理子区域，获得荧光图中各像素的背景波动强度，将荧光图所有像素的背景波动强度作为第二图像中所有像素的背景波动强度；

(2)从第二图像中提取第四当前处理子区域，将第三当前处理子区域的背景波动强度作为第四当前处理子区的背景波动强度，根据第四当前处理子区域信号强度和第四当前处理子区域的背景波动强度判断第四当前处理子区域是否存在荧光分子子区域，并根据判断结果确定是否将荧光图中与第四当前处理子区域在第二图像中位置相同的区域作为荧光分子子区域；更新第四当前处理子区域，提取荧光图中所有荧光分子子区域；

(3)将荧光分子子区域进行定位处理，获得超分辨重建图像。

本发明提供的用于超分辨定位显微成像的数据预处理方法，将从荧光图中提取的每个第三当前处理子区域进行局部标准差处理，获得第三当前处理子区域的背景波动强度，并从第二图像中提取第四当前处理子区域，将第三当前处理子区域的背景波动强度作为第四当前处理子区域的背景波动强度，并根据第四当前处理子区域的信号强度和第四当前处理子区域的背景波动强度确定第四当前处理子区域是否存在荧光分子，可以在整幅图像具有不均匀背景的情况下使得所提取的荧光分子子区域更加准确，具有更好的适应性，获得准确的超分辨重建图像。

进一步地，步骤(2)包括如下步骤：

(21)从第二图像中提取第四当前处理子区域，若第四当前处理子区域的中心像素的灰度值为第四当前处理子区域所有像素的灰度值的最大值，

且第四当前处理子区域的中心像素的灰度值大于第四当前处理子区域的背景波动强度的2倍；

且第四当前处理子区域中心像素的灰度值与第四当前处理子区域中心像素的四邻域像素的灰度值之和大于第四当前处理子区域的背景波动强度的9倍，

且第四当前处理子区域的中心像素的灰度值与第四当前处理子区域中心像素的八邻域像素的灰度值之和大于第四当前处理子区域的背景波动强度的11倍；

则将荧光图中与第四当前处理子区域在第二图像中位置相同的区域作为荧光分子子区域提取，并进入步骤(22)；否则不提取荧光图中与第四当前处理子区域在第二图像中位置相同的区域，进入步骤(22)；

(22)判断是否所有第四当前处理子区域是否都已被提取，若是，则终止；否则，进入步骤(21)；

第四当前处理子区域为从第二图像中提取的大于7×7的子区域。

从第二图像中提取第四当前处理子区域，将第四当前处理子区域中各像素的灰度值与第四当前处理子区域的背景波动强度比较，确定第四当前处理子区域是否为荧光分子，通过判断第四当前处理子区域的中心像素的灰度值是否为最大值判断荧光分子是否在第四当前处理子区域的中心位置，可以准确的判断荧光图中荧光分子所在区域。

附图说明

图1是本发明提供的用于超分辨定位显微成像的数据处理装置的结构示意图；

图2是本发明提供的用于超分辨定位显微成像的数据处理装置中FPGA预处理电路示意图；

图3是FPGA中背景波动强度获取电路的结构示意图；

图4是是本发明提供FPGA中子区域判断电路的结构示意图；

图5是本发明提供的FPGA器件结构示意图，(a)为从sCMOS探测器获取荧光图的结构示意图，(b)为FPGA中的图像预处理器的结构示意图；

图6是本发明提供的数据处理方法中从第三当前处理子区域中获得筛选像素原理图；

图7是本发明提供数据预处理电路进行荧光图预处理的效果示意图，其中，(a)为由sCOMS相机采集的荧光图的效果示意图，(b)为将荧光图进行降噪处理和去背景处理的效果示意图，(c)为将荧光图进行局部标准差滤波后的背景波动强度效果示意图，(d)为从荧光图中提取的所有荧光分子子区域的效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明提供的用于超分辨定位显微成像的数据处理装置的结构示意图，数据处理装置包括数据预处理电路，数据预处理电路的输出端连接第一处理器的输入端，数据预处理电路用于从探测器采集的荧光图中提取荧光分子子区域，第一处理器用于将荧光分子子区域进行定位处理获得超分辨重建图。数据预处理电路包括探测器接口电路，用于快速将探测器采集的荧光图传输至多路复用电路。探测器接口电路可以为cameralink接口、USB接口、FMC模块等各种可转接接口。

多路复用电路用于接收荧光图并将荧光图复制为多路荧光图输出，其输入端与探测器接口电路输出端连接，多路复用电路有两个输出端，其中一个输出端为通路，该通路用于同第二处理器的输入端连接，多路复用电路的另一个输出端与FPGA输入端连接，第二处理器的输出端与图像显示器的输入端连接，第二处理器用于将荧光图进行超分辨定位处理获得超分辨图像，该多路复用电路使得用户可以保留原有的荧光图处理方式。

作为多路复用电路的另一种实现方式，多路复用电路有N个输出端，其中N≥3，第一输出端与FPGA的输入端连接，第二输出端与第二处理器的输入端连接，第三输出端至第N输出端均用于扩展输出。使得其他处理芯片或者处理器通过第三输出端至第N输出端连接到数据预处理电路中，处理芯片可以为DSP芯片。

FPGA输出端与第一接口电路的输入端，FPGA从荧光图中提取荧光分子子区域，荧光分子子区域由第一接口电路传输至第一处理器，第一处理器包括存储器、CPU以及GPU，存储器的第一端与第一接口电路输出端，CPU的第一端与GPU的第一端连接，GPU的第二端与存储器的第二端连接，存储器用于存储荧光分子子区域，CPU用于向GPU发送定位指令，GPU接收到定位指令后从存储器中接收荧光分子子区域数据，并对荧光分子子区域进行定位处理获得超分辨重建图，将超分辨图传输至CPU，并由图像显示器显示超分辨重建图。

由于超分辨定位成像稀疏激发的特性，由接收探测器采集的荧光图中仅仅只有包含荧光分子子区域是有效的，因此，本发明提供的数据处理装置，由数据预处理电路从荧光图中提取荧光分子子区域，将荧光分子子区域传输至第一处理器，第一处理器中的CPU与GPU仅完成对荧光分子子区域的定位处理，能够提高第一处理器获得超分辨重建图的效率。通过探测器接口电路快速从探测器中获取荧光图，并由FPGA实现实时提取出荧光图中荧光分子子区域，将荧光图中有用的荧光分子子区域提出，能够保证获得超分辨重建图的精度，由FPGA内部提供的硬件电路，能够实时从大量的荧光图中提取荧光分子子区域，并由第一接口电路将荧光分子子区域快速传输至第一处理器。因此，本发明提供的用于超分辨定位显微成像的数据处理装置实现高精度超分辨图像实时重建。

图2是本发明提供的用于超分辨定位显微成像的数据处理装置中FPGA结构示意图，FPGA包括荧光图读取模块5、降噪处理模块1、去背景处理模块2、背景波动强度获取模块3以及子区域判断与提取模块4。

荧光图读取模块5，用于获取荧光图，并将荧光图分为三路荧光图输出，荧光图读取模块5的第一输出端与降噪处理模块1的输入端连接，降噪处理模块1用于对荧光图进行降噪处理，输出第一图像，降噪处理模块1的输出端与去背景处理模块2的输入端连接，用于对第一图像进行去背景处理，输出第二图像。

背景波动强度获取模块3，包括第三子区域获取电路301和背景波动强度获取电路302，第三子区域获取电路301的输入端与荧光图读取模块5的输出端连接，用于实时从荧光图中提取出第三当前处理子区域，背景波动强度获取电路302的输入端与第三子区域获取电路301的输出端连接，用于实时输出第三当前处理子区域的局部标准差，并将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度，背景波动强度用于荧光分子子区域判断的阈值。

子区域判断与提取模块4，包括第四子区域获取电路401、子区域判断电路402、备选子区域获取电路403以及子区域提取电路404，第四子区域获取电路401的输入端与去背景处理模块2的输出端连接，用于实时从第二图像中提取第四当前处理子区域，子区域判断电路402第一输入端与第四子区域获取电路401的输出端连接，子区域判断电路402第二输入端与背景波动强度获取电路302的输出端连接，让第四子区域获取电路401与第三子区域获取电路301在时序上配合，使第四当前处理子区域的中心像素在第二图像中位置与第三当前处理子区域的中心像素在荧光图中位置相同，即将第三当前处理子区域的背景波动强度作为第四当前处理子区域的背景波动强度，子区域判断电路402根据第四当前处理子区域和由背景波动强度获取电路302输出的第三当前处理子区域的背景波动强度实时判断第四当前处理子区域是否存在荧光分子，并输出子区域提取控制信号。

备选子区域获取电路403的输入端与荧光图读取模块5的第三输出端连接，备选子区域获取电路403用于从荧光图中提取备选子区域，子区域提取电路404输入端与备选子区域获取电路403的输出端连接，子区域提取电路404的控制端与子区域判断电路402输出端连接，根据子区域提取控制信号实时确定备选子区域是否为荧光分子子区域。让备选子区域提取电路403与第四子区域获取电路401在时序上配合，使第四当前处理子区域的中心像素在第二图像中位置与备选子区域的中心像素在荧光图中位置相同。

通过第三子区域获取电路301、第四子区域获取电路401以及备选子区域提取电路403不断更新输出的第三当前处理子区域、第四当前处理子区域和备选子区域，实现对荧光图所有像素进行预处理，通过数据预处理电路对荧光图实时处理，消减荧光图中对重建图像没有意义或有不好影响的数据，将荧光分子子区域用于图像重建，有效降低图像重建计算的计算量，缩小重建图像的时间。

同时，背景波动强度获取模块根据第三当前处理子区域的灰度值获得第三当前处理子区域的局部标准差，仅用到局部的图像信息，并将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度，使得每个像素都有一个背景波动强度的值，而不是整个图像共享一个背景波动强度的值，可以在整幅图像具有不均匀背景的情况下使得所提取的荧光分子子区域更加准确，具有更好的适应性。因此，本发明提供的用于超分辨定位显微成像的数据处理装置能够实现实时且高精度的空间分辨率重建图像。

本发明提供的FPGA中降噪处理模块包括降噪行缓冲器组，第一降噪寄存器组，降噪相乘累加电路以及第二降噪寄存器，降噪行缓冲器组用于从荧光图中提取并输出第一当前处理子区域，第一降噪寄存器组的输入端与降噪行缓冲器组输出端连接，第一降噪寄存器组用于存储第一当前处理子区域，降噪相乘累加电路的输入端与第一降噪寄存器组输出端连接，降噪相乘累加电路用于将第一当前处理子区域和预设降噪卷积模板进行相乘累加处理，并输出第一当前处理子区域降噪后的灰度值，第二降噪寄存器的输入端与降噪相乘累加电路输出端连接，用于存储由降噪相乘累加电路输出的降噪后的图像。

本发明提供的FPGA中去背景处理模块，包括去背景行缓冲器组，第一去背景寄存器组，去背景相乘累加电路以及第二去背景寄存器，去背景行缓冲器组用于从降噪后的图像中提取并输出第一当前处理子区域，第一去背景寄存器器组的输入端与去背景行缓冲器组输出端连接，第一去背景寄存器组用于存储第一当前处理子区域，去背景相乘累加电路的输入端与第一去背景寄存器组输出端连接，去背景相乘累加电路用于将第一当前处理子区域和预设去背景卷积模板进行相乘累加处理，并输出第一当前处理子区域去背景后的灰度值，第二去背景寄存器的输入端与去背景相乘累加电路输出端连接，用于存储由去背景相乘累加电路输出的去背景后且降噪后的图像数据。

如图3所示，本发明提供的FPGA中背景波动强度获取电路302包括像素比较器3021、均值加法器3022、减法器3023以及局部标准差加法器3024，像素比较器3021输入端与第三子区域获取电路301的输出端连接，用于根据第三当前处理子区域各像素的灰度值获得筛选像素，均值加法器3022输入端与像素比较器3021的输出端连接，用于获得筛选像素的平均值，减法器3023第一输入端与像素比较器3021的输出端连接，减法器3023第二输入端与均值加法器3022的输出端连接，用于获得各筛选像素与筛选像素的平均值的差值，局部标准差加法器3024输入端与减法器3023输出端连接，用于将各筛选像素与筛选像素的平均值的差值求和，获得第三当前处理子区域的局部标准差。在像素比较器3021从第三当前处理子区域中获取筛选像素时，可根据像素的位置将第三当前处理子区域的最外层的所有像素分成两部分，从每个部分中选出一半像素作为筛选像素，且从该部分筛选出像素的灰度值均小于该部分中任意的未筛选出像素的灰度值。本发明提供的背景波动强度获取电路，通过像素比较器根据第三当前处理子区域的灰度值获得筛选像素，用筛选像素进行局部标准差计算，可以提高该电路处理速度。

如图4所示，本发明提供FPGA中子区域判断与提取模块包括第一像素比较器4021、第二像素比较器4022、四邻域像素加法器4023、八邻域像素加法器4025、四邻域像素比较器4024、八邻域像素比较器4026以及逻辑与门4027，第一像素比较器4021输入端与第四子区域获取电路401的输出端连接，用于判断第四当前处理子区域的中心像素灰度值是否为第四当前子区域各像素灰度值中最大值，并根据判断结果输出第一电平，当第四当前处理子区域的中心像素灰度值为第四当前子区域各像素灰度值中最大值，则第一电平为高电平，否则，为低电平，通过第一电平可以确定荧光分子是否位于第四当前处理子区域的中心位置。

第二像素比较器4022的一输入端与第四子区域获取电路401输出端连接，第二像素比较器4022的另一输入端与背景波动强度获取电路302输出端连接，通过比较第四当前处理子区域的中心像素灰度值和第四当前处理子区域的背景波动强度输出第二电平，若第四当前处理子区域的中心像素灰度值大于第四当前处理子区域的背景波动强度的两倍，则第二电平为高电平，否则，第二电平为低电平。

四邻域像素加法器4023输入端与第四子区域获取电路401输出端连接，用于将第四当前处理子区域的中心像素的四邻域像素灰度值和第四当前处理子区域的中心像素灰度值进行累加处理获得第一累加灰度值。八邻域像素加法器4025输入端与第四子区域获取电路401输出端连接，用于将第四当前处理子区域的中心像素的八邻域像素灰度值和第四当前处理子区域的中心像素灰度值进行累加处理获得第二累加灰度值。

四邻域像素比较器4024一输入端与四邻域像素加法器4023的输出端连接，四邻域像素比较器4024另一输入端与背景波动强度获取电路302输出端连接，比较第一累加灰度值和第四当前处理子区域的背景波动强度，并根据比较结果输出第三电平，若第一累加素灰度值大于第四当前处理子区域的背景波动强度的9倍，则第三电平为高电平，否则，第三电平为低电平。

八邻域像素比较器4026一输入端与八邻域像素加法器4025的输出端连接，八邻域像素比较器4026另一输入端与背景波动强度获取电路302输出端连接，比较第二累加灰度值和第四当前处理子区域的背景波动强度，并根据比较结果输出第四电平，若第二累加素灰度值大于第四当前处理子区域的背景波动强度的11倍，则第四电平为高电平，否则，第四电平为低电平。

逻辑与门4027第一输入端与第一像素比较器4021的输出端连接，逻辑与门4027第二输入端与第二像素比较器4022的输出端连接，逻辑与门4027第三输入端与四邻域像素比较器4024的输出端连接，逻辑与门4027第四输入端与八邻域像素比较器4026的输出端连接，根据第一电平至第四电平输出子区域提取控制信号。

当第一电平至第四电平均为高电平时，则表示第四当前处理子区域存在荧光分子，逻辑与门4027输出的子区域控制信号，使备选子区域获取电路输出的备选子区域作为荧光分子子区域经由子区域提取电路输出。当第一电平至第四电平有一个不为高电平时，则表示第四当前处理子区域不存在荧光分子，逻辑与门4027输出的子区域控制信号，使备选子区域获取电路输出的备选子区域不经由子区域提取电路输出。通过对第四当前处理子区域的四邻域像素、八邻域像素与第四当前处理子区域的背景波动强度进行比较，可以消除背景波动强度对荧光分子判断的影响，使得输出的荧光分子子区域更加准确。

本发明提供的数据处理装置的实施例中，探测器为sCMOS探测器，sCMOS探测器采用80bits的camera link传输协议传输荧光图，即每个时钟同时传输5个像素的数据。故接口选用cameralink接口电路，图5为PFGA的器件结构示意图，为了正确的获取由camera link接口传输的图像数据，采用5(a)所示的电路结构从sCMOS探测器获取荧光图。sCMOS探测器通常采用Rolling shutter的传输模式，即荧光图从中间往两边逐行读出，通过写状态机将荧光图分别存储到奇数行图像FIFO和偶数行图像FIFO中，同时考虑到荧光图处理往往处理不到边沿的几个像素，如果仅仅是进行简单的奇偶分割，最终得到的超分辨图像中间会有一条黑带。因此，我们将上半探测器中间的6行数据也传输给下半探测器，并将下半探测器底部的6行数据丢掉。对上半探测器数据也进行类似的操作，这样不仅中间的黑带被去除掉，而且因为图像大小不变，保证了图像处理的速度不变，并根据荧光图的行数奇偶性把荧光图分为上下两半探测器的数据。

如图5(b)所示，每个半探测器数据分配一个图像处理器进行处理，每个图像处理器包括降噪处理模块、去背景处理模块、背景波动强度获取模块以及子区域判断与提取模块，上述四个模块中均包括有相互连接的行缓冲器组和寄存器组，在一个行缓冲器中，每个时钟像素往前移动一格，移出当前行缓冲器的像素同时流入下一个行缓冲器和寄存器，寄存器组充满流入的像素的灰度值，即获得当前处理子区域，降噪处理模块中由行缓冲器组和寄存器组从荧光图中提取的当前处理子区域与预设降噪卷积模板进行相乘累加处理，获得当前处理像素降噪后的灰度值，即通过对当前处理子区域进行高斯低通滤波处理，获得当前处理像素降噪后的灰度值，各像素降噪后的灰度值由寄存器组存储，寄存器组将各像素降噪后的灰度值输出给去背景处理模块，同理，由行缓冲器组与寄存器组从第一图像中提取当前处理子区域，去背景处理模块中寄存器组输出的当前处理子区域与预设去背景卷积模板进行相乘累加处理，获得当前处理像素去背景且降噪后的灰度值，即对当前处理像素进行环形滤波处理，获得当前像素去背景且降噪后的灰度值，各像素去背景且降噪后的灰度值由寄存器储存，寄存器组将去背景且降噪后的灰度值传输至子区域判断与提取模块。背景波动强度获取模块中行缓冲器组和寄存器组从荧光图中提取当前处理子区域，并获得当前处理子区域的局部标准差，将当前处理子区域的局部标准差作为当前处理子区域的背景波动强度，当前处理子区域的背景波动强度存储寄存器中，并传输至子区域判断与提取模块。子区域判断与提取模块中的一行缓冲器组与寄存器组从去背景且降噪后的图像中提取当前处理子区域，并通过子区域判断电路输出子区域提取控制信号，并将子区域提取控制信号传输至子区域提取电路的控制端，子区域判断与提取模块中的另一行缓冲器组与另一寄存器组从荧光图中提取备选子区域，并将备选子区域传输至子区域提取电路，子区域提取电路根据子区域提取控制信号实时确定备选子区域是否为荧光分子子区域，若是，则将备选子区域存储至子区域数据FIFO中，通过对子区域数据FIFO进行合并，将合并后的子区域数据进行裁剪，可以获得任意大小的子区域数据，将两个图像预处理器输出的荧光分子所在区域数据进行汇总后通过USB3.0进行传输给定位处理单元和图像重建单元进行处理。因为sCOMS相机接进FPGA的接口为camera link接口，此接口每个时钟传输给FPGA的数据为5个像素，也就是5*16bit数据量。故每个图像预处理器中由五个降噪处理模块、五个去背景处理模块、五个背景波动强度获取模块以及五个子区域判断与提取模块。

由于超分辨定位成像稀疏激发的特性，仅仅只有包含荧光分子的区域是有效的,只提取并传输这些荧光分子所在区域数据，将大大降低传输和存储的数据量，同时大大简化后续处理的工作量。荧光分子子区域数据通过USB3.0接口传输到PC。由于采用局部标准差获取每个像素的背景波动强度并用作阈值的方式具有自适应性，因此具有无需用户输入参数，简单易用的优点。

通过本发明提供的用于超分辨定位显微成像的数据处理装置能够实现将800MB/s的图像数据减少至300MB/s以下。荧光分子所在区域数据以USB3.0接口方便有效地传输给用户电脑，经用户电脑的GPU实现图形加速处理，做到超分辨图像的实时重建，实现所见即所得。

本发明提供的用于超分辨定位显微成像的数据处理方法，包括如下步骤：

(1)将由光信号探测器采集的荧光图进行高斯低通滤波处理，降低荧光图中的噪声信号，输出第一图像。当选取以当前处理像素为中心的5×5的区域进行高斯低通滤波时，卷积模板为：

将第一图像进行环形滤波处理，去除第一图像中的背景噪声，输出第二图像。当选取以当前处理像素为中心的7×7的区域进行环形滤波时，卷积模板为：

从由光信号探测器采集的荧光图中提取出第三当前处理子区域，对第三当前处理子区域进行局部标准差滤波处理，得到第三当前处理子区域的局部标准差，将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度。

若选取当前处理像素为中心的7×7区域作为第三当前处理子区域，如图6所示，将最外层的24个像素分为4个区域，然后对区域1和区域2这两个区域共12个像素的灰度值进行从小到大的排序，选取前6个像素，对区域3和区域4这两个区域的12个像素灰度值从小到大排序，进行逐个比较，选取前6个像素，最终筛选出12个像素。

根据公式

计算第三当前处理子区域的局部标准差。

式中，x_i为最终筛选出的第i个像素的灰度值，

(2)根据荧光图、第二图像以及背景波动强度提取荧光图中所有荧光分子子区域，包括：

(21)从第二图像中提取第四当前处理子区域，当第三当前处理子区域的中心像素在荧光图中位置与第四当前处理子区域的中心像素在第二图像中位置相同，则将第三当前处理子区域的背景波动强度作为第四当前处理子区域的背景波动强度；

若第四当前处理子区域的中心像素的灰度值为第四当前处理子区域所有像素的灰度值的最大值；

且第四当前处理子区域的中心像素的灰度值大于第四当前处理子区域的背景波动强度的2倍；

且第四当前处理子区域中心像素的灰度值与第四当前处理子区域中心像素的四邻域像素的灰度值之和大于第四当前处理子区域的背景波动强度的9倍；

且第四当前处理子区域的中心像素的灰度值与第四当前处理子区域中心像素的八邻域像素的灰度值之和大于第四当前处理子区域的背景波动强度的11倍；

则将荧光图中与第四当前处理子区域在第二图像中位置相同的区域作为荧光分子子区域提取，并进入步骤(22)；否则不提取荧光图中与第四当前处理子区域在第二图像中位置相同的区域，

中心像素的4邻域包括中心像素左方1个像素、中心像素右方1个像素、中心像素上方1个像素以及中心像素下方1个像素；中心像素的8邻域包括与中心像素的左方2个像素、中心像素右方2个像素、中心像素上方2个像素以及中心像素下方2个像素；

第四当前处理子区域为从第二图像中提取的大于7×7的子区域。

(22)判断所有第四当前处理子区域是否都已被提取，若是，则终止；否则，进入步骤(21)；

(3)根据对荧光分子子区域进行定位处理，获得超分辨重建图像。

本发明提供的用于超分辨定位显微成像的数据预处理方法，本发明提供的用于超分辨定位显微成像的数据预处理方法，将从荧光图中提取的每个第三当前处理子区域局部标准差处理，获得第三当前处理子区域的背景波动强度，并从第二图像中提取第四当前处理子区域，将第三当前处理子区域的背景波动强度作为第四当前处理子区域的背景波动强度，并根据第四当前处理子区域和第四当前处理子区域的背景波动强度确定第四当前处理子区域是否存在荧光分子，可以在整幅图像具有不均匀背景的情况下使得所提取的荧光分子子区域更加准确，具有更好的适应性，获得准确的超分辨重建图像。从第二图像中提取第四当前处理子区域，将第四当前处理子区域中各像素的灰度值与第四当前处理子区域的背景波动强度比较，确定第四当前处理子区域是否为荧光分子，通过判断第四当前处理子区域的中心像素的灰度值是否为最大值判断荧光分子是否在第四当前处理子区域的中心位置，可以准确的判断荧光图中荧光分子所在区域。根据对荧光分子进行定位处理，获得准确的超分辨重建图像。

图7是本发明提供数据预处理电路进行荧光图预处理的效果示意图，图7(a)为由sCOMS相机采集的荧光图的效果示意图，图7(b)为将荧光图进行降噪处理和去背景处理的效果示意图，图7(c)为将荧光图进行局部标准差滤波后的背景波动强度的效果示意图，图7(d)为从荧光图中提取的所有荧光分子子区域的效果示意图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。