基于sCMOS的共聚焦超分辨成像系统和方法与流程

本发明涉及共聚焦显微成像领域，具体地，涉及基于scmos的共聚焦超分辨成像系统和方法。

背景技术：

激光共聚焦显微镜采用激光作为光源，采用共轭聚焦原理和装置，并利用计算机对成像进行输出和显示，激光共聚焦显微镜经照明小孔形成点光源，点光源照射样本激发荧光，荧光发出光子经过物镜和小孔被探测器收集，样本平面和像平面是点对点成像。为了有效地排除焦平面以外的散色光对成像精度的影响，探测小孔的直径一般取的很小，常取为1au(airyunit，艾里单位)，如果再减小小孔的直径，为了保证成像的亮度，需增加相应的曝光时间，从而影响图像的采集速度。此外，光共焦系统结构复杂，采用了非常昂贵的硬件系统，因此其价格也非常昂贵。如何平衡成像精度、速度与成本等之间的矛盾是如今研究的重点。

传统的共聚焦显微镜成像方法是设置一个小孔与点探测器(雪崩光电二极管apd或者光电倍增管pmt)，本发明是用scmos相机替代小孔和点探测器，并提出使用虚拟小孔和像素重分配理论来提升成像分辨率。其中，scmos是pco公司与其他公司联合开发的科学cmos芯片，避除了传统cmos芯片高暗电流、高读出噪声、低填充因数和一致性差等缺点，继承了cmos高速、低消耗等优点；scmos相机属于科学级相机。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于scmos的共聚焦超分辨成像系统和方法。

根据本发明提供的一种基于scmos的共聚焦超分辨成像系统，包括scmos相机，还包括反射镜组、激光振镜系统、第一聚光透镜、第二聚光透镜、第三聚光透镜、第四聚光透镜、分光镜、样品面；

经反射镜组反射的激光依次通过激光振镜系统、第一聚光透镜、第二聚光透镜到达分光镜，得到第一分光、第二分光；

所述第一分光经过第三聚光透镜到达样品面；

所述第二分光经过第四聚光透镜到达scmos相机；

优选地，样品面经激光激发的激发光依次经过第三聚光透镜、分光镜、第四聚光透镜到达scmos相机。

根据本发明提供的一种基于scmos的共聚焦超分辨成像方法，包括：

步骤1：通过扫描样本，获取各扫描点对应的子图像；

步骤2：确定所述子图像的激发光中心；

步骤3：为各子图像添加虚拟小孔，其中，虚拟小孔是指窗函数；

步骤4：像素重分配；

步骤5：组合虚拟小孔内像元采集到的像素形成分图像，并对所述分图像作去卷积处理；

步骤6：将各分图像合成最终的图像。

优选地，扫描样本共获得n个扫描点，每个扫描点在scmos上所形成子图像的像元个数为n1×n2，则共获取了n×n1×n2个像素值s^ki,j(1≤k≤n,1≤i≤n1,1≤j≤n2)；

n为大于等于2的正整数；

n1为大于等于2的正整数；

n2为大于等于2的正整数；

表示对应第k个扫描点的第i行第j列的像元的像素值。

优选地，选取各子图像中像素值最大的像元作为激发光中心，激发光中心的行列坐标位置为(u,v)，则：

表示对应第k个扫描点的第m行第n列的像元的像素值；

m与n的取值范围1≤m≤n1；1≤n≤n2。

优选地，以激发光中心为中心轴，对各子图像添加虚拟小孔，获得窗函数图像；

子图像的像素矩阵为s，添加的窗函数h为：

获得的与窗函数卷积以后的像素矩阵s1为：

s1(i,j)＝h(i,j)s(i-u,j-v)

s(i,j)表示子图像的像素矩阵s中第i行第j列处的像素值；

h(i,j)表示窗函数h中第i行第j列处的值；

s1(i,j)表示子图像的像素矩阵s与窗函数h卷积以后的像素矩阵s1中第i行第j列处的像素值；

s(i-u,j-v)表示子图像的像素矩阵s中第i-u行第j-v列处的像素值。

优选地，所述像素重分配的步骤包括：

以激发光中心像元(u,v)为中心轴，令各子图像中的其它像元向中心轴靠拢，使得行列坐标为(i1,j1)的像素被分配到行列坐标(i2,j2)，则

[]表示向上取整

对于激发光中心周围像元，若分配到2个以上的像素，则对这些像素的像素值取平均值作为像元的像素值。

p为分配到位置点(i2,j2)像素个数

表示对应第k个扫描点的第i2行第j2列的像元的像素值；

表示位置为第k个扫描点的第i2行第j2列的像元分配到的第p个像素的像素值。

优选地，设虚拟小孔由k个像元组成，针对每个像元，由n个扫描点形成原图像的k个分图像：

mq表示由n个扫描点形成原图像的第q个分图像；

表示应第k个扫描点的第i行第j列的像元的像素值。

优选地，对各像元形成的分图像进行去卷积处理，并获得相应的点扩散函数：

{psf1,psf2,psf3,…psfk}

psfk表示第k个像元的点扩散函数；

由虚拟小孔内的各像元形成的分图像合成最终的图像时，以各个像元的点扩散函数作为权值参考，对各个分图像进行加权求和，获取最终的图像m：

fwhm()表示点扩散函数的半峰全宽值；

psfq表示第q个像元的点扩散函数；

psfm表示第m个像元的点扩散函数。

优选地，所述的基于scmos的共聚焦超分辨成像方法是权利要求1或2所述的基于scmos的共聚焦超分辨成像系统获取的图像的后处理方法。

与现有技术相比，本发明具有如下的有益效果：

本发明提用scmos相机代替传统的pmt探测器和小孔，由原来的点对点成像转为点对面成像，并选取一定组合的像元组合形成虚拟小孔，在获取扫描点对应子图像之后，运用像素重分配理论合成小孔内各像元对样本的分图像，再使用分图像加权求和算法合成最终图像，提升成像的分辨率。本发明成像系统的特点是结构简单，且可拓展性较强，添加虚拟小孔(即窗函数)，提升了成像的轴向分辨率，增加了成像系统的信噪比。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为基于scmos的共聚焦超分辨成像系统的光路图。

图2为图像信号形成过程示意图。

图3为虚拟小孔示意图，其中，虚拟小孔可称为数字小孔。

图4为基于scmos的共聚焦超分辨成像方法的流程图。

图中示出：

1为激光光源；

2、3、4分别为第一反射镜、第二反射镜、第三反射镜；

5为激光振镜系统(激光扫描器)；

6、7、9、11分别为第一聚光透镜、第二聚光透镜、第三聚光透镜、第四聚光透镜；

8为分光镜；

10为样品面；

12为scmos相机；

13、18、19、23分别为第一像元(第一探测点)、第二像元(第二探测点)、第三像元(第三探测点)、第四像元(第四探测点)；

14为像元面；

15为第二像元18的探测点扩散函数；

16为扫描点扩散函数；

17为样平面物点；

20为区域；

21为虚拟小孔；

22为激发光中心。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供了一种基于像素重分配理论和虚拟小孔的共聚焦超分辨成像系统，用scmos相机代替传统的pmt探测器和小孔，由原来的点对点成像转为点对面成像，并选取一定组合的像元组合形成虚拟小孔，在获取扫描点对应子图像之后，运用像素重分配理论合成小孔内各像元对样本的分图像，再使用分图像加权求和算法合成最终图像，提升成像的分辨率。

为了减小小孔的直径，同时保证图像的亮度(清晰度)，本发明提出使用scmos面阵探测器替代传统的小孔与pmt探测器，如附图1所示，同时提出使用数字虚拟小孔去除杂散光以及像素重分配实现成像分辨率的提升。

本发明使用scmos探测器替代传统的小孔和pmt探测器，简化了共聚焦系统的结构以及省去了小孔的光学装调过程。

为了解决成像速度和分辨率之间的矛盾，本发明在scmos成像的基础上，使用像元形成的虚拟小孔替代传统共聚焦系统中的小孔，由多个像元组合形成虚拟小孔。

传统的共聚焦系统特性是激光扫描一个点，探测器得到一个值，本发明提出的成像系统区别于传统的共聚焦系统是得到一个探测点的子图像。对所有扫描得到的子图像进行组合以提升成像的分辨率。

scmos相机上每个像元可以看成一个微小孔，每个像元对荧光图像单独成像，且相互不影响。像元距离激发光中心的距离越远，图像的亮度越低。

类似于传统的共聚焦系统，本发明在每个探测到的子图像增加一个虚拟小孔(即窗函数)，来抑制背景噪声，提升图像的轴向分辨率。

根据本发明提供的一种基于scmos的共聚焦超分辨成像系统，包括scmos相机，利用scmos相机12进行点对面成像。所述基于scmos的共聚焦超分辨成像系统还包括反射镜组、激光振镜系统5、第一聚光透镜6、第二聚光透镜7、第三聚光透镜9、第四聚光透镜11、分光镜8、样品面10；经反射镜组反射的激光依次通过激光振镜系统5、第一聚光透镜6、第二聚光透镜7到达分光镜8，得到第一分光、第二分光；所述第一分光经过第三聚光透镜9到达样品面10；所述第二分光经过第四聚光透镜11到达scmos相机12。样品面10经激光激发的激发光到达scmos相机12，例如依次经过第三聚光透镜9、分光镜8、第四聚光透镜11到达scmos相机12。

传统的共聚焦系统中将探测点的像素值直接作为扫描点的图像，而实际上，系统的点扩散函数等于扫描点扩散函数乘以探测点扩散函数，如图2所示，第二像元18接收到的荧光最有可能发自样平面物点17，在扫描光扫描至扫描点扩散函数16位置时，第二像元18的接收荧光的是区域20。在传统的共聚焦系统中不区分扫描点扩散函数16和第二像元18的探测点扩散函数15的相对位置，所有探测到荧光的探测点均会被分配到扫描点位置。

第二像元18探测的荧光最有可能是由样平面物点17发出的，所以第二像元18的像素值对应的是样平面物点17的像素值，在scmos相机形成的子图像中，应将第二像元18的像素值分配到第三像元19的位置。

根据本发明的一个方面，提供了对于基于scmos的共聚焦超分辨成像系统获取的图像的后处理方法，即一种基于scmos的共聚焦超分辨成像方法，如附图4所示，包括以下方法：

步骤1：通过扫描样本，获取各扫描点对应的子图像；

步骤2：确定所述子图像的激发光中心；

步骤3：为各子图像添加虚拟小孔，其中，虚拟小孔是指窗函数；

步骤4：像素重分配；

步骤5：组合虚拟小孔内像元采集到的像素形成分图像，并对所述分图像作去卷积处理；

步骤6：将各分图像合成最终的图像。

优选地，假设共聚焦系统依次对样品面进行扫描，扫描样本共获得n个扫描点，每个扫描点在scmos上所形成子图像的像元个数为n1×n2，则共获取了n×n1×n2个像素值s^ki,j(1≤k≤n,1≤i≤n1,1≤j≤n2)

n为大于等于2的正整数；

n1为大于等于2的正整数；

n2为大于等于2的正整数；

表示对应第k个扫描点的第i行第j列的像元的像素值；

优选地，选取各子图像中像素值最大的像元作为激发光中心，激发光中心的行列坐标位置为(u,v)，则：

表示对应第k个扫描点的第m行第n列的像元的像素值；

m与n的取值范围1≤m≤n1；1≤n≤n2。

优选地，为各子图像添加虚拟小孔，一般小孔函数的直径大小可根据实际的子图像像素数目决定。如附图3所示，以激发光中心(图3中白色圆点)为中心轴，7个像元为直径，对各子图像添加虚拟小孔，获得窗函数图像。

子图像的像素矩阵为s，添加的窗函数h为：

获得的与窗函数卷积以后的像素矩阵s1为：

s1(i,j)＝h(i,j)s(i-u,j-v)

s(i,j)表示子图像的像素矩阵s中第i行第j列处的像素值；

h(i,j)表示窗函数h中第i行第j列处的值；

s1(i,j)表示子图像的像素矩阵s与窗函数h卷积以后的像素矩阵s1中第i行第j列处的像素值；

s(i-u,j-v)表示子图像的像素矩阵s中第i-u行第j-v列处的像素值。

窗函数h也即卷积函数。

优选地，像素重分配的具体步骤为：以激发光中心像元(u,v)为中心轴，令各子图像中的其它像元向中心轴靠拢，使得行列坐标为(i1,j1)的像素被分配到行列坐标(i2,j2)，则

[]表示向上取整

对于激发光中心周围的8个像元，若分配到2个以上的像素，则对这些像素的像素值取平均值作为像元的像素值。

p为分配到位置点(i2,j2)像素个数

表示对应第k个扫描点的第i2行第j2列的像元的像素值；

表示位置为第k个扫描点的第i2行第j2列的像元分配到的第p个像素的像素值。

优选地，如附图3所示，假设虚拟小孔由k个像元组成，例如k＝37，针对每个像元，由n个扫描点形成原图像的k个分图像：

mq表示由n个扫描点形成原图像的第q个分图像；

表示应第k个扫描点的第i行第j列的像元的像素值。

这k副分图像分辨率不同，亮度不同，但均是对原图像的一种“复制”。运用维纳滤波(wienerfiltering)对各像元形成的分图像进行去卷积处理，并获得相应的点扩散函数：

{psf1,psf2,psf3,…psfk}

psfk表示第k个像元的点扩散函数。

优选地，由虚拟小孔内的各像元形成的分图像合成最终的图像时，以各个像元的点扩散函数作为权值参考，对各个分图像进行加权求和(权值的大小受各像单元的点扩散函数影响)，获取最终的图像m：

fwhm()表示点扩散函数的半峰全宽值；

psfq表示第q个像元的点扩散函数；

psfm表示第m个像元的点扩散函数。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。