用于任意位相调制下显微镜的图像处理方法及设备

1.本技术涉及显微技术领域，具体涉及一种用于任意位相调制下显微镜的 图像处理方法及设备。


背景技术：

2.相衬显微镜以非接触、非入侵的方式的透明样品无标记成像特性，使其 成为透明的活生物样品(如细胞)长时间动态观测的有效工具，且在实际应 用中，传统相衬显微技术通常是在相衬显微镜的物镜后光瞳面(特制的相衬 物镜)或物镜后光瞳面共轭面位置，放置同时具有特定位相调制(如
±
0.5π) 和幅值衰减的相位环，来提高了透明样品无标记成像的对比度，促进了无标 记显微技术的发展。
3.然而，传统的相衬显微技术依赖相衬物镜，成本高，且要求照明的数值 孔径必需与物镜上的相衬环匹配，影响了相衬显微技术的分辨率以及对弱荧 光信号的收集，导致相衬显微镜限制了应用范围。


技术实现要素：

4.为解决上述技术问题，本技术实施例提供如下技术方案：
5.本技术提出了一种用于任意位相调制下显微镜的图像处理方法，所述方 法包括：
6.获取显微成像系统下样品的第一强度图像以及位相光学传递函数；所述 第一强度图像是在所述显微成像系统配置一幅值掩膜后采集到的；
7.对所述第一强度图像进行预处理，得到第二强度图像；
8.利用多个预设位相值以及所述位相光学传递函数，获得有效传递函数；
9.利用所述有效传递函数，对所述第二强度图像进行反卷积操作，获得所 述样品的目标图像，以及所述显微成像系统引入所述幅值掩膜所产生的目标 相移；
10.将所述目标相移与所述显微成像系统的系统标识关联后存储，以利用所 述目标相移实现对所述显微成像系统下采集到其他强度图像的重建。
11.可选的，所述对所述第一强度图像进行预处理，得到第二强度图像，包 括：
12.对所述第一强度图像进行去背景处理，得到去背景后的强度图像；
13.对所述去背景后的强度图像进行背景归一化处理，得到第二强度图像。
14.可选的，所述利用所述有效传递函数，对所述第二强度图像进行反卷积 操作，获得所述显微成像系统配置所述幅值掩膜所产生的目标相移；包括：
15.对所述有效传递函数与所述第二强度图像进行反卷积操作，得到所述多 个预设位相值各自对应的反卷积结果；所述反卷积结果能够表征对应重建图 像的图像对比度；
16.对多个所述反卷积结果进行比较，选定表征最高所述图像对比度的所述 反卷积结果对应的预设位相值；
17.将所选定的预设位相值确定为所述显微成像系统配置所述幅值掩膜所产 生的目标相移。
18.可选的，在所述利用所述有效传递函数，对所述第二强度图像进行反卷 积操作过程中，对所述显微成像系统下针对所述样品的入射光进行幅值调制， 以重建所述样品的位相信息或折射率信息；所述幅值调制能够引起任意待确 定的所述目标相移。
19.可选的，所述位相光学传递函数包括与第一点扩散函数对应的第一光学 传递函数，以及与第二点扩散函数对应的第二光学传递函数；所述第一点扩 散函数和所述第二点扩散函数分别用于表示所述第二强度图像对应的共轭函 数与所述样品散射之间的关系；
20.所述利用多个预设位相差以及所述位相光学传递函数，获得有效传递函 数，包括：
21.获得多个预设位相值；
22.利用所述多个预设位相值、所述第一光学传递函数和所述第二光学传递 函数，生成有效传递函数。
23.可选的，所述利用所述有效传递函数，对所述第二强度图像进行反卷积 操作，包括：
24.基于样品散射势、点扩散函数以及所述第二强度图像的共轭函数之间的 转换关系，调整所述第二强度图像的表达式；所述调整后的所述第二强度图 像的表达式能够表示所述点扩散函数与所述样品散射势之间的卷积关系；
25.利用所述有效传递函数，对所述第二强度图像进行反卷积操作。
26.可选的，所述方法还包括：
27.获得在所述显微成像系统下所采集到的被测样品的待处理强度图像，调 取与所述显微成像系统的系统标识关联存储的目标相移；
28.依据所述目标相移，对预处理后的所述待处理强度图像进行重建，得到 所述被测样品的目标图像。
29.本技术还提出了一种用于任意位相调制下显微镜的图像处理装置，所述 装置包括：
30.数据获取模块，用于获取显微成像系统下样品的第一强度图像以及位相 光学传递函数；所述第一强度图像是在所述显微成像系统引入一幅值掩膜后 采集到的；
31.预处理模块，用于对所述第一强度图像进行预处理，得到第二强度图像；
32.有效传递函数获得模块，用于利用多个预设位相差以及所述位相光学传 递函数，获得有效传递函数；
33.反卷积运算模块，用于利用所述有效传递函数，对所述第二强度图像进 行反卷积操作，获得所述样品的目标图像，以及所述显微成像系统引入所述 幅值掩膜所产生的目标位相差；
34.数据存储模块，用于将所述目标位相差与所述显微成像系统的系统标识 关联后存储，以利用所述目标位相差实现对所述显微成像系统下采集到其他 强度图像的重建。
35.本技术还提出了一种计算机设备，所述计算机设备包括：
36.通信模块；
37.至少一个存储器，用于存储实现如上述的用于任意位相调制下显微镜的 图像处理方法的程序；
38.至少一个处理器，用于加载执行所述存储器存储的所述程序，以实现上 述的用于
任意位相调制下显微镜的图像处理方法。
39.本技术还提出了一种计算机可读存储介质，其特征在于，其上存储有多 个计算机指令，所述计算机指令被处理器加载执行，以实现如上述的用于任 意位相调制下显微镜的图像处理方法。
40.基于上述技术方案，本技术提出了一种用于任意位相调制下显微镜的图 像处理方法及设备，为了降低成本，保证图像高对比度的同时，扩大适用范 围，提出在显微成像系统配置一幅值掩膜，获取在该显微成像系统下所采集 到的样品的第一强度图像以及系统的位相光学传递函数后，为了确定因该幅 值掩膜所引入的相移，本技术将利用多个预设位相值以及位相光学传递函数 构成的有效传递函数，对预处理后的强度图像进行反卷积操作，在获取该样 品的高对比度和分辨率的目标图像的同时，确定该系统配置幅值掩膜所引入 的目标相移，将其与该系统关联存储，后续可以直接调用该目标相移，对同 一显微成像系统下采集到的其他强度图像经相同步骤的预处理后进行反卷积 操作，重建样品的位相信息或折射率信息，满足图像高分辨率和高对比度要 求的同时，提高图像处理效率。
附图说明
41.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
42.图1为本技术提出的用于任意位相调制下显微镜的图像处理方法的一可 选示例的流程示意图；
43.图2为本技术提出的用于任意位相调制下显微镜的图像处理方法的又一 可选示例的流程示意图；
44.图3a为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例一中，原始数据及其不同处理方法的结果示意图；
45.图3b为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例一中，原始数据及图像对比度较高的四个预设位相值对应的处理结 果示意图；
46.图3c为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例一中，对字母d处虚线的不同处理方法所得处理结果归一化曲线示意 图；
47.图3d为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例一中，对字母e处虚线的不同处理方法所得处理结果归一化曲线示意 图；
48.图4a为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例二中，原始数据及其不同处理方法的结果示意图；
49.图4b为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例二中，原始数据及图像对比度较高的四个预设位相值对应的处理结 果示意图；
50.图4c为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例二中，对字母d处虚线的不同处理方法所得处理结果归一化曲线示意 图；
51.图4d为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例二中，对字母e处虚线的不同处理方法所得处理结果归一化曲线示意 图；
52.图5a为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例三中，原始数据及其不同方法处理结果示意图；
53.图5b为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例三中，处理结果归一化曲线示意图；
54.图6a为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例四中，原始数据及其不同方法处理结果示意图；
55.图6b为本技术提出的用于任意位相调制下显微镜的图像处理方法的可选 场景示例四中，处理结果归一化曲线示意图；
56.图7为本技术提出的用于任意位相调制下显微镜的图像处理装置的一可 选示例的结构示意图；
57.图8为本技术提出的用于任意位相调制下显微镜的图像处理装置的又一 可选示例的结构示意图；
58.图9为本技术提出的计算机设备的一可选示例的硬件结构示意图。
具体实施方式
59.针对背景技术部分的描述内容，使用相位环可将折射率变化的透明样品 引起的相位变化，转化成可以观测到的光的强度变化，通过调制透过样品且 未与样品发生相互作用的非散射光(即入射光)的位相，使其位相增加或减 少0.5π并对入射光进行一定幅值衰减，来达到提高图像的对比度的目的，但 这要求照明的数值孔径必需与物镜上的相衬环匹配，同时相位环的位相不能 任意，具有较大局限性，且会影响图像分辨率。
60.为了改善上述问题，提出根据实验条件和对最终图像分辨率的需求，在 普通的显微成像系统(如使用非相衬物镜的显微镜)中，加入一个幅值衰减 的掩膜来实现相衬，即在普通物镜光瞳面共轭面位置，放置一用于幅值衰减 的掩膜(会引入一个未知位相)，来满足对图像分辨率和对比度的要求。这 种掩膜可以使用市场上可用的低成本光密度率衰减片制作，易于加工，且可 以根据系统需求，灵活替换不同尺寸的掩膜来匹配照明光源的尺寸，提升了 相衬显微镜的应用范围。
61.然而，用于制造光密度衰减片的玻璃板上涂层的厚度一般不能精准控制， 因此，当入射光穿过平板时，可以得到任意的相移。当使用上述幅值衰减的 掩膜对非散射光进行衰减时，其成像对比度可能低于相移为
±
0.5π的传统相衬 显微镜。对此，本技术提出针对任意位相调制的相衬图像，可以使用一种具 有普适性的图像重建方法，来获得高对比度的图像，使其适用于明场显微镜、 相衬显微镜以及仅幅值衰减调制下引入任意位相的光学系统。
62.依据上文对本技术分析得到的易于理解的技术构思和技术需求，本技术 提出采用反卷积方式，来确定系统所引入的相移，得到更高对比度的图像， 不需要照明的数值孔径跟物镜的数值孔径匹配；在利用大数值孔径的物镜以 及高分辨率的显微成像系统上，也能通过采集一组强度图像，就能对无标记 的透明样品恢复出高对比度的信息，在实现高分辨无标记成像方面更有优势。
63.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而 不是全部的实施例。基于
本技术中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
64.参照图1，为本技术提出的用于任意位相调制下显微镜的图像处理方法的 一可选示例的流程示意图，该方法可以适用于计算机设备，该计算机设备可 以是服务器或终端，该服务器可以是物理服务器或台式服务器；终端可以包 括具有数据处理能力的显微镜，台式电脑、笔记本电脑、智慧医疗设备等， 本技术对计算机设备的产品类型及其应用环境不做限制，可视情而定。
65.如图1所示，本实施例提出的用于任意位相调制下显微镜的图像处理方法 可以包括但并不局限于以下步骤：
66.步骤s11，获取显微成像系统下样品的第一强度图像以及位相光学传递函 数；
67.结合上文对本技术提出的技术方案的相关描述，可以在如明场显微镜、 相衬显微镜等显微成像系统(其具有非相衬物镜)引入一幅值衰减的掩膜实 现相衬，提高任意位相调制下相衬图像的分辨率和对比度。因此，在显微成 像系统的普通物镜光瞳面共轭面位置放置一用于幅值衰减的掩膜(记为幅值 掩膜)后，将样品放置到的被扫描区域，通过显微成像系统对样品扫描采集， 得到该样品的强度图像，即该显微成像系统下第一次采集到的第一强度图像。
68.之后，若上述计算机设备不是显微镜的场景下，可以通过有线或无线方 式，将采集到的第一强度图像发送至计算机设备；若计算机设备是该显微镜 的场景下，可以直接执行后续处理步骤。
69.其中，对于在上述显微成像系统下采集到的第一强度图像i，其表达式可 以为：
[0070][0071]
在上述第一强度图像表达式(1)中，a可以表示上述显微成像系统所加 入的幅值掩膜所达到的幅值衰减的幅度，φ可以表示该掩膜引入的位相差(即 未知相移)，ui、us分别可以表示入射光光场分布和散射光光场分布。需要说 明，对于上述样品为弱散射透明样品的场景下，所得到的第一强度图像表达 式中的可以忽略，因此，上述公式(1)可以变形为：
[0072][0073]
上述公式(2)中，可以表示背景图像，和互为共 轭项，可以称为共轭函数，本技术对上述强度图像的表达式内容不作限制。
[0074]
关于上述获取的位相光学传递函数(phase opticaltransfer function， potf)的实现方式，可以通过理论计算得到，本技术对potf的计算实现方 法不做详述。需要说明，在该位相光学传递函数中的初始位相差(相移)可 以为零，记为φ
初始
＝0。
[0075]
步骤s12，对第一强度图像进行预处理，得到第二强度图像；
[0076]
为了提高图像处理效率和准确性，对于直接采集到的第一强度图像，本 申请会先剔除其中的干扰信息，如与样品无关的背景图像等，因此，本实施 例对第一强度图像进行去背景处理，具体实现方法本技术不做限制。
[0077]
之后，为了实现强度图像表达式中各参数的量化统一，可以对其进行归 一化处
理，如对去背景后的第一强度图像进行背景归一化处理，将预处理后 的强度图像记为第二强度图像。需要说明，关于对第一强度图像的预处理方 式，包括但并不局限于上文描述的去背景、归一化处理方式，可以依据实际 需求确定。
[0078]
步骤s13，利用多个预设位相值以及该位相光学传递函数，获得有效传递 函数；
[0079]
为了实现对上述第二强度图像的反卷积操作，确定显微成像系统因加入 幅值掩膜而引入的未知相移(位相差)，本技术实施例提出使用一系列已知 的不同位相值，计算得到不同的有效传递函数，以验证本技术提出的图像处 理方法的准确性。在该验证过程中，可以将这种已知位相调制的数据作为未 知位相数据处理，使用一系列预设位相值，来预测幅值掩膜所引入的未知相 移的数值。
[0080]
其中，上述一系列预设位相值可以通过如干涉检测等方法测量得到，也 可以基于上述显微成像系统所采集到的第一强度图像进行预测得到，本技术 对获得多个预设位相φ值的预设实现方式，以及这多个φ值的具体数值均不 做限制，可视情而定。
[0081]
步骤s14，利用该有效传递函数，对第二强度图像进行反卷积操作，获得 样品的目标图像，以及显微成像系统配置幅值掩膜所产生的目标相移；
[0082]
本技术实施例中，使用一系列已知的预设位相值，计算得到不同的有效 传递函数与预处理后的强度图像(上述第二强度图像)反卷积，通过反卷积 结果对比度高低来确定系统引入的相移，反卷积对比度越高，意味着该预设 位相差越接近系统引入相移。
[0083]
基于此，当上述反卷积结果对比度非常接近时，可以初步锁定显微成像 系统所引入的相移的大致范围，对该大致范围内各位相值下进行反卷积操作， 所恢复出的图像对比度可能非常接近，本技术可以从中任意选择一个位相值 作为目标相移，用于提升该显微成像系统后续采集到的强度图像的对比度。
[0084]
需要说明，本技术对如何对有效传递函数和第二强度图像的反卷积操作 的实现过程不做详述，可以采用但不限制所采用的反卷积算法，完成上述步 骤s14。
[0085]
步骤s15，将目标相移与显微成像系统的系统标识关联后存储，以利用目 标相移实现对显微成像系统下采集到其他强度图像的重建。
[0086]
本技术中，对于同一显微成像系统，确定因该显微成像系统加入幅值掩 膜而引起的相移所属大致范围，即上述锁定显微成像系统所引入相移的大致 范围的操作方法可以执行一次，对后续采集到的其他强度图像，都可以采用 这一次所确定的目标相移进行图像重建处理，提高如明场显微镜、任意位相 调制下的相衬显微镜等显微成像系统下所采集到的图像的对比度。
[0087]
且，相较于空间干涉显微镜需要采集多组不同位相调制的强度图像，恢 复样品的散射势信息，本技术上文描述的重建方法，只需要采集一组强度图 像，就可以恢复样品的折射率和位相信息，尤其是在利用大数值孔径的物镜 以及高分辨率的显微成像系统应用中，通过一组强度图像，就能够对无标记 的透明样品恢复出高对比度的信息，且在该处理过程中，可以只对显微成像 系统的未散射光的幅值进行调制，提升了图像处理效率和应用范围。
[0088]
参照图2，为本技术提出的用于任意位相调制下显微镜的图像处理方法的 又一可选示例的流程示意图，本实施例可以对上文描述的用于任意位相调制 下显微镜的图像处理方法的一可选细化实现方式的描述，但并不局限于本实 施例描述的细化实现方法，该细
化实现方法仍可以由计算机设备执行，如图2 所示，该方法可以包括：
[0089]
步骤s21，获取显微成像系统下样品的第一强度图像；
[0090]
步骤s22，对该第一强度图像进行去背景处理，得到去背景后的强度图像；
[0091]
步骤s23，对去背景后的强度图像进行背景归一化处理，得到第二强度图 像；
[0092]
在本技术实施例中，结合上文对第一强度图像的表达式的相关描述，为 了实现对预处理后的强度图像的反卷积，可以先对预处理后的强度图像中共 轭的图像信息进行分析，因此，本技术可以利用位相光学点扩散函数(本申 请可以简称为点扩散函数)，对第一强度图像表达式中的共轭函数进行转化 处理，将得到的表达式的强度图像记为第二强度图像，实现过程本技术不做 限制。
[0093]
针对上述公式(2)所示的第一强度图像的表达式，可以先剔除该第一强 度图像中的背景图像，即剔出干扰信息，以提高后续图像处理的效率和准确 性。可选的，在对第一强度图像进行去背景处理过程中，可以使用该第一强 度图像的均值来近似代替其背景图像，因此，本技术实施例中待剔除的背景 图像可以是一个常数值，记为ib，结合上文对第一强度图像表达式的相关描 述，所以，对第一强度图像进行去背景处理后，所得到的去背景 后的强度图像的表达式可以为：
[0094][0095]
在实际应用中，因图像采集设备自身、采集环境、成像因素等方面的因 素，可能会导致强度图像中样品的相同组织的图像灰度信息不一致，本技术 可以采用图像归一化处理方式，在保留具有价值的灰度差异的同时，减少甚 至消除图像中灰度不一致，因此，本技术可以对如公式(3)所表示的去背景 后的强度图像进行背景归一化处理，将该强度图像转化成标准形式的第二强 度图像i’，该第二强度图像的表达式可以为：
[0096][0097]
在上述公式(4)中，结合上文对转化前的强度图像的表达式的相关描述，和互为共轭项，可以称为共轭函数，且和的频谱在fz方向反 对称分布，本技术对共轭函数的表达式不做详述。
[0098]
经过分析得知，强度图像表达式中的共轭函数可以表示为：样品散射势v 与显微成像系统的点扩展函数(如h
12
、h
21
)进行卷积得到，如如因此，本实施例可以据此对上述公式(4)进行转换处理，得 到如下公式(5)所示的第二强度图像的变形表达式：
[0099][0100]
在上述公式(5)中，a可以表示显微成像系统所配置的幅值掩膜所实现 的幅值衰减的幅度，φ可以表示因该幅值掩膜所引入的位相差(也可以称为 相移)，v可以表示上述样品的散射势，h
12
可以表示这一函数对应的位 相光学点扩散函数，记为第一点扩散函数；h
21
可以表示这一函数对应的 位相光学点扩散函数，记为第二点扩散函数。结合
上文对两个共轭项的相关 描述可知，h
12
和h
21
对应的频谱在fz方向对称分布且符号相反。
[0101]
在实际应用中，物平面上任一小面元的光振动，通过显微成像系统后， 可以在像平面(物平面的共轭面)上弥散开来，产生一定的光场分布，即产 生像场分布函数称为点扩散函数，基于此，本技术上述第一点扩散函数和第 二点扩散函数可以是点像物光场分布函数，对其获取方法不做详述。
[0102]
需要说明，从理论上说，本技术可以对光学传递函数进行逆傅里叶变换 处理，得到对应的点扩散函数，由其表示共轭函数与样品散射势之间的关系， 但后续反卷积操作中，实际是使用传递函数进行运算，无需计算点扩散函数 内容。因此，对于上述强度图像的变形表达式中的点扩散函数内容无需计算。
[0103]
步骤s24，利用多个预设位相值、第一光学传递函数和第二光学传递函数， 生成有效传递函数；
[0104]
本技术实施例中，可以基于位相光学传递函数(potf)解析方法，理论 计算与第一点扩散函数h
12
对应的第一光学传递函数h
12
，以及与第二点扩散 函数h
21
对应的第二光学传递函数h
21
，实现过程本技术实施例在此不做详述。
[0105]
其中，光学传递函数可以用于表征显微成像系统的性能，如频谱传递特 性，所以说，本技术实施例提出的这种位相光学传递函数可以描述显微成像 系统对各频率分量施加的调制，本技术对上述各光学传递函数的内容不做详 述。在本技术提出的又一些实施例中，对于上述h
12
和h
21
所表示的显微成像 系统的位相光学传递函数，如上文描述，可以依据位相光学传递函数的理论 计算方式获得，还可以通过实验测量获得，本技术对h
12
和h
21
的实际获取方 法不做详述。
[0106]
结合上文对显微成像系统下采集到的强度图像的表达式的分析，可知样 品的强度图像可以看成是样品信息(如样品的散射势等未知量)和显微成像 系统的点扩展函数卷积后得到。示例的，如该样品是一个理想的点，通过显 微成像系统后可以在像平面上变成一个斑；复杂样品可以视为无数点的叠加， 采集到的强度图像可以是无数斑的叠加，因此，三维样品成像时，离焦面信 息会进入聚焦面，导致所得图像对比度大大降低，按照上文描述方法获取到 显微成像系统的点扩散函数后，可以利用逆向工程，通过反卷积方式，将离 焦面信息尽可能复原回去，提升图像的对比度。
[0107]
基于此，为了实现对预处理后的强度图像的反卷积操作，结合上文描述 的强度图像表达式，如公式(5)中(ae-iφh12
+ae
iφh21
)的公式项内容，可 以使用一组具有不同位相值φ的相位，结合系统传递函数，计算有效传递函 数，即h＝ae-iφh12
+ae
iφh21
，关于这多个预设位相值φ的获取方法可以参 照但并不局限于上文实施例对应部分的描述，还可以采用随机生成方式得到。
[0108]
可选的，本技术可以从预设的位相范围，如[0,2π]、[-π,π]等，随机选 择一系列预设位相值，也就是说，上述多个预设位相值可以是预设位相范围 内的随机值，本技术对各随机值的数值不做限制。
[0109]
步骤s25，利用该有效传递函数，对第二强度图像进行反卷积操作，得到 多个预设位相值各自对应的反卷积结果；
[0110]
结合上文对预处理后的强度图像的表达式及其变形的相关描述可知，调 整后的第二强度图像的表达式能够表示点扩散函数与样品散射势之间的卷积 关系，具体是第二
强度图像的共轭函数可以由样品散射势与点扩散函数卷积 的形式表达，点扩散函数可以由对应光学传递函数的逆傅里叶变换处理得到， 因此，可以使用有效传递函数，对预处理后的强度图像进行反卷积运算，得 到样品的散射势。
[0111]
步骤s26，对得到的多个反卷积结果进行比较，选定表征最高图像对比度 的反卷积结果对应的预设位相值；
[0112]
步骤s27，将所选定的预设位相值确定为显微成像系统配置幅值掩膜所产 生的目标相移；
[0113]
继上文分析，由于上述已知的预设位相值与显微成像系统引入的相移越 接近，意味着有效传递函数与该系统的真实光学传递函数越接近，通过反卷 积所得到的图像对比度也就越高，基于此，本技术可以采用反卷积操作方式， 得到针对不同的预设位相值的反卷积结果，经过比较处理后，确定出图像对 比度最高所对应的预设位相值，也就是与引起显微成像系统的相移最接近的 位相值，本技术实施例可以直接将该预设位相值，确定为显微成像系统因加 入用于幅值衰减的幅值掩膜所引入的未知相移；当然，本技术可以对所确定 的该预设位相值进行适应性调整，将调整后的位相值确定为因幅值掩膜所引 入的未知相移。
[0114]
需要说明，关于如何利用加入幅值掩膜的显微成像系统，获得样品的高 分辨率和高对比度的相衬图像的实现过程，本技术实施例在此不做详述。
[0115]
步骤s28，将该目标相移与该显微成像系统的系统标识关联后存储，以利 用该目标相移实现对该显微成像系统下采集到其他强度图像的重建。
[0116]
对于本技术上述一套显微成像系统，只需要按照上文描述方法执行一次， 记录本次计算所得到的该显微成像系统因幅值掩膜所引入的目标相移，后续 使用该显微成像系统进行图像处理时，可以直接调取第一次计算得到的目标 相移，结合该系统的位相光学传递函数进行反卷积操作，提升所采集到的强 度图像的对比度，获取样品的位相信息和折射率信息。
[0117]
基于此，在获得上述显微成像系统因幅值掩膜所引入的目标相移后，可 以将该目标相移与该显微成像系统关联存储，这样，在不改变该显微成像系 统的场景下，通过该显微成像系统对被测样品进行图像采集，可以将采集到 的被测样品的待处理强度图像发送至计算机设备，如显微镜配置的处理器或 服务器或其他终端等，计算机设备获得在该显微成像系统下所采集到的被测 样品的待处理强度图像，可以调取与该显微成像系统的系统标识所关联存储 的目标相移，从而依据该目标相移，对待处理强度图像进行重建，得到被测 样品的目标图像，即按照上文描述的方法，利用该目标相移和系统的位相光 学传递函数，对预处理后的待处理强度图像进行反卷积操作，提升待处理强 度图像的对比度，以准确且可靠获取被测样品的反射率信息和位相信息。
[0118]
应该理解的是，在计算机设备为显微成像系统所在的显微镜的场景下， 可以直接对目标相移进行存储，这样，后续图像处理过程中，可以直接读取 已存储的目标相移，提高任意位相调制下相衬图像的对比度，满足实际需求。
[0119]
结合上文对本技术提出的用于任意位相调制下显微镜的图像处理方法的 相关描述，下面将结合实例进行对比解释说明，但并不局限于以下举例：
[0120]
示例一，对位相调制的空间光干涉显微镜(spatial light interference
microscopy，slim)所采集的0π调制位相下，200nm小球的原始数据(强度 图像)，采用不同图像处理方法所得处理结果进行对比，以说明本技术提出 的用于任意位相调制下显微镜的图像处理方法的改进。
[0121]
对于如图3a第一行附图所示的0π调制位相(z＝0μm)下所采集到的样品 的原始数据，可以使用本技术提出的用于任意位相调制下显微镜的图像处理 方法，对附图中方框区域进行处理，处理过程可以参照上文方法实施例的描 述，使用不同预设位相值φ与系统光学传递函数，对预处理后的原始数据(如 对原始数据进行去背景、归一化处理)进行反卷积操作，得到如图3a第二行 附图所示不同预设位相值φ的反卷积处理结果，由此表征恢复得到的样品散 射势。之后，可以从中选择对比度较高的四个预设位相值的反卷积处理结果 (如φ＝-0.4π、φ＝-0.2π、φ＝0π、φ＝0.2π各自在图3a中对应附图)、原 始数据、使用slim采集到的四组位相调制数据去卷积结果(记为slim-decon) 进行比较，如图3b所示，来验证本技术确定的目标相移以及重建结果的正确 性。
[0122]
通过图3b的对比分析可知，小球局部放大图xy切面显示的图像在φ＝0π 时对比度最高，且其xz切面的处理结果与使用四组位相调制数据反卷积出来 的结果(如上述slim-decon)接近。另外，对图3b中字母d和字母e各自对应 的虚线，采用不同方法所得的处理结果进行归一化，得到对应的如图3c和图 3d所示的归一化曲线，由此进一步证明φ＝0π下的处理结果与slim-decon的 处理结果最接近，由此可以说明按照本技术上文描述的方法所确定的目标相 移(即本示例得到的0π)与实际符合，即由此证明本技术提出的用于任意位 相调制下显微镜的图像处理方法的正确性。
[0123]
示例二，对位相调制的空间光干涉显微镜(spatial light interferencemicroscopy，slim)，所采集的π调制位相下200nm小球的原始数据(强度 图像)，采用不同图像处理方法所得处理结果进行对比，以说明本技术提出 的用于任意位相调制下显微镜的图像处理方法的改进。对于如图4a第一行附 图中实现框对应的原始数据，按照本技术上文描述的图像处理方法，使用多 个预设位相值与系统光学传递函数，对原始数据预处理后进行反卷积操作， 得到如图4a第二行所示的多种反卷积处理结果。之后，可以从中选择处理所 得图像对比度相对较高的四个预设位相值对应的处理结果、原始数据以及 slim-decon处理结果进行比较展示，如图4b所示，来验证本技术处理方法确 定的目标相移(如本示例的π)。
[0124]
结合示例一对应部分的描述，分析图4b中小球的局部放大图的xy切面和 xz切面，预设相位值φ＝π显示的处理结果的图像对比度最高，且其xz切面也 与slim-decon处理结果接近。另外，如图4c和图4d所示的对应字母(如图4b 中的字母d和字母e)处虚线的不同方法处理结果的归一化曲线所示，π相位 调制下的处理结果与slim-decon处理结果最接近，再一次证明了本技术提出 的上述处理方法所确定的目标相移的准确性和可靠性，对上述原始数据和重 建结果，横向和纵向图像对比度都有了明显提升。
[0125]
示例三，对在显微成像系统中配置用于幅值衰减的幅值掩膜调制，采集 到20nm小球原始数据，以及按照本技术提出的用于任意位相调制下显微镜的 图像处理方法，得到的对应处理结果进行对比分析。如图5a第一行附图所示， 该显微成像系统下对原始层扫数据中(z＝0μm)处的原始数据，对其方框区 域的图像进行放大，得到如图5a第二行附图所示的原始数据的放大图，并获 取方框内虚线对应的zx切面图，之后，可以采用本技术提出的处
理方法，得 到多个预设位相值各自对应的处理结果，包括但并不局限于图5a所示的几种 位相值。同理，还可以进一步获得图5a中字母c和字母d对应虚线不同方法处理 结果的归一化曲线，如图5b所示，由此表明本技术提出的图像处理方法的准 确性和可靠性。
[0126]
示例四，在使用幅值衰减的掩膜调制采集的cos7cell原始数据，以及按 照本技术提出的方法进行处理，得到如图6a所示的处理结果，对图6a第一行原 始数据图中方框区域进行放大，得到如图6a第二行所示的原始数据放大图， 以及虚线对应的xz切面图，选取多个预设位相值，按照本技术提出的方法进 行反卷积处理，得到如图6a所示的处理结果，经过对比可知，与上述示例三 验证结果相同，都是φ＝0.2π位相调制下的处理结果的图像对比度最好。也可 以从如图6b所示的对应字母c和d处虚线的不同方法处理结果的归一化曲线中， 得知该验证结果。
[0127]
需要说明，上述示例三和示例四的原始数据来源于同一套配置有用于幅 值衰减的幅值掩膜的显微成像系统，对图5a所示的小球局部放大图xy切面和zx 切面中，φ为0π、0.2π、0.4π、0.6π对应的xy切面的图像对比度比较接近， 在对比zx切面，可以排除φ＝0π的处理结果，通过上述归一化曲线分析，可 以锁定图像对比度和分辨率更好的处理结果，为φ＝0.2π下的处理结果。同理， 图6a和图6b展示了类似的规律，本实施例在此不做详述。
[0128]
因此，可以推测出幅值掩膜在进行幅值衰减的同时，引入了大约0.2π的 相移，也证明对同一套显微成像系统来说，确定其引入相移的操作只需要执 行一次，改变被测样品不会引起该系统的位相偏移，可以使用一组数据进行 位相计算，后续可以直接使用第一次计算得到的目标相移进行反卷积处理， 大大减少了计算量和处理效率。
[0129]
参照图7，为本技术提出的用于任意位相调制下显微镜的图像处理装置的 一可选示例的结构示意图，该装置可以适用于加入用于幅值衰减的幅值掩膜 的显微成像系统，本技术对该系统类型及其运行设备类型不做限制，可视情 而定。如图7所示，该装置可以包括：
[0130]
数据获取模块71，用于获取显微成像系统下样品的第一强度图像以及位 相光学传递函数；所述第一强度图像是在所述显微成像系统引入一幅值掩膜 后采集到的；
[0131]
预处理模块72，用于对所述第一强度图像进行预处理，得到第二强度图 像；
[0132]
有效传递函数获得模块73，用于利用多个预设位相差以及所述位相光学 传递函数，获得有效传递函数；
[0133]
反卷积运算模块74，用于利用所述有效传递函数，对所述第二强度图像 进行反卷积操作，获得所述样品的目标图像，以及所述显微成像系统引入所 述幅值掩膜所产生的目标位相差；
[0134]
在本技术实施例中，可以对显微成像系统下针对样品的入射光进行幅值 调制，以使系统可以引入任意相移，之后可以按照本技术提出的上下文实施 例描述的图像处理方法，确定由此引入的相移即目标相移，以重建该样品的 位相信息或折射率信息，满足对该样品的扫描需求。
[0135]
数据存储模块75，用于将所述目标位相差与所述显微成像系统的系统标 识关联后存储，以利用所述目标位相差实现对所述显微成像系统下采集到其 他强度图像的重建。
[0136]
在一些实施例中，如图8所示，上述预处理模块72可以包括：
[0137]
去背景单元721，用于对第一强度图像进行去背景处理，得到去背景后的 强度图
像；
[0138]
背景归一化处理单元722，用于对去背景后的强度图像进行背景归一化处 理，得到第二强度图像；
[0139]
在又一些实施例中，如图8所示，上述反卷积运算模块74可以包括：
[0140]
反卷积操作单元741，用于对所述有效传递函数与所述第二强度图像进行 反卷积操作，得到所述多个预设位相值各自对应的反卷积结果；所述反卷积 结果能够表征对应重建图像的图像对比度；
[0141]
比较单元742，用于对多个所述反卷积结果进行比较，选定表征最高所述 图像对比度的所述反卷积结果对应的预设位相值；
[0142]
目标相移确定单元743，用于将所选定的预设位相值确定为所述显微成像 系统配置所述幅值掩膜所产生的目标相移。
[0143]
可选的，在显微成像系统的上述位相光学传递函数包括与第一点扩散函 数对应的第一光学传递函数，以及与第二点扩散函数对应的第二光学传递函 数的情况下，如上述分析，该第一点扩散函数和所述第二点扩散函数分别用 于表示第二强度图像对应的共轭函数(如上述表达式中的两个共轭项)与所 述样品散射势之间的关系。基于此，上述有效传递函数获得模块73可以包括：
[0144]
预设位相值获得单元，用于获得多个预设位相值；如按照随机方式确定 多个预设位相值后输入值系统，以使系统获得这多个预设位相值；也可以在 系统中输入预设位相范围后，从中随机选定多个预设位相值，但并不局限于 这种预设位相值获得方法；
[0145]
有效传递函数生成单元，用于利用所述多个预设位相值、所述第一光学 传递函数和所述第二光学传递函数，生成有效传递函数。
[0146]
可选的，依据上述分析，上述反卷积运算模块74也可以包括：
[0147]
调整单元，用于基于样品散射势、点扩散函数以及所述第二强度图像的 共轭函数之间的转换关系，调整所述第二强度图像的表达式；所述调整后的 所述第二强度图像的表达式能够表示所述点扩散函数与所述样品散射势之间 的卷积关系；
[0148]
反卷积运算单元，用于利用所述有效传递函数，对所述第二强度图像进 行反卷积操作。
[0149]
基于上文各实施例的描述，上述装置还可以包括：
[0150]
待处理强度图像获得模块，用于获得在所述显微成像系统下所采集到的 被测样品的待处理强度图像；
[0151]
目标相移调取模块，用于调取与所述显微成像系统的系统标识关联存储 的目标相移；
[0152]
图像重建模块，用于依据所述目标相移，对预处理后的待处理强度图像 进行重建，得到所述被测样品的目标图像，实现过程可以结合上文描述的反 卷积操作过程，本实施例在此不做详述。
[0153]
需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以 作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模 块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到 的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。
[0154]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程 序，所述计算机程序被处理器加载并执行，实现上述的用于任意位相调制下 显微镜的图像处理方法的各步骤，具体实现过程可以参照上述实施例相应部 分的描述，本实施例不做赘述。
[0155]
本技术实施例还提出了一种计算机程序产品或计算机程序，该计算机程 序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储 介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处 理器执行该计算机指令，使得该计算机设备执行上述用于任意位相调制下显 微镜的图像处理方法的各种可选实现方式中所提供方法，具体实现过程可以 参照上述相应实施例的描述，不做赘述。
[0156]
参照图9，为本技术提出的计算机设备的一可选示例的硬件结构示意图， 如上文实施例对应部分的描述，该计算机设备可以是服务器或终端，或服务 器与终端配合，以实现本技术提出的用于任意位相调制下显微镜的图像处理 方法，可视情而定。如图9所示，以计算机设备为服务器的场景为例进行说 明，该计算机设备可以包括：通信模块91、至少一个存储器92和至少一个处 理器93，其中：
[0157]
通信模块91可以包括能够利用无线通信网络实现数据交互的通信模块， 如wifi模块、5g/6g(第五代移动通信网络/第六代移动通信网络)模块、gprs 模块等，如可以直接与显微成像系统所在的显微镜进行通信连接，以接收该 显微镜采集到的样品的强度图像，或者是显微镜可以将采集到的样品的强度 图像，通过有线或无线方式发送至本地终端，再利用本地终端的通信系统发 送至服务器进行后续处理，将最终处理结果反馈至预设终端进行显示等，可 以依据场景需求确定，本技术对不同设备之间的通信连接方式不做限制。
[0158]
此外，上述通信模块91还可以包括实现计算机设备内部组成部件之间的 数据交互的通信接口，如usb接口、串/并口、i/o开口等，本技术对该通信 模块91包含的具体内容不做限定。
[0159]
存储器92可以用于存储实现上述各方法实施例描述的用于任意位相调制 下显微镜的图像处理方法的程序；处理器93可以加载并执行存储器存储的该 程序，以实现上述相应方法实施例描述的用于任意位相调制下显微镜的图像 处理方法的各个步骤，具体实现过程可以参照上述实施例相应部分的描述， 不再赘述。
[0160]
在实际应用中，通信模块91、存储器92和处理器93可以连接通信总线， 通过该通信总线实现相互之间，以及与计算机设备的其他结构组成之间的数 据交互，具体可以根据实际需求确定，本技术不做详述。
[0161]
本技术实施例中，存储器92可以包括高速随机存取存储器，还可以包括 非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。 处理器93，可以为中央处理器(central processing unit，cpu)、特定应用集 成电路(application-specific integrated circuit，asic)、数字信号处理器(dsp)、 专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件 等。本技术对上述存储器92和处理器93的结构及其型号不做限定，可以根 据实际需求灵活调整。
[0162]
应该理解的是，图9所示的计算机设备的结构并不构成对本技术实施例 中计算机设备的限定，在实际应用中，计算机设备可以包括比图9所示的更 多的部件，或者组合某些部件。例如，在上述计算机设备为终端的情况下， 终端还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、 鼠标、摄像头、拾音器等至少一个输入组件；如显示器、
扬声器、振动机 构、灯等至少一个输出组件；天线；传感器模组；电源模组等，可以依据 终端类型及其功能确定。在上述计算机设备为显微成像系统下的显微镜的 情况下，还可以包括实现显微镜功能的基本组件，如本体、透镜/物镜等， 本技术在此不做一一列举。
[0163]
最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述， 每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同 相似部分互相参见即可。对于实施例公开的计算机设备、装置、计算机可读 存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单， 相关之处参见方法部分说明即可。
[0164]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现， 为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性 地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特定应用和设计预设条件。专业技术人员可以对每个特定 的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本 申请的范围。
[0165]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本技术的核心思想或范围的情 况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些 实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。