一种光场显微系统的多色同步重建方法

1.本发明涉及计算机视觉与数字图像处理领域，尤其是涉及一种光场显微系统的多色同步重建方法。


背景技术：

2.光场显微是一种不需要扫描的光学显微成像技术，通过在传统光学显微镜特定位置放置微透镜阵列，就能以单帧率速度快速获取目标三维体积信息，与其他需要扫描成像的显微技术比较而言具有更优秀的时间分辨率，为高速生命活动、尤其是神经活动的完整观测提供了可能。目前，绝大多数光场显微研究仅考虑单色光，但是随着多色荧光观测的需求愈发强烈，多色光场显微的研发势在必行。按照成像方式，多色光场显微可以分类为异步多色成像与同步多色成像。异步多色成像指时间域上不同波长的信号光不同时出现的成像过程，只要对每一种单色光数据分别重建并融合，就可以得到多色三维重建结果。这种方法较容易实现，是现在主要采用的多色光场显微方法，但其牺牲了时间分辨率。同步多色成像是指在同一时刻同一空间有多种波长在成像，是近年来研究的热点，然而碍于成本较高、不易拓展等原因，没有得到更为广泛的应用，目前还依然处于早期探索阶段，不够成熟。两者都没能实现一种既易于实现、又易于拓展的可靠的多色重建方法。


技术实现要素：

3.本发明的目的是在于解决光场显微同步多色成像成本较高，不宜拓展的问题，提供一种光场显微系统的多色同步重建方法。
4.为实现上述目的，本发明采用以下技术方案：
5.一种光场显微系统的多色同步重建方法，包括如下步骤：
6.a1：根据图像采集系统的波长响应函数，从多波长荧光光场图像提取光谱信息并进行校正；
7.a2：根据校正后的光谱信息分离单波长光场图像，利用单波长光场显微重建算法进行逐一重建；
8.a3：为单波长重建结果赋予对应的颜色，以线性叠加的原则将所有重建结果进行融合。
9.在本发明一些实施例中，步骤a1包括：
10.a1-1：从多波长荧光光场图像中提取初步估计光谱信息；
11.a1-2：对光谱信息进行光谱校正。
12.在本发明一些实施例中，步骤a1-1中，从多波长荧光光场图像中提取光谱信息的方法包括以下步骤：
13.a1-1-1：以图像各像素的rgb三元组为输入，结合图像采集设备的波长响应函数，构建估计各像素光谱信息的优化模型，即估计模型；a1-1-2：对光场图像每一像素位置遍历步骤a1-1-1中的估计模型(1)，得到初步的光谱信息。
14.在本发明一些实施例中，步骤a1-1-1具体操作如下：
[0015][0016]
其中，s
ij
表示像素坐标为(i，j)处的光谱信息，c
ij
表示像素坐标为(i，j)处的多色荧光光场图像的rgb三元组数值，r
t
表示图像采集设备rgb三通道对波长响应函数构成的矩阵，表示l2-范数的平方，表示根据优化模型估计得到的像素坐标为(i，j)处的光谱信息，argmin表示使目标函数f(x)取最小值时的变量值。
[0017]
在本发明一些实施例中，步骤a1-2中，对光谱转换结果进行光谱校正的方法包括以下步骤：
[0018]
a1-2-1：对步骤a1-1中得到的初步估计光谱信息各波段逐像素应用光谱校正函数，然后乘以波长相关的权重得到校正后的光谱信息；a1-2-2：对所有像素的各波长信息执行步骤a1-2-1，实现光谱的校正。
[0019]
在本发明一些实施例中，步骤a1-2-1具体操作如下：
[0020][0021][0022]
其中，v
ij
(k)表示校正后的像素坐标为(i，j)处的波长为k的强度信息，w(k)表示波长为k的权重值，表示根据优化模型估计初步得到的像素坐标为(i，j)处波长为k的光谱信息强度，r(x)表示光谱校正函数，当自变量为非负的时候函数值等于自变量，反之为零。
[0023]
在本发明一些实施例中，步骤a2包括以下步骤：
[0024]
a2-1：从步骤a1-2得到的校正后的光谱信息中选取特定波长构成若干单波长光场图像；
[0025]
a2-2：使用现有的单波长光场显微算法逐一进行三维重建，得到若干单波长重建结果。
[0026]
在本发明一些实施例中，步骤a3包括以下步骤：
[0027]
a3-1：为单波长重建结果赋色；
[0028]
a3-2：以线性叠加的原则融合所有单波长重建结果。
[0029]
在本发明一些实施例中，步骤a3-1包括以下步骤：
[0030]
a3-1-1：对步骤a2-2中得到的单波长重建结果，根据图像采集设备的波长响应函数，重新为其赋予其波长对应的响应颜色；
[0031]
a3-1-2：对步骤a2-2得到的所有单波长重建结果的所有体素执行步骤a3-1-1，完成单波长重建结果的赋色。
[0032]
在本发明一些实施例中，步骤a3-1-1具体操作如下：
[0033][0034]
其中，c
xyz
(k)表示波长为k的重建结果体素坐标为(x，y，z)处的rgb彩色信息，r
t
(k)表示由图像采集设备波长响应函数在波长为k构成的矩阵，表示波长为k的重建结果体素坐标为(x，y，z)处的强度信息。
[0035]
在本发明一些实施例中，步骤a3-2包括以下步骤：
[0036]
a3-2-1：使用步骤a3-1得到的赋色完毕的一组单波长重建结果，逐体素将各重建结果的rgb彩色信息进行线性加和得到复合彩色信息，得到最终的多色重建结果；
[0037]
a3-2-2：对步骤a3-1得到的所有单波长重建结果执行步骤a3-2-1，得到多色光场显微三维重建图像。
[0038]
在本发明一些实施例中，步骤a3-2-1具体操作为：
[0039][0040]
其中，表示在体素坐标为(x，y，z)处的最终融合结果的rgb彩色信息，c
xyz
(k)表示波长为k的重建结果体素坐标为(x，y，z)处的rgb彩色信息，k表示单波长三维重建结果的数量，θ(k)表示波长为k的权重值。
[0041]
本发明具有如下有益效果：
[0042]
本发明引入模块化思想，将同步多色光场重建方法解释为光谱信息提取与校正、单色重建和图像赋色与融合三个子方法，沟通了单色光场显微重建方法与多色光场显微重建方法，子方法在功能相同的情况下可以进行替换，提出了一种易于实现、易于拓展的可靠的多色重建方法，对于推动神经科学的研究与促进同步多色光场显微技术的发展具有重要意义。
附图说明
[0043]
图1是本发明实施例中光场显微系统的多色同步重建方法流程图；
[0044]
图2a是本发明实施例中样本真实图像；
[0045]
图2b是本发明实施例中异步多色成像重建图像；
[0046]
图2c是本发明实施例中本方法重建图像
具体实施方式
[0047]
在介绍本发明的具体实施方式前，先介绍本发明的主要思路如下：
[0048]
针对上述现有多色光场显微重建方法的问题，本发明提出了一种光场显微系统的多色同步重建方法。主要创新点为，引入模块化思想，本发明将同步多色光场重建方法解释为光谱信息提取与校正、单色重建和图像赋色与融合三个子方法，沟通了单色光场显微重建方法与多色光场显微重建方法，子方法在功能相同的情况下可以进行替换。与现有方法相比，该方法有效保障了多色光场显微的时间分辨率，提出了一种易于实现、易于拓展的可靠的多色重建方法，对于推动神经科学的研究与促进同步多色光场显微技术的发展具有重要意义。
[0049]
下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0050]
需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。
[0051]
本发明提出一种光场显微系统的多色同步重建方法，如图1所示，所述方法如下：
[0052]
a1：根据图像采集系统的波长响应函数，从多波长荧光光场图像提取光谱信息并进行校正；
[0053]
a2：根据校正后的光谱信息分离单波长光场图像，利用单波长光场显微重建算法进行逐一重建；
[0054]
a3：为单波长重建结果赋予对应的颜色，以线性叠加的原则将所有重建结果进行融合。
[0055]
在具体的实施方案中执行以上步骤时，可以按照以下方式操作。需注意的是，在实施过程中所采用的具体方法都仅为举例说明，本发明所涵盖的范围包括但不局限于所列举的以下方法。
[0056]
a1：根据图像采集系统的波长响应函数，从多波长荧光光场图像提取光谱信息并进行校正。
[0057]
a11：从多波长荧光光场图像中提取光谱信息；
[0058]
具体地，对于多波长荧光光场图像，本发明以图像各像素的rgb(red、green、blue，三原色)三元组为输入，结合图像采集设备的波长响应函数，构建了估计各像素光谱信息的优化模型，经估计后可得到对应像素空间位置上不同波长信号光的强度信息，以根据需要分离出多个单色光场图像。具体操作如下：
[0059][0060]
上式中：
[0061]sij
表示像素坐标为(i，j)处的光谱信息；
[0062]cij
表示像素坐标为(i，j)处的多色荧光光场图像的rgb三元组数值；
[0063]rt
表示图像采集设备rgb三通道对波长响应函数构成的矩阵；
[0064]
表示l2-范数的平方；
[0065]
表示根据优化模型估计得到的像素坐标为(i，j)处的光谱信息；
[0066]
argmin表示使目标函数f(x)取最小值时的变量值；
[0067]
在本发明中，对光场图像各像素位置遍历该估计模型，可得到初步的光谱信息。其中，rt需要基于图像采集设备的波长响应函数构建。波长响应函数的获取方法包括但不限于实验室标定、查询手册等，波长范围应至少包含目标荧光的光谱范围。对于离散的响应函数，可以采用线性内插的方法增大波长分辨率。此外，为了使提取的光谱信息更准确，可以在波长响应函数的基础上考虑光源的光谱曲线的影响，如荧光发射光谱。操作办法为：通过先验信息获取目标的荧光发射光谱，将其视为权重，逐波长乘以采集设备的波长响应函数，构造出新的响应函数，再使用该响应函数进行以进行光谱信息提取。
[0068]
a12：对光谱信息进行光谱校正；
[0069]
具体地，对由a11转换得到的初步估计信息，进行光谱校正以保证数据非负性，并以此分离出单波长光场图像。本发明的方法是对各波段逐像素的初步估计光谱信息应用光
谱校正函数，然后乘以波长相关的权重得到校正后的光谱信息。根据以上结果，就能从各个像素中选取出特定波长的信息重组为单波长光场图像。具体操作如下：
[0070][0071][0072]
上式中：
[0073]vij
(k)-校正后的像素坐标为(i，j)处的波长为k的强度信息；
[0074]
w(k)-波长为k的权重值；
[0075]-根据优化模型估计得到的像素坐标为(i，j)处波长为k的光谱信息强度；
[0076]
r(x)-光谱校正函数，当自变量为非负的时候函数值等于自变量，反之为零；
[0077]
权重值w(k)是波长k的函数，其中一种选取的方法是将该波长所有像素的非负强度值求和求平均，然后归一化并作为权值，具体操作为：
[0078][0079]
上式中：
[0080]
∑k(
·
)-对所有波长逐波长求和；
[0081]
∑
i，j
(
·
)-对所有像素逐像素求和；
[0082]
w(k)、意义与式(2)、(3)意义一致。
[0083]
另外一种可以选取的办法是置权重值w(k)为常数。
[0084]
对所有像素的各波长信息应用本方法后，即可实现光谱的校正。本步骤是对潜在的负值信息进行处理，保证光谱的非负性，以免影响后续的重建，如避免造成不可预料的伪影、重建失败等。
[0085]
a2：根据校正后的光谱信息分离单波长光场图像，利用单波长光场显微重建算法进行逐一重建。
[0086]
具体地，从步骤a12得到的光谱校正结果选取特定波长构成若干单波长光场图像，使用现有的单波长光场显微算法逐一进行三维重建，得到多个单波长重建结果。此时，多波长光场显微重建问题已经被转化为若干单波长光场显微重建问题。可以使用的重建算法包括但不限于richard-lucy算法(一种基于点扩散函数的迭代光场深度估计算法)。当使用该方法进行重建的时候，本步骤还可以细化为光场校正与解卷积重建过程；当使用其他方法进行重建，本步骤则需要根据选用的重建算法进行调整，以完成单波长光场显微重建的目标。
[0087]
a3：为单波长重建结果赋予对应的颜色，以线性叠加的原则将所有重建结果进行融合。
[0088]
a31：为单色重建结果赋色；
[0089]
具体地，使用步骤a2所得到的若干单波长重建结果，根据图像采集设备的波长响应函数，重新为各个重建结果其赋予其波长对应的响应颜色。具体操作如下：
[0090][0091]
上式中：
[0092]cxyz
(k)-波长为k的重建结果体素坐标为(x，y，z)处的rgb彩色信息；
[0093]rt
(k)-图像采集设备rgb三通道对波长响应函数在波长为k构成的矩阵；
[0094]-波长为k的单波长重建结果中体素坐标为(x，y，z)处的强度信息。
[0095]
对所有单波长重建三维结果的所有体素应用上式，即可完成单波长重建结果的赋色。其中，构建r
t
(k)用的波长响应函数与方法a1中使用的波长响应函数最好相同。
[0096]
a32：以线性叠加的原则融合所有单波长重建结果；
[0097]
具体地，使用步骤a31所得到的赋色完毕的一组单波长重建结果，逐体素将各重建结果的rgb彩色信息进行线性加和得到复合彩色信息，即可得到最终的多色重建结果。具体操作如下：
[0098][0099]
上式中：
[0100]-在体素坐标为(x，y，z)处的最终融合结果的rgb彩色信息；
[0101]cxyz
(k)-波长为k的重建结果体素坐标为(x，y，z)处的rgb彩色信息；
[0102]
k-单波长三维重建结果的数量；
[0103]
θ(k)-波长为k的权重值。
[0104]
权重值θ(k)是波长k的函数，其中一种选取方法是选取权重值为归一化因子，具体操作为：
[0105][0106]
上式中：
[0107]cxyz
(k)、k、θ(k)意义与式(6)一致。
[0108]
另外一种选取方法是基于校正后的光谱信息构造权重并视之为归一化因子，具体操作为：
[0109][0110]
k、θ(k)意义与式(6)一致；v
ij
(k)意义与式(2)一致。
[0111]
对所有单波长重建结果应用上述方法，就可以得到多色光场显微三维重建图像。
[0112]
本发明的优势在于：多色光场显微的时间分辨率得到了保障；本方法易于实现、且足够可靠；本方法易于拓展。
[0113]
多色光场显微的时间分辨率得到保障在于，本方法不需要以牺牲时间分辨率为代价，换取采集观测目标多色信息的能力。
[0114]
时间分辨率是衡量对目标连续进行两次观测的最小时间间隔的指标。观测的时间间隔越小，时间分辨率越大；反之，时间分辨率越小。时间分辨率越大，就意味着系统可以在
时间尺度上更精细地捕捉观测目标的活动。当前主要的多色光场显微方法是异步多色成像，由于不能有效处理多波长光场图像，只能通过拍摄多张单波长光场图像的办法以获取观测目标的多波长信息。每次拍摄都会消耗时间，因此其时间分辨率低于图像采集设备的拍摄帧率。相比之下，本方法可以有效处理多波长光场图像，不需要采集设备再一张张拍摄单波长光场图像，多色观测的时间分辨率等于图像采集设备的拍摄帧率，有效保障了多色光场显微的时间分辨率。若图像采集设备拍摄帧率为60hz(约每16.7毫秒拍摄一张图像)、目标为三色荧光染色样本，则异步多色成像方法采集目标完整多色信息的帧率为60
÷
3hz＝20hz(约每50毫秒采集一轮)，使用本方法时，采集目标完整多色信息的帧率为60hz，比前者节省了66％的时间。此外，由于异步多色成像往往还需要时序电路辅助控制激光器顺序激发荧光基团，实际采集目标多色信息的帧率还会更低。在这种假设情况下，当目标的活动频率在10hz到30hz时(即目标活动周期在100毫秒到33.3毫秒)，在奈奎斯特采样定理(采样频率应至少为信号真实频率的2倍以上，否则将无法采集到信号全部信息)意义下，以本方法为重建方法则仍能对目标进行观测，但异步多色成像方法将无法采集到观测目标的真实活动信息。
[0115]
本方法易于实现且足够可靠在于，本方法对于硬件没有严格的要求，并且重建效果与异步多色成像相近。
[0116]
本方法的输入为多波长荧光光场图像，并没有限制该图像需要用何种光场显微的图像采集设备来拍摄，相比于其他同步多色成像方法，如消色差超透镜成像法，本方法的成本更低。此外，多波长荧光光场图像是由不同波长的信号光与图像采集设备系统作用的结果，可以视为无数单色光独立与系统作用的结果进行线性叠加组合，因此可以通过一定办法将各个单色光作用的结果分离开来，得到多张单波长光场图像。此时，同步多色成像就转化为异步多色成像了，在单波长光场图像分离准确的情况下，两者的重建结果应当一致。且经过实验验证，采用本方法重建得到的结果，也确实与异步多色成像方法重建得到的结果相近。实验观测样本为蓝色荧光小球与绿色荧光小球，步骤如下：首先，采集观测样本真实图像；然后，拍摄多波长光场图像，并使用本方法进行重建；接着，拍摄两张单波长光场图像，分别用单色光场显微重建方法进行重建，将两个单色重建结果按一定权重加和；最后，比较重建结果。重建结果如说明书附图2a、图2b、图2c所示，图2a为样本真实图像，图2b为异步多色成像重建图像，图2c为本方法重建图像。其中，除图像获取的方法不同，其余重建算法均相同。图2a中，呈现灰白色的为观测目标，其中半径较大的两个圆斑为绿色荧光小球，较小的为蓝色荧光小球，其余区域为背景。比较图2a与图2b，可以看到在图2a观测目标出现的位置上，图2b也有出现类似的亮斑形状，说明正确实现了重建；同样的，在图2c对应的位置上也出现了亮斑，说明也正确实现了重建。用图2b与图2c分别与图2a比较相似度，可以看到图2c与图2a的相似度甚至更高，说明本方法的重建效果更好。但若主要考虑观测样本重建结果的位置与形态相似度，可以认为本方法从重建效果与异步多色成像相当。
[0117]
本方法易于拓展在于，本方法将同步多色光场重建解释为三个子方法，且子方法可以替换调整。
[0118]
本方法基于模块化思想，对同步多色光场显微做出了新的解释。光谱信息提取与校正子方法以多波长荧光光场图像为输入、以多张单波长光场图像为输出；单色重建子方法以多张单波长光场图像为输入、以多张单波长三维体信息为输出；图像赋色与融合子方
法以多张单波长三维体信息为输入、以单张彩色三维体信息为输出。在明确子方法的输入与输出的情况下，本方法的每一个子方法内部如何处理数据可以不予考虑。例如，可以使用傅里叶光场显微重建算法(另一种效果更好的单波长光场显微重建方法)进行单色重建，而不使用richard-lucy法。基于这个特性，本方法比单像素成像等其他同步多色成像方法更具有灵活性，可以根据实际便捷地需要调整子方法的内部数据处理办法，以获得更高的重建性能。
[0119]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。