使用fpga加速处理结构光照明光切片荧光图像的方法

文档序号:10685927阅读:530来源:国知局
使用fpga加速处理结构光照明光切片荧光图像的方法
【专利摘要】本发明公开了一种使用FPGA加速处理结构光照明光切片荧光图像的方法,其包括循环的以下步骤:1)PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中,然后FPGA采集设备初始化后等待PC端发送采集触发信号;2)FPGA采集设备接收到PC端发送的采集触发信号后,进行图像采集,此时相机和空间光调制器进行同步,采集及存储相位的图像;3)将采集到相位的三张图像按以下公式(1.9)进行重建,然后存储到存储单元中;(1.9);4)PC端将FPGA采集设备中的重建的图像通过DMA通道进行实时显示。本发明有效地提高了成像速度,解决了现有技术中层切重建速度慢,不利于分子动态过程的研究的问题。
【专利说明】
使用FPGA加速处理结构光照明光切片荧光图像的方法
技术领域
[0001] 本发明涉及一种FPGA图形硬件加速重构的方法,特别涉及一种使用FPGA加速处理 结构光照明光切片荧光图像的方法。
【背景技术】
[0002] 在研究生物分子动态过程方面,非侵入式的显微成像方法是一种不可或缺的技术 手段,其中传统荧光显微镜在非侵入式显微成像被普遍应用到细胞生命活动过程的研究 中。但是,随着生命科学的发展,对时间及空间的分辨率要求越来越高,存在信噪比差、成像 深度小和成像速度低问题的荧光显微镜显微镜技术已经不能满足研究的需求。
[0003] 近年来,光切片显微镜的发展弥补了传统显微镜的缺陷。光片显微镜实际上通过 在样品上加载周期性条纹进行光学调制,从光学上说,当聚焦准确时栅格能返回一个强信 号,而离焦时则返回弱信号。光切片重构算法能以栅格的方式消除来自焦平面之上或之下 的弱信号。这样得到的图像完全去除了杂散光以及离焦信息,从而重构出高信号比的荧光 图像。
[0004] 传统的光切片荧光显微镜多采用相机直接成像,这样非焦平面的荧光使图像信噪 比变差,而采用结构光照明的方法,再通过图像处理重构出层析图像,这样非焦平面的荧光 信号被滤除掉,使得图像细节的信噪比大大提高。目前商用的显微镜公司有光切片荧光模 块可以实现光切片功能,例如奥斯巴斯的OptiGrid及Zeiss公司的Apo Tome。然而图像重建 仍然采用传统的在计算机上重构,这样不仅消耗了计算的资源,而且限制了成像速度。导致 图像在时间上的延时,不利于生物分子动态过程方面的研究。
[0005] 同时,目前商用的层切焚光显微镜,通过在焚光显微镜中增加结构光模块的方式 实现结构光照明,从而实现层切效果。例如奥斯巴斯的OptiGrid及Zeiss公司的Apo Tome。 在图像重建过程中,加载栅格的线条投射到标本上并程控性地移动位置,栅格在标本上的 移动垂直于栅格线条。一幅构造光学图像实际上是由瞬间获取的三幅不同栅格图像组成 的。第一幅栅格图像在任意位置获取,然后栅格线性地移动相当于1/3栅格条纹间隔的距离 获取第二幅图像,最后再重复一次1/3的移动获取第三幅图像。以上这些运作都在瞬间完 成,生成一幅构造光学图像或单层光学切片。奥斯巴斯的OptiGrid光切片模块图像重建时 间主要消耗在图像采集及图像重构过程中,虽然该方案采用了高速相机,但是层且图像重 构速度依然很慢,大约需要Is。

【发明内容】

[0006] 本发明的目的就是针对上述问题,提供一种使用FPGA加速处理结构光照明光切片 荧光图像的方法,其可以有效地解决现有技术中层切重建速度慢,不利于分子动态过程的 研究的问题。
[0007] 为了达到上述目的,本发明的技术方案如下: 使用FPGA加速处理结构光照明光切片荧光图像的方法,其包括循环的以下步骤: 1) PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中,然后FPGA采集设备 初始化后等待PC端发送采集触发信号; 2) FPGA采集设备接收到PC端发送的采集触发信号后,进行图像采集,此时相机和空间 光调制器进行同步,采集及存储相位2屯4_3的图像; 3) 将采集到相位赞:=:〇、: 的三张图像按以下公式(1.9)进行重建,然后存 储到存储单元中;
4) PC端将FPGA采集设备中的重建的图像通过DMA通道进行实时显示。
[0008] 进一步地,上述公式(1.9)由以下过程获得: 根据菲涅尔衍射公式及薄透镜成像公式,并略去常数项和位相因子,得到探测面上的 光强編無:,賴为:
其中,激光照在透射光栅上所产生由投射光栅决定的结构光图案表示为_^&£确1;经 过透镜放大率为(Ml)的光路(L1)和光路(L2)后,该结构光图案成像在光路(L2)的焦面上, 焦面上结构光图案由&照明光路(L1+L2)的调制传递函数MTF决定;处于光路(L2) 的焦面上的荧光分子密度为样品受激产生荧光,经过放大率为(M2)的荧光路(L1) 和光路(L2)后,由位于光路(L3)焦平面的探测器探测,探测得到的荧光强度分布为 照明光路(L1+L2)的振幅点扩散函数为,探测光路(L2+L3)的振幅点扩散 函数为梅鉍妫光栅面、样品面以及探测器面的坐标分别表示为_ :<_、__)、:_:為3; 假设余弦光栅对应波矢方向为x轴方向,则激发光经过它所产生结构光强度分布可以 表示为: life&a (1.2) 其中m为光栅的调制深度,f为光栅频率,f为光栅相位; 将公式(1.2)代入公式(1.1),得到:
从公式(1.4)可以看出,中第一项不随结构光图案的频率或者相位而变化, 以下用_表示这个常量抱:.3福中第二项随着结构光图案的频率f及相位變变化,以下表 示为?敗由此将,獅改写成:
公式(1.5)中,〖。对应样品的零频分m,不随离焦距离的变化而变化,它对应的像没有层切能 力,有层切能力,对公式(1.5)进一步分解:
由公式(1.6)可以看出,g贿光栅位相f变化而变化,因此通过光栅在不同相位下对样品 成像,求出!,进而求解出沿光栅波矢方向移动光栅,使光栅相位分别为Ft抝3, 4TT/3, 得到三个像:、!:s-、_邊对应三个方程:
将公式(1.6)-(1.8a、b、c)方程联合,最终得到具有层切能力的图像
[0009] 进一步地,上述步骤3)中,相机和空间光调制器进行同步即:空间光调制器加载的 相位为9 = 0的结构光时进行图像采集,然后把采集到图像存储到FPGA采集设备的存储单 元中,以此类推,采集及存储相位4T/3的图像。
[0010] 本发明提供的使用FPGA加速处理结构光照明光切片荧光图像的方法,采用FPGA作 为协处理器,通过硬件来加速层切图像的创建,经测试成像时间在l〇ms左右,相比较奥斯巴 斯的Opt iGr id成像时间可以提高100倍,从而有效地提高了成像速度,解决了现有技术中层 切重建速度慢,不利于分子动态过程的研究的问题。
【附图说明】
[0011] 图1为本发明的使用FPGA加速处理结构光照明光切片荧光图像的方法所涉及的荧 光显微镜成像系统的硬件框图。
[0012] 图2为本发明的使用FPGA加速处理结构光照明光切片荧光图像的方法所涉及的程 序执行流程图。 图3为本发明的使用FPGA加速处理结构光照明光切片荧光图像的方法所涉及的结构光 照明层切图像原理图。
[0013]
【具体实施方式】
[0014] 下面结合附图详细说明本发明的优选实施方式。
[0015] 分析传统的荧光显微镜的光学传递函数(0TF)可以知道,只有零频分量不会随着 离焦距离的变化而变化。也就是说,传统的荧光显微镜获得的图像中除了零频分量以外,其 余分量都具有层切能力。结构光照明实现层切就是建立在有效去除零频分量的基础上的方 法。
[0016] FPGA具有丰富的逻辑资源,算法模块及硬核模块,以全数据流的形式进行处理,使 硬件以空间全面积并行的方法提升算法速度,同时它的可定制性和可重构性适合用来进行 图像重建。
[0017] 荧光显微镜成像系统主要由相机、空间光调制器、FPAG图像采集处理单元及主控 计算机组成。硬件总体结构框图如图1所示,相机主要负责采集荧光图像,空间光调制器用 来产生相位可调节的结构光条纹,主控计算机用来发送采集命令、配置空间光调制器及实 时显示图像等功能。FPGA图像采集处理单元用来采集图像及处理图像,并且实时的讲采集 处理的图像回传给计算机进行显示。
[0018] FPGA图像采集处理单元首先接收上位机PC图像采集指令,进行相机及空间光调制的 参数配置,然后同步触发相机和空间光调制器进行结构光条纹相位分别为_=~2#3;::4好3 : 的图像采集,相机采集到的图像通过Camera Link接口将采集到的图像存储在FPGA的存储 单元,FPGA首先将采集到的三个相位的荧光图像进行排序、滤波等图像预处理后,最后通过 图像处理单元,根据公式(2.9)将三个相位的图像联立方程组,最终重建重具有层析能力的 焚光图像,回存到FPGA单元的Memory单元中,最后通过DMA通道将重建的图像传到PC端进行 显不〇
[0019] 程序执行流程图如图2所示,系统的工作流程如下: 步骤1:主机(PC端)通过PCIE接口加载初始化配置文件到FPGA图像采集设备中,然后 FPGA采集设备(简称FPGA)初始化后等待主机发送采集触发信号; 步骤2:FPGA接收到主机发送的触发信号后,进行图像采集,此时需要相机和空间光调 制器进行同步,即空间光调制器加载的相位为中=〇的结构光时进行图像采集,然后把采集 到图像存储到FPGA设备的存储单元中。以此类推,采集及存储相位4ti/3的图像; 步骤3:将采集到相位_:二瓜獅:/3的三张图像按公式(2.9)进行重建,然后存 储到存储单元中; 步骤4: PC主机将FPGA中的重建的图像通过DMA通道进行实时重建的图像进行显示; 步骤5:重复2-4步骤。
[0020] 结构光照明层切系统原理图如图3所示。激光照在透射光栅上,产生由投射光栅决 定的结构光图案.:>V,经过透镜放大率为Ml的L1和L2后,该结构光图案成像在L2的焦 面上,焦面上结构光图案由照明光路(L1+L2)的调制传递函数MTF决定。处于L2的 焦面上的荧光分子密度为。样品受激产生荧光,经过放大率为M2的荧光探测光路L2 和L3后,由位于L3焦平面的探测器探测,探测得到的荧光强度分布为胸)。照明光路 (L1+L2)的振幅点扩散函数为心(^),探测光路(L2+L3)的振幅点扩散函数为&_病。光栅 面、样品面以及探测器面的坐标分别表示为紹、条
[0021] 根据菲涅尔衍射公式及薄透镜成像公式,并略去常数项和位相因子,得到探测面 上的光强为:
假设余弦光栅对应波矢方向为X轴方向,则激发光经过它所产生结构光强度分布可以 表示为: .y,} = 1 -h mrss(2TrfA:-. 4- (1.2) 其中m为光栅的调制深度,f为光栅频率,f:为光栅相位。将公式1.2代入公式1.1,得到:
从公式(2.4)可以看出,-C磁中第一项不随结构光图案的频率或者相位而变化, 一下用豁表示这个常量中第二项随着结构光图案的频率f及相位脅变化,以下表
由公式(1.6)可以看出,随光栅位相f变化而变化,因此可以通过光栅在不同相位下 对样品成像,便可以求出,进而求解出_。沿光栅波矢方向移动光栅,使光栅相位分别 为?云:.緣/3 v.::鐵降,得到三个像、!.-、!
将公式(2.6)-(2.8)方程联合,最终得到具有层切能力的图像
综上,本实施例提供的使用FPGA加速处理结构光照明光切片荧光图像的方法,采用 FPGA作为协处理器,通过硬件来加速层切图像的创建,经测试成像时间在10ms左右,相比较 奥斯巴斯的OptiGrid成像时间可以提高100倍,从而有效地提高了成像速度,有效地解决了 现有技术中层切重建速度慢,不利于分子动态过程的研究的问题。
[0022]以上所述的仅是本发明的优选实施方式,应当指出,对于本领域的普通技术人员 来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明 的保护范围。
【主权项】
1. 使用FPGA加速处理结构光照明光切片荧光图像的方法,其特征在于:包括循环的以 下步骤: 1 )PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中,然后所述FPGA采集 设备初始化后等待所述PC端发送采集触发信号; 2) 所述FPGA采集设备接收到所述PC端发送的所述采集触发信号后,进行图像采集,此 时相机和空间光调制器进行同步,采集及存储相位麵淨、沒的图像; 3) 将采集到相位勒t沒的三张图像按以下公式(1.9)进行重建,然后存 储到所述存储单元中;4) 所述PC端将所述FPGA采集设备中的重建的图像通过DMA通道进行实时显示。2. 根据权利要求1所述的使用FPGA加速处理结构光照明光切片荧光图像的方法,其特 征在于:所述公式(1.9)由以下过程获得: 根据菲涅尔衍射公式及薄透镜成像公式,并略去常数项和位相因子,得到探测面上的 光强fcl%:奴)为:其中,激光照在透射光栅上所产生由投射光栅决定的结构光图案表示为 过透镜放大率为(Ml)的光路(L1)和光路(L2)后,该结构光图案成像在光路(L2)的焦面上, 焦面上结构光图案由聚选1、照明光路(L1+L2)的调制传递函数MTF决定;处于光路(L2) 的焦面上的荧光分子密度为样品受激产生荧光,经过放大率为(M2)的荧光路(L1) 和光路(L2)后,由位于光路(L3)焦平面的探测器探测,探测得到的荧光强度分布为 減;照明光路(L1+L2)的振幅点扩散函数为〃,探测光路(L2+L3)的振幅点扩散 函数为__略光栅面、样品面以及探测器面的坐标分别表示为編、編 假设余弦光栅对应波矢方向为x轴方向,则激发光经过它所产生结构光强度分布可以 表示为:其中m为光栅的调制深度,f?为光栅频率,为光栅相位; 将公式(1.2)代入公式(1.1),得到:从公式(1.4)可以看出,中第一项不随结构光图案的频率或者相位而变化,以 下用_表示这个常量,_|努^_中第二项随着结构光图案的频率f及相位:f变化,以下表示 为:1遽,由此将,改写成:公式(1. 5)中,|提样品:的零謀兹異:承Ifi离焦距离的变化而变化,它对应的像没有S切能 力,有层切能力,对公式(1 ? 5)进一步分解:由公式(1.6)可以看出,_猶光栅位相*变化而变化,因此通过光栅在不同相位下对样 品成像,求出i和&,进而求解出沿光栅波矢方向移动光栅,使光栅相位分别为 染夂鱗/*,得到二个像对应二个方程:将公式(1.6)-(1.8&、13、(3)方程联合,最终得到具有层切能力的图像@:3.根据权利要求1所述的使用FPGA加速处理结构光照明光切片荧光图像的方法,其特 征在于:所述步骤3)中,相机和空间光调制器进行同步即:空间光调制器加载的相位为 ='f的结构光时进行图像采集,然后把采集到图像存储到所述FPGA采集设备的存储单元 中,以此类推,采集及存储相位2零沒1_筘的图像。
【文档编号】G02B27/00GK106054380SQ201610559503
【公开日】2016年10月26日
【申请日】2016年7月15日
【发明人】梁永, 李思黾, 陈小虎, 金鑫, 文刚
【申请人】中国科学院苏州生物医学工程技术研究所
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1