提高图像帧序列的信噪比的方法和图像处理装置与流程

本公开涉及用于提高图像帧序列中的信噪比的系统和方法。

背景技术：

1、诸如磁共振成像或荧光显微法的高分辨率成像技术允许物体(诸如生物样本或体内生物组织)的延时(time lapse)拍摄(也可称为定时拍摄、时差拍摄)。生物结构的高分辨率延时拍摄具有挑战性，因为要求高帧速率来拍摄相对快的移动，同时还要保护生物结构免受显微镜方法造成的损害。

2、例如，生物样本的延时荧光显微法一方面要求高帧速率以允许拍摄细胞的快速移动，另一方面要求最小化激发激光强度以减少细胞损伤。此外，光漂白导致荧光成像的损失。这种相反的要求常常导致所获取图像的信噪比非常小。其他显微镜方法也有类似的问题。在共聚焦显微镜中，低信噪比更为突出，因为被针孔排除的光对图像没有贡献。sted显微镜也存在上述问题，因为它由于焦点处大部分激发的耗尽而具有固有的低光子预算。

3、为了提高图像帧序列的信噪比，可以应用图像帧的时间相关组合。例如，可以应用具有指数加权的滚动平均，诸如根据下式

4、

5、其中i是图像帧序列，σ是宽度，w是窗口尺寸，θ是赫维赛德函数，并且*表示卷积运算。但是，因为滚动平均涉及应用模糊内核，所以在图像帧序列中拍摄的物体的快速移动被模糊化。因此不能应用滚动平均来提高拍摄快速移动物体的图像帧序列的信噪比。

6、另一种用于提高图像帧的信噪比的方法是应用深度学习方法的最新发展，这些方法现在很容易为图像的去噪提供解决方案。在此类方法中，输入单个图像而不考虑图像中所拍摄物体的移动。但是，众所周知，深度学习算法的重要问题是从噪声等随机模式中创建不充分的细节，所谓的幻觉。这种伪影在嘈杂的延时图像中变得特别明显。

7、图1a图示了现有技术的去噪方法中的幻觉问题。图1a的列12再现了从活体生物样本中拍摄的两个连续的荧光显微图像帧。将现有技术的去噪算法nikon的denoise.ai应用于列12的图像帧，产生列14中的图像帧。显然，去噪算法从列12中非常嘈杂的图像中推断出看起来逼真的物体的形状。但是，针对连续图像帧的列14中的去噪的图像的比较表明，从上面的帧到下面的帧，预测的物体的形状和位置显著改变，使得对预测的物体形状的准确性产生了强烈怀疑。因此，应用去噪在很大程度上取决于噪声的时间实现，这意味着去噪无法可靠地应用于噪声延时。

8、图1b图示了根据现有技术应用加权滚动平均时出现的模糊问题。板16图示了拍摄快速移动物体的模拟的图像帧序列的图像帧。如白色箭头所指示的，物体以每帧v＝(2，-2)个像素的速度移动。板18再现了根据方程式(1)(其中σ＝4且w＝8)应用加权滚动平均值的结果。如板18中所指示的，由于相邻图像帧导致物体模糊，严重扭曲了物体的真实形状。

技术实现思路

1、根据实施例，公开了一种用于提高图像帧的信噪比的方法。该方法包括估计图像帧序列中光流的代表性速度，从光流的代表性速度确定插值因子，和采用经训练的人工神经网络来生成扩展的图像帧序列。扩展的图像帧序列可以包括多个插值图像帧，每个插值图像帧插入到图像帧序列的后续图像帧(subsequent image frame)之间，其中插值图像帧的数量与插值因子对应。该方法还包括计算来自扩展的图像帧序列的图像帧的时间相关组合以生成输出图像帧序列。

2、根据另一个实施例，估计光流的代表性速度包括计算图像帧序列中的后续图像帧之间的光流的直方图并且分析直方图以确定代表性速度。

3、根据一方面，分析直方图以确定代表性速度包括采用直方图将代表性速度确定为预定阈值的分位数(quantile)。计算直方图可以基于估计像素级别(pixel-wise)的光流，诸如通过基于算法的方法。

4、在特定实施例中，用于提高图像帧序列中的信噪比的方法可以应用于显微图像帧序列。

5、根据一方面，在用于提高图像帧序列中的信噪比的方法中采用的经训练的人工神经网络涉及具有通道注意力的特征整形操作。在实施例中，特征整形操作是像素混洗操作。

6、在实施例中，插值因子是二的幂并且经训练的人工神经网络被配置为递归地生成插值图像帧并将其添加到图像帧序列，其中递归的次数与幂对应。

7、根据又一方面，计算图像帧的时间相关组合包括对扩展的图像帧序列应用滚动平均值。滚动平均值可以是加权的滚动平均值，并且其中应用加权的滚动平均值包括从代表性速度确定用于加权的滚动平均值的参数。

8、根据一方面，用于加权的滚动平均值的参数是确定扩展的图像帧序列中对加权的滚动平均值有贡献的一组图像帧的窗口尺寸，和确定来自该组的对加权的滚动平均值有贡献的每个图像帧的权重的宽度。

9、根据一方面，用于提高图像帧序列中的信噪比的方法包括对输出图像帧序列应用去噪算法。

10、根据实施例，人工神经网络已经通过用非特定于领域的图像帧序列预训练人工神经网络并用特定于领域的图像帧训练人工神经网络来训练。

11、根据又一个实施例，公开了一种用于提高图像帧的信噪比的图像处理设备。该图像处理设备包括被配置用于至少暂时保存图像帧序列的存储器、被配置用于估计图像帧序列中的光流的代表性速度并用于从光流的代表性速度确定插值因子的处理电路，和用于生成扩展的图像帧序列的经训练的人工神经网络，其中扩展的图像帧序列包括预定数量的插值图像帧，其中每个插值图像帧插入到图像帧序列的后续图像帧之间。该预定数量可以与插值因子对应，并且处理电路还可以被配置用于计算来自扩展的图像帧序列的图像帧的时间相关组合以生成输出图像帧序列。

技术特征：

1.一种用于提高图像帧的信噪比的方法，所述方法包括：

2.如权利要求1所述的方法，其中估计(202)所述光流的所述代表性速度包括：

3.如权利要求2所述的方法，其中分析所述直方图以确定所述代表性速度包括采用所述直方图将所述代表性速度确定为预定阈值的分位数。

4.如权利要求2所述的方法，其中计算所述直方图是基于估计像素级别的光流。

5.如权利要求4所述的方法，其中估计所述像素级别的光流是基于算法。

6.如前述权利要求中任一项所述的方法，其中所述图像帧是显微图像帧。

7.如前述权利要求中任一项所述的方法，其中所述经训练的人工神经网络被配置用于通过应用具有通道注意力的特征整形操作来生成所述插值图像帧。

8.如权利要求7所述的方法，其中所述特征整形操作包括像素混洗操作。

9.如前述权利要求中任一项所述的方法，其中所述插值因子是二的幂并且其中所述经训练的人工神经网络被配置用于递归地生成插值图像帧并将其添加到所述图像帧序列，其中所述递归的次数与所述幂对应。

10.如前述权利要求中任一项所述的方法，其中计算图像帧的所述时间相关组合包括对所述扩展的图像帧序列应用滚动平均值。

11.如权利要求10所述的方法，其中所述滚动平均值是加权的滚动平均值，并且其中应用所述加权的滚动平均值包括从所述代表性速度确定用于所述加权的滚动平均值的参数。

12.如权利要求11所述的方法，其中用于所述加权的滚动平均值的所述参数是从所述扩展的图像帧序列中确定对所述加权的滚动平均值有贡献的一组图像帧的窗口尺寸，和确定来自该组的对所述加权的滚动平均值有贡献的每个图像帧的权重的宽度。

13.如前述权利要求中任一项所述的方法，还包括对所述输出图像帧序列应用(212)去噪算法。

14.如前述权利要求中任一项所述的方法，其中所述人工神经网络已通过以下方式训练：

15.一种用于提高图像帧的信噪比的图像处理设备(60)，优选地执行前述权利要求中任一项所述的方法，所述图像处理设备包括：

技术总结
公开了一种用于提高图像帧的信噪比的方法。该方法包括估计图像帧序列中光流的代表性速度，根据所述光流的代表性速度确定插值因子，和采用经训练的人工神经网络来生成扩展的图像帧序列。所述扩展的图像帧序列包括多个插值图像帧，其中每个插值图像帧插入到所述图像帧序列的后续图像帧之间，其中插值图像帧的数量与所述插值因子对应。可以计算来自所述扩展的图像帧序列的图像帧的时间相关组合以生成输出图像帧序列。

技术研发人员：凯·沃尔特,康斯坦丁·卡佩尔
受保护的技术使用者：莱卡微系统CMS有限责任公司
技术研发日：
技术公布日：2024/1/13