一种基于神经网络学习先验的光子反射率图像去噪方法

本发明属于光子计数成像领域，涉及一种基于神经网络学习先验的光子反射率图像去噪方法，适用于各种光子计数成像应用场景。

背景技术：

光子计数成像可用于探测极端低光照条件下的目标，而其他成像技术在极低光照条件下获取有效数据方面存在困难。因此，该方法在空间监测、生物成像、荧光和显微镜等多个领域引起了广泛的研究兴趣。与大多数测量目标反射光强度的成像技术不同，光子计数成像计算从不同空间点反射光收集的每一个光子。在极低光照条件下，背景噪声比较大。

考虑到低光条件下噪声的影响，通常采用泊松分布来测量反射光子的计数过程。为了去除泊松噪声，可以采用方差稳定变换(vst)以高斯分布近似泊松分布，采用常规的去噪算法如块匹配和三维滤波(bm3d)去噪。然而，在大多数单光子计数成像应用中，这种近似是不准确的，因为接收到的光子数量非常低，导致高频伪影。在最近关于单光子计数成像的工作中，从计数数据重建总是通过最小化负泊松对数似然项来完成。2014年，ahmedkirmani团队在《science》上发表了一种首光子成像(first-photonimaging,fpi)系统，提出了从每个像素的第一个检测到的光子中恢复3d结构和反射率信息。dongeekshin在fpi的基础上，提出了一种可靠的方法来估计反射率，该方法使用每个像素的固定驻留时间能够较好的得到反射率图像。深度学习的方法也被应用于单光子计数成像中，但现有的方法都基于黑箱模型，未能将真实物理模型与网络相结合。如何有效去除光子计数图像中的噪声，已成为了国内外许多研究学者关注和研究的热点。

技术实现要素：

本发明针对现有技术的不足，提供一种基于神经网络学习先验的光子反射率图像去噪方法。

本发明所采用的技术方案是：一种基于神经网络学习先验的光子反射率图像去噪方法，主要包括成像模型的构造与模型的网络化。首先构造光子计数成像模型，对模型进行求解，得到相应的子问题，然后将子问题的模型进行网络化，构建卷积神经网络，给定训练集，对先验和模型相应参数进行学习，最后得到光子反射率图像的去噪结果。该方法包括以下步骤：

步骤1：构造光子计数成像模型，一般而言，光子计数成像模型可以表述为：

其中，α表示光子反射率图像，j(α)为数据保真项，k(α)为先验约束项。

步骤2：对成像模型进行求解，得到相应子问题。

步骤3：对子问题的物理模型进行网络化，构造卷积神经网络以及损失函数。

步骤4：对卷积神经网络进行训练，根据训练好的网络模型得到反射率图像的去噪结果。

作为优选，步骤1的具体实现包括以下子步骤：

步骤1.1：构建数据保真项j(α)。一般而言，给定光子计数值ki,j,反射率αi,j的泊松负对数似然函数可表示为：

其中n为发射的脉冲数，η为探测器的探测效率，b为脉冲重复周期的背景计数，s为脉冲重复周期内的信号计数，i,j为空间点坐标。将上式作为数据保真项。

步骤1.2：构建先验约束项k(α)。传统方法小波域内稀疏，梯度稀疏，并不一定准确，为了获得更佳效果，本发明采用一种通用的非线性函数对反射率图像进行稀疏化，函数记为其参数是可学习的。受卷积神经网络强大的非线性特征表示能力的启发，将设计为由一个线性整流单元(relu)分隔的两个线性卷积算子的组合，如图2所示。由此可得先验约束项的表达式：

步骤1.3：得到最终的反射率图像重建模型。由于ηsα＜＜1，因此，可作如下近似：

1-exp[-(ηsα+b)]≈ηsα+b

由此可得到最终的重建模型：

其中λ为正则化参数，k为所有空间点光子计数值构成的矩阵。

作为优选，步骤2的具体实现包括以下子步骤：

步骤2.1：基于fista的优化策略(afastiterativeshrinkage-thresholdingalgorithmforlinearinverseproblems)，对式(1)进行求解，得到如下两个子问题：

其中ρ为一常数，r^x为中间变量r在第x次迭代计算时得到的结果，它是α^x在第x次迭代时的直接重建结果，其初值可根据极大似然估计得到。

作为优选，步骤3的具体实现包括以下子步骤：

步骤3.1：r^x模型的网络化，为了保持网络的结构和增加网络的灵活性，不固定参数ρ的值，使它作为网络参数随网络的学习而变化，于是，根据式(2)，r^x模型变为：

步骤3.2：α^x模型的网络化。为了使模型网络化，假设r^x和分别是α和的均值，则可得到如下近似：

其中β是一个只与有关的标量，将上述近似项应用到式(3)，可得到：

其中θ＝βλ，于是，得到的闭环形式：

引入的逆运算定义最后得到α^x的网络化模型：

为了保持网络的灵活性与增加网络的容量，使θ随着网络的迭代而变化，因此，可得到α^x的网络化最终模型：

图2表示了r^x与α^x的闭环形式是如何映射到一个深度网络的，首先利用极大似然估计，由α^x-1得到r^x，r^x经过网络层变为在经软阈值运算得到在经过网络层输出α^x，完成一个闭环运算。

步骤3.3：构造损失函数。采用数据集进行训练，网络将光子计数图像ki作为输入，生成重建结果我们在满足对称条件的情况下减少与groundtruthyi的差异，由此可设计出如下的损失函数：

其中：

其中nb为训练块的总数，np为网络层数，ns为每个训练块的大小，γ为一常数。

本发明主要针对单光子计数成像这种新型的计算成像技术，提供了一种基于卷积神经网络学习先验的去噪方法，通过将物理模型网络化，同时结合了模型与网络的优点。

附图说明

图1是本发明的网络框架图。

图2是非线性函数及其逆函数的结构组成图。

图3是利用仿真数据，本发明提出方法与其他对比方法重建出的光子反射率图像的视觉质量比较，其中(a)为groundtruth，(b)为加了泊松噪声与脉冲噪声的光子计数仿真图像，(c)为spiralonb的去噪结果，(d)为binomialspiraltv的去噪结果，(e)为nlspca的去噪结果，(f)vst+bm3d的去噪结果，(g)为proposed本发明提出的方法的重建结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供一种基于卷积神经网络学习先验的光子反射率图像去噪方法。具体包括如下步骤：

步骤1：构造光子计数成像模型，一般而言，光子计数成像模型可以表述为：

其中，α表示光子反射率图像，j(α)为数据保真项，k(α)为先验约束项。具体实现包括以下子步骤：

步骤1.1：构建数据保真项j(α)。一般而言，给定光子计数值ki,j,反射率αi,j的泊松负对数似然函数可表示为：

将上式作为数据保真项。其中n为发射的脉冲数，η为探测器的探测效率，b为脉冲重复周期的背景计数，s为脉冲重复周期内的信号计数，i,j为空间点坐标。在本实施例中，n＝100，η＝0.35，b＝0，s＝1。

步骤1.2：构建先验约束项k(α)。传统方法小波域内稀疏，梯度稀疏，并不一定准确，为了获得更佳效果，本发明采用一种通用的非线性函数对反射率图像进行稀疏化，函数记为其参数是可学习的。受卷积神经网络强大的表示能力以及其通用近似性质的启发，将设计为由一个线性整流单元(relu)分隔的两个线性卷积算子的组合，如图2所示。由此可得先验约束项的表达式：

步骤1.3：得到最终的反射率图像重建模型。由于ηsα＜＜1，因此，可作如下近似：

1-exp[-(ηsα+b)]≈ηsα+b

由此可得到最终的重建模型：

其中λ为正则化参数，k为所有空间点光子计数值构成的矩阵。

步骤2：对成像模型进行求解，得到相应子问题。具体包括如下步骤：

步骤2.1：基于fista的优化策略(afastiterativeshrinkage-thresholdingalgorithmforlinearinverseproblems)，对式(1)进行求解，得到如下两个子问题：

其中ρ为一常数，r^x为中间变量r在第x次迭代计算时得到的结果，它是α^x在第x次迭代时的直接重建结果，其初值可根据极大似然估计得到，即

步骤3：对子问题的物理模型进行网络化，构造卷积神经网络以及损失函数。具体实现包括以下子步骤：

步骤3.1：r^x模型的网络化。为了保持网络的结构和增加网络的灵活性，不固定参数ρ的值，使它作为网络参数随网络的学习而变化。于是，根据式(1)，r^x模型变为：

在本实施例中，

步骤3.2：α^x模型的网络化。为了使模型网络化，假设r^x和分别是α和的均值，则可得到如下近似：

其中β是一个只与有关的标量，将上述近似项应用到式(2)并采用对图像进行稀疏化，可得到：

其中θ＝βλ，于是，得到的闭环形式：

引入的逆运算定义最后得到α^x的网络化模型：

为了保持网络的灵活性与增加网络的容量，使θ随着网络的迭代而变化，因此，可得到α^x的网络化最终模型：

图2表示了r^x与α^x的闭环形式是如何映射到一个深度网络的。首先利用极大似然估计，由α^x-1得到r^x，r^x经过网络层变为在经软阈值运算得到在经过网络层输出α^x，完成一个闭环运算。在本实施例中，θ⁰＝0.0005。

步骤3.3：构造损失函数。采用数据集进行训练，网络将光子计数图像ki作为输入，生成重建结果我们在满足对称条件的情况下减少与groundtruthyi的差异，由此可设计出如下的损失函数：

其中：

其中nb为训练块的总数，np为网络层数，ns为每个训练块的大小，γ为一常数。在本实施例中，nb＝192000，ns＝1089，np＝9，γ＝0.01。

步骤4：利用仿真数据对网络进行训练，根据训练好的网络模型得到反射率图像的去噪结果。在本实施例中，训练速度lr＝0.0001，batchsize＝64，卷积核大小为3×3，通道数为32。

基于上述操作得到光子反射率图像，为了对重建图像进行定量的评价，选用来自南加州大学信号和图像处理研究所的图像数据库中分辨率为1024×1024的‘male’图像作为真值图像，然后对其进行仿真，得到光子计数图像，选用峰值信噪比(psnr)作为评价指标。为了和其他方法进行比较，我们使用spiralonb方法，binomialspiraltv方法，nlspca方法以及vst+bm3d方法和我们的方法进行比较，我们选用了bsd300数据集中的100张图片作为训练集，得出的结果如表1所示。有关各算法重建图像的视觉质量比较，参见附图3。

表1不同重建方法的psnr(db)对比(理想值：+∞)

可以看到，我们提出的方法通过学习先验，将模型网络化，采用卷积神经网络对图像进行去噪，从而使得去噪图像的上述指标接近理想值。

本发明主要针对光子计数成像图像去噪的应用需求。考虑到传统方法的不足，我们提供了一种基于学习先验的光子计数图像去噪方法，通过学习得到最佳的稀疏表征方式，进一步通过模型网络化的方式简化参数设计过程，从而获得最佳的结果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。