用于视频的降噪方法及其装置与流程

1.本发明涉及视频降噪技术领域，尤其涉及用于视频的降噪方法及其装置。


背景技术：

2.在实际实践中，对于纯净视频(未受到噪音污染的视频数据)的收集是比较困难的甚至有些视频数据无法获取，因此基于监督学习的视频降噪方法通常难以应用在实际当中。在现有技术中，有许多的基于监督学习方法的视频降噪技术被提出，然而由于监督学习先天具备上述的缺点，因此无法大规模使用。因此，需要设计一种无监督学习的降噪方法。


技术实现要素：

3.有鉴于此，本发明的主要目的在于提供一种用于视频的降噪方法及其装置。
4.为达到上述目的，本发明的技术方案是这样实现的：一种用于视频的降噪方法，包括以下步骤：接收到以时间顺序排列的t个视频帧y1，y2，...，y
t
，每个视频帧yi均由m行n列个像素构成；其中，t，m，n和i均为自然数，且t≥2，1≤i≤t；创建t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
，且f1＝0，b1＝y1；基于partialsvd对视频帧y1进行处理，即u1,x1,v1＝partialsvd(b1,r)，其中，u1是m行m列矩阵，v1是n行n列矩阵，x1是m行n列对角矩阵，r为预设秩值；初始化m＝1且t＝2，持续执行第一操作：将m值增加1，u
t
,x
t
,v
t
＝incsvd(y
t
,u
t-1
,x
t-1
,v
t-1
)，持续执行n次第二操作，当m≥预设阀值r时，dwnsvd(1,u
t
,x
t
,v
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：b
t
＝u
t’*x
t
*v
tt
，u
t’为u
t
的m行1至r列元素组成，v
tt
为v
t
的转置，f
t
＝sgn(y
t-b
t
)*max(0，|y
t-b
t
|-γ)，其中，γ为预设参数，sgn()为符号函数；且在第二次操作已经执行了n次时，执行u
t
,x
t
,v
t
＝repsvd(y
t
，f
t
，u
t
，x
t
，v
t
)；对t个前景视频帧f1，f2，...，f
t
进行降噪处理，并且对t个背景视频帧b1，b2，...，b
t
进行降噪处理，之后，将降噪之后的t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
合并为降噪之后的t个视频帧。
5.作为本发明实施例的一种改进，所述“对t个前景视频帧f1，f2，...，f
t
进行降噪处理，并且对t个背景视频帧b1，b2，...，b
t
进行降噪处理”具体包括：获取预设的轻量级神经网络，将所述t个前景视频帧f1，f2，...，f
t
输入所述轻量级神经网络进行降噪处理，将所述t个背景视频帧b1，b2，...，b
t
输入所述轻量级神经网络进行降噪处理；所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成；所述轻量级神经网络包括：squeezenet神经网络、shufflenet神经网络、mnasnet神经网络、mobilenet神经网络、condensenet神经网络、espnet神经网络、channelnets神经网络、peleenet神经网络、igc神经网络、fbnet神经网络、efficientnet神经网络、ghostnet神经网络、weightnet神经网络、micronet神经网络和u-net神经网络。
6.作为本发明实施例的一种改进，所述“所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成”具体包括：将多个噪声图像化输入到深度神经网络d
θ
，并输出
与每个噪声图像相匹配的干净图像，之后，基于多个干净图像和与之匹配的噪声图像，训练所述轻量级神经网络。
7.作为本发明实施例的一种改进，所述“对t个前景视频帧f1，f2，...，f
t
进行降噪处理”具体包括：将t个前景视频帧f1，f2，...，f
t
划分为多个前景视频帧组，每个前景视频帧组均包含有多个前景视频帧，基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理。
8.作为本发明实施例的一种改进，所述“基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理”具体包括：对每个前景视频帧组均进行以下处理：从所述前景视频帧组中选择一个关键前景视频帧，计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧的光流信息，基于所述光流信息，将所有前景视频帧相对于所述关键前景视频帧进行配准处理，之后，对配准之后的所有前景视频帧进行降噪处理。
9.本发明实施例还提供了一种用于视频的降噪装置，包括以下模块：数据获取模块，用于接收到以时间顺序排列的t个视频帧y1，y2，...，y
t
，每个视频帧yi均由m行n列个像素构成；其中，t，m，n和i均为自然数，且t≥2，1≤i≤t；初始化模块，用于创建t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
，且f1＝0，b1＝y1；基于partialsvd对视频帧y1进行处理，即u1,x1,v1＝partialsvd(b1,r)，其中，u1是m行m列矩阵，v1是n行n列矩阵，x1是m行n列对角矩阵，r为预设秩值；前后景提取模块，用于初始化m＝1且t＝2，持续执行第一操作：将m值增加1，u
t
,x
t
,v
t
＝incsvd(y
t
,u
t-1
,x
t-1
,v
t-1
)，持续执行n次第二操作，当m≥预设阀值r时，dwnsvd(1,u
t
,x
t
,v
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：b
t
＝u
t’*x
t
*v
tt
，u
t’为u
t
的m行1至r列元素组成，v
tt
为v
t
的转置，f
t
＝sgn(y
t-b
t
)*max(0，|y
t-b
t
|-γ)，其中，γ为预设参数，sgn()为符号函数；且在第二次操作已经执行了n次时，执行u
t
,x
t
,v
t
＝repsvd(y
t
，f
t
，u
t
，x
t
，v
t
)；降噪模块，用于对t个前景视频帧f1，f2，...，f
t
进行降噪处理，并且对t个背景视频帧b1，b2，...，b
t
进行降噪处理，之后，将降噪之后的t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
合并为降噪之后的t个视频帧。
10.作为本发明实施例的一种改进，所述降噪模块还用于：获取预设的轻量级神经网络，将所述t个前景视频帧f1，f2，...，f
t
输入所述轻量级神经网络进行降噪处理，将所述t个背景视频帧b1，b2，...，b
t
输入所述轻量级神经网络进行降噪处理；所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成；所述轻量级神经网络包括：squeezenet神经网络、shufflenet神经网络、mnasnet神经网络、mobilenet神经网络、condensenet神经网络、espnet神经网络、channelnets神经网络、peleenet神经网络、igc神经网络、fbnet神经网络、efficientnet神经网络、ghostnet神经网络、weightnet神经网络、micronet神经网络和u-net神经网络。
11.作为本发明实施例的一种改进，所述降噪模块还用于：将多个噪声图像化输入到深度神经网络d
θ
，并输出与每个噪声图像相匹配的干净图像，之后，基于多个干净图像和与之匹配的噪声图像，训练所述轻量级神经网络。
12.作为本发明实施例的一种改进，所述降噪模块还用于：将t个前景视频帧f1，f2，...，f
t
划分为多个前景视频帧组，每个前景视频帧组均包含有多个前景视频帧，基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理。
13.作为本发明实施例的一种改进，述降噪模块还用于：对每个前景视频帧组均进行以下处理：从所述前景视频帧组中选择一个关键前景视频帧，计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧的光流信息，基于所述光流信息，将所有前景视频帧相对于所述关键前景视频帧进行配准处理，之后，对配准之后的所有前景视频帧进行降噪处理。
14.本发明实施例所提供的用于视频的降噪方法及其装置具有以下优点：本发明实施例公开了一种用于视频的降噪方法及其装置，该降噪方法包括以下步骤：接收到以时间顺序排列的t个视频帧，每个视频帧均由m行n列个像素构成；其中，t，m，n；将t个前景视频帧分解成t个前景视频帧和t个背景视频帧；对t个前景视频帧和t个背景视频帧进行降噪处理，之后，将降噪之后的t个前景视频帧和t个背景视频帧合并为降噪之后的t个视频帧。综上所述，该降噪方法能够完成视频降噪。
附图说明
15.图1为本发明实施例提供的用于视频的降噪方法的流程示意图；
16.图2为本发明实施例提供的用于视频的降噪方法的原理图；
17.图3、图4、图5和图6为本发明实施例的用于视频的降噪方法的实验结果图。
具体实施方式
18.以下将结合附图所示的实施方式对本发明进行详细描述。但该实施方式并不限制本发明，本领域的普通技术人员根据该实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
19.以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
20.本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
21.本发明实施例一提供了一种用于视频的降噪方法，如图1所示，包括以下步骤：
22.步骤101：接收到以时间顺序排列的t个视频帧y1，y2，...，y
t
，每个视频帧yi均由m行n列个像素构成；其中，t，m，n和i均为自然数，且t≥2，1≤i≤t；
23.步骤102：创建t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
，且f1＝0，b1＝y1；基于partialsvd对视频帧y1进行处理，即u1,x1,v1＝partialsvd(b1,r)，其中，u1是m行m列矩阵，v1是n行n列矩阵，x1是m行n列对角矩阵，r为预设秩值；
24.步骤103：初始化m＝1且t＝2，持续执行第一操作：将m值增加1，u
t
,x
t
,v
t
＝incsvd(y
t
,u
t-1
,x
t-1
,v
t-1
)，持续执行n次第二操作，当m≥预设阀值r时，dwnsvd(1,u
t
,x
t
,v
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：b
t
＝u
t’*x
t
*v
tt
，u
t’为u
t
的m行1至r列元素组成，v
tt
为v
t
的转置，f
t
＝sgn(y
t-b
t
)*max(0，|y
t-b
t
|-γ)，其中，γ为预设参数，sgn()为符号函数；且在第二次操作已经执行了n次时，执行u
t
,x
t
,v
t
＝repsvd(y
t
，f
t
，u
t
，x
t
，v
t
)；
25.步骤104：对t个前景视频帧f1，f2，...，f
t
进行降噪处理，并且对t个背景视频帧b1，b2，...，b
t
进行降噪处理，之后，将降噪之后的t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
合并为降噪之后的t个视频帧。
26.这里，一个干净的视频数据样本x可以理解为：x∈r
t*c*m*n
，其中，t为视频帧的数量，c为视频帧的颜色通道数(例如，rgb和lab图像有3个通道，cmyk图像有4个通道等)，每个视频帧的尺寸为m*n(即包含了m行n列的像素点)。
27.视频降噪问题可以用以下公式呈现：y
t
＝x
t
+n
t
，其中t∈{1,
…
,t}，y
t
∈r
c*m*n
为第t个被污染的视频帧，x
t
∈r
c*m*n
为第t个干净的视频帧，n
t
∈r
c*m*n
为噪音。不同的噪音类型服从不同的随机分布，例如，(1)加性高斯噪声，那么噪音帧y
t
服从如下的分布：y
t,m,n
～n(x
t,m,n
,σ2)，其中t∈{1,
…
,t}，m∈{1,
…
,m}，n∈{1,
…
,n}，σ是标准差，并且y的期望满足e[y]＝x；(2)泊松噪声，噪音视频帧y
t
服从如下的泊松分布：其中，λ为平均事件数，并且y的期望满足e[y]＝x，泊松噪声的方差是具有信号依赖性的，即它会随着原始的信号值的变化而变化。
[0028]
该步骤102和步骤103负责视频分解(又称背景建模，旨在将一个视频y分解为一个低秩背景b∈r
t
×c×m×n与稀疏前景f∈r
t
×c×m×n)。其在尝试解决如下的一个优化问题：
[0029]
min
b,f
rank(b)+yiif||1s.t.y＝b+f，
[0030]
其中，y∈r
cmn
×
t
为一个再成型的输入视频，类似于y
t
＝vec(y
t
)，b,f∈r
cmn
×
t
是一个低秩矩阵与一个稀疏矩阵，γ是一个正参数。然而，在上述公式中的rank算子是不可微分的并且是非连续的。上述公式中，一个经常用到的凸松弛是鲁棒主成分分析(robust principal component analysis，rpca)，它将利用一个凸核范数来替换rank算子从而得到：min
b,f
||b||
*
+γ||f||1s.t.y＝b+f。虽然已经有很多的算法被提出来用于求解rpca问题，但是它们大部分都是需要将一批或者一整个视频数据作为输入喂进算法中进行处理，然而批处理操作在要求实时性的实际应用场景下是极费时间且无法胜任的。
[0031]
本发明实施例中的视频分解方法是一个快速的在线背景建模算法，它可以以逐帧的方式去实时分解视频。该算法解决了公式一的下列松弛：
[0032][0033]
步骤103中的迭代算法来去解决此问题。该算法最后返回了一个低秩矩阵b与稀疏矩阵f，他们通过进一步的重整形为视频的背景b与前景f。
[0034]
这里，partialsvd，incsvd，repsvd与downsvd都为奇异值分解(singular value decomposition，svd)的变种。
[0035]
svd奇异值分解，假设matrix是一个m*n阶矩阵，奇异值分解将矩阵matrix分解为matrix＝uxv
t
，其中，u为m*m阶矩阵，v
t
为n*n阶矩阵v的转置，x是m*n阶对角矩阵，对角线上的元素称为奇异值。
[0036]
partialsvd，partialsvd又称为thin svd(rodriguez&wohlberg 2016中称partialsvd为thinsvd，而实际应为truncated svd)，是一种减少时间空间复杂度的svd方法，partialsvd将m*n阶矩阵分解为其中，uk为m*k阶矩阵，为k*n阶矩阵，xk是k*k阶对角矩阵，k为任意整数。与普通svd相比，partialsvd所需的计算成本较小，计算速度更快。
[0037]
incsvd，incsvd为incremental svd的简称，是一种增量式svd，对m*n阶矩阵matrix和m维向量d，在已知奇异值分解的情况下，其中，x0为r*r阶矩阵，incsvd可以快速求出m*(n+1)阶矩阵[matrix，d]的奇异值分解其中x1为(r+1)*(r+1)阶矩阵。在本文背景中，可以考虑matrix为已有n帧视频，向量d为新一帧视频，则incsvd可以直接基于原分解求出(n+1)帧视频[matrix，d]的奇异值分解。
[0038]
downsvd：downsvd为incsvd的逆过程。在已知奇异值分解的情况下，downsvd可以快速求出矩阵matrix的奇异值分解
[0039]
repsvd：repsvd为replace svd的简称，repsvd与前两种svd类似。对m*n阶矩阵matrix，m维向量a和向量b，在已知奇异值分解的情况下，downsvd可以快速求出矩阵[matrix，b]的奇异值分解
[0040]
采用上述svd变种大大减少了算法所需的运行时间。
[0041]
视频分解对于降噪的优势，视频分解能够带来两大优势：(1)在分解后，即将视频分解为前景与背景，在视频帧上的噪音也相应地被分为两大部分：背景噪音与前景噪音。由于背景在时间上一直都是低秩矩阵，因此可以认为与背景有关的噪声的能量是十分低的，否则的话低秩假设将也不再成立；这就会使得背景拥有一个很高的信噪比，使得降噪任务更加地简单，这也是在实验中所发现的结论，由图2所示。(2)前景保留了原图片中大部分的噪音的能量，由于前景中包含了几个稀疏的移动的物体，所以前景的噪音在很大程度上与图像内容分离，使得前景的噪音更加容易被去除。
[0042]
在给定基于低秩与稀疏假设的优势时，视频分解产生了一个更好的效果。给定f,b＝incpcp(y)，记和为降噪后的前景与背景。因此降噪后的视频可以被定义为基于前景的稀疏性可知，视频可以被估计为：
[0043][0044]
其中m∈r
t
×c×m×n是一个中非零元素的掩码，
⊙
记为矩阵间元素相乘。由于前景是稀疏的，所以假设||m||f＜＜||1-m||f，其中1∈r
t
×c×m×n是一个所以元素均为1的张量。
[0045]
给定一个干净的视频x，假设为噪音视频在没有经过分解操作的降噪结果。基于背景的低秩假设，背景包含了低能量的噪音，这意味着背景包含着一个要比原始视频更好的降噪质量，即
[0046][0047]
降噪结果与的质量可以用与去测量，因此，有
[0048][0049]
根据上文的稀疏性||m||f＜＜||1-m||f假设与低秩假设，该不等式成立。因此，可以得出这意味着视频的组成会得到一个更好的结果。
[0050]
本实施例中个，述“对t个前景视频帧f1，f2，...，f
t
进行降噪处理，并且对t个背景视频帧b1，b2，...，b
t
进行降噪处理”具体包括：
[0051]
获取预设的轻量级神经网络，将所述t个前景视频帧f1，f2，...，f
t
输入所述轻量级神经网络进行降噪处理，将所述t个背景视频帧b1，b2，...，b
t
输入所述轻量级神经网络进行降噪处理；所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成；
[0052]
所述轻量级神经网络包括：squeezenet神经网络、shufflenet神经网络、mnasnet神经网络、mobilenet神经网络、condensenet神经网络、espnet神经网络、channelnets神经网络、peleenet神经网络、igc神经网络、fbnet神经网络、efficientnet神经网络、ghostnet神经网络、weightnet神经网络、micronet神经网络和u-net神经网络。
[0053]
这里，基于多个的干净图像和与之匹配的噪声图像对该轻量级神经网络进行训练，从而该轻量级网络能够学习这种映射关系，利用高精度但是耗时的网络来指导训练轻量级网络可以同时保持高精度网络的降噪效果以及轻量级网络的速度优势。。
[0054]
本实施例中，所述“所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成”具体包括：将多个噪声图像化输入到深度神经网络d
θ
，并输出与每个噪声图像相匹配的干净图像，之后，基于多个干净图像和与之匹配的噪声图像，训练所述轻量级神经网络。
[0055]
这里，大部分现有的自监督降噪方法，比如noise2void，noise2self等，都是经由盲点(blind-spot)的思路启发而来，这个盲点方法首先会随机从输入的噪音图像中掩盖掉一部分的像素，这些被掩盖掉的像素值会被设为零或替换的值。通过训练，将一个可学习参数记为θ的深度神经网络用来预测这些缺失像素。该网络的输入是一个被掩盖掉的图像，而输出是原始的噪音图像。这个方法可以从噪音数据学到一个降噪映射而非恒等映射。
[0056]
本实施例中，所述“对t个前景视频帧f1，f2，...，f
t
进行降噪处理”具体包括：将t个前景视频帧f1，f2，...，f
t
划分为多个前景视频帧组，每个前景视频帧组均包含有多个前景视频帧，基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理。
gpu上实现的。
[0065]
恢复。在噪声视频和它们的真实值之间计算psnr分数和ssim度量来衡量性能。比较结果如图3所示，其中最好的结果用粗体标记。
[0066]
如图3所示，cdnet2014数据集上的psnr(db)/ssim评分和时间一致性测量。时间一致性测量(如果在单元出现的第三个数字)只提供了高斯噪声σ＝75和泊松噪声λ＝5。最好的分数用粗体表示，次等分数用下划线表示
[0067]
在图3中，对于所有的ρ＝0,0.02,0.05，本实施例中的降噪方法框架在所有自监督方法和监督方法中，以及在去噪高斯噪声和泊松噪声方面都取得了最好的psnr。与已有的包括noise2self在内的自监督去噪方法相比，本实施例中的降噪方法框架的psnr提高了约3db，从而证明了视频分解方法的有效性。同样，在ssim方面，所提出的本实施例中的降噪方法框架均达到了最好的性能。并且结果表明，本发明实施例中的降噪方法对不同噪声水平的噪声具有较好的鲁棒性，对方差较大的噪声也具有较好的去噪性能。另一个发现是，虽然没有ground truth数据，但noise2self仍然具有与noise2truth相似的性能。
[0068]
对比实验。本实施例中的降噪方法通过对比实验来研究该降噪方法框架的三个组成部分。首先，假设不存在多帧去噪步骤，即ρ＝0，从图3可以看出，本实施例中的降噪方法的psnr分数比noise2self高，这说明视频分解在去噪中起着至关重要的作用。其次，如果没有单帧去噪步骤，光流计算将受到噪声的严重干扰，导致计算结果不准确。第三，对比不同参数ρ的本实施例中的降噪方法，当ρ＝0.02时，多帧去噪略有改善。当ρ＝0.05时，由于过度平滑，psnr分数降低。
[0069]
时间一致性。虽然多帧去噪在psnr和ssim评分上提供了微不足道的贡献，但它保证了去噪后视频的时间一致性。在给定一个视频y的情况下，引入了以下时间一致性(tc)度量：
[0070][0071]
其中w(
·
)是配准函数，o
t+1
→
t
是由第t+1帧到第t帧的光流，m，n是视频帧的尺寸。这个tc度量计算视频中每两个连续帧之间的差异。在cdnet2014测试集上计算tc度量。结果也列在上图3中，发现当tc度量越低，那么视频的相干性就越好。从图3可以看出，本实施例中的降噪方法的时间一致性优于所有现有的自监督去噪方法和有监督去噪方法。tc度规随着ρ值的增大而增大，从定量的角度去验证了多帧去噪的必要性。
[0072]
运行时间。本实施例中的降噪方法框架满足实时处理的条件。图4显示了该降噪方法的框架在不同视频分辨率下的运行时间。从图4(左)可以看出，大部分的运行时间都是在进行多帧去噪(mfd)，更准确地说，是光流计算，随着最先进的光流框架的发展，这一计算速度将会加快。视频分解和单帧去噪在各个尺寸上都达到了较快的运行速度。图4(右)显示了的框架在512
×
512的视频上达到13.5fps和50.4fps的mfd，这两个都能够实时处理。
[0073]
一般视频降噪。
[0074]
证明了尽管没有低秩背景假设，本实施例中的降噪方法框架仍将改善视频去噪性能。使用cdnet2014 dataset训练的模型，在davis2017测试集上测试本实施例中的降噪方法的结果，其中大多数视频都有动态移动的背景。每个视频大约有80帧，调整尺寸为768
×
512。psnr(peak signal to noise ratio，峰值信噪比)和ssim(structural similarity，
结构相似性)评分作为评价指标。将本实施例中的降噪方法的结果与上述的框架进行比较，但是其中不包括bsn，因为它要求帧的长度和宽度相等。对比结果见图5。它表明本实施例中的降噪方法比单帧n2s平均提高了0.5db。的去噪结果与监督视频去噪方法相比，对在高斯噪声的去噪效果上优于videnn和fastdvdnet，当噪音的方差σ＝75,100。实验证明，即使背景不是严格的低秩，框架仍然能够取得更好的性能。
[0075]
在图5中，在davis2017数据集上的psnr(db)/ssim分数。最好的分数用粗体表示，次等分数用下划线表示。
[0076]
x光冠状动脉造影降噪
[0077]
这里，将展示本实施例中的降噪方法框架在实际应用中的有效性。考虑x射线冠状动脉造影(xca，x-ray coronary artery angiography)的去噪，xca是固定成像几何的x射线所拍摄的冠状动脉血管视频，满足低秩假设。低剂量的x射线导致视频中的信号依赖噪声。xca数据集有22个灰度视频，分为16个视频用于训练，6个视频用于测试。在每个视频中提取50帧进行训练，将每帧的大小设为1024
×
1024。单帧去噪方法仍采用noise2self，经过10个回合的训练以避免过拟合。
[0078]
由于没有真实数据，计算测试集中每一帧的相对噪声比(cnr，composite noise rating)，一个盲图像质量估计方法，去评估降噪质量。cnr评分越高，去噪质量越好。因此，原始噪视频的平均cnr为cnr
input
＝0.402。在利用noise2self进行单帧降噪处理完后的cnr
noise2self
＝0.671。而本实施例中的降噪方法(ρ＝0.04)框架达到了最好的性能，即cnr
noise2fgbg
＝0.938，这验证了本实施例中的降噪方法模型在该应用下的优越性。由于没有干净的数据用于监督，其他的监督的与自监督的方法没有进行比较，其他的自监督方法也可以直接在的框架中使用。图6提供了视觉质量的比较，可以发现本实施例中的降噪方法去噪结果噪声更小，从而定性地证实了本实施例中的降噪方法的优点。
[0079]
本发明实施例二提供了一种用于视频的降噪装置，包括以下模块：
[0080]
数据获取模块，用于接收到以时间顺序排列的t个视频帧y1，y2，...，y
t
，每个视频帧yi均由m行n列个像素构成；其中，t，m，n和i均为自然数，且t≥2，1≤i≤t；
[0081]
初始化模块，用于创建t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
，且f1＝0，b1＝y1；基于partialsvd对视频帧y1进行处理，即u1,x1,v1＝partialsvd(b1,r)，其中，u1是m行m列矩阵，v1是n行n列矩阵，x1是m行n列对角矩阵，r为预设秩值；
[0082]
前后景提取模块，用于初始化m＝1且t＝2，持续执行第一操作：将m值增加1，u
t
,x
t
,v
t
＝incsvd(y
t
,u
t-1
,x
t-1
,v
t-1
)，持续执行n次第二操作，当m≥预设阀值r时，dwnsvd(1,u
t
,x
t
,v
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：b
t
＝u
t’*x
t
*v
tt
，u
t’为u
t
的m行1至r列元素组成，v
tt
为v
t
的转置，f
t
＝sgn(y
t-b
t
)*max(0，|y
t-b
t
|-γ)，其中，γ为预设参数，sgn()为符号函数；且在第二次操作已经执行了n次时，执行u
t
,x
t
,v
t
＝repsvd(y
t
，f
t
，u
t
，x
t
，v
t
)；
[0083]
降噪模块，用于对t个前景视频帧f1，f2，...，f
t
进行降噪处理，并且对t个背景视频帧b1，b2，...，b
t
进行降噪处理，之后，将降噪之后的t个前景视频帧f1，f2，...，f
t
和t个背景视频帧b1，b2，...，b
t
合并为降噪之后的t个视频帧。
[0084]
本实施例中，获取预设的轻量级神经网络，将所述t个前景视频帧f1，f2，...，f
t
输
入所述轻量级神经网络进行降噪处理，将所述t个背景视频帧b1，b2，...，b
t
输入所述轻量级神经网络进行降噪处理；所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成；
[0085]
所述轻量级神经网络包括：squeezenet神经网络、shufflenet神经网络、mnasnet神经网络、mobilenet神经网络、condensenet神经网络、espnet神经网络、channelnets神经网络、peleenet神经网络、igc神经网络、fbnet神经网络、efficientnet神经网络、ghostnet神经网络、weightnet神经网络、micronet神经网络和u-net神经网络。
[0086]
本实施例中，所述降噪模块还用于：将多个噪声图像化输入到深度神经网络d
θ
，并输出与每个噪声图像相匹配的干净图像，之后，基于多个干净图像和与之匹配的噪声图像，训练所述轻量级神经网络。
[0087]
本实施例中，所述降噪模块还用于：将t个前景视频帧f1，f2，...，f
t
划分为多个前景视频帧组，每个前景视频帧组均包含有多个前景视频帧，基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理。
[0088]
本实施例中，所述降噪模块还用于：对每个前景视频帧组均进行以下处理：从所述前景视频帧组中选择一个关键前景视频帧，计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧的光流信息，基于所述光流信息，将所有前景视频帧相对于所述关键前景视频帧进行配准处理，之后，对配准之后的所有前景视频帧进行降噪处理。
[0089]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0090]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。