一种视频降噪方法、智能终端及计算机可读存储介质与流程

1.本发明涉及视频降噪技术领域，尤其涉及一种视频降噪方法、智能终端及计算机可读存储介质。


背景技术：

2.视频是数据的一个重要载体，视频由两部分组成，一部分是声音，一部分是图像。视频可看作根据每一个图像都有特定的时间帧，然后根据时间帧播放图像和声音。由于人眼具有视觉残留现象，因此每秒帧数小于一定值时，会产生连续动态视频的感觉。由于图像在采集、剪辑、编码、转码、传输、显示等过程中每一个处理都受到各种噪声的干扰和影响而使图像质量下降。而图像处理得好坏直接影响到后续视频的播放、剪辑等处理。为了获取高质量视频，常常需要对视频中的图像进行降噪处理，以在保持原始信息完整性的同时，又能够去除无用噪音。因此降噪处理一直是图像和视频处理和计算机视觉研究的热点。最为常见的是在采集过程中引入的噪声。降低噪声强度可以使图像主观效果更好，图像、视频压缩时减少噪声编码，提高码率的利用率，还可使得视频编码中的运动估计更准确、熵编码速度更快。噪声的来源有多种，其中最主要的部分来自光子散粒噪声。图像在采集时，感光元件收集光子，并把光子转换成电子，电子形成电压，电压放大后量化，最终形成数字图像。光子散粒噪声就是在采集光子这一步发生。因此，常规的降噪方法主要原理是提高单位像素面积内接受到的光子个数来降低人眼感知到的噪声强度。
3.噪声可以分别从空间域和时域来理解，目前的降噪方法也因此分为两类，空域降噪和时域降噪两种方法。空域降噪利用视频图像的像素空间的相关性滤除噪声，例如常见的中值、均值、高斯、双边、小波滤波。但容易产生过度平滑，丢失细节同时耗时较长。时域降噪方法是利用视频帧间关系，根据当前帧和前一帧的视频噪声分布，从而利用这些关系进行降噪，常见的是基于运动估计或者运动补偿，对不同帧中的像素进行对齐，然后将对应像素加权平均融合，但该方法对齐阶段容易受到噪声、环境光变化以及运动对象的影响，因此在融合阶段很难区分像素之间的差异是由于对齐不准还是因为噪声引起，因此对于物体运动的场景，会出现画面边缘拖影和运动区域模糊。


技术实现要素：

4.本发明的主要目的在于提供一种视频降噪方法、智能终端及计算机可读存储介质，旨在解决现有技术针对动态场景画面的降噪质量差的问题。
5.为实现上述目的，本发明提供一种视频降噪方法，所述视频降噪方法用于对所述视频文件中的帧图像进行图像降噪，具体包括：
6.获取待处理的视频文件中的第t帧图像，其中，t为大于零且小于等于所述视频文件中帧图像的数量的自然数；
7.当t大于等于2时，根据所述视频文件中的第t-1帧图像，计算所述视频文件中的第t帧图像对应的对齐图像；
8.根据所述第t-1帧图像和所述对齐图像，计算所述第t帧图像中各个像素点为噪声像素的概率值；
9.根据所述概率值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像。
10.可选地，所述的视频降噪方法，其中，当t等于1时，根据预设的滤波器对所述第t帧图像进行滤波，生成所述第t帧图像对应的第t降噪帧图像。
11.可选地，所述的视频降噪方法，其中，所述当t大于等于2时，根据所述视频文件中的第t-1帧图像，计算所述视频文件中的第t帧图像对应的对齐图像，具体包括：
12.计算所述视频文件中的第t-1帧图像和第t帧图像的光流值，生成运动矢量；
13.根据所述运动矢量，计算所述第t帧图像对应的对齐图像。
14.可选地，所述的视频降噪方法，其中，所述计算所述视频文件中的第t-1帧图像和第t帧图像的光流值，生成运动矢量，具体包括：
15.根据预设的拆分规则，分别对所述第t-1帧图像和所述第t帧图像进行拆分，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔；
16.计算所述第一金字塔中的第一顶层图像和所述第二金字塔中的第二顶层之间的第一光流值；
17.根据所述第一光流值，计算所述第一金字塔和所述第二金字塔中最底层图像之间的第二光流值，并将所述第二光流值作为所述第t-1帧图像和所述第t帧图像之间的运动矢量。
18.可选地，所述的视频降噪方法，其中，所述拆分规则包括高斯金字塔拆分规则和拉普拉斯金字塔拆分规则。
19.可选地，所述的视频降噪方法，其中，所述第一光流值包括第一稀疏光流值和第一稠密光流值，所述计算所述第一金字塔中的第一顶层图像和所述第二金字塔中的第二顶层之间的第一光流值，具体包括：
20.计算所述第一顶层图像和所述第二顶层图像对应的块状积分图；
21.对所述块状积分图进行逆向搜索求解，生成所述第一顶层图像和所述第二顶层图像对应的第一稀疏光流值；
22.根据所述第一稀疏光流值，计算所述第一顶层图像和所述第二顶层图像对应的第一稠密光流值。
23.可选地，所述的视频降噪方法，其中，所述根据预设拆分规则，分别对所述第t-1帧图像和所述第t帧图像进行拆分，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔，具体包括：
24.分别对所述第t-1帧图像和所述第t帧图像进行yvu通道分离，生成所述第t-1帧图像对应的第一y分量、第一u分量和第一v分量，以及所述第t帧图像的第二y分量、第二u分量和第二v分量；
25.根据预设的金字塔规则，分别对所述第一y分量和所述第二y分量进行下采样，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔。
26.可选地，所述的视频降噪方法，其中，所述对齐图像包括第三y分量、第三u分量和第三v分量；所述根据所述运动矢量，计算所述第t帧图像对应的对齐图像，具体包括：
27.根据所述运动矢量，对所述第一金字塔进行矫正，生成所述第三y分量；
28.根据所述运动矢量，对所述第一u分量进行矫正，生成所述第三u分量；
29.根据所述运动矢量，对所述第一v分量进行矫正，生成所述第三v分量。
30.可选地，所述的视频降噪方法，其中，所述根据所述第t-1帧图像和所述对齐图像，计算所述第t帧图像中各个像素点为噪声像素的概率值，具体包括：
31.计算所述第t-1帧图像和所述第t帧图像中各个像素的平均值，生成平均帧图像；
32.根据所述平均帧图像，计算所述第t帧图像对应的差异值；
33.根据所述差异值和所述对齐图像，计算所述第t帧图像中各个像素为噪声像素的概率值。
34.可选地，所述的视频降噪方法，其中，所述根据所述概率值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像，具体包括：
35.根据所述概率值，确定所述第t帧图像对应的第一权重值和所述对齐图像对应的第二权重值；
36.根据所述第一权重值和所述第二权重值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像。
37.可选地，所述的视频降噪方法，其中，所述根据所述第一权重值和所述第二权重值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像，具体包括：
38.根据所述第一权重值和所述第二权重值，分别对所述第二y分量和所述第三y分量、所述第二u分量和所述第三u分量、所述第二v分量与所述第三v分量进行融合，分别生成第四y分量、第四u分量和第四v分量；
39.根据预设的双边滤波器，对所述第四y分量进行滤波，生成第五y分量，其中，所述双边滤波器不包括空间域核；
40.根据预设的非线性滤波器，对所述第四u分量和第四v分量进行滤波，生成第五u分量和第五v分量；
41.将所述第五y分量、所述第五u分量和所述第五v分量进行融合，生成所述第t帧图像对应的第t降噪帧图像。
42.可选地，所述的视频降噪方法，其中，所述视频降噪方法，还包括：
43.将所述第t降噪帧图像替换所述视频文件中的第t帧图像；
44.对替换后的视频文件递归循环所述图像降噪，直至t等于所述视频文件中的帧图像的数量，生成降噪视频并输出。
45.此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频降噪方法程序，所述视频降噪方法程序被所述处理器执行时实现如上所述的视频降噪方法的步骤。
46.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有视频降噪方法程序，所述视频降噪方法程序被处理器执行时实现如上所述的视频降噪方法的步骤。
47.本发明获取所述视频文件后，先根据前一帧图像，计算当前帧的图像对应的对齐图像，由于对齐图像是理想的图像，和当前帧图像存在差异可能是由于噪声引起，也可能是
由于物体移动所引起的，因此再根据对齐图像和前一帧图像，判断当前帧图像的各个像素点为噪声像素的概率值，然后根据概率值，再对当前帧和对齐图像进行融合，以排除由于噪声所引起的差异干扰，从而保证了帧图像之间物体移动不会在融合过程中被过滤，从而出现降噪后视频模糊的现象。
附图说明
48.图1是本发明视频降噪方法提供的较佳实施例的流程图；
49.图2为本发明视频降噪方法提供的较佳实施例的整体流程图；
50.图3为本发明视频降噪方法提供的较佳实施例的递归循环的流程图；
51.图4为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
52.为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
53.本发明较佳实施例所述的视频降噪方法，如图1和图2所示，所述视频降噪方法用于对所述视频文件中的帧图像进行图像降噪，具体包括以下步骤：
54.步骤s10，获取待处理的视频文件中的第t帧图像，其中，t为大于零且小于等于所述视频文件中帧图像的数量的自然数。
55.本实施例中，执行所述视频降噪方法的为安装于智能终端上的视频降噪程序。当用户通过所述智能终端进行视频拍摄时，生成视频文件。所述智能终端可通过默认启动或手动启动的方式，启动所述视频降噪程序，该程序从预设的视频文件保存地址中获取所述视频文件作为待处理的视频文件。
56.具体地，由于视频文件本质上是多张图像的融合，因此所述视频文件中存在多张帧图像，根据其先后顺序，可分为第一帧图像、第二帧图像
……
第t帧图像，其中，t为大于零且小于等于所述视频文件中帧图像的数量的自然数。按照时间的先后顺序，依次获取所述视频文件中的帧图像。
57.步骤s20，当t大于等于2时，根据所述视频文件中的第t-1帧图像，计算所述视频文件中的第t帧图像对应的对齐图像。
58.当t＝1时，即当前获取的帧图像为第一帧图像，根据预设的滤波器，对所述第t-1帧图像，即第一帧图像，进行滤波，生成第一滤波图像，其中，所述滤波器可以是目前传统基于空间域的图像降噪方法，例如高斯滤波、双边滤波和均值滤波。其作用主要是进行预处理，减少第一帧图像的噪音。因此，对所述第一帧图像不进行滤波处理并不影响本方案的实施。在生成第一滤波图像后，将所述第一滤波图像替换所述视频文件中的第一帧图像，并将替换后的视频文件作为待处理的视频文件，执行后续的视频降噪。
59.当t＝2时，即当前获取的帧图像为第二帧图像，则根据第t-1帧图像，也就是第一帧图像，计算第二帧图像对应的对齐图像。在本实施例的第一种实施方式中，可采用常规的单应性矩阵、随机抽样一致算法等，以所述第二帧图像为目标，对所述第一帧图像进行修正，从而生成与所述第二帧图像对应的对齐图像。
60.进一步地，在本实施例的第二种实施方式中，采用光流算法，计算两个帧图像之间的光流值，从而对所述第一帧图像进行矫正，生成与所述第二帧图像对应的对齐图像，步骤s20包括：
61.步骤s21，计算所述视频文件中的第t-1帧图像和第t帧图像的光流值，生成运动矢量。
62.光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
63.目前常见的光流估计算法有微分法、基于匹配的光流估计方法、基于相位的光流估计方法、神经动力学方法等。除了根据原理的不同来区分光流法外，还可以根据所形成的光流场中二维矢量的疏密程度将光流法分为稠密光流与稀疏光流两种。
64.进一步地，当所述视频文件是针对运动场景拍摄时，帧图像之间会存在较大的位移，因此本实施例采用基于图像金字塔的光流值计算方法，具体包括：
65.步骤s211，根据预设的拆分规则，分别对所述第t-1帧图像和所述第t帧图像进行拆分，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔。
66.具体地，基于图像金字塔计算光流值的算法所使用的金字塔一般为高斯金字塔和拉普拉斯金字塔。因此，本实施例中的拆分规则为将所述输入的图像作为原始图像，通过采样的方式对所述原始图像进行拆分，生成高斯金字塔和拉普拉斯金字塔的过程。
67.所述高斯金字塔是通过高斯平滑和亚采样获得一些列下采样图像，高斯金字塔包含了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐增加。所述拆分规则中预先设置采样次数，将输入的第t-1帧图像作为原始图像y0图像，然后对所述y0图像进行下采样，生成规格更小的图像，命名为y1。再对所述y1进行下采样，生成规格更小的图像y2，重复下采样，直至次数与所述采样次数相等。由于经过下采样，图像越来越小，最后所有的图像按照规格排列，可形成一个金字塔形状，采用预设的低通滤波器对所述金字塔形状的图集进行滤波，即可生成所述高斯金字塔。下采样的方式多种，例如删除偶数行和偶数列，删除固定行数等等方式实现，在此不一一描述。
68.拉普拉斯金字塔可以认为是残差金字塔，用于存储下采样后图像，也就是上述高斯金字塔中的图像，与原始图像之间的差异。如果高斯金字塔中任意一张图像yi先进行下采样得到图像y
down
，再进行上采样得到图像y
up
，由于上采样无法完全还原原有的图像信息，因此y
up
与y
down
之间是存在差异。为了将y
down
完整还原图像yi，需要记录y
up
与yi之间的差异，这就是拉普拉斯金字塔。因此前文中构建的高斯金字塔的每一层，都在拉普拉斯金字塔中找到对应的层。
69.采用上文的方式，将所述第t-1帧图像和所述第t帧图像，即所述第一帧图像和所述第二帧图像进行拆分，即可生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔，其中，所述第一金字塔中包括第一高斯金字塔和第一拉普拉斯金字塔，所述第二金字塔中包括第二高斯金字塔和第二拉普拉斯金字塔。
70.进一步地，光流法成立的前提条件是亮度恒定不变，且时间连续或运动是“小运动”。由于视频帧与视频帧之间的时间间隔非常短，因此也可视为两图像的时间连续。符合光流法的成立条件，为保证帧图像之间不会由于亮度变化而影响光流计算，本实施例在创
建金字塔时，会将所述第一帧图像和所述第二帧图像转为灰度图像，具体包括：
71.分别对所述第t-1帧图像和所述第t帧图像进行yvu通道分离，生成所述第t-1帧图像对应的第一y分量、第一u分量和第一v分量，以及所述第t帧图像的第二y分量、第二u分量和第二v分量；
72.根据预设的金字塔规则，分别对所述第一y分量和所述第二y分量进行下采样，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔。
73.具体地，yuv是一种颜色编码方法，主要用于电视系统以及模拟视频领域，“y”表示明亮度(luminance或luma)，也就是灰度值；而“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。通过对图像的yvu通道分离，可生成该图像对应的y分量、u分量和v分量，而其中，y分量即该图像对应的灰度图像，而u、v分量保留了图像的色彩，因此相较于常规的将图像转灰度的方式，对其进行通道的拆分，也有利于后续快速将不同的分量合并融合为一张图像。由于图像格式之间可以通过公式转换，因此若所述视频文件中的帧图像原始格式为rgb格式或其他格式，可先通过公式，对各个帧图像进行转换，生成yuv格式在进行视频降噪。yuv的存储格式有两种，一种是每一个像素点的y分量独立保存，连续几个点的u、v分量一起保存，另一种是一副图像中的y、u、v分量分别用三个独立的数组保存，无论哪一种，都有现有的技术对其进行通道分离，生成三个分量。因此，分别对所述第一帧图像和所述第二帧图像进行yvu通道分离，生成所述第一帧图像对应的第一y分量、第一u分量和第一v分量，以及所述第二帧图像的第二y分量、第二u分量和第二v分量。
74.然后基于所述第一帧图像和所述第二帧图像的y分量，也就是两者对应的灰度图像，采用预先设置包含高斯金字塔和拉普拉斯金字塔的生成规则的金字塔规则，对所述第一y分量和所述第二y分量进行下采样，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔。
75.步骤s212，计算所述第一金字塔中的第一顶层图像和所述第二金字塔中的第二顶层之间的第一光流值。
76.具体地，从所述第一金字塔中的第一顶层图像和所述第二金字塔中的第二顶层，也就是分辨率最小的那一层开始，通过最小化每个点领域范围内的匹配误差和，得到每个顶层图像中每个点的光流。该步骤主要是求解构建金字塔过程中的残差函数，也就是上述拉普拉斯金字塔的构建过程，因此不再赘述。本实施例中计算所述第一光流值的方法是lk(lucas
–
kanade)光流算法，此为常规算法，在此就不进行详细描述。
77.步骤s213，根据所述第一光流值，计算所述第一金字塔和所述第二金字塔中最底层图像之间的第二光流值，并将所述第二光流值作为所述第t-1帧图像和所述第t帧图像之间的运动矢量。
78.具体地，假设图像的尺寸每次缩放为原来的一半，一共缩放了l层，则第0层为原始图像，设已知原图的位移为d,则第一光流值可以表示为d
l
＝d/2
l
，所以根据顶层的第一光流值可回溯到l-1层，逐步沿着金字塔向下计算，重复估计每一层的光流值，直到最底层也就是原始图像每一个像素点的估计值。由于每一层的光流值的真实值等于估计值与残差之和，因此对于每一层，每个像素点的光流值都是基于邻域内所有像素点的匹配误差和最小化得到的，因此无线接近于真实值。由于所述第二光流值是根据第一帧图像得到第二帧图
像得到的，因此，所述第二光流值存在方向性，以所述金字塔对应的坐标系为标定，将所述第二光流值作为所述第t-1帧图像和所述第t帧图像之间的运动矢量。
79.进一步地，为提高光流值的计算速率，减少视频降噪的时间，本实施例采用稠密逆搜索光流算法(dense inverse search-basedmethod，dis)进行光流值计算。dis算法包括：
80.计算所述第一顶层图像和所述第二顶层图像对应的块状积分图；
81.对所述块状积分图进行逆向搜索求解，生成所述第一顶层图像和所述第二顶层图像对应的第一稀疏光流值；
82.根据所述第一稀疏光流值，计算所述第一顶层图像和所述第二顶层图像对应的第一稠密光流值。
83.具体地，首先对所述第一金字塔的第一顶层图像和所述第二金字塔的第二顶层图像进行拆分和卷积，生成块状积分图。然后将块状积分图作为输入值，逆向搜索得到稀疏光流场。这一步骤中，不再将每一个像素点作为计算对象，而是将每一个块状积分图作为计算对象，从而得到稀疏的光流值，即第一稀疏光流值。由上可知，在进行光流值计算时，需要取得最小的残差值，因此需要进行多次求解一阶导数和二阶导数，而在dis算法中，仅需要进行一次一阶导数和二阶导数的求解，因此相较于以往算法速率更快。然后将将所述块状积分图中的每一个像素点作为计算对象，在所述第一稀疏光流值的基础上，计算对应的第一稠密光流值。再采用步骤s213中的迭代过程，根据所述第一稀疏光流值和所述第一稠密光流值，计算所述第一金字塔和所述第二金字塔的其他层的光流值，最后得到最底层图像之间的第二光流值。
84.dis算法最大的优点在于运算速度的提升。dis光流算法在opencv 4.0中被集成到video模块中，因此可方便快捷调用。整个过程可用公式(f
x
，fy)＝i
dis
(g
t-1
，g
t
)表示，其中，(f
x
，fy)为所述第二光流值，即所述运动矢量，f
x
为所述第一金字塔或所述第二金字塔对应的坐标系的横轴上的运动值，fy所述为所述第一金字塔或所述第二金字塔对应的坐标系的纵轴上的运动值，i
dis
为所述dis光流算法的函数表示，g
t-1
为所述第一金字塔，g
t
为所述第二金字塔。在此基础上，可实现对视频文件的实时处理。
85.步骤s22，根据所述运动矢量，计算所述第t帧图像对应的对齐图像。
86.得到所述第一帧图像和所述第二帧图像之间的运动矢量后，可根据所述运动矢量，对所述第一帧图像进行矫正，从而生成所述对齐图像。矫正方式可以是根据所述运动矢量，对所述第t帧图像中的每一个像素点进行坐标偏移，从而生成所述第t帧图像对应的对齐图像。
87.进一步地，由于在本实施例实现的一种实现方式中，所述视频文件中的各个图像都是yuv格式的图像，因此步骤s22具体包括：
88.根据所述运动矢量，对所述第一金字塔进行矫正，生成所述第三y分量；
89.根据所述运动矢量，对所述第一u分量进行矫正，生成所述第三u分量；
90.根据所述运动矢量，对所述第一v分量进行矫正，生成所述第三v分量。
91.具体地，根据所述运动矢量，对所述第一帧图像对应的第一金字塔中的高斯金字塔中的各个像素进行重映射，从而对所述第一金字塔进行矫正，从而生成对应的一个灰度图像集，作为所述对齐图像的第三y分量，可用公式l
ay
＝r(g
t-1
，f
x
，fy)表示，其中，l
ay
为第三y分量，r()表示重映射，g
t-1
表示所述第t-1帧图像对应的第一金字塔，f
x
和fy为所述运动矢
量。采用同样的方式，根据所述运动矢量，分别对所述第一u分量和所述第一v分量进行矫正，生成第三u分量和第三v分量，可分别用公式l
au
＝r(u
t-1
，f
x
，fy)和公式l
av
＝r(v
t-1
，f
x
，fy)表示，其中，所述l
au
为所述第三u分量，所述u
t-1
为所述第一u分量，所述v
t-1
为所述第一v分量，所述l
av
为所述第三v分量。由于一个图像可拆分为y分量、u分量和v分量，因此，y分量、u分量及v分量也可表示为一个图像，本实施例中，所述对齐图像包括第三y分量、第三u分量和第三v分量，因此，得到所述三y分量、所述第三u分量和所述第三v分量后，即生成所述对齐图像。
92.步骤s30，根据所述第t-1帧图像和所述对齐图像，计算所述第t帧图像中各个像素点为噪声像素的概率值。
93.具体地，在本实施例的第一个实时方案中，根据前一帧图像和后一帧图像之间的差值，可初步确定后者的噪声值，先计算所述第一帧图像和所述第二帧图像之间的差值，可得到初始噪声值。由于所述对齐图像为根据所述第一帧图像和所述第二帧图像之间的运动矢量得到的，因此所述对齐图像可视为所述第一帧图像对应的理想图像，因此根据所述对齐图像，可筛选所述第二帧图像中像素便宜较大的像素点，并将这些像素点作为噪声像素，在所述初始噪声值的基础上，结合所述第二帧图像中的噪声像素，可得到所述第二帧图像真正的噪声值。
94.进一步地，为更加精确地计算所述第t帧图像中各个像素点为噪声像素的概率值，步骤s30包括：
95.步骤s31，计算所述第t-1帧图像和所述第t帧图像中各个像素的平均值，生成平均帧图像。
96.具体地，根据公式fm＝(f
t-1
+f
t
)/2，先计算所述第一帧图像和所述第二帧图像中各个像素的平均值，其中，所述fm为平均帧的像素值，所述f
t-1
为所述第t-1帧图像的像素值，所述f
t
为所述第t帧图像的像素值。
97.步骤s32，根据所述平均帧图像，计算所述第t帧图像对应的差异值。
98.具体地，两个数据之间的差异值可以用差值的平方、两者之差的绝对值等方式计算，本实施例优选采用两者之差的平方计算，公式可表示为f
diff
＝(f
t-fm)2，其中，所述f
diff
即所述差异值。
99.步骤s33，根据所述差异值和所述对齐图像，计算所述第t帧图像中各个像素为噪声像素的概率值。
100.具体地，所述视频文件若是拍摄移动的物体，那么所述第一帧图像和所述第二帧图像中必然会出现第二光流值较大的像素，这些像素并非噪声，因此不需要对其进行降噪等处理，因此为避免将这些像素纳入降噪像素中，需要对其进行排除，常规的排除方法可以是设置一个阈值，对所述第二光流值进行大小的判断，超过该值则认为该像素点不是噪声像素。此方法过于粗暴，过渡性较差，因此本实施例采用的方式是设置激活函数的方式，以常见的激活函数sigmoid函数为例，激活函数是将所有的变量映射到0和1之间，是一种非线性作用函数，对输入值超过一定范围不敏感。将所述第二帧图像与所述对齐图像之间的差异以及所述第二帧图像对应的差异值作为输入值输入预设的激活函数中，根据输出的结果，即可得到该像素点归为噪声像素的概率值。本实施例采用的公式为
其中，w
noise
为所述概率值，e为自然指数。
101.步骤s40，根据所述概率值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像。
102.具体地，确定所述第二帧图像中的每一个像素点为噪声像素的概率值，而所述对齐图像和所述第t帧图像的规格相同，因此每一个像素坐标，在两者中都有对应的像素值。可根据所述概率值，对所述第t帧图像和所述对齐图像进行像素融合，例如设置一个概率阈值，80％，若同一坐标对应的像素点对应的概率值为90％，则将所述对齐图像中的像素值作为正确像素值；若该像素点对应的概率值为10％，则将所述第t帧图像中的像素值作为正确像素值。遍历所述第t帧图像中的每一个像素点，重复上述确定正确像素值的步骤，最后根据所有正确像素值，生成所述第t帧图像对应的第t降噪帧图像。
103.进一步地，步骤s40包括：
104.步骤s41，根据所述概率值，确定所述第t帧图像对应的第一权重值和所述对齐图像对应的第二权重值。
105.在本实施例的第二个实现方式中，先根据所述概率值，计算所述第t帧图像对应的第一权重值和所述对齐图像对应的第二权重值，其中，所述第一权重值等于所述概率值，即第一权重值w1＝w
noise
；所述第二权重值等于一与所述概率值的差值，即第二权重值w2＝1-w
noise
。
106.步骤s42，根据所述第一权重值和所述第二权重值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像。
107.具体地，对某一固定坐标值的像素点，先计算所述第t帧图像中对应的像素值与所述第一权重值的第一乘积，以及所述对齐图像中对应的像素值与所述第二权重值的第二乘积，再将所述第一乘积和所述第二乘积进行相加，从而完成对该像素点的融合，公式可为o＝la*w2+w1*f
t
，所述la为所述对齐图像的像素值，所述o为所述第t降噪帧图像。遍历所述第t帧图像中的各个像素点，执行该公式，即可实现对对所述第t帧图像和所述对齐图像的融合，生成所述第t帧图像对应的第t降噪帧图像。
108.进一步地，为进一步提高降噪的效果，本实施例中在进行融合时，还会进行滤波操作，步骤s42包括：
109.步骤s421，所述第一权重值和所述第二权重值，分别对所述第二y分量和所述第三y分量、所述第二u分量和所述第三u分量、所述第二v分量与所述第三v分量进行融合，生成第四y分量、第四u分量和第四v分量。
110.具体地，先分别对所述第二帧图像和所述对齐图像的y分量、u分量和v分量进行融合操作，可采用上述分别与权重值乘积后相加的方式，分别生成第四y分量、第四u分量和第四v分量，公式可为：
111.oy＝l
ay
*w2+w1*g
t
；
112.ou＝l
au
*w2+w1*u
t
；
113.ov＝l
av
*w2+w1*v
t
。
114.其中，所述oy为进行融合后的第四y分量，ou为进行融合后的第四u分量，所述ov为
进行融合后的第四v分量，u
t
为所述第二u分量，v
t
为所述第二v分量，w1为所述第一权重值，w2为所述第二权重值。
115.步骤s422，根据预设的双边滤波器，对所述第四y分量进行滤波，生成第五y分量，其中，所述双边滤波器不包括空间域核。
116.具体地，双边滤波中的核函数包括空间域核和像素范围域核，在图像中像素值变化小的区域，像素范围域权重接近一，空间域核起到相当于高斯模糊的作用；在图像边缘区域，像素值变化大的区域，空间域权重接近一，像素范围域权重变大，从而保证了边缘的细节。而在本实施例中，y分量是灰度图，空间域核的存在可能会丢失细节，因此对所述第四y分量滤波采用的是去除空间域核的双边滤波器，生成第五y分量。
117.步骤s423，根据预设的非线性滤波器，对所述第四u分量和第四v分量进行滤波，生成第五u分量和第五v分量。
118.具体地，针对较为顽固的噪声，例如椒盐噪声，常规的线性滤波智能将其压低，而无法消除，此时需要采用非线性滤波器。非线性滤波器包括有中值滤波等。本实施例以中值滤波进行说明，中值滤波能将领域窗里面的所有像素进行排序取得中位数来代表该窗口中心的像素值，对椒盐噪声和脉冲噪声有较强的降噪效果，同时又能保留边缘细节。为更好地处理细节，本实施例中所述中值滤波器采用的领域窗为3*3大小的小领域窗。
119.步骤s424，将所述第五y分量、所述第五u分量和所述第五v分量进行融合，生成所述第t帧图像对应的第t降噪帧图像。
120.具体地，最后将所述第五y分量、所述第五u分量和所述第五v分量进行打包，从而融合成一张图像，即所述第二帧图像对应的第二降噪帧图像。
121.进一步地，在处理第一帧图像后，重复执行步骤s10-s40，直至完成对视频文件中的所有帧图像的降噪，最后输出降噪视频。若直接对原始的视频文件中的各个帧图像进行上述操作，噪声可能存在累积，因此，在本实施例中，参阅图3，步骤s40之后还包括：
122.将所述第t降噪帧图像替换所述视频文件中的第t帧图像；
123.对替换后的视频文件递归循环所述步骤s10-步骤s40，直至t等于所述视频文件中的帧图像的数量，生成降噪视频并输出。
124.具体地，先将所述第一降噪帧图像替换所述视频文件中的第一帧图像，然后将替换后的视频文件作为待处理的视频文件，递归循环指不断累加t的值，当前t＝1，替换后，将t赋值为2，并循环步骤s10-步骤s40，得到第二降噪帧图像，再将所述第三帧降噪图像替换所述视频文件中的第三帧图像，直至处理完所有帧图像，最终得到降噪后的视频。
125.进一步地，如图4所示，基于上述视频降噪方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图4仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
126.所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还
可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有视频降噪方法程序40，该视频降噪方法程序40可被处理器10所执行，从而实现本技术中视频降噪方法。
127.所述处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述视频降噪方法等。
128.所述显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
129.在一实施例中，当处理器10执行所述存储器20中视频降噪方法程序40时实现以下步骤：
130.获取待处理的视频文件中的第t帧图像，其中，t为大于零且小于等于所述视频文件中帧图像的数量的自然数；
131.当t大于等于2时，根据所述视频文件中的第t-1帧图像，计算所述视频文件中的第t帧图像对应的对齐图像；
132.根据所述第t-1帧图像和所述对齐图像，计算所述第t帧图像中各个像素点为噪声像素的概率值；
133.根据所述概率值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像。
134.可选地，所述的视频降噪方法，其中，当t等于1时，根据预设的预滤波器，对所述第t帧图像进行滤波，生成所述第t帧图像对应的第t降噪帧图像。
135.可选地，所述的视频降噪方法，其中，所述当t大于等于2时，根据所述视频文件中的第t-1帧图像，计算所述视频文件中的第t帧图像对应的对齐图像，具体包括：
136.计算所述视频文件中的第t-1帧图像和第t帧图像的光流值，生成运动矢量；
137.根据所述运动矢量，计算所述第t帧图像对应的对齐图像。
138.可选地，所述的视频降噪方法，其中，所述计算所述视频文件中的第t-1帧图像和第t帧图像的光流值，生成运动矢量，具体包括：
139.根据预设的拆分规则，分别对所述第t-1帧图像和所述第t帧图像进行拆分，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔；
140.计算所述第一金字塔中的第一顶层图像和所述第二金字塔中的第二顶层之间的第一光流值；
141.根据所述第一光流值，计算所述第一金字塔和所述第二金字塔中最底层图像之间的第二光流值，并将所述第二光流值作为所述第t-1帧图像和所述第t帧图像之间的运动矢量。
142.可选地，所述的视频降噪方法，其中，所述拆分规则包括高斯金字塔拆分规则和拉普拉斯金字塔拆分规则。
143.可选地，所述的视频降噪方法，其中，所述第一光流值包括第一稀疏光流值和第一稠密光流值，所述计算所述第一金字塔中的第一顶层图像和所述第二金字塔中的第二顶层
之间的第一光流值，具体包括：
144.计算所述第一顶层图像和所述第二顶层图像对应的块状积分图；
145.对所述块状积分图进行逆向搜索求解，生成所述第一顶层图像和所述第二顶层图像对应的第一稀疏光流值；
146.根据所述第一稀疏光流值，计算所述第一顶层图像和所述第二顶层图像对应的第一稠密光流值。
147.可选地，所述的视频降噪方法，其中，所述根据预设拆分规则，分别对所述第t-1帧图像和所述第t帧图像进行拆分，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔，具体包括：
148.分别对所述第t-1帧图像和所述第t帧图像进行yvu通道分离，生成所述第t-1帧图像对应的第一y分量、第一u分量和第一v分量，以及所述第t帧图像的第二y分量、第二u分量和第二v分量；
149.根据预设的金字塔规则，分别对所述第一y分量和所述第二y分量进行下采样，生成所述第t-1帧图像对应的第一金字塔和所述第t帧图像对应的第二金字塔。
150.可选地，所述的视频降噪方法，其中，所述对齐图像包括第三y分量、第三u分量和第三v分量；所述根据所述运动矢量，计算所述第t帧图像对应的对齐图像，具体包括：
151.根据所述运动矢量，对所述第一金字塔进行矫正，生成所述第三y分量；
152.根据所述运动矢量，对所述第一u分量进行矫正，生成所述第三u分量；
153.根据所述运动矢量，对所述第一v分量进行矫正，生成所述第三v分量。
154.可选地，所述的视频降噪方法，其中，所述根据所述第t-1帧图像和所述对齐图像，计算所述第t帧图像中各个像素点为噪声像素的概率值，具体包括：
155.计算所述第t-1帧图像和所述第t帧图像中各个像素的平均值，生成平均帧图像；
156.根据所述平均帧图像，计算所述第t帧图像对应的差异值；
157.根据所述差异值和所述对齐图像，计算所述第t帧图像中各个像素为噪声像素的概率值。
158.可选地，所述的视频降噪方法，其中，所述根据所述概率值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像，具体包括：
159.根据所述概率值，确定所述第t帧图像对应的第一权重值和所述对齐图像对应的第二权重值；
160.根据所述第一权重值和所述第二权重值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像。
161.可选地，所述的视频降噪方法，其中，所述根据所述第一权重值和所述第二权重值，对所述第t帧图像和所述对齐图像进行融合，生成所述第t帧图像对应的第t降噪帧图像，具体包括：
162.根据所述第一权重值和所述第二权重值，分别对所述第二y分量和所述第三y分量、所述第二u分量和所述第三u分量、所述第二v分量与所述第三v分量进行融合，分别生成第四y分量、第四u分量和第四v分量；
163.根据预设的双边滤波器，对所述第四y分量进行滤波，生成第五y分量，其中，所述双边滤波器不包括空间域核；
164.根据预设的非线性滤波器，对所述第四u分量和第四v分量进行滤波，生成第五u分量和第五v分量；
165.将所述第五y分量、所述第五u分量和所述第五v分量进行融合，生成所述第t帧图像对应的第t降噪帧图像。
166.可选地，所述的视频降噪方法，其中，所述视频降噪方法，还包括：
167.将所述第t降噪帧图像替换所述视频文件中的第t帧图像；
168.对替换后的视频文件递归循环所述图像降噪，直至t等于所述视频文件中的帧图像的数量，生成降噪视频并输出。
169.本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有视频降噪方法程序，所述视频降噪方法程序被处理器执行时实现如上所述的视频降噪方法的步骤。
170.当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
171.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。