视频图像降噪方法、装置及计算机可读存储介质与流程
本发明涉及图像降噪领域，尤其涉及一种视频图像降噪方法、装置及计算机可读存储介质。
背景技术：
随着在人们的日常生活中数字视频技术的使用范围越来越广泛，视频图像降噪技术的需求也越来越迫切。视频图像中噪声通常是指存在于视频图像里不需要的或不想要的元素或伪影。噪声的来源很多，例如，硬件产生散粒噪声，视频拍摄环境噪声，信道噪声等。噪声的存在不仅降低了视频的可视质量，而且降低了媒体文件的可压缩性。视频去噪的目的是尽可能准确地估计真实的图像信号，增强其视觉效果和可压缩性。
在目前存在的视频图像降噪方法当中，有一些是直接从图像降噪方法中扩展过来的，如空域滤波方法、小波方法等方法[1-2]。这些方法由于没有考虑到时空维度上分辨率及连续性的不同，易产生运动模糊和伪影。鉴于此，一些算法在空间滤波之前使用了运动补偿方法[3-4]。另外，还有一些基于统计的方法，如基于贝叶斯的方法来进行去噪[5]。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
技术实现要素：
本发明的主要目的在于提供一种视频图像降噪方法，旨在解决的视频降噪时不能准确估计真实信号图像造成降噪效率低下的技术问题。
为实现上述目的，本发明提供一种视频图像降噪方法，包括以下内容：
获取目标视频，对所述目标视频的帧图像进行图像块匹配；
提取所述图像块与对应的匹配图像块同一位置的像素点，计算所述像素点之间的欧氏距离；
在所述欧氏距离大于预设阈值时，获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值；
通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪。
优选地，所述获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值的步骤，还包括：
将计算到的所述结构张量代入预设自适应结构核计算所述像素点所在图像块的结构权值。
优选地，，所述通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪的步骤之前，还包括：
计算所述欧氏距离与所述预设阈值的差值，在所述差值大于目标阈值时，确定所述像素点所在的图像块为异常图像块，提交异常图像块提示信息；
在接收到基于所述提示信息触发的异常块的处理完成指令时，执行获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值的步骤。
优选地，所述获取目标视频，对所述目标视频的帧图像进行图像块匹配的步骤，还包括：
将获取到的所述目标视频的各帧图像分别切割成预设尺寸的图像块；
分别获取各个所述图像块对应的搜索坐标信息；
根据所述搜索坐标信息获取各个所述图像块在其他各帧图像中对应的匹配图像块。
优选地，所述根据所述坐标信息获取各个所述图像块在其他各帧图像中对应的匹配图像块的步骤，还包括：
分别计算所述图像块与在所述搜索坐标信息中搜索到的各图像块之间的欧氏距离；
比对计算到的所述欧氏距离，并确认所述欧氏距离最小的图像块为所述图像块对应的匹配图像块。
优选地，所述获取各个所述图像块对应的搜索坐标信息的步骤，还包括：
分别计算各所述图像块所在帧图像与前后帧图像中图像块之间的欧氏距离，并将所述欧氏距离最小的对应图像块确认为各所述图像块的模糊匹配图像块；
确认各所述图像块与对应所述模糊匹配图像块之间的坐标差为所述图像块对应的搜索坐标信息。
此外，为实现上述目的，本发明还提供一种视频图像降噪装置，所述视频图像降噪装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述视频图像降噪方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频图像降噪程序，所述视频图像降噪程序被处理器执行时实现如上所述视频图像降噪方法的步骤。
本发明实施例提出的一种视频图像降噪方法，通过获取目标视频，对所述目标视频的帧图像进行图像块匹配；提取所述图像块与对应的匹配图像块同一位置的像素点，计算所述像素点之间的欧氏距离；在所述欧氏距离大于预设阈值时，获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值；通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪。通过欧氏距离确定帧图像的异常情况并对异常帧图像进行降噪，实现了提高降噪效率的有益效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本发明视频图像降噪方法第一实施例的流程示意图；
图3为图2中步骤s10的细化流程示意图；
图4为每个重叠块所包含像素点的示意图；
图5为根据像素点的对应初始匹配位置。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取目标视频，对所述目标视频的帧图像进行图像块匹配；提取所述图像块与对应的匹配图像块同一位置的像素点，计算所述像素点之间的欧氏距离；在所述欧氏距离大于预设阈值时，获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值；通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪。
由于现有技术视频中的噪声会造成视频的可视质量低下，且噪声存在会造成媒体文件的可压缩性。
本发明提供一种解决方案，通过将视频噪声精心自适应加权滤波去噪实现了提高视频可视质量的有益效果。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是pc，也可以是智能手机、平板电脑、电子书阅读器，便携计算机等具有显示功能的可移动式或不可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频图像降噪程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频图像降噪程序，并执行以下操作：
获取目标视频，对所述目标视频的帧图像进行图像块匹配；
提取所述图像块与对应的匹配图像块同一位置的像素点，计算所述像素点之间的欧氏距离；
在所述欧氏距离大于预设阈值时，获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值；
通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪。
进一步地，处理器1001可以调用存储器1005中存储的视频图像降噪程序，还执行以下操作：
将计算到的所述结构张量代入预设自适应结构核计算所述像素点所在图像块的结构权值。
进一步地，处理器1001可以调用存储器1005中存储的视频图像降噪程序，还执行以下操作：
计算所述欧氏距离与所述预设阈值的差值，在所述差值大于目标阈值时，确定所述像素点所在的图像块为异常图像块，提交异常图像块提示信息；
在接收到基于所述提示信息触发的异常块的处理完成指令时，执行获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值的步骤。
进一步地，处理器1001可以调用存储器1005中存储的视频图像降噪程序，还执行以下操作：
将获取到的所述目标视频的各帧图像分别切割成预设尺寸的图像块；
分别获取各个所述图像块对应的搜索坐标信息；
根据所述搜索坐标信息获取各个所述图像块在其他各帧图像中对应的匹配图像块。
进一步地，处理器1001可以调用存储器1005中存储的视频图像降噪程序，还执行以下操作：
分别计算所述图像块与在所述搜索坐标信息中搜索到的各图像块之间的欧氏距离；
比对计算到的所述欧氏距离，并确认所述欧氏距离最小的图像块为所述图像块对应的匹配图像块。
进一步地，处理器1001可以调用存储器1005中存储的视频图像降噪程序，还执行以下操作：
分别计算各所述图像块所在帧图像与前后帧图像中图像块之间的欧氏距离，并将所述欧氏距离最小的对应图像块确认为各所述图像块的模糊匹配图像块；
确认各所述图像块与对应所述模糊匹配图像块之间的坐标差为所述图像块对应的搜索坐标信息。
参照图2，图2为本发明视频图像降噪方法第一实施例的流程示意图，所述视频图像降噪方法包括：
步骤s10，获取目标视频，对所述目标视频的帧图像进行图像块匹配；
获取有降噪需求的目标视频，根据所述目标视频，将所述目标视频中的各帧图像进行图像块匹配操作，所述图像块匹配操作，为基于目标视频中某一帧图像中的某一图像块，获取除所述当前帧图像之外的其他帧图像中与所述图像块匹配的对应图像块。用以实现帧图像降噪的操作。而所述目标视频，来源于对应的视频传输来源，包括电视终端、电脑等具备视频传输及播放功能的相关设备。
步骤s20，提取所述图像块与对应的匹配图像块同一位置的像素点，计算所述像素点之间的欧氏距离；
步骤s30，在所述欧氏距离大于预设阈值时，获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值；
步骤s40，通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪。
在确认当前在执行视频帧图像在执行帧间块匹配的操作时，根据当前进行块匹配的帧图像，在所述帧图像的对应图像块中，选取同一位置的像素点，根据提取到的所述像素点，计算对应的欧氏距离。假设i(m,n)和i′(m,n)分别是任意两个区块上位置为(m,n)的像素点的颜色值，它们之间的欧氏距离d(m,n)可以通过下式计算：d(m,n)＝(i(m,n)-i′(m,n))2；根据已计算到的所述欧氏距离d(m,n)，将所述欧氏距离d(m,n)与预设阈值比对，确认所述像素点是否存在异常。
根据已计算到的所述欧氏距离，在确认所述欧氏距离大于所述预设阈值时，确认所述像素点异常。其中，所述预设阈值的计算公式为μ+κ*σ，其中，n表示块的尺寸大小。另外，所述预设数值需预先计算的所述图像块的块均值μ及块方差值σ2的，在所述欧氏距离满足预设数值条件时，确认所述欧氏距离异常。所述块均值μ及块方差值σ2的计算公式为：
根据当前已出现异常像素点的图像，对所述异常像素点进行自适应加权滤波操作，属于同一结构类型的像素点之间的权值较大，反之则权值较小，这样就可以保证在滤波过程中不同类型的结构信息不会互相干扰，从而可以有效保护这些结构信息。其中，在对像素点进行自适应加权滤波操作为对当前帧图像的每个像素点进行自适应加权滤波操作，已达到降噪目的。其中，在对所述图像像素点进行降噪过程时，第t帧位于xi的像素点的降噪过程可以表示如下
其中ωij表示颜色权值，它表示当前像素点与所有匹配块内第j个像素点yj之间的颜色相似度，计算方法如下：
其中dij表示这两个像素点颜色信息之间的欧氏距离，σp是控制因子。j表示所有匹配块内的像素点的数量总和。
为了更好地保护图像中边缘、纹理等结构信息，引入结构权值进行降噪，其具体应用中，kij表示结构权值，通过自适应结构核函数计算得到所述结构权值，计算方法如下：
如上所述，即所述对所述像素点对应的图像块进行自适应加权滤波，以对所述图像块进行降噪的步骤，还包括：
将计算到的所述结构张量代入预设自适应结构核计算所述像素点所在图像块的结构权值。
根据上述计算结构权值的表达式，其中t表示当前像素点所在邻域内的结构张量(structuretensor)，它可以很好地表达该邻域的结构信息(例如边缘、细节、平滑区域等)，结构张量的定义如下[8]，
其中gxx，gxy，gyx和gyy分别表示不同方向上的梯度信息，可以通过下列计算方式得到，
gxx＝gx*(gx*i)
gxy＝gy*(gx*i)
gyx＝gx*(gy*i)
gyy＝gy*(gy*i)
其中*表示卷积操作。gx和gy分别表示沿x方向的梯度算子和沿y轴方向的梯度算子。其中，所述梯度算子采用scharr梯度算子，具备良好的旋转特性和鲁棒性，所述梯度算子的表达式如下：
进一步的，所述通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪的步骤之前，还包括：
计算所述欧氏距离与所述预设阈值的差值，在所述差值大于目标阈值时，确定所述像素点所在的图像块为异常图像块，提交异常图像块提示信息；
在接收到基于所述提示信息触发的异常块的处理完成指令时，执行获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值的步骤。
根据已计算出来的所述像素点的欧氏距离，在所述欧氏距离大于所述预设数值时，即所述像素点已存在像素点异常时，计算所述欧氏距离与所述预设数值的差值，用以确定所述像素点的异常程度。如此，在计算到所述欧氏距离与所述预设数值的差值大于预设阈值时，确定所述异常像素点的异常已达到了不能降噪的程度时，确定所述异常像素点所在的图像块为异常块。提交所述异常块所在帧图像的异常提示信息，用以对所述异常帧图像进行处理，并在处理完成后重新进行执行所述帧图像中图像块的自适应加权滤波对所述图像块进行降噪的操作。另外，在处理所述异常块时，也可将所述异常块舍弃，并将舍弃后的所述异常块所在的帧图像的其他所述图像块进行降噪操作。其舍弃异常图像块操作，为现有视频帧图像中舍弃异常像素块的步骤，在此不多赘述。
在本实施例中，在进行图像匹配的过程中，根据计算到的所述像素点图像的欧氏距离，确认当前匹配图像中是否出现了图像像素异常的情况，并基于已出现的像素异常对所述像素所在的图像进行自适应加权滤波操作，以修正所述像素图像的边缘和纹理的结构图像，实现了图像降噪效率的有益效果。
进一步的，参照图3，图3为图2中步骤s10的细化步骤示意图，所述获取目标视频，对所述目标视频的帧图像进行图像块匹配的步骤，还包括：
步骤s11，将获取到的所述目标视频的各帧图像分别切割成预设尺寸的图像块；
将每帧图像切分成尺寸为s×s非重叠块(non-overlappingblocks),即每个非重叠块包含s×s个像素点，如图5所示。s的取值可以由用户根据输入图像的分辩率设定，通常取值为64。
步骤s12，分别获取各个所述图像块对应的搜索坐标信息；
步骤s13，根据所述搜索坐标信息获取各个所述图像块在其他各帧图像中对应的匹配图像块。
另外，所述获取各个所述图像块对应的搜索坐标信息的步骤，还包括：
分别计算各所述图像块所在帧图像与前后帧图像中图像块之间的欧氏距离，并将所述欧氏距离最小的对应图像块确认为各所述图像块的模糊匹配图像块；
确认各所述图像块与对应所述模糊匹配图像块之间的坐标差为所述图像块对应的搜索坐标信息。
通过全局搜索的方式找出当前帧图像中每个非重叠块在前后帧图像中相对应的匹配块。假设当前帧(第t帧)图像中第i个非重叠块为
根据计算到的所述欧氏距离，欧氏距离越小匹配程度越高。通过全局搜索我们可以找到与
根据当前帧图像中的每个像素点所在区块在前后帧图像中的匹配块。我们定义p(t)(xi)为当前帧(第t帧)位于第i个非重叠块内的以坐标位置为xi像素点为中心的区块，如图4所示它的尺寸为s′×s′，s′通常取值为9或者11。通过第一阶段粗略匹配得到的粗匹配向量，我们可以计算得到该块在第t′帧图像中的初始匹配位置，xj＝xi+vi如图4所示。
假设局部精确搜索坐标为r，将其限制在一个较小的范围内，可以得到精确匹配位置，计算过程为x′j＝xi+vi+r,r∈[0,r]。
假设p(t′)(x′j)表示第t′帧以坐标位置x′j像素点为中心的区块，它的尺寸也是s′×s′，如图5所示。通过计算它们之间欧氏距离，
可以很快找到p(t)(xi)最佳匹配块，
分别计算所述图像块与在所述搜索坐标信息中搜索到的各图像块之间的欧氏距离；
比对计算到的所述欧氏距离，并确认所述欧氏距离最小的图像块为所述图像块对应的匹配图像块。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频图像降噪程序，所述视频图像降噪程序被处理器执行时实现如下操作：
获取目标视频，对所述目标视频的帧图像进行图像块匹配；
提取所述图像块与对应的匹配图像块同一位置的像素点，计算所述像素点之间的欧氏距离；
在所述欧氏距离大于预设阈值时，获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值；
通过所述结构权值对所述图像块及对应的匹配图像块进行自适应加权滤波，用以对所述图像块及对应的匹配图像块中像素点进行降噪。
进一步地，所述视频图像降噪程序被处理器执行时还实现如下操作：
将计算到的所述结构张量代入预设自适应结构核计算所述像素点所在图像块的结构权值。
进一步地，所述视频图像降噪程序被处理器执行时还实现如下操作：
计算所述欧氏距离与所述预设阈值的差值，在所述差值大于目标阈值时，确定所述像素点所在的图像块为异常图像块，提交异常图像块提示信息；
在接收到基于所述提示信息触发的异常块的处理完成指令时，执行获取所述像素点所在图像块的结构张量，计算所述图像块的结构权值的步骤。
进一步地，所述视频图像降噪程序被处理器执行时还实现如下操作：
将获取到的所述目标视频的各帧图像分别切割成预设尺寸的图像块；
分别获取各个所述图像块对应的搜索坐标信息；
根据所述搜索坐标信息获取各个所述图像块在其他各帧图像中对应的匹配图像块。
进一步地，所述视频图像降噪程序被处理器执行时还实现如下操作：
分别计算所述图像块与在所述搜索坐标信息中搜索到的各图像块之间的欧氏距离；
比对计算到的所述欧氏距离，并确认所述欧氏距离最小的图像块为所述图像块对应的匹配图像块。
进一步地，所述视频图像降噪程序被处理器执行时还实现如下操作：
分别计算各所述图像块所在帧图像与前后帧图像中图像块之间的欧氏距离，并将所述欧氏距离最小的对应图像块确认为各所述图像块的模糊匹配图像块；
确认各所述图像块与对应所述模糊匹配图像块之间的坐标差为所述图像块对应的搜索坐标信息。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！