一种视频超分辨率图像还原性评价的方法与流程

1.本发明涉及图像质量评价领域，特别是视频超分辨率的图像质量评价领域，具体地，涉及一种视频超分辨率图像还原性评价的方法。


背景技术：

2.视频超分辨率一般简称为视频超分，是一种将低分辨率的视频通过各种算法变成更高分辨率视频的技术。随着视频产业的发展，电视机的分辨率越来越高，4k电视逐步普及，8k电视也开始发展，人们对于观看视频的分辨率要求越来越高，然而很多存量的视频资源只是标清或者高清，超高清视频资源极少，怎么能把原来的标清视频变成高清甚至超高清，就需要依赖于视频超分辨率技术。当前对视频超分的市场需求正在逐步变高，很多经典的影视作品需要通过超分来提升分辨率，用以满足观众对更高清晰度的要求。
3.随着视频超分技术的发展和市场需求的增长，对于视频超分质量评价的要求也越来越高。但是视频超分辨率图像质量评价却是一个难点，由于视频超分的目的是通过技术手段将分辨率低的视频处理成分辨率更高的视频，但是这个过程是按照推测在原有视频的基础上进行像素的添加，这就有可能因为错误的预测导致添加之后改变了原有的图像。常用的图像质量评价方法psnr(峰值信噪比)主要用于评估图像的整体质量，在超分的场景下可能出现psnr评分较高，但是实际超分后的图像和原始图像出现了较大的差异，无法评估超分前后图像是否一致，所以需要一种方法来评价超分前后图像的一致性。视频内容一般都有主体和背景，主体清晰重要，背景虚化模糊，观众在观看视频时视觉焦点也都集中在主体上，对背景图像并不敏感，模糊的背景对于图像质量评估容易产生较大的误差，但是背景这部分数据却是不重要的，基于这点，提出一种针对图像的主体进行一致性比较的方法，用于评价视频超分图像的还原性，可以从还原度方面对视频超分的质量进行评价，可以和psnr评价方式互补，对超分质量做出更准确的评价。


技术实现要素：

4.本发明提供了一种视频超分辨率图像还原性评价的方法，针对视频主体进行图像质量评估，提高了评估的效率，同时也降低不重要的背景对评估结果的影响。
5.本发明的技术方案如下：
6.本发明的视频超分辨率图像还原性评价的方法，包括以下步骤：s1.分别将原始视频和超分后的视频转成视频yuv数据；s2.分别从原始视频和超分后的视频yuv数据中读取一帧图像的数据；s3.将s2中读取的超分后的图像yuv数据按照图像缩放算法进行缩放，缩放成和原始视频相同的分辨率；s4.对缩放后的图像和原始视频图像进行边缘检测，得到缩放后的图像的主体数据和原始视频图像的主体数据；s5.计算原始视频帧图像和缩放后的图像的结构相似性作为该帧数据的还原性分数；s6.重复步骤s1-s5，直至完成所有视频帧，针对所有视频帧的ssim分数计算平均值既是最终超分的还原性分数。
7.可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤s1中，通过视频处
理工具从原始视频和上超分后的视频中提取es视频流数据，再将es数据进行解码，生成yuv格式的视频数据，保存成相应的文件。
8.可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤s2中，读取s1生成的超分后视频的yuv格式文件，获取视频的yuv采样格式，按照采样格式从超分后视频的yuv格式文件中读取一帧图像的数据；采用同样的方式，读取原始视频的yuv格式文件)的一帧图像的数据。
9.可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤s3中，针对步骤s2中读取的超分后的图像yuv数据，采用lanczos图像缩放算法进行缩放，得到缩放后的帧图像数据。
10.可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤s4中，对s3中生成的缩放后的图像进行边缘检测，采用canny边缘检测算法，得到缩放后的图像的主体数据；对于原始视频帧图像，采用同样的算法进行边缘检测，得到原始视频图像的主体数据。
11.可选地，在上述视频超分辨率图像还原性评价的方法中，针对边缘检测算法用到的高阈值和低阈值两个设置，采用高阈值80，低阈值60。
12.可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤s5中，对s4中生成的两帧图像的主体数据，计算这两帧图像的结构相似性：如果两帧图像的结构相似性低于0.75，则认为差异过大，超分质量较差，质量评价结束，如果结构相似性不低于0.75，则记录这两帧图像的结构相似性数值ssimi，继续进行其他图像帧的评估。
13.可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤s6中，重复步骤s1-s5的评估，直到完成所有视频帧的评估，或者在步骤s5中提前结束，如果是完成所有视频帧的评估，则通过步骤s5中得到的每一帧的结构相似性计算整体的结构相似性平均值，即为最终超分的还原性分数。
14.根据本发明的技术方案，产生的有益效果是:
15.本发明的视频超分图像还原性评价是通过将超分后的视频进行缩放，得到和原始视频相同的分辨率的图像，然后通过边缘检测获取图像的主体数据，再针对主体数据进行结构相似性计算，最终获取整个视频的结构相似性平均值。主要利用了视频图像一般主体和背景区分比较大，主体清晰而背景模糊，并且观众在观看时焦点也集中在主体上，所以只针对主体数据进行评估，一方面可以降低评估的计算工作量，另一方面也可以降低背景对评估结果的影响，因为背景本身就比较模糊，容易使评估结果产生较大的误差。
16.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
18.图1是本发明的视频超分辨率图像还原性评价的方法的流程图。
具体实施方式
19.为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发
明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
20.如图1所示，本发明的视频超分辨率图像还原性评价的方法，包括以下步骤：
21.s1.分别将原始视频和超分后的视频转成视频yuv数据。
22.在该步骤中，分别从原始视频和超分后的视频中提取基本码流(es)视频流数据，然后解码成yuv(一种颜色编码方式)格式的数据。具体地，通过视频处理工具ffmpeg工具从原始视频和超分后的视频中提取es视频流数据，再使用ffmepg工具将es视频流数据进行解码，生成yuv格式的视频数据，保存成相应的文件，分别为原始视频的yuv格式文件(原始视频.yuv)和超分后视频的yuv格式文件(超分视频.yuv)。
23.s2.分别从原始视频和超分后的视频yuv数据中读取一帧图像的数据。
24.在该步骤中，读取s1生成的超分后视频的yuv格式文件(超分视频.yuv)，获取视频的yuv采样格式(yuv420，yuv422，yuv444)，按照采样格式从超分后视频的yuv格式文件(超分视频.yuv)中读取一帧图像的数据frame
sr
。采用同样的方式，读取原始视频的yuv格式文件(原始视频.yuv)的一帧图像的数据。
25.s3.将超分后图像(s2中读取的超分后的图像yuv数据)按照图像缩放算法进行缩放，缩放成和原始视频相同的分辨率。
26.在该步骤中，针对s2中读取的超分后的图像yuv数据frame
sr
，采用lanczos图像缩放算法进行缩放，得到缩放后的帧图像数据frame
scale
，缩放的倍率根据超分的倍率，视频超分成n倍，则按照1/n进行缩放，这样缩放之后的分辨率就和原始视频的分辨率一致。
27.s4.对缩放后的图像和原始视频图像进行边缘检测，得到缩放后的图像的主体数据和原始视频图像的主体数据。
28..针对步骤s3中生成的图像采用边缘检测算法，获取这一帧图像的主体数据，采用同样的方法获取原始视频图像的主体数据。
29.在该步骤中，对s3中生成的缩放后的帧图像frame
scale
进行边缘检测。采用canny边缘检测算法，得到缩放后的图像的主体数据main
scale
。针对算法用到的高阈值和低阈值两个设置，经过反复的测试，采用高阈值80，低阈值60，边缘检测的效果比较好，能较好的突出主体，去掉背景。对于原始视频图像frame
orig
，采用同样的算法进行边缘检测，得到原始视频图像的主体数据main
orig
；
30.s5.计算原始视频帧图像和缩放后的图像的的主体数据的结构相似性(ssim)，ssim既是这一帧数据的还原性分数。
31.在该步骤中，对s4中生成的两帧图像的主体数据main
scale
和main
orig
，计算这两帧图像的结构相似性ssimi，如果两帧图像的结构相似性低于0.75，则认为差异过大，超分质量较差，质量评价结束，如果结构相似性不低于0.75，则记录这两帧图像的结构相似性数值ssimi，继续进行其他图像帧的评估。
32.s6.重复步骤s1-s5，直至完成所有视频帧，针对所有视频帧的ssim分数计算平均值既是最终超分的还原性分数。
33.在该步骤中，重复步骤s1-s5的评估，直到完成所有视频帧的评估，或者在步骤s5中提前结束。如果是完成所有视频帧的评估，则通过步骤s5中得到的每一帧的ssimi计算整体的结构相似性平均值ssim
avg
，这个值即为最终超分的还原性分数。
34.本发明的视频超分辨率图像还原性评价的方法，主要用于评价超分后的图像对原
始视频的还原性，是否出现明显的失真。首先从原始视频和超分后的视频文件中提取出es视频流数据，将es视频流数据进行解码，得到视频的yuv格式文件，从yuv数据中按照采样格式读取一帧图像的数据。因为图像质量比较需要在相同的分辨率下进行，所以将超分后图像的数据按照lanczos算法进行缩放，缩放成和原始视频同样的分辨率，然后针对缩放后的图像进行边缘检测，获取这一帧图像的主体数据，采用同样的方式获取原始视频的主体数据，通过判断两帧图像的结构相似性来确定超分后图像的还原性，结构相似性越接近1，则超分的图像还原性越高。
35.根据测试实验，本发明的测试分数和主观评价分数呈明显的正相关，说明本发明能比较正确的反应观看者的主观体验。
36.测试结果如表1所示：
37.表1
[0038][0039]
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。