非均匀稀疏采样视频超分辨率方法

非均匀稀疏采样视频超分辨率方法
【专利摘要】本发明公开了一种非均匀稀疏采样视频超分辨率方法，属于视频超分辨率技术领域，包括镜头(shot)检测和关键帧提取、原始图像进行模糊处理和下采样、非均匀采样的视觉模型建立、稀疏词典的构建、视频重构等关键技术，采用基于视网膜中央凹视觉的非均匀稀疏采样方法，实现对视频序列进行差异性稀疏采样,大幅度缩减原子个数，实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据，利用硬件支持的非线性Mipmap插值方法实时模拟生成Foveation图像，能够获取与高斯金字塔方法类似的结果，且计算开销更低。
【专利说明】
非均匀稀疏采样视频超分辨率方法
技术领域
[0001] 本发明涉及视频超分辨率技术领域，特别涉及一种非均匀稀疏采样视频超分辨率 方法。
【背景技术】
[0002] 当前移动设备已经成为我们日常生活的组成部分。成熟的无线通信技术和视频编 解码器，使视频流能够在移动设备上运行，因而人们能够容易地通过移动设备随时随地访 问数字内容，如在线电视节目，音乐视频，体育报道和新闻节目，这促使计算机、广播电视网 以及各种通信系统越来越走向融合，使跨平台视频沟通渐成主流方式，并初步提供强大的 多媒体引擎、高清全屏视频技术(full high-definition video)支持。
[0003] 然而，受无线网络带宽和终端处理能力的限制，目前仍有很多信道(如移动网络、 卫星网络和互联网）不适合传输高清晰度视频。即使移动终端具备可支持高清（high-resolution) 显示的性能 ，也无法接收并显示高清视频及图像。 因为当前视频 内容的质量和 分辨率是有限的，视频流的分辨率要比设备实际上可以支持的分辨率低得多。如3G或HSDPA 是稀缺资源，因此需要实现多用户间共享资源。而且许多无线带宽因信道衰落在实际情况 下也远低于理论值，如多径衰落和阴影衰落所造成的障碍。
[0004] 此外，文献研究表明，许多用户感到在移动设备上的视频体验因明显的伪影(迹） 而不能接受，如马赛克或模糊效应。显著的伪影(迹)极大降低人们对于视频流服务的期望。 然而，许多现有的移动设备能够支持大于QVGA(320240)的分辨率，如，iPhone 4G(960640)， Google Nexus 0ne(800480)，NokiaN97(640360)，SonyEricsson Π0(800480)。当低分辨率 的视频在移动装置上放大到全屏尺寸时会出现明显的伪影(迹），从而影响用户订阅移动视 频服务的热情。如果用户通过笔记本电脑访问视频服务，情况会变得更加糟糕，因为现在最 小型笔记本电脑的分辨率也支持绚丽屏WXGA(1280800)。虽然如此，在目前的无线网络，对 于同时支持以上分辨率视频的带宽消耗在许多移动客户解码端仍然是不可行的。
[0005] 另一方面，由于成像系统的限制（如低端摄像设备或手机），图像和视频分辨率上 无法获得更高频率的细节信息。传统的方法是通过线性插值达到放大的效果，本质上并不 能提高图像的空间分辨率，而随之带来的模糊影像往往不能让人满意。
[0006] 同时，随着显示设备分辨率的不断上升，数字高清晰度电视(high-definition te 1 evision，HDTV，即电影级图像)逐渐得到普及。要实现原有的STV视频信号向HDTV转换， 或把原来PAL或NTSC制式的DVD片源在HDTV分辨率的显示设备上进行播放，需要同时增加视 频的空间分辨率和时间分辨率。
[0007] 为使多样性的视频码流更好地适应异构网络环境和各种用户终端，提高所获视频 的质量以及更好地与HDTV兼容，迫切需要更为有效的技术支持。
[0008] 近年来，网络视频处理技术层出不穷，然而其难点在于：
[0009] (1)由于视频的复杂性以及技术的针对性等原因，现阶段这种性能的改善是局部 的和有限的。现有的视频压缩技术、转码技术曾被看作是解决异构网络自适应问题的经济 有效的方法，并已经取得了丰富的成果，它们也在一定程度上对于视频通信与呈现问题提 供过技术支持和性能改善，但由于视频的复杂性以及技术的针对性等原因，致使现阶段这 种性能的改善是局部的和有限的。比如，首先增加了视频服务器的处理负荷，其次，二次编 码过程通过再量化减少比特率、下采样减少空间分辨率及丢弃B-帧减少帧率等措施，引入 了转码漂移误差，造成了额外的质量损失。可伸缩性视频编码对于视频质量的提高很大程 度上依赖于增强层的作用，SVC上采样视频帧通过从高分辨率视频(EL)提取的"重要系数" 共同解码基本层视频。对于在带宽不足以提供增强层传输和提取的情况下，如何获取高品 质视频依然成为问题，尤其是在无线信道或移动设备发送可伸缩视频时，在可用带宽受限 情况下，围绕边缘细节急剧变化的图像区域会发生振铃效应。
[0010] (2)当前的插值技术或上抽样技术在重构质量和计算时间方面存在局限性。虽然 目前有不少基于图像的插值技术（image interpolation)或上采样技术（即超分辨率SR)， 文献已经被提出来显著减少上抽样伪影。然而，现有的上采样技术因上采样过程对于对象 的细节和边界的重建通常需要几秒钟计算时间。因为有关信息高分辨率图像和视频在应用 场景中没有给出相应的优先级，而使得当前的视频上抽样技术因质量和计算时间存在一定 的局限性，因此，由于计算时间，不可能使用现有的影像上抽样技术拉伸视频在移动设备上 的全屏显示和减少明显的伪影。因此，大多数移动视频播放器利用简单而快速的上采样，如 近邻上采样(Nearest)和双线性上采样(Bilinear)方法和双立方插值法(Bicubic)等。与影 像上采样相比，目前的实时视频上采样技术产生更多的明显视觉伪影，且不能充分利用现 有的计算资源。同时，由于目标边界和重要细节信息通常不可知，会增加上采样的计算时 间。
[0011] (3)高频先验信息缺乏且受运算复杂度的限制，超分辨率技术效果不尽人意，远比 理论分析应达到的水平低。从广义上讲，图像/视频的超分辨率技术包括单帧到单帧、多帧 到单帧以及序列到序列的超分辨率三个方面。其中，多帧到单帧的超分辨率技术得到了最 为广泛的研究，而序列到序列，即对视频序列中所有帧进行超分辨率复原的研究则相对较 少。从理论上讲，将任何一种单帧图像的超分辨率复原算法用于视频序列中的连续帧，均能 实现视频序列的超分辨率复原，及序列图像的静态批处理方法。而实际应用中，这往往会受 到运算复杂度的限制，而且，对各帧图像的单独复原未能有效利用相邻帧已复原图像的有 用信息，造成运算量的大量浪费。基于迭代和自适应滤波的方法通过有效利用已复原高分 辨率图像的有效信息，降低了算法的复杂度，但这是以复原性能的降低为代价的。目前在压 缩视频的超分辨率重建方面存在的问题主要集中在三个方面:一是压缩视频模型的有效性 和普遍适应性还有待进一步的研究；二是常规的重建的方法效果不尽人意，远比理论分析 应达到的水平低;三是几乎所有重建算法的计算复杂度太高，很难实时实现。
[0012] (4)传统的小波变换不能有效捕获图像边缘、轮廓上的光滑性，因此不能达到精简 或稀疏的图像表征。目前基于DCT、小波等正交线性变换的主流编码技术已逐渐趋于成熟， 但仍然存在发展空间。近来研究表明，传统的二维小波变换并不能有效地捕获图像边缘、轮 廓上的光滑性，因此不能达到精简或稀疏的图像表征。虽然由小波带来的内建的可伸缩性， 使得WSVC能编码一个具有非预测可伸缩区的给定内容，很适合高清视频的存储和分配。然 而，基于小波的可伸缩视频编码WSVC难于有效地表达和实时追踪视频中的局部空间信息， 比如，当WSVC被应用在高通空间子带域时，因为连续帧之间的运动部分的系数模式发生改 变，使得运动补偿时域滤波(MCTF)的编码效率有所下降。因此，如何进一步刻画图像的边 缘、纹理和角形等图像中重要视觉几何结构，提高该类方法在噪声抑制基础上有效保持结 构和纹理能力是有待深入研究的问题。
[0013]在视频压缩和图像超分辨率技术相关研究发展了近十年后，很多研究人员已经意 识到，以上问题将对异构网络环境中视频的获取技术的研究形成阻碍，需要进行相关基础 理论研究，需要从新的途径来提高视频及图像的视觉性能。
[0014] 近年来，压缩感知（compressive sensing，CS)作为一种新的信息获取理论受到高 度关注，并被美国科技评论评为2007年度十大科技进展。视频及图像的稀疏表示模型在超 分辨重建问题中具有潜在优势，也为视频及图像不适定问题的解决提供了良好的处理机 制。本技术基于稀疏编码技术整合数据采样和压缩为一体到视频流框架中，能有效克服视 频传输过程因网络条件不足所带来的诸如分组丢失或比特错误所造成的错误繁衍问题，这 在目前看来是解决异构网络环境中高品质视频流获取与呈现问题的一种新思路，所达到的 目标也是当前流行的可伸缩视频编码技术和传统的图像超分辨率技术无法单独胜任的工 作，能为视频及图像不适定问题的解决提供新的思路和良好的处理机制。本技术从理论上 扩充现有的视频编码压缩理论体系，具有很强的应用创新性。尽管稀疏编码已经在许多应 用中使用，但它在视频异构网络中的研究还比较缺乏，罕见相关文献报道。
[0015] 尽管稀疏编码已经在许多应用中使用，它在视频异构网络中的研究还比较缺乏。 主要困难包括:视频中如何实现稀疏编码有一定的技术壁皇;异构网络中异构数据的稀疏 编码有一定的困难;视频数据通常为海量数据，如何有效实现稀疏编码算法的拓展，提升算 法效率，亦是一个很困难的问题。

【发明内容】

[0016] 本发明针对现有技术的不足，提供一种非均匀稀疏采样视频超分辨率方法，能有 效克服视频传输过程因网络条件不足所带来的诸如分组丢失或比特错误所造成的错误繁 衍问题。
[0017] 为解决以上问题，本发明采用的技术方案如下：一种非均匀稀疏采样视频超分辨 率方法，包括如下步骤:S1，镜头检测和关键帧提取:从原始高清数字视频F n中以镜头为单 位提取关键帧Yn，并对原始帧进行方向滤波后进行下采样为Xnl，经压缩后作为基本层流传 送；
[0018] S2,对关键帧的原始图像进行模糊处理和下采样:通过模拟现实中图像的降质过 程产生相应的低分辨率图像Vnl，即通过对高分辨率图像进行模糊和下采样处理;分别在低 分辨率图像和高分辨率图像的高频空间建立对应关系;对低分辨率图像γ' η1进行上插值使 得高低分辨率图像Y'h具有一样的大小;在低分辨率图像的一阶和二阶导数图像上以块的 方式随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样 本；
[0019] S3,非均匀采样的视觉模型建立:基于Foveation视觉模型的非均匀稀疏采样关键 帧，采用视频图像的标准坐标系，建立非均匀采样的视觉模型，通过以视觉凹点Foveation 为中心逐渐降低感知分辨率的采样过程，依据视觉皮层中神经元感受野的结构特性与图像 几何结构特征来分配生成函数中自由参数的采样密度；同时，在编码端对图像高频部分边 缘点进行密集采样，对非边缘部分进行随机抽样；
[0020] S4,稀疏表示和词典设计:从人类视觉系统感知特性出发，选取二维Gabor函数作 为字典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边缘、 纹理三种结构类型和UV色度及运动矢量的子成分字典;实时生成或根据移动终端设备屏幕 的分辨率先验计算出具有高低分辨率的双词典作为搭载的元数据；
[0021 ] S5，视频超分辨率重构:在客户端解码出基本层视频后，运用快速上采样算法，基 于每一个视频镜头的上采样性能构建基本的全屏视频帧;根据来源于高清视频信息，增强 每一帧的视频对象的边界和重要细节的质量。
[0022] 作为优选，S1具体包括以下步骤:镜头检测采用颜色和边缘特征两个标准检测镜 头边界，利用投影直方图技术与动态直方图调整技术找到镜头边界，投影直方图技术可自 动获得具有一定约束的两个给定的序列之间的最佳的匹配。
[0023] 作为优选，S4包括以下步骤，为了满足两个词典在稀疏表示下的同构性，算法针对 数据进行改进，
看成由两部分组成，Φ (X，α)对应为最 小平方误差，即i|X-Da|〉Ψ(α)为又|?|，为了获得异构数据，对Ψ(α)进行改进，其中 一个改进方向是利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ(α)。
[0024] 作为优选，采用双边滤波器
中，Ρ和q表示在高分辨率亮度图像上的像素的位置，Ρ丨和q丨分别表示下采样之后在低分辨 率UV色度图像上像素的位置，f是空间滤波器核，g是范围滤波器核，Sq丨是在qM立置的UV的 值，k P是正则化因子，SP是滤波后在P位置的高分辨率UV的值，相对于通用双边滤波器直接使 用P和q的位置信息，使用含有更多信息量的P和q位置上的亮度信息来进行优化。
[0025]本发明的有益效果：
[0026] 1)采用基于视网膜中央凹视觉的非均匀稀疏采样方法，实现对视频序列进行差异 性稀疏采样，大幅度缩减原子个数，实时生成或根据移动终端设备屏幕的分辨率先验计算 出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据，利用硬件支持的非线 性Mipmap插值方法实时模拟生成Foveation图像，能够获取与高斯金字塔方法类似的结果， 且计算开销更低。
[0027] 2)采用基于稀疏编码的视频上采样方法，系统体系架构设计为一种联合信源端和 客户解码端的紧密耦合结构。信源端从(高清)数字视频(HD)中提取具体的元数据，在客户 解码端对实时视频上采样，以提供好的视觉质量。在不需要修改现有的硬件解码器情况下 仍然能较好自适应网络传输，兼具时间和空间的伸缩性，虽然附加的元数据低于总传输数 据的10%，但它能够显著提高视频的质量。
【附图说明】
[0028] 图1为非均匀稀疏采样视频超分辨率系统示意图；
[0029] 图2为将稀疏词典作为搭载的元数据架构示意图。
【具体实施方式】
[0030] 为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对 本发明做进一步详细说明。
[0031] 系统体系架构设计为一种联合服务器边和客户边的紧密耦合结构（见附图1)。在 信源端，对原始视频信号(一般为高清数字视频(HD)信源)非均匀稀疏采样形成元数据，对 原始分辨率视频进行下采样编码为低分辨率低码率视频数据;将元数据搭载下采样后的低 分辨率视频数据在网络上传输;在客户解码端通过超分辨率插值技术重构高分辨率视频， 以提供好的视觉质量。
[0032] 非均匀稀疏采样视频超分辨率方法的全过程(见图2)包括镜头(shot)检测和关键 帧提取、原始图像进行模糊处理和下采样、非均匀采样的视觉模型建立、稀疏词典的构建、 视频重构等关键技术，以下依过程的先后次序对于视频采样和重构的技术环节做详细描 述：
[0033] 步骤1，镜头（shot)检测和关键帧提取。从原始（高清）数字视频(HD)Fn*以镜头 (shot)为单位提取关键帧Yn，并对原始帧进行方向滤波后进行下采样为Xnl，经压缩后作为 基本层流传送。
[0034]该步骤涉及两个方面的技术问题：镜头（shot)检测和关键帧选择。关于镜头 (shot)检测，本发明采用颜色和边缘特征两个标准检测镜头边界。利用投影直方图 (Projection Histograms)技术与动态直方图调整（Dynamic Histogram Warping,DHW)技 术找到镜头边界，DHW可自动获得具有一定约束的两个给定的序列之间的最佳的匹配。关于 关键帧的选择，综合运用"I-帧等价"算法和"比较宏块互异数"算法。
[0035] 步骤2,对关键帧的原始图像进行模糊处理和下采样。
[0036] 由于所提取的关键帧包含足够多种类细节信息的高分辨率信息，通过模拟现实中 图像的降质过程产生相应的低分辨率图像Υ'ι，即通过对高分辨率图像进行模糊(如高斯模 糊)和下采样(这里对行和列分别进行3倍的抽取)处理。由于自然图像往往具有相似的边缘 结构特征，因此分别在低分辨率图像和高分辨率图像的高频空间建立对应关系。为了减小 高低分辨率样本的维数差别，这里首先对低分辨率图像Y' ^进行上插值使得高低分辨率图 像疒&具有一样的大小。然后，在低分辨率图像的一阶和二阶导数图像上以块的方式随机提 取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本。
[0037]步骤3,非均匀采样的视觉模型建立。基于Foveation视觉模型的非均匀稀疏采样 关键帧，是本发明的重要创新点之一。采用视频图像的标准坐标系，建立非均匀采样的视觉 模型，通过以视觉凹点(Foveation)为中心逐渐降低感知分辨率的采样过程，依据视觉皮层 中神经元感受野的结构特性与图像几何结构特征来分配生成函数中自由参数的采样密度， 以此大幅度缩减原子个数；同时，为了提高图像重构精度，改善纹理区域视觉效果，在编码 端对图像高频部分边缘点进行密集采样，对非边缘部分进行随机抽样，取代了传统压缩感 知理论中直接使用测量矩阵获得低维观测值的过程。
[0038]步骤4,稀疏表示和词典设计。从人类视觉系统感知特性出发，选取二维Gabor函数 作为字典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边 缘、纹理三种结构类型和UV色度及运动矢量的子成分字典。实时生成或根据移动终端设备 屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数 据。此外，本发明提出一种求解同时满足两个过完备词典(低分辨率图像块词典和高分辨率 图像块词典)下的相同稀疏表示的方法，并利用它们实现影像稀疏表示的超分辨率重建。为 了满足两个词典在稀疏表示下的同构性，算法针对数据进行改进。其中公式
可以看成由两部分组成，Φ(Χ，α)对应为最小平方误差，即 士||X-, 为A||g4。为了获得异构数据，对Ψ(α)进行改进。其中一个改进方向是 利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ(α)。这可以将稀疏系数的选 择具有组特性，对类似的字典发现类似的系数。
[0039] 步骤5,视频超分辨率重构。为支持实时上采样，在客户解码端解码出基本层视频 后，首先运用快速上采样算法，基于每一个视频镜头的上采样性能构建基本的全屏视频帧。 然后，为提供高品质的视频，根据来源于高清视频信息，增强每一帧的视频对象的边界和重 要细节的质量。为了进一步提高彩色图像的超分辨率效果，还将考虑基于超分辨率亮度信 息的UV色度超分辨率重构。对于彩色图像而言，人眼对于YUV空间中的亮度要比其他空间的 任何分量都要敏感，因此，本发明考虑只对于图像的亮度分量进行超分辨率，而对于其他两 个分量参照亮度分量进行双边插值滤波（Bilater Filter)。所采用的双边滤波器为：
其中，P和q表示在高分辨率亮度图像上的 像素的位置，P丨和q丨分别表示下采样之后在低分辨率UV色度图像上像素的位置，f是空间滤 波器核（Spatial Filter Kernel)，g是范围滤波器核(Range Filter Kernel)，Sq丨是在q丄位 置的UV的值，kP是正则化因子，SP是滤波后在P位置的高分辨率UV的值。相对于通用双边滤波 器直接使用P和q的位置信息，使用含有更多信息量的P和q位置上的亮度信息来进行优化。
[0040] 实验结果表明：本发明所提出的算法不仅可以提高帧图像和纹理区域的重构精 度，而且在低采样率或图像尺寸较小的情况下，算法效率也有明显提升。
【主权项】
1. 一种非均匀稀疏采样视频超分辨率方法，其特征在于，包括如下步骤： S1，镜头检测和关键帖提取:从原始高清数字视频Fn中W镜头为单位提取关键帖Υη，并 对原始帖进行方向滤波后进行下采样为Xnl，经压缩后作为基本层流传送； 52, 对关键帖的原始图像进行模糊处理和下采样:通过模拟现实中图像的降质过程产 生相应的低分辨率图像Υ\?，即通过对高分辨率图像进行模糊和下采样处理;分别在低分辨 率图像和高分辨率图像的高频空间建立对应关系;对低分辨率图像Y^nl进行上插值使得高 低分辨率图像Y\h具有一样的大小;在低分辨率图像的一阶和二阶导数图像上W块的方式 随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本； 53, 非均匀采样的视觉模型建立:基于Foveation视觉模型的非均匀稀疏采样关键帖， 采用视频图像的标准坐标系，建立非均匀采样的视觉模型，通过W视觉凹点化veation为中 屯、逐渐降低感知分辨率的采样过程，依据视觉皮层中神经元感受野的结构特性与图像几何 结构特征来分配生成函数中自由参数的采样密度；同时，在编码端对图像高频部分边缘点 进行密集采样，对非边缘部分进行随机抽样； 54, 稀疏表示和词典设计:从人类视觉系统感知特性出发，选取二维Gabor函数作为字 典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边缘、纹理 Ξ种结构类型和UV色度及运动矢量的子成分字典;实时生成或根据移动终端设备屏幕的分 辨率先验计算出具有高低分辨率的双词典作为搭载的元数据； 55, 视频超分辨率重构:在客户端解码出基本层视频后，运用快速上采样算法，基于每 一个视频镜头的上采样性能构建基本的全屏视频帖;根据来源于高清视频信息，增强每一 帖的视频对象的边界和重要细节的质量。2. 根据权利要求1所述的非均匀稀疏采样视频超分辨率方法，其特征在于，包括W下步 骤，S1具体包括W下步骤:镜头检测采用颜色和边缘特征两个标准检测镜头边界，利用投影 直方图技术与动态直方图调整技术找到镜头边界，投影直方图技术可自动获得具有一定约 束的两个给定的序列之间的最佳的匹配。3. 根据权利要求1或2所述的非均匀稀疏采样视频超分辨率方法，其特征在于，S4包括 W下步骤，为了满足两个词典在稀疏表示下的同构性，算法针对数据进行改进，其中公式f成由两部分组成，Φ (X，曰）对应为最小平方误差，即，Ψ(α)为λ| |α| |i，为了获得异构数据，对Ψ(α)进行改进，其中一个改进方向是 利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ (曰）。4. 根据权利要求3所述的非均匀稀疏采样视频超分辨率方法，其特征在于，S5包括W下 步骤，采用双边滤波器，其中，Ρ和q表示在 高分辨率亮度图像上的像素的位置，pi和qi分别表示下采样之后在低分辨率UV色度图像上 像素的位置，f是空间滤波器核，g是范围滤波器核，Sqi是在qH立置的UV的值，kp是正则化因 子，Sp是滤波后在P位置的高分辨率UV的值，相对于通用双边滤波器直接使用P和q的位置信 息，使用含有更多信息量的P和q位置上的亮度信息来进行优化。
【文档编号】H04N7/015GK106097251SQ201610458527
【公开日】2016年11月9日
【申请日】2016年6月22日
【发明人】张运生, 耿煜, 谭旭, 赖红, 许志良
【申请人】深圳信息职业技术学院