一种高清转超高清视频图像的超分辨率放大方法
【技术领域】
[0001] 本发明设及高清视频图像超分辨率放大领域，具体地，设及一种采用局部自样本 学习原理进行多步小倍数放大实时地得到超高清、高质量图像的方法。
【背景技术】
[0002] 图像超分辨率放大是图像/视频处理领域的基本问题，是将具有较低分辨率的图 像通过上采样、插值等方法处理得到具有较高分辨率的图像。对于图像的超分辨放大操作 是基于已有的图像，根据一定的自然规律或者先验知识进行放大的，且放大过程无法增加 信息量，该问题是一个不适定的问题。
[0003] 传统的超分辨放大方法是采用邻插值、双线性插值、双=次线性插值和高阶样条 插值等方法。其中：采用邻插值的方法，容易产生明显的银齿和马赛克现象；双线性插值具 有低通滤波的功能，虽然能够克服邻插值方法的不足，但是会使图像的高频部分退化，图像 细节变模糊，质量不高；双=次线性插值或者高阶样条插值效果相比效果较好，能使放大图 像浓淡变化自然平滑，但是由于图像中的物体轮廓、纹理的存在，边缘处的像素值不连续性 较大，使用常规的插值方法仍会使图像的轮廓、纹理模糊，降低了图像的质量。
[0004] W上的一些基于插值的方法无法满足用户对于高质量图像的欣赏需求，研究人员 相继提出了基于多帖图像融合的超分辨率放大和基于样本学习的超分辨率放大等方法。
[0005] 基于样本学习的超分辨率方法是2002年由W. T.化eeman等人在《Computer Graphics and Applications》发表的"Example based super resolution"-文中提出 的。2011 年 GILAD FREEDMAN 等人经过进一步分析，在《Image and Video Upscaling from Local Self-Examples》一文中提出一种基于局部样本学习的超分辨放大方法，它基于样本 学习的方法进行深度挖掘，能够高质量地、有效率地完成放大，它不依赖外部的图像样本库 或依赖整幅图像为样本库，而是依循局部自相似原理的假设，提出W局部范围内的图像块 为样本库进行样本学习，完成放大过程。该方法极大地降低了最佳匹配块的捜索时间，同时 又保持了极高的图像放大质量。它提出的该种方法，在放大系数较小的情况下，局部自相似 假设更为可靠，因而放大得到的图像质量也更高。
[0006] 高清、超高清分辨率的视频、图像即将逐渐发展为通用的图像格式，用户对于高质 量图像的需求也愈发迫切，但是无论是基于外部样本库的样本学习方法、还是基于局部自 样本学习方法，在面对图像尺寸为1920*1080该样的高清图像时，进行学习匹配所带来的 计算量无疑是巨大的，处理时间也比较长，无法满足实时处理的需求。
[0007] 中国专利CN103985085A公开了一种图像超分辨率放大的方法和装置。所述方法 包括；根据倍率，分别获得原始图像的放大图像、低频图像和高频图像；将放大图像划分为 多个预定大小的像素块；针对所述每个像素块执行W下操作；在低频图像的预定大小的局 部区域内，按预定步长捜索与放大图像中的像素块最相似的像素块，将高频图像中的与在 低频图像中捜索到的最相似的像素块的位置相同的像素块叠加到放大图像中的像素块；输 出放大图像中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，捜索与放大 图像中的像素块最相似的像素块的步骤包括：使用加权块匹配准则来捜索与放大图像中的 像素块最相似的像素块，其中，加权函数为具有中屯、下降特性的分布函数。该专利描述了 一种先对图像进行预处理得到放大图像、低频图像和高频图像，然后再分块进行逐点处理， 但是该方法在预处理阶段，对于计算机、处理器或可编程硬件包括可存储或可接受软件或 计算机代码的存储器件来说，数据的局部性不够强，数据传输占用内存带宽太大，不利于高 清转超高清实时超分辨放大，除此之外，该方法在单步放大过程中，需要多次图像的缩放操 作，也不利于计算机处理。
【发明内容】
[000引针对现有技术中的缺陷，本发明的目的是提供一种高清转超高清视频图像的超分 辨率放大方法，能够实现实时地将高清视频转换成超高清视频，保持了高质量的画质，同时 也实现了每秒25帖（25巧S)的实时帖速率。
[0009] 为实现W上目的，本发明提供一种高清转超高清视频图像的超分辨率放大方法， 所述方法包括如下步骤：
[0010] 步骤一：从高清视频流中读取一帖图像；
[0011] 步骤二；对步骤一的图像数据预处理，包括去噪、图像数据格式转换、像素存储精 度转换；
[0012] 步骤对步骤一的图像按固定大小分块；
[0013] 步骤四；对步骤=得到的每一个图像块进行n步小倍数scale放大，其中每一步都 使用局部自样本学习的放大方法；
[0014] 步骤五：将图像块重新拼接、后处理，得到一帖超高清视频图像；
[0015] 步骤六：回到步骤一，读取下一帖图像。
[0016] 优选地，步骤二中，所述的图像预处理采用12-bit精度存储图像数据；预处理W 满足对实时性的需求即可。
[0017] 优选地，步骤=中，所述的对图像按固定大小分块，是依处理器的高速存储单元的 容量而决定，W充分使用高速存储单元的高带宽为佳。
[0018] 优选地，步骤四中，选取的步数n和每一步放大的系数scale需满足scale'n = 2 ; 在一定的计算能力下满足实时性需求，可W最优地调整步数n与scale的值。
[0019] 更优选地，每一步放大采用的放大倍数scale相同或不同，只要满足总体放大2 估, l〈scale〈l. 3。
[0020] 优选地，步骤四中，所述的局部自样本学习的放大方法步骤包括：
[0021] 步骤1、读取一幅图像II ;
[0022] 步骤2、对图像II进行处理得到低频图像L1 ;
[002引步骤3、将图像II减去低频图像L1，得到高频图像H1 ;
[0024] 步骤4、使用上采样的方法小倍数地放大图像II，得到放大的低频图像L2 ;
[0025] 步骤5、在低频图像L1中的一定范围内，捜索与低频图像L2中像素块匹配度最高 的像素块，得到最佳匹配块的相对位置；
[0026] 步骤6、在高频图像H1中，取出低频图像L1中最佳匹配块同一位置上的一定大小 像素块，即为叠加块，累加存储得到高频图像H2 ;
[0027] 步骤7、将低频图像L2和匹配到的高频图像H2相加，得到输出图像。
[002引更优选地，所述步骤2中，使用低通模板对图像11进行低通滤波得到低频图像L1， 其中低通模板采用滤波模板实现；获取低频图像L1的方法不限于采用低通模板形式，亦不 限于采用何种低通模板，依处理平台的计算能力和期望的图像质量而定。
[0029] 更优选地，所述步骤4中，使用上采样的方法为采用双线性插值或双=次插值的 方法。
[0030] 更优选地，所述步骤5中，捜索范围和捜索匹配块大小依对图像质量的需求和实 时处理平台的计算能力而决定；如果增大捜索范围，增大捜索匹配块大小，匹配准确度会更 高，图像质量也会更好，但是捜索的计算量也更大，不利于实时实现。
[0031] 更优选地，所述步骤6中，叠加块的大小可W大于所述步骤5中捜索匹配块大小， 前提是保证局部相似性成立，该是基于减少计算量、和保持图像质量等方面更的考虑，在计 算性能更好的平台上，可W适当提高叠加块的大小。
[0032] 优选地，步骤五中，所述的后处理是指；对多步放大和拼接后的结果进行进一步的 调整，如进行降采样迭代进行收敛性调整。
[0033] 与现有技术相比，本发明具有如下的有益效果：
[0034] 1.降低了数据精度，减少对存储空间的需求；
[0035] 2.采用定点计算方案，降低了处理器对浮点运算的需求；
[0036] 3.分块处理提高了数据的局部性，降低了对系统存储器带宽需求；
[0037] 4.采用低通滤波模板，取代通行的先下采样再上采样两步法，一次性得到低频图 像，降低了运算需求；
[003引 5.较小的捜索范围，虽然会降低匹配度，但是能够充分减少计算量，满足对高清转 超高清视频图像的实时需求；
[0039] 6.较小的捜索匹配块大小同样减低了计算量，W配合实时性需求；
[0040] 7.稍大于捜索匹配块大小的叠加块，在保证局部近似性的前提下，补充足够的高 频分量，实现高画质需求。
【附图说明】
[0041] 通过阅读参照W下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0042] 图1是本发明一实施例的方法步骤框图；
[0043] 图2是本发明一实施例的单个图像块单步放大的处理过程图；
[0044] 图3是本发明一实施例的获取低频图像采用的低通模板示意图；
[0045] 图4是本发明一实施例的放大图像与未放大图像的坐标转换图。
【具体实施方式】
[0046] 下面结合具体实施例对本发明进行详细说明。W下实施例将有助于本领域的技术 人员进一步理解本发明，但不W任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可W做出若干变形和改进。该些都属于本发明 的保护范围。
[0047] 如图1所示，本实施例提供一种高清转超高清视频图像的超分辨率放大方法，包 括如下步骤：
[0048] 1、读取高清视频流中一帖图像数据，将分辨率为w*h的n-bit像素数据转换为 m-bit精度存储；对于高清的视频图像，W = 1920，h = 1080, 一般的原始存储数据位数n = 8或10,处理过程中，数据精度m可W为12、14、16或者其它，依需求而定。
[0049] 2、横向扩展；图像向左扩充w_margin列，向右扩充w_margin列，成为（w+2*w_ margin)*h。
[0050] 3、纵向扩展；图像向上扩充h_margin行，向下扩充h_margin行；成为（w+2*w_ margin) *化+2*h_margin);向左/右或上/下扩充的列数或行数，与后续的插值方式和捜索 范围、匹配块大小有关联，原则是保证插值、捜索和匹配数据不会发生越界；在本实施例中， 取w_margin为8,取h_margin为12,即可完成扩展。
[0051] 4、将图像分割得到图像块，每个图像块分辨率为A*A，则一共有^x^个图像块， 然后执行W下步骤重复次;图像分割的大小，可W依靠近处理器最近的寄存器、或 cache的高速存储单元的尺寸而决定，保证处理单个图像块时，所有的中间数据均在最高 速、或较高速的存储单元中，W满足实时性的需求，在本实施例中，取A = 16 ;具体的：
[005引 4. 1)取原始图像中包含有A*A中屯、的、分辨率为B地炬〉A)的数据块，取出的数据 尺寸B大于A，是为了保证后续的双线性插值和块捜索过程不会缺失数据，在本实施例中， 取 B = 32 ;
[005引 4.。W 4. 1中取出的数据为输入图像，作第一次放大，放大倍数为 scale(l<scale<l. 3)倍，得到第一次的输出