一种基于机器学习的超分辨率方法、介质及设备与流程

本发明属于图像的增强领域，涉及一种超分辨率方法，特别是涉及一种基于机器学习的超分辨率方法、介质及系统。

背景技术：

受到传输带宽的限制，常见的互联网视频一般具有较小的分辨率和较低的码率。当这些互联网视频显示在大屏幕上时，对小分辨率画面进行普通的差值放大会导致边缘锯齿、细节模糊等问题，通常需要超分辨率来减少放大导致的高频丢失。图像超分辨率(superresolution,sr)是指由低分辨率图像(lowresolution,lr)或图像序列恢复出高分辨率图像(highresolution，hr)。hr意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。传统的超分辨率算法通常包括基于差值和基于学习的方式，例如srcnn(super-resolutionconvolutionalneuralnetwork，超分辨率卷积神经网络)、drrn(deeprecursiveresidualnetwork，深递归残差网络)、srgan(singleimagesuper-resolutionusingagenerativeadversarialnetwork，基于生成性对抗网络的单图像超分辨率)。

然而，低分辨率的压缩视频一般存在细节模糊、块效应、振铃噪声、蚊虫噪声等画质问题。如果对画面直接进行超分辨率和细节增强，在补充因放大导致丢失的高频细节的同时，噪声也可能被当作细节而补充，致使无法通过后续的去噪声模块理想滤除。如果先进行去噪则部分细节被当作噪声被滤除，致使后续超分辨率很难恢复更多细节。因此，无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率的效果不理想。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器学习的超分辨率方法、介质及系统，用于解决现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果较差的问题。

为实现上述目的及其他相关目的，本发明提供一种基于机器学习的超分辨率方法，所述基于机器学习的超分辨率方法包括：获取视频图像的内容统计特性；根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；根据各视频图像所属的分组，结合视频图像的噪声统计特性选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。

于本发明的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：对所述视频图像进行噪声估计，获取对应的噪声等级分布图；将所述视频图像与对应的噪声等级分布图进行通道拼接，获得对应的高维拼接图像；将所述高维拼接图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。

于本发明的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：获取多组数据作为第一训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像对应的高维拼接图像以及对应的无压缩噪声的高分辨率图像；利用所述第一训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。

于本发明的一实施例中，根据所述视频图像的内容统计特性和噪声水平对所述视频图像进行分类，获得至少一个分组的一种实现方法包括：获取所述视频图像的信号特征以及噪声水平；根据内容统计特性对所述视频图像进行分类，获得至少一类图像；根据噪声水平对各类图像进行二次分类，获得至少一个子类；根据信号特征对各子类进行再次分类，获得至少一个分组。

于本发明的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：将所述视频图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。

于本发明的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：获取多组数据作为第二训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像以及对应的无压缩噪声的高分辨率图像；利用所述第二训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。

于本发明的一实施例中，所述机器学习模型为神经网络模型。

于本发明的一实施例中，所述机器学习模型为多个滤波器组。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明所述的基于机器学习的超分辨率方法。

本发明还提供一种基于机器学习的超分辨率系统，所述基于机器学习的超分辨率系统包括：噪声估计模块，用于获取视频图像的噪声等级分布图；图像拼接模块，与所述噪声估计模块相连，用于将所述视频图像与所述噪声等级分布图进行通道拼接，获得对应的高维拼接图像；内容统计特性获取模块，用于获取所述视频图像的内容统计特性；分类模块，与所述内容统计特性获取模块相连，用于根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；模型切换模块，与所述分类模块相连，用于根据所述视频图像所属的分组并结合视频图像的噪声统计特性选择相应的机器学习模型；机器学习模块，与所述图像拼接模块、所述模型切换模块分别相连，用于调用所述相应的机器学习模型对所述视频图像进行超分辨率重建，获得对应的高分辨率图像。

本发明还提供一种基于机器学习的超分辨率系统，其特征在于，所述基于机器学习的超分辨率系统包括：噪声估计模块，用于获取所述视频图像的噪声水平；内容统计特性获取模块，用于获取所述视频图像的内容统计特性；信号特征获取模块，用于获取所述视频图像的信号特征；分类模块，与所述噪声估计模块、所述内容统计特性获取模块和所述信号特征获取模块分别相连，用于根据所述视频图像的噪声水平、内容统计特性和/或信号特征对所述视频图像进行分类，获得至少一个分组；模型切换模块，与所述分类模块相连，用于根据所述视频图像所属的分组并结合视频图像的噪声统计特性选择相应的机器学习模型；机器学习模块，与所述模型切换模块相连，用于调用所述相应的机器学习模型对所述视频图像进行超分辨率重建，获得对应的高分辨率图像。

如上所述，本发明所述的基于机器学习的超分辨率方法、介质及系统，具有以下有益效果：

所述基于机器学习的超分辨率方法中，通过机器学习模型同时实现去噪和超分辨率，有效避免了现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果不理想的问题；

此外，本发明将去噪和超分辨率两步操作合为一步，能够实现机器学习模型的复用，无需对去噪和超分辨率分别进行机器学习模型的训练和测试，减少了运算量；同时能够在添加高频细节的超分辨率重建和滤除高频振铃噪声之间进行自适应的平衡；

所述基于机器学习的超分辨率方法包括对压缩噪声水平的估计，并将压缩噪声等级分布作为机器学习模型的输入以及分类依据，不仅提高了各种画质下视频超分辨率效果的鲁棒性，而且避免了播放时需要反复载入多个不同模型参数的问题，减少了硬件所需的存储空间，同时提高了播放效率；

所述基于机器学习的超分辨率方法中考虑视频的统计特性、压缩噪声以及信号特征作为分类依据对所述视频图像进行分类，并根据所述视频图像所属的分组选择相应的机器学习模型，针对性强，准确率高，实现的图像超分辨率效果更好。

附图说明

图1显示为本发明所述基于机器学习的超分辨率方法于一实施例中的流程图。

图2a显示为本发明所述基于机器学习的超分辨率方法于一实施例中步骤s13的流程图。

图2b显示为本发明所述基于机器学习的超分辨率方法于一实施例中的视频图像。

图2c显示为本发明所述基于机器学习的超分辨率方法于一实施例中的噪声等级图像。

图2d显示为本发明所述基于机器学习的超分辨率方法于一实施例中的图像通道切片。

图2e显示为本发明所述基于机器学习的超分辨率方法于一实施例中的图像通道切片。

图3显示为本发明所述基于机器学习的超分辨率方法于一实施例中机器学习模型的训练流程图。

图4显示为本发明所述基于机器学习的超分辨率方法于一实施例中步骤s12的流程图。

图5显示为本发明所述基于机器学习的超分辨率方法于一实施例中机器学习模型的训练流程图。

图6a显示为本发明所述基于机器学习的超分辨率方法于一实施例中神经网络模型的训练流程图。

图6b显示为本发明所述基于机器学习的超分辨率方法于一实施例中超分辨率重建的流程图。

图7a显示为本发明所述基于机器学习的超分辨率方法于一实施例中神经网络模型的训练流程图。

图7b显示为本发明所述基于机器学习的超分辨率方法于一实施例中超分辨率重建的流程图。

图8a显示为本发明所述基于机器学习的超分辨率方法于一实施例中滤波器组的训练流程图。

图8b显示为本发明所述基于机器学习的超分辨率方法于一实施例中超分辨率重建的流程图。

图9显示为本分发明所述基于机器学习的超分辨率系统于一实施例中的结构图。

图10显示为本分发明所述基于机器学习的超分辨率系统于一实施例中的结构图。

元件标号说明

900基于机器学习的超分辨率系统

910噪声估计模块

920图像拼接模块

930内容统计特性获取模块

940分类模块

950模型切换模块

960机器学习模块

1000基于机器学习的超分辨率系统

1010噪声估计模块

1020内容统计特性获取模块

1030信号特征获取模块

1040分类模块

1050模型切换模块

1060机器学习模块

s11～s13步骤

s131～s133步骤

s31～s32步骤

s121～s124步骤

s51～s52步骤

s61a～s64a步骤

s61b～s65b步骤

s71a～s74a步骤

s71b～s74b步骤

s81a～s83a步骤

s81b～s84b步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

超分辨率是指通过硬件或软件的方法提高原有图像的分辨率，超分辨率的过程即为向原始低分辨率图像添加高频细节的过程。低分辨率的压缩视频一般存在细节模糊、块效应、振铃噪声、蚊虫噪声等画质问题。如果对画面直接进行超分辨率和细节增强，在补充因放大导致丢失的高频细节的同时，噪声也可能被当作细节而补充，致使无法通过后续的去噪声模块理想滤除。如果先进行去噪则部分细节被当作噪声被滤除，致使后续超分辨率很难恢复更多细节。因此，无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率的效果不理想。此外，互联网视频通常会采用固定码率(constantbitrate，cbr)的转码方式，不同画面复杂度的宏块可能采用不同的qp(quantizationparameter，量化参数)，这会导致同一个视频序列中存在各种不同强度的压缩噪声。因此，用一个或多个全局的码率参数都无法充分模拟实际在线视频的压缩情况。

针对上述问题，本发明提供一种基于机器学习的超分辨率方法，所述基于机器学习的超分辨率方法包括：获取视频图像的内容统计特性和噪声水平；根据所述视频图像的内容统计特性和噪声水平对所述视频图像进行分类，获得至少一个分组；根据各视频图像所属的分组，并结合视频图像的噪声统计特性选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。所述基于机器学习的超分辨率方法中根据视频图像所属的分组选择相应的机器学习模型进行超分辨率重建，将去噪和超分辨率通过神经网络同时实现，避免了现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果较差的问题。

请参阅图1，于本发明的一实施例中，所述基于机器学习的超分辨率方法包括：

s11，获取视频图像的内容统计特性。其中，所述视频图像是指一段视频中的部分或者全部帧对应的图像，为带有压缩噪声的低分辨率图像。

s12，根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组。

s13，根据各视频图像所属的分组，结合视频图像的噪声统计特性选择相应的机器学习模型进行超分辨率重建，获得对应的超分辨率重建图像。所述超分辨率重建图像为无压缩噪声的高分辨率图像。

机器学习(machinelearning，ml)是一门多领域交叉学科，主要用于研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。常见的机器学习模型有线性模型、核方法与支持向量机、决策树模型、神经网络模型、滤波器组等。在机器学习内部，整个机器学习的建立和运行机制包括以下步骤：搜集数据、数据准备(包括将数据分为训练数据和评估数据)、选择模型、训练模型、评估模型、参数微调以及实际应用，其中模型的选择以及训练是整个机器学习过程中至关重要的环节。

请参阅图2a，于本发明的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：

s131，对所述视频图像进行噪声估计，获取对应的噪声等级分布图；所述噪声主要是指压缩噪声。通过对所述视频图像中的各像素点进行噪声估计以获得各像素点的噪声水平，根据各像素点的噪声水平即可获得所述视频图像对应的噪声等级分布图。于实际应用中，可以将所述视频图像划分成多个n×n编码块，对各编码块进行噪声估计以获得不同编码块对应的噪声等级；根据各编码块对应的噪声等级即可获得整个视频图像对应的噪声等级分布图。其中，n的取值由视频编码标准决定，例如为：8、16、32。

所述噪声等级分布图为一灰度图，该灰度图上像素点的灰度值经过量化得来，因此所述噪声等级分布图上各点的灰度值的取值空间有限，例如：64个噪声等级对应的灰度值取值空间为{0,4,8，……，252}。所述噪声等级分布图中各像素点的灰度值取决于该点的噪声水平。

图像可以作为一个三维矩阵进行存储，该三维矩阵的三个维度分别是(width，height，channel)，其中width为图像的宽度，height为图像的高度，channel为图像的通道。于本实施例中，对于所述视频图像channel＝3，分别对应r通道、g通道和b通道；所述噪声等级分布图为一灰度图，其channel＝1。s132，将所述视频图像与对应的噪声等级分布图进行通道拼接，获得对应的高维高维拼接图像。

传统方法一般只分析帯噪图像的空域信息，本实施例从原始图片空域信息以及噪声等级辅助信息两个维度对所述视频图像进行衡量，其中噪声等级辅助信息用所述噪声等级分布图中像素点的灰度表示。本实施例通过将所述视频图像与相同分辨率的噪声等级分布图进行通道拼接获得对应的高维拼接图像，该高维拼接图像携带了所述视频图像的原始像素以及噪声水平等信息。如上所述，视频图像和噪声等级图像均可以用三维矩阵进行存储，对于高度和宽度相同的视频图像和噪声等级图像，将二者在通道这一维度进行拼接即可实现通道拼接并获得对应的高维拼接图像。s133，将所述高维拼接图像和所述视频图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。

于本实施例中，不同的分组对应的不同的机器学习模型。为实现超分辨率重建，应当根据所述视频图像所属的分组选择该分组对应的机器学习模型，并利用该机器学习模型对所述高维拼接图像和所述视频图像进行处理，从而获得所述视频图像对应的无噪声高分辨率图像。

于本实施例中，通过将所述噪声等级分布图和所述视频图像在第三维度进行通道拼接获得对应的高维拼接图像，使得所述高维拼接图像能够充分反映不同宏块的噪声水平，从而实现对实际在线视频的压缩情况进行模拟。

于本发明的一实施例中，请参阅图2b，显示为本实施例中获得的一张视频图像示例图。所述视频图像对应的三维矩阵中channel＝3，即：所述视频图像包括r/g/b三个通道。请参阅图2c，显示为所述视频图像对应的噪声等级分布图。所述噪声等级分布图为一灰度图，可以仅用一个通道值表示，其对应的三维矩阵中channel＝1，即：所述噪声等级分布图仅包含一个噪声通道。请参阅图2d，显示为将所述视频图像的r/g/b三个通道与所述噪声等级分布图的一个通道，图中前三个切片分别对应r通道、g通道和b通道。将所述视频图像的r通道、g通道、b通道和所述噪声等级分布图的一个通道进行通道拼接之后即可获得四通道图像，所述四通道图像对应的三维矩阵中channel＝4，即：所述四通道图像包含了r通道、g通道、b通道和噪声通道。

于本发明的又一实施例中，将所述视频图像转到y-cb-cr空间，由于人眼对亮度信息y比色度信息cb/cr更敏感，为了提高运算效率，可以只对y通道做基于机器学习的放大，cb/cr采用基于传统插值的快速放大算法。此时模型输入的视频图像只有一个亮度通道，相应的，其channel＝1。请参阅图2e，显示为将所述视频图像的亮度通道与所述噪声等级分布图的一个通道，将所述视频图像的亮度通道与所述噪声等级分布图的一个通道进行通道拼接之后即可获得二通道图像，所述二通道图像对应的三维矩阵中channel＝2，即：所述二通道图像包含了亮度通道和噪声通道。

于本发明的一实施例中，所述噪声等级分布图通过解码器输出的量化参数图(qp图)获得，所述量化参数越大对应的压缩噪声越大。因此，可以根据所述量化参数图中显示的量化参数的大小对压缩噪声进行相应的评估。所述量化参数图可以利用现有解码器直接获得，具体方式此处不再赘述。

于本发明的一实施例中，所述噪声等级分布图通过统计解码图像的局部特征获得。例如：可以利用局部窗或编码块内的均值、方差、动态范围等信息来估计压缩噪声水平。

于本发明的一实施例中，所述噪声等级分布图通过机器学习方式获得。例如，通过将不同噪声等级的图像及其对应的噪声等级作为训练数据对另一神经网络进行训练，并利用训练后的神经网络实现压缩噪声估计和画质预测。

请参阅图3，于本发明的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：

s31，获取多组数据作为第一训练数据；对于任一组数据，其包含一属于所述分组的带压缩噪声的低分辨率图像对应的高维拼接图像，以及该带压缩噪声的低分辨率图像对应的无压缩噪声的高分辨率图像。其中，所述低分辨率图像及其对应的高分辨率图像可以从外部数据库得到，所述对应的高维拼接图像可以通过步骤s132得到。

于本实施例中，每个分组对应一组第一训练数据。对于任意分组，其对应的第一训练数据中所有低分辨率图像的内容统计特性和噪声水平均与该分组相匹配，即：该第一训练数据中所有的低分辨率图像根据步骤s11和步骤s12的分组方式均属于该分组。

s32，利用所述第一训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。

于本实施例中，每个分组对应一组第一训练数据并对应一个机器学习模型。通过利用所述第一训练数据对一机器学习模型进行训练即可获得所述分组对应的机器学习模型。训练完成后，各分组相应的机器学习模型对于该分组中的低分辨率图像能够同时实现超分辨率重建和压缩噪声去除，避免了现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果较差的问题。

于本发明的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：对所述视频图像进行噪声估计，获取对应的噪声等级分布图；将所述视频图像及其对应的噪声等级分布图作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。

于本实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：获取多组数据作为第三训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像、该带压缩噪声的低分辨率图像对应的噪声等级分布图以及对应的无压缩噪声的高分辨率图像；利用所述第三训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。所述低分辨率图像及其对应的高分辨率图像可以从外部数据库获得，对应的噪声等级分布图可以由步骤s131获得。

请参阅图4，于本发明的一实施例中，根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组的一种实现方法包括：

s121，获取所述视频图像的信号特征以及噪声水平；所述视频图像的信号特征例如像素点的空域局部特性，用于反映所述视频图像的局部特性；

s122，根据内容统计特性对所述视频图像进行分类，获得至少一类图像。

由于播放视频内容的多样性，在不提升模型复杂度的前提下需要根据视频的统计特性将视频按内容统计特性预先进行分类。于本实施例中，所述内容统计特性可以为以下参数的取值：图像的信息量、灰度平均值、灰度众数、灰度中值、梯度和/或方差，也可以为上述参数的最大值和/或平均值等。根据以上统计特性可以将视频图像划分成多个分类，例如：由于计算机图形图像(computergraphicimage，cgi)相较于自然场景图像(naturalsceneimage，nsi)具有更多的无噪声平坦区域、更锐利的文字和边缘等特性；而图像区域的平坦程度可以通过方差的最大值和平均值来表征，文字的锐利程度和边缘特性可以通过梯度来表征；因此，根据视频图像的方差和梯度特性可以将视频图像划分成自然场景图像、计算机图形图像两类。在实际应用中，可以根据视频的具体内容统计特性将视频图像划分成建筑、人脸、自然景物等分类。

特别地，若所有视频图像的内容统计特性相同或相差不大时，可以根据实际需求将所述视频图像根据内容统计特性划分为一类图像。

s123，根据噪声水平对各类图像进行二次分类，获得至少一个子类；

视频压缩导致的信息丢失容易在图像中产生块效应、振铃噪声、蚊虫噪声等。于本实施例中将视频图像的噪声水平作为分组过程的依据，具体地：根据视频图像的噪声水平对分类后的视频图像再次进行分类，获得至少一个分组。例如，若步骤s122将视频图像分成了cgi和nsi两类图像，则步骤s123中分别对cgi图像和nsi图像进行以噪声水平为依据的二次分类，获得高噪声cgi图像、低噪声cgi图像、高噪声nsi图像以及低噪声nsi图像4个子类。

特别地，当一类图像包含的所有视频图像噪声水平相差不大时，可以根据实际需求将该类图像中的所有图像作为一个子类。

优选地，对于各类图像均划分成相同数量的子类。

s124，根据信号特征对各子类进行再次分类，获得至少一个分组。

于本步骤中，通过对所述视频图像进行空域或频域分析，提取出信号特征以便于对各子类中的图像进行再次分类。例如：通过判断像素的局部梯度特性、亮度方差、频带宽度等，可以将像素分为平坦、弱纹理、边缘等分组；也可以通过对所述信号特征的分析获取图像的边缘方向信息。又比如，若步骤s123中将图像划分成高噪声cgi图像、低噪声cgi图像、高噪声nsi图像以及低噪声nsi图像4个子类，则在本步骤中可以根据信号特征对各子类再次进行分类，获得平坦高噪声cgi图像、弱纹理高噪声cgi图像、平坦低噪声cgi图像、弱纹理低噪声cgi图像、平坦高噪声nsi图像、弱纹理高噪声nsi图像、平坦低噪声nsi图像以及弱纹理低噪声nsi图像共8个分组。

优选地，对各子类划分成数量相同的分组。

于本发明的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：将所述视频图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。

请参阅图5，于本发明的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：

s51，获取多组数据作为第二训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像以及对应的无压缩噪声的高分辨率图像。其中，所述低分辨率图像及其对应的高分辨率图像可以从外部数据库得到，每组数据均包含一个“lr图-hr图”映射关系。于本实施例中，每个分组对应一组第二训练数据。对于任意分组，其对应的第二训练数据中所有lr图像的内容统计特性和噪声水平均与该分组相匹配，即：该第二训练数据中所有的lr图像根据步骤s11和步骤s12的分组方式均属于该分组。

s52，利用所述第二训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。

于本实施例中，每个分组对应一个机器学习模型。通过利用所述第二训练数据对一机器学习模型进行训练即可获得所述分组对应的机器学习模型。训练完成后，各分组相应的机器学习模型对于该分组中的低分辨率图像能够同时实现超分辨率重建和压缩噪声去除，避免了现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果较差的问题。

于本发明的一实施例中，所述机器学习模型为神经网络模型。

神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成，每个节点代表一种特定的输出函数，称为激励函数；每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重；网络的输出则依据网络的连接方式，权重值和激励函数的不同而不同。神经网络通过适当的训练即可形成一套完整的网络结构，此后对于任一输入都可以通过该网络结构获得相应的输出。

优选地，于本实施例中所用神经网络模型为carn(cascadingresidualnetwork，级联残差网络)或rcan(residualchannelattentionnetworks，残差通道注意力网络)。

请参阅图6a，于本发明的一实施例中，对所述神经网络进行训练的步骤包括：

s61a，获取视频图像的内容统计特性并根据所述内容统计特性对所述视频图像进行分类，获得多个分组；所述内容统计特性例如梯度、方差等；

s62a，对所述视频图像进行噪声评估获得对应的噪声等级分布图；所述噪声等级分布图可以通过解码器输出的qp获得，也可以通过统计解码图像的局部特征获得，还可以通过神经网络获得；

s63a，将所述噪声等级分布图与所述视频图像进行通道拼接，获得对应的高维拼接图像；

s64a，对于每一分组，利用所述高维拼接图像以及对应的高分辨率图像对一神经网络模型进行训练，获得该分组对应的神经网络模型。所述神经网络的训练可以通过现有训练方法获得，例如：通过反向传播训练模型实现对神经网络的训练。

请参阅图6b，于本实施例中对于任一带有压缩噪声的lr图像进行超分辨率重建的实现方法包括：

s61b，获取所述lr图像的内容统计特性并根据所述内容统计特性确定所述lr图像所属的分组；

s62b，对所述lr图像进行噪声评估并获得对应的噪声等级分布图；

s63b，将所述噪声等级分布图与所述lr图像进行通道拼接，获得对应的高维拼接图像；

s64b，根据所述lr图像所属的分组选择相应的神经网络模型；

s65b，将所述lr图像对应的高维拼接图像作为步骤s64b选择的神经网络模型的输入，所述神经网络模型的输出即为所述lr图像对应的高分辨率图像。

优选地，上述神经网络为carn、rcan等。实验表明，通过采用适合的训练数据，上述神经网络结构不仅能够优化超分辨率效果还可以同时实现去除压缩噪声。本实施例中所述基于机器学习的超分辨率方法中用到的神经网络数量为n，其中n为按照内容统计特性对视频图像进行分类获得的分组数量。

请参阅图7a，于本发明的一实施例中，对所述神经网络进行训练的步骤包括：

s71a，获取视频图像的内容统计特性、噪声水平以及信号特征；

s72a，根据所述视频图像的内容统计特性、噪声水平以及信号特征对所述视频图像进行分类，获得至少一个分组；

s73a，对于每一分组，利用该分组中的视频图像及其对应的高分辨率图像对一神经网络模型进行训练，获得该分组对应的神经网络模型。所述神经网络的训练可以通过已有训练方法获得，例如：通过反向传播训练模型实现对神经网络的训练，所述视频图像及其对应的高分辨率图像可以从外部数据库中获得。

请参阅图7b，于本实施例中，对于任一带有压缩噪声的lr图像进行超分辨率重建的实现方法包括：

s71b，获取所述lr图像的内容统计特性、噪声水平以及信号特征；所述噪声水平可以通过噪声等级来表征，例如：可以将所述噪声划分成0-8级；

s72b，根据所述lr图像的内容统计特性、噪声水平以及信号特征确定所述lr图像所属的分组；

s73b，根据所述lr图像所属的分组选择相应的神经网络模型；

s74b，将所述lr图像作为步骤s73b选择的神经网络模型的输入，所述神经网络模型的输出即为所述lr图像对应的高分辨率图像。

本实施例无需所述lr图像与噪声等级分布图在第三维度的拼接，减少了图像拼接处理的操作。但是本实施例中需要根据所述lr图像的内容统计特性、噪声水平以及信号特征对所述lr图像进行分类，获得的分组较多，每个分组对应一个神经网络模型，致使本实施例中算法复杂度提升，运算速度相对较慢。

于本实施例中，对视频图像的分类综合考虑了所述视频图像的全局特征、噪声水平以及局部特征(像素级特征)，因此所述分类结果能够充分反映各宏块的压缩噪声水平，从而对实际在线视频的压缩情况进行模拟。

于本发明的一实施例中，所述机器学习模型为多个滤波器组。

请参阅图8a，于本发明的一实施例中，对所述滤波器组进行训练的步骤包括：

s81a，获取视频图像的内容统计特性、噪声水平以及信号特征；所述噪声水平可以通过噪声等级来表征，例如：可以将所述噪声划分成0-8级；

s82a，根据所述视频图像的内容统计特性、噪声水平以及信号特征对所述视频图像进行分类，获得至少一个分组；

s83a，对于每一分组，利用该分组中的视频图像及其对应的高分辨率图像对多个滤波器组进行训练，获得该分组对应的滤波器组模型。

请参阅图8b，于本实施例中，对于任一带有压缩噪声的lr图像进行超分辨率重建的实现方法包括：

s81b，获取所述lr图像的内容统计特性、噪声水平以及信号特征；

s82b，根据所述lr图像的内容统计特性、噪声水平以及信号特征确定所述lr图像所属的分组；

s83b，根据所述lr图像所属的分组选择相应的滤波器组模型；

s84b，将所述lr图像作为步骤s83b选择的滤波器组模型的输入，所述滤波器组模型的输出即为所述lr图像对应的高分辨率图像。

相对于神经网络模型，滤波器组模型结构更加简单且训练和运算速度更快。但是由于本实施例中对视频图像进行分类时综合考虑了内容统计特性、噪声水平以及信号特征，因此分类更细，分类后获得的分组更多，故本实施例中需要存储较多的滤波器分组。此外，由于本实施例中分组时考虑了视频图像的局部特征(噪声水平以及信号特征)，致使同一视频图像内相邻像素可能位于不同的分组，从而导致相邻像素可能需要采用不同的滤波器模型。当相邻像素采用不同滤波器模型时需要在不同模型间切换，这种切换可能会导致画面的不连续性。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明所述的基于机器学习的超分辨率方法。

请参阅图9，本发明还提供一种基于机器学习的超分辨率系统，所述基于机器学习的超分辨率系统900包括：

噪声估计模块910，用于实现步骤s131，即对所述视频图像进行噪声估计，获取对应的噪声等级分布图；

图像拼接模块920，与所述噪声估计模块910相连，用于实现步骤s132，即：将所述视频图像与对应的噪声等级分布图进行通道拼接，获得对应的高维拼接图像；

内容统计特性获取模块930，用于实现步骤s11，即：获取所述视频图像的内容统计特性；

分类模块940，与所述内容统计特性获取模块930相连，用于根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；

模型切换模块950，与所述分类模块940相连，用于实现步骤s13中根据所述视频图像所属的分组并结合视频图像的噪声统计特性选择相应的机器学习模型；

机器学习模块960，与所述图像拼接模块920、所述模型切换模块950分别相连，用于调用所述相应的机器学习模型实现步骤s13中所述对所述视频图像进行超分辨率重建，获得对应的高分辨率图像。

请参参阅图10，本发明还提供一种基于机器学习的超分辨率系统，其特征在于，所述基于机器学习的超分辨率系统1000包括：

噪声估计模块1010，用于实现步骤s121中获取所述视频图像的噪声水平；

内容统计特性获取模块1020，用于实现步骤s11，即：获取视频图像的内容统计特性；

信号特征获取模块1030，用于s121中获取所述视频图像的信号特征；

分类模块1040，与所述噪声估计模块1010、所述内容统计特性获取模块1020和所述信号特征获取模块1030分别相连，用于实现步骤s12，根据所述视频图像的噪声水平、内容统计特性和/或信号特征对所述视频图像进行分类，获得至少一个分组；

模型切换模块1050，与所述分类模块1050相连，用于实现步骤s13中根据所述视频图像所属的分组并结合视频图像的噪声统计特性选择相应的机器学习模型；

机器学习模块1060，与所述模型切换模块1060相连，用于调用所述相应的机器学习模型实现步骤s13中对所述视频图像进行超分辨率重建，获得对应的高分辨率图像。

本发明所述的基于机器学习的超分辨率方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本发明还提供一种基于机器学习的超分辨率方法系统，所述基于机器学习的超分辨率系统可以实现本发明所述的基于机器学习的超分辨率方法，但本发明所述的基于机器学习的超分辨率方法的实现装置包括但不限于本实施例列举的基于机器学习的超分辨率系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

于本发明中，通过采用机器学习模型将超分辨率重建和去压缩噪声两步合并在一起处理，无需对超分辨率重建和去压缩噪声分别进行训练学习和测试，能够实现对神经网络结构或滤波器组的复用，减少了运算量；

于本发明中能够同时实现超分辨率重建和去压缩噪声，相对于传统超分辨率方法来说得到的画质显著提高，不仅消除了图像放大引入的混叠和边缘锯齿，还能够抑制视频压缩量化导致的振铃噪声，减少了图像放大引起的噪声恶化；

于本发明中通过采用机器学习同时实现超分辨率重建和去压缩噪声，通过调整相应的训练数据即可在添加高频细节的超分辨率重建和滤除高频振铃噪声之间进行自适应平衡；

于本发明中依据图像的统计特性将视频图像按内容统计特性分类，并根据分类结果选取对应的机器学习模型，通过对不同内容的视频图像分别建立机器学习模型并进行超分辨率重建使得输出的无噪hr图像画质更高；

于本发明中对视频图像进行分类是还考虑了所述视频图像的压缩噪声水平和局部信号特征，并通过ai学习的方式确定神经网络的权重或滤波器组的系数，不仅提高了各种画质下视频超分辨率的鲁棒性，而且能够避免播放时反复载入多个不同网络模型或滤波器组模型的问题，减少了硬件所需的存储空间，同时提高了播放效率；

于本发明中可以采用三种方式进行压缩噪声估计，包括：通过解码器输出的qp图获得；通过统计解码图像的局部特征获得；通过学习不同噪声等级的训练图像，利用神经网络实现压缩噪声估计和画质预测；实际运用中可以根据具体情况选择相应的压缩噪声估计方式，灵活性高。

综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。