视频处理方法、装置、存储介质及设备与流程

1.本技术涉及视频处理技术领域，具体涉及一种视频处理方法、装置、存储介质及设备。


背景技术：

2.近年来，随着5g的发展及应用，人们对音视频通信的品质要求在不断提高。习惯了高清视觉享受的用户，显然无法接受退回“马赛克时代”。然而，在全球互联网通信云服务中，面对网络和终端的丰富多样和复杂多变，又难免遇到用户带宽不足的情况，因此通常会将视频进行下采样，然后使用视频压缩算法对视频进行压缩，而编码压缩会不可避免地带来量化损失，导致解码后视频存在严重失真。如何在接收端对这些退化的视频进行画质重建，是一个重大挑战，接收端最后获得的高分辨率视频的质量很大程度上依赖于超分算法的选择。
3.随着深度学习技术的快速发展，超分辨技术在图像恢复和图像增强等领域展现出广阔的应用前景，成为计算机视觉领域的研究热点，受到学术界和工业界的关注和重视。但是，这些超分算法采用的训练数据无法覆盖所有视频场景，并且退化核基本固定，无法根据图像中的不同内容自适应产生不同的变化，导致超分效果较差，因此怎样解决数据集不足，提高超分网络模型泛化能力以及提高超分效果是急需解决的问题。
4.其中，退化核用于表示视频劣化的原因，比如分辨率缩小，模糊等。


技术实现要素：

5.本技术实施例提供一种视频处理方法、装置、存储介质、设备及程序产品，可以针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，提高了超分网络的超分效果。
6.一方面，本技术实施例提供一种视频处理方法，应用于超分网络，所述方法包括：从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
7.另一方面，本技术实施例提供一种视频处理装置，应用于超分网络，所述装置包
括：获取单元，用于从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；处理单元，用于根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；确定单元，用于根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；更新单元，用于根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；重建单元，用于根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
8.另一方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的视频处理方法。
9.另一方面，本技术实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的视频处理方法。
10.另一方面，本技术实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的视频处理方法。
11.本技术实施例通过从待处理视频数据中获取高分辨率训练视频，待处理视频数据至少包括直播视频流和点播视频流中的一种；根据高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，重建低分辨率样本视频为低分辨率样本视频对应的有损视频内容；根据重建低分辨率样本视频与高分辨率样本视频确定超分网络的网络参数的变化值，网络参数的变化值用于学习重建低分辨率样本视频的损失信息；根据网络参数的变化值更新超分网络的网络参数，以得到参数更新后的超分网络；根据参数更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成目标低分辨率视频对应的目标高分辨率视频。本技术实施例通过根据不同的视频内容确定超分网络的网络参数的变化值，该网络参数的变化值用于学习编解码过程中的损失信息，并基于该变化值更新超分网络的网络参数，然后利用更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建进行超分辨重建，可以针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，提高了超分网络的超分效果。
附图说明
12.图1本技术实施例提供的视频处理方法的流程示意图。
13.图2为本技术实施例提供的超分网络的结构示意图。
14.图3为本技术实施例提供的超分辨率模块的结构示意图。
15.图4为本技术实施例提供的目标卷积层的结构示意图。
16.图5为本技术实施例提供的视频处理方法的应用场景示意图。
17.图6为本技术实施例提供的视频处理装置的结构示意图。
18.图7为本技术实施例提供的计算机设备的结构示意图。
具体实施方式
19.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.本技术实施例提供一种视频处理方法、装置、存储介质、设备及程序产品。具体地，本技术实施例的视频处理方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备，终端还可以包括客户端，该客户端可以是视频客户端、浏览器客户端、即时通信客户端或小程序等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。
21.本技术实施例可应用于视频处理、图像处理、图像恢复、图像增强、人工智能、智慧交通等各种场景。
22.首先，在对本技术实施例进行描述的过程中出现的部分名词或者术语作如下解释：人工智能(artificial intelligence，ai)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
23.智慧交通是在整个交通运输领域充分利用物联网、空间感知、云计算、移动互联网等新一代信息技术，综合运用交通科学、系统方法、人工智能、知识挖掘等理论与工具，以全面感知、深度融合、主动服务、科学决策为目标，通过建设实时的动态信息服务体系，深度挖掘交通运输相关数据，形成问题分析模型，实现行业资源配置优化能力、公共决策能力、行业管理能力、公众服务能力的提升，推动交通运输更安全、更高效、更便捷、更经济、更环保、更舒适的运行和发展，带动交通运输相关产业转型、升级。
24.本技术实施例针对目前基于ai的超分辨方法所存在的瓶颈，提供了一种视频处理方法、装置、存储介质、设备及程序产品，本技术实施例通过根据不同的视频内容确定超分网络的网络参数的变化值，该网络参数的变化值用于学习编解码过程中的损失信息，并基于该变化值更新超分网络的网络参数，然后利用更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建进行超分辨重建，可以针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，在保持超分算法性能不变的前提下，提高了
超分网络的超分效果。
25.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
26.本技术各实施例提供了一种视频处理方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本技术实施例以视频处理方法由服务器执行为例来进行说明。
27.请参阅图1至图5，图1为本技术实施例提供的视频处理方法的流程示意图，图2为本技术实施例提供的超分网络的结构示意图，图3为本技术实施例提供的超分辨率模块的结构示意图，图4为本技术实施例提供的目标卷积层的结构示意图，图5为本技术实施例提供的视频处理方法的应用场景示意图。该方法应用于超分网络，该方法可以包括以下步骤110至步骤150。
28.步骤110，从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种。
29.例如，该方法应用于如图2所示的超分网络1，在传输视频前的准备阶段，可以先采用超分的数据集（比如任何公开数据集）训练超分网络1，得到超分网络1的初始网络参数，然后将初始网络参数传递给作为发送端的编码器10和作为接收端的解码器20，以用于初始化超分网络中的编码器10和解码器20。然后，可以在视频传输过程中对超分网络进行网络参数更新。
30.例如，该待处理视频数据可以至少包括直播视频流和点播视频流中的一种。
31.例如，该待处理视频数据为高分辨率视频，可以在该待处理视频数据的初始传输阶段，可以将该待处理视频数据的预设时段内的视频作为高分辨率训练视频，该高分辨率训练视频可以包括首帧视频图像至第n帧视频图像。例如，预设时段可以为1-30秒中的任意时段。比如预设时段为30秒，则高分辨率训练视频为该待处理视频数据在视频传输开始至30秒对应的视频。例如，若该待处理视频数据为直播视频流，则高分辨率训练视频为该直播视频流在直播开始至预设时段（比如30秒）对应的视频。例如，若该待处理视频数据为点播视频流，则高分辨率训练视频为该点播视频流在点播开始至预设时段（比如30秒）对应的视频。
32.步骤120，根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容。
33.在一些实施例中，所述根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，包括：对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频；对所述低分辨率样本视频进行编解码处理，得到重建低分辨率样本视频。
34.例如，对高分辨率样本视频（比如分辨率为1080p）进行退化处理，得到低分辨率样本视频（比如分辨率为480p），其中，退化处理包括但不限于压缩处理、下采样处理、加噪处理以及模糊处理等。
35.例如，对高分辨率样本视频中的每帧高分辨率样本帧进行压缩处理，得到每帧高分辨率样本帧对应的低分辨率样本帧，压缩处理后得到的所有低分辨率样本帧组成该低分辨率样本视频。
36.例如，对高分辨率样本视频中的每帧高分辨率样本帧进行下采样处理，得到每帧高分辨率样本帧对应的低分辨率样本帧，下采样处理后得到的所有低分辨率样本帧组成该低分辨率样本视频。例如，该下采样处理为高分辨率样本视频中的每帧高分辨率样本帧进行n倍下采样，n倍下采样可以为每n个像素抽取一个像素；比如，高分辨率样本帧的分辨率为wxh,对其进行n倍下采样得到(w/n)x(h/n)分辨率的低分辨率样本帧，其中，n是m和n的公约数。例如，该下采样处理还可以为dct域下采样处理。
37.例如，对高分辨率样本视频中的每帧高分辨率样本帧进行加噪处理，得到每帧高分辨率样本帧对应的低分辨率样本帧，加噪处理后得到的所有低分辨率样本帧组成该低分辨率样本视频。
38.例如，对高分辨率样本视频中的每帧高分辨率样本帧进行模糊处理，得到每帧高分辨率样本帧对应的低分辨率样本帧，模糊处理后得到的所有低分辨率样本帧组成该低分辨率样本视频。例如，图像模糊的本质是过滤高频信号、保留低频信号的过程，可以基于图像的高斯模糊进行模糊处理，图像的高斯模糊过程即图像与正态分布做卷积。
39.例如，可以对高分辨率样本视频中的每帧高分辨率样本帧通过运动、平移等进行运动变换处理，然后再对运动变换处理后的样本帧进行模糊处理，然后对模糊处理后的样本帧进行下采样处理，还可以对下采样处理后的样本帧进行加噪处理，以得到每帧高分辨率样本帧对应的低分辨率样本帧，所有低分辨率样本帧组成该低分辨率样本视频。
40.在一些实施例中，所述超分网络包括编码器和解码器，所述编码器包括退化模块、第一视频编码模块、第一视频解码模块和模型编码模块，所述解码器包括第二视频解码模块、模型解码模块和超分辨率模块；所述对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频，包括：根据所述编码器的退化模块对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频。
41.如图2所示，超分网络1包括编码器10和解码器20，编码器10包括退化模块11、第一视频编码模块12、第一视频解码模块13和模型编码模块14，解码器20包括第二视频解码模块21、模型解码模块22和超分辨率模块23。
42.例如，根据编码器10的退化模块11对高分辨率样本视频进行退化处理，得到低分辨率样本视频。该退化模块11可以实现压缩处理、下采样处理、加噪处理以及模糊处理中的任一种或多种。
43.在一些实施例中，所述对所述低分辨率样本视频进行编解码处理，得到重建低分辨率样本视频，包括：根据所述编码器的第一视频编码模块对所述低分辨率样本视频进行编码压缩处理以生成视频数据流；根据所述编码器的第一视频解码模块对所述视频数据流进行解码处理，得到第一重建低分辨率样本视频；将所述视频数据流发送至所述解码器中的第二视频解码模块进行解码处理，得到第二重建低分辨率样本视频。
44.例如，根据编码器10的第一视频编码模块12对低分辨率样本视频进行编码压缩处理以生成视频数据流，其中，在编码压缩过程中会不可避免地带来量化损失，相当于视频数
据流是对低分辨率样本视频的有损压缩。然后，根据编码器10的第一视频解码模块13对视频数据流进行解码处理，得到第一重建低分辨率样本视频，其中，由于视频数据流是对低分辨率样本视频的有损压缩，因此进行解码处理得到的第一重建低分辨率样本视频可以为低分辨率样本视频对应的有损视频内容。其中，还将视频数据流发送至解码器20中的第二视频解码模块21进行解码处理，得到第二重建低分辨率样本视频，其中，由于视频数据流是对低分辨率样本视频的有损压缩，因此解码处理得到的第二重建低分辨率样本视频也可以为低分辨率样本视频对应的有损视频内容。其中，第一视频解码模块13与第二视频解码模块21可以具有相同的网络参数，理想情况下第二重建低分辨率样本视频与第一重建低分辨率样本视频可以为相同的视频。但是由于视频编解码过程不是无损的，因此，解码器20的第二视频解码模块21输出的第二视频解码模块21可能不会完全匹配编码器10的第一视频解码模块13输出的第一重建低分辨率样本视频。
45.步骤130，根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息。
46.在一些实施例中，所述根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，包括：将所述高分辨率样本视频与所述第一重建低分辨率样本视频输入所述编码器的模型编码模块中进行编码处理以生成模型数据流，并将所述模型数据流发送至所述解码器中的模型解码模块；根据所述模型解码模块对所述模型数据流进行解码处理，得到所述第一重建低分辨率样本视频对应的初始网络参数；将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建，以生成重建高分辨率样本视频；根据所述重建高分辨率样本视频与所述高分辨率样本视频之间的均方误差值对所述超分网络进行迭代训练，并从所述初始网络参数中选择出在迭代训练中变化幅度最大的预设百分比的目标参数作为待更新参数，以对所述待更新参数进行数据更新以得到所述超分网络的网络参数的变化值。
47.例如，将高分辨率样本视频（比如分辨率为1080p）与第一重建低分辨率样本视频（比如分辨率为480p）输入编码器10的模型编码模块14中进行编码处理以生成模型数据流，并将模型数据流发送至解码器20中的模型解码模块22。然后根据模型解码模块22对模型数据流进行解码处理，得到第一重建低分辨率样本视频对应的初始网络参数。然后，将初始网络参数与第二重建低分辨率样本视频（比如分辨率为480p）输入超分辨率模块23进行超分辨率重建，以生成重建高分辨率样本视频（比如分辨率为1080p）。然后，根据重建高分辨率样本视频与高分辨率样本视频之间的均方误差值对超分网络进行迭代训练，并从初始网络参数中选择出在迭代训练中变化幅度最大的预设百分比的目标参数作为待更新参数，以对待更新参数进行数据更新以得到超分网络的网络参数的变化值。
48.例如，通过超分辨率模块23对第二重建低分辨率样本视频中的每个第二重建低分辨率样本帧进行上采样。其中，可以将输入超分辨率模块23的第二重建低分辨率样本视频分成n个固定长度的视频片段，每个视频片段有τ秒长(例如，τ= 5)。对于每一个视频片段t
∈{0，
…
，n-1}，通过训练超分辨率模块23将每个视频分段内的第二重建低分辨率样本帧映射到重建高分辨率样本视频中对应的重建高分辨率样本帧。设θ
t
表示对视频片段t进行训练获得的网络参数。其中，在视频片段t的训练过程中将网络参数初始化为θ
t-1
。将网络参数θ
t
的视频片段t编码为t∈{0，
…
，n-1}。从初始网络参数θ0开始，对后续的网络参数的变化值变化进行编码，例如，视频片段t对应的网络参数的变化值
△
t
=θ
t-θ
t-1
。可以每τ秒更新一次网络参数，使用网络参数θ
t-1
找到θ
t = θ
t-1
+
△
t
。
49.例如，根据重建高分辨率样本视频与高分辨率样本视频之间的均方误差值对超分网络1进行迭代训练。例如，对于视频片段t对应的重建高分辨率样本视频，基于该均分误差值确定损失函数l(θ
t
)，可以表示为如下公式（1）：（1）；其中，|f
t
|表示视频片段t对应的帧数，每帧有n个像素，y
ij
和x
ij
分别表示视频片段t对应的重建高分辨率样本视频和高分辨率样本视频的第j帧中第i像素的值。
50.其中，为了减小传输网络参数的带宽，可以在训练过程中只更新一小部分的网络参数，即从网络参数中选择出在迭代训练中变化幅度最大的预设百分比的目标参数作为待更新参数，比如预设百分比为1%，其中，变化幅度最大可以理解为是梯度最大。
51.例如，在一个新的训练段开始时保存一个网络参数的副本（比如，初始训练时保存的是初始网络参数），并对新训练阶段中第二重建低分辨率样本视频的所有帧进行一次迭代训练。然后，选择在本次迭代训练的网络参数中变化幅度最大的预设百分比的目标参数作为待更新参数，后续训练过程中只对待更新参数进行更新，并放弃对网络参数中其余部分参数的更新，即保持其余部分参数不变。比如，基于该均分误差值确定损失函数l(θ
t
)对待更新参数进行数据更新以得到超分网络的网络参数θ
t
，根据上一次迭代训练得到的网络参数θ
t-1
，确定网络参数的变化值
△
t
=θ
t-θ
t-1
，其中，网络参数的变化值用于学习重建低分辨率样本视频的损失信息。
52.在一些实施例中，所述超分辨率模块包括特征提取模块和重建模块，其中，所述特征提取模块包含有预训练的目标卷积层，所述预训练的目标卷积层为采用面向边缘的多分支卷积块进行预训练后转换得到的3x3的卷积层；所述将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建，以生成重建高分辨率样本视频，包括：根据所述初始网络参数调整所述超分辨率模块，并基于调整后的超分辨率模块中的特征提取模块提取所述第二重建低分辨率样本视频的样本特征图，所述样本特征图包含有所述第二重建低分辨率样本视频中各帧图像的纹理信息和边缘信息；基于调整后的超分辨率模块中的重建模块对所述样本特征图进行处理，以生成重建高分辨率样本视频。
53.例如，如图3所示，超分辨率模块23包括特征提取模块231和重建模块232，其中，特征提取模块231可以包含有多个预训练的目标卷积层2311，预训练的目标卷积层2311为采用面向边缘的多分支卷积块进行预训练后转换得到的3x3的卷积层。重建模块232可以基于上采样插值或者亚像素卷积或者反卷积对样本特征图进行处理，以生成重建高分辨率样本视频。
54.例如，为了在不增加网络开销的基础上进一步提高网络性能，可以考虑第二重建低分辨率样本视频中视频帧图像的底层视觉特征，因此特征提取模块231中引入了可以提取视频帧图像的纹理信息和边缘信息的预训练的目标卷积层2311，在训练阶段采用面向边缘的多分支卷积块代替特征提取模块231中的普通卷积层，在推理阶段将面向边缘的卷积块转换为普通的3x3卷积层作为预训练的目标卷积层2311，可以更高效地提取第二重建低分辨率样本视频中视频帧图像的纹理信息和边缘信息，在不增加网络开销的同时提升了网络性能。
55.例如，根据初始网络参数调整超分辨率模块23，并基于调整后的超分辨率模块23的特征提取模块231提取第二重建低分辨率样本视频的样本特征图，具体为，第二重建低分辨率样本视频经过特征提取模块231中的多个预训练的目标卷积层2311进行处理后提取出第二重建低分辨率样本视频的样本特征图，样本特征图包含有第二重建低分辨率样本视频中各帧图像的纹理信息和边缘信息。然后，基于调整后的超分辨率模块23中的重建模块232对样本特征图进行上采样插值、亚像素卷积、反卷积中的至少一种处理，以生成重建高分辨率样本视频。
56.在一些实施例中，在所述将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建之前，还包括：采用面向边缘的多分支卷积块对所述特征提取模块中的目标卷积层进行预训练。
57.例如，在训练阶段，目标卷积层可以采用面向边缘的多分支卷积块提取特征，面向边缘的多分支卷积块可以包含常规3
×
3卷积块（conv-3
×
3）、1
×
1卷积块（conv-1
×
1）、一阶边缘信息与二阶边缘信息；在推理阶段，上述多个并行操作可以折叠为单个3
×
3卷积块（conv-3
×
3）。预训练的目标卷积层可视作一种提升常规3
×
3卷积块的性能的“即插即用”的模块，且不会引入额外的推理消耗。
58.在一些实施例中，所述采用面向边缘的多分支卷积块对所述特征提取模块中的目标卷积层进行预训练，包括：通过3x3的第一卷积块的第一卷积算子对低分辨率训练图像进行处理，得到第一图像特征；通过1x1的第二卷积块的第二卷积算子对所述低分辨率训练图像经过通道数扩展，并通过3x3的第三卷积块的第三卷积算子，对所述通道数扩展后的低分辨率训练图像进行压缩卷积，以得到压缩特征；通过1x1的第四卷积块的第四卷积算子对所述低分辨率训练图像进行处理后，再基于预先设定的横向索贝尔算子提取所述低分辨率训练图像的一阶边缘信息中的横向边缘信息；通过3x3的第五卷积块的第五卷积算子对所述低分辨率训练图像进行处理后，再基于预先设定的纵向索贝尔算子提取所述低分辨率训练图像的一阶边缘信息中的纵向边缘信息；通过1x1的第六卷积块的第六卷积算子对所述低分辨率训练图像进行处理后，再基于预先设定的拉普拉斯算子提取所述低分辨率训练图像的二阶边缘信息；根据所述第一图像特征、所述压缩特征、所述一阶边缘信息中的横向边缘信息和纵向边缘信息、所述二阶边缘信息，确定所述低分辨率训练图像的第一低分辨特征图；
根据所述第一卷积算子、所述第二卷积算子、所述第三卷积算子、所述第四卷积算子、所述横向索贝尔算子、所述第五卷积算子、所述纵向索贝尔算子、所述第六卷积算子和所述拉普拉斯算子，确定所述目标卷积层的目标卷积算子；通过所述目标卷积层的目标卷积算子对所述低分辨率训练图像进行处理，得到所述低分辨率训练图像的第二低分辨特征图；当所述第一低分辨特征图与所述第二低分辨特征图满足于训练条件时停止训练，以得到预训练的目标卷积层，以使所述预训练的目标卷积层提取的特征图包含有图像的纹理信息和边缘信息。
59.例如，如图4所示，在训练阶段，目标卷积层41中通过3x3的第一卷积块411（conv-3
×
3）的第一卷积算子对低分辨率训练图像进行处理，得到第一图像特征。例如，第一图像特征可以表示为如下公式（2）：fn=kn∗
x+bn（2）；其中，fn表示第一图像特征；x表示低分辨率训练图像；kn表示3x3的第一卷积块411的第一卷积算子的权重；bn表示3x3的第一卷积块411的第一卷积算子的偏差。
60.然后，通过1x1的第二卷积块412（conv-1
×
1）的第二卷积算子对低分辨率训练图像经过通道数扩展，并通过3x3的第三卷积块413（conv-3
×
3）的第三卷积算子，对通道数扩展后的低分辨率训练图像进行压缩卷积，以得到压缩特征。例如，压缩特征可以表示为如下公式（3）：f
es
=ks∗
(ke∗
x+be)+bs（3）；其中，f
es
表示压缩特征；x表示低分辨率训练图像；ke表示1x1的第二卷积块412（conv-1
×
1）的第二卷积算子进行通道数扩展的权重，be表示1x1的第二卷积块412（conv-1
×
1）的第二卷积算子进行通道数扩展的偏差；ks表示3x3的第三卷积块413（conv-3
×
3）的第三卷积算子进行压缩卷积的权重，bs表示3x3的第三卷积块413（conv-3
×
3）的第三卷积算子进行压缩卷积的偏差。
61.然后，通过1x1的第四卷积块414（conv-1
×
1）的第四卷积算子对低分辨率训练图像进行处理后，再基于预先设定的横向索贝尔算子415（sobel-dx）提取低分辨率训练图像的一阶边缘信息中的横向边缘信息；然后，通过3x3的第五卷积块416（conv-3
×
3）的第五卷积算子对低分辨率训练图像进行处理后，再基于预先设定的纵向索贝尔算子417（sobel-dy）提取低分辨率训练图像的一阶边缘信息中的纵向边缘信息。例如，一阶边缘信息中的横向边缘信息和纵向边缘信息可以表为如下公式（4）和公式（5）：f
dx
=(s
dx
⋅
dx)
⊗
(k
x
∗
x+b
x
)+b
dx
（4）；f
dy
=(s
dy
⋅
dy)
⊗
(ky∗
x+by)+b
dy
（5）；其中，f
dx
表示一阶边缘信息中的横向边缘信息；f
dy
表示一阶边缘信息中的纵向边缘信息；x表示低分辨率训练图像；在横向分支中，k
x
和b
x
分别表示1x1的第四卷积块414（conv-1
×
1）的第四卷积算子对应的权重和偏差，dx表示横向索贝尔算子，s
dx
和b
dx
分别表示横向的缩放尺度参数和偏差；在纵向分支中，ky和by分别表示3x3的第五卷积块416（conv-3
×
3）的第五卷积算子对应的权重和偏差，dy表示纵向索贝尔算子，s
dy
和b
dy
分别表示纵向的缩放尺度参数和偏差；
⊗
表示深度卷积(dwconv)，
∗
表示法向量卷积，
·
表示按信道广播乘法。
62.然后，通过1x1的第六卷积块418（conv-1
×
1）的第六卷积算子对低分辨率训练图像进行处理后，再基于预先设定的拉普拉斯算子419（laplacian）提取低分辨率训练图像的二阶边缘信息。例如，二阶边缘信息可以表为如下公式（6）：f
lap
=(s
lap
⋅dlap
)
⊗
(k
l
∗
x+b
l
)+b
lap
（6）；其中，f
lap
表示二阶边缘信息；x表示低分辨率训练图像；k
l
和b
l
分别表示1x1的第六卷积块418（conv-1
×
1）的第六卷积算子对应的权重和偏差；s
lap
和b
lap
分别表示深度卷积（dwconv）的比例因子和偏差；d
lap
表示laplacian拉普拉斯算子。
63.然后，根据第一图像特征fn、压缩特征f
es
、一阶边缘信息中的横向边缘信息f
dx
和纵向边缘信息f
dy
、二阶边缘信息f
lap
，确定低分辨率训练图像的第一低分辨特征图f。例如，第一低分辨特征图f可以表为如下公式（7）：f=fn+f
es
+f
dx
+f
dy
+f
lap
（7）。
64.然后，根据第一卷积算子{kn，bn}、第二卷积算子{ke，be}、第三卷积算子{ks，bs}、第四卷积算子{k
x
，b
x
}、横向索贝尔算子dx、第五卷积算子{ky，by}、纵向索贝尔算子dy、第六卷积算子{k
l
，b
l
}和拉普拉斯算子d
lap
，确定目标卷积层的目标卷积算子{k
rep
，b
rep }。例如，目标卷积算子{k
rep
，b
rep }可以表为如下公式（8）和公式（9）：k
rep
=kn+k
es
+perm(k
x
)
∗kdx
+perm(ky)
∗kdy
+perm(k
l
)
∗klap
（8）；b
rep
=bn+b
es
+(k
dx
∗
rep(b
x
)+b
dx
)+(k
dy
∗
rep(by)+b
dy
)+(k
lap
∗
rep(b
l
)+b
lap
)（9）。
65.其中，上述公式（8）和公式（9）中的k
es
和b
es
可以为第二卷积算子{ke，be}、第三卷积算子{ks，bs}合并为单个常规卷积后的卷积算子的权重和偏差，k
es
和b
es
表示为如下公式（10）和公式（11）：k
es
=perm(ke)
∗ks
（10）；b
es
=ks∗
rep(be)+bs（11）。
66.其中，上述公式（8）和公式（9）中的{ k
dx
，k
dy
，k
lap }可以基于横向索贝尔算子dx、纵向索贝尔算子dy、以及横向的缩放尺度参数s
dx
、纵向的缩放尺度参数s
dy
、拉普拉斯算子d
lap
，通过补零扩展为常规卷积，扩展方式可以描述为如下公式（12）：k
dx
[i,j,:,:]=(s
dx
⋅
dx)[i,j,:,:] and k
dx
[i,j,:,:]=0,i≠jk
dy
[i,j,:,:]=(s
dy
⋅
dy)[i,j,:,:] and k
dy
[i,j,:,:]=0,i≠jk
lap
[i,j,:,:]=(s
lap
⋅dlap
)[i,j,:,:] and k
lap
[i,j,:,:]=0,i≠j
ꢀꢀꢀ
（12）。
[0067]
然后，通过目标卷积层的目标卷积算子{k
rep
，b
rep }对低分辨率训练图像x进行处理，得到低分辨率训练图像x的第二低分辨特征图f’。例如，第二低分辨特征图f’可以表为如下公式（13）：f’=k
rep
∗
x+b
rep
（13）。
[0068]
其中，当第一低分辨特征图f与第二低分辨特征图f’满足于训练条件时停止训练，以得到预训练的目标卷积层，以使预训练的目标卷积层提取的特征图包含有图像的纹理信息和边缘信息。例如，图4中的预训练的目标卷积层42包含的3
×
3卷积块422（conv-3
×
3），是由上述目标卷积层41中的多分支卷积块进行预训练后折叠成的单个3
×
3卷积块（conv-3
×
3）。
[0069]
例如，该训练条件为第一低分辨特征图与第二低分辨特征图的相似度达到预设阈值，比如达到98%以上。
[0070]
步骤140，根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络。
[0071]
在一些实施例中，所述根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络，包括：基于所述网络参数的变化值更新所述编码器和所述解码器的网络参数，以使更新后的所述编码器和所述解码器具有相同的网络参数，以得到参数更新后的超分网络。
[0072]
其中，编码器10和解码器20在每次更新时都更新同一子集的参数。例如，在确定网络参数的变化值
△
t
后，会基于网络参数的变化值
△
t
更新编码器10和解码器20的网络参数，比如，更新之前的编码器10的网络参数和解码器20的网络参数均为θ
t-1
，更新后的网络参数θ
t = θ
t-1
+
△
t
，以使更新后的编码器10和解码器20具有相同的网络参数θ
t
，以得到参数更新后的超分网络。
[0073]
在一些实施例中，所述基于所述网络参数的变化值更新所述编码器和所述解码器的网络参数，包括：每隔预设时段重新确定所述网络参数的变化值，并基于重新确定的所述网络参数的变化值更新所述编码器和所述解码器的网络参数。
[0074]
此外，每隔5秒重新确定网络参数的变化值，并每5秒传输一次更新的网络参数，进一步减小了带宽。假设网络参数存储类型为float16（16bit），网络参数量为m=100*104，选取参数的比例η=0.1%，视频分割后时长τ= 5s，则传输网络参数的带宽为( 16 * m )
ꢀ∗
η bit/ τ = 1.6*10
5 bit/s≈2kb/s，增加的网络带宽基本可以忽略不计。
[0075]
步骤150，根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
[0076]
在一些实施例中，所述目标低分辨率视频至少包括传输的所述待处理视频数据中的低分辨率视频、传输的所述待处理视频数据中的高分辨率视频经过退化处理对应的低分辨率视频中的一种。
[0077]
例如，参数更新后的超分网络1，因基于网络参数的变化值更新了编码器10和解码器20的网络参数，使得参数更新后的超分网络1生成的目标高分辨率视频具备能够恢复视频编解码过程中的损失信息的能力。在后续应用阶段中，从待处理视频数据中获取的目标低分辨率视频，例如该目标低分辨率视频可以为传输的待处理视频数据中的低分辨率视频，也可以为传输的待处理视频数据中的高分辨率视频经过编码器10中的退化模块11进行退化处理得到的低分辨率视频。其中，参数更新后的编码器10的第一视频编码模块12对目标低分辨率视频进行编码处理得到目标视频数据流，然后参数更新后的编码器10的第一视频解码模块13对目标视频数据流进行解码处理得到的第一重建低分辨率视频，可以尽可能地恢复目标低分辨率视频在编码压缩成目标视频数据流的过程中损失的信息。
[0078]
其中，参数更新后的解码器20中的第二视频解码模块21对目标视频数据流进行解码处理得到的第二重建低分辨率视频，可以尽可能地恢复目标低分辨率视频在编码压缩成目标视频数据流的过程中损失的信息。
[0079]
其中，还将第一重建低分辨率视频输入参数更新后的编码器10的模型编码模块14中进行编码处理以生成目标模型数据流，并将目标模型数据流发送至参数更新后的解码器
20中的模型解码模块22进行解码得到更新后的网络参数，然后模型解码模块22将更新后的网络参数发送至超分辨率模块23，以调整超分辨率模块23。
[0080]
然后，基于调整后的超分辨率模块23中的特征提取模块231提取第二重建低分辨率视频的目标特征图，该目标特征图包含有第二重建低分辨率视频中各帧图像的纹理信息和边缘信息；并基于调整后的超分辨率模块23中的重建模块232对目标特征图进行处理，以生成目标低分辨率视频对应的目标高分辨率视频，以实现对目标低分辨率视频的超分辨率重建，使得重建后的目标高分辨率视频能够大幅提高视频超分效果。
[0081]
例如，在算法开销一样的前提下，本技术提供的方法相比较使用普通卷积层的方法，可以提高主观效果。如图5所示，图5中的（a）示意图是采用普通方法进行超分辨率重建得到的第一重建图片51，图5中的（b）示意图是采用本技术提供的方法进行超分辨率重建得到的第二重建图片52。通过对比，可以看出，（b）示意图中采用本技术提供的方法进行超分辨率重建得到的第二重建图片52的超分效果明显高于（a）示意图中采用普通方法进行超分辨率重建得到的第一重建图片51。特别是第二重建图片52中的区域521的超分效果明显高于（a）示意图中采用普通方法进行超分辨率重建得到的第一重建图片51中的区域511。
[0082]
本技术实施例所提出的内容自适应的视频超分辨方法，在直播视频场景或点播视频场景的超分辨上具有良好的效果，重建后的图像具有更好的主观视觉感受。其中，在直播点播领域中，在同等带宽情况下，可将传输解码后的目标低分辨率视频进行超分辨重建，具有更高清的效果。另一方面，也可以将传输的高分辨率视频进一步下采样压缩得到目标低分辨率视频，然后以较小码率传输，然后通过本技术实施例的超分技术进行复原，可以起到减少码率、节省带宽资源的作用。
[0083]
例如，在直播视频场景中，可以在直播视频流开始传输的前n秒进行超分网络的网络参数的更新处理，在更新完成后，再基于参数更新后的超分网络继续进行超分辨重建，并输出超分辨率重建结果（比如目标低分辨率视频对应的目标高分辨率视频），在后续传输过程中，还可以每隔预设时段重新确定网络参数的变化值，并基于重新确定的网络参数的变化值更新超分网络的网络参数，以实现边传输边更新的过程，以及时针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，进一步提高超分网络的超分效果。例如，可以在直播视频流开始传输的前n秒进行超分网络的网络参数的更新处理，在该前n秒的更新处理阶段，超分网络同样可以输出重建的超分视频，此时输出的前n秒直播视频流对应的超分视频可能跟普通方法输出的超分效果差不多。在超分网络的网络参数更新完成后，参数更新后的超分网络输出的第n秒之后直播视频流对应的超分视频（目标高分辨率视频）的超分效果明显优于普通方法输出的超分效果。
[0084]
例如，在点播视频场景中，可以在基于点播视频流先进行超分网络的网络参数的更新处理，在更新完成后保存参数更新后的超分网络。在用户触发该点播视频流的传输时，再调用参数更新后的超分网络对点播视频流进行超分辨重建，并输出超分辨率重建结果，以实现先更新再应用的过程。例如，在点播视频场景中，也可以实现边传输边更新的过程，处理过程可参考上述直播视频场景的处理过程，此处不再敷述。
[0085]
在本技术实施例中，可以利用不同视频的退化特征的不同，根据不同的视频内容自适应的采用不同的超分网络的网络参数，解决了训练数据集泛化能力不足的问题，在不增加网络开销的同时，可以大幅提高视频超分效果。
[0086]
上述所有的技术方案，可以采用任意结合形成本技术的可选实施例，在此不再一一赘述。
[0087]
本技术实施例通过从待处理视频数据中获取高分辨率训练视频，待处理视频数据至少包括直播视频流和点播视频流中的一种；根据高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，重建低分辨率样本视频为低分辨率样本视频对应的有损视频内容；根据重建低分辨率样本视频与高分辨率样本视频确定超分网络的网络参数的变化值，网络参数的变化值用于学习重建低分辨率样本视频的损失信息；根据网络参数的变化值更新超分网络的网络参数，以得到参数更新后的超分网络；根据参数更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成目标低分辨率视频对应的目标高分辨率视频。本技术实施例通过根据不同的视频内容确定超分网络的网络参数的变化值，该网络参数的变化值用于学习编解码过程中的损失信息，并基于该变化值更新超分网络的网络参数，然后利用更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建进行超分辨重建，可以针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，提高了超分网络的超分效果。
[0088]
为便于更好的实施本技术实施例的视频处理方法，本技术实施例还提供一种视频处理装置。请参阅图6，图6为本技术实施例提供的视频处理装置的结构示意图。该视频处理装置200应用于超分网络，该视频处理装置200可以包括：获取单元210，用于从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；处理单元220，用于根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；确定单元230，用于根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；更新单元240，用于根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；重建单元250，用于根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
[0089]
在一些实施例中，所述处理单元220，具体用于：对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频；对所述低分辨率样本视频进行编解码处理，得到重建低分辨率样本视频。
[0090]
在一些实施例中，所述超分网络包括编码器和解码器，所述编码器包括退化模块、第一视频编码模块、第一视频解码模块和模型编码模块，所述解码器包括第二视频解码模块、模型解码模块和超分辨率模块；所述处理单元220在对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频时，可以用于：根据所述编码器的退化模块对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频。
[0091]
在一些实施例中，所述处理单元220在对所述低分辨率样本视频进行编解码处理，得到重建低分辨率样本视频时，可以用于：根据所述编码器的第一视频编码模块对所述低分辨率样本视频进行编码压缩处理以生成视频数据流；根据所述编码器的第一视频解码模块对所述视频数据流进行解码处理，得到第一重建低分辨率样本视频；将所述视频数据流发送至所述解码器中的第二视频解码模块进行解码处理，得到第二重建低分辨率样本视频。
[0092]
在一些实施例中，所述确定单元230，具体用于：将所述高分辨率样本视频与所述第一重建低分辨率样本视频输入所述编码器的模型编码模块中进行编码处理以生成模型数据流，并将所述模型数据流发送至所述解码器中的模型解码模块；根据所述模型解码模块对所述模型数据流进行解码处理，得到所述第一重建低分辨率样本视频对应的初始网络参数；将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建，以生成重建高分辨率样本视频；根据所述重建高分辨率样本视频与所述高分辨率样本视频之间的均方误差值对所述超分网络进行迭代训练，并从所述初始网络参数中选择出在迭代训练中变化幅度最大的预设百分比的目标参数作为待更新参数，以对所述待更新参数进行数据更新以得到所述超分网络的网络参数的变化值。
[0093]
在一些实施例中，所述更新单元240，具体用于：基于所述网络参数的变化值更新所述编码器和所述解码器的网络参数，以使更新后的所述编码器和所述解码器具有相同的网络参数，以得到参数更新后的超分网络。
[0094]
在一些实施例中，所述更新单元240在基于所述网络参数的变化值更新所述编码器和所述解码器的网络参数时，可以用于：每隔预设时段重新确定所述网络参数的变化值，并基于重新确定的所述网络参数的变化值更新所述编码器和所述解码器的网络参数。
[0095]
在一些实施例中，所述超分辨率模块包括特征提取模块和重建模块，其中，所述特征提取模块包含有预训练的目标卷积层，所述预训练的目标卷积层为采用面向边缘的多分支卷积块进行预训练后转换得到的3x3的卷积层；所述确定单元230在将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建，以生成重建高分辨率样本视频时，可以用于：根据所述初始网络参数调整所述超分辨率模块，并基于调整后的超分辨率模块中的特征提取模块提取所述第二重建低分辨率样本视频的样本特征图，所述样本特征图包含有所述第二重建低分辨率样本视频中各帧图像的纹理信息和边缘信息；基于调整后的超分辨率模块中的重建模块对所述样本特征图进行处理，以生成重建高分辨率样本视频。
[0096]
在一些实施例中，所述确定单元230在将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建之前，还可以用于：采用面向边缘的多分支卷积块对所述特征提取模块中的目标卷积层进行预训练。
[0097]
在一些实施例中，所述确定单元230在采用面向边缘的多分支卷积块对所述特征提取模块中的目标卷积层进行预训练时，可以用于：通过3x3的第一卷积块的第一卷积算子对低分辨率训练图像进行处理，得到第一图像特征；通过1x1的第二卷积块的第二卷积算子对所述低分辨率训练图像经过通道数扩展，并通过3x3的第三卷积块的第三卷积算子，对所述通道数扩展后的低分辨率训练图像进行压缩卷积，以得到压缩特征；通过1x1的第四卷积块的第四卷积算子对所述低分辨率训练图像进行处理后，再基于预先设定的横向索贝尔算
子提取所述低分辨率训练图像的一阶边缘信息中的横向边缘信息；通过3x3的第五卷积块的第五卷积算子对所述低分辨率训练图像进行处理后，再基于预先设定的纵向索贝尔算子提取所述低分辨率训练图像的一阶边缘信息中的纵向边缘信息；通过1x1的第六卷积块的第六卷积算子对所述低分辨率训练图像进行处理后，再基于预先设定的拉普拉斯算子提取所述低分辨率训练图像的二阶边缘信息；根据所述第一图像特征、所述压缩特征、所述一阶边缘信息中的横向边缘信息和纵向边缘信息、所述二阶边缘信息，确定所述低分辨率训练图像的第一低分辨特征图；根据所述第一卷积算子、所述第二卷积算子、所述第三卷积算子、所述第四卷积算子、所述横向索贝尔算子、所述第五卷积算子、所述纵向索贝尔算子、所述第六卷积算子和所述拉普拉斯算子，确定所述目标卷积层的目标卷积算子；通过所述目标卷积层的目标卷积算子对所述低分辨率训练图像进行处理，得到所述低分辨率训练图像的第二低分辨特征图；当所述第一低分辨特征图与所述第二低分辨特征图满足于训练条件时停止训练，以得到预训练的目标卷积层，以使所述预训练的目标卷积层提取的特征图包含有图像的纹理信息和边缘信息。
[0098]
在一些实施例中，所述目标低分辨率视频至少包括传输的所述待处理视频数据中的低分辨率视频、传输的所述待处理视频数据中的高分辨率视频经过退化处理对应的低分辨率视频中的一种。
[0099]
上述视频处理装置200中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个单元对应的操作。
[0100]
视频处理装置200，可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该视频处理装置200为该终端或服务器。
[0101]
可选的，本技术还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0102]
图7为本技术实施例提供的计算机设备的结构示意图，该计算机设备可以是服务器或终端。如图7所示，该计算机设备300可以包括：通信接口301，存储器302 ，处理器303 和通信总线304。通信接口301，存储器302 ，处理器303 通过通信总线304 实现相互间的通信。通信接口301用于计算机设备300与外部设备进行数据通信。存储器302 可用于存储软件程序以及模块，处理器303 通过运行存储在存储器302 的软件程序以及模块，例如前述方法实施例中的相应操作的软件程序。
[0103]
可选的，该处理器303可以调用存储在存储器302 的软件程序以及模块执行如下操作：从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频
进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
[0104]
本技术还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于计算机设备，并且该计算机程序使得计算机设备执行本技术实施例中的视频处理方法中的相应流程，为了简洁，在此不再赘述。
[0105]
本技术还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本技术实施例中的视频处理方法中的相应流程，为了简洁，在此不再赘述。
[0106]
本技术还提供了一种计算机程序，该计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本技术中的视频处理方法中的相应流程，为了简洁，在此不再赘述。
[0107]
应理解，本技术的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0108]
可以理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，sram）、动态随机存取存储器（dynamic ram，dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddr sdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步连接动态随机存取存储器（synchlink dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，dr ram）。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0109]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0110]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0111]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0112]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0113]
另外，在本技术中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0114]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。