数据处理方法、直播方法及装置、电子设备、存储介质与流程

所属的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图11来描述根据本公开的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个第一处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和第一处理单元1110)的总线1130以及显示单元1140。其中，存储单元存储有程序代码，程序代码可以被第一处理单元1110执行，使得第一处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，第一处理单元1110可以执行如下所示的步骤：获取初始视频；将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，其中，中间视频的图像分辨率大于初始视频的图像分辨率；对中间视频进行细节恢复处理，得到目标视频。在一种可选的实施方式中，目标超分辨率模型是基于预训练过程得到的，预训练过程包括：获取训练数据集；通过训练数据集对预构建的初始超分辨率模型进行模型训练，得到中间超分辨率模型，其中，初始超分辨率模型包括第一卷积层以及重参数卷积层，且第一卷积层和/或重参数卷积层之间通过长短残差网络连接；对中间超分辨率模型的网络结构进行重构建处理，得到目标超分辨率模型。在一种可选的实施方式中，对中间超分辨率模型的网络结构进行重构建处理，得到目标超分辨率模型，包括：确定与重参数卷积层等效的第二卷积层；将中间超分辨率模型的重参数卷积层替换为第二卷积层，得到目标超分辨率模型。在一种可选的实施方式中，确定与重参数卷积层等效的第二卷积层，包括：对重参数卷积层中的各卷积层进行等效融合处理，确定第二卷积层；其中，等效融合处理包括爱因斯坦求和。在一种可选的实施方式中，目标超分辨率模型包括第一卷积层和第二卷积层，将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，包括：将初始视频输入至第一卷积层中，提取初始视频的第一特征数据；将第一特征数据输入至第二卷积层中，提取初始视频的第二特征数据；对第二特征数据进行上采样处理，得到扩充后的第二特征数据；将扩充后的第二特征数据作为中间视频。在一种可选的实施方式中，对中间视频进行细节恢复处理，得到目标视频，包括：对中间视频进行锐化处理，以提升中间视频中的高频信息，得到目标视频。存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(rom)11203。存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、第一处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余第一处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

背景技术：

1、随着视频制作水平的提升，观众对直播画面的质量要求日益增高，基于传统算法提升分辨率的方法虽然对机器模型的算力要求不高，但重构的图像输出一般很模糊，清晰度甚至低于原始图像，例如，在高帧率、高复杂度直播场景下因带宽、编码损失等因素，容易造成画面模糊、失真等现象，因此，传统算法很难复用到实时直播场景。

2、针对将超高清视频技术应用至直播技术的过程中，由于高帧率、高复杂度等要求的模型限制，导致直播效果不佳的技术问题，目前尚未提出解决方案。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开实施例的目的在于提供一种数据处理方法、直播方法、数据处理装置、直播装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于高帧率、高复杂度等要求的模型限制，导致直播效果不佳的技术问题。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本公开实施例的第一方面，提供了一种数据处理方法，包括：获取初始视频；将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，其中，中间视频的图像分辨率大于初始视频的图像分辨率；对中间视频进行细节恢复处理，得到目标视频。

4、在本公开的一些示例实施例中，基于前述方案，目标超分辨率模型是基于预训练过程得到的，预训练过程包括：获取训练数据集；通过训练数据集对预构建的初始超分辨率模型进行模型训练，得到中间超分辨率模型，其中，初始超分辨率模型包括第一卷积层以及重参数卷积层，且第一卷积层和/或重参数卷积层之间通过长短残差网络连接；对中间超分辨率模型的网络结构进行重构建处理，得到目标超分辨率模型。

5、在本公开的一些示例实施例中，基于前述方案，对中间超分辨率模型的网络结构进行重构建处理，得到目标超分辨率模型，包括：确定与重参数卷积层等效的第二卷积层；将中间超分辨率模型的重参数卷积层替换为第二卷积层，得到目标超分辨率模型。

6、在本公开的一些示例实施例中，基于前述方案，确定与重参数卷积层等效的第二卷积层，包括：对重参数卷积层中的各卷积层进行等效融合处理，确定第二卷积层；其中，等效融合处理包括爱因斯坦求和。

7、在本公开的一些示例实施例中，基于前述方案，目标超分辨率模型包括第一卷积层和第二卷积层，将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，包括：将初始视频输入至第一卷积层中，提取初始视频的第一特征数据；将第一特征数据输入至第二卷积层中，提取初始视频的第二特征数据；对第二特征数据进行上采样处理，得到扩充后的第二特征数据；将扩充后的第二特征数据作为中间视频。

8、在本公开的一些示例实施例中，基于前述方案，对中间视频进行细节恢复处理，得到目标视频，包括：对中间视频进行锐化处理，以提升中间视频中的高频信息，得到目标视频。

9、根据本公开实施例的第二方面，还提供了一种直播方法，包括：获取目标视频，目标视频是根据如上述第一方面的数据处理方法确定的；获取直播数据，根据目标视频以及直播数据生成直播数据流；将直播数据流推送至各直播客户端进行展示。

10、在本公开的一些示例实施例中，基于前述方案，根据目标视频以及直播数据生成直播数据流，包括：将直播数据中的图像数据与目标视频中的图像数据进行编码处理，得到直播视频流；将直播数据中的音频数据与目标视频中的音频数据进行合成处理，得到直播音频流；对直播视频流和直播音频流进行封装，得到直播数据流。

11、在本公开的一些示例实施例中，基于前述方案，方法还包括：根据目标视频的传输状态，在直播客户端设置目标清晰度档位；根据目标视频的传输状态，在直播客户端设置目标清晰度档位，包括：若监测到第一预设时间段内目标视频为正常传输状态，则在直播客户端添加目标清晰度档位；或者若监测到第二预设时间段内目标视频为断流状态，则将直播客户端中的目标清晰度档位进行删除。

12、根据本公开实施例的第三方面，提供了一种数据处理装置，包括：第一获取单元，用于获取初始视频；输出单元，用于将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，其中，中间视频的图像分辨率大于初始视频的图像分辨率；第一处理单元，用于对中间视频进行细节恢复处理，得到目标视频。

13、根据本公开实施例的第四方面，还提供了一种直播装置，包括：第三获取单元，用于获取目标视频，目标视频是根据如上述第三方面的数据处理装置确定的；生成单元，用于获取直播数据，根据目标视频以及直播数据生成直播数据流；展示单元，用于将直播数据流推送至各直播客户端进行展示。

14、根据本公开实施例的第五方面，提供了一种电子设备，包括：处理器；以及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现上述任意一项方法。

15、根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现根据上述任意一项方法。

16、本公开实施例提供的技术方案可以包括以下有益效果：

17、本公开的示例实施例中的数据处理方法，通过获取初始视频；将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，其中，中间视频的图像分辨率大于初始视频的图像分辨率；对中间视频进行细节恢复处理，得到目标视频。一方面，预训练的目标超分模型，可以克服在高帧率、高复杂度直播场景下，输入的初始视频因带宽、编码损失过大，造成画面失真；另一方面，通过细节恢复处理，加强画面高频信息，达到更加符合观众观看习惯的视觉效果。

18、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。