视频处理方法、装置及系统与流程

1.本技术涉及互联网技术领域，特别涉及视频处理方法。本技术同时涉及视频处理装置，一种计算设备，以及一种计算机可读存储介质。


背景技术：

2.目前的在线视频网站，提供了丰富的视频业务内容，用户可以观看电影、电视剧、综艺，也可以观看直播、录播等等，极大丰富了用户的业务生活，有一些视频业务内容由于视频拍摄设备的原因，拍摄的视频分辨率较低，例如在直播过程中，主播的手机分辨率较低，而观看直播的用户希望观看到分辨率更高、质量更好的视频，基于此，视频超分技术随之得到了发展。
3.但是，视频超分技术会导致需要更高的码率来进行网络传输，进而会导致消耗更多的网络带宽，而且视频超分技术需要很大的算力，需要消耗更多的计算资源，提高网站的运营成本。因此，如何在可以保证用户观看更高清的视频的同时，又能有效节省网络带宽，降低网站的运营成本，就成为技术人员亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术实施例提供了视频处理方法。本技术同时涉及视频处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的视频超分任务占用网络资源大、计算消耗大的问题。
5.根据本技术实施例的第一方面，提供了一种视频处理方法，应用于第一终端集合中的第一终端，所述方法包括：
6.接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息；
7.响应于所述视频超分任务获取待分配终端列表，并根据所述待处理视频参数信息在所述待分配终端列表中确定第二终端集合；
8.确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系；
9.根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。
10.根据本技术实施例的第二方面，提供了一种视频处理方法，应用于第三终端集合中的第三终端，所述方法包括：
11.接收第二终端集合中每个第二终端发送的超分视频帧，其中，超分视频帧携带有超分视频帧标识；
12.根据每个超分视频帧标识对每个超分视频帧进行拼接获得初始超分视频帧集合；
13.对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。
14.根据本技术实施例的第三方面，提供了一种视频处理系统，包括：
15.第一终端集合中的第一终端，被配置为接收视频超分任务，响应于所述视频超分任务获取待分配终端列表，并根据待处理视频参数信息在所述待分配终端列表中确定第二终端集合和第三终端集合，确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系，根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端；
16.所述第二终端集合中的第二终端，被配置为根据视频超分指令确定目标待处理视频帧，并对目标待处理视频帧执行视频超分处理，获得对应的目标超分视频帧，并将目标超分视频帧发送至所述第三终端集合中的每个第三终端；
17.所述第三终端集合中的第三终端，被配置为接收所述第二终端集合中每个第二终端发送的超分视频帧，将每个超分视频帧进行拼接获得初始超分视频帧集合，对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。
18.根据本技术实施例的第四方面，提供了一种视频处理装置，应用于第一终端集合中的第一终端，所述装置包括：
19.接收模块，被配置为接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息；
20.获取模块，被配置为响应于所述视频超分任务获取待分配终端列表，并根据所述待处理视频参数信息在所述待分配终端列表中确定第二终端集合；
21.确定模块，被配置为确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系；
22.发送模块，被配置为根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。
23.根据本技术实施例的第五方面，提供了一种视频处理装置，应用于第三终端集合中的第三终端，所述装置包括：
24.接收模块，被配置为接收第二终端集合中每个第二终端发送的超分视频帧，其中，超分视频帧携带有超分视频帧标识；
25.拼接模块，被配置为根据每个超分视频帧标识对每个超分视频帧进行拼接获得初始超分视频帧集合；
26.平滑编码模块，被配置为对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。
27.根据本技术实施例的第六方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述视频处理方法的步骤。
28.根据本技术实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述视频处理方法的步骤。
29.本技术提供的视频处理方法，应用于第一终端集合中的第一终端，所述方法包括：接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息；响应于所述视频超分任务获取待分配终端列表，并根据待处理视频参数信息在所述待分配终端列表中确定第二终端集合；确定所述待处理视频帧集合中每个待处理视频帧
与所述第二终端集合中每个第二终端的对应关系；根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。
30.本技术一实施例实现了通过处理视频参数信息在待分配终端列表中确定第二终端集合，并将待处理视频帧集合中的每个待处理视频帧分配给第二终端集合中的第二终端进行视频超分处理，通过每个终端的算力对每个视频帧进行超分，利用了用户的带宽来进行流量的分发，减少了网站的带宽消耗，同时利用的第二终端的算力进行超分，节省了网站的运营成本，同时还保证了用户可以看到超分后的视频。
附图说明
31.图1是本技术一实施例提供的一种视频处理方法的流程图；
32.图2是本技术第二实施例提供的一种视频处理方法的流程图；
33.图3是本技术一实施例提供的一种视频处理处理系统的架构示意图；
34.图4是本技术一实施例提供的一种视频处理装置的结构示意图；
35.图5是本技术另一实施例提供的一种视频处理装置的结构示意图；
36.图6是本技术一实施例提供的一种计算设备的结构框图。
具体实施方式
37.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
38.在本技术一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术一个或多个实施例。在本技术一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本技术一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
39.应当理解，尽管在本技术一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
40.首先，对本技术一个或多个实施例涉及的名词术语进行解释。
41.cdn：content delivery network，即内容分发网络。cdn是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率，cdn的关键技术主要有内容存储和分发技术。
42.视频超分：超分辨率技术(super-resolution，sr)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
43.视频编码：对音视频进行重新编码的过程。
44.在本技术中，提供了视频处理方法，本技术同时涉及视频处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
45.图1示出了根据本技术一实施例提供的一种视频处理方法的流程图，应用于第一终端集合中的第一终端，具体包括以下步骤：
46.步骤102：接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息。
47.随着互联网技术的发展，视频网站提供了丰富的视频业务服务，如电影、电视剧、综艺，用户还可以在视频网站观看直播、录播等等，但是有一些视频业务服务由于拍摄设备的原因，导致视频的分辨率较低，例如在直播场景下，主播的手机分辨率只有1080p，而观看直播的用户的终端支持2k，甚至支持4k的分辨率，则希望可以看到更高清晰的视频，因此，视频超分技术应运而生。
48.视频超分是指通过软件或硬件的方式提高原有图像的分辨率，将低分辨率的图像处理为高分辨率的图像，如将分辨率为1920*1080的图像放大为分辨率为4096*2160的图像。
49.但是视频超分技术会导致需要更高的码率来进行网络传输，会消耗更多的带宽，且视频超分技术需要终端具有很强大的算力，需要消耗终端较多的计算资源，这些都极大的提高了网站运营商的成本。
50.对于视频业务，尤其是在直播场景下，目前通常会使用cdn来为用户提供媒体内容分发服务器，cdn(content delivery network，即内容分发网络)，cdn是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率，cdn的关键技术主要有内容存储和分发技术。
51.基于此，如果需要对某个视频资源进行超分，需要一台终端具备强大的算力，根据视频的帧率对视频进行超分处理，以提供更清晰的画质，例如，对于一个30帧率的视频而言，终端需要具备在1秒内对30帧画面进行超分的能力，对终端的算力和资源都是一种极大的考验，因此，在本技术中提供一种视频处理方法，将视频超分任务拆分为若干个子任务，由多个终端来进行处理。
52.具体的，本技术中的第一终端集合具体是指对视频超分任务进行统筹处理的视频，在实际应用中，为了保证第一终端集合的可用性，第一终端集合中的每个第一终端均为参与到视频业务中的终端，例如，在直播场景中，某个直播间的观众有30人，则第一终端集合是由这30人中的部分终端组成；某个直播间的观众有3000人，则第一终端集合是由这3000人中的部分终端组成。
53.更进一步的，由于第一终端集合是用来对视频超分任务进行统筹处理的终端，因此，第一终端集合可以选择性能一般的终端，在实际应用中，在用户同意获取隐私权限的情况下，可以将目标视频任务对应的允许获取终端属性信息的终端的性能进行统计，并按照性能从低到高的顺序进行排序，选取预设数量的终端作为第一终端，例如，某直播间的观众有30人，将30个终端按照终端性能从低到高的顺序进行排序，并选择排名前10的终端作为第一终端集合，即第一终端集合中有10个第一终端。
54.视频超分任务具体是指由业务上游下发的对视频帧进行超分处理的任务，在实际的视频业务场景下，用户希望提高视频的分辨率，以达到更好的观看效果，因此就会有了视频超分任务，即提高原视频的分辨率，第一终端的终端性能较弱，在视频超分任务中负责统筹管理的工作，后续根据视频超分任务将待处理视频帧分发给性能较好的第二终端，由第二终端执行真正的视频超分操作。
55.例如在直播场景下，需要对主播的视频流进行超分处理，则第一终端接收到上游视频业务下发的视频超分任务，在视频超分任务中携带有待处理视频帧集合以及待处理视频参数信息，具体的，待处理视频帧集合是指针对某个第一终端需要进行调度的待处理视频帧集合，待处理视频参数信息具体是指待处理视频需要进行处理的参数信息，包括视频帧率信息、原始分辨率信息、目标分辨率信息等等，例如待处理视频的原始分辨率为1080p，需要将其超分至目标分辨率为2k，待处理视频参数信息中即包括原始分辨率，又包括有目标分辨率。
56.在本技术提供的一具体实施方式中，以第一终端集合中包括有3个第一终端为例，第一终端1接收视频超分任务1，视频超分任务1中携带有待处理视频帧集合(待处理视频帧1-10)；第一终端2接收视频超分任务2，视频超分任务2中携带有待处理视频帧集合(待处理视频帧11-20)；第一终端3接收视频超分任务3，视频超分任务3中携带有待处理视频帧集合(待处理视频每个帧21-30)。待处理视频参数信息均为将待处理视频帧由原始分辨率1280*720，超分至目标分辨率3840*2160。
57.步骤104：响应于所述视频超分任务获取待分配终端列表，并根据所述待处理视频参数信息在所述待分配终端列表中确定第二终端集合。
58.其中，待分配终端列表具体是指目标视频任务对应的终端中，除去第一终端集合外的其他终端列表，例如，在直播场景中，某个直播间由30个观众，其中，10个终端为第一终端集合，则其他20个终端组成的列表即为待分配终端列表；若某个直播间由500个观众，其中，30个终端为第一终端集合，则其他470个终端组成的列表即为待分配终端列表。
59.在获取待分配终端列表后，即在待分配终端列表中确定第二终端集合，具体的，第二终端集合具体是指用于对待处理视频帧进行超分处理的终端的集合。对待处理视频帧进行超分的终端需要具备较强的算力，即具备较强的终端性能，在实际应用中，还需要结合待处理视频参数信息来进一步确定第二终端集合，例如对于同样一个终端，将720p的待处理视频帧超分至2k的分辨率所需要的算力要高于将720p的待处理视频帧超分至1080p的分辨率的算力。因此，同样一个终端，在执行将720p的视频帧超分至1080p的视频帧时，可以作为第二终端，在执行将720p的视频帧超分至4k的视频帧时，则无法作为第二终端。
60.基于此，更进一步的，根据待处理视频参数信息在所述待分配终端列表中确定第二终端集合，包括：
61.获取所述待分配终端列表中每个终端的终端属性信息；
62.根据所述待处理视频参数信息和每个终端的终端属性信息确定每个终端的终端性能权重；
63.根据每个终端的终端性能权重确定第二终端集合。
64.具体的，根据每个终端的终端性能权重确定第二终端集合，包括：
65.将每个终端按照终端性能权重从高到低的顺序进行排序；
66.在排序结果中选取预设数量的终端作为第二终端或选取终端性能权重超过预设阈值的终端作为第二终端。
67.在实际应用中，在用户同意获取隐私权限的情况下，获取待分配列表中每个终端的终端属性信息，具体的，终端属性信息包括终端的cpu型号、内存大小、可用资源信息等等。在根据待处理视频参数信息和每个终端的终端属性信息来计算每个终端的终端性能权重，具体的，可以通过确定每个终端的终端算力分值来确定每个终端的终端性能权重，在确定好每个终端的终端性能权重后，按照终端性能权重从高到底的顺序，并选取预设数量的终端作为第二终端，并组成第二终端集合。第二终端的数量可以是预先设定的，也可以根据视频的帧率确定，例如，可以确定第二终端集合中第二终端的数量为60个；或者获取视频的帧率为30帧/秒，进而可以确定第二终端的数量为30个；跟更进一步的，视频的帧率为30秒，待处理终端列表中有100个终端，还可以选取终端性能排名靠前的前60个终端作为第二终端集合。在本技术中，对如何确定第二终端的具体方式不做限定。
68.例如，待分配终端列表中有50个终端，根据每个终端的终端属性信息和待处理视频参数信息计算每个终端的算力值，并按照算力值从高到低的顺序进行排序，在排序完成后，选取前30个终端作为第二终端。
69.又例如，待分配终端列表中有50个终端，根据每个终端的终端属性信息和待处理视频参数信息计算每个终端的算力值，按照算力值从高到低的顺序进行排序，在排序完成后，选取算力值超过预设阈值的终端作为第二终端。
70.在实际应用中，第二终端集合中的第二终端是执行对待处理视频帧进行超分操作的终端，进将待处理视频帧进行超分，还无法组成流畅连贯的视频，因此，还需要有终端将完成超分处理的视频帧进行拼接，因此，本技术提供的视频处理方法还包括：
71.在所述待分配终端列表中确定第三终端集合。
72.其中，第三终端集合具体是指用于将完成超分任务的视频帧拼接为视频的终端，在实际应用中，第三终端集合也是由目标视频任务对应的终端来组成的，即本技术中提及的第一终端集合、第二终端集合、第三终端集合均为同一个目标视频任务对应的终端。例如，对于直播场景下，某直播间由100个用户，这100个用户中有80个用户同意获取隐私权限，则对这80个用户所使用的终端根据终端属性信息进行排序，将性能权重较差的终端作为第一终端集合，将性能权重较好的终端作为第二终端集合，将性能权重中等的终端作为第三终端集合，在实际应用中，终端性能权重的较差、中等、较好均是由相对而言的，需要将目标视频业务对应的终端按照终端性能权重进行排序，选取预设数量(或比例)的终端组成第一终端集合、第二终端集合和第三终端集合。
73.在本技术提供的一具体实施方式中，沿用上例，第一终端集合中有3个第一终端，根据视频超分任务确定30个第二终端组成第二终端集合，其中第二终端1-10对应第一终端1，第二终端11-20对应第一终端2，第二终端21-30对应第一终端3，同时确定第三终端集合中的5个第三终端，分别为第三终端1-5。
74.步骤106：确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系。
75.在确定第二终端集合后，需要将待处理视频帧集合中每个待处理视频帧分别发送至对应的第二终端集合中进行超分处理，在本技术中，是将一个视频超分任务划分为多个
子任务，由多个终端分别执行视频帧超分处理，因此，要确定每个待处理视频帧由哪个第二终端进行超分处理。
76.具体的，确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系，包括：
77.确定所述待处理视频帧集合中待处理视频帧数量和所述第二终端集合中第二终端的终端数量；
78.基于所述待处理视频帧数量和所述终端数量确定每个待处理视频帧与每个第二终端的对应关系。
79.在实际应用中，每个第一终端可以知道自己对应第二终端的数量，通常情况下，第一终端会根据接收到的待处理视频帧集合中待处理视频帧的数量来确定第二终端中第二终端的终端数量，例如，待处理视频帧集合中有n个待处理视频帧，第一终端对应的第二终端集合中通常会包括n个第二终端，当第二终端集合中的第二终端算力较强时，第二终端集合中还可以包括n/2个终端，例如，第一终端接收的待处理视频帧集合有15个待处理视频帧，则第一终端对应的第二终端集合可以有15个第二终端；若第一终端接收的待处理视频帧集合有60个待处理视频帧，则第一终端对应的第二终端集合中可以有60个第二终端，也可以有30个第二终端。
80.在确定待处理视频帧数量和第二终端的终端数量后，将待处理视频帧进行标号，例如有n个待处理视频帧，标号为1-n；相应的，第二终端包括n个第二终端，为每个第二终端进行标号，也标记为1-n，则可以将待处理视频帧1与第二终端1对应，待处理视频帧2与第二终端2对应
……
待处理视频帧n与第二终端n对应。
81.在本技术提供的一具体实施方式中，沿用上例，第一终端1接收到待处理视频帧1-10，第一终端1对应第二终端1-10；第一终端2接收到待处理视频帧11-20，第一终端2对应第二终端11-20；第一终端3接收到待处理视频帧21-30，第一终端3对应第二终端21-30，则待处理视频帧1对应第二终端1，待处理视频帧2对应第二终端2，
……
待处理视频帧30对应第二终端30。
82.步骤108：根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。
83.在确定好每个待处理视频帧与每个第二终端的对应关系后，将每个待处理视频帧和待处理视频参数信息生成视频超分指令，并将视频超分指令将发送至每个待处理视频帧对应的第二终端。
84.视频超分指令具体是指对视频帧进行超分处理的指令，在视频超分指令中通常会携带待处理视频帧、待处理视频参数信息，第二终端标识，即将视频超分指令发送至第二终端标识对应的第二终端，以使第二终端获取视频超分指令中携带的待处理视频帧和待处理视频参数信息，并响应于视频超分指令根据待处理视频参数信息中的原始分辨率信息和目标分辨率信息将待处理视频帧进行超分处理。
85.在实际应用中，除了确定第二终端集合之外，还会确定第三终端集合，第三终端集合用于接收每个超分好的视频帧，并对视频帧进行拼接，生成目标视频，因此，根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，包括：
86.根据每个待处理视频帧、所述待处理视频参数信息和所述第三终端集合生成视频
超分指令。
87.具体的，在生成视频超分指令时，还需要根据第三终端集合中每个第三终端的终端标识与待处理视频帧、待处理视频参数信息一起生成视频超分指令，是的待处理视频帧对应的第二终端在根据待处理视频帧和待处理视频参数信息完成视频超分操作之后，可以将完成超分操作的视频帧发送至第三终端中进行视频的拼接。
88.在本技术提供的一具体实施方式中，沿用上例，并以待处理视频帧1为例，根据待处理视频帧1、待处理视频参数信息“待处理视频帧由原始分辨率1280*720，超分至目标分辨率3840*2160”和第三终端1-5组成视频超分指令1，并发送至第二终端1中对待处理视频帧1进行视频超分操作，以使第二终端1在根据待处理视频参数信息将待处理视频帧1进行超分处理后，获得目标视频帧1，并将目标视频帧1分别发送至第三终端1-5。
89.本技术实施例提供的视频处理方法，应用于第一终端集合中的第一终端，包括接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息；响应于所述视频超分任务获取待分配终端列表，并根据待处理视频参数信息在所述待分配终端列表中确定第二终端集合；确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系；根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。通过本技术提供的视频处理方法，实现了通过处理视频参数信息在待分配终端列表中确定第二终端集合，以使第二终端对视频帧进行超分处理，通过每个终端的算力对每个视频帧进行超分，利用了用户的带宽来进行流量的分发，减少了网站的带宽消耗，同时利用的第二终端的算力进行超分，节省了网站的运营成本，同时还保证了用户可以看到超分后的视频。
90.参见图2，图2示出了本技术第二实施例提供的视频处理方法，该实施例提供的视频处理方法应用于第三终端集合中的第三终端，具体包括步骤202-步骤206：
91.步骤202：接收第二终端集合中每个第二终端发送的超分视频帧，其中，超分视频帧携带有超分视频帧标识。
92.第三终端集合具体是指用于将完成超分任务的视频帧进行拼接，生成目标视频的终端，在本技术提供的视频处理方法中，第三终端集合中的每个第三终端均会接收每个第二终端发送的完成超分的超分视频帧，并且每个超分视频帧均携带有该视频帧对应的超分视频帧标识。
93.在本技术提供的一具体实施方式中，以第三终端集合中包括3个第三终端为例，第二终端集合一共有30个第二终端，对于第三终端1来说，接收30个第二终端发送的超分视频帧，其中，每个超分视频帧均携带有对应的超分视频帧标识，如超分视频帧1、超分视频帧2、
……
超分视频帧30。
94.步骤204：根据每个超分视频帧标识对每个超分视频帧进行拼接获得初始超分视频帧集合。
95.在每个第三终端中，均会接收到每个第二终端发送的超分视频帧，再根据每个超分视频帧的标识对接收到的超分视频帧进行排序并拼接，从而获得初始超分视频帧集合。初始超分视频帧集合中保存有在每个第二终端中完成超分后的视频帧。
96.在本技术提供的一具体实施方式中，沿用上例，依然以第三终端1为例，第三终端1
接收到30个超分视频帧，并按照1-30的顺序将30个超分视频帧进行排序拼接，获得初始超分视频帧集合(超分视频帧1、超分视频帧2、
……
超分视频帧30)。
97.步骤206：对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。
98.由于每个超分视频帧是分别在不同的第二终端中进行超分处理的，第二终端在进行视频超分时，并没有参考前后相邻的视频帧，因此在将多个超分视频帧进行拼接后，会出现画面不连贯的情况，因此，还需要对初始超分视频帧集合的超分视频帧的整体在始于上进行平滑操作，使得超分视频帧之间更加连贯平顺，之后再进行编码，获得可以直接播放的目标视频流，并将目标视频流分发到其他用户的终端中。
99.在实际应用中，第三终端集合中通常会有多个第三终端，每个第三终端均会进行合并超分视频帧生成目标视频流的操作，可以在多个第三终端中选择一个第三终端做为目标第三终端，由目标第三终端将目标视频流发送给其他用户，其他第三终端作为备用第三终端，当目标第三终端出现故障时，由备用第三终端将目标视频流发送给其他用户，保证了视频超分的时效性。
100.由于第三终端可能会分布在全国各个位置，还可以由每个第三终端将目标视频流上传至对应的cdn节点，减少视频网站的带宽消耗，由单一的cdn节点变为多cdn节点，提升了观众观看超分视频的时效性，提升了用户体验，也减少了视频网站的运营成本。
101.在本技术提供的具体实施方式中，对所述初始超分视频帧集合的每个超分视频帧做时域平滑处理，包括：
102.在平滑处理策略库中确定目标平滑处理策略；
103.基于目标平滑处理策略对所述初始超分视频帧集合的每个超分视频帧做时域平滑处理。
104.在实际应用中，对初始超分视频帧集合还需要进行时域平滑处理，具体的，会在平滑处理策略中确定目标平滑处理策略，其中，平滑处理策略库具体是指用于保存视频平滑处理策略的数据库，平滑处理策略库中保存有多种平滑处理视频的策略，如光流法处理策略、视频帧平滑模型策略、视频平滑滤镜策略等等。
105.其中，光流法是利用图像序列中像素在时间阈上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息，从而达到视频帧之间视频平滑的效果。
106.视频帧平滑模型策略是通过智能ai模型的方式，将相邻的两个视频帧输入到智能模型中，智能模型消除两个相邻视频帧的明显差异，使得两个视频帧之间的过渡更加平滑。
107.视频平滑滤镜策略具体是指通过平滑滤镜的方式，消除相邻视频帧之间的明显差异，使得相邻视频帧之间的过渡更加平滑。
108.在平滑处理策略库种确定目标平滑处理策略，可以根据第三终端的性能来确定，例如当第三终端的性能权重较高视，可以选择视频帧平滑模型来进行视频平滑处理，当第三终端的性能权重较低时，可以使用视频平滑滤镜策略或光流法处理策略来对视频做平滑处理。
109.在确定目标平滑处理策略后，即可根据该目标平滑处理策略对初始视频帧集合中的超分视频帧做时域平滑处理，使得超分视频帧的连接更加平顺、自然、连贯，在提升视频
帧画质的同时，还可以保证视频的流畅性，使得用户体验到超分后的高清画质，提升用户的使用体验。
110.本技术实施例提供的视频处理方法，应用于第三终端集合中的第三终端，包括接收第二终端集合中每个第二终端发送的超分视频帧，其中，超分视频帧携带有超分视频帧标识；根据每个超分视频帧标识对每个超分视频帧进行拼接获得初始超分视频帧集合；对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。通过本技术提供的视频处理方法，将超分后的视频帧进行拼接，并分发到各个观众的客户端，减少视频网站的带宽消耗，提升了观众观看超分视频的时效性，提升了用户体验，也减少了视频网站的运营成本。同时对超分视频帧的时域平滑处理，使得超分视频帧的连接更加平顺、自然、连贯，在提升视频帧画质的同时，还可以保证视频的流畅性，使得用户体验到超分后的高清画质，提升用户的使用体验。
111.图3提供了本技术一实施例提供的视频处理系统的架构示意图，如图3所示，本技术提供的视频处理系统包括第一终端集合302、第二终端集合304和第三终端集合306，其中：
112.第一终端集合302中的第一终端，被配置为接收视频超分任务，响应于所述视频超分任务获取待分配终端列表，并根据待处理视频参数信息在所述待分配终端列表中确定第二终端集合和第三终端集合，确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系，根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端；
113.所述第二终端集合304中的第二终端，被配置为根据视频超分指令确定目标待处理视频帧，并对目标待处理视频帧执行视频超分处理，获得对应的目标超分视频帧，并将目标超分视频帧发送至所述第三终端集合中的每个第三终端；
114.所述第三终端集合306中的第三终端，被配置为接收所述第二终端集合中每个第二终端发送的超分视频帧，将每个超分视频帧进行拼接获得初始超分视频帧集合，对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。
115.在本技术提供的视频处理系统中，针对某个目标视频业务，其对应的每个用户的终端，既可以是资源的获取者，也可以是资源的提供者，在实际应用中，首选要先确定哪些用户同意了获取用户终端信息的权限，并将同意了获取用户终端信息权限的用户的终端信息采集后，根据性能进行排序，并按照性能从低到高划分为第一终端集合、第三终端集合和第二终端集合，其中，第二终端集合中的第二终端的终端性能高于第三终端集合中的第三终端，第三终端集合中的第三终端的终端性能高于第一终端集合中的第一终端，第一终端集合中的第一终端用于对超分任务进行统筹管理；第二终端集合中的第二终端用于对待处理视频帧进行超分，获得超分视频帧；第三终端集合中的第三终端用于接收第二终端发送的超分视频帧，并进行拼接，生成目标视频流，并将目标视频流分发给其他用户。
116.基于此，第一终端在接收到视频超分任务后，根据视频超分任务确定第二终端集合和第三终端集合，并根据待处理视频帧集合中每个待处理视频帧与每个第二终端的对应关系，生成视频超分指令，将待处理视频帧发送至对应的第二终端。例如待处理视频帧由1-t个视频帧，将第二终端划分为1-t共t个小组，分别将视频帧发送至对应编号的小组中，如待处理视频帧1发送至第1小组，待处理视频帧2发送至第二小组
……
。
117.第二终端集合中的每个第二终端在接收到待处理视频后，分别对单个待处理视频帧执行超分任务，获得超分视频帧，并标注每个超分视频帧的标识，将完成超分视频的超分视频帧发送至第三终端集合中的第三终端。例如视频的帧率为30秒，单个终端无法在1秒内完成30帧画面的超分任务，无法做到实时超分的要求，则可以选择30个处理一帧画面时间小于1秒的终端，分别对30个待处理视频帧进行超分即可，用30个终端分别处理待处理视频帧1-30，则可以在1秒内完成30个待处理视频帧的超分处理，达到实施超分的要求。在完成待处理视频帧超分后，获得超分视频帧，并将超分视频帧发送中第三终端中的每个第三终端。
118.第三终端集合中的每个第三终端均可以接收每个第二终端发送的超分视频帧，并根据每个超分视频帧的标识对进行拼接，获得初始超分视频帧，再对初始超分视频帧集合中的超分视频帧做时域平滑处理并编码，获得目标视频流，再由第三终端将目标视频流发送至其他用户的终端。
119.在实际应用中，第一终端、第二终端、第三终端可以具有相同的属性信息，例如第一终端、第二终端、第三终端同属于一个运营商，或第一终端、第二终端、第三终端同属于一个地区等等。
120.本技术提供的视频处理系统，通过处理视频参数信息在待分配终端列表中确定第二终端集合，并将待处理视频帧集合中的每个待处理视频帧分配给第二终端集合中的第二终端进行视频超分处理，通过每个终端的算力对每个视频帧进行超分，利用了用户的带宽来进行流量的分发，减少了网站的带宽消耗，同时利用的第二终端的算力进行超分，节省了网站的运营成本，同时还保证了用户可以看到超分后的视频。
121.其次，在多个第二终端中分别进行视频帧的超分处理，将一整个任务划分为多个子任务，由多个终端并行处理同时完成，达到了实时超分的效果，提升了用户的使用体验，并将对单一终端的高要求平均到多个第二终端中完成，减少了视频网站的投入成本。
122.最后，由第三终端将超分后的视频帧进行拼接，并分发到各个观众的客户端，减少视频网站的带宽消耗，提升了观众观看超分视频的时效性，提升了用户体验，也减少了视频网站的运营成本。同时对超分视频帧的时域平滑处理，使得超分视频帧的连接更加平顺、自然、连贯，在提升视频帧画质的同时，还可以保证视频的流畅性，使得用户体验到超分后的高清画质，提升用户的使用体验。
123.与上述应用于第一终端集合中的第一终端的视频处理方法实施例相对应，本技术还提供了应用于第一终端集合中的第一终端的视频处理装置实施例，图4示出了本技术一实施例提供的一种视频处理装置的结构示意图。该装置应用于第一终端集合中的第一终端，如图4所示，该装置包括：
124.接收模块402，被配置为接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息；
125.获取模块404，被配置为响应于所述视频超分任务获取待分配终端列表，并根据所述待处理视频参数信息在所述待分配终端列表中确定第二终端集合；
126.确定模块406，被配置为确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系；
127.发送模块408，被配置为根据每个待处理视频帧和所述待处理视频参数信息生成
视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。
128.可选的，所述获取模块404，进一步被配置为：
129.获取所述待分配终端列表中每个终端的终端属性信息；
130.根据所述待处理视频参数信息和每个终端的终端属性信息确定每个终端的终端性能权重；
131.根据每个终端的终端性能权重确定第二终端集合。
132.可选的，所述获取模块404，进一步被配置为：
133.将每个终端按照终端性能权重从高到低的顺序进行排序；
134.在排序结果中选取预设数量的终端作为第二终端或选取终端性能权重超过预设阈值的终端作为第二终端。
135.可选的，所述确定模块406，进一步被配置为：
136.确定所述待处理视频帧集合中待处理视频帧数量和所述第二终端集合中第二终端的终端数量；
137.基于所述待处理视频帧数量和所述终端数量确定每个待处理视频帧与每个第二终端的对应关系。
138.可选的，所述装置还包括：
139.终端确定模块，被配置为在所述待分配终端列表中确定第三终端集合。
140.可选的，所述发送模块408，进一步被配置为：
141.根据每个待处理视频帧、所述待处理视频参数信息和所述第三终端集合生成视频超分指令。
142.可选的，所述待处理视频参数信息包括视频帧率信息、原始分辨率信息、目标分辨率信息。
143.本技术实施例提供的视频处理装置，应用于第一终端集合中的第一终端，包括接收视频超分任务，其中，所述视频超分任务中携带有待处理视频帧集合和待处理视频参数信息；响应于所述视频超分任务获取待分配终端列表，并根据待处理视频参数信息在所述待分配终端列表中确定第二终端集合；确定所述待处理视频帧集合中每个待处理视频帧与所述第二终端集合中每个第二终端的对应关系；根据每个待处理视频帧和所述待处理视频参数信息生成视频超分指令，并根据所述对应关系将每个视频超分指令发送至对应的第二终端。通过本技术提供的视频处理装置，实现了通过处理视频参数信息在待分配终端列表中确定第二终端集合，以使第二终端对视频帧进行超分处理，通过每个终端的算力对每个视频帧进行超分，利用了用户的带宽来进行流量的分发，减少了网站的带宽消耗，同时利用的第二终端的算力进行超分，节省了网站的运营成本，同时还保证了用户可以看到超分后的视频。
144.上述为本实施例的一种应用于第一终端集合中的第一终端的视频处理装置的示意性方案。需要说明的是，该视频处理装置的技术方案与上述的应用于第一终端集合中的第一终端的视频处理方法的技术方案属于同一构思，应用于第一终端集合中的第一终端的视频处理装置的技术方案未详细描述的细节内容，均可以参见上述应用于第一终端集合中的第一终端的视频处理方法的技术方案的描述。
145.与上述应用于第三终端集合中的第三终端的视频处理方法实施例相对应，本技术
还提供了应用于第三终端集合中的第三终端的视频处理装置实施例，图5示出了本技术一实施例提供的另一种视频处理装置的结构示意图。如图5所示，该装置包括：
146.接收模块502，被配置为接收第二终端集合中每个第二终端发送的超分视频帧，其中，超分视频帧携带有超分视频帧标识；
147.拼接模块504，被配置为根据每个超分视频帧标识对每个超分视频帧进行拼接获得初始超分视频帧集合；
148.平滑编码模块506，被配置为对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。
149.可选的，所述平滑编码模块506，进一步被配置为：
150.在平滑处理策略库中确定目标平滑处理策略；
151.基于目标平滑处理策略对所述初始超分视频帧集合的每个超分视频帧做时域平滑处理。
152.可选的，所述平滑处理策略库包括光流法处理策略、视频帧平滑模型策略、视频平滑滤镜策略。
153.本技术实施例提供的视频处理装置，应用于第三终端集合中的第三终端，包括接收第二终端集合中每个第二终端发送的超分视频帧，其中，超分视频帧携带有超分视频帧标识；根据每个超分视频帧标识对每个超分视频帧进行拼接获得初始超分视频帧集合；对所述初始超分视频帧集合中的超分视频帧做时域平滑处理并编码获得目标视频流。通过本技术提供的视频处理装置，将超分后的视频帧进行拼接，并分发到各个观众的客户端，减少视频网站的带宽消耗，提升了观众观看超分视频的时效性，提升了用户体验，也减少了视频网站的运营成本。同时对超分视频帧的时域平滑处理，使得超分视频帧的连接更加平顺、自然、连贯，在提升视频帧画质的同时，还可以保证视频的流畅性，使得用户体验到超分后的高清画质，提升用户的使用体验。
154.上述为本实施例的一种应用于第三终端集合中的第三终端的视频处理装置的示意性方案。需要说明的是，该视频处理装置的技术方案与上述的应用于第三终端集合中的第三终端的视频处理方法的技术方案属于同一构思，应用于第三终端集合中的第三终端的视频处理装置的技术方案未详细描述的细节内容，均可以参见上述应用于第三终端集合中的第三终端的视频处理方法的技术方案的描述。
155.图6示出了根据本技术一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
156.计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
157.在本技术的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示
例的目的，而不是对本技术范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
158.计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
159.其中，处理器620执行所述计算机指令时实现所述的视频处理方法的步骤。
160.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的视频处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。
161.本技术一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述视频处理方法的步骤。
162.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的视频处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。
163.上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
164.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
165.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本技术所必须的。
166.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
167.以上公开的本技术优选实施例只是用于帮助阐述本技术。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本技术的内容，可作很多的修改和变化。本技术选取并具体描述这些实施例，是为了更好地解释本技术的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本技术。本技术仅受权
利要求书及其全部范围和等效物的限制。