一种多媒体数据处理方法、装置、设备及可读存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种多媒体数据处理方法、装置、设备以及可读存储介质。


背景技术：

2.随着广播技术以及网络视频应用的发展，视频已成为人们日常生活中重要的一个部分，人们用视频进行娱乐或学习。
3.目前对于视频观看大多需要通过无线网络(例如，wifi)或者流量数据进行，若无线网络不稳定或用户存在移动行为时，则视频可用带宽就存在着一定范围的波动。而网络波动可能会产生带宽变小的情况，在这种情况下若视频缓冲又被消耗殆尽时，在视频播放过程中就会出现视频画面卡顿的问题，这十分损害用户体验。
4.在现有技术中，主要采用根据当前网络状况去调整传输的码率的策略来改善视频画面卡顿的问题。也就是说，现有技术主要根据网络状况去滞后响应补救措施，当视频卡顿的问题发生，才降低码率来进行补救；另一方面，当网络恢复后，也不能及时将码率提高，从而可能会造成网络带宽的浪费。


技术实现要素：

5.本技术实施例提供一种多媒体数据处理方法、装置、设备以及可读存储介质，可以实时响应网络变化，减少视频卡顿发生，减少网络带宽的浪费。
6.本技术实施例一方面提供了一种多媒体数据处理方法，包括：
7.获取多媒体数据对应的历史数据组；历史数据组中包括历史网络数据和历史媒体预测码率，历史媒体预测码率是由已训练的码率预测神经网络基于历史网络数据所预测得到的码率；
8.获取多媒体数据对应的目标网络数据；目标网络数据是在基于初始媒体预测码率播放多媒体数据时所采集到的网络数据；初始媒体预测码率是由初始码率预测模型所预测得到的码率；初始码率预测模型是通过对历史数据组进行分类回归学习所构建得到；
9.根据历史网络数据、历史媒体预测码率、目标网络数据以及初始码率预测模型，生成聚合数据组，对聚合数据组进行分类回归学习，得到轻量码率预测模型；轻量码率预测模型用于在播放多媒体数据的目标终端中进行媒体码率预测处理。
10.本技术实施例提供了一方面提供了一种多媒体数据处理方法，方法由目标终端执行，目标终端包括轻量码率预测模型以及网络采集组件，方法包括：
11.通过网络采集组件在目标心跳周期内采集网络数据；
12.将网络数据输入至轻量码率预测模型，通过轻量码率预测模型输出与网络数据相匹配的目标媒体预测码率；
13.基于目标媒体预测码率，向内容服务器请求播放多媒体数据；
14.其中，轻量码率预测模型是采用本技术实施例一方面提供的多媒体数据处理方法
生成得到的。
15.本技术实施例一方面提供了一种多媒体数据处理装置，包括：
16.数据组获取模块，用于获取多媒体数据对应的历史数据组；历史数据组中包括历史网络数据和历史媒体预测码率，历史媒体预测码率是由已训练的码率预测神经网络基于历史网络数据所预测得到的码率；
17.网络数据获取模块，用于获取多媒体数据对应的目标网络数据；目标网络数据是在基于初始媒体预测码率播放多媒体数据时所采集到的网络数据；初始媒体预测码率是由初始码率预测模型所预测得到的码率；初始码率预测模型是通过对历史数据组进行分类回归学习所构建得到；
18.聚合数据组生成模块，用于根据历史网络数据、历史媒体预测码率、目标网络数据以及初始码率预测模型，生成聚合数据组；
19.预测模型确定模块，用于对聚合数据组进行分类回归学习，得到轻量码率预测模型；轻量码率预测模型用于在播放多媒体数据的目标终端中进行媒体码率预测处理。
20.其中，历史网络数据包括第一历史网络数据与第二历史网络数据，历史媒体预测码率包括第一历史媒体预测码率与第二历史媒体预测码率；
21.数据组获取模块，包括：
22.神经网络部署单元，用于将码率预测神经网络部署于模拟播放器中；
23.历史网络数据获取单元，用于在模拟播放器中模拟请求播放多媒体数据的过程中，获取第一历史网络数据，将第一历史网络数据输入至码率预测神经网络；
24.历史预测码率输出单元，用于通过码率预测神经网络输出与第一历史网络数据相匹配的第一历史媒体预测码率；
25.历史网络数据获取单元，还用于通过模拟播放器，在基于第一历史媒体预测码率对多媒体数据进行模拟请求播放的过程中，获取第二历史网络数据；
26.历史预测码率输出单元，还用于将第二历史网络数据输入至码率预测神经网络，通过码率预测神经网络输出与第二历史网络数据相匹配的第二历史媒体预测码率；
27.数据组生成单元，用于根据第一历史网络数据与第一历史媒体预测码率所组成的数据组，以及第二历史网络数据与第二历史媒体预测码率所组成的数据组，生成历史数据组。
28.其中，历史网络数据获取单元包括：
29.请求发送子单元，用于通过模拟播放器向内容服务器发送用于播放多媒体数据的模拟播放请求；模拟播放请求携带第一历史媒体预测码率；
30.网络数据采集子单元，用于获取由内容服务器所传输的基于第一历史媒体预测码率转码后的多媒体数据，基于所传输的基于第一历史媒体预测码率转码后的多媒体数据，采集网络数据，将采集到的网络数据作为第二历史网络数据。
31.其中，网络数据获取模块包括：
32.模型部署单元，用于将初始码率预测模型部署于模拟播放器中；
33.初始网络数据获取单元，用于在模拟播放器中模拟请求播放多媒体数据的过程中，获取初始网络数据，将初始网络数据输入至初始码率预测模型；
34.初始预测码率输出单元，用于通过初始码率预测模型输出与初始网络数据相匹配
的初始媒体预测码率；
35.模拟请求发送单元，用于通过模拟播放器向内容服务器发送用于播放多媒体数据的模拟播放请求；模拟播放请求携带初始媒体预测码率；
36.目标网络数据采集单元，用于获取由内容服务器所传输的基于初始媒体预测码率转码后的多媒体数据，基于所传输的基于初始媒体预测码率转码后的多媒体数据，采集网络数据，将采集到的网络数据作为目标网络数据。
37.其中，聚合数据组生成模块包括：
38.网络数据合并单元，用于将历史网络数据与目标网络数据进行合并，得到合并网络数据；
39.合并预测码率输出单元，用于将合并网络数据输入至初始码率预测模型，通过初始码率预测模型输出与合并网络数据相匹配的合并媒体预测码率；
40.数据组聚合单元，用于将合并网络数据与合并媒体预测码率所组成的数据组，以及历史网络数据与历史媒体预测码率所组成的历史数据组，进行聚合，得到聚合数据组。
41.其中，预测模型确定模块包括：
42.更新预测模型确定单元，用于对聚合数据组进行分类回归学习，得到更新码率预测模型；
43.更新迭代次数获取单元，用于获取更新码率预测模型对应的模型更新迭代次数；
44.预测模型确定单元，用于当模型更新迭代次数满足迭代次数阈值，将更新码率预测模型确定为轻量码率预测模型。
45.其中，装置还包括：
46.样本数据获取模块，用于获取样本网络数据，将样本网络数据输入样本码率预测神经网络，通过样本码率预测神经网络输出与样本网络数据相匹配的样本媒体预测码率；
47.评估函数获取模块，用于获取评估反馈函数；
48.评估值生成模块，用于根据样本媒体预测码率以及评估反馈函数，生成评估反馈值；
49.神经网络调整模块，用于根据评估反馈值，对样本码率预测神经网络进行调整，得到码率预测神经网络。
50.其中，评估值生成模块包括：
51.码率关联信息获取单元，用于获取样本媒体预测码率所对应的卡顿时间信息以及码率波动信息；
52.评估值生成单元，用于根据卡顿时间信息、码率波动信息、样本媒体预测码率以及评估反馈函数，生成针对样本媒体预测码率的评估反馈值。
53.其中，神经网络调整模块包括：
54.评估差值确定单元，用于获取评估反馈阈值，确定评估反馈值与评估反馈阈值之间的评估差值；
55.参数调整单元，用于若评估差值超出差值范围，则确定样本媒体预测码率与样本网络数据之间的匹配度未满足匹配条件，根据评估差值对样本码率预测神经网络中的网络参数进行调整，得到码率预测神经网络；
56.神经网络确定单元，用于若评估差值处于差值范围内，则确定样本媒体预测码率
与样本网络数据之间的匹配度满足匹配条件，将样本码率预测神经网络确定为码率预测神经网络。
57.本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
58.存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本技术实施例中的方法。
59.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本技术实施例中的方法。
60.本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例中一方面提供的方法。
61.本技术实施例一方面提供了一种多媒体数据处理装置，包括：
62.网络采集组件，用于在目标心跳周期内采集网络数据；
63.轻量码率预测模型，用于输出与所述网络数据相匹配的目标媒体预测码率；
64.数据播放请求模块，用于基于目标媒体预测码率，向内容服务器请求播放多媒体数据；
65.其中，轻量码率预测模型是采用本技术实施例一方面提供的多媒体数据处理方法生成得到的。
66.其中，数据播放请求模块包括：
67.播放请求生成单元，用于根据目标媒体预测码率，生成多媒体数据内容播放请求，将多媒体数据内容播放请求发送至内容服务器；
68.目标数据接收单元，用于接收内容服务器所返回的目标多媒体数据；目标多媒体数据是指基于目标媒体预测码率对多媒体数据进行转码后所得到的数据；
69.数据播放单元，用于播放目标多媒体数据。
70.本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
71.存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本技术实施例中的方法。
72.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本技术实施例中的方法。
73.本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例中一方面提供的方法。
74.在本技术实施例中，用于进行媒体码率预测的轻量码率预测模型是通过对聚合数据组进行分类回归学习所构建得到的，而该聚合数据组又是根据历史数据组所聚合得到。因为该历史数据组是根据已训练好的码率预测神经网络所确定，因为该已训练好的码率预测神经网络具备较高的码率预测准确率，则根据历史数据组所构建得到的轻量码率预测模
型也可以具备较高的码率预测准确率。且因为通过分类回归学习所构建得到的轻量码率预测模型，具备结构轻量的特点，当该轻量码率预测模型被部署于目标终端时，可以使得目标终端的运行开销很小。同时，针对于任一时长段的网络数据，轻量码率预测模型可以准确预测出该网络数据应该适配的码率，则当目标终端在下一个时长段播放目标视频块时，可以基于该预测出的码率进行播放，从而可以实现码率自适应网络数据。应当理解，本方法通过对码率预测神经网络进行训练，再将码率预测神经网络进行轻量化转换得到轻量码率预测模型的方式，可以使得轻量码率模型被部署于用户终端，该轻量码率预测模型因为是基于码率预测神经网络所得到，则该轻量码率预测模型也具备较高的码率预测准确率，不仅在网络发生变化时及时调整媒体码率，做到实时响应网络变化，从而可以减少多媒体数据(例如，视频)出现卡顿的情况发生，还可以减少网络带宽的浪费，而且还因为轻量码率预测模型具备结构轻量的特点，可以被部署于用户终端，从而可以减少用户终端的运行开销。
附图说明
75.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
76.图1a是本技术实施例提供的一种网络架构图；
77.图1b是本技术实施例提供的一种轻量码率预测模型训练的架构示意图；
78.图2是本技术实施例提供的一种场景示意图；
79.图3是本技术实施例提供的一种多媒体数据处理方法的流程示意图；
80.图4是本技术实施例提供的一种生成轻量码率预测模型的示意图；
81.图5是本技术实施例提供的一种训练码率预测神经网络的流程示意图；
82.图6是本技术实施例提供的一种基于强化学习的训练码率预测神经网络的结构示意图；
83.图7是本技术实施例提供的一种多媒体数据处理方法的流程示意图；
84.图8是本技术实施例提供的一种模型应用的场景示意图；
85.图9是本技术实施例提供的一种模型应用的架构示意图；
86.图10是本技术实施例提供的一种多媒体数据处理装置的结构示意图；
87.图11是本技术实施例提供的一种多媒体数据处理装置的结构示意图；
88.图12是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
89.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
90.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理
论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
91.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
92.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
93.本技术实施例提供的方案涉及人工智能的机器学习(machine learning,ml)等技术。
94.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
95.请参见图1a，图1a是本技术实施例提供的一种网络架构图。如图1a所示，该网络架构可以包括业务服务器1000、内容服务器1000和用户终端集群，用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限制。如图1a所示，多个用户终端可以包括用户终端100a、用户终端100b、用户终端100c、
…
、用户终端100n；如图1a所示，用户终端100a、用户终端100b、用户终端100c、
…
、用户终端100n可以分别与业务服务器1000进行网络连接，以便于每个用户终端可以通过该网络连接与业务服务器1000之间进行数据交互。用户终端100a、用户终端100b、用户终端100c、
…
、用户终端100n可以分别与内容服务器进行网络连接，以便于每个用户终端可以通过该网络连接与内容服务器之间进行数据交互。业务服务器1000可以与内容服务器进行网络连接，以便于业务服务器1000与内容服务器之间可以进行数据交互。
96.可以理解的是，如图1a所示的每个用户终端均可以安装有目标应用，当该目标应用运行于各用户终端中时，可以分别与图1a所示的业务服务器1000或内容服务器之间进行数据交互，使得业务服务器1000或内容服务器可以接收来自于每个用户终端的业务数据。其中，该目标应用可以包括具有显示文字、图像、音频以及视频等数据信息功能的应用。如，应用可以包括多媒体应用(例如，视频类应用)或娱乐类应用(例如，游戏类应用)，视频类应用和娱乐类应用均可以具有多媒体数据(例如，视频与音乐)加载和播放功能。
97.可以理解的是，用户终端中可以部署有轻量码率预测模型，当用户通过用户终端在目标应用(例如，视频类应用)中播放目标视频时，用户终端可以采集到一个时长段内(如，时长段1)的网络数据(例如，该时长段1对应的视频块数据大小、视频块下载耗时、视频块时长、视频块缓冲大小时长等信息)，可以将该时长段1对应的网络数据发送至该轻量码
率预测模型，通过该轻量码率预测模型可以对该时长段1的网络数据进行分析，并预测出一个适应于时长段2对应的视频块内容的媒体预测码率；随后，用户终端可以基于该媒体预测码率生成一个视频块内容请求，并将携带该媒体预测码率的视频块内容请求发送至内容服务器，内容服务器可以基于该媒体预测码率，对时长段2所对应的视频块内容进行转码，得到转码视频块内容，随后，内容服务器可以将该转码视频块内容返回至该用户终端，该用户终端可以播放该转码视频块内容，用户也可以在时长段2内，观看到该转码视频块内容。
98.可选的，可以理解的是，本技术实施例可以在多个用户终端中选择一个用户终端作为目标用户终端，该用户终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、台式计算机、智能手表等携带多媒体数据处理功能(例如，视频数据播放功能、音乐数据播放功能)的智能终端，但并不局限于此。例如，本技术实施例可以将图1a所示的用户终端100a作为该目标用户终端，该目标用户终端中可以集成有上述目标应用，此时，该目标用户终端可以通过该目标应用与业务服务器1000之间进行数据交互。
99.可以理解的是，轻量码率预测模型可以被部署于业务服务器1000中，业务服务器1000可以从用户终端的应用收集到业务数据，如，该业务数据可以为目标用户播放多媒体数据(例如，目标视频)时，所采集到的一个时长段(如时长段1)内目标视频的一个视频块对应的网络数据(例如，该时长段1对应的视频块数据大小、视频块下载耗时、视频块时长、视频块缓冲大小时长等信息)；通过业务服务器1000中的轻量码率预测模型可以确定出与该网络数据相匹配的媒体预测码率；业务服务器1000可以生成视频转码请求，并将该携带该媒体预测码率的视频转码请求发送至内容服务器，内容服务器可以基于该媒体预测码率对时长段2所对应的视频块进行转码，得到转码视频块，并将该转码视频块返回至业务服务器1000；业务服务器1000可以将转码视频块发送至目标用户所使用的用户终端，则目标用户在该时长段2内，所观看到的为该转码视频块数据。因为该媒体预测码率基于对时长段1的网络数据所预测确定，该媒体预测码率可以适应时长段2的网络数据，则在目标用户在该时长段2内观看该转码视频块时，不会出现视频卡顿的情况。
100.如，用户在使用用户终端中的目标应用(如视频类应用)时，业务服务器1000通过该用户终端中的目标应用，检测并收集到该用户播放的视频为视频a，在播放视频a的时长0-时长10s内，业务服务器1000可以采集到该用户终端的网络数据，随后，业务服务器1000通过轻量码率预测模型可以确定出一个媒体预测码率；业务服务器1000可以基于该媒体预测码率生成视频转码请求，并将该视频转码请求发送至内容服务器，内容服务器可以基于该媒体预测码率，对10s-20s内所对应的视频块进行转码，并将转码后的视频块返回至业务服务器1000，业务服务器1000可以将该转码视频块返回至用户终端，则用户可以通过该用户终端，在时长段10s-20s内，观看到该转码视频块数据。
101.其中，为了提高轻量码率预测模型对码率的预测准确率，可以对该轻量码率预测模型进行训练，使得训练后的轻量码率预测模型可以具备较高的码率预测准确率，为便于理解，请一并参见图1b，图1b是本技术实施例提供的一种轻量码率预测模型训练的架构示意图。
102.如图1b所示，可以将模拟播放器置于业务服务器，对轻量码率预测模型的训练可以在业务服务器中进行。在模拟播放器模拟播放多媒体数据时，通过采集历史网络带宽以及视频基本信息可以训练码率预测神经网络，得到训练完成的码率预测神经网络后，可以
将码率预测神经网络在模拟播放器进行初始化(即，通过模拟播放器模拟播多媒体数据，并将该码率预测神经网络进行试运行)，该码率预测神经网络在试运行时，通过输入网络数据至码率预测神经网络中，码率预测神经网络可以输出对应的媒体预测码率，从而组成包含网络数据与媒体预测码率的数组；可以基于该包含网络数据与媒体预测码率的数组对该码率预测神经网络进行轻量化转换，得到轻量码率预测模型，同理，可以将该轻量码率预测模型进行试运行，采集到新的网络数据并输入至轻量码率预测模型，轻量码率预测模型可以输出媒体预测码率，从而可以基于轻量码率预测模型所得到包含新的网络数据与新的媒体预测码率的数组；根据该包含新的网络数据与新的媒体预测码率的数组以及码率预测神经网络所得到的包含网络数据与媒体预测码率的数组，可以对轻量码率预测模型进行修正训练，得到新的轻量码率预测模型。由此，通过多次修正训练，可以得到最终的具有较高码率预测准确率的轻量码率预测模型。
103.其中，对于训练轻量码率模型的具体过程可以参见后续图3所对应实施例中步骤s101-步骤s103的描述。
104.可以理解的是，本技术实施例提供的方法可以由计算机设备执行，计算机设备包括但不限于用户终端或业务服务器。其中，业务服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
105.其中，用户终端以及业务服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
106.为便于理解，请参见2，图2是本技术实施例提供的一种场景示意图。其中，如图2所示的内容服务器可以为上述图1a所对应实施例中的内容服务器，且如图2所示的用户终端可以为在上述图1a所对应实施例的用户终端集群中所选取的任意一个用户终端，比如，该用户终端可以为上述用户终端100b。其中，如图2所示的用户终端中部署有网络采集组件以及轻量码率预测模型。
107.如图2所示，目标用户(如，用户a)正通过用户终端播放视频a的第一集，在0-10s这一时长段的播放过程中，用户终端中的网络采集组件可以采集到0-10s这一时长段的网络数据(该网络数据可以用于表征这段时长所对应的视频块的网络数据，如视频块的数据大小，视频块缓冲大小时长，码率值等)；随后，网络采集组件可以将该采集到的0-10s内的网络数据发送至用户终端中的轻量码率预测模型，通过该轻量码率预测模型可以对该网络数据(视频块的数据大小、视频块缓冲大小时长、码率值等)进行分析，预测出一个适应于0-10s的下一个时长段(如，10s-20s)所对应视频块的媒体预测码率；随后，基于该媒体预测码率，用户终端可以生成一个视频内容播放请求，并将该视频内容播放请求发送至内容服务器；该内容服务器可以获取到该视频a的第一集中，10s-20s的视频块内容，并基于该媒体预测码率对该10s-20s的视频块内容进行转码，得到转码后的视频块内容；随后，业务服务器可以将该10s-20s的转码后的视频块内容返回至用户终端，该用户终端可以播放该10s-20s的基于该媒体预测码率进行转码后的视频块内容。
108.如图2所示，因为在0-10s内所采集到的网络数据较差(如，0-10s内的网络速度较差且0-10s内的视频块的缓冲时长很小)，则轻量码率预测模型基于该较差的网络数据所得
到的媒体预测码率也较低，则在播放该10s-20s对应的视频内容时为较低的码率播放(如图2所示，从720p降低为480p)。则虽然网络数据较差，但因为轻量码率预测模型所预测的媒体预测码率较低，目标用户在较差的网络数据环境下，观看10s-20s对应的视频内容时，也不会出现视频卡顿的情况。
109.应当理解，通过对网络采集组件所采集到的0-10s时的网络数据进行网络数据分析，可以预测到一个媒体预测码率来适应10s-20s的网络数据。则轻量码率预测模型基于该0-10s时的网络数据所确定的媒体预测码率，可以很好适应10s-20s时的网络变化情况，从而可以使得用户在观看10s-20s时的视频内容时，不会出现视频卡顿的情况，可以提高用户体验质量。
110.进一步地，请参见图3，图3是本技术实施例提供的一种多媒体数据处理方法的流程示意图。其中，如图3所示，该方法可以由用户终端(例如，上述图2所示的用户终端)执行，也可以由业务服务器(例如，上述图2所示的业务服务器)执行，还可以由用户终端和业务服务器共同执行。为便于理解，本实施例以该方法由上述业务服务器执行为例进行说明，以阐述在业务服务器中进行轻量码率预测模型的训练的具体过程。其中，该方法至少可以包括以下步骤s101-步骤s103：
111.步骤s101，获取多媒体数据对应的历史数据组；历史数据组中包括历史网络数据和历史媒体预测码率，历史媒体预测码率是由已训练的码率预测神经网络基于历史网络数据所预测得到的码率。
112.本技术中，码率预测神经网络可以为循环神经网络(recurrent neural network，rnn)，该码率预测神经网络还可以为卷积神经网络(convolutional neural network，cnn)，码率预测神经网络还可以为残差网络(resdual network，resnet)等，在此不再进行一一举例。
113.本技术可以采用基于强化学习的方式对该码率预测神经网络进行训练，得到训练完成的码率预测神经网络。对于训练码率预测神经网络的具体实现方式，可以参见后续图5所对应实施例中步骤s201-步骤s203的描述。
114.进一步地，可以将该训练完成的码率预测神经网络部署于模拟播放器中(该模拟播放器可以置于业务服务器中，从而可以实现对码率预测神经网络试运行时，通过模拟播放器可以模拟播放多媒体数据，且模拟播放多媒体数据时的媒体码率是基于码率预测神经网络所确定的码率)，在该模拟播放器中模拟请求播放该多媒体数据的过程中，可以获取到第一历史网络数据，可以将该第一历史网络数据输入至该码率预测神经网络中；随后，通过该码率预测神经网络，可以输出与该第一历史网络数据相匹配的第一历史媒体预测码率；随后通过该模拟播放器，可以向内容服务器发送用于播放该多媒体数据的模拟播放请求；应当理解，该模拟播放请求携带该第一历史媒体预测码率；随后，可以获取到由内容服务器所传输的基于该第一历史媒体预测码率转码后的多媒体数据，基于所传输的基于该第一历史媒体预测码率转码后的多媒体数据，可以采集到网络数据，并将该采集到的网络数据作为第二历史网络数据；
115.进一步地，该第一历史网络数据与该第一历史媒体预测码率之间可以形成一个数据组，同理，第二历史网络数据与第二历史媒体预测码率之间可以形成一个数据组，可以将这两个数据组进行合并，由此得到历史数据组。也就是说，该历史数据组中包括有历史网络
数据(包括第一历史网络数据与第二历史网络数据)，以及历史媒体预测码率(包括第一历史媒体预测码率以及第二历史媒体预测码率)。
116.应当理解，将该训练完成的码率预测神经网络部署于模拟播放器中，在该模拟播放器中模拟请求播放该多媒体数据的过程，是对码率预测神经网络试运行的一个过程，历史网络数据可以是指在试运行码率预测神经网络时，模拟播放视频时所采集到的网络状态信息(例如，视频块的数据大小、视频块的缓冲时长、视频块下载耗时、视频块对应的码率值等)，在试运行的过程中，输入一个时长段1(视频块的时长)的历史网络数据1(即时长段1所对应的视频块的网络状态信息)到码率预测神经网络中，该码率预测神经网络可以确定一个历史媒体预测码率1，随后，可以基于该历史媒体预测码率1在下一时长段2(视频块的时长)内对时长段2所对应的视频块进行模拟播放，从而可以采集到下一时长段2内的受该历史媒体预测码率1所影响的历史网络数据2，并根据该历史网络数据2预测一个新的预测码率(历史媒体预测码率2)，由此可以形成包括[(历史网络数据1，历史媒体预测码率1)，(历史网络数据2，历史媒体预测码率2)，
…
，(历史网络数据n，历史媒体预测码率n)]的历史数据组。
[0117]
步骤s102，获取多媒体数据对应的目标网络数据；目标网络数据是在基于初始媒体预测码率播放多媒体数据时所采集到的网络数据；初始媒体预测码率是由初始码率预测模型所预测得到的码率；初始码率预测模型是通过对历史数据组进行分类回归学习所构建得到。
[0118]
本技术中，通过对码率预测神经网络所得到的历史数据组进行分类回归学习，可以构建得到初始码率预测模型。其中，对历史数据组进行分类回归学习可以是指对使用分类和回归树算法规则，对得到的历史数据组进行学习，构建得到分类回归决策树，该分类回归决策树即为该初始码率预测模型。为便于理解，以下将对分类和回归树算法进行阐述：
[0119]
分类与回归树(ciassification and regression trees，cart)是分类数据挖掘算法的一种。分类与回归树采用一种二分递归分割的技术，分割方法是采用基于最小距离的基尼指数函数，将当前的样本集(如，历史数据组)分为两个子样本集，使得生成的每个非叶子节点都有两个分支。因此，cart算法生成的决策树是结构简洁的二叉树。分类与回归树的算法规则可以是基于基尼指数，来选取特征以及划分点，从而对样本集进行分类构建得到二叉决策树。
[0120]
可以理解的是，对于分类与回归树的算法流程可以为：将样本集(例如，历史数据组)作为根节点，从根节点开始，计算现有特征对该样本集的基尼系数(对每个现有特征a，对其可能取得每一个值a，根据样本点a＝a的测试为“是”或“否”将样本集分成两个部分，计算a＝a时的基尼指数)；随后，可以在每一个可能的特征a以及每一个可能的切分点a中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点，按照该最优特征以及该最优切分点，可以从现节点(如，根节点)生成两个子节点，并将该样本集按照特征分配到两个子节点中；通理，可以对两个子节点分别递归地调用上述根节点生成子节点的方法，每个子节点又可以生成各自对应的两个子节点，从而可以生成分类与回归决策树(二叉决策树)。
[0121]
例如，以样本集为表1为例来阐述根据基尼指数选择最优特征与最优切分点的方法，如表1所示的样本集共有12个样本，每个样本都是对某种动物的特征描述；如表1所示，
输入特征共有8个特征，分别为体温、表面覆盖、胎生、产蛋、能飞、水生、有腿以及冬眠，如表1所示，类标记可以分3种，分别为哺乳类、爬行类和鱼类。
[0122]
表1
[0123]
名称体温表面覆盖胎生产蛋能飞水生有腿冬眠类标记人恒温毛发是否否否是否哺乳类巨蟒冷血鳞片否是否否否是爬行类鲑鱼冷血鳞片否是否是否否鱼类鲸恒温毛发是否否是否否哺乳类蛙冷血无否是否有时是是两栖类巨蜥冷血鳞片否是否否是否爬行类蝙蝠恒温毛发是否是否是否哺乳类猫恒温皮是否否否是否哺乳类豹纹鲨冷血鳞片是否否是否否鱼类海龟冷血鳞片否是否有时是否爬行类豪猪恒温刚毛是否否否是是哺乳类鳗冷血鳞片否是否是否否鱼类
[0124]
基尼指数表示一个被选中的随机样本被分错的概率，基尼指数越小表明样本被分错的概率越小，样本集的纯度越高。基尼指数的理论取值范围为0～1，当所有的样本都属于同一类时，基尼指数为0，当所有的分类在样本中以相同概率分布时，基尼指数＝(c-1)/c，其中，c是分类的数量，此时基尼指数的值为最大值。
[0125]
例如，如表1所示的样本集d被特征a＝a(体温＝恒温)划分为两个子集d1和d2，其中|d|＝12，|d1|＝5(有5个体温为恒温)，|d2|＝7(有7个体温为冷血)；子集d1中所有样本同属一类(均属于哺乳类)，因此基尼指数(d1)＝0；d2中样本又可以分为3类，分别为3个爬行类，3个鱼类以及1个哺乳类，则可以确定基尼指数(d2)＝1-[(3/7)2+(3/7)2+(1/7)2]＝30/49，根据该基尼指数(d1)以及基尼指数(d2)，可以得到如表1所示的样本集d在体温为恒温这一条件下的基尼指数。同理，对所有特征通过以上进行基尼指数的计算，可以得到样本集d在每个特征下的基尼指数，最后取基尼指数最小值对应的特征，来对样本进行划分。
[0126]
其中，可以理解的是，本技术中的网络数据可以对应于如表1所示的8个特征，而本技术中的媒体预测码率值(例如，270、480、720、1080)可以对应于如表1所示的类标记。则本技术可以采用上述分类与回归树的算法规则，基于历史数据组(包括历史网络数据与历史媒体预测码率)构建分类回归决策树，并将该分类回归决策树作为初始码率预测模型。
[0127]
可以理解的是，对于构建分类回归决策树，不仅限于使用分类与回归树中的采用基尼指数来进行划分的算法规则，还可以采用分类与回归树中的其他算法规则，本技术不做限制。
[0128]
进一步地，通过对历史数据组进行分类回归学习(通过分类与回归树算法对历史数据组进行学习)得到初始码率预测模型后，可以将该初始码率预测模型部署于模拟播放器中，在该模拟播放器中模拟请求播放该多媒体数据的过程中，可以获取初始网络数据，并将该初始网络数据输入至该初始码率预测模型；通过该初始码率预测模型，可以输出与该初始网络数据相匹配的初始媒体预测码率；随后，可以通过该模拟播放器向该内容服务器
发送用于播放该多媒体数据的模拟播放请求；应当理解，该模拟播放请求携带该初始媒体预测码率；随后，可以获取由该内容服务器所传输的基于该初始媒体预测码率转码后的多媒体数据，基于所传输的基于该初始媒体预测码率转码后的多媒体数据，可以采集网络数据，并将该采集到的网络数据作为目标网络数据。
[0129]
应当理解，将该目标网络数据输入至该初始码率预测模型中，该初始码率预测模型也可以输出针对该目标网络数据的媒体预测码率。
[0130]
应当理解，可以将初始码率预测模型部署于模拟播放器中，在该模拟播放器中模拟请求播放该多媒体数据的过程，是对初始码率预测模型试运行的一个过程，在试运行的过程中，输入一个时长段1’的初始网络数据1到初始码率预测模型中，该初始码率预测模型可以确定一个初始媒体预测码率1，随后，可以基于该初始媒体预测码率1在下一时长段2’内对该多媒体数据进行模拟播放，从而可以采集到下一时长段2’内的受该初始媒体预测码率1所影响的初始网络数据2。根据该初始网络数据2可以预测一个新的预测码率(初始媒体预测码率2)，由此可以形成包括[(初始网络数据1，初始媒体预测码率1)，(初始网络数据2，初始媒体预测码率2)，
…
，(初始网络数据n，初始媒体预测码率n)]的数据组。该数据组中的初始网络数据(包括初始网络数据2、
…
、初始网络数据n)可以作为目标网络数据。
[0131]
步骤s103，根据历史网络数据、历史媒体预测码率、目标网络数据以及初始码率预测模型，生成聚合数据组，对聚合数据组进行分类回归学习，得到轻量码率预测模型；轻量码率预测模型用于在播放多媒体数据的目标终端中进行媒体码率预测处理。
[0132]
本技术中，可以获取到通过试运行码率预测神经网络时，所采集到的历史网络数据，并获取到通过试运行初始码率预测模型时，所采集到的初始网络数据，可以将该历史网络数据(例如，历史网络数据1、历史网络数据2、
…
、历史网络数据n)与该初始网络数据(例如，初始网络数据2、
…
、初始网络数据n)进行合并，可以得到合并网络数据；随后，可以将该合并网络数据输入至该初始码率预测模型中，通过该初始码率预测模型可以输出与该合并网络数据相匹配的合并媒体预测码率；随后，根据该合并网络数据与该合并媒体预测码率，可以组成一个数据组，可以将该合并网络数据与该合并媒体预测码率所组成的数据组，与该历史数据组进行聚合，从而可以得到聚合数据组。
[0133]
其中，对于合并历史网络数据与初始网络数据的方式可以为拼接、聚合等，对于合并的方式，本技术不做限制，在此不再进行一一举例。
[0134]
进一步地，可以对该聚合数据组进行分类回归学习，得到更新码率预测模型；通过获取该更新码率预测模型对应的模型更新迭代次数，来确定轻量码率预测模型，若该模型更新迭代次数满足迭代次数阈值，则可以将该更新码率预测模型确定为该轻量码率预测模型。
[0135]
应当理解，通过对该聚合数据组进行分类回归学习，得到更新码率预测模型，此时已进行两次对数据组进行分类回归学习(分别为对历史数据组进行分类回归学习以及对聚合数据组进行分类回归学习)，则更新码率预测模型的模型更新迭代次数为2，若迭代次数阈值为10，则该模型更新迭代次数2还未满足迭代次数阈值10，则可以将该更新码率预测模型进行试运行，从而可以得到该更新码率预测模型对应的更新数据组(包括更新网络数据以及更新预测码率)；同理，可以根据上述码率预测神经网络对应的历史数据组、该更新网络数据以及该更新码率预测模型，生成新的聚合数据组，通过对该新的聚合数据组进行分
类回归学习，可以得到新的码率预测模型；此时，模型更新迭代次数3仍未满足迭代次数阈值10，可以继续将该新的码率预测模型进行试运行，并继续构建新的码率预测模型，直至模型更新迭代次数达到迭代次数阈值10，可以将最后构建得到的码率预测模型作为轻量码率预测模型。
[0136]
为便于理解，请一并参见图4，图4是本技术实施例提供的一种生成轻量码率预测模型的示意图。其中，如图4所示的生成轻量码率预测模型是以迭代次数为2次为例进行说明。
[0137]
如图4所示，可以将已训练好的码率预测神经网络进行试运行，将采集到的一个时长段的历史网络数据1输入至码率预测神经网络中，通过该码率预测神经网络可以输出历史媒体预测码率1；基于该历史媒体预测码率1，可以对下一个时长段的视频块进行模拟播放，从而可以采集到历史网络数据2，将该历史网络数据2输入至该码率预测神经网络中，通过该码率预测神经网络可以输出历史媒体预测码率2。从而可以得到历史数据组为[(历史网络数据1，历史媒体预测码率1)，(历史网络数据2，历史媒体预测码率2)]。
[0138]
进一步地，如图4所示，通过对该历史数据组进行分类回归学习，可以构建得到初始码率预测模型(1次迭代)，可以将该初始码率预测模型进行试运行。如图4所示，可以将采集到的一个时长段的初始网络数据输入至该初始码率预测模型，通过该初始码率预测模型可以输出一个初始媒体预测码率1；基于该初始媒体预测码率1，可以对下一个时长段的视频块进行模拟播放，从而可以采集到下一个时长段的初始网络数据2，将该初始网络数据2输入至初始码率预测模型中，可以得到初始媒体预测码率2。从而可以得到数据组[(初始网络数据1，初始媒体预测码率1)，(初始网络数据2，初始媒体预测码率2)]。为使码率预测模型的预测效果向已训练好的码率预测神经网络靠近，则可以将历史数据组中的历史网络数据与该目标网络数据进行合并，这里可以将初始网络数据1与初始网络数据2均作为目标网络数据。
[0139]
如图4所示，将该历史网络数据与目标网络数据进行合并后，可以得到合并网络数据[历史网络数据1，历史网络数据2，初始网络数据1，初始网络数据2]；将该合并网络数据输入至初始码率预测模型中，可以得到一个合并媒体预测码率，从而可以组成[合并网络数据，合并媒体预测码率]的合并数据组；随后，为使码率预测模型的预测效果向已训练好的码率预测神经网络靠近，可以将该合并数据组与上述码率预测神经网络对应的历史数据组进行聚合，生成聚合数据组，通过对该聚合数据组进行分类回归学习，可以得到一个新的码率预测模型(2次迭代)，此时，该新的码率预测模型已是2次迭代产生的码率预测模型，所以该新的码率预测模型，可以作为轻量码率预测模型。
[0140]
应当理解，将历史网络数据与目标网络数据进行合并，得到合并网络数据，以及将历史数据组与合并数据组(包括合并网络数据以及合并媒体预测码率)进行聚合的意义在于，使得分类回归学习到的轻量码率预测模型向已训练好的码率预测神经网络接近，因为码率预测神经网络经过基于强化学习的方式训练后，可以具有较高的码率预测准确率，则通过利用试运行码率预测神经网络时，所得到的历史网络数据来对轻量码率预测模型进行强化学习，可以使得轻量码率预测模型也具有较高的码率预测准确率。
[0141]
可以理解的是，这里对多个数据组(例如，历史数据组)进行分类回归学习的意义在于，因为码率预测神经网络结构复杂，运行速度慢，若将码率预测神经网络部署在用户终
端，会由于预测消耗较大，从而增大用户终端的文件大小，进而增加运行开销。为减少运行开销，可以通过分类回归学习的方式，构建分类回归决策树(轻量码率预测模型)，该轻量码率预测模型可以理解为是结构简单且运行速度较快的轻量化的码率预测神经网络。因为决策树是非参数化的并且可以表达复杂的逻辑，即使码率预测神经网络有着高度非线性的预测边界，决策树也可以十分近似码率预测神经网络。因为决策树十分灵活，可以在需要的时候缩至非常细的颗粒度进行搜索预测。该轻量码率预测模型可以部署于目标终端中，若该目标终端中有播放多媒体数据，则该轻量码率预测模型可以用于进行媒体码率预测处理。
[0142]
在本技术实施例中，用于进行媒体码率预测的轻量码率预测模型是通过对聚合数据组进行分类回归学习所构建得到的，而该聚合数据组又是根据历史数据组所聚合得到。因为该历史数据组是根据已训练好的码率预测神经网络所确定，因为该已训练好的码率预测神经网络具备较高的码率预测准确率，则根据历史数据组所构建得到的轻量码率预测模型也可以具备较高的码率预测准确率。且因为通过分类回归学习所构建得到的轻量码率预测模型，具备结构轻量的特点，当该轻量码率预测模型被部署于目标终端时，可以使得目标终端的运行开销很小。同时，针对于任一时长段的网络数据，轻量码率预测模型可以准确预测出该网络数据应该适配的码率，则当目标终端在下一个时长段播放目标视频块时，可以基于该预测出的码率进行播放，从而可以实现码率自适应网络数据。应当理解，本方法通过对码率预测神经网络进行训练，再将码率预测神经网络进行轻量化转换得到轻量码率预测模型的方式，可以使得轻量码率模型被部署于用户终端，该轻量码率预测模型因为是基于码率预测神经网络所得到，则该轻量码率预测模型也具备较高的码率预测准确率，不仅在网络发生变化时及时调整媒体码率，做到实时响应网络变化，从而可以减少多媒体数据(例如，视频)出现卡顿的情况发生，还可以减少网络带宽的浪费，而且还因为轻量码率预测模型具备结构轻量的特点，可以被部署于用户终端，从而可以减少用户终端的运行开销。
[0143]
为便于理解，请参见图5，图5是本技术实施例提供的一种训练码率预测神经网络的流程示意图。如图5所示，该流程可以包括：
[0144]
步骤s201，获取样本网络数据，将样本网络数据输入样本码率预测神经网络，通过样本码率预测神经网络输出与样本网络数据相匹配的样本媒体预测码率。
[0145]
本技术中，样本网络数据可以是指在训练码率预测神经网络时，从传输网络环境中所获取到的一个时长段内的网络数据，该网络数据可以包括视频块的数据大小，视频块下载耗时，视频块时长，缓冲大小时长，重新缓冲加载时长，剩余未播放视频块数量，帧接收时间间隔，实际下载时间与播放时间之间的差值，客户端播放帧率等信息，这些信息可以共同组成一个样本网络数据。
[0146]
应当理解，一个视频可以被划分为多个视频块，则这里的样本网络数据可以是指一个视频块所对应的视频块数据大小，视频块下载耗时，视频块的码率等信息。
[0147]
可以将获取到的样本网络数据输入至样本码率预测模型，如获取到时长段1(视频块)的网络数据，可以作为样本网络数据1，将该样本网络数据1输入至样本码率预测神经网络，通过该样本码率预测神经网络可以输出一个样本媒体预测码率1；随后，可以通过该样本媒体预测码率对下一个时长段所对应的视频块进行模拟播放，从而可以采集到下一个时长段的网络数据(样本网络数据2)。可以将该样本网络数据2输入至样本码率预测神经网络，该样本码率预测神经网络可以输出一个样本媒体预测码率2。
[0148]
步骤s202，获取评估反馈函数，根据样本媒体预测码率以及评估反馈函数，生成评估反馈值。
[0149]
本技术中，可以获取该样本媒体预测码率对应的卡顿时间信息以及码率波动信息；根据该卡顿时间信息、该码率波动信息、该样本媒体预测码率以及该评估反馈函数，可以生成针对该样本媒体预测码率的评估反馈值。应当理解，该评估反馈值可以用于反映码率预测神经网络对于该样本网络数据的码率预测效果，该评估反馈值越大，则表征码率预测神经网络的码率预测效果越好。
[0150]
其中，对于确定样本媒体预测码率对应的评估反馈值的具体实现方式，可以如公式(1)所示：
[0151]
qoe＝∑
n
q(r
n
)-μ∑
n
t
n-γ∑
n
|q(r
n+1
)-q(r
n
)|
ꢀꢀ
公式(1)
[0152]
其中，qoe可以用于表征评估反馈值；n可以用于表征采集样本网络数据的时长段的序号；r
n
可以用于表征针对第n个时长段内的码率值；q(r
n
)可以用于表征利用预设的非线性函数q()，对码率值r
n
进行非线性运算；∑
n
q(r
n
)可以用于表征将n个时长段得到的q(r
n
)进行求和；t
n
可以用于表征第n个时长段内的卡顿时间信息；∑
n
t
n
可以用于保证将n个时长段的卡顿时间信息进行求和；r
n+1
可以用于表征针对第n个时长段内，所对应的样本网络数据所得到的样本媒体预测码率；q(r
n+1
)可以用于表征利用预设的非线性函数q()，对样本媒体预测码率r
n+1
进行非线性运算；|q(r
n+1
)-q(r
n
)|可以用于表征第n个时长段内的码率波动信息；∑
n
|q(r
n+1
)-q(r
n
)|可以用于表征将n个时长段的码率波动信息的总和；μ可以用于表征卡顿时间信息影响评估反馈值的权重，γ可以用于表征波动码率信息影响评估反馈值的权重。
[0153]
应当理解，获取到时长段1的网络数据(包含时长段1内的码率值r
n
)，可以作为样本网络数据1，将该样本网络数据1输入至样本码率预测神经网络，通过该样本码率预测神经网络可以输出一个样本媒体预测码率1(即(r
n+1
))；该样本媒体预测码率1可以适配于下一个时长段(如时长段2)的网络数据，根据将该样本媒体预测码率1与该时长段1对应的码率值(r
n
)，可以确定出时长段1所对应的码率波动信息，随后，可以通过统计得到时长段1内的卡顿时间信息，则通过时长段1内的卡顿时间信息、样本媒体预测码率1、时长段1所获取到的码率值以及公式(1)，可以确定出针对该样本媒体预测码率1的评估反馈值，该评估反馈值越大，则可以表明该样本媒体预测码率1与时长段2所对应的网络数据越匹配，则码率预测神经网络的码率预测效果越好。
[0154]
步骤s203，根据评估反馈值，对样本码率预测神经网络进行调整，得到码率预测神经网络。
[0155]
本技术中，可以通过该评估反馈值对该样本码率预测神经网络进行调整，具体方法可以为，获取评估反馈阈值，并确定该评估反馈值与该评估反馈阈值之间的评估差值；若该评估差值超出差值范围，则可以确定该样本媒体预测码率与该样本网络数据之间的匹配度未满足匹配条件，则可以根据该评估差值对该样本码率预测神经网络中的网络参数进行调整，将调整后的样本码率预测神经网络确定为最终的码率预测神经网络；若该评估差值处于该差值范围内，则可以确定该样本媒体预测码率与该样本网络数据之间的匹配度满足该匹配条件，并将该样本码率预测神经网络确定为该码率预测神经网络。
[0156]
为便于理解，请一并参见图6，图6是本技术实施例提供的一种基于强化学习的训
练码率预测神经网络的结构示意图。如图6所示，码率预测神经网络可以为rnn循环神经网络以及cnn卷积神经网络。其中，码率预测神经网络中可以包括策略网络(actor network)以及评判网络(critic network)。码率神经网络中包括多个神经网络层(例如，如图6所示的神经网络层1、
…
、神经网络层8)。
[0157]
其中，actor network可以负责生成动作(action)并和环境交互，critic network可以负责评估actor network的表现，并指导actor下一阶段的动作。
[0158]
其中，该码率预测神经网络的输入为视频块的数据大小，视频块下载耗时，视频块时长，缓冲大小时长，重新缓冲加载时长，剩余未播放视频块数量，帧接收时间间隔，实际下载时间与播放时间之间的差值，客户端播放帧率，当前时长段的码率值等信息，码率预测神经网络的输出为基于这些输入信息所得到的一个媒体预测码率值。
[0159]
可以理解的是，critic network可以根据输入信息，分别对每个码率选择值(例如，270p，480p，720p，1080p)进行评估，得到每个码率选择值分别对应的评估值；在这些评估值中，可以确定出一个最优评估值，该最优评估值所对应的码率选择值，可以作为actor network所要输出的最终码率值。例如，最优评估值对应的码率选择值为720p，则actor network可以输出媒体预测码率720p，鉴于此，码率预测神经网络可以输出一个媒体预测码率。进一步地，通过码率预测神经网络中的评估反馈函数，该输入信息中的码率以及该媒体预测码率，可以计算出对该媒体预测码率下得到的评估反馈值，评估反馈值可以反馈至评判网络(critic network)，评判网络(critic network)会以此指示码率预测神经网络中网络参数的调整。
[0160]
可以理解的是，对于训练预测神经网络的方式，包括但不限于采用基于强化学习的方式，还可以采用其他具有训练优化效果的方式。
[0161]
在本技术实施例中，通过多次采集视频块的网络数据，并输入至码率预测神经网络中，可以使得码率预测神经网络输出对应的码率预测值，通过评估反馈函数得到针对该码率预测值的一个评估反馈值，该评估反馈值可以反馈至码率预测神经网络的评判网络，通过该评判网络可以对该码率预测神经网络中的网络参数进行调整，从而可以使得调整后的码率预测神经网络可以输出更为准确的码率预测值，从而可以提高码率预测神经网络对码率预测的准确率。
[0162]
进一步地，为便于理解，请参见图7，图7是本技术实施例提供的一种多媒体数据处理方法的流程示意图。该方法可以由目标终端执行，该目标终端包括轻量码率预测模型以及网络采集组件，其中，该轻量码率预测模型可以为上述图3所对应实施例所确定的轻量码率预测模型；该目标终端可以为图1a所对应实施例中用户终端集群中的任一用户终端，如该用户终端为用户终端100a。如图7所示，该流程可以包括：
[0163]
步骤s401，通过网络采集组件在目标心跳周期内采集网络数据。
[0164]
本技术中，可以将一个视频均分为一个视频块，每个视频块对应一个时长时间，该目标心跳周期可以是指一个时长时间。通过该目标终端中的网络采集组件，可以采集到每个时长时间内的网络数据(如，视频块的数据大小，视频块时长，缓冲时长大小，剩余未播放视频块数量，帧接收时间间隔，实际下载时间与播放时间之间的差值，码率值等)。
[0165]
步骤s402，将网络数据输入至轻量码率预测模型，通过轻量码率预测模型输出与网络数据相匹配的目标媒体预测码率。
[0166]
本技术中，可以将上述通过图3所对应实施例中步骤s101-步骤s103所确定的轻量码率预测模型，部署于目标终端中，从而实现对轻量码率预测模型的应用。
[0167]
则通过网络采集组件所采集到的网络数据，可以输入至部署于该目标终端中的轻量码率预测模型，通过该轻量码率预测模型可以输出与该网络数据相匹配的目标媒体预测码率。
[0168]
步骤s403，基于目标媒体预测码率，向内容服务器请求播放多媒体数据。
[0169]
本技术中，根据该目标媒体预测码率，可以生成多媒体数据内容播放请求，可以将该多媒体数据内容播放请求发送至内容服务器；随后，可以接收该内容服务器所返回的目标多媒体数据；其中，该目标多媒体数据可以是指基于该目标媒体预测码率对该多媒体数据进行转码后所得到的数据；随后，目标终端可以播放该目标多媒体数据。
[0170]
可以理解的是，这里对多个数据组(例如，历史数据组)进行分类回归学习的意义在于，因为码率预测神经网络结构复杂，运行速度慢，若将码率预测神经网络部署在用户终端，会由于预测消耗较大，从而增大用户终端的文件大小，进而增加运行开销。为减少运行开销，可以通过分类回归学习的方式，构建分类回归决策树(轻量码率预测模型)，该轻量码率预测模型可以理解为是结构简单且运行速度较快的轻量化的码率预测神经网络。因为决策树是非参数化的并且可以表达复杂的逻辑，即使码率预测神经网络有着高度非线性的预测边界，决策树也可以十分近似码率预测神经网络。因为决策树十分灵活，可以在需要的时候缩至非常细的颗粒度进行搜索预测。该轻量码率预测模型可以部署于目标终端中，若该目标终端中有播放多媒体数据，则该轻量码率预测模型可以用于进行媒体码率预测处理。
[0171]
为便于理解，请参见图8，图8是本技术实施例提供的一种模型应用的场景示意图。其中，用户终端e可以为上述图1a所对应实施例中用户终端集群中的任一用户终端，如，该用户终端e可以为用户终端100c；内容服务器可以为上述图1a所对应实施例中的内容服务器。
[0172]
如图8所示，该用户终端e中可以部署有轻量码率预测模型以及网络采集组件，网络采集组件可以用于采集用户e的各种状态信息，该状态信息可以包括：观看的视频块的数据大小、用户终端e的播放帧率、帧接收时间间隔、视频块的码率等信息，这些状态信息可以作为网络数据，将该网络数据输入至轻量码率预测模型中，该轻量码率预测模型可以根据该网络数据，输出一个预测码率，用以对该视频块的下一个视频块进行转码。其中，该轻量码率预测模型是已训练完成的，能准确进行码率预测。其中，对于轻量码率预测模型的训练的具体实现方式，可以参见上述图3所对应实施例中，步骤s101-步骤s103中的描述，这里将不再进行赘述。
[0173]
如图8所示，在用户e使用用户终端e观看视频b时，用户终端e的网络采集组件收集到时长0s-10s所对应的视频块的信息(如，视频块的数据大小，视频块下载耗时，视频块时长，缓冲大小时长，重新缓冲加载时长，剩余未播放视频块数量，帧接收时间间隔，实际下载时间与播放时间之间的差值，用户终端e的播放帧率，视频块的码率值等信息)，该0s-10s所对应的视频块的信息可以作为网络数据输入至轻量码率预测模型中，该轻量码率预测模型可以预测一个适应于下一个视频块(10s-20s所对应的视频块)的目标媒体预测码率；
[0174]
随后，用户终端e可以基于该目标媒体预测码率生成一个视频块内容播放请求，并将该视频块内容播放请求通过路由器这个接入点，发送至内容服务器；该内容服务器可以
基于该目标媒体预测码率，对10s-20s所对应的视频块数据进行转码，得到目标视频块，并将该目标视频块通过路由器返回至用户终端；用户终端在接收到该目标视频块后，可以播放该目标视频块。如图，因为通过对输入的0-10s的网络数据进行分析，得到0-10s的网络数据较好(如，当前网速较快且缓冲较多)，则轻量码率预测模型所预测到的码率较高(为1080p)，也就是说，提高了码率值，则用户e可以观看到目标媒体预测码率(720p)所对应的视频块(10s-20s)内容。
[0175]
可以理解的是，本技术提供的0-10s时长段、10s-20s时长段，均是为便于理解所进行的举例说明，不具备实际参考意义。
[0176]
可选的，可以理解的是，以上实施例所描述的均为通过模拟播放器进行试运行训练得到轻量码率预测模型的方式，通过模拟播放器进行试运行训练得到轻量码率预测模型，再将该轻量码率预测模型部署到用户终端或业务服务器中，进行模型应用。可以理解的是，该码率预测神经网络可以周期性的进行训练更新，则相应地，轻量码率预测模型也可以基于码率预测神经网络的周期性更新，而随之进行周期性的更新。
[0177]
为便于理解，请一并参见图9，图9是本技术实施例提供的一种模型应用的架构示意图。如图9所示，将码率预测神经网络为已训练好的神经网络，通过将该码率预测神经网络进行轻量化转换，可以得到轻量码率预测模型，将该轻量码率预测模型部署于用户终端中，可以进行模型应用。如图9所示，该用户终端中的网络采集组件可以采集一段时长内的网络数据并发送至轻量码率预测模型，该轻量码率预测模型可以基于该网络数据，预测出一个适应于下一个时长内的网络数据的码率；基于该码率，用户终端可以生成视频块内容请求，通过路由器，用户终端的视频块内容请求可以发送至内容服务器；内容服务器在接收到该视频块内容请求后，可以基于该码率对相应的视频块进行转码，并将转码后的视频块通过路由器返回至用户终端，用户终端可以播放该转码后的视频块。
[0178]
应当理解，该码率预测神经网络可以进行周期性训练，当码率预测神经网络进行训练更新后，可以对训练更新后的码率预测神经网络进行轻量化转换，得到针对码率预测更为准确的新的轻量码率预测模型，该新的轻量码率预测模型可以部署于用户终端中，以使得用户在使用用户终端观看视频时，不会出现视频卡顿的情况。
[0179]
进一步地，请参见图10，图10是本技术实施例提供的一种多媒体数据处理装置的结构示意图。该多媒体数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该多媒体数据处理装置为一个应用软件；该数据处理装置可以用于执行图3所示的方法。如图10所示，多媒体数据处理装置1可以包括：数据组获取模块11、网络数据获取模块12、聚合数据组生成模块13以及预测模型确定模块14。
[0180]
数据组获取模块11，用于获取多媒体数据对应的历史数据组；历史数据组中包括历史网络数据和历史媒体预测码率，历史媒体预测码率是由已训练的码率预测神经网络基于历史网络数据所预测得到的码率；
[0181]
网络数据获取模块12，用于获取多媒体数据对应的目标网络数据；目标网络数据是在基于初始媒体预测码率播放多媒体数据时所采集到的网络数据；初始媒体预测码率是由初始码率预测模型所预测得到的码率；初始码率预测模型是通过对历史数据组进行分类回归学习所构建得到；
[0182]
聚合数据组生成模块13，用于根据历史网络数据、历史媒体预测码率、目标网络数
据以及初始码率预测模型，生成聚合数据组；
[0183]
预测模型确定模块14，用于对聚合数据组进行分类回归学习，得到轻量码率预测模型；轻量码率预测模型用于在播放多媒体数据的目标终端中进行媒体码率预测处理。
[0184]
其中，数据组获取模块11、网络数据获取模块12、聚合数据组生成模块13以及预测模型确定模块14的具体实现方式，可以参见上述图3所对应实施例中步骤s101-步骤s103的描述，这里将不再进行赘述。
[0185]
其中，历史网络数据包括第一历史网络数据与第二历史网络数据，历史媒体预测码率包括第一历史媒体预测码率与第二历史媒体预测码率；
[0186]
请参见图10，数据组获取模块11可以包括：神经网络部署单元111、历史网络数据获取单元112、历史预测码率输出单元113、历史网络数据获取单元114、历史预测码率输出单元115以及数据组生成单元116。
[0187]
神经网络部署单元111，用于将码率预测神经网络部署于模拟播放器中；
[0188]
历史网络数据获取单元112，用于在模拟播放器中模拟请求播放多媒体数据的过程中，获取第一历史网络数据，将第一历史网络数据输入至码率预测神经网络；
[0189]
历史预测码率输出单元113，用于通过码率预测神经网络输出与第一历史网络数据相匹配的第一历史媒体预测码率；
[0190]
历史网络数据获取单元114，还用于通过模拟播放器，在基于第一历史媒体预测码率对多媒体数据进行模拟请求播放的过程中，获取第二历史网络数据；
[0191]
历史预测码率输出单元115，还用于将第二历史网络数据输入至码率预测神经网络，通过码率预测神经网络输出与第二历史网络数据相匹配的第二历史媒体预测码率；
[0192]
数据组生成单元116，用于根据第一历史网络数据与第一历史媒体预测码率所组成的数据组，以及第二历史网络数据与第二历史媒体预测码率所组成的数据组，生成历史数据组。
[0193]
其中，神经网络部署单元111、历史网络数据获取单元112、历史预测码率输出单元113、历史网络数据获取单元114、历史预测码率输出单元115以及数据组生成单元116的具体实现方式，可以参见上述图3所对应实施例中步骤s101中的描述，这里将不再进行赘述。
[0194]
其参见图10，历史网络数据获取单元112可以包括：请求发送子单元1121以及网络数据采集子单元1122。
[0195]
请求发送子单元1121，用于通过模拟播放器向内容服务器发送用于播放多媒体数据的模拟播放请求；模拟播放请求携带第一历史媒体预测码率；
[0196]
网络数据采集子单元1122，用于获取由内容服务器所传输的基于第一历史媒体预测码率转码后的多媒体数据，基于所传输的基于第一历史媒体预测码率转码后的多媒体数据，采集网络数据，将采集到的网络数据作为第二历史网络数据。
[0197]
其中，请求发送子单元1121以及网络数据采集子单元1122的具体实现方式，可以参见上述图3所对应实施例中步骤s101中对于获取第二历史网络数据的描述，这里将不再进行赘述。
[0198]
请参见图10，网络数据获取模块12可以包括：模型部署单元121、初始网络数据获取单元122、初始预测码率输出单元123、模拟请求发送单元124以及目标网络数据采集单元125。
[0199]
模型部署单元121，用于将初始码率预测模型部署于模拟播放器中；
[0200]
初始网络数据获取单元122，用于在模拟播放器中模拟请求播放多媒体数据的过程中，获取初始网络数据，将初始网络数据输入至初始码率预测模型；
[0201]
初始预测码率输出单元123，用于通过初始码率预测模型输出与初始网络数据相匹配的初始媒体预测码率；
[0202]
模拟请求发送单元124，用于通过模拟播放器向内容服务器发送用于播放多媒体数据的模拟播放请求；模拟播放请求携带初始媒体预测码率；
[0203]
目标网络数据采集单元125，用于获取由内容服务器所传输的基于初始媒体预测码率转码后的多媒体数据，基于所传输的基于初始媒体预测码率转码后的多媒体数据，采集网络数据，将采集到的网络数据作为目标网络数据。
[0204]
其中，模型部署单元121、初始网络数据获取单元122、初始预测码率输出单元123、模拟请求发送单元124以及目标网络数据采集单元125的具体实现方式，可以参见上述图3所对应实施例中步骤s102中的描述，这里将不再进行赘述。
[0205]
请参见图10，聚合数据组生成模块13可以包括：网络数据合并单元131、合并预测码率输出单元132以及数据组聚合单元133。
[0206]
网络数据合并单元131，用于将历史网络数据与目标网络数据进行合并，得到合并网络数据；
[0207]
合并预测码率输出单元132，用于将合并网络数据输入至初始码率预测模型，通过初始码率预测模型输出与合并网络数据相匹配的合并媒体预测码率；
[0208]
数据组聚合单元133，用于将合并网络数据与合并媒体预测码率所组成的数据组，以及历史网络数据与历史媒体预测码率所组成的历史数据组，进行聚合，得到聚合数据组。
[0209]
其中，网络数据合并单元131、合并预测码率输出单元132以及数据组聚合单元133的具体实现方式，可以参见上述图3所对应实施例中步骤s103中，对于生成聚合数据组的描述，这里将不再进行赘述。
[0210]
请参见图10，预测模型确定模块14可以包括：更新预测模型确定单元141、更新迭代次数获取单元142以及预测模型确定单元143。
[0211]
更新预测模型确定单元141，用于对聚合数据组进行分类回归学习，得到更新码率预测模型；
[0212]
更新迭代次数获取单元142，用于获取更新码率预测模型对应的模型更新迭代次数；
[0213]
预测模型确定单元143，用于当模型更新迭代次数满足迭代次数阈值，将更新码率预测模型确定为轻量码率预测模型。
[0214]
更新预测模型确定单元141、更新迭代次数获取单元142以及预测模型确定单元143的具体实现方式，可以参见上述图3所对应实施例中步骤s103中的描述，这里将不再进行赘述。
[0215]
请参见图10，该多媒体数据处理装置1还可以包括：样本数据获取模块15、评估函数获取模块16、评估值生成模块17以及神经网络调整模块18。
[0216]
样本数据获取模块15，用于获取样本网络数据，将样本网络数据输入样本码率预测神经网络，通过样本码率预测神经网络输出与样本网络数据相匹配的样本媒体预测码
率；
[0217]
评估函数获取模块16，用于获取评估反馈函数；
[0218]
评估值生成模块17，用于根据样本媒体预测码率以及评估反馈函数，生成评估反馈值；
[0219]
神经网络调整模块18，用于根据评估反馈值，对样本码率预测神经网络进行调整，得到码率预测神经网络。
[0220]
其中，样本数据获取模块15、评估函数获取模块16、评估值生成模块17以及神经网络调整模块18的具体实现方式，可以参见上述图5所对应实施例中步骤s201-步骤s203的描述，这里将不再进行赘述。
[0221]
请参见图10，评估值生成模块17可以包括：码率关联信息获取单元171以及评估值生成单元172。
[0222]
码率关联信息获取单元171，用于获取样本媒体预测码率所对应的卡顿时间信息以及码率波动信息；
[0223]
评估值生成单元172，用于根据卡顿时间信息、码率波动信息、样本媒体预测码率以及评估反馈函数，生成针对样本媒体预测码率的评估反馈值。
[0224]
其中，码率关联信息获取单元171以及评估值生成单元172的具体实现方式，可以参见上述图5所对应实施例中步骤s202中，对于生成评估反馈值的描述，这里将不再进行赘述。
[0225]
请参见图10，神经网络调整模块18可以包括：评估差值确定单元181、参数调整单元182以及神经网络确定单元183。
[0226]
评估差值确定单元181，用于获取评估反馈阈值，确定评估反馈值与评估反馈阈值之间的评估差值；
[0227]
参数调整单元182，用于若评估差值超出差值范围，则确定样本媒体预测码率与样本网络数据之间的匹配度未满足匹配条件，根据评估差值对样本码率预测神经网络中的网络参数进行调整，得到码率预测神经网络；
[0228]
神经网络确定单元183，用于若评估差值处于差值范围内，则确定样本媒体预测码率与样本网络数据之间的匹配度满足匹配条件，将样本码率预测神经网络确定为码率预测神经网络。
[0229]
其中，评估差值确定单元181、参数调整单元182以及神经网络确定单元183的具体实现方式，可以参见上述图5所对应实施例中步骤s203中的描述，这里将不再进行赘述。
[0230]
在本技术实施例中，用于进行媒体码率预测的轻量码率预测模型是通过对聚合数据组进行分类回归学习所构建得到的，而该聚合数据组又是根据历史数据组所聚合得到。因为该历史数据组是根据已训练好的码率预测神经网络所确定，因为该已训练好的码率预测神经网络具备较高的码率预测准确率，则根据历史数据组所构建得到的轻量码率预测模型也可以具备较高的码率预测准确率。且因为通过分类回归学习所构建得到的轻量码率预测模型，具备结构轻量的特点，当该轻量码率预测模型被部署于目标终端时，可以使得目标终端的运行开销很小。同时，针对于任一时长段的网络数据，轻量码率预测模型可以准确预测出该网络数据应该适配的码率，则当目标终端在下一个时长段播放目标视频块时，可以基于该预测出的码率进行播放，从而可以实现码率自适应网络数据。应当理解，本方法通过
对码率预测神经网络进行训练，再将码率预测神经网络进行轻量化转换得到轻量码率预测模型的方式，可以使得轻量码率模型被部署于用户终端，该轻量码率预测模型因为是基于码率预测神经网络所得到，则该轻量码率预测模型也具备较高的码率预测准确率，不仅在网络发生变化时及时调整媒体码率，做到实时响应网络变化，从而可以减少多媒体数据(例如，视频)出现卡顿的情况发生，还可以减少网络带宽的浪费，而且还因为轻量码率预测模型具备结构轻量的特点，可以被部署于用户终端，从而可以减少用户终端的运行开销。
[0231]
请参见图11，图11是本技术实施例提供的一种多媒体数据处理装置的结构示意图。该多媒体数据处理装置可以用于执行图7所示的方法。如图11所示，多媒体数据处理装置2可以包括：网络采集组件200、轻量码率预测模型300以及数据播放请求模块400。
[0232]
网络采集组件200，用于在目标心跳周期内采集网络数据；
[0233]
轻量码率预测模型300，用于输出与网络数据相匹配的目标媒体预测码率；
[0234]
数据播放请求模块400，用于基于目标媒体预测码率，向内容服务器请求播放多媒体数据。
[0235]
其中，轻量码率预测模型300是采用图3所对应实施例所提供的多媒体数据处理方法生成得到的。
[0236]
其中，网络采集组件200、轻量码率预测模型300以及数据播放请求模块400的具体实现方式，可以参见上述图7所对应实施例中步骤s401-步骤s403的描述，这里将不再进行赘述。
[0237]
请参见图11，数据播放请求模块400可以包括：播放请求生成单元4001、目标数据接收单元4002以及数据播放单元4003。
[0238]
播放请求生成单元4001，用于根据目标媒体预测码率，生成多媒体数据内容播放请求，将多媒体数据内容播放请求发送至内容服务器；
[0239]
目标数据接收单元4002，用于接收内容服务器所返回的目标多媒体数据；目标多媒体数据是指基于目标媒体预测码率对多媒体数据进行转码后所得到的数据；
[0240]
数据播放单元4003，用于播放目标多媒体数据。
[0241]
其中，播放请求生成单元4001、目标数据接收单元4002以及数据播放单元4003的具体实现方式，可以参见上述图7所对应实施例中步骤s403中的描述，这里将不再进行赘述。
[0242]
进一步地，请参见图12，图12是本技术实施例提供的一种计算机设备的结构示意图。如图12所示，上述图10所对应实施例中的多媒体数据处理装置1或图11所对应实施例中的多媒体数据处理装置可以应用于上述计算机设备1000，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(display)、键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0243]
在图12所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
[0244]
获取多媒体数据对应的历史数据组；历史数据组中包括历史网络数据和历史媒体预测码率，历史媒体预测码率是由已训练的码率预测神经网络基于历史网络数据所预测得到的码率；
[0245]
获取多媒体数据对应的目标网络数据；目标网络数据是在基于初始媒体预测码率播放多媒体数据时所采集到的网络数据；初始媒体预测码率是由初始码率预测模型所预测得到的码率；初始码率预测模型是通过对历史数据组进行分类回归学习所构建得到；
[0246]
根据历史网络数据、历史媒体预测码率、目标网络数据以及初始码率预测模型，生成聚合数据组，对聚合数据组进行分类回归学习，得到轻量码率预测模型；轻量码率预测模型用于在播放多媒体数据的目标终端中进行媒体码率预测处理。
[0247]
或实现：
[0248]
通过网络采集组件在目标心跳周期内采集网络数据；
[0249]
将网络数据输入至轻量码率预测模型，通过轻量码率预测模型输出与网络数据相匹配的目标媒体预测码率；
[0250]
基于目标媒体预测码率，向内容服务器请求播放多媒体数据。
[0251]
其中，轻量码率预测模型是通过图3所对应实施例中提供的多媒体数据处理方法所得到的。
[0252]
应当理解，本技术实施例中所描述的计算机设备1000可执行前文图3或图7所对应实施例中对该多媒体数据处理方法的描述，也可执行前文图10所对应实施例中对该多媒体数据处理装置1，或前文图11所对应实施例中对该多媒体数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0253]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的数据处理的计算机设备1000所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图3或图7所对应实施例中对上述多媒体数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0254]
上述计算机可读存储介质可以是前述任一实施例提供的多媒体数据处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0255]
本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设
备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例中图3所对应实施例或图7所对应实施例中提供的方法。
[0256]
本技术实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
[0257]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0258]
本技术实施例提供的方法及相关装置是参照本技术实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
[0259]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。