直播数据处理方法、装置、电子设备及可读存储介质与流程

本申请涉及互联网直播领域，具体而言，涉及一种直播数据处理方法、装置、电子设备及可读存储介质。

背景技术：

在互联网直播中，以虚拟直播形象代替主播的实际形象参与到直播互动中，是目前较为流行的一种直播方式。

目前的直播方式中，虚拟直播形象的音色大多采用主播的原音色风格或者预先固定的某一种音色风格提供直播数据流，无法将其转换为其它音色风格与观众进行互动，如此无法满足特定主播或特定观众的某些特定需求，从而会导致互动直播效果降低。例如观众可能更希望听到的声音是自己所喜欢明星的音色风格，或是自己熟悉的人的音色风格。又例如，主播可能并不希望将自己的音色风格展示给其它观众而暴露隐私问题。

技术实现要素：

有鉴于此，本申请实施例的目的在于提供一种直播数据处理方法、装置、电子设备及可读存储介质，以解决上述问题。

根据本申请实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当电子设备运行时，所述处理器执行所述机器可执行指令，以执行直播数据处理方法。

根据本申请实施例的另一方面，提供一种直播数据处理方法，应用于直播提供终端，所述方法包括：

解析接收到的音色转换请求得到目标音色风格；

获取具有所述目标音色风格的第一语音数据，并将所述第一语音数据输入到预先训练的网络参数学习模型中，得到所述目标音色风格对应的目标网络参数；

将预存的风格转换网络的网络参数调整为所述目标网络参数，并根据调整后的风格转换网络对主播输入的第二语音数据进行风格转换，得到具有所述目标音色风格的第三语音数据；

根据所述第三语音数据生成虚拟直播形象的直播互动数据流，并发送给直播接收终端进行播放。

根据本申请实施例的另一方面，提供一种直播数据处理装置，应用于直播提供终端，所述装置包括：

解析模块，用于解析接收到的音色转换请求得到目标音色风格；

输入模块，用于获取具有所述目标音色风格的第一语音数据，并将所述第一语音数据输入到预先训练的网络参数学习模型中，得到所述目标音色风格对应的目标网络参数；

风格转换模块，用于将预存的风格转换网络的网络参数调整为所述目标网络参数，并根据调整后的风格转换网络对主播输入的第二语音数据进行风格转换，得到具有所述目标音色风格的第三语音数据；

生成发送模块，用于根据所述第三语音数据生成虚拟直播形象的直播互动数据流，并发送给直播接收终端进行播放。

根据本申请实施例的另一方面，提供一种可读存储介质，该可读存储介质上存储有机器可执行指令，该计算机程序被处理器运行时可以执行上述的直播数据处理方法的步骤。

基于上述任一方面，相较于现有技术而言，本申请实施例通过预先训练的网络参数学习模型对具有目标音色风格的第一语音数据进行处理以得到该目标音色风格对应的目标网络参数，并通过调整为目标网络参数后的风格转换网络对主播输入的第二语音数据进行风格转换，根据转换得到具有目标音色风格的第三语音数据生成虚拟直播形象的直播互动数据流，并发送给直播接收终端进行播放。如此，能够针对任意主播，在不改变音频内容的同时，将虚拟直播形象直播过程中的音色风格转换为任意的音色风格以与观众进行互动，进而提高直播过程中的互动效果，更大程度上地调动观众与主播的互动。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的直播系统的示意图；

图2示出了本申请实施例所提供的直播数据处理方法的流程示意图之一；

图3示出了本申请实施例所提供的一种直播互联网应用中选择目标音色风格的界面示意图；

图4示出了本申请实施例所提供的风格转换过程的示意图；

图5示出了本申请实施例所提供的直播提供终端的直播界面示意图；

图6示出了本申请实施例所提供的直播数据处理方法的流程示意图之二；

图7示出了本申请实施例所提供的图6中所示的步骤s101包括的各个子步骤的流程示意图；

图8示出了本申请实施例所提供的风格转换模型的训练流程示意图；

图9示出了本申请实施例所提供的电子设备的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

除非有相反的说明，本申请实施例提及“第一”、“第二”、第三”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、位置、优先级或者重要程度。

参照图1所示，图1是本申请实施例提供的直播系统10的架构示意图。例如，直播系统10可以是用于诸如互联网直播之类的服务平台。直播系统10可以包括直播服务器200、直播提供终端100以及直播接收终端300，直播服务器200分别与直播提供终端100以及直播接收终端300通信连接，用于为直播提供终端100以及直播接收终端300提供直播服务。例如，直播提供终端100可以将直播间的直播视频流发送给直播服务器200，观众可以通过直播接收终端300从直播服务器200拉取直播视频流以观看直播间的直播视频。又例如，直播服务器200也可以在观众订阅的直播间开播时向该观众的直播接收终端300发送通知消息。直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。

直播提供终端100和直播接收终端300中可以安装用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序app、web网页、小程序等。

本实施例中，直播系统10还可以包括用于采集主播的主播视频帧的视频采集装置400，视频采集装置400直接安装或者集成于直播提供终端100，也可以独立于直播提供终端100并与直播提供终端100连接。

参照图2所示，图2示出了本申请实施例提供的直播数据处理方法的流程示意图，该直播数据处理方法可由图1中所示的直播提供终端100执行。该直播数据处理方法的详细步骤介绍如下。

步骤s110，解析接收到的音色转换请求得到目标音色风格。

步骤s120，获取具有目标音色风格的第一语音数据，并将第一语音数据输入到预先训练的网络参数学习模型中，得到目标音色风格对应的目标网络参数。

步骤s130，将预存的风格转换网络的网络参数调整为目标网络参数，并根据调整后的风格转换网络对主播输入的第二语音数据进行风格转换，得到具有目标音色风格的第三语音数据。

步骤s140，根据第三语音数据生成虚拟直播形象的直播互动数据流，并发送给直播接收终端300进行播放。

在本实施例中，针对步骤s110，直播提供终端100在接收到音色转换请求后，可以从该音色转换请求解析得到该主播或者进入该直播间的观众选择的目标音色风格，该目标音色风格可以理解为该主播或者进入该主播的直播间的观众在听前述直播音频时希望听到的音色风格。例如，该主播可能希望自己输出的音频数据听起来如同自己喜欢的偶像明星的音色风格，或者自己熟悉的朋友的音色风格，又或者自己喜欢的说话腔调(例如“台湾腔”、“北京腔”等)的音色风格。又例如，对于一部分观众而言可能也希望自己听到的该主播输出的音频数据听起来类似自己喜欢的偶像明星的音色风格，或者自己熟悉的朋友的音色风格。基于此，该音色转换请求既可以由主播对应的直播提供终端100发出，也可以由进入该主播的直播间的观众的直播接收终端300发出。

例如，直播提供终端100或者直播接收终端300上安装的直播互联网应用的界面中可以设置有针对该目标音色风格的选择界面，该选择界面显示有多个不同音色风格的选项，该主播或者进入该主播的直播间的观众可以从该选择界面中展示的各个选项中选择自己所需要的目标音色风格对应的选项，然后通过直播提供终端100或者直播接收终端300生成对应的音色转换请求。

仅作为示例，请参阅图3，示出了直播提供终端100或者直播接收终端300上安装的直播互联网应用的界面示意图，该界面中显示有不同音色风格的选项，分别包括音色风格a、音色风格b、音色风格c、音色风格d等，该主播或者进入该主播的直播间的观众可以从该选择界面中选择自己所需要的目标音色风格对应的选项。例如，该主播喜好自己一个熟悉的朋友a的音色风格，而音色风格a为朋友a的音色风格，则该主播可以选择音色风格a，然后通过直播提供终端100生成对应的音色转换请求。又例如，该主播的直播间的观众喜好某个歌星的音色风格，而音色风格b为该歌星的音色风格，则该观众可以选择音色风格b，然后通过直播接收终端300生成对应的音色转换请求。

参照图4所示，示出了本申请实施例中风格转换过程的示意图，下面结合图4对前述实施例进行示例性说明。

针对步骤s120，直播提供终端100本地可以预先存储有各种音色风格对应的音频数据，当确定目标音色风格后，则可以从本地查找具有该目标音色风格的第一语音数据。或者，直播服务器200也可以提供各种音色风格对应的音频数据，当确定目标音色风格后，则可以从直播服务器200中获取具有该目标音色风格的第一语音数据。

在此基础上，直播提供终端100可将第一语音数据输入到预先训练的网络参数学习模型中，得到目标音色风格对应的目标网络参数。

其中，该网络参数学习模型可以学习各种不同音色风格对应的风格网络参数，例如可以利用至少一种音色风格的第一语音样本和任意主播的第二语音样本基于深度学习的神经网络训练获得，其中，所述至少一种音色风格包括所述目标音色风格。如此，可以针对输入的任意音色风格的音频数据，输出该音色风格所对应的音频数据，这样无需针对每种音色风格再单独训练风格转换网络，极大降低了训练工作量。

作为一种可能的实施方式，在步骤s120中，首先提取第一语音数据对应的参考风格特征图，接着将参考风格特征图输入到网络参数学习模型中，得到目标音色风格对应的目标网络参数。

经本申请发明人研究发现，任何一段音频数据(例如第一语音数据)都可以由一连串的波形图表示，基于此，提取该主播的第一语音数据对应的对应的参考风格特征图的一种示例性方式可以是：每间隔预设时间(例如每隔10秒)将第一语音数据进行切分，得到多个数据片段，然后提取每个数据片段的声波图、频谱图或语谱图或者每个数据片段的声波图、频谱图或语谱图进行图像处理变换后的图像作为音频特征图，该音频特征图则包括内容特征图和前述的参考风格特征图。参考风格特征图可以用于表示第一语音数据的风格特征，例如音色风格等；内容特征图可以用于表示第一语音数据的内容特征，例如音量大小、说话内容等。

由此，本实施例通过将第一语音数据进行切分，可以避免一次性处理的音频数据量过大所导致的直播提供终端100的卡顿，另一方面切分得到的每个数据片段的时间长度一致，可以便于后续处理。

针对步骤s130，在通过网络参数学习模型输出该目标音色风格对应的目标网络参数后，即可将预存的风格转换网络的网络参数调整为前述的目标网络参数。如此，调整后的风格转换网络即可将任意主播的音频数据的音色风格转换为该目标音色风格，而无需针对该目标音色再单独训练风格转换网络。

任意主播在通过启动直播提供终端100上安装的直播互联网应用以进入直播间开始直播后，在直播过程中会产生直播视频流、直播图片、直播音频、文字弹幕等数据以通过直播服务器200发送给进入该直播间的各个观众的直播接收终端300。在上述过程中，首先通过特征提取网络提取主播输入的第二语音数据的音频特征图，音频特征图包括内容特征图和风格特征图。接着，通过调整后的风格转换网络对内容特征图进行处理，得到具有目标音色风格的风格转换特征图。最后，对内容特征图和风格转换特征图进行特征反转换，得到具有该目标音色风格的第三语音数据。

详细地，由于风格转换特征图替换了原有音频特征图中的风格特征图，这样原有音频特征图中的内容特征图和转换后的风格转换特征图可以理解为具有该目标音色风格的音频特征图。在此基础上，为了生成观众可以听到的音频数据，本实施例还需要将该内容特征图和转换后的风格转换图进行特征反转换，得到具有该目标音色风格的第三语音数据。这样，该第三语音数据综合了该第二语音数据对应的内容特征图和转换后的风格转换图的风格特征，从而在不改变该第二语音数据的内容的同时，达到该目标音色风格所对应的听觉效果。

值得说明的是，尽管现有技术中会采用一些变声变音功能(例如老人声音、小孩声音等)以改变说话的声音，但是此方案中转换的声音效果并不理想，无法达到较好的逼真效果，并且仍旧无法转换为所需要音色风格。通过本实施例提供的技术方案，转换后的音色即为所需要的目标音色风格的音色，具有极强的逼真效果。

针对步骤s140，为了提高直播互动过程中的趣味性，在直播间的显示界面中可以虚拟直播形象代替该主播的实际形象与观众进行互动。虚拟直播形象可以是与主播的外貌、体态、气质等相符的虚拟人物形象，例如可以采用二维虚拟人物形象或者三维虚拟人物形象，也可以是卡通形象或者真人形象等。例如，虚拟直播形象可以实时模仿该主播的表情、动作等特征属性，以便代表该主播与观众进行互动，即观众可以通过虚拟直播形象与该主播进行互动，该观众可以是主播众多订阅粉丝中的任意一个。具体地，可以在直播过程中对主播的肢体动作、面部表情、音频数据等进行捕捉和识别，并结合结合虚拟直播形象进行播放，然后发送至直播服务器200上，以便进入直播间的直播接收终端300从直播服务器200中拉取直播数据流进行观看。如此，观众通过这种方式感受的虚拟直播形象可以具有类似于实际主播真人动作和语音的感受。例如，观众看到的是一个卡通恐龙的虚拟人物形象，但这只卡通恐龙的动作和语音却来自这个主播的动作和音频数据的实时数据传递。

在直播提供终端100生成前述的第三语音数据后，可以实时生成虚拟直播形象的直播互动数据流，并发送给直播接收终端300进行播放。例如，可以按照设定时间间隔(比如5秒、10秒等)将第三语音数据切分为多个音频数据段，并针对每个音频数据段，识别该音频数据段的内容参数，该内容参数可以包括内容特征、情绪特征和振幅特征，其中，情绪特征用于控制虚拟直播形象的情绪状态，振幅特征用于控制虚拟直播形象的口型开合状态。例如，若识别到情绪特征为开心状态对应的参数，则可根据该情绪特征调整虚拟直播形象的情感属性的值为笑容，并依次控制虚拟直播形象的表情、动作和姿势。又例如，若识别到内容特征为“我很开心”，则可以调整该虚拟直播形象的动作属性的内容为实时执行“鼓掌”的动作，同时调整该虚拟直播形象的表情属性为笑容。

在其它可能的实施方式中，还可以通过图1中所示的视频采集装置400可采集主播的实时表情、动作和姿势。例如，识别主播的人脸所在位置和角度、脸的轮廓、人脸五官所在位置、眼球转动位置、眼皮眉毛、嘴唇的运动状态和手势动作等，对这些实时采集的信息进行分析，将分析的结果转换为自定义的控制指令集合，并通过这些控制指令集合控制互动界面上的该虚拟直播形象模仿所实时采集到的表情、动作和姿势。例如当采集到的手势动作为手向下指时，则调整该虚拟直播形象的动作属性的值为实时执行“坐下”的动作。

由此，可以根据内容特征、情绪特征和振幅特征生成该音频数据段对应的虚拟直播形象的互动视频段，并将每一音频数据段及其对应的互动视频段进行合成，得到虚拟直播形象的直播互动数据流，将虚拟直播形象的直播互动数据流发送给直播接收终端300进行播放。

例如，请参阅图5，示出了直播提供终端100的一种直播界面示例图，在该直播界面中，可以包括直播界面显示框、主播视频帧显示框、弹幕区、虚拟形象区域以及主播的每帧音频帧的文字内容xxxxx。其中，直播界面显示框用于显示当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流，主播视频帧显示框用于显示视频采集装置实时采集到的主播视频帧，虚拟形象区域用于展示主播的虚拟形象和虚拟形象的直播互动数据流，弹幕区用于展示观众与主播之间的互动内容(例如aaaaa、bbbbb、ccccc、ddddd、eeeee)。

在此基础上，直播提供终端可以根据来自直播接收终端300的交互信息对应调整虚拟直播形象的特征属性，以使得观众可与该虚拟直播形象进行虚拟互动。仍以图5中所示的直播界面为例，观众可通过直播接收终端300发送交互信息，直播提供终端100可以根据这些交互信息来对应调整虚拟直播形象的特征属性，由此完成直播接收终端300与互动界面上所显示的该虚拟直播形象之间的互动。应当理解，这些交互信息与该虚拟直播形象的特征属性之间可存在预设的对应关系，这种预设的对应关系可通过预学习过程建立，在此不在一一阐述。

如此，本实施例能够针对任意主播，在不改变音频内容的同时，将虚拟直播形象直播过程中的音色风格转换为任意的音色风格以与观众进行互动，进而提高直播过程中的互动效果，更大程度上地调动观众与主播的互动。

作为一种可能的实施方式，请参阅图6，在前述步骤s110之前，本实施例提供的直播数据处理方法还可以包括如下步骤：

步骤s101，预先根据训练样本训练得到网络参数学习模型，具体请参阅图7，步骤s101可以包括如下子步骤：

子步骤s1011，获取训练样本，训练样本包括至少一种音色风格的第一语音样本和任意主播的第二语音样本。

本实施例中，前述至少一种音色风格可以包括目标音色风格以及其它音色风格，第一语音样本可以是具有目标音色风格以及其它音色风格的任意语音样本。例如，若目标音色风格为某个熟悉的朋友a的音色风格，则可以收集大量熟悉的朋友a的音频数据作为一部分第一语音样本。

本实施例中，第二语音样本不作具体限制，可以是任意主播或者其它任意用户的音频数据，均可以收集作为该第二语音样本。

请结合参阅图8，本实施例的训练过程涉及到特征提取网络、特征向量提取网络以及初始转换网络。下面基于图8对本步骤s101中风格转换模型的训练过程进行示例性阐述。

子步骤s1012，从任意主播的第二语音样本中提取对应的内容特征样本图。

参见图8所示，可以按照上述从主播输入的第二语音数据中提取音频特征图的方式，通过特征提取网络提取第二语音样本的内容特征图。

子步骤s1013，针对每种音色风格，从该音色风格的第一语音样本中提取对应的风格特征样本图。

参见图8所示，可以按照上述从主播输入的第二语音数据中提取音频特征图的方式，通过特征提取网络提取每种音色风格对应的第一语音样本的风格特征样本图。

子步骤s1014，根据内容特征样本图和每种音色风格对应的风格特征样本图对元学习网络进行训练，得到网络参数学习模型，并存储在直播提供终端100中。

下面基于图8对本子步骤s1014的详细训练过程进行示例性阐述。

第一、将每种音色风格对应的风格特征样本图输入到元学习网络中，得到每种音色风格的风格网络参数。

第二、根据每种音色风格的风格网络参数对预设的风格转换网络的网络参数进行调整，并将内容特征样本图输入到调整后的风格转换网络中，得到对应的风格转换特征样本图。

第三、根据每种音色风格的风格特征样本图和对应的风格转换特征样本图调整元学习网络的网络参数，得到网络参数学习模型。

详细地，作为一种实施方式，可以计算每种音色风格的风格特征样本图和对应的风格转换特征样本图之间的损失函数值，并根据损失函数值更新元学习网络的网络参数后迭代训练，直到元学习网络满足训练终止条件时，输出训练得到的网络参数学习模型。

其中，上述的训练终止条件可以包括以下三种条件中的至少一种：

1)迭代训练次数达到设定次数；2)损失函数值低于设定阈值；3)损失函数值不再下降。

其中，在条件1)中，为了节省运算量，可以设置迭代次数的最大值，如果迭代次数达到设定次数，可以停止本迭代周期的迭代，将最后得到的深度学习网络作为音色转换模型。在条件2)中，如果损失函数值低于设定阈值，说明当前的音色转换模型已经基本可以满足条件，此时可以停止迭代。在条件3)中，损失函数值不再下降，表明已经形成了最佳的音色转换模型，可以停止迭代。

需要说明的是，上述迭代停止条件可以结合使用，也可以择一使用，例如，可以在损失函数值不再下降停止迭代，或者，在迭代次数达到设定次数时停止迭代，或者，在损失函数值不再下降时停止迭代。或者，还可以在损失函数值低于设定阈值，并且损失函数值不再下降时，停止迭代。

此外，在实际实施过程中，也可以不限于采用上述示例作为训练终止条件，本领域技术人员可以根据实际需求设计与上述示例不同的训练终止条件。

基于上述步骤得到的网络参数学习模型，可以用于根据输入的任意音色风格的音频数据输出对应音色风格的网络参数，后续采用前述网络参数后的风格转换网络可以在不改变任意主播的音频数据的音频内容的同时，将虚拟形象直播过程中的音色风格转换为对应的音色风格以与观众进行互动，进而提高直播过程中的互动效果，更大程度上地调动观众与主播的互动。并且，本实施例无需再针对每个主播，或者针对每种音色风格单独训练风格转换模型，极大降低了训练工作量。

图9示出了本申请实施例提供的电子设备的示意图，本实施例中，该电子设备可以是指图1所示的直播提供终端100，其包括存储介质110、处理器120以及直播数据处理装置500。

其中，处理器120可以是一个通用的中央处理器(centralprocessingunit，cpu)，微处理器，特定应用集成电路(application-specificintegratedcircuit，asic)，或一个或多个用于控制上述方法实施例提供的直播数据处理方法的程序执行的集成电路。

存储介质110可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasableprogrammabler-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储介质110可以是独立存在，通过通信总线与处理器120相连接。存储介质110也可以和处理器集成在一起。其中，所述存储介质110用于存储执行本申请方案的应用程序代码，例如图9中所示的直播数据处理装置500，并由处理器120来控制执行。所述处理器120用于执行所述存储介质110中存储的应用程序代码，例如直播数据处理装置500，以执行上述方法实施例的直播数据处理方法。

本申请可以根据上述方法实施例对直播数据处理装置500进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图9示出的直播数据处理装置500只是一种装置示意图，下面分别对该直播数据处理装置500的各个功能模块的功能进行详细阐述。

解析模块510，用于解析接收到的音色转换请求得到目标音色风格。

输入模块520，用于获取具有目标音色风格的第一语音数据，并将第一语音数据输入到预先训练的网络参数学习模型中，得到目标音色风格对应的目标网络参数。

风格转换模块530，用于将预存的风格转换网络的网络参数调整为目标网络参数，并根据调整后的风格转换网络对主播输入的第二语音数据进行风格转换，得到具有目标音色风格的第三语音数据。

生成发送模块540，用于根据第三语音数据生成虚拟直播形象的直播互动数据流，并发送给直播接收终端300进行播放。

由于本申请实施例提供的直播数据处理装置500是图2所示的直播数据处理方法的另一种实现形式，且直播数据处理装置500可用于执行图2所示的实施例所提供的方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

进一步地，基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述直播数据处理方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述直播数据处理方法。

本申请实施例是参照根据本申请实施例的方法、设备(如图9的电子设备)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。