一种从多媒体文件中提取信息的方法及终端设备与流程

本发明属于计算机技术领域，尤其涉及一种从多媒体文件中提取信息的方法及终端设备。

背景技术：

在进行重要的会议、培训授课时，一般都会录制整个过程的音视频信息以便日后学习或者整理，但是，会议、培训授课的时长往往有几十分钟，甚至几个小时，用户若要得到完整的内容，就需要耗费大量的时间来观看录制的音视频内容，耗时耗力且难以提取其中的重点内容。

技术实现要素：

有鉴于此，本发明实施例提供了一种从多媒体文件中提取信息的方法及终端设备，以解决观看录制的音视频内容时，耗时耗力且难以提取其中的重点内容的问题。

本发明实施例的第一方面提供了一种从多媒体文件中提取信息的方法，可以包括：

获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息；

从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息；

从所述视频信息中提取出人脸图像，并获取所述人脸图像的特征向量；

将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息，所述表情分类器是通过使用机器学习算法对指定人脸表情样本库中的人脸表情样本进行训练得到的；

将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息；

从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息；

从所述视频信息中提取出人脸图像，并获取所述人脸图像的特征向量；

将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息，所述表情分类器是通过使用机器学习算法对指定人脸表情样本库中的人脸表情样本进行训练得到的；

将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容。

本发明实施例的第三方面提供了一种从多媒体文件中提取信息的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息；

从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息；

从所述视频信息中提取出人脸图像，并获取所述人脸图像的特征向量；

将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息，所述表情分类器是通过使用机器学习算法对指定人脸表情样本库中的人脸表情样本进行训练得到的；

将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容。

本发明与现有技术相比存在的有益效果是：本发明首先获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息，然后从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息，省去了用户通过观看所述多媒体文件来获取信息的时间。进一步地，本发明从所述视频信息中提取出人脸图像，并获取所述人脸图像的特征向量，然后将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息，最后将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容，通过对表情的识别，使得获得的信息更加丰富，而且提供了重点内容识别的依据，可以自动地标识出文本信息的重点内容，大大节省了用户筛选整理信息的时间。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例中一种从多媒体文件中提取信息的方法的一个实施例流程图；

图2为本发明实施例中将人声信息转换为文本信息的示意流程图；

图3为本发明实施例中从视频信息中提取出人脸图像的示意流程图；

图4为本发明实施例中获取人脸图像的特征向量的示意流程图；

图5为本发明实施例提供的从多媒体文件中提取信息的终端设备的示意框图；

图6为本发明实施例提供的从多媒体文件中提取信息的程序的程序模块图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中一种从多媒体文件中提取信息的方法的一个实施例可以包括：

步骤s101、获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息。

所述多媒体文件为对会议、培训授课等内容的记录，在所述多媒体文件中包括但不限于视频信息和音频信息。

步骤s102、从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息。

一般地，人声的频率范围为100赫兹至1000赫兹，可以将超出这一范围的声音当作干扰声音予以滤除，只对在这一人声频率范围之内的人声信息进行处理。

优选地，所述将所述人声信息转换为文本信息具体可以包括如图2所示的步骤：

步骤s1021、使用快速傅里叶变换将所述人声信息从时域信号转换为频域信号，并计算出所述频域信号的梅尔频率倒谱系数特征向量。

一般地，人类听觉的感知只聚焦在频域中的某些特定的区域，而不是整个频域中的频谱包络，而梅尔频率分析就是基于人类听觉感知的。实验观测发现人耳就像一个滤波器组一样，它只关注某些特定的频率分量，也就是说，人的听觉对频率是有选择性的，它只让某些频率的信号通过，而无视其它的某些频率信号。但是这些滤波器在频率坐标轴上却不是统一分布的，在低频区域有很多的滤波器，他们分布比较密集，但在高频区域，滤波器的数目就变得比较少，分布很稀疏。人的听觉系统是一个特殊的非线性系统，它响应不同频率信号的灵敏度是不同的。梅尔频率倒谱系数(melfrequencycepstrumcoefficient，mfcc)考虑到了人类的听觉特征，首先，将线性频谱映射到基于听觉感知的mel非线性频谱中，将不统一的频率转化为统一的频率，在mel频域内，人对音调的感知度为线性关系。举例来说，如果两段语音的mel频率相差两倍，则人耳听起来两者的音调也相差两倍。然后取其对数并进行逆变换将其转换到倒谱上，逆变换一般是通过离散余弦变换(discretecosinetransform，dct)来实现，取dct后的第2个到第13个系数作为mfcc特征向量。

步骤s1022、将所述频域信号的梅尔频率倒谱系数特征向量与预设的声学模型进行匹配识别，得到声学匹配识别结果。

所述声学模型是采用隐马尔可夫模型对指定语音样本库中的语音样本进行训练得到的。声学模型的建模单元，可以是音素，音节，词等各个层次。对于小词汇量的语音识别系统，可以直接采用音节进行建模。而对于词汇量偏大的识别系统，一般选取音素，即声母，韵母进行建模。识别规模越大，识别单元选取的越小。隐马尔可夫模型是对语音信号的时间序列结构建立统计模型，将其看作一个数学上的双重随机过程：一个是用具有有限状态数的马尔可夫链来模拟语音信号统计特性变化的隐含的随机过程，另一个是与马尔可夫链的每一个状态相关联的外界可见的观测序列的随机过程。人的言语过程实际上就是一个双重随机过程，语音信号本身是一个可观测的时变序列，是由大脑根据语法知识和言语需要发出的音素的参数流。隐马尔可夫模型合理地模仿了这一过程，是较为理想的一种语音模型。

步骤s1023、根据预设的语言模型从所述声学匹配识别结果中选取出现概率最高的词语序列。

所述语言模型是通过概率统计的方法对指定文本样本库中的文本样本进行语法分析及语义分析训练得到的。语言模型是用来计算一个句子出现概率的概率模型。它主要用于决定哪个词序列的可能性更大，或者在出现了几个词的情况下预测下一个即将出现的词语的内容。换一个说法说，语言模型是用来约束单词搜索的。它定义了哪些词能跟在上一个已经识别的词的后面，这样就可以为匹配过程排除一些不可能的单词。语言建模能够有效的结合汉语语法和语义的知识，描述词之间的内在关系，从而提高识别率，减少搜索范围。对文本样本进行语法分析及语义分析，经过基于统计模型训练得到语言模型，即用概率统计的方法来揭示语言单位内在的统计规律。

步骤s1024、将选取的所述词语序列以文本信息的形式记录下来。

在本实施例中，提取出的信息是以文本的形式来展示给用户的，便于用户快速地浏览并获取所需的信息。

步骤s103、从所述视频信息中提取出人脸图像。

优选地，步骤s103可以包括如图3所示的步骤：

步骤s1031、从所述视频信息中逐帧获取视频帧图像。

步骤s1032、将所述视频帧图像由rgb空间转换到ycbcr空间，得到转换后的视频帧图像。

肤色作为人的体表显著特征之一，尽管人的肤色因为人种的不同有差异，呈现出不同的颜色，但是在排除了亮度和视觉环境等对肤色的影响后，皮肤的色调基本一致。在ycbcr空间中，y代表亮度，cb和cr分别代表蓝色分量和红色分量，两者合称为色彩分量。ycbcr空间具有将色度与亮度分离的特点，在ycbcr空间中，肤色的聚类特性比较好，而且是两维独立分布，能够比较好地限制肤色的分布区域，并且受人种的影响不大。对比rgb空间和ycbcr空间，当光强发生变化时，rgb空间中的r(红色分量)、g(绿色分量)、b(蓝色分量)三个颜色分量会同时发生变化，而ycbcr空间中受光强影响相对独立，色彩分量受光强度影响不大，因此ycbcr空间更适合用于肤色识别。

可以通过以下公式实现由rgb空间到ycbcr空间的转换：

y＝0.257*r+0.564*g+0.098*b+16；

cb＝-0.148*r-0.291*g+0.439*b+128；

cr＝0.439*r-0.368*g-0.071*b+128。

步骤s1033、在转换后的所述视频帧图像中确定出满足预设的肤色判定条件的肤色像素点。

由于肤色在ycbcr空间的两路色彩分量受亮度信息的影响较小，本方案直接考虑ycbcr空间的cbcr分量，映射为两维独立分布的cbcr空间。在cbcr空间下，肤色类聚性好，利用预设的肤色判定条件即可将肤色像素点确定出来，在本实施例中，优选采用的肤色判定条件为：77<cb<127且133<cr<173，满足该肤色判定条件的像素点即为肤色像素点。

步骤s1034、提取出由所述肤色像素点组成的所述人脸图像。

优选地，为了减少某些与肤色相近的像素点的干扰，可以在提取所述人脸图像之前判断所述肤色像素点的个数与转换后的所述视频帧图像的像素点的总个数的比值是否大于预设的比例阈值，若所述比值大于所述比例阈值，则提取出由所述肤色像素点组成的所述人脸图像。

步骤s104、获取所述人脸图像的特征向量。

优选地，步骤s104可以包括如图4所示的步骤：

步骤s1041、分别计算所述人脸图像中的每个像素点的相对特征值。

所述相对特征值为当前像素点与相邻的像素点之间的灰度值差异模式的表征。对所述人脸图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的灰度值的大小关系，把像素的灰度值转化为一个八位二进制序列。以中心点的像素值为阈值，如果邻域点的像素值小于中心点，则邻域点被二值化为0，否则为1；将二值化得到的0、1序列看成一个8位二进制数，将该二进制数转化为十进制就可得到中心点处的相对特征值。

步骤s1042、将所述人脸图像划分为预设数目的子图像。

例如，可以将所述人脸图像在横轴及纵轴上各分为8份，从而划分出8*8＝64个子图像，也即所述预设数目为64。

步骤s1043、从所述人脸图像中选取一个尚未被选取过的子图像作为当前子图像。

步骤s1044、对所述当前子图像中各个像素点的相对特征值进行统计，获得与所述当前子图像对应的统计直方图序列。

步骤s1045、判断在所述人脸图像中是否存在尚未被选取过的子图像。

若所述人脸图像存在尚未被选取过的子图像，则返回执行步骤s1043及后续步骤，否则，则执行步骤s1046。

步骤s1046、将各个子图像的统计直方图序列按照预设的顺序进行排列，获得所述人脸图像的特征向量。

例如，若所述人脸图像按照步骤s1042中的示例被划分为64个子图像，则可对这些子图像按照从左到右、从上到下的顺序依次进行标号，也即将第1行的左起第1个子图像标记为子图像1，将第1行的左起第2个子图像标记为子图像2，以此类推，直至将第一行的左起第8个子图像标记为子图像8，然后，将第2行的左起第1个子图像标记为子图像9，将第2行的左起第2个子图像标记为子图像10，以此类推，直至将将第8行的左起第8个子图像标记为子图像64。在对各个子图像进行标号之后，各个子图像的统计直方图序列则可以按照子图像标号从小到大的顺序或者从大到小的顺序进行排列，当然，也可以按照其它的顺序进行排列，本实施例对此不作具体限定。

步骤s105、将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息。

确定出的所述表情信息可以使用各种形容语气、心情等的词语来表征，例如生气、藐视、害怕、厌恶、开心、悲伤、惊喜等等。

所述表情分类器是通过使用机器学习算法对指定人脸表情样本库中的人脸表情样本进行训练得到的。具体地，本实施例中优选采用卷积神经网络(convolutionalneuralnetworks，cnn)，卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层组成，同时也包括关联权重和池化层。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他机器学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少。

本实施例中的卷积神经网络基本结构包括两层，其一为特征提取层，每个神经元的输入为步骤s104中获得的所述人脸图像的特征向量。其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构保证了表情分类器的分类结果的准确性。

步骤s106、将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容。

具体地，可以首先确定包含该表情信息的人脸图像在所述视频信息中出现的时间段，然后在所述文本信息中查找与该时间段内的所述音频信息所对应的文本信息片段，最后将所述表情信息加入到该文本信息片段中。

例如，在视频中识别出一个兴奋的表情，在同时间段内的音频所对应的文本信息片段为“我们取得了很大的进步”，则将该表情信息添加入该文本信息片段中，添加表情信息后的文本信息片段变为：(某人)兴奋地说：我们取得了很大的进步。即最终生成的文本信息中不仅仅是说话的内容，还包括了说话者的表情信息，用户不用观看视频，仅需浏览文本即可了解说话者的内容和感情。

进一步地，可以根据表情信息确定文本信息中的重点内容，具体地，可以根据实际情况选取特定的表情信息作为重点表情信息，将与该重点表情信息对应的文本信息片段确定为所述文本信息中的重点内容。例如，可以选取兴奋、愤怒、悲伤、惊奇等表情作为重点表情信息，将与这些重点表情信息对应的文本信息片段确定为所述文本信息中的重点内容，然后通过加粗、下划线、高亮显示等方式标识出来。

优选地，在将所述人声信息转换为文本信息之后，还可以包括：获取用户对所述文本信息的选取指令；从所述文本信息中选取与所述选取指令对应的文本信息片段；在所述多媒体文件中确定与所述文本信息片段的首字符对应的起始播放节点以及与所述文本信息片段的尾字符对应的终止播放节点；从所述起始播放节点开始播放所述多媒体文件，在所述终止播放节点停止播放所述多媒体文件。

这样，用户在阅读文本的同时，可以方便地找到多媒体文件中对应的部分，将文本中的每句话与多媒体文件中的播放时间段(由起始播放节点和终止播放节点确定)建立起一一对应的关系。例如，当用户看到文本中的某句话，想要详细了解说话者说这句话时的现场情况，则系统首先确定出与这句话的首字符对应的起始播放节点(假设为第11分23秒)以及与这句话的尾字符对应的终止播放节点(假设为第11分31秒)，然后播放所述多媒体文件中从第11分23秒到第11分31秒这一播放时间段内的内容。

综上所述，本发明实施例首先获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息，然后从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息，省去了用户通过观看所述多媒体文件来获取信息的时间。进一步地，本发明实施例从所述视频信息中提取出人脸图像，并获取所述人脸图像的特征向量，然后将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息，最后将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容，通过对表情的识别，使得获得的信息更加丰富，而且提供了重点内容识别的依据，可以自动地标识出文本信息的重点内容，大大节省了用户筛选整理信息的时间。

对应于上文实施例所述的从多媒体文件中提取信息的方法，图5示出了本发明实施例提供的从多媒体文件中提取信息的终端设备的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。

在本实施例中，所述从多媒体文件中提取信息的终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该从多媒体文件中提取信息的终端设备可包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。

所述处理器50可以是中央处理单元(centralprocessingunit，cpu)，还可以是其它通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述从多媒体文件中提取信息的终端设备5的内部存储单元，例如从多媒体文件中提取信息的终端设备5的硬盘或内存。所述存储器51也可以是所述从多媒体文件中提取信息的终端设备5的外部存储设备，例如所述从多媒体文件中提取信息的终端设备5上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器51还可以既包括所述从多媒体文件中提取信息的终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述从多媒体文件中提取信息的终端设备5所需的其它程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

请参阅图6，是本发明实施例提供的计算机程序52的程序模块图。在本实施例中，所述的计算机程序52可以被分割成一个或多个程序模块，所述一个或者多个程序模块被存储于所述存储器51中，并由所述处理器50所执行，以完成本发明。例如，在图6中，所述的计算机程序52，也即从多媒体文件中提取信息程序可以被分割成多媒体文件获取模块601、人声信息转换模块602、人脸图像提取模块603、特征向量获取模块604、表情信息确定模块605、重点内容标识模块606。以下描述将具体介绍所述程序模块601-606的功能。

多媒体文件获取模块601，用于获取待处理的多媒体文件，并从所述多媒体文件中分离出视频信息和音频信息；

人声信息转换模块602，用于从所述音频信息中提取出人声信息，并将所述人声信息转换为文本信息；

人脸图像提取模块603，用于从所述视频信息中提取出人脸图像；

特征向量获取模块604，用于获取所述人脸图像的特征向量；

表情信息确定模块605，用于将所述人脸图像的特征向量输入到预设的表情分类器中，以确定与所述人脸图像的特征向量对应的表情信息，所述表情分类器是通过使用机器学习算法对指定人脸表情样本库中的人脸表情样本进行训练得到的；

重点内容标识模块606，用于将所述表情信息添加入所述文本信息中，并根据所述表情信息确定并标识出所述文本信息的重点内容。

进一步地，所述人声信息转换模块602可以包括：

人声特征向量计算单元，用于使用快速傅里叶变换将所述人声信息从时域信号转换为频域信号，并计算出所述频域信号的梅尔频率倒谱系数特征向量；

声学匹配识别单元，用于将所述频域信号的梅尔频率倒谱系数特征向量与预设的声学模型进行匹配识别，得到声学匹配识别结果，所述声学模型是采用隐马尔可夫模型对指定语音样本库中的语音样本进行训练得到的；

词语序列选取单元，用于根据预设的语言模型从所述声学匹配识别结果中选取出现概率最高的词语序列，所述语言模型是通过概率统计的方法对指定文本样本库中的文本样本进行语法分析及语义分析训练得到的；

文本记录单元，用于将选取的所述词语序列以文本信息的形式记录下来。

进一步地，所述人脸图像提取模块603可以包括：

帧图像获取单元，用于从所述视频信息中逐帧获取视频帧图像；

帧图像转换单元，用于将所述视频帧图像由rgb空间转换到ycbcr空间，得到转换后的视频帧图像；

肤色像素点确定单元，用于在转换后的所述视频帧图像中确定出满足预设的肤色判定条件的肤色像素点；

比值判断单元，用于判断所述肤色像素点的个数与转换后的所述视频帧图像的像素点的总个数的比值是否大于预设的比例阈值；

人脸图像提取单元，用于若所述肤色像素点的个数与转换后的所述视频帧图像的像素点的总个数的比值大于所述比例阈值，则提取出由所述肤色像素点组成的所述人脸图像。

进一步地，所述特征向量获取模块604可以包括：

相对特征值计算单元，用于分别计算所述人脸图像中的每个像素点的相对特征值，所述相对特征值为当前像素点与相邻的像素点之间的灰度值差异模式的表征；

子图像划分单元，用于将所述人脸图像划分为预设数目的子图像；

子图像选取单元，用于从所述人脸图像中选取一个尚未被选取过的子图像作为当前子图像；

特征值统计单元，用于对所述当前子图像中各个像素点的相对特征值进行统计，获得与所述当前子图像对应的统计直方图序列；

特征向量确定单元，用于将各个子图像的统计直方图序列按照预设的顺序进行排列，获得所述人脸图像的特征向量。

进一步地，所述计算机程序52中还可以包括：

指令获取模块，用于获取用户对所述文本信息的选取指令；

文本信息片段选取模块，用于从所述文本信息中选取与所述选取指令对应的文本信息片段；

播放节点确定模块，用于在所述多媒体文件中确定与所述文本信息片段对应的播放节点；

播放模块，用于从所述播放节点开始播放所述多媒体文件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。