语义识别模型训练方法、识别方法、电子设备、存储介质与流程

1.本发明涉及自然语言理解技术领域，尤其是涉及一种语义识别模型训练方法、识别方法、电子设备、存储介质。


背景技术：

2.目前，在自然语言理解领域中，常用的研发流程是先准备一批数据，用于模型训练；然后进行产品化并且上线收集用户的语料，根据用户的线上语料再进行模型的迭代优化。
3.当前语音交互系统中由于语义理解存在的一些缺陷，很多时候对用户的响应处理存在错误。


技术实现要素：

4.本发明提供一种语义识别模型训练方法、识别方法、电子设备、存储介质，用于提高模型语义理解能力。
5.为解决上述技术问题，本发明提供的第一个技术方案为：提供一种语义识别模型的训练方法，包括：建立预置数据库，所述预置数据库包括多个预置问题；利用所述预置问题对初始模型进行训练，以得到初始语义模型；将所述初始语义模型与语言模型进行拼接，以得到所述语义识别模型；其中，所述语言模型用于识别文本中字与字之间的语言学关系；所述初始语义模型用于识别所述文本中字或词在所述文本中的语义含义。
6.其中，所述利用所述预置问题对初始模型进行训练，以得到初始语义模型包括：对多个所述预置问题的相似度进行标注，得到多个所述预置问题的相似度结果；基于多个所述预置问题的相似度结果对所述初始模型进行训练，得到所述初始语义模型。
7.其中，所述对多个所述预置问题的相似度进行标注，得到多个所述预制问题的相似度结果包括：对至少两个所述预置问题的相似度进行标注，若至少两个所述预置问题的相似度大于相似度阈值，则用第一数据进行标注，若至少两个所述预置问题的相似度小于相似度阈值，则用第二数据进行标注。
8.其中，所述基于多个所述预置问题的相似度结果对所述初始模型进行训练，得到所述初始语义模型包括：获取所述预置问题的文本信息以及所述预置问题的分词词性信息；对所述预置问题的分词词性信息中相同的部分设置掩码标记，得到第一输出矩阵；和/或，对所述预置问题的文本信息中相同的部分设置掩码标记，以得到第二输出矩阵；和/或，对所述预置问题的文本信息中不同的部分以及所述预置问题的分词词性信息中不同的部分设置掩码标记，以得到第三输出矩阵；将所述第一输出矩阵、第二输出矩阵、第三输出矩阵、所述预置问题的文本信息以及所述预置问题的分词词性信息进行拼接，以得到第四输出矩阵；基于所述多个预置问题的相似度结果利用所述第四输出矩阵对所述初始模型进行有监督训练训练，以得到所述初始语义模型。
9.其中，所述建立预置数据库包括：获取预置问题，基于所述预置问题向用户发送答
案信息；获取用户的反馈信息，以判断所述答案信息是否符合用户预期；若所述答案信息不符合用户预期，则将所述预置问题以及对应的答案信息进行保存，以形成所述预置数据库。
10.其中，所述获取预置问题，基于所述预置问题向用户发送答案信息之前包括：判断所述预置数据库中是否保存有所述预置问题对应的答案信息；若否，则将所述预置问题下发至用户，并收集用户对于所述预置问题的答案信息，将所述预置问题以及所述答案信息保存至所述预置数据库。
11.其中，所述获取用户的反馈信息，以判断所述答案信息是否符合用户预期包括：若所述答案信息满足用户的预期，则对所述预置问题以及所述答案信息进行加权，并保存至所述预置数据库中。
12.其中，所述获取预置问题，基于所述预置问题向用户发送答案信息包括：比较所述预置问题与所述预置数据库中存储的预置问题的相似度；若相似度结果超过阈值，则将所述预置数据库中存储的预置问题以及其对应的答案信息反馈至用户。
13.为解决上述技术问题，本发明提供的第二个技术方案为：提供一种语义识别方法，包括：获取用户的请求问题；利用语义识别模型对用户的请求问题进行语义识别，以得到所述请求问题的含义，并利用所述请求问题的含义将所述请求问题与预置数据库中的预置问题进行相似度比较；其中，所述语义识别模型通过上述任一种方式训练所得；若所述请求问题与所述预置数据库中的预置问题的相似度大于预设值，则将所述预置问题以及所述预置问题对应的答案信息反馈至用户。
14.其中，所述若所述请求问题与所述预置数据库中的预置问题的相似度大于预设值，则将所述预置问题以及所述预置问题对应的答案信息反馈至用户之后包括：收集多个所述请求问题，并将多个所述请求问题按照目标任务的类型进行分类，以得到不同的目标任务的请求问题；利用各个不同的目标任务的所述请求问题分别对所述语义识别模型进行训练，以得到各个不同的目标任务对应的语义识别模型。
15.其中，所述目标任务包括：相似度比较、意图识别、语义抽槽中任一种。
16.为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行上述任一项所述的语义识别模型的训练方法以及上述任一项所述的语义识别方法。
17.为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，所述程序文件能够被执行以实现上述任一项所述的语义识别模型的训练方法以及上述任一项所述的语义识别方法。
18.本发明的有益效果，区别于现有技术，本发明通过利用预置问题对初始模型进行训练，以得到初始语义模型；将所述初始语义模型与语言模型进行拼接，以得到所述语义识别模型；其中，所述语言模型用于识别文本中字与字之间的语言学关系；所述初始语义模型用于识别所述文本中字或词在所述文本中的语义含义。以此能够提高模型的语义理解能力
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
20.图1为本发明语义识别模型的训练方法的第一实施例的流程示意图；
21.图2为本发明语义识别模型的训练方法的第二实施例的流程示意图；
22.图3为本发明语义识别方法的第一实施例的流程示意图；
23.图4为本发明语义识别方法的第二实施例的流程示意图；
24.图5为本发明电子设备的一实施例的结构示意图；
25.图6为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
26.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
27.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
28.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
29.本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个所述特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果所述特定姿态发生改变时，则所述方向性指示也相应地随之改变。本申请实施例中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或组件。
30.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现所述短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
31.请参见图1，为本发明提供的语义识别模型的训练方法的第一实施例的流程示意图，包括：
32.步骤s11：建立预置数据库，所述预置数据库包括多个预置问题。
33.具体的，预置数据库包括多个预置问题，其中预置问题为当前模型对某些请求语义理解不正确的用例。目前收集预置问题有以下两种方式。第一种方式是人工添加一些模
型处理不正确的用例，该方法收集的数据比较不全面，一般作为系统初始上线时的预置问题。另一种是采用大数据原理，当用户请求语音交互装置的时候，通过分析用户对于答案的满意度，来判决是否需要将当前用户的问题添加到预置数据库中。
34.具体的，语音交互装置获取到预置问题，比较当前获取的预置问题与预置数据库中存储的预置问题的相似度；例如，若当前获取的预置问题为“北京的经纬度是多少”，此时，将该预置问题“北京的经纬度是多少”与预置数据库中存储的预置问题进行相似度比较，若相似度结构超过阈值，则将预置数据库中存储的预置问题以及其对应的答案信息反馈至用户。具体的，在一实施例中，假设预置为百分之八十，当前获取的预置问题“北京的经纬度是多少”与预置数据库中的预置问题“北京的温度是多少”的相似度超过百分之八十，此时语音交互装置将预置数据库中存储的预置问题“北京的温度是多少”以及其对应的答案信息“7℃”反馈至用户。
35.具体的，在将预置数据库中存储的预置问题“北京的温度是多少”以及其对应的答案信息“7℃”反馈至用户后，进一步获取用户的反馈信息，以判断答案信息是否符合用户预期。具体的，语音交互装置可以收集用户的声音、面部表情、文字等反馈信息，从该反馈信息中获取用户的满意度。例如，若接收到用户“不满意”的反馈，则表示当前的答案信息不符合用户预期。再例如，若接收到用户“伤心、惊讶”等表情时，则表示当前的答案信息不符合用户预期。再例如，若接收到用户的文字表达“不满意”，或者重复输入当前问题时，则表示当前的答案信息不符合用户预期。
36.或者，在另一实施例中，语音交互装置还可以进行多模态的交互，通过多轮交互的策略进而获取用户的满意度。例如，语音交互装置询问用户“我回答的正确吗”，“这个答案是不是你想要的”，“你对我的答案满意吗”等等，根据用户的回答，来确定答案信息是否符合用户预期。
37.具体的，在答案信息不符合用户预期，则将当前接收到的预置问题以及对应的答案信息进行保存，以形成预置数据库。
38.具体的，在另一实施例中，在接收到用户提出的预置问题时，还需要进一步判断预置数据库中是否保存有预置问题对应的答案信息。若预置数据库中保存有预置问题对应的答案信息，则将该预置问题与答案信息下发至用户，并获取用户的满意度，具体如上所述，在此不再赘述。
39.由于现网用户活跃量大，不同的用户大概率会请求相同或者十分类似的问题。所以充分使用大数据的思想，在一实施例中，可以向不同的用户下发相同的预置问题，得到不同用户对于相同的预置问题的答案信息，然后这些预置问题以及对应的答案信息保存至预置数据库中。
40.由于不同用户的认知偏差，可能存在不同的用户对于同一个问题，他们的回答是不一样的，如何将质量不高的答案清洗掉，显得十分重要。
41.目前通用的答案清洗方案是专家检查，但是专家人数较少，检查起来费事、费力，人力成本较高。本申请采用大数据思想，通过多轮交互的方式，和现网用户进行多轮交互，询问用户当前的预置问题以及针对该预置问题的答案是否正确。具体的，在预置数据库中未保存有预置问题对应的答案信息时，则将预置问题下发至用户，并收集用户对于预置问题的答案信息，将预置问题以及答案信息保存至所述预置数据库。具体的，若当前获取的预
置问题为“北京的经纬度是多少”，将当前获取的预置问题与预置数据库中的预置问题进行相似度比较，得到超过相似度阈值的问题为“的坐标是多少”，但是该问题在预置数据库中并未有相应的答案信息时，语音交互装置可直接将当前获取的预置问题保存至预置数据库中。并且将问题“北京的经纬度是多少”和/或“的坐标是多少”下发至用户，以获取用户对该问题的答案信息，然后将该预置问题以及答案信息保存至预置数据库中。在一实施例中，若答案信息满足用户的预期，则对预置问题以及答案信息进行加权，并保存至预置数据库中。这种多轮交互的校验方案，可以充分利用现网用户的大量回答来校验预置问题以及对应的答案信息的正确性，从而提升预置数据库的质量，减轻专家清洗预置数据库的压力，大大提升了预置数据校验的效率。
42.请继续参见图1：
43.步骤s12：利用预置问题对初始模型进行训练，以得到初始语义模型。
44.目前语音交互装置中使用的主流模型是bert、electra等语言识别模型，但是这些语言模型只能学习到文本中字与字之间的语言学关系，无法学习到字或词在整个句子中的语义含义。例如“我想听歌”和“我想听苹果”，通过现有的语言模型可以很明显的区分出“听”和“歌”，因为在语言学上，“听”和“歌”有很强的联系。而“听”和“苹果”，在语言学上，关系较弱，大概率无法组织在一起。但是对于“我想听歌”和“我不想听歌”，却无法理解“不”在当前句子中具有否定含义。所以本文提出了一种语义识别模型方案，并且结合目前的语言模型，训练形成一个新的模型。其中，语言模型包括bert、electra等。
45.具体的，预置数据库中具有很多预置问题。可以进一步对多个预置问题的相似度进行标注，得到多个预置问题的相似度结果；基于多个预置问题的相似度结果对初始模型进行训练，得到初始语义模型。
46.在一实施例中，对至少两个预置问题的相似度进行标注，若至少两个预置问题的相似度大于相似度阈值，则用第一数据进行标注，若至少两个预置问题的相似度小于相似度阈值，则用第二数据进行标注。例如，预置数据库中具有预置问题“我想吃饭”和“我不想吃饭”，人工对其相似度进行标注，实际上，从语义层面上理解，这两个问题所表达的意思完全不同，因此判定其相似度小于相似度阈值。此时，可以对这两个预置问题用0进行标注。再例如，预置数据库中具有预置问题“我想睡觉”和“我想休息”，人工对其相似度进行标注，实际上，从语义层面上理解，这两个问题所表达的意思相似，因此判定其相似度大于相似度阈值。此时，可以对这两个预置问题用1进行标注。也即，相似大于阈值的预置问题用1进行标注，相似度小于阈值的预置问题用0进行标注。
47.在一实施例中，利用预置问题对初始模型进行训练，以得到初始语义模型中，可以采用有监督的方式对初始模型进行训练。具体请结合图2，包括：
48.步骤s21：获取预置问题的文本信息以及预置问题的分词词性信息。
49.具体的，假设预置问题为“我想吃饭”和“我不想吃饭”。则获取预置问题“我想吃饭”和“我不想吃饭”的分词词性信息。例如，“我想吃饭”的分词词性信息为“s_r s_v s_v s_n”，“我不想吃饭”的分词词性信息为“s_r s_d s_v s_v s_n”。具体的，获取分词词性信息的方法与现有技术中相同，在此不做赘述。
50.步骤s22：对预置问题的分词词性信息中相同的部分设置掩码标记，得到第一输出矩阵；和/或，对预置问题的文本信息中相同的部分设置掩码标记，以得到第二输出矩阵；
和/或，对预置问题的文本信息中不同的部分以及预置问题的分词词性信息中不同的部分设置掩码标记，以得到第三输出矩阵。
51.具体的，对预置问题的分词词性信息中相同的部分设置掩码标记，得到第一输出矩阵。在一实施例中，可以对相同的部分内容中部分设置掩码标记，也可以全部设置掩码标记，具体不做限定。本实施例以部分做掩码标记为例进行说明。在词性相同，字或者词不同的情况下，为了增强模型对字或者词的语义泛化能力，例如，对“我想吃饭”的分词词性信息“s_r s_v s_v s_n”，和“我不想吃饭”的分词词性信息“s_r s_d s_v s_v s_n”中相同的部分“s_n”设置掩码标记。此时，“我想吃饭”的分词词性信息为“s_r s_v s_v*”，“我不想吃饭”的分词词性信息为“s_r s_d s_v s_v*”，以此能够让模型学习到“不”这个字对于词性为名词的语义关联度较弱。增强模型对于“不”的泛化能力。
52.具体的，对预置问题的文本信息中相同的部分设置掩码标记，以得到第二输出矩阵。在一实施例中，可以对相同的部分内容中部分设置掩码标记，也可以全部设置掩码标记，具体不做限定。本实施例以部分做掩码标记为例进行说明。由于中文存在一词多义的现象，且本模型使用了分词信息(分词模型对于一词多义，新词等情况解决不好)，所以为了增强模型的鲁棒性，减弱模型对分词信息的依赖，可以对部分字或者词设置掩码标记，让模型通过原始文本来预测文本中的字的语义信息。例如，对“我想吃饭”中的“吃饭”设置掩码标记，此时“我想吃饭”的文本为“我想**”。对“我不想吃饭”中的“吃饭”设置掩码标记，此时“我不想吃饭”的文本为“我不想**”。
53.具体的，对预置问题的文本信息中不同的部分以及预置问题的分词词性信息中不同的部分设置掩码标记，以得到第三输出矩阵。在一实施例中，可以对相同的部分内容中部分设置掩码标记，也可以全部设置掩码标记，具体不做限定。本实施例以部分做掩码标记为例进行说明。例如对“我不想吃饭”中的“不”设置掩码标记；对“s_r s_d s_v s_v s_n”中的“s_d”设置掩码标记。让模型学习到对于词性为“s_d”的汉字的语义表示，使得对于“s_d”类型的汉字，具有否定的意义；同理，对于设置掩码标记的“s_d”这个分词信息，让模型学习到对于汉字“不”，它具有否定的意义。
54.步骤s23：将第一输出矩阵、第二输出矩阵、第三输出矩阵、预置问题的文本信息以及预置问题的分词词性信息进行拼接，以得到第四输出矩阵。
55.具体的，将第一输出矩阵、第二输出矩阵、第三输出矩阵、预置问题的文本信息以及预置问题的分词词性信息进行拼接。拼接顺序不限，例如，在一实施例中，可以按照第一输出矩阵、第二输出矩阵、第三输出矩阵、预置问题的文本信息以及预置问题的分词词性信息依次进行拼接。
56.步骤s24：基于多个预置问题的相似度结果利用第四输出矩阵对初始模型进行有监督训练训练，以得到初始语义模型。
57.具体的，由于已对“我想吃饭”和“我不想吃饭”进行相似度标注，因此其相似度已知。可以基于多个预置问题的相似度结果利用第四输出矩阵对初始模型进行有监督训练训练，以得到初始语义模型。
58.在一实施例中，初始模型可以为tansformer。具体的，将第四输出矩阵输入至tansformer中，利用已标注的相似度对其进行约束、收敛等，使模型学习到相邻或相近的词与词性，进而得到初始语义模型。其中，初始语义模型用于识别文本中字或词在文本中的语
义含义。
59.步骤s13：将初始语义模型与语言模型进行拼接，以得到语义识别模型。
60.具体的，将通过上述步骤训练所得的初始语义模型与语言模型进行拼接，进而得到语义识别模型。
61.可以理解的，所得的语义识别模型既能够识别文本中字与字之间的语言学关系，又能够识别文本中字或词在文本中的语义含义。能够进一步提高模型的语义理解能力。
62.请参见图4，为本发明语义识别方法的第一实施例的流程示意图，具体包括：
63.步骤s31：获取用户的请求问题。
64.具体的，语音交互装置获取用户的请求问题。
65.步骤s32：利用语义识别模型对用户的请求问题进行语义识别，以得到所述请求问题的含义。
66.利用语义识别模型对用户的请求问题进行语义识别，以得到请求问题的含义。其中，语义识别模型通过上述图1和图2所示的方法训练所得。语义识别模型既能够识别文本中字与字之间的语言学关系，又能够识别文本中字或词在文本中的语义含义，能够进一步提高语义理解能力。
67.步骤s33：利用请求问题的含义将请求问题与预置数据库中的预置问题进行相似度比较。
68.具体的，在识别出请求问题的含义后，将请求问题与预置数据库中的预置问题进行相似度比较。
69.需要说明的是，预置数据库中的预置问题已经过语义识别模型的识别，即已知其含义。此时，将当前识别出的请求问题的含义与预置问题的含义进行比较，即可得出其相似度。
70.步骤s34：若请求问题与预置数据库中的预置问题的相似度大于预设值，则将预置问题以及预置问题对应的答案信息反馈至用户。
71.具体的，若请求问题与预置数据库中的预置问题的相似度大于预设值，即请求问题与预置数据库中的预置问题相似，则将预置问题以及预置问题对应的答案信息反馈至用户。由于请求问题与预置数据库中的预置问题相似，因此语音交互装置预测预置问题对应的答案信息即为用户的请求问题对应的答案。
72.通过本实施例的语义识别方法，其能够识别文本中字与字之间的语言学关系，又能够识别文本中字或词在文本中的语义含义，能够进一步提高语义理解能力。
73.请参见图4，为本发明语义识别方法的第二实施例的流程示意图。其中，步骤s41、步骤s42、步骤s43以及步骤s44与上述图3所示的步骤s31、步骤s32、步骤s33以及步骤s34相同，区别在于，本实施例在步骤s44之后还包括：
74.步骤s45：收集多个所请求问题，并将多个请求问题按照目标任务的类型进行分类，以得到不同的目标任务的请求问题。
75.具体的，目标任务包括相似度比较、意图识别、语义抽槽中任一种，本实施例以相似度比较为例。例如按照多个请求问题的相似度进行分类，然后得到多个不同相似度等级的请问问题。
76.步骤s46：利用各个不同的目标任务的所请求问题分别对语义识别模型进行训练，
以得到各个不同的目标任务对应的语义识别模型。
77.利用多个不同相似度等级的请问问题分别对语义识别模型进行训练，以得到各个不同的相似度对应的语义识别模型，以此得到的能够进行相似度比较的语义识别模型。
78.或者，在另一实施例中，以不同的领域为例进行说明。例如将多个请求问题按照音乐领域、烹饪领域、娱乐领域进行分类，然后得到音乐领域的请求问题、烹饪领域的请求问题、娱乐领域的请求问题。利用音乐领域的请求问题对语义识别模型进行训练，以得到音乐领域的语义识别模型；利用烹饪领域的请求问题对语义识别模型进行训练，以得到烹饪领域的语义识别模型；利用娱乐领域的请求问题对语义识别模型进行训练，以得到娱乐领域的语义识别模型。
79.本实施例所示的方法，其能够在语义识别模型的基础上，对下游任务训练新的模型，并且能够大大提高下有任务对应的新的模型的语义识别能力，使得下游任务的结果更加准确。
80.请参见图5，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。
81.存储器202用于存储实现上述任意一项方法的程序指令。
82.处理器201用于执行存储器202存储的程序指令。
83.其中，处理器201还可以称为cpu(central processing unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
84.存储器202可以为内存条、tf卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
85.在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
86.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
87.另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
88.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
89.请参阅图6，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
90.以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。