语音合成方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及语音合成技术领域，尤其涉及一种语音合成方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.目前，为了提高语音合成的自然度，提升语音合成的表现力，可以通过在合成的语音中添加一些重音来丰富情感表达的层次，突出语句的重点。
3.重音的特征表现在时长拉伸和音调加强。现有研究主要集中在时长建模方面，其中，长度调节器可以通过延长或者缩短音素持续时间来轻松确定语音速度，但是长度调节器在模型训练时，一般都有两个阶段的训练流程，除了主框架之外，还需要一个另外的模型来训练时长模型，训练过程较为繁琐，训练时间也比较长。而且目前的研究缺少对音调的建模。
4.因此，有必要根据时长和音调，进行高效且准确的重音可控语音合成。


技术实现要素：

5.本技术实施例提供一种语音合成方法、装置、电子设备及计算机可读存储介质，不仅可以高效地将重音特征合成于语音中，而且可以实现对重音的可控性，提升语音的自然度和表现力。
6.本技术实施例的技术方案是这样实现的：
7.第一方面，本技术实施例提供一种语音合成方法，包括：
8.获取第一发音人针对第一文本的多种音频信息和第一发音人的标识，以及获取第二发音人针对第二文本的一种音频信息和第二发音人的标识；
9.基于所述第一发音人的音频信息和所述第一发音人的标识、所述第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及声音特征；
10.基于所述第二发音人的标识、待输出音频对应的文本和训练好的所述第一语音模型，确定目标输出音频。
11.在上述方案中，所述获取第一发音人针对第一文本的多种音频信息和第一发音人的标识，包括：
12.针对所述第一文本，录制所述第一发音人四种不同发音的音频信息；
13.所述音频信息包括无重音的音频信息、音调加强的音频信息、时长拉伸的音频信息以及音调加强且时长拉伸的音频信息。
14.在上述方案中，所述基于所述第一发音人的音频信息和所述第一发音人的标识、第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及声音特征，包括：
15.对所述第一发音人的音频信息进行文字标注，得到所述第一发音人的带有重音的第一文本标注信息；
16.基于所述第一文本标注信息、所述第一发音人的音频信息，训练所述第一语音模型，学习所述第一文本标注信息中的重音特征以及所述第一发音人的声音特征。
17.在上述方案中，所述基于所述第一发音人的音频信息和所述第一发音人的标识、第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及声音特征，包括：
18.将所述第二发音人的音频信息全部标注为不带重音的第二文本标注信息；
19.基于所述第二文本标注信息、所述第二发音人的音频信息和所述第二发音人的标识，训练所述第一语音模型，学习所述第二发音人第二发音人的声音特征。
20.在上述方案中，所述对所述第一发音人的音频信息和所述第二发音人的音频信息进行文字标注，得到所述第一发音人的带有重音的第一文本标注信息，包括：
21.所述第一文本标注信息中的文本标签包括无重音标签、音调加强标签、时长拉伸标签以及音调加强且时长拉伸标签中至少一项。
22.在上述方案中，所述基于所述第二发音人的标识、待输出音频对应的文本和训练好的所述第一语音模型，确定目标输出音频，包括：
23.所述第一语音模型基于所述第二发音人的标识，得到所述第二发音人的标识对应的目标发音人的目标声音特征；
24.所述第一语音模型基于所述待输出音频对应的文本的标注信息，得到所述待输出音频对应的目标重音特征；
25.所述第一语音模型基于所述目标声音特征和所述目标重音特征，确定带有所述目标重音特征的所述目标发音人的输出音频。
26.在上述方案中，所述获取第二发音人针对第二文本的一种音频信息和第二发音人的标识，包括：
27.针对所述第二文本，录制所述第二发音人中每一位发音人正常发音的音频信息，所述第二发音人的标识与所述第二发音人中的发音人一一对应；
28.所述待输出音频对应的文本为预先配置的带有重音标注的文本。
29.第二方面，本技术实施例提供一种语音合成装置，所述语音合成装置包括：
30.音频信息获取模块，用于获取第一发音人针对第一文本的多种音频信息和第一发音人标识，以及获取第二发音人针对第二文本的一种音频信息和第二发音人的标识；
31.第一语音模型训练模块，用于基于所述第一发音人的音频信息和所述第一发音人的标识、第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及声音特征；
32.目标输出音频确定模块，用于基于所述第二发音人的标识、待输出音频对应的文本和训练好的所述第一语音模型，确定目标输出音频。
33.第三方面，本技术实施例提供一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术实施例提供的语音合成方法。
34.第四方面，本技术实施例提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行本技术实施例提供的语音合成方法。
35.本技术实施例提供的语音合成方法，获取第一发音人针对第一文本的多种音频信息和第一发音人的标识，以及获取第二发音人针对第二文本的一种音频信息和第二发音人的标识；基于所述第一发音人的音频信息和所述第一发音人的标识、所述第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及所述第二发音人的声音特征；基于所述第二发音人的标识、待输出音频对应的文本和训练好的所述第一语音模型，确定目标输出音频。本技术的语音合成方法，通过一个模型实现了带有重音的语音合成，提高了重音的语音合成效率。同时，通过对待输出音频对应的文本的灵活配置实现了对重音的可控性。
附图说明
36.附图用于更好地理解本方案，不构成对本技术的限定。其中：
37.图1是本技术实施例提供的语音合成方法的一种可选处理流程示意图；
38.图2是本技术实施例提供的语音合成方法的一种可选系统架构图；
39.图3是本技术实施例提供的语音合成装置的一种可选结构示意图；
40.图4是本技术实施例提供的一种可选电子设备示意性框图。
具体实施方式
41.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
42.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
43.在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
44.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
45.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的针对相关技术存在的技术方案进行说明：
46.1、语音合成(text to speech，tts)是将计算机自己产生的，或者外部输入的文字信息转变为可以听得懂的、流利的人类语音输出的技术。
47.2、重音：重音是语言最重要的韵律特征之一，是语义上的着重、强调和聚集的一种语音手段，语音的重音特征表现在音域加宽、音程加大、气流加强。
48.3、特征迁移：将任务a学习到的知识迁移到任务b上，以提高任务b的泛化性。
49.下面将介绍本技术实施例提供的一种语音合成方法，参见图1，图1是本技术实施例提供的语音合成方法的一种可选处理流程示意图，下面将结合图1示出的步骤s101-s103进行说明。
50.步骤s101，获取第一发音人针对第一文本的多种音频信息和第一发音人的标识，以及获取第二发音人针对第二文本的一种音频信息和第二发音人的标识。
51.在一些实施例中，可以针对第一文本，通过第一发音人录制四组不同发音的音频信息，包括无重音的音频信息、音调加强的音频信息、时长拉伸的信息以及音调加强且时长拉伸的音频信息。
52.其中，第一文本为提前准备好的一定数量的语料；第一发音人可以为专业的播音人员。可以将第一发音人对应的第一发音人的标识记录下来。如，第一文本可以是包含1000条左右的小语料库。
53.在一些实施例中，可以针对第二文本，录制第二发音人中每一位发音人正常发音的音频信息。
54.其中，第二发音人可以有一位或者多位，这里不做限定；第二发音人的标识与第二发音人中的发音人一一对应，每个标识可以代表一位发音人，且第二发音人的标识与第一发音人的标识都是唯一且不重复的。第二发音人中的每位发音人的音频信息对应的第二文本可以是包含700条左右的小语料库。
55.步骤s102，基于所述第一发音人的音频信息和所述第一发音人的标识、所述第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及声音特征。
56.在一些实施例中，在获取到第一发音人的音频信息和第一发音人的标识，以及第二发音人的音频信息和第二发音人的标识之后，可以基于第一发音人的音频信息和第一发音人的标识、以及第二发音人的音频信息和第二发音人的标识，训练第一语音模型。
57.可以对第一发音人的每条音频信息进行标注，得到第一发音人对应的第一文本标注信息。
58.其中，第一文本标注信息包括每条音频中的字符和每个字符对应的文本标签。
59.第一文本标注信息的文本标签包括无重音标签、音调加强标签、时长拉伸标签以及音调加强且时长拉伸标签中至少一项。可以用`0表示无重音标签，用`1表示音调加强标签，用`2表示时长拉伸标签，用`3表示音调加强且时长拉伸标签。
60.作为示例，这样一段文本标注信息：“大`0家`1好`2啊`3”中，“大”为无重音的中性字，“家”为音调加强的字，“好”为时长拉伸的字，“啊”为音调加强的同时时长拉伸的字。
61.通过对重音进行细粒度的划分，即将重音按照音调加强、时长拉伸以及音调加强以及时长拉伸进行划分，提高了对重音特征提取的准确度；同时，本技术中对划分好的重音进行重音特征学习的方法，避免了传统合成重音的方案中需要额外训练时长模型的训练成本高昂以及耗时耗力的问题。
62.在一些实施例中，可以对第二发音人的音频信息进行文本标注，将第二发音人的音频信息全部标注为不带重音的第二文本标注信息。作为示例，若第二发音人的音频信息的文本内容为“你好啊”，则第二文本标注信息可以为“你`0好`0啊`0”，将每个字符标注为无重音的中性字。
63.在一些实施例中，可以在tacotron2架构上增加重音特征建模模块和发音人特征建模模块，构建第一语音模型，并对第一语音模型进行模型训练。
64.通过将上述第一文本标注信息输入重音特征建模模块、将上述第一发音人的标识
输入发音人特征建模模块，基于第一发音人的音频信息，对第一语音模型进行训练，可以学习到第一文本标注信息的全部特征，以及第一发音人的声音特征。其中，第一文本标注信息的全部特征包括重音特征、非重音特征，以及重音特征与非重音特征的差异，第一发音人的声音特征包括发音人的音色、语音韵律、停顿等声音特征。
65.通过将上述第二文本标注信息输入重音特征建模模块、将上述第二发音人的标识输入发音人特征建模模块，基于第二发音人的音频信息，对第一语音模型进行训练，可以学习到第二文本标注信息的非重音特征，以及第二发音人的声音特征。其中，第二发音人的声音特征包括发音人的音色、语音韵律、停顿等声音特征。
66.若第二发音人有多个，可以分别基于第二发音人中每一个发音人的标识、第二发音人的标识对应的发音人的音频信息和第二发音人的标识对应的发音人的文本标注信息，对第一语音模型进行训练，得到每一个第二发音人的标识对应的发音人的声音特征。
67.通过上述对第一语音模型的训练，语音模型可以基于带重音的文本标注信息获得重音特征，通过第一发音人的标识或者第二发音人的标识得到对应的发音人的声音特征。
68.步骤s103，基于所述第二发音人的标识、待输出音频对应的文本和训练好的所述第一语音模型，确定目标输出音频。
69.在一些实施例中，在第一语音模型训练完毕之后，用户可自主配置待输出音频对应的文本。其中待输出音频对应的文本为按照格式标注好的带有重音标注的文本。其中文本的标注信息可以包括字符和字符的文本标签。这里，字符的文本与训练第一语音模型时，文本标签与第一文本标注信息的文本标签的设置相同，包括无重音标签、音调加强标签、时长拉伸标签以及音调加强且时长拉伸标签中至少一项。可以用`0表示无重音标签，用`1表示音调加强标签，用`2表示时长拉伸标签，用`3表示音调加强且时长拉伸标签。
70.在一些实施例中，第一语音模型可以基于第二发音人的标识，将待输出音频对应的文本的标注信息的重音特征迁移到第二发音人的标识对应的发音人的音频特征上。具体为：第一语音模型基于第二发音人的标识，得到第二发音人的标识对应的目标发音人的目标声音特征；第一语音模型基于待输出音频对应的文本的标注信息，得到待输出音频对应的目标重音特征；第一语音模型基于目标音频特征和目标重音特征，确定带有目标重音特征的目标发音人的输出音频。
71.其中，第一语音模型有效降低了模型训练的复杂度，减少了模型训练使使用的数据量。在第一语音模型的训练过程中，语料库均为小语料库，模型训练时的数据量较小，降低了系统制作成本的同时，也避免了传统模型对时长进行标注或者需要训练额外的时长模型时的耗时耗力，大大降低了训练成本。同时，对重音进行了细粒度的划分，以及使用多说话人语音合成技术，可以将不同级别的重音特征迁移到任意一个无标注的发音人上，在不降低语音合成质量的同时，大大提高了合成语音的自然度。另外，通过用户自定义配置重音文本，实现了对目标输出音频中的重音的可控性。
72.下面说明本技术实施例提供的语音合成的系统架构图，参见图2，下面将结合图2进行说明。
73.在一些实施例中，可以基于第一发音人的音频信息和第一发音人的标识，第二发音人的音频信息和第二发音人的标识，训练第一语音模型。
74.在一些实施例中，第一语音模型的训练过程可以为：
75.在编码阶段，第一发音人针对第一文本的多种音频信息的第一文本标注信息，通过字符编码模块201，生成512维的向量；同时第一发音人对应的第一发音人的标识输入发音人标识模块204，发音人编码模块205将第一发音人的标识编码为512维的发音人编码向量。
76.字符编码模块201生成的512维的向量通过三层卷积网络202提取特征，再通过双向长短时记忆神经网络203获取上下文信息之后，得到第一文本标注信息的文本特征，其中，文本特征包括重音特征。
77.在译码阶段，位置敏感注意力机制208根据第一文本标注信息的文本特征，以及获取二层长短时记忆神经网络207输出的上一帧的目标音频特征，基于注意力机制，计算得到新的文本特征，并将新的文本特征位置输入二层长短时记忆神经网络207；二层长短时记忆神经网络207通过发音人编码向量以及预处理网络206的输出信息，预测当前帧的梅尔频谱特征。
78.当前帧的梅尔频谱特征通过第一线性预测模块211得到当前帧的梅尔频谱。同时，当前帧的梅尔频谱特征通过第二线性预测模块和sigmoid函数209，判断是否为停止词，若当前帧为停止词，则说明语音合成完毕。
79.第一线性预测模块210输出的当前帧的梅尔频谱经过五层卷积神经网络211后得到当前帧较为连续的梅尔频谱，与发音人的编码特征，以及当前帧的梅尔频谱特征，进行特征拼接后生成最终的梅尔频谱，将最终得到的梅尔频谱与第一发音人的音频信息进行loss计算，基于loss计算结果对第一语音模型的参数进行更新，直到参数更新的迭代完成。最后输出至声码器212生成采样点。
80.同理，将第二发音人针对第二文本的一种音频信息，全部标注为不带重音的第二文本标注信息，将第二文本标注信息和对应的第二发音人的标识输入第一语音模型，按照上述的训练过程，基于第二发音人的第二音频对第一语音模型进行训练。
81.此时，训练好的第一语音模型，学习到了第一文本标注信息和第二文本标注信息中的重音特征、非重音特征，以及重音特征与非重音特征的差异，学习到了第一发音人标识对应的发音人的声音特征，学习到了第二发音人的标识对应的发音人的声音特征。
82.在一些实施例中，第一语音模型训练完毕之后，可以基于第二发音人的标识、待输出音频对应的文本和训练好的第一语音模型，确定目标输出音频。
83.其中，确定目标输出音频的过程可以为：将待输出音频对应的带有重音标注的文本和第二发音人的标识输入第一语音模型，第一语音模型根据训练过程中学习到的第二发音人的标识对应的发音人的声音特征，以及根据训练过程中根据文本标注信息学习到的重音特征，将重音特征迁移到第二发音人的标识对应的发音人上，得到第二发音人的标识对应的发音人带有带输出音频对应的重音特征的目标输出音频。
84.图3为本技术实施例提供的语音合成装置的一种可选装置结构示意图，语音合成装置300包括音频信息获取模块301、第一语音模型训练模块302和目标输出音频确定模块303。其中，
85.音频信息获取模块301，用于获取第一发音人针对第一文本的多种音频信息和第一发音人标识，以及获取第二发音人针对第二文本的一种音频信息和第二发音人的标识；
86.第一语音模型训练模块302，用于基于所述第一发音人的音频信息和所述第一发
音人的标识、第二发音人的音频信息和所述第二发音人的标识，训练第一语音模型，学习重音特征以及声音特征；
87.目标输出音频确定模块303，用于基于所述第二发音人的标识、待输出音频对应的文本和训练好的所述第一语音模型，确定目标输出音频。
88.在一些实施例中，音频信息获取模块301用于：针对所述第一文本，录制所述第一发音人四种不同发音的音频信息；所述音频信息包括无重音的音频信息、音调加强的音频信息、时长拉伸的音频信息以及音调加强且时长拉伸的音频信息；
89.在一些实施例中，第一语音模型训练模块302用于：对所述第一发音人的音频信息进行文字标注，得到所述第一发音人的带有重音的第一文本标注信息；基于所述第一文本标注信息、所述第一发音人的音频信息，训练所述第一语音模型，学习所述第一文本标注信息中的重音特征以及所述第一发音人的声音特征。
90.在一些实施例中，第一语音模型训练模块302还用于：将所述第二发音人的音频信息全部标注为不带重音的第二文本标注信息；基于所述第二文本标注信息、所述第二发音人的音频信息和所述第二发音人的标识，训练所述第一语音模型，学习所述第二发音人的声音特征。
91.在一些实施例中，第一语音模型训练模块302还用于：所述第一文本标注信息中的文本标签包括无重音标签、音调加强标签、时长拉伸标签以及音调加强且时长拉伸标签中至少一项。
92.在一些实施例中，目标输出音频确定模块303用于：所述第一语音模型基于所述第二发音人的标识，得到所述第二发音人的标识对应的目标发音人的目标声音特征；所述第一语音模型基于所述待输出音频对应的文本的标注信息，得到所述待输出音频对应的目标重音特征；所述第一语音模型基于所述目标声音特征和所述目标重音特征，确定带有所述目标重音特征的所述目标发音人的输出音频。
93.在一些实施例中，语音合成装置300用于针对所述第二文本，录制所述第二发音人中每一位发音人正常发音的音频信息，所述第二发音人的标识与所述第二发音人中的发音人一一对应；所述待输出音频对应的文本预先为配置的带有重音标注的文本。
94.需要说明的是，本技术实施例的语音合成装置与上述语音合成方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本技术实施例提供的语音合成装置中未尽的技术细节，可以根据图1至图2中任一附图的说明而理解。
95.图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备400用于实施本公开实施例的语音合成方法。在一些可选实施例中，电子设备400可以通过运行计算机程序来实现本技术实施例提供的语音合成方法，例如，计算机程序可以是操作系统中的软件模块；可以是本地(nati ve)app(application，应用程序)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意app中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
96.在实际应用中，电子设备400可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台
等基础云计算服务的云服务器，其中，云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。电子设备400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。
97.电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
98.如图4所示，电子设备400包括计算单元401，其可以根据存储在只读存储器(rom)402中的计算机程序或者从存储单元408加载到随机访问存储器(ram)403中的计算机程序，来执行各种适当的动作和处理。在ram 403中，还可存储电子设备400操作所需的各种程序和数据。计算单元401、rom402以及ram 403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
99.电子设备400中的多个部件连接至i/o接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许电子设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
100.计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如语音合成方法。例如，在一些可选实施例中，语音合成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些可选实施例中，计算机程序的部分或者全部可以经由rom 402和/或通信单元409而被载入和/或安装到电子设备400上。当计算机程序加载到ram 403并由计算单元401执行时，可以执行上文描述的语音合成方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为语音合成方法。
101.本技术实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本技术实施例提供的语音合成方法。
102.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、e prom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
103.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
104.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点
的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
105.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
106.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
107.应理解，在本技术的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
108.以上，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。