细粒度情感分析方法、系统、电子设备和存储介质与流程

本发明属于文本处理领域，尤其涉及一种细粒度情感分析方法、系统、电子设备和存储介质。

背景技术：

随着ai(人工智能)技术的发展，对用户的细粒度情感偏向分析也快速进步，尤其是针对电商网站、社交网络等互联网应用，需要从用户的评价、评论和用户的主观言论中分析出用户的情感态度，从而挖掘更深的价值。

细粒度情感分析属于多标签文本分类任务，目前该任务场景下，主流技术多采用将多标签分类拆分为多个二分类模型的方案来解决。每一个粒度分别训练一个模型，上线使用时一个样本须遍历所有的分类模型，从而训练模型的工程量较大，且预测耗时较长。

另外，细粒度情感分析中涉及的粒度较多，标注数据量也较大，若采用传统的标注数据方式将所有的样本所涉及的粒度和情感偏向逐一标注，标注代价太大。

技术实现要素：

本发明要解决的技术问题是为了克服现有技术中采用多个二分类模型并为每一个粒度训练一个模型的方式进行细粒度情感分析而导致训练模型的工程量大且预测耗时长的缺陷，提供一种细粒度情感分析方法、系统、电子设备和存储介质。

本发明是通过下述技术方案来解决上述技术问题：

一种细粒度情感分析方法，包括：

利用加入attention(注意力)机制的bi-lstm(双向长短期记忆网络)训练多标签的粒度分类模型，所述粒度分类模型用于对文本所涉及的粒度进行分类，每个标签分别表示一个粒度，每个粒度分别表示文本场景中的一个对象的一种属性，所述attention机制内包含可训练的labelembedding(标签嵌入)参数，所述labelembedding参数表示当前粒度，用以控制attention筛选当前粒度相关的信息；

利用门控神经网络训练多分类的情感分类模型，所述情感分类模型用于对所述文本所涉及的粒度的情感偏向进行分类，每个分类分别表示一种情感偏向，所述情感分类模型包括aspectembedding(方面嵌入)参数，所述aspectembedding参数表示所述文本所涉及的粒度，由所述粒度分类模型的分类结果确定；

在对待分析文本进行细粒度情感分析时，先利用所述粒度分类模型分出所述待分析文本所涉及的粒度，然后利用所述情感分类模型分出所述待分析文本所涉及的粒度的情感偏向，再然后将所述粒度分类模型和所述情感分类模型的分类结果汇总得到对所述待分析文本的细粒度情感分析结果。

较佳地，在训练所述粒度分类模型时，基于主动学习算法挑选样本标注、训练初始模型、增加样本标注、扩充训练集、训练新模型，以及多次重复增加样本标注、扩充训练集和训练新模型的步骤直至所述粒度分类模型收敛；

和/或，在训练所述情感分类模型时，基于主动学习算法挑选样本标注、训练初始模型、增加样本标注、扩充训练集、训练新模型，以及多次重复增加样本标注、扩充训练集和训练新模型的步骤直至所述情感分类模型收敛。

较佳地，利用加入attention机制的bi-lstm训练多标签的粒度分类模型的步骤具体包括：

收集文本样本；

对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句中的至少一种以及分词；

将分词后所得的词语利用词向量库映射为xi，利用bi-lstm提取语义特征，得i时刻的隐向量hi；

分别以各粒度的labelembedding参数为输入，利用attention机制计算各粒度的context向量，其中，ct代表第t个粒度的context向量，st代表第t个粒度的labelembedding参数；

对各ct分别做全连接，输出维度均为1，并利用sigmoid(一种函数)作为激活函数，输出yt，其中，yt代表第t个粒度被涉及的概率值：

利用binarycrossentropy(一种函数)损失函数计算损失，并利用反向传播优化模型。

较佳地，利用门控神经网络训练多分类的情感分类模型的步骤具体包括：

收集文本样本；

对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句中的至少一种以及分词；

将分词后所得的词语利用词向量库映射为向量；

利用门控神经网络训练情感分类模型，模型内不同粒度对应的aspectembedding参数的值不同。

较佳地，若利用所述粒度分类模型分析出所述待分析文本没有涉及的粒度，则结束分析；

若先利用所述粒度分类模型分析出所述待分析文本所涉及的粒度为多个，则利用所述情感分类模型分出所述待分析文本所涉及的每个粒度相对应的情感偏向。

一种细粒度情感分析系统，包括：

粒度分类模块，用于利用加入attention机制的bi-lstm训练多标签的粒度分类模型，所述粒度分类模型用于对文本所涉及的粒度进行分类，每个粒度分别表示文本场景中的一个对象的一种属性，所述attention机制内包含可训练的labelembedding参数，所述labelembedding参数表示当前粒度，用以控制attention筛选当前粒度相关的信息；

情感分类模块，用于利用门控神经网络训练多分类的情感分类模型，所述情感分类模型用于对所述文本所涉及的粒度的情感偏向进行分类，所述情感分类模型包括aspectembedding参数，所述aspectembedding参数表示所述文本所涉及的粒度，由所述粒度分类模型的分类结果确定；

文本分析模块，用于在对待分析文本进行细粒度情感分析时，先利用所述粒度分类模型分出所述待分析文本所涉及的粒度，然后利用所述情感分类模型分出所述待分析文本所涉及的粒度的情感偏向，再然后将所述粒度分类模型和所述情感分类模型的分类结果汇总得到对所述待分析文本的细粒度情感分析结果。

较佳地，所述粒度分类模块在训练所述粒度分类模型时，基于主动学习算法挑选样本标注、训练初始模型、增加样本标注、扩充训练集、训练新模型，以及多次重复增加样本标注、扩充训练集和训练新模型的过程直至所述粒度分类模型收敛；

和/或，所述情感分类模块在训练所述情感分类模型时，基于主动学习算法挑选样本标注、训练初始模型、增加样本标注、扩充训练集、训练新模型，以及多次重复增加样本标注、扩充训练集和训练新模型的过程直至所述情感分类模型收敛。

较佳地，所述粒度分类模块具体用于：

收集文本样本；

对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句中的至少一种以及分词；

将分词后所得的词语利用词向量库映射为xi，利用bi-lstm提取语义特征，得i时刻的隐向量hi；

分别以各粒度的labelembedding参数为输入，利用attention机制计算各粒度的context向量，其中，ct代表第t个粒度的context向量，st代表第t个粒度的labelembedding参数；

对各ct分别做全连接，输出维度均为1，并利用sigmoid作为激活函数，输出yt，其中，yt代表第t个粒度被涉及的概率值：

利用binarycrossentropy损失函数计算损失，并利用反向传播优化模型。

较佳地，所述情感分类模块具体用于：

收集文本样本；

对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句中的至少一种以及分词；

将分词后所得的词语利用词向量库映射为向量；

利用门控神经网络训练情感分类模型，模型内不同粒度对应的aspectembedding参数的值不同。

较佳地，所述文本分析模块若利用所述粒度分类模型分析出所述待分析文本没有涉及的粒度，则结束分析；若利用所述粒度分类模型分析出所述待分析文本所涉及的粒度为多个，则利用所述情感分类模型分出所述待分析文本所涉及的每个粒度相对应的情感偏向。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的细粒度情感分析方法。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上所述的细粒度情感分析方法的步骤。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：本发明采用层级分类的方案，先训练多标签的粒度分类模型，再训练多分类的情感分类模型，总共只训练两个模型，大大降低了训练模型的工程量。在对文本进行细粒度情感分析时，需要先利用粒度分类模型进行粒度分类，再利用情感分类模型进行情感偏向分类，最后综合两个模型的分类结果得到文本在某个或某些粒度上的情感偏向，整个分析过程由于只用到了两个模型，所以耗时更短，输出更快。

对粒度分类模型，本发明还对attention机制做了改良，将attention机制中的query值替换成一个可训练的、与当前粒度相关的向量，即labelembedding，实现了每一个粒度分类时都利用不同attention参数重新筛选特征，起到只关注与当前粒度相关的特征的作用。

对情感偏向的分类模型，本发明还采用门控卷积神经网络模型，使多个粒度的情感分类模型共享一套参数，针对各粒度进行情感偏向分类时，只需将模型中的aspectembedding参数切换成当前粒度所对应的参数，实现多个粒度共用一个模型的目的，从而节约了训练时间。

本发明还采用主动学习的思想选取部分最有价值的数据进行标注，大大减少了标注的工作量，实现基于少量数据就能获得同样高效的模型的效果。

附图说明

图1为本发明实施例1的一种细粒度情感分析方法训练模型的流程图；

图2为本发明实施例1训练模型的过程中主动学习的示意图；

图3为本发明实施例1的粒度分类模型的框架示意图；

图4为本发明实施例1的细粒度情感分析方法利用训练好的模型进行细粒度情感分析的流程图；

图5为本发明实施例2的一种细粒度情感分析系统的示意框图；

图6为本发明实施例3的一种电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种细粒度情感分析方法，所述方法用于分析文本在各细粒度下的情感偏向，其大致包括两个过程，第一个是训练模型的过程，第二个是利用训练好的模型进行细粒度情感分析的过程。

下面对所述方法训练模型的过程做具体说明，如图1所示，其包括以下步骤：

步骤11：利用加入attention机制的bi-lstm训练多标签的粒度分类模型，所述粒度分类模型用于对文本所涉及的粒度进行分类，每个标签分别表示一个粒度，每个粒度分别表示文本场景中的一个对象的一种属性，所述attention机制内包含可训练的labelembedding参数，所述labelembedding参数表示当前粒度，用以控制attention筛选当前粒度相关的信息；

步骤12：利用门控神经网络训练多分类的情感分类模型，所述情感分类模型用于对所述文本所涉及的粒度的情感偏向进行分类，每个分类分别表示一种情感偏向，所述情感分类模型包括aspectembedding参数，所述aspectembedding参数表示所述文本所涉及的粒度，由所述粒度分类模型的分类结果确定。

上述步骤在两个模型的训练过程中均可用到主动学习算法，如图2所示：

第一步，对全量样本利用相关词筛选的方法，筛选少部分样本(如包含与某个粒度相关的或某类情感偏向相关的词的样本)交付人工标注，利用该部分标注集，训练得初始模型(初始粒度分类模型或初始情感分类模型)；

第二步，使用已有的最新模型，对全量样本进行预测，挑选部分中间概率区间的样本作为hardsample(难样本)，hardsample多为原训练集内未出现过的，或者为出现过但较易混淆的样本，将该部分样本交付人工标注；

第三步，将标注好的hardsample补充进原训练集，训练新模型(新粒度分类模型或新情感分类模型)；

第四步，重复第二步和第三步，直至模型(粒度分类模型或情感分类模型)收敛。

本实施例中，步骤11中用加入attention机制的bi-lstm训练多标签的粒度分类模型的步骤具体包括以下步骤：

第一步，收集文本样本；

第二步，对所述文本样本进行预处理，所述预处理可以包括繁简转换(根据实际场景可以选择繁体转简体或简体转繁体)、大小写转换(根据实际场景可以选择大写转小写或小写转大写)、去除特殊标点符号、分句、分词；

第三步，如图3所示，将分词后所得的词语利用词向量库(所述词向量库可在训练模型前基于无监督学习通过文本场景下的大量语料训练而成，其包含了每个词语对应的词向量)映射为xi，利用bi-lstm提取语义特征，得i时刻的隐向量hi：

第五步，分别以各粒度的labelembedding参数为输入，利用attention机制计算各粒度的context向量，ct代表第t个粒度的context向量，st代表第t个粒度的labelembedding参数，是一个可训练的向量；当然为了实现attention机制，机制内的其它参数(如va参数向量，wa参数矩阵、ua参数矩阵)均可训练；

第六步，对各ct向量分别做全连接，输出维度均为1，并利用sigmoid作为激活函数，输出yt，即为第t个粒度被涉及的概率值，其中vt为第t个粒度的参数向量，可训练：

yt＝sigmoid(vtct)

第七步，利用binarycrossentropy损失函数计算损失，并利用反向传播优化模型。

本实施例中，步骤12中训练情感分类模型具体包括以下步骤：

第一步，收集文本样本；

第二步，对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句、分词；

第三步，将分词后所得的词语利用词向量库(所述词向量库可在训练模型前基于无监督学习通过文本场景下的大量语料训练而成，其包含了每个词语对应的词向量)映射为向量，使词语带有语义信息；

第四步，利用门控神经网络训练情感分类模型，模型内不同粒度对应的aspectembedding参数的值不同，通过aspectembedding参数对各粒度进行区分，至于模型内的其余参数(包括cnn内的参数和门控机制内的参数)，各粒度共享一套参数。

利用门控神经网络不同粒度的情感分类模型仅aspectembedding对应的参数不同，极大的减少参数量；且这种模型可以对多个粒度同时建模，同时预测，因而节约了建模和预测的耗时。

下面所述方法利用训练好的模型进行细粒度情感分析的过程做具体说明，如图4所述，其包括以下步骤：

步骤21：对待分析文本进行预处理，所述预处理可以包括繁简转换(根据实际场景可以选择繁体转简体或简体转繁体)、大小写转换(根据实际场景可以选择大写转小写或小写转大写)、去除特殊标点符号、分词、分句；

步骤22：利用所述粒度分类模型分出所述待分析文本所涉及的粒度；

步骤23：利用所述情感分类模型分出所述待分析文本所涉及的粒度的情感偏向；

步骤24：将所述粒度分类模型和所述情感分类模型的分类结果汇总得到对所述待分析文本的细粒度情感分析结果。

在某种特殊情况下，若利用所述粒度分类模型分析出所述待分析文本没有涉及的粒度，则结束分析；若先利用所述粒度分类模型分析出所述待分析文本所涉及的粒度为多个，则利用所述情感分类模型分出所述待分析文本所涉及的每个粒度相对应的情感偏向。

所述方法在进行细粒度情感分析时只采用了粒度分类模型和情感分类模型这两个模型，大大降低了训练模型的工程量，减少了预测耗时；对粒度分类模型，在attention机制内通过labelembedding参数实现了每一个粒度分类时都利用不同attention参数重新筛选特征，起到只关注与当前粒度相关的特征的作用，提高分类准确性；对情感偏向的分类模型，采用门控卷积神经网络模型，使多个粒度的情感分类模型共享一套参数，针对各粒度进行情感偏向分类时，只需将模型中的aspectembedding参数切换成当前粒度所对应的参数，实现多个粒度共用一个模型的目的，从而节约了训练时间。

另外，所述方法还在训练模型的过程中采用主动学习的思想选取部分最有价值的数据进行标注，大大减少了标注的工作量，实现基于少量数据就能获得同样高效的模型的效果。

本实施例中的文本、粒度、情感偏向可以根据实际的应用场景选择，例如在酒店用户点评场景中，用户的点评内容可作为被分析的文本，酒店的餐食_味道，餐食_价格，餐食_种类，客房_清洁度，客房_异味，客房_装修，服务_入离店，服务_客房服务，服务_客遗工作，卫生间_淋浴，卫生间_空间等常见的涉及到酒店的方方面面属性均可作为一个粒度，情感偏向通常具备负面、中性和正面三种。假设用户的点评内容为“餐厅的厨师手艺不错”，那么，所述粒度分类模型的分类结果应为“餐食_味道”，所述情感分类模型的分类结果应为“正面”，最终的总分析结果为“餐食_味道，正面”。又假设用户的点评内容为“早餐还蛮实惠的十几块钱吃到饱”，那么，所述粒度分类模型的分类结果应为“餐食_价格”，所述情感分类模型的分类结果应为“正面”，最终的总分析结果为“餐食_价格，正面”。所述方法可以用于对点评内容进行挖掘，获取用户点评内容内的点评对象以及情感偏向，以此为依据可对酒店提出有针对性的建议，以提升客户满意度。

实施例2

本实施例提供一种细粒度情感分析系统，所述系统用于分析文本在各细粒度下的情感偏向。如图5所示，所述系统包括：粒度分类模块31、情感分类模块32和文本分析模块33。

所述粒度分类模块31用于利用加入attention机制的bi-lstm训练多标签的粒度分类模型，所述粒度分类模型用于对文本所涉及的粒度进行分类，每个标签分别表示一个粒度，每个粒度分别表示文本场景中的一个对象的一种属性，所述attention机制内包含可训练的labelembedding参数，所述labelembedding参数表示当前粒度，用以控制attention筛选当前粒度相关的信息。

所述情感分类模块32用于利用门控神经网络训练多分类的情感分类模型，所述情感分类模型用于对所述文本所涉及的粒度的情感偏向进行分类，每个分类分别表示一种情感偏向，所述情感分类模型包括aspectembedding参数，所述aspectembedding参数表示所述文本所涉及的粒度，由所述粒度分类模型的分类结果确定。

所述文本分析模块33用于在对待分析文本进行细粒度情感分析时，先利用所述粒度分类模型分出所述待分析文本所涉及的粒度，然后利用所述情感分类模型分出所述待分析文本所涉及的粒度的情感偏向，再然后将所述粒度分类模型和所述情感分类模型的分类结果汇总得到对所述待分析文本的细粒度情感分析结果。

本实施例中，所述粒度分类模块31在训练所述粒度分类模型时，优选基于主动学习算法挑选样本标注、训练初始模型、增加样本标注、扩充训练集、训练新模型，以及多次重复增加样本标注、扩充训练集和训练新模型的过程直至所述粒度分类模型收敛。具体可参见实施例1的图2及相关说明。

所述情感分类模块32在训练所述情感分类模型时，优选基于主动学习算法挑选样本标注、训练初始模型、增加样本标注、扩充训练集、训练新模型，以及多次重复增加样本标注、扩充训练集和训练新模型的过程直至所述情感分类模型收敛。具体可参见实施例1的图2及相关说明。

本实施例中，所述粒度分类模块31可具体用于：

收集文本样本；

对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句、分词；

将分词后所得的词语利用词向量库(所述词向量库可在训练模型前基于无监督学习通过文本场景下的大量语料训练而成，其包含了每个词语对应的词向量)映射为xi，利用bi-lstm提取语义特征，得i时刻的隐向量hi；

分别以各粒度的labelembedding参数为输入，用attention机制计算各粒度的context向量，其中，ct代表第t个粒度的context向量，st代表第t个粒度的labelembedding参数，是一个可训练的向量；当然为了实现attention机制，机制内的其它参数(如va参数向量，wa参数矩阵、ua参数矩阵)均可训练；

对各ct向量分别做全连接，输出维度均为1，并利用sigmoid作为激活函数，输出yt，即为第t个粒度被涉及的概率值，其中vt为第t个粒度的参数向量，可训练；

利用binarycrossentropy损失函数计算损失，并利用反向传播优化模型。

所述情感分类模块32具体用于：

收集文本样本；

对所述文本样本进行预处理，所述预处理包括繁简转换、大小写转换、去除特殊标点符号、分句以及分词；

将分词后所得的词语利用词向量库(所述词向量库可在训练模型前基于无监督学习通过文本场景下的大量语料训练而成，其包含了每个词语对应的词向量)映射为向量；

利用门控神经网络训练情感分类模型，模型内不同粒度对应的aspectembedding参数的值不同，通过aspectembedding参数对各粒度进行区分，至于模型内的其余参数(包括cnn内的参数和门控机制内的参数)，各粒度共享一套参数。

本实施例中，所述文本分析模块33若利用所述粒度分类模型分析出所述待分析文本没有涉及的粒度，则结束分析；若利用所述粒度分类模型分析出所述待分析文本所涉及的粒度为多个，则利用所述情感分类模型分出所述待分析文本所涉及的每个粒度相对应的情感偏向。

所述系统在进行细粒度情感分析时只采用了粒度分类模型和情感分类模型这两个模型，大大降低了训练模型的工程量，减少了预测耗时；对粒度分类模型，在attention机制内通过labelembedding参数实现了每一个粒度分类时都利用不同attention参数重新筛选特征，起到只关注与当前粒度相关的特征的作用，提高分类准确性；对情感偏向的分类模型，采用门控卷积神经网络模型，使多个粒度的情感分类模型共享一套参数，针对各粒度进行情感偏向分类时，只需将模型中的aspectembedding参数切换成当前粒度所对应的参数，实现多个粒度共用一个模型的目的，从而节约了训练时间。

另外，所述系统还在训练模型的过程中采用主动学习的思想选取部分最有价值的数据进行标注，大大减少了标注的工作量，实现基于少量数据就能获得同样高效的模型的效果。

实施例3

图6为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的一种细粒度情感分析方法。图6显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备40可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。

总线43包括数据总线、地址总线和控制总线。

存储器42可以包括易失性存储器，例如随机存取存储器(ram)421和/或高速缓存存储器422，还可以进一步包括只读存储器(rom)423。

存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器41通过运行存储在存储器42中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的细粒度情感分析方法。

电子设备40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口45进行。并且，模型生成的设备40还可以通过网络适配器46与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图6所示，网络适配器46通过总线43与模型生成的设备40的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所提供的一种细粒度情感分析方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的一种细粒度情感分析方法中的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。