用户设备、服务器及其方法与流程

本发明涉及人工智能领域。更具体地，本发明涉及用于预测模型的用户设备、服务器及其方法。
背景技术：
：当前，随着移动互联网的快速发展和移动智能终端的广泛普及，移动端已经成为了互联网的主流入口，用户每天都在各种智能终端上产生了大量的用户数据，由于这些用户数据往往内含着用户的喜好信息，因此被各种服务提供商广泛地应用于各种互联网服务中，例如用户画像、个性化推荐、个性化搜索以及广告推送等。这些服务不仅很好地提升了用户体验，而且给服务提供商带来很多的商业利益和价值，所以，对用户数据进行深度挖掘以提升服务的质量是服务提供商的一项核心业务。当前，随着用户安全意识的提高，个人用户越来越重视对个人隐私的保护，各国也出台了或者正在制定相关的法律法规来保护个人数据，遏制个人信息被滥用，这些法律对个人数据的收集和使用做出了严格的限制。因此，对用户数据的保护和合法利用是必须考虑的问题。在很多利用预测模型的系统中往往需要利用到各类用户数据，然而这些用户数据往往涉及到用户隐私，目前绝大多数预测系统需要在服务器端收集并存储这些用于预测的用户数据，这样的方式存在用户隐私泄露风险和法律合规风险。技术实现要素：技术问题需要用于预测模型的改进技术。解决方案提供了一种用户设备执行的方法，该方法包括：从收集的用户数据中提取原始特征，对原始特征进行处理，得到该用户设备的特征向量；基于该特征向量和预测模型计算关于预测模型的中间参数；将该中间参数发送给服务器；以及更新预测模型参数。提供了一种用户设备，包括存储器和处理器，所述存储器中存储有计算机程序；所述处理器，用于在运行所述计算机程序时，执行如下方法：从收集的用户数据中提取原始特征，对原始特征进行处理，得到该用户设备的特征向量；基于该特征向量和预测模型计算关于预测模型的中间参数；将该中间参数发送给服务器；以及更新预测模型参数。提供了一种服务器执行的方法，该方法包括：从用户设备接收基于特征向量和预测模型计算的关于预测模型的中间参数，该特征向量是用户设备通过从收集的用户数据中提取原始特征、对原始特征进行处理而得到的；以及对接收的中间参数进行聚合。提供了一种服务器设备，包括存储器和处理器，所述存储器中存储有计算机程序；所述处理器，用于在运行所述计算机程序时，执行如下方法：从用户设备接收基于特征向量和预测模型计算的关于预测模型的中间参数，该特征向量是用户设备通过从收集的用户数据中提取原始特征、对原始特征进行处理而得到的；以及对接收的中间参数进行聚合。有益效果本发明提供了用于预测模型的改进技术。对于本领域技术人员而言，从后面结合附图公开本发明的示范性实施例的详细描述中，本发明的其它方面、优点和显著特征将变得清楚。附图说明图1示出了目前的用户属性预测系统的总体框图。图2示出了根据本发明的实施例的用户属性预测系统的框图。图3示出了根据本发明的实施例的用户设备执行的方法的流程图。图4示出了根据本发明的实施例的服务器执行的方法的流程图。图5示出了传统的特征映射方法的框图。图6示出了根据本发明的实施例的特征映射方法的框图。图7是根据本发明的一个实施例的特征值标准化方法的示意图。图8是根据本发明的另一个实施例的特征值标准化方法的示意图。图9示出了基于同态加密的梯度保护方案的示意图。图10示出了基于秘密分享的梯度保护方案的示意图。图11示出了根据本发明的实施例的梯度保护方案的示意图。图12示出了根据本发明的实施例的用户设备的框图。图13示出了根据本发明的实施例的服务器的框图。具体实施方式下面将结合附图详细描述本发明的实施例。在下面说明书中使用的术语和词汇不限于字面含义，而是仅仅被用来使得能够对本发明进行清楚和一致的理解。相应地，本领域技术人员应当理解：提供下面对本发明的示范性实施例的描述仅仅是为了说明性目的，而不是用于限制本发明的目的，本发明由权利要求及其等同内容限定。应当理解：单数形式“一”、“一个”包括复数指代，除非上下文清楚地指出除外。以用户画像服务为例。用户画像，又称用户角色，也可看作是真实用户的虚拟代表，最初是在电商领域得到应用的。在大数据时代背景下，可以将用户的每个具体信息抽象成标签，利用这些标签将用户形象具体化，或根据用户的行为特点的差异区分为不同类型，基于这些标签或行为类型的不同为用户提供有针对性的服务，使服务更加聚焦和个性化。在个性化推荐领域，基于用户统计学信息(包括用户年龄，性别，职业，婚姻，文化程度，健康水平，收入等)的推荐几乎是最容易实现的推荐方法。例如，基于用户的年龄、性别的不同来区分用户，从而为不同类型的用户进行个性化推荐。但是用户统计学信息都是比较难以直接获取的，所以目前一般采用预测技术获得用户的年龄和性别等基本人口统计学信息。其中，上述用户统计学信息也可以称为用户人口统计学信息，或称为用户属性信息。在用户画像系统中，对用户属性的预测往往需要利用到各类用户数据，然而这些数据往往涉及到用户隐私，目前绝大多数用户属性预测信息系统通过需要在服务器端收集并存储这些用于预测的用户数据，这样的方式存在用户隐私泄露风险和法律合规风险。图1示出了目前的用户属性预测系统的总体框图。该预测系统的基本工作过程如下：每个终端101分别收集用户的各类行为数据，例如：app使用行为数据、网页浏览数据等，将收集到的信息存储在本地，并将数据上传至服务器102。服务器对从各个终端上传而来的用户数据进行处理(103)，生成训练数据104。在生成好的训练数据104上进行预测算法(105)的训练。利用训练好的预测算法基于用户数据对用户的属性进行预测，并将预测的结果(即用户画像)106进行存储。为了更好地保护个人隐私，避免用户数据泄露，本申请提供了能够保护用户数据的年龄与性别等用户属性信息的技术方案。在该技术方案中，在用户设备侧收集的用户数据只存储在各个用户设备上，不再需要上传到服务器侧进行分析和处理，这样可以有效地规避用户隐私泄露风险，通过协同多个用户设备进行预测模型的联合训练，各个用户设备在用户设备侧利用联合训练出来的模型进行用户属性的预测。更进一步希望能够基于这些方法把用户画像作为用户设备的一个基础的系统层面的中间层服务，使不同的上层应用在用户授权后通过调用该服务能够为用户提供各种个性化的应用级服务，从而更好地满足用户需求。图2示出了根据本发明的实施例的用户属性预测系统的框图。该框图包括中央“服务器”，其可以是单一服务器或者服务器群组，以及用户设备的集合，其中每个用户设备代表一个用户。不同于图1，在本方案中，用户设备1(201)依然需要收集用户的各类行为数据，然而这些数据只存储在用户设备侧，不再需要上传至服务器202，数据处理(203)、本地预测模型(204)的训练和推断都在用户设备上执行。然而，由于只依赖一个用户的数据并不能训练出一个可靠的模型，在本方案中，需要联合多个用户设备进行联合训练，但是同时要保证每个用户设备的数据都不被泄露，因此，需要服务器202来协同多个用户设备来进行训练，在服务器202端，会维护一个全局预测模型(205)，在模型训练的每一次迭代中，每个参与训练的用户设备需要从服务器同步当前最新的模型，每个用户设备利用自己的数据和现有的模型计算关于预测模型的中间参数，并将该中间参数返回给服务器202(206)，服务器202对所有用户设备返回的中间参数进行聚合。然后在用户设备侧基于获取的聚合结果对模型参数进行更新，或者在服务器侧对模型参数进行更新，用户设备从服务器同步/接收更新的模型参数。在模型预测阶段，用户设备使用更新的模型参数，并基于本用户设备所收集的用户数据进行用户属性(207)的预测，预测结果可以保存在用户设备侧，也可以上传给服务器(取决于实际需求)。图3示出了根据本发明的实施例的用户设备执行的方法的流程图。用户设备从收集的用户数据中提取原始特征，对原始特征进行处理，得到该用户设备的特征向量(s301)。用户设备基于该特征向量和预测模型计算关于预测模型的中间参数(s302)。用户设备将该中间参数发送给服务器(s303)。用户设备更新预测模型参数(s304)。图4示出了根据本发明的实施例的服务器执行的方法的流程图。服务器从用户设备接收基于特征向量和预测模型计算的关于预测模型的中间参数，该特征向量是用户设备通过从收集的用户数据中提取原始特征、对原始特征进行处理而得到的(s401)。服务器对接收的中间参数进行聚合(s402)。数据处理各个用户设备分别收集各自的原始用户数据，例如，这些用户数据可以包括用户的app使用信息(例如：app使用时间、app使用时长等)、用户的网页浏览信息、用户在各种账户中所填写的姓名、出生年月以及性别等信息(如果用户填写了的话)。其中，部分用户数据将作为训练数据的标签，例如，如果是对用户的性别进行预测，那么用户所填写的性别将作为训练标签；如果是对用户的年龄段进行预测，那么需要将用户所填写的出生年月转化成相应的年龄段作为训练标签。此外，对于不同的属性预测问题，可以挑选不一样的用户数据进行预测。在收集了原始用户数据之后，需要从数据中提取出原始特征，例如，对于用户的app使用信息，可以统计一段时期内用户使用各个app的次数以及使用总时长。提取出来的这些原始特征需要进行一些特征工程操作(如特征映射，特征值处理等)，以转化为预测算法所需的特征向量。在传统的用户属性预测系统中，由于所有数据都存储在服务器侧，实施特征工程比较简单，然而在本方案中，由于用户数据都存储在各个用户设备上，因此需要结合许多用户设备来完成特征映射、特征值处理等操作。本申请提出了一种进行特征映射方法以及一种进行特征值标准化处理的方案，能够保证在不泄露用户原始数据的情况下，完成对应的特征工程操作，下面将对其进行描述。特征映射图5示出了传统的特征映射方法的框图。在服务器端，首先需要对原始特征501进行过滤(502)，过滤掉一些不重要的特征，例如，过滤掉一些出现频次少于给定阈值的特征，过滤之后得到一个原始特征的集合，并将该集合中的原始特征进行索引映射(503)，得到特征-索引映射表(504)，根据这张映射表，可以将原始特征表示成特征向量的形式，特征向量的每一个维度表示对应的原始特征，特征向量的每一个值表示原始特征的特征值。图6示出了根据本发明的实施例的特征映射方法的框图。根据本发明的实施例，用户设备收集得到的原始特征(601)保存在各个用户设备中，为了保护用户隐私，用户设备不将原始特征(601)发送给服务器，例如，假设某一个特征表示用户是否浏览过某网页，如果直接将该特征发送给服务器，那么服务器将知道该用户是否打开过该网页。根据本发明的实施例，在用户设备侧对原始特征进行处理包括对原始特征进行映射运算，得到映射运算结果(602)。优选地，该映射运算是不可逆的一一映射运算，不可逆意味着通过映射运算结果不能反推出原始特征。用户设备保存原始特征与映射运算结果的一一映射表。根据本发明的实施例，将映射运算结果发送给服务器，服务器根据用户设备分别发送的映射运算结果进行索引映射(604)得到映射运算结果-索引映射表(605)，并将该映射表发送给用户设备，用户设备基于获取的映射表将原始特征表示成所述用户设备的特征向量。根据本发明的实施例，服务器还对用户设备发送的映射运算结果进行聚合、去重或过滤中的至少一个(603)。优选地，服务器对所有用户设备发送的映射运算结果进行聚合、去重以及过滤。根据本发明的实施例，所述映射运算是哈希(hash)编码，映射运算结果是特征哈希值。本领域技术人员应该理解，所述映射运算不限于哈希编码。最后，服务器需要将映射运算结果-索引映射表(605)返回给各个参与的用户设备，用户设备在得到该映射表(605)之后，结合本地保存的原始特征与映射运算结果的一一映射表可以将存储在本地的原始特征表示成特征向量的形式，以方便后续的特征值处理和模型训练。特征值标准化根据本发明的实施例，对原始特征进行处理包括对原始特征的特征值进行标准化。在用户属性预测算法中，往往需要针对给定数据提取不同维度的特征，例如，对于用户的app使用数据，可以提取用户在某一时期内使用各个app的总次数以及用户在某一时期内使用各个app的总时长。这些不同维度的特征通常具有不同的量纲(dimension)，如果不对这些具有不同量纲的特征进行处理而直接使用原始特征值，会对模型的预测准确度带来较大影响。为了解决特征之间不同量纲的问题，一种常见的做法是对特征值进行标准化，通常采用z-score标准化，其计算公式如下所示：其中，x是原始特征值，μ是样本中关于该特征的均值，σ是样本中关于该特征的标准方差，z为标准化后的特征值。在传统的用户属性预测系统中，由于所有样本的特征值都存储在服务器端，因此可以较为方便进行特征值的标准化处理。而在本方案中，由于特征值分别存储在各个用户设备上，为了进行特征值的标准化，同时保证用户的原始特征值不被泄露，本申请提出了特征值标准化方法的若干实施例。可以使用同态加密(homomorphicencryption)算法、秘密分享(secretsharing)、姚氏电路、或差分隐私等方法来加密保护用户私密隐私，并且本领域技术人员可以理解，本申请不限于上述加密方法。优选地，仅对映射表(405)涉及的原始特征进行特征值标准化。图7是根据本发明的一个实施例的特征值标准化方法的示意图。图7中使用了同态加密算法。用户设备对原始特征的特征值及其平方值进行同态加密，并发送给服务器；从服务器获取所述特征值及其平方值分别对应的聚合结果；对所述特征值及其平方值分别对应的聚合结果分别进行解密，得到特征值及其平方值分别对应的均值，并计算所述特征值对应的标准差；根据特征值的均值以及标准差，得到标准化后的特征值。例如，用户设备对原始特征的特征值xi(701)及其平方值xi2进行同态加密，其中i是用户设备的编号，得到加密的特征(702)[[xi]]，[[xi2]]，[[*]]是同态加密，并发送给服务器。由于原始特征值经过加密，所以服务器并不知道原始特征值是多少。服务器按照下面的公式进行聚合操作其中n是用户设备数量，并将[[μ]]和[[t]]返回给用户设备(704)。用户设备对[[μ]]和[[t]]进行解密(用户设备知晓同态加密算法的私钥)，得到原始特征值及其平方值的均值μ和t，并计算标准差σ＝t-μ2；以及得到标准化后的特征值图8是根据本发明的另一个实施例的特征值标准化方法的示意图。为了提升特征标准化的速度，这里提出一种基于秘密分享算法的特征标准化实施例。用户设备将原始特征的特征值(801)编码/拆分成至少两个编码后的特征值(802)，分别发送给至少两个服务器。以两个服务器为例，假设为服务器a(803)和服务器b(804)。用户设备i针对原始特征值xi生成随机数ai，并计算bi＝xi-ai。随机将ai和bi中的一个发送给服务器a，另一个发送给服务器b。用户设备将原始特征值的平方值编码成至少两个编码后的平方值，分别发送给所述至少两个服务器。以两个服务器为例，假设为服务器a和服务器b。用户设备i针对生成随机数ci，并计算随机将ci和di中的一个发送给服务器a，另一个发送给服务器b。至少两个服务器在收到所有用户设备发送的数据之后，对数据进行聚合操作。以两个服务器为例，服务器a和服务器b对数据进行的聚合操作如以下公式所示：服务器a服务器bμ1＝∑a1μ2＝∑b1t1＝∑a2t2＝∑b2其中，a1和a2分别表示服务器a所收到的关于xi和的拆分后的数据，同理，b1和b2表示服务器b所收到的数据。至少两个服务器将各自聚合的结果返回给每个用户设备(805)，即用户设备从至少两个服务器接收聚合结果。以两个服务器为例，服务器a返回μ1和t1给每个用户设备，服务器b返回μ2和t2给每个用户设备。用户设备基于聚合结果计算原始特征的特征值的均值和标准差。以两个服务器为例，每个用户设备i收到μ1和t1以及μ2和t2后，计算均值和中间值(n是用户设备的数量)，通过以下公式得到标准差σ＝t-μ2。用户设备根据特征值的均值和标准差，得到标准化后的特征值。得到均值μ和标准差σ后，对特征值进行z-score标准化，得到标准化后的特征值模型训练根据本申请的实施例，用户数据的存储和模型的计算都放在用户设备侧进行，通常来说，只依靠一个用户的数据并不能训练出一个可靠的模型，因此，需要联合多个用户设备进行联合训练。在联合训练过程中，用户设备依据各自的数据和最新的预测模型计算出关于预测模型的中间参数，该中间参数例如是用户设备本地训练的预测模型参数，或者是预测模型参数的梯度。用户设备将该中间参数发送给服务器，服务器对所有参与的用户设备发送过来的中间参数进行聚合，并进行模型的更新，这个过程不断循环下去，直至模型收敛或者达到训练终止条件。下面以预测模型参数的梯度作为关于预测模型的中间参数的示例，进行描述。本领域技术人员应该理解，以下描述同样适用于中间参数是预测模型参数。在本申请中，使用f(θ)来表示预测模型的损失函数，其中θ表示模型的参数，要求f(θ)对于θ来说是可导的，f(θ)可以给予不同类型的机器学习算法，例如支持向量机、逻辑斯特回归、因式分解机、(深度)神经网络等。在本申请中，使用xi表示第i个用户设备的特征向量，yi表示第i个用户设备的标签，下面以经典的支持向量机算法为例，对于每个用户设备来说，其损失函数可以表示为其中，w和b是模型的参数，w是一个特征权重向量，每一个值表示对应特征的权重，b是全局偏置；c和n是模型的超参数，c是一个权重因子用来调节公式中二项的权重，n表示参与训练的用户设备个数。整个模型的训练过程如下：服务器侧：1)初始化模型的参数w和b2)循环迭代以下过程直至模型收敛或者达到模型终止条件：a)从n个用户设备中随机选择k个参与本轮迭代的用户设备，记为s；b)接收来自这k个用户设备的更新梯度，对于第i个用户设备，其梯度为：c)聚合收到的梯度，并进行模型参数的更新，其中∈为学习速率：聚合预测模型参数的方法与聚合梯度类似，在用户设备i计算梯度后，对本地预测模型参数进行更新在一次全局训练迭代中本地训练可循环进行多步。用户设备将本地预测模型参数加密后上传并由服务器加权聚合，其中λi为用于用户设备i模型参数的权重，可以由不同方法得出，例如但不局限于用户设备i参与训练的样本占总样本的比例。用户设备侧：1)从服务器同步模型最新的参数模型wt和bt；2)利用存储在用户设备上的数据计算参数更新的梯度：3)将和定送给服务器此外，有部分研究工作提出通过对客户端传给服务器的明文梯度进行分析，可以逆推出部分原始用户数据，这对用户的数据带来了泄露风险。为了保护用户数据安全，防止服务器侧通过明文的梯度逆推用户数据和模型信息，同时降低保护用户隐私带来额外通信和同态加密计算的开销，本申请创新地提出了一种对用户设备计算的梯度进行加密的方法。已知的用于保护明文梯度安全的技术主要包括同态加密和秘密分享等，其技术方案描述如下。图9示出了基于同态加密的梯度保护方案的示意图。使用同态加密算法对用户设备901计算的梯度进行加密，并将加密后的梯度值传递给服务器902进行聚合。同态加密后的梯度值保护了用户的隐私数据，同时保证同态运算后的结果与原始梯度保持一致。由于服务器和客户端之间需要进行多次迭代运算，加密计算慢，采用这种方法导致计算开销和时延比较大，需要改进。图10示出了基于秘密分享的梯度保护方案的示意图。在该方案中，每个用户设备701生成随机数，并在用户设备1001间通过无线连接以及广域网进行多轮次通信交换每个用户设备生成的随机数，用之来计算干扰原始梯度。使用一个单独的服务器1002来协调聚合干扰后的梯度信息。虽然每个干扰的梯度值与原始值不同，但干扰值与原始值总和保持不变。由于用户设备对用户设备的通信需进行多轮，而且需要经过复杂的无线接入与核心网络，因此通信开销大。本申请提出的梯度保护方案不需要对明文梯度进行同态加密运算，大大减少了同态加密所需要的计算开销，而且用户设备之间不需要互相通讯传递干扰值，削减了大量的通信开销。图11示出了根据本发明的实施例的梯度保护方案的示意图。在本实施例中，使用基于秘密分享的算法。用户设备只需要将其梯度编码成至少两个编码后的梯度数据，并分别发送给至少两个服务器，所述至少两个服务器分别对接收的梯度数据进行聚合，用户设备更新预测模型参数。根据本发明的一个实施例，用户设备从所述至少两个服务器获取聚合结果，基于获取的聚合结果，更新预测模型参数。根据本发明的另一个实施例，由另一个服务器基于所述至少两个服务器的聚合结果来更新预测模型参数，并且将更新的预测模型参数发送给用户设备，从而用户设备更新预测模型参数。本领域技术人员可以理解，如果只使用加法同态运算，2个服务器即可实现所需功能，如果需要更多同态运算，可以使用4个或以上服务器用于实现。以两个服务器为例，假设用户设备1101的梯度分享数值x，x被编码为(x1，x2)，分别发给服务器s1(1102)，s2(1103)，其中s1存放(x1)，s2存放(x2)。编码并分享x的过程是由用户设备首先生成随机数x1，计算x2＝x-x1，并将x1，x2分别分享到s1，s2。服务器聚合各自收到的数据。因为s1，s2之间不能串通分享每个用户的具体数据，只通过干扰后的x1或者x2，任何服务器都无法恢复用户的原始数据，这样确保了用户数据的安全；而服务器仍可以通过同态运算计算聚合梯度，并更新模型参数并将更新后的模型参数传输给用户设备。以上模型训练更新过程随数据的积累和新用户的加入，周期性循环进行，使用户模型不断完善。例如，具体梯度安全传输的步骤示例：1)t时刻服务器和用户设备的模型参数为wt和bt，n个用户设备中随机选择k个参与本轮迭代的用户设备，记为s，用户设备i通过本地的数据由此时的参数计算梯度为了通过秘密分享的方式编码并传输编码后的梯度，用户设备i生成随机数和并计算梯度被编码为随机将和中的一个发送给服务器a，另一个发送给服务器b；同理，随机将和中的一个发送给服务器a，另一个发送给服务器b；2)服务器a和服务器b在收到所有用户设备发送过来的数据之后，对数据进行聚合操作，如以下公式所示：其中，a1和a2分别表示服务器a所收到的关于和拆分编码后的数据，同理，b1和b2表示服务器b所收到的数据；3)服务器a和服务器b将各自聚合的结果返回给每个用户设备，即服务器a返回和给每个用户设备；服务器b返回和给每个用户设备；4)每个用户设备i收到和及和后，计算平均梯度其中k为参与此轮训练的用户设备数量，替换地，在上面的步骤2)-4)中，服务器a和服务器b对数据进行聚合操作和聚合后服务器a和b将各自聚合结果返回给另一个服务器或者用户设备，计算平均梯度在计算出聚合的平均梯度后，并进行模型参数的更新，其中∈为学习速率：在此轮迭代后，继续从第一步开始新一轮训练。图12示出了根据本发明的实施例的用户设备的框图。用户设备1201包括处理器1202和存储器1203，所述存储器中存储在计算机程序，所述处理器用于在运行所述计算机程序时，执行前文所述的用户设备执行的方法。图13示出了根据本发明的实施例的服务器的框图。服务器1301包括存储器1302和处理器1303，所述存储器中存储有计算机程序，所述处理器用于在运行所述计算机程序时，执行前文所述的服务器执行的方法。在传统的用户属性预测系统中，用户需要将用户数据上传给服务器端，在服务器端进行统一的模型训练和预测。而在本发明的用户属性预测系统中，在整个方案流程中(包括特征映射和特征值标准化、模型训练、模型预测等过程)，用户的原始数据始终存储于用户设备，不需要将原始数据或加密后的原始数据与服务器或其他用户设备通信分享，用户仅分享加密后的模型梯度参数，这样极大地增强了对用户数据的保护，防范了用户隐私泄露风险。此外，本发明提出的梯度保护方法相比于传统方法，在保护用户原始隐私数据的同时，大幅减少了模型训练过程中的计算和通信开销，极大提高了模型训练的效率和系统的可用性。本文描述的示例实施例并不意味着是限制性的。如本文大体上描述的以及在附图中示出的本公开的各方面可以以各种不同的配置来布置，替换，组合，分离和设计，所有这些在本文中都可以考虑。此外，除非上下文另有说明，否则在每个附图中示出的特征可以彼此结合使用。因此，应将附图一般视为一个或多个总体实施例的组成部分，但应理解，对于每个实施例而言，并非所有图示的特征都是必需的。尽管参照本发明的特定实施方式对本发明进行了上述图示和描述，但本领域技术人员应当理解，在不脱离由权利要求书所限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的各种变化和修改。当前第1页12