用于提高能量效率的错误感知运行时可配置存储器层级的系统和方法与流程

本发明涉及用于提高能量效率的错误感知运行时可配置存储器层级(memoryhierarchy)的系统和方法。

背景技术：

本发明总体上涉及神经网络加速器(neuralnetworkaccelerator，nnaccel)。更具体地，错误控制单元使用与加速器相关联的错误简档(errorprofile)来确定作为动态闭环控制系统的存储器设备的可调参数的设置，以优化受制于(如通过准确度测量的)质量的约束的(如通过总能量消耗测量的)性能。

技术实现要素：

分布式边缘计算包括将应用、数据和计算能力从集中点推向离用户更近的位置的任何类型的计算，从而提供更接近请求的低延迟。例如，在物联网(iot)设备中，数据经由各种传感器从物理世界传入，并且经由各种形式的输出和执行器采取行动来改变状态。通过在边缘执行分析和知识生成，减少了受控制的系统和中央数据中心之间的通信带宽。

在这种分布式边缘计算的范例中，边缘设备上的计算负载显著增加，尤其是在认知iot领域。在本发明的上下文中，术语“认知”旨在指使用神经网络来执行的应用，使得神经网络加速器可以有益于实现神经网络功能。大多数最先进的认知加速器硬件预计将处理复杂的、多层深度神经网络(deepneuralnetwork，dnn)，诸如alexnet、resnet和其他复杂的卷积神经网络(convolutionalneuralnetwork，cnn)。这些网络有很大的存储器需求，通常在几十兆字节(mb)的量级。

在大多数情况下，以单片方式设计具有如此大的片上静态随机存取存储器(sram)的芯片是不切实际的。这导致不同存储器类型和不同容量的一个或多个级的存储器层级，诸如数十至数百千字节(kb)量级的片上sram和数十mb量级的动态随机存取存储器(dram)。这些存储器有不同的驱动旋钮(actuationknob)，其在影响输出准确度的可靠性和影响能量的性能和功率之间进行折衷。

本发明公开了一种闭环、运行时可配置技术，以优化整个存储器层级的能量，同时保持目标准确度。

根据示例性实施例，本发明公开了一种优化神经网络加速器(nnaccel)中的操作的方法(以及装置和计算机产品)，该神经网络加速器包括作为nnaccel的计算级(computationalstage)的神经网络层的层级和可配置的存储器模块的层级，该存储器模块包括一个或多个片上静态随机存取存储器(sram)模块和一个或多个动态随机存取存储器(dram)模块，每个存储器模块由可由nnaccel的控制器调节的多个操作参数控制。该方法包括：检测当前正在被nnaccel使用的存储模块的误比特率(biterrorrate)；由控制器确定，所检测的误比特率是否足以满足nnaccel的处理的准确度的预定阈值；以及当准确度低于预定阈值时，由控制器动态地改变一个或多个存储器模块的一个或多个操作参数，以移动到更高准确度的状态。

根据另一示例性实施例，本文还公开了一种神经网络加速器(nnaccel)，包括：作为包括nnaccel的计算级的神经网络层的层级；以及可配置的存储器模块的层级，其中该存储器模块包括一个或多个片上静态随机存取存储器(sram)模块和一个或多个动态随机存取存储器(dram)模块，每个存储器模块由可由nnaccel的控制器调节的多个操作参数控制。控制器由控制方法来控制nnaccel，该控制方法包括：检测当前正在被nnaccel使用的存储器模块的误比特率；由控制器确定所检测的误比特率是否足以提供nnaccel的处理的准确度的预定阈值；以及当准确度低于预定阈值时，由控制器动态地改变一个或多个存储器模块的一个或多个操作参数，以移动到更高准确度的状态。

根据又一示例性实施例，本文还公开了一种控制神经网络加速器(nnaccel)中的操作的方法，该神经网络加速器包括作为nnaccel的计算级的神经网络层的层级和可配置的存储器模块的层级，其中该存储器模块包括一个或多个片上静态随机存取存储器(sram)模块和一个或多个动态随机存取存储器(dram)模块，每个存储器模块由可由nnaccel的控制器调节的多个操作参数控制。该方法包括：检测反映nnaccel中的处理的质量的参数的当前值；由控制器确定该质量当前是否足以满足预定阈值质量；以及当该质量低于预定阈值时，由控制器动态地改变一个或多个操作参数，以移动到更高质量的状态。

附图说明

图1示例性地示出了用于解释本发明的具有可调参数的dnn；

图2示例性地展示了推断准确度的概念；

图3示出了本发明的示例性实施例；

图4展示了静态(离线)状态空间探索和删减(pruning)以达到运行时配置；

图5示出了本发明的示例性实施例的流程图；

图6示出了对本发明更一般理解的流程图；

图7示出了示例性系统实现；

图8示出了根据本发明实施例的云计算环境；和

图9描绘了根据本发明实施例的抽象模型层。

具体实施方式

为了解释本发明的概念，图1示例性地示出了具有存储器模块的层级的dnn加速器系统100，包括一个或多个sram(ms)模块106和一个或多个dram(md)模块108，每个模块具有多个可调旋钮(电压、延迟、刷新率等)，其可以折衷增加的误比特率以节省能量。加速器控制器110实现交替计算和存储器访问的阶段的过程，该过程分别涉及：对于存储器访问阶段，从远程存储器108引入到本地存储器106的输入数据，以及对于计算阶段，(a)片上计算元件104，诸如乘法累加单元104，以及(b)由dnn层102的权重和偏差定义的模型。在本发明中，除了控制存储器访问和计算阶段之外，控制器110还实现迭代反馈环路机制，其中整体输出质量度量，诸如在dnn应用的情况下的推断准确度，被动态地用于调整存储器层级106、108的每个级的操作旋钮。

示例性实施例中所示的控制器110可以是微控制器或处理器。更一般地，对于图1所示的示例性实施例，加速器可以具有诸如控制器110的专用存储器控制器，或者在其他配置中，专用于控制路径操作的相关联的中央处理单元(cpu)将控制加速器的操作，包括涉及主计算机中的相关联的cpu的示例性配置，该主计算机除了管理加速器系统100之外还实现其他主计算机功能。

在本发明的上下文中，术语“可调旋钮”或“操作旋钮”是指调节存储器模块106、108的一个或多个设置的能力，例如可由实现本发明的反馈环路的加速器控制器110访问。还要注意，dnn层102可以被实现为“有线”硬件组件，或者可以使用其他机制来实现，诸如例如，现场可编程门阵列(fpga)。

神经网络加速器的极低电压(very-low-voltage，vlv)操作

尽管降低存储器模块中的电压v可以导致v²量级的显著能量节省，但是这种降低的电压可以导致在存储器读出和写入操作中引入比特错误(如图2所示的错误灵敏度图200中示例性示出的)，以及dnn层102的模型的改变。由于这些比特错误202而导致的模型配置或片上存储的输入的这种改变可能会降低总体推断准确度204。

术语“推断准确度”在本领域中是众所周知的，是指与基本事实(groundtruth)相匹配的加速器输出的平均百分比，其中“基本事实”是指已知确实正确的信息。通过在已知基本事实的验证数据集上测试加速器来建立推断准确度，并且为了解释本发明的目的，假定该推断准确度信息。

本发明基于这样的认识，即，即使在存在错误的情况下，也可以调整存储器模块106、108的设置，诸如操作电压206，以确保推断准确度204在目标阈值以上。这些错误202可以发生在sram106或dram108中，或者这两者中。在优选的示例性实施例中，在所有当前活动的存储器模块上累积地监测误比特率。如图2中示例性示出的，神经网络的不同层102可以具有不同程度的错误容限，从而允许推断准确度被确定。在现有技术的参考文献中已经研究了dnn加速器中相对于错误率的非常低电压的sram操作，如图2中的虚线所示。

本发明集中于包括静态和动态ram两者的一个或多个级的存储器层级的错误感知操作。本文描述了一种技术，其中来自存储器层级的一个级的比特错误信息可以例如用于动态地调节后续级的操作电压，以便同时最大化能量效率，而不包括整体准确度。

因此，如图3所示，本发明的示例性实施例包括dnn加速器300，其具有片上sram高速缓存和卸载(offload)(即，片外)dram以及用于dram(md)和sram(ms)操作参数的动态控制环路。然而，要注意的是，dram不必是片外的，因为本发明还提供了一种控制机制，其中如果所有存储器设备都在片上或片外，或者部分在片上和部分在片外，该控制机制都是适用的。

加速器控制器(图3中未示出)包括错误控制单元302，该错误控制单元302使用例如，诸如在当前存储器模块设置下对存储器单元中的纠错码(errorcorrectioncode，ecc)实例进行计数的机制来接收对dram和sram存储器模块中的错误的指示。尽管在本发明的示例性实施例中使用了ecc，但是应当注意，存在各种不同的ecc机制，诸如例如单纠错和双检错(singleerrorcorrectionanddoubleerrordetection，secded)，双纠错、三检错(doubleerrorcorrecting,tripleerrordetecting，dected)等。以及可以用作本发明的监测机制的其他检错/纠错机制，诸如奇偶校验和内建自测试(built-in-self-test，bist)。此外，尽管图3中的示例性实施例使用了ecc或其他检错机制，但是本发明应该更一般地理解为使用任何通过其可以在闭环反馈系统中检测准确度(或指示质量的其他参数)的机制，其中该闭环反馈系统涉及至少一个可以被调节的参数，并且其中该至少一个参数将潜在地影响准确度(或指示质量的其他参数)。

可调md参数{p}包括，例如：

-电压(v)

-频率(f)

-延迟(l)

-刷新率(r)

可调ms参数包括，例如：

-电压(v)

-频率(f)

本发明的控制环路利用上述参数的离线删减和动态运行时重新配置的组合。驱动粒度(actuationgranularity)可以基于每层(例如，当每层从dram引入sram时)，或者基于每测试输入(例如，对于来自测试数据集的每个输入，一旦计算出最终准确度)。

图4示出了离线删减过程400的示例，其中在涉及不同参数的不同设置值的组合的离线场景中，分析或实验性地分析参数设置的可能状态402。如图4中示例性示出的，那些能量或准确度值不在规定阈值内的配置状态404、406被消除或删减。示例性的阈值可以被定义如下(e状态(i)>eopt+δe或者acc状态(i)<accopt+δacc)，其中：

e状态(i)是加速器系统的总能量，

eopt是预定的最佳总能量，

acc状态(i)是系统在状态(i)下的整体准确度，以及

accopt是预定的最佳整体准确度。

最佳准确度和/或能量的确定取决于加速器将执行的特定应用。例如，最佳准确度可以由用户根据应用要求来定义。能量可以被定义为，例如，关于nnaccel的总能量消耗，预期电池寿命、平均环境能量，在无电池(例如，太阳能供电)系统的情况下，能量可以被定义为在电源电压下降到预定最小电压以下之前允许同时操作的存储器模块的数量、或者在能量消耗导致不期望的电压下降之前的最大时钟速度。

删减后剩余的状态408构成加速器系统的运行时配置列表，被存储在加速器中的非易失性存储器中，并且可由加速器控制器访问。应当注意，除了存储用于建立不同的可能状态组合的特定参数值之外，可能状态(i)中的每一个将与能量(i)和准确度(i)的定量值(quantitativevalue)相关联，使得由此导致的运行时配置状态408然后可以被排序并存储为具有增加的准确度的状态和增加的能量效率的状态的列表，这允许本发明的闭环反馈系统容易地从不同的准确度状态和不同的能量效率状态前进(advance)或后退(retreat)。还应注意的是，没有必要在删减阶段考虑所有可能的参数值组合，因为该方法可以在运行时配置状态中以相对少量的可能状态完成，假定加速器系统可以总是使用最高允许能量以最高准确度操作。

还应注意，可以使用本发明的方法，而无需初始地删减可能状态，例如，仅通过让反馈环路建立某状态，该状态适当地以首先满足准确度然后满足总功耗的状态结束。然而，使用没有初始删减的系统通常是不理想的，因为收敛到稳定操作状态需要时间。

图5是本发明的示例性方法的流程图500，其中包括删减的初始离线步骤502，如参考图4示例性解释的，确定哪些参数组合将导致加速器系统的总能量超过预定能量消耗阈值水平或者不能满足预定准确度水平。

删减过程和非生产(unproductive)状态的确定可以以各种方式实现，但是直接的方式是从诸如图2中示例性示出的错误灵敏度数据开始，并且确定加速器的最小可接受准确度以及实现至少该准确度所需的电源电压。一旦阈值准确度和电压电平被确定，删减过程然后将消除其中电压下降到电压阈值电平以下的状态，其中电压下降到电压阈值电平以下的状态是由于例如向加速器的当前存储器配置添加过多的存储器模块，这可能导致电源电压下降，该电源电压下降通过下降到电压阈值电平以下，或者试图以将无意中导致电源电压下降到准确度所需的电压阈值以下的速度来操作加速器，而无意中影响准确度。其他非生产状态可能包括，例如，消除系统中可能的一些状态，以便仅保留有限数量的可能状态，而不是基于将参数的值改变基本上无穷小量而具有实际上无限数量的可能状态。

在步骤504中，加速器的设置初始地被设置为确保零存储器错误的标称水平。通过提供数据作为测试输入，然后在步骤506、508、510中在动态闭环中调节设置值，直到在步骤512中准确度和能量目标都得到满足，从而达到适于继续而无需进一步调节的配置，直到检测到足够的比特错误率，从而导致由于例如要处理的输入数据的改变而导致参数值的进一步调节。输入测试输入可以初始地自动完成，其中n个输入中的前n个，例如总输入的5-10％，用于确定剩余输入的最佳操作状态。

如图5所示，在该示例性实施例中，在加速器操作中准确度比能量消耗更重要，因为首先建立期望的准确度，在这之后闭环将搜索更低的能量消耗。当闭环搜索可接受的能量率时，它将状态改变到较低的能量效率，直到它遇到导致准确度变得不可接受的能量状态，从而返回到允许准确度回落到可接受的准确度的更节能的状态。从图5中还应该清楚，可以稳定地实现期望的准确度和期望的能量消耗两者，并且加速器可以在该状态下操作，直到检测到过度的错误率，以通过移动到更节能的状态，使得闭环再次搜索满足可接受的准确度和可接受的能量消耗的状态。

上述示例性实施例被认为是优选实施例。然而，本发明不应被认为局限于这些示例性优选实施例。例如，优选实施例基于对准确度和能量效率与大多数配置参数成反比的理解。也就是说，具有更高准确度的状态通常也消耗更高的能量。在不可能同时满足准确度和能量目标的情况下，替代实施例可以考虑包括修改以在满足准确度目标的最低能量状态下稳定。

此外，尽管图5中示例性示出的实施例示出了反馈机制的内环(innerloop)中的准确度，但是很明显，两个参数准确度和能量可以反转(reversed)，从而在内环中评估能量。此外，应当注意，本发明旨在涵盖一种反馈机制，在该机制中评估单个参数，诸如准确度。此外，应该清楚的是，可以存在附加环路，在该附加环路中当控制加速器的设置时考虑其他参数。对图5的流程图的这种修改也被认为是本发明的一部分，如在图6所示的更一般的流程600中进一步描述的。

在又一修改中，本发明可以在能量约束不太严格的云服务中实现。在这样的环境中，本发明的方法可以被修改为使用基于成本的度量，其中可以在准确度和云计算成本之间进行折衷，而不是在准确度和能量使用之间进行折衷。

在又一可能的变化中，速度可以被认为是与准确度的折衷，或者准确度以外的质量可以被用作评估nnaccel的操作的最高优先级。

此外，在一些示例性实施例中，本发明可以被认为提供了以下的一个或多个方面：

-一种存储器元件的层级(包括静态和/或动态ram)，其中每个元件具有旋钮(电压、刷新率、延迟)，以便在每次存储器访问期间，动态地在能量、功率和/或性能与误比特率(ber)之间进行折衷；

-一种计算级的层级，诸如深度神经网络的层，其中每一层可以容忍特定的ber以实现能量节省，使得整体输出质量度量(例如，推断准确度)不会降低到指定阈值以下；

-一种动态控制器模块，其可以为每个计算级单独配置前述旋钮，以最大化受制于特定输出质量约束的能量；和/或

-一种机制，通过这种机制，存储器层级的一级的错误简档可以用来确定存储器层级的后续级的可调参数，反之亦然。

因此，如上所述，本发明不应被认为局限于本文描述的示例性实施例。图6示出了被认为在本发明中公开的更一般的概念600。具体而言，本发明被认为描述了具有至少一个可调参数的nnaccel可以被设计成包括闭环控制机制，以调节(多个)可调参数中的一个或多个来实现操作质量或效益(benefit)。如图6中示例性示出的，存在至少一个控制环路602，该控制环路602基于检测到nnaccel的至少一个操作状态。因此，在图5的示例性实施例中，操作状态是质量，更具体地说，是使用错误率检测的准确度。另一种可能的操作状态可能是，例如，由时钟速率检测的速度。

图6中的虚线流程元件604展示了通用控制流程可以包括基于第二质量或状态的(多个)内环604，并且应该清楚，附加的内环是可能的，并且图6中所示的单个控制环路602可以包括一个或多个在该图中未示出的并行控制环路。还应该清楚的是，其他质量和/或度量以及与nnaccel相关的其他参数可以被并入到图6所示的一般概念中，而不是所提供的特定示例，并且本发明被认为覆盖了这些其他可能的质量、度量和参数。

系统实现

本发明可以以多种方式实现，包括例如图7中示例性示出的实现700，其中主计算机702包括加速器704作为协处理器。在该实现中，主计算机可以充当加速器控制器，甚至可以提供加速器使用的任何片外存储器设备。

类似地，图7的主计算机可以是诸如互联网的网络上的服务器，其中该服务器经由网络提供来自用户的访问。因此，沿着这个思想，本发明可以被实现为云服务，或者提供加速器作为云服务，为用户提供应用以定义他们自己的神经网络，或者作为涉及物联网(iot)的基于云的应用的一部分，在iot中，加速器提供与应用相关的部分计算，诸如涉及一个或多个iot设备的分布式边缘计算环境。

因此，尽管本公开包括如下关于云计算的详细描述，但是本文所述教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。

云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征包括：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理pda)对云的使用。

资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。

迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。

可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。

服务模型如下：

软件即服务(saas)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(paas)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。

基础架构即服务(iaas)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。

部署模型如下：

私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构.

现在参考图8，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(pda)或移动电话54a，台式电脑54b、笔记本电脑54c和/或汽车计算机系统54n。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(iaas)、平台即服务(paas)和/或软件即服务(saas)。应当理解，图8显示的各类计算设备54a-n仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图9，其中显示了云计算环境50(图8)提供的一组功能抽象层。首先应当理解，图9所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图所示，提供下列层和对应功能：

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于risc(精简指令集计算机)层级的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。

虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。

在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(sla)计划和履行功能85：为根据sla预测的对云计算资源未来需求提供预先安排和供应。

工作负载层90提供云计算环境可能实现的功能的示例。可以从该层提供的工作负荷和功能的示例包括与本发明的实现有关的任务，其中神经网络加速器被并入例如云服务中或者作为用于分布式边缘计算的云服务，诸如用于认知iot设备。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

此外，要注意的是，申请人的意图是包括所有权利要求要素的等同物，即使后来在起诉期间进行了修改。