用于边缘设备上分布式神经网络的系统和方法与流程

1.本公开涉及用于检测和分类传感器信号或边缘设备中的事件以及用于在检测到感兴趣的事件时提供完全分类的分散式机器学习网络。


背景技术：

2.使用基于机器学习的分类器对输入数据进行分类的任务被理解为在各种应用内使用。基于给定的应用，用于分类的机器学习模型可能极大，具有几千万个变量。这样的大网络通常需要大量的计算处理能力和大的数据存储资源。因此，这样的机器学习模型可能具有大的能量占用（footprint）。通常，这样的大型机器学习模型在资源受限的环境中是不可部署的。


技术实现要素：

3.公开了一种用于接收感测到的数据信号的多阶段机器学习分类器的系统和方法。该系统应用第一阶段分类器将感测到的数据信号解析成一个或多个数据片段。感兴趣的事件（例如，二进制分类）可以使用第一阶段分类器采用的第一机器学习算法在一个或多个数据片段内被标识。被标识为包括感兴趣的事件的一个或多个数据片段可以从第一阶段分类器传输到第二阶段分类器。然后，可以使用第二阶段分类器采用的第二机器学习算法对一个或多个数据片段进行分类。
4.该系统和方法还可以可操作来使用第一阶段分类器采用的第一机器学习算法为一个或多个数据片段生成第一分类和第一分类标签。如果第一分类的置信度度量超过置信度阈值，则第一分类可以作为完全或完整分类输出。如果第一分类的置信度度量小于置信度阈值，则第一分类和第一分类标签可以被提供给第二阶段分类器采用的第二机器学习算法。然后，可以使用第二阶段分类器采用的第二机器学习算法来为一个或多个数据片段生成第二分类。然后，第二分类可以作为完全或完整分类输出。
5.该系统和方法还可以将一个或多个数据片段组合成公共数据集，其中第一数据片段的感兴趣的事件可以与第二数据片段的感兴趣的事件相同。公共数据集然后可以从第一阶段分类器传输到第二阶段分类器用于分类。还可以使用第二机器学习算法将感测到的数据信号解析成一个或多个数据片段。可以使用第二机器学习算法在一个或多个数据片段内标识感兴趣的事件。然后，可以使用第二机器学习算法对一个或多个数据片段进行分类。
6.该系统和方法还可以应用标识一个或多个数据片段内的感兴趣的事件的第一分类。第二分类可以标识在一个或多个数据片段内不存在感兴趣的事件。然后，使用第一分类标记的一个或多个数据片段可以被传输到第二阶段分类器。使用第一分类标记的一个或多个数据片段可以被标识为不包括感兴趣的事件。使用第二分类重新标记一个或多个数据片段。
7.该系统和方法还可以确定被标识为具有感兴趣的事件的一个或多个数据片段超过预定义置信度阈值。然后，如果所述一个或多个数据片段超过预定义置信度阈值，则可以
使用第一机器学习算法对它们进行分类。还可以使用第一机器学习算法将标识为具有感兴趣的事件的所述一个或多个数据片段分类到类别数据集中。类别数据集然后可以从第一阶段分类器传输到第二阶段分类器。第二机器学习算法然后可以用于对类别数据集分类。
8.可以采用训练过程来应用惩罚算法，以确保一个或多个数据片段朝向使用第一分类被偏置。惩罚算法可以包括应用于第一分类的第一权重，该第一权重大于应用于第二分类的第二权重。
附图说明
9.图1图示了具有第一阶段分类器和第二阶段分类器的多阶段网络的示例性实施例。
10.图2图示了示例性cnn。
11.图3图示了多阶段网络100的另一个示例性实施例。
12.图4图示了第一阶段分类器的替代实施例。
具体实施方式
13.本文描述了本公开的实施例。然而，应理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替代形式。各图不一定是按比例的；一些特征可以被放大或最小化以示出特定组件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为用于教导本领域技术人员以不同方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任何一图图示和描述的各种特征可以与一个或多个其他图中图示的特征相组合，以产生没有明确图示或描述的实施例。所图示特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定的应用或实现可以是期望的。
14.对于机器学习算法，神经网络（例如，cnn或dnn）的使用对于包括对输入数据进行分类以提供事件检测（例如，感兴趣的事件）或对象分类（例如，对象识别或面部识别）的多种多样的应用已经增加。然而，用于对输入数据进行分类的神经网络可能极大，并且提供具有数千万个变量的结果。这样的大的神经网络通常需要大量的计算和数据存储资源，并且因此可能消耗大量的能量来操作或具有大的功率占用。此外，当前的神经网络通常不能部署在资源受限的环境中（例如，在如智能手表之类的可穿戴设备内）。
15.设想到，对于某些分类应用，从连续传感器信号提供给神经网络的时间序列数据可以被“加窗”或“划分”成更小的片段。每个数据片段然后可以被独立地分类。时间序列数据也可以是高度稀疏的（即，时间序列数据的一部分可能没有需要分类的感兴趣的事件）。区分时间序列数据片段是否具有“感兴趣的事件”不需要更全面的分类阶段通常所需要的计算上和数据存储消耗的资源。对不包括感兴趣的事件的时间序列数据片段进行分类甚至可能是不必要的资源使用。
16.因此，设想可以与第一阶段分类器（即第一神经网络）一起采用多阶段网络，第一阶段分类器（即第一神经网络）标识加窗或划分的数据片段是否包括感兴趣的事件。被检测为包括感兴趣的事件的数据片段然后可以被传输到第二阶段分类器（即，第二神经网络），第二阶段分类器（即，第二神经网络）对数据片段执行完全分类。多阶段网络可能需要较少
的功率和不太复杂的结构。
17.图1图示了具有阶段1分类器102和阶段2分类器104的多阶段网络100。如所示的，阶段1分类器102和阶段2分类器104可以被设计成包括至少一个处理器106、108，其操作性地连接到相应的存储器单元114、116。每个处理器106、108可以是实现相应中央处理单元（cpu）110、112的功能性的一个或多个集成电路，中央处理单元（cpu）110、112可以是商业上可获得的处理单元，其实现诸如x86、arm、power或mips指令集家族之一的指令集。然而，设想到，商业上可获得的处理单元仅仅是用于实现阶段1分类器102和阶段2分类器104的示例。例如，设想到，cpu 110、112可以是专用加速器，其包括为实现机器学习算法或神经网络（例如，cnn或dnn）而优化的特殊功能或指令。还设想到，cpu 110、112可以是模拟计算单元或者在存储器中执行计算操作的单元。
18.在操作期间，每个cpu 110、112可以执行从相关联的存储器单元114、116检索的所存储程序指令。所存储程序指令可以包括控制每个cpu 110、112的操作以执行本文描述的操作的软件。在一些示例中，每个处理器106、108可以是集成每个cpu 110、112；每个存储器单元114、116；相关联的网络接口118、120；和相关联的输入/输出接口122、124的功能性的片上系统（soc）。设想到，阶段1分类器102和阶段2分类器104可以实现用于管理操作的各个方面的操作系统。
19.每个存储器单元114、116可以包括用于存储指令和数据的易失性存储器和非易失性存储器。非易失性存储器可以包括固态存储器，诸如nand闪速存储器、磁性和光学存储介质，或者当阶段1分类器102和阶段2分类器104被停用或失去电力时保留数据的任何其他合适的数据存储设备。易失性存储器可以包括存储程序指令和数据的静态和动态随机存取存储器（ram）。例如，每个存储器单元114、116可以存储机器学习模型126、128或算法；和/或原始源数据134、136。存储器单元114、116还可以存储值或数据（例如，系数、sks、权重），其然后可以由cpu 110、112（或加速器）加载，供机器学习模型126、128使用。存储器单元114、116还可以用于存储可以在训练过程期间使用的相关联训练数据集130、132。
20.再次，阶段1分类器102和阶段2分类器104还可以包括相关联的网络接口设备118、120。设想到，网络接口设备118、120可以被配置为在阶段1分类器102和阶段2分类器104之间提供通信链路138。替代地，网络接口设备118、120可以被配置为与附加的外部系统和设备（例如传感器）通信。网络接口设备118、120可以使用i2c、spi、允许在微控制器、eeprom、a/d和d/a转换器、i/o接口和嵌入式系统中其他类似外围设备之间通信的类似方法进行通信。附加地，网络接口设备118、120可以被配置为包括如由电气和电子工程师协会（ieee）802.11标准家族定义的有线和/或无线以太网接口。网络接口设备118、120可以包括用于与蜂窝网络（例如，3g、4g、5g）通信的蜂窝通信接口。
21.如进一步所示，阶段2分类器104可以与如万维网或因特网之类的外部网络138通信。外部网络138可以在计算设备之间建立标准通信协议。外部网络138可以允许信息和数据在阶段2分类器104和网络之间容易地交换。一个或多个服务器140可以与外部网络138通信。
22.还设想到，阶段2分类器104可以在基于服务器或“云”的存储系统（例如，亚马逊网络服务）上实现。阶段1分类器102仍然可以使用通信链路138与阶段2分类器104通信。例如，阶段1分类器102可以在安全相机上实现，该安全相机可操作来使用网络接口设备118以通
过已知的互联网协议与基于云的存储系统通信。阶段1分类器102可以检测感兴趣的事件并且（例如，使用通信链路138）将其传输到（在基于云的存储系统上操作的）阶段2分类器104用于进一步分类。
23.阶段1分类器102和阶段2分类器104可以实现相关联的机器学习算法126、128，其被配置为分析所提供或存储的原始源数据134、136，原始源数据134、136可以包括原始或未处理的传感器数据。原始源数据134、136可以包括视频、视频片段、图像和原始或部分处理的传感器数据（例如，来自数码相机或lidar传感器的数据）。在一些示例中，机器学习算法126、128可以是可以被设计成执行预定功能的机器学习网络算法（例如，cnn或dnn）。
24.图2图示了示例性cnn 200，其可以由阶段1分类器102和阶段2分类器104用于对数据片段是否包括感兴趣的事件进行分类，或者提供数据片段的完全分类。然而，cnn 200可能只是实现阶段1分类器102和阶段2分类器104的一个示例。例如，还设想到，阶段1分类器102和阶段2分类器104可以使用决策树来实现，其中特征提取器可以提供数据134、136。如图示的，cnn 200可以包括一个或多个卷积层220
‑
240；一个或多个汇集层250
‑
270；一个或多个全连层260；和softmax层270。取决于给定的应用，阶段1分类器102和阶段2分类器104可以进一步包括附加的cnn、dnn或决策树。
25.cnn 200可以接收数据210（例如，图1中图示的数据134、136），其可以包括图像数据、语音数据、文本数据或从传感器或换能器接收的测量。数据210也可以在被提供给cnn 200之前被轻微处理。卷积层220
‑
240可以被设计成从数据210提取特征。例如，卷积层220
‑
240可以在将结果传递给cnn 200的下一层之前采用滤波操作（例如，内核）。滤波操作可以包括当接收的数据210是图像时应用的图像标识、图像的边缘检测和图像锐化。
26.cnn 200还可以包括一个或多个汇集层250
‑
270，其从相应的卷积层220
‑
240接收卷积数据。汇集层250
‑
270可以包括一个或多个汇集层单元，其使用汇集函数将汇集函数应用于在不同频带计算的一个或多个卷积层输出。例如，汇集层250可以对从卷积层220接收的内核输出应用汇集函数。由汇集层250
‑
270实现的汇集函数可以是平均值或最大值函数或者将多个值聚集成单个值的任何其他函数。
27.接下来，一个或多个全连层280可以尝试学习从卷积层220
‑
240和汇集层250
‑
270接收的输出数据中的高级特征的非线性组合。最后，cnn 200可以包括softmax层290，其使用softmax函数来组合全连层280的输出。还设想到，cnn 200可以进一步采用批量归一化层、最大汇集层和丢弃层。
28.图3图示了多阶段网络100的另一示例性实施例，可以采用该多阶段网络100检测从传感器信号或输入数据（例如数据134、136）提供的感兴趣的事件和对该感兴趣的事件分类。如所示出的，阶段1分类器102采用机器学习模型126来从一个或多个“加窗”数据片段检测感兴趣的事件或活动定位（activity spotting）。如果标识相关活动（即，感兴趣的事件），则阶段1分类器102可以可操作来生成二进制分类。阶段1分类器102可以采用如cnn 200的架构。或者，阶段1分类器102可以采用与cnn 200示出的相比附加的或更少的层（例如，卷积层、全连层）。但是，如下面讨论的，还设想到，阶段1分类器102可以可操作来对被确定为高于预定义置信度阈值的数据片段执行完全或完整的分类。
29.阶段1分类器102也可以并入在一个或多个传感器内，或者嵌入在可穿戴或边缘设备内。例如，在车辆311内，阶段1分类器204可以被嵌入在雷达传感器302、视频相机304、全
球定位系统306、激光传感器308（例如，lidar）或超声传感器310内。或者，阶段1分类器102可以沿着传感器302
‑
310中的每一个的侧面定位。换句话说，阶段1分类器102可以被包括在传感器302
‑
310中的每一个内，并且对于传感器302
‑
310中的每一个是唯一的。替代地，设想到，阶段1分类器102可以接收数据，并且可操作用于传感器302
‑
310中的多于一个的传感器。例如，阶段1分类器102可以与传感器302
‑
310中的多于一个的传感器通信并从其接收感测数据。再次，阶段1分类器102可以使用i2c、spi或类似的通信协议与传感器302
‑
310通信。
30.同样，阶段1分类器102可以嵌入一个或多个可穿戴设备312
‑
318（例如，智能手表、耳机或心率监视器）内。可穿戴设备312
‑
318可以包括许多传感器（例如，心率监视器、计步器、加速度计或陀螺仪）。再次，阶段1分类器102可以位于可穿戴设备312
‑
318内的每个传感器内或沿着每个传感器侧面。或者，阶段1分类器102可以接收数据，并且可操作用于位于可穿戴设备312
‑
318内的多于一个的传感器。
31.在一般操作中，传感器可以输出感测数据的连续信号。阶段1分类器102可以可操作来将该连续感测数据信号分割成“加窗”数据片段，“加窗”数据片段或者完全独立于其他加窗数据片段，或者可以与其他加窗数据片段重叠或组合。
32.还设想到，阶段1分类器102可以被优化以使用与更鲁棒的分类网络相比不太复杂和更少功耗的机器学习网络。例如，阶段1分类器102可以包括比阶段2分类器104采用的机器学习网络更少的层（即，更少的卷积层322
‑
324或全连层326）。再次，阶段1分类器也可以使用决策树或为给定应用设计的其他已知分类器来优化。阶段1分类器102然后可以操作来检测每个加窗数据片段内的感兴趣的事件，或者对感测数据或加窗数据片段执行低努力分类。如果阶段1分类器102检测到感兴趣的事件（或者如果阶段1分类器102执行的分类的置信度低于给定阈值），则所标识的加窗数据片段可以被提供给阶段2分类器104，该阶段2分类器104包括被设计成执行完全或更复杂分类的机器学习算法128。
33.设想到，为了处理需要更高准确度的完全分类，阶段2分类器104可以是比阶段1分类器102所采用的机器学习网络更复杂的机器学习网络。例如，阶段2分类器104可以采用附加层（例如，卷积层、全连层），用于提供对由阶段1分类器102传输的数据片段的完全分类。阶段2分类器204可以进一步包括更复杂的设计结构，如跳过架构328（即，resnet架构），其中由一个或多个层（例如，卷积层330
‑
334之一）生成的输出可以作为至另一层（例如，全连层338
‑
342之一）的输入来提供。此外，通过采用不太复杂的网络（即，阶段1分类器102）来处理事件检测，可以减少传输到阶段2分类器104的数据量。
34.虽然阶段2分类器104通常可以仅对从阶段1分类器102接收的数据片段进行操作，但是设想到，阶段2分类器104可以直接接收连续的传感器信号（即，数据）。换句话说，阶段2分类器104可以独立操作，或者在没有阶段1分类器102的情况下操作。阶段2分类器104可以操作以将数据加窗成片段；为每个数据片段标识感兴趣的事件；以及提供对被标识为包括感兴趣的事件的数据片段的完全分类。设想到，阶段2分类器104可以被设计成在传感器或可穿戴设备不包括阶段1分类器102的情况下处理感兴趣的事件的标识以及完全分类。或者，如果阶段1分类器102变得不可操作，则这样的操作可能是必要的。
35.还设想到，当操作来执行事件检测时，阶段1分类器102应该被设计成捕获并标记加窗数据片段内的所有感兴趣的事件。例如，阶段1分类器102可以将其中感兴趣的事件发生的加窗数据片段标记为类“1”，并且将其中没有感兴趣的事件发生的加窗数据片段标记
为类“0”。在操作期间，如果阶段1分类器102将数据片段从类“0”标记为类“1”，则这可以是可接受的。但是设想到，阶段1分类器102不应该将应该（或者已经被标记）为类“1”的数据片段错误地标记为类“0”的标签。
36.应理解，被阶段1分类器102错误地标识为类“1”的数据片段仍然将被传输到阶段2分类器104。并且，阶段2分类器104然后可以可操作来将数据片段标识并正确标记为类“0”（即，没有需要完全分类的感兴趣的事件）。但是，如果数据片段被阶段1分类器102错误地标识为类“0”，则该数据片段将不被正确地重新标记为类“1”，因为没有数据将被传输到阶段2分类器104。因此，设想到，阶段1分类器102应该被偏置以惩罚假否定（即，应该是类“1”的数据片段到类“0”的错误分类）。
37.因此，设想到，通过使用下面的等式1将类“1”标记分配为高于类“0”标记，可以（在训练过程期间）惩罚阶段1分类器102以免应用错误分类：（等式1）其中当时，：假否定其中当时，：假肯定设想可以是与第片段相关联的实际标签，并且可以是由神经网络预测的输出标签。项可以是在训练过程期间使用的分别与假否定和假肯定相关联的权重。设想到，在训练过程期间，可以调整项来惩罚假否定。例如，阶段1分类器102可以被训练以确保。还设想到，可以选择等式1使用的值来实现可接受的低假否定率（例如，< 3%），同时试图实现低于所需阈值的假肯定率。当存在相等数量的可用于类“0”和类“1”二者的训练样本（例如，训练数据130）时，当且时，阶段1分类器102可以具有低的假否定率。但是和的值可以取决于应用或过程被分配不同的值。
38.还设想到，阶段1分类器102也可以采用完全的分类过程。阶段1分类器102可以通过处理可以不需要大量计算处理能力的不太复杂的分类样本来执行完全的分类过程。例如，可以通过使用现有层（例如，卷积层）的一部分并引入一个或多个附加输出层来重新利用由阶段1分类器102部署的机器学习模型126，以执行完整的分类。或者，现有的层可以与附加的全连层一起使用，以执行完整的分类。
39.设想到，对于阶段1分类器102来说，对于其而言网络是公共的层的输出可以被用作至附加层的输入，然后该附加层可以被用于执行完全分类。预计算的输出的重用可能不显著增加阶段1分类器102执行完全分类的复杂性。对于多类的分类，阶段1分类器102的最后一层的输出可以提供网络对每个类的概率/置信度。设想到，对于第i输入片段的输出可以给出为。
40.还设想到，阶段1分类器102可以被设计成通过确定加窗数据片段是否高于预定义置信度阈值或在预定义置信度阈值内（例如，置信度水平近似等于或大于90%或在80%
‑
90%之间）来处理完全或复杂的分类。对于阶段1分类器102能够以高置信度（例如，大于90%的置信度水平）执行分类的加窗数据片段，可能不需要阶段2分类器104的进一步分类。然而，如果加窗数据片段低于预定义置信度阈值（例如，小于90%置信度水平的数据样本），则阶段1分类器102可以将数据片段传输到阶段2分类器104，用于完全或更复杂的分类。
41.图4图示了阶段1分类器102的示例，其可操作来基于置信度阈值处理基于事件二进制的分类（其将被传输到阶段2分类器104）和数据片段的较低且复杂的分类二者。如图示的，阶段1分类器102可以接收输入数据（例如，数据134）。阶段1分类器102然后可以包括第一卷积滤波器402和第二卷积滤波器，其提取可以用一个或多个全连层分类的特征。例如，全连层410、412可以用于生成输出408，该输出408可以包括数据片段的不太复杂或宽泛类别的分类。替代地，全连层410、414可以可操作来生成输出406，该输出406可以包括数据片段的更复杂、完全或精细的类别分类。
42.例如，阶段1分类器102可以执行数据片段到指定组（例如，动物、运输工具或食物）的类别分类，类别化的数据片段然后可以被传输到阶段2分类器104，用于所分配的组的完全分类。阶段1分类器102可以确定加窗数据片段属于“动物”分类组，阶段2分类器104然后可以提供加窗数据片段是“狗”的图像的完全分类。通过操作来提供宽泛的类别组分类，阶段1分类器102可以增加完全分类的置信度。
43.还设想到，阶段1分类器102一般可以设计成具有非常低的密度。照此，当跨所有数据片段执行完全分类时，阶段1分类器102可能不产生高准确度。取而代之的是，当相关联的概率/置信度可能高时，阶段1分类器102可以仅对较小数量的数据片段执行完全分类是高度准确的。例如，当置信度高时，阶段1分类器102可以生成输出分类406（即，完全分类）。如果置信度水平低，则阶段1分类器102可以向阶段2分类器104输出低努力分类标签以用于完全分类。
44.阶段1分类器102可以使用下面的逻辑等式2和3来确定是执行更低还是更复杂的分类：如果阈值，则输出类∶
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（等式2）否则，输出阶段2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（等式3）如图示的，如果阶段1分类器102提供其中置信度阈值高（例如大于90%）的分类，则使用来自阶段1分类器102的分类。然而，如果阶段1分类器102提供其中置信度阈值不高（例如，小于90%）的分类，则分配低努力的分类标签，并将数据片段传输到阶段2分类器以用于完全或更复杂的分类。
45.替代地，还设想到，阶段1分类器102可以确定具有感兴趣的事件的数据片段是否具有高于预定义阈值（例如，90%）的概率置信度。如果是，则阶段1分类器102可以生成输出分类406。如果否，则输出数据片段408可以被传输到阶段2分类器104。再次，为完全分类添加额外的层，可以向阶段1分类器102添加附加的层，以执行宽泛/精细的类别分类。
46.设想到，由于阶段1分类器102的大部分对于事件检测或完全分类（或某种宽泛的类别分类）来说可能是公共的，所以为完全分类任务（而不是二进制分类任务）训练机器学习模型126的公共层可能是有益的。设想到，完全分类可能更复杂，并且针对更复杂问题的训练改进了网络的辨别能力。因此，阶段1分类器102网络的初始层（其一般被认为执行特征提取）提取与完全分类任务更相关的特征。由于事件检测或二进制分类是完全分类问题的子集，因此提取的特征也可以可操作用于检测。
47.本文公开的过程、方法或算法可以被可递送到处理设备、控制器或计算机/由处理设备、控制器或计算机实现，处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以以多种形式存储为可由控制器
或计算机执行的数据和指令，包括但不限于永久存储在诸如rom设备的不可写存储介质上的信息和可变更地存储在诸如软盘、磁带、cd、ram设备以及其他磁性和光学介质之类的可写存储介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。替代地，可以使用合适的硬件组件（诸如，专用集成电路（asic）、现场可编程门阵列（fpga）、状态机、控制器）或其他硬件组件或设备，或者硬件、软件和固件组件的组合，来整体或部分地体现过程、方法或算法。
48.虽然上面描述了示例性实施例，但是不意图这些实施例描述权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性而不是限制性的词语，并且应理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如先前所述，各种实施例的特征可以被组合以形成可能没有被明确描述或图示的本发明的另外实施例。虽然各种实施例可能已经被描述为在一个或多个期望的特性方面提供了优于其他实施例或现有技术实现的优点或比其他实施例或现有技术实现优选，但是本领域的普通技术人员认识到，一个或多个特征或特性可以被折衷以实现期望的总体系统属性，这取决于具体的应用和实现。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、尺寸、适用性、重量、可制造性、组装容易性等。照此，在任何实施例被描述为在一个或多个特性方面不如其他实施例或现有技术实现合期望的程度上，这些实施例不在本公开的范围之外，并且对于特定应用可以是合期望的。