广播式残差学习的制作方法

广播式残差学习
1.相关申请的交叉引用
2.本技术要求于2022年3月25日提交的美国专利申请no.17/656,621的优先权，该美国专利申请要求于2021年3月25日提交的美国临时专利申请no.63/166,161的权益和优先权，这些申请中的每一者的全部内容通过援引整体纳入于此。
3.引言
4.本公开的各方面涉及机器学习，且更具体地涉及高效的数据处理。
5.设计高效的机器学习架构是神经语音处理中的重要话题。具体而言，目标是检测预定义关键字的关键字定位(kws)已变得越来越重要。kws在设备唤醒和智能设备上的用户交互方面起到关键的作用。然而，提供使错误最小化同时还高效地操作的模型是具有挑战性的。模型效率在kws中是尤为重要的，因为过程通常在边缘设备(例如，在具有有限资源的设备中，诸如移动电话、智能扬声器、以及物联网(iot)设备)中执行，同时要求低等待时间。
6.相应地，需要用于使用高效模型设计来提供高准确度分类的系统和方法。
7.简要概述
8.某些方面提供了一种方法，包括：接收包括频率维度和时间维度的输入张量；使用第一卷积操作处理该输入张量以生成包括该频率维度和该时间维度的多维中间特征图；使用频率维度减少操作来将该多维中间特征图转换成该时间维度上的一维中间特征图；使用第二卷积操作来处理该一维中间特征图以生成时间特征图；使用广播操作将该时间特征图扩展到频率维度以生成多维输出特征图；以及经由第一残差连接使用该多维中间特征图来扩增该多维输出特征图。
9.其他方面提供了：处理系统，其被配置成执行前述方法以及本文中所描述的那些方法；非瞬态计算机可读介质，其包括在由处理系统的一个或多个处理器执行时使得该处理系统执行前述方法以及本文中所描述的那些方法的指令；计算机程序产品，其被实施在计算机可读存储介质上，该计算机可读存储介质包括用于执行前述方法以及本文中进一步描述的那些方法的代码；以及处理系统，其包括用于执行前述方法以及本文中进一步描述的那些方法的装置。
10.以下描述和相关附图详细阐述了一个或多个方面的某些解说性特征。
11.附图简述
12.附图描绘了该一个或多个方面中的某些方面，并且因此不被认为限制本公开的范围。
13.图1描绘了用于广播式残差学习的示例工作流。
14.图2描绘了用于残差学习技术的示例框图。
15.图3是供在高效处理输入数据中使用的示例广播式残差学习块。
16.图4是供在转变层中高效处理输入数据中使用的示例广播式残差学习块。
17.图5是解说用于使用广播式残差学习来处理数据的方法的示例流程图。
18.图6描绘了被配置成执行本公开的各个方面的示例处理系统。
19.为了促成理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要
素。构想了一个方面的要素和特征可有益地被纳入到其他方面中而无需进一步引述。
20.详细描述
21.本公开的各方面提供了用于广播式残差学习的技术。本文所描述的各技术提供了与现有办法相比的高模型准确度和显著改善的计算效率(例如，小模型大小和轻量计算负担)。
22.最近已经开发了各式各样的高效卷积神经网络(cnn)。一般而言，cnn由相同结构的重复块组成并且往往基于残差学习和逐深度可分离卷积。这已导致数种基于cnn的kws办法。现有办法要么使用一维时间卷积、要么使用二维(例如，频率和时间)卷积。每种办法具有相应的益处和缺点。
23.例如，对于使用一维时间卷积的模型，与依赖于二维办法的模型相比，通常需要较少的计算资源。然而，在使用一维卷积的情况下，卷积的内部偏置(诸如，平移等变性)不能关于频率维度来获得。
24.另一方面，基于二维卷积的办法需要比一维方法显著更多的计算资源，即使在使用高效设计和架构(诸如逐深度可分离卷积)时。这可阻止此类二维办法针对各式各样的设备和实现有用。
25.本文所描述的广播式残差学习技术可被用来既在训练期间(在训练数据穿过模型时)又在运行时期间(在新数据穿过以生成推断时)高效地处理数据。
26.在一些方面，广播式残差学习被用来对音频数据和特征进行处理和分类(例如，以执行kws)。一般而言，音频数据和特征可以使用二维张量(例如，具有频率维度和时间维度)来表示。尽管在本文的示例中使用音频，但本公开的各方面可容易地应用于各式各样的数据。
27.在一些方面。广播式残差学习一般涉及对输入张量执行卷积以提取二维特征，减小二维特征的维数以允许对特征的高效卷积(例如，需要减少的计算、处理步骤和能量)，将结果所得的张量扩展到二维特征的原始维数，以及使用原始二维特征来扩增经扩展的张量。在一些方面，经扩展张量进一步使用原始输入张量来扩增。
28.在一些方面，本文所描述的广播式残差学习可在神经网络架构中执行以执行各种各样的任务，诸如对输入音频进行分类。例如，本文所描述的技术可被实现为广播式残差学习块，并且这些块中的数个块可以在神经网络架构内的序列中使用。
29.有利地，广播式残差学习保持一维时间卷积的许多残差函数，同时仍允许经由将时间输出扩展到频率维度的广播式残差连接来一起使用二维卷积。该残差映射使得网络能够使用比常规卷积神经网络少得多的计算来高效地表示有用音频特征，这降低了计算复杂度、等待时间、计算要求、存储器要求等等。在各方面，本文所描述的广播式残差学习技术与常规系统相比可使用较少的计算和参数来达成对语音命令数据集的最先进的准确度。
30.用于广播式残差学习的示例工作流
31.图1描绘了用于广播式残差学习的示例工作流100。工作流100开始于输入张量105。在一些示例中，张量105可以是音频数据(例如，由指示随时间的频率频谱的log mel(梅尔)谱图来表示)、或音频特征(例如，通过处理音频数据而生成的特征)。在一些方面，输入张量105是具有频率维度和时间维度的二维张量。时间维度可被描绘成时间区间或步长，而频率维度基于频率值或频带来描绘。每个区间处存在的频率(例如，每个频率处声音的幅
度)可经由张量中的值来反映。
32.输入张量105使用第一卷积操作110来处理，由此产生一组二维特征图115。如所解说的，特征图115具有维数h
×w×
c，其中h和w是空间维度(例如，分别为时间维度和频率维度)，并且c是通道数目。
33.在一个方面，卷积操作110是使用被配置成提取频率维度的特征的一个或多个内核执行的逐深度卷积。例如，卷积操作110可以使用n
×
1的内核，其中n对应于频率维度。也就是说，用于卷积操作110的逐深度内核可在频率维度上具有大于1的长度，其中时间维度上的长度为1。这允许卷积操作110用作频率逐深度卷积，其提取用于张量105的频率特征(例如，特征图115)。
34.如所解说的，这些特征图115是二维的(在频率维度和时间维度上均具有大于1的长度)。在所解说的工作流100中，维度减少操作120被执行以减小特征图115的维数。具体而言，维度减少操作120可以减小特征图115以消除频率维度并且保持时间维度。这产生一维特征图125。特征图125可具有与特征图115相同的时间维数和通道数目，但在频率维度上具有长度1。
35.维度减少操作120一般在每频率(或每频带)基础上执行，并且可包括各种技术，包括最大池化(以使得最大值、或具有最激活存在的特征被保持)、平均池化(以使得平均值被保留)、最小池化(以使得最小值被保留)等等。在一些方面，维度减少操作120还可以通过在没有填充的情况下使用h
×
1内核对特征图115进行卷积来执行，以便减少维度，其中h对应于频率维度的大小。
36.有利地，一维特征图125(其对应于时间维度)可以使用与传统二维卷积相比显著更少的计算资源来卷积。这显著地改进了广播式残差学习的效率。
37.如所解说的，使用第二卷积操作130来处理特征图125。在一些方面，卷积操作130是逐深度可分离卷积(例如，逐深度卷积继之以逐点卷积)。与卷积操作110(其对应于频率维度)相比，卷积操作130可使用被配置成提取用于时间维度的特征的一个或多个内核来执行。例如，卷积操作130可以使用1
×
m的内核，其中m对应于时间维度。
38.也就是说，用于卷积操作130的逐深度内核可在时间维度上具有大于1的长度，其中频率维度上的长度为1。这允许卷积操作130用作时间逐深度卷积，其提取用于特征图125的时间特征。在一些方面，卷积操作130可以是逐深度可分离卷积。在此类方面，在时间逐深度卷积之后，卷积操作130可应用一个或多个逐点内核。这产生特征图135。
39.在工作流100中，特征图135随后被广播到频率维度，如箭头137所指示的。该广播操作(也被称为扩展操作)通常将一维特征图135转换成具有与特征图115相同的维数的多维特征图140。在一些方面，该广播涉及对特征图135进行复制和堆叠，直到它们达到高度h(在该示例中)。
40.残差连接150反映了广播式残差学习的残差特性。在工作流100中，输入张量105使用操作145以特征图140扩增以生成输出155。在一些方面，特征图140还可以或替换地可以用特征图115扩增。该操作145通常可包括任何数目的组合技术，包括逐元素求和、平均、相乘等等。有利地，残差连接150允许系统保持输入的二维特征，而不论维度减少操作120如何。
41.示例残差学习技术
42.图2描绘了用于残差学习技术的示例框图200a和200b。
43.框200a反映了在一些残差模型中使用的常规残差块。该块200a可被表达为y＝x+f(x)，其中x和y分别是输入和输出特征，并且函数f(
·
)计算卷积输出。x的恒等捷径和f(x)的结果具有相同的维数并且可通过简单的逐元素相加来求和。
44.具体而言，如由残差块200a所解说的，使用相同的卷积操作210来处理输入205。结果所得的张量随后可与原始输入205求和(经由恒等捷径215)，如由操作220所指示的。这产生了普通残差块200a的输出225。
45.在本公开的各方面，为了一起利用一维和二维特征两者，函数f(x)(由卷积操作210反映)可被分解为f1和f2，其分别对应于时间和二维操作。这在广播式残差块200b中反映。
46.广播式残差块200b可被表达为：
47.y＝x+bc(f1(reduction(f2(x))))，
48.其中x和y分别是输入和输出特征，f1和f2是卷积操作，bc(
·
)是广播或扩展操作，并且reduction(
·
)是维度减少操作(例如，通过频率维度进行平均池化)。在该式中，批和通道维度被省略以用于概念清楚目的，并且输入特征x在rh×w中，并且h和w分别是频率和时间步长。
49.如由残差块200b所解说的，使用卷积操作255来处理输入250以提取二维特征。结果所得的张量随后可使用维度减少260而被减小，并且减小的张量使用卷积操作265来处理以提取时间特征。这些特征随后被扩展到频率维度，并且经由恒等捷径270用原始输入250扩增，由此产生输出280。
50.示例广播式残差学习块
51.图3是供在高效处理输入数据(诸如音频输入数据)中使用的示例广播式残差学习块300。
52.如所解说的，使用第一操作310(图3中被标记为f2)来接收和处理输入张量305。操作310对应于以上所讨论的二维特征提取(例如，卷积操作110)，并且产生rh×w中的二维特征图(例如，图1中的特征图115)。如所解说的，卷积操作310是使用频率逐深度卷积320来执行的，频率逐深度卷积320包括一个或多个n
×
1频率逐深度卷积内核。
53.如所解说的，操作310还包括子频谱归一化(ssn)操作325。ssn操作325通常通过将输入特征(由频率逐深度卷积320生成)拆分成频率维度上的子带，并且分开地对每个子带归一化(例如，使用批归一化)来操作。与对整个特征集进行普通的批归一化相比，这允许系统实现频率知悉式时间特征。
54.该系统随后可使用操作330执行维度减少。在所解说的示例中，广播式残差学习块300使用频率平均池化来通过频率对输入特征进行平均，由此产生以上所讨论的r1×w中的特征(例如，图1中的特征图125)。
55.这些特征随后使用第二操作340(在图3中标记为f1)来处理。操作320可对应于以上所讨论的时间卷积操作(例如，卷积操作130)。在一个方面，操作340是逐深度可分离卷积(例如，时间逐深度卷积345和逐点卷积355的合成)。
56.时间逐深度卷积345可包括一个或多个1
×
m时间逐深度卷积内核以生成时间特征(例如，图1中的特征图135)。
57.如所解说的，操作340随后包括批归一化操作350继之以swish激活(也由350指示)。尽管在图3中描绘了swish激活，但在各方面，可使用任何合适的激活函数。
58.在逐点卷积355之后，操作340还可包括以dropout(丢弃)率p的逐通道dropout(由360指示)。该dropout可被用作用于模型的正则化以便防止过拟合并改进泛化。由操作365(其还包括以上参照图1的操作145讨论的张量扩增)表示的广播操作(其可对应于图1的广播操作137)随后可被用来将来自操作340的特征(在r1×w中)扩展到rh×w。
59.在一些方面，为了在顺序块(例如，广播式残差学习块300的顺序应用)上成为频率卷积知悉的，系统不仅使用残差连接315(有时被称为“恒等捷径”)来使用原始输入305扩增特征(在操作365)，还使用来自由频率逐深度卷积320输出的二维特征的辅助残差连接335(在操作365)。辅助残差连接335使得系统能够保持输入的频率知悉特征，而不管维度减少操作。该广播和扩增操作365(在一些方面也被成为广播求和操作)的输出随后可使用一个或多个激活函数(例如，relu函数370)来处理，并且随后作为来自残差学习块300的输出375来提供。
60.以此方式，广播式残差学习块300可被表达为y＝x+f2(x)+bc(f1(reduction(f2(x))))，其中x和y分别是输入和输出特征，f1和f2是卷积操作，bc(
·
)是广播或扩展操作，并且reduction(.)是维度减少操作(例如，通过频率维度进行平均池化)。
61.使用广播式残差学习块300，机器学习模块与常规技术相比可以提供例如更高效的kws，同时保持二维特征。通过对一维时间特征执行时间逐深度和逐点卷积，与传统的二维逐深度可分离卷积相比，卷积负载被减小到频率步长h(往往为40或更大)分之一。
62.示例转变广播式残差学习块
63.图4是供在高效处理输入数据(诸如音频输入数据)中使用的示例转变广播式残差学习块400。
64.转变广播式残差学习块400类似于常规的广播式残差学习块300，但具有使得转变广播式残差学习块400在转变层中使用、其中输入305中的通道的数目不同于输出475中的通道的数目的两个差异。
65.具体而言，操作410替换图3中的操作310。操作410包括附加逐点卷积412，其被用来将输入405中的通道的数目改变成用于输出475的期望通道数目。如所解说的，该逐点卷积412可继之以由413指示的批归一化和激活函数(诸如，relu)。
66.转变广播式残差学习块400与常规广播式残差学习块300之间的第二个差异在于转变广播式残差学习块400不包括恒等捷径(图3中的残差连接315)。也就是说，转变广播式残差学习块400不使用输入405来扩增输出(因为维数不同)。
67.在其他方面，转变广播式残差学习块400很大程度上借鉴以上参照图3所描述的常规广播式残差学习块300。
68.用于广播式残差学习的示例方法
69.图5是解说用于使用广播式残差学习来处理数据的方法500的示例流程图。
70.方法500开始于框505，其中处理系统接收包括频率维度和时间维度的输入张量。
71.在框510，处理系统使用第一卷积操作处理输入张量以生成包括频率维度和时间维度的多维中间特征图。在一些情形中，该多维中间特征图是二维中间特征图。
72.在一些方面，第一卷积操作使用具有在频率维度上大于1且在时间维度上等于1的
大小的一个或多个逐深度卷积内核。
73.在一些方面，该输入张量是从被配置成改变输入张量中的通道的数目的逐点卷积操作输出的。
74.在框515，处理系统使用频率维度减少操作来将该多维中间特征图转换成时间维度上的一维中间特征图。
75.在一些方面，频率维度减少操作包括以下至少一者：最大池化操作、平均池化操作、或卷积操作。
76.在一些方面，方法500进一步包括在将该多维中间特征图转换成一维中间特征图之前对该多维中间特征图执行子频谱归一化(ssn)操作。
77.在一些方面，其中ssn操作包括：将该多维中间特征图划分成频率维度上的多个子带；以及对该多个子带中的每个子带执行批归一化。
78.在框520，处理系统使用第二卷积操作来处理该一维中间特征图以生成时间特征图。
79.在一些方面，第二卷积操作包括逐深度可分离卷积操作，其中该逐深度可分离卷积操作的逐深度卷积被配置成使用具有在频率维度上等于1且在所述时间维度上大于1的大小的一个或多个逐深度卷积内核。
80.在一些方面，该逐深度可分离卷积操作的逐点卷积被配置成在该逐深度卷积之后使用一个或多个逐点卷积内核。
81.在框525，处理系统使用广播操作将该时间特征图扩展到频率维度以生成多维输出特征图。
82.在框530，处理系统经由第一残差连接使用该多维中间特征图来扩增该多维输出特征图。
83.在一些方面，方法500进一步包括输出经扩增的多维输出(例如，作为从残差块到另一残差块或模型的另一块或层的输出、作为来自模型的输出等等)。
84.在一些方面，方法500进一步包括经由第二残差连接使用该输入张量来扩增该多维输出特征图。
85.在一些方面，输入张量包括输入音频特征；并且第一卷积操作和第二卷积操作是被配置成对该输入音频特征进行分类的广播残差神经网络的一部分。
86.用于广播式残差学习的示例处理系统
87.在一些方面，关于图1-5描述的技术、方法和工作流可以在一个或多个设备上执行。
88.图6描绘了示例处理系统600，其可被配置成执行本文所描述的各种方法的各方面，包括例如关于图1-5所描述的方法。
89.处理系统600包括中央处理单元(cpu)602，其在一些示例中可以是多核cpu。在cpu 602处执行的指令可例如从与cpu 602相关联的程序存储器加载或可从存储器分区624加载。
90.处理系统600还包括为特定功能定制的附加处理组件，诸如图形处理单元(gpu)604、数字信号处理器(dsp)606、神经处理单元(npu)608、多媒体处理单元610和无线连通性组件612。
91.npu(诸如608)一般是被配置成用于实现用于执行机器学习算法(诸如用于处理人工神经网络(ann)、深度神经网络(dnn)、随机森林(rf)等的算法)的所有必要的控制和算术逻辑的专用电路。npu有时可替换地被称为神经信号处理器(nsp)、张量处理单元(tpu)、神经网络处理器(nnp)、智能处理单元(ipu)、视觉处理单元(vpu)、或图形处理单元。
92.npu(诸如608)被配置成加速常见机器学习任务(诸如图像分类、机器翻译、对象检测以及各种其他预测模型)的执行。在一些示例中，多个npu可在单个芯片(诸如片上系统(soc))上实例化，而在其他示例中，多个npu可以是专用神经网络加速器的一部分。
93.npu可被优化用于训练或推断，或者在一些情形中被配置成平衡两者之间的性能。对于能够执行训练和推断两者的npu，这两个任务一般仍可独立地执行。
94.被配置成加速训练的npu一般被配置成加速新模型的优化，这是涉及输入现有数据集(通常是被标记的或含标签的)、在数据集上进行迭代、并且随后调整模型参数(诸如权重和偏置)以便提高模型性能的高度计算密集的操作。一般而言，基于错误预测进行优化涉及往回传播通过模型的各层并确定梯度以减少预测误差。
95.被设计成加速推断的npu一般被配置成在完整模型上操作。此类npu由此可被配置成：输入新的数据片段并通过已经训练的模型对其快速处理以生成模型输出(例如，推断)。
96.在一种实现中，npu 608是cpu 602、gpu 604和/或dsp 606中的一者或多者的一部分。
97.在一些示例中，无线连通性组件612可包括例如用于第三代(3g)连通性、第四代(4g)连通性(例如，4g lte)、第五代连通性(例如，5g或nr)、wi-fi连通性、蓝牙连通性、以及其他无线数据传输标准的子组件。无线连通性处理组件612进一步连接到一个或多个天线614。
98.处理系统600还可包括与任何方式的传感器相关联的一个或多个传感器处理单元616、与任何方式的图像传感器相关联的一个或多个图像信号处理器(isp)618、和/或导航处理器620，该导航处理器620可包括基于卫星的定位系统组件(例如，gps或glonass)以及惯性定位系统组件。
99.处理系统600还可包括一个或多个输入和/或输出设备622，诸如屏幕、触敏表面(包括触敏显示器)、物理按钮、扬声器、话筒等等。
100.在一些示例中，处理系统600的一个或多个处理器可基于arm或risc-v指令集。
101.处理系统600还包括存储器624，该存储器624代表一个或多个静态和/或动态存储器，诸如动态随机存取存储器、基于闪存的静态存储器等。在该示例中，存储器624包括计算机可执行组件，其可由处理系统600的前述处理器中的一个或多个处理器执行。
102.具体而言，在该示例中，存储器624包括机器学习组件624a，其可以根据本文所描述的一个或多个方面来配置。例如，机器学习组件624a可以使用被配置有一个或多个广播式残差学习块的一个或多个机器学习模型(例如，神经网络)来提供数据或音频分析。
103.存储器624进一步包括一组频率逐深度内核624b以及一组时间逐深度内核624c。如以上所讨论的，频率逐深度内核624b一般包括具有在频率维度上大于1的长度的一维内核，而时间逐深度内核624c包括具有在时间维度上大于1的长度的一维内核。
104.频率逐深度内核624b一般可被用来执行频率逐深度卷积(例如，图1中的卷积操作110)，而时间逐深度内核624c一般可用来执行时间逐深度卷积(例如，图1中的卷积操作
130)。
105.处理系统600进一步包括机器学习电路626，诸如例如上面关于图1-5所描述的。
106.尽管出于清楚起见在图6中被描绘为单独的电路，但机器学习电路626可以实现在处理系统600的其他处理设备中，诸如在cpu 602、gpu 604、dsp 606、npu 608等内。
107.一般而言，处理系统600和/或其组件可被配置成执行本文所描述的方法。
108.值得注意的是，在其他方面，处理系统600的各方面可被略去，诸如在处理系统600是服务器计算机等的情况下。例如，在其他方面，多媒体组件610、无线连通性612、传感器616、isp 618和/或导航组件620可被略去。进一步，处理系统600的各方面可以是分布在多个设备之间。
109.所描绘的组件以及其他未描绘的组件可被配置成执行本文所描述的方法的各个方面。
110.示例条款
111.条款1：一种方法，包括：接收包括频率维度和时间维度的输入张量；使用第一卷积操作处理该输入张量以生成包括该频率维度和该时间维度的多维中间特征图；使用频率维度减少操作来将该多维中间特征图转换成该时间维度上的一维中间特征图；使用第二卷积操作来处理该一维中间特征图以生成时间特征图；使用广播操作将该时间特征图扩展到频率维度以生成多维输出特征图；以及经由第一残差连接使用该多维中间特征图来扩增该多维输出特征图。
112.条款2：如条款1的方法，其中该多维中间特征图是二维中间特征图。
113.条款3：如条款1-2中任一者的方法，进一步包括：经由第二残差连接使用该输入张量来扩增该多维输出特征图。
114.条款4：如条款1-3中任一者的方法，其中第一卷积操作使用具有在频率维度上大于1且在时间维度上等于1的大小的一个或多个逐深度卷积内核。
115.条款5：如条款1-4中任一者的方法，其中输入张量是从被配置成改变该输入张量中的通道的数目的逐点卷积操作输出的。
116.条款6：如条款1-5中任一者的方法，进一步包括：在将该多维中间特征图转换成一维中间特征图之前对该多维中间特征图执行子频谱归一化(ssn)操作。
117.条款7：如条款1-6中任一者的方法，其中，该ssn操作包括：将该多维中间特征图划分成频率维度上的多个子带；以及对该多个子带中的每个子带执行批归一化。
118.条款8：如条款1-7中任一者的方法，其中该频率维度减少操作包括以下至少一者：最大池化操作、平均池化操作、或卷积操作。
119.条款9：如条款1-8中任一者的方法，其中第二卷积操作包括逐深度可分离卷积操作，其中该逐深度可分离卷积操作的逐深度卷积被配置成使用具有在频率维度上等于1且在时间维度上大于1的大小的一个或多个逐深度卷积内核。
120.条款10：如条款1-9中任一者的方法，其中该逐深度可分离卷积操作的逐点卷积被配置成在该逐深度卷积之后使用一个或多个逐点卷积内核。
121.条款11：如条款1-10中的任一者所述的方法，其中：该输入张量包括输入音频特征；并且第一卷积操作和第二卷积操作是被配置成对该输入音频特征进行分类的广播残差神经网络的一部分。
122.条款12：一种系统，包括用于执行根据条款1-11中任一者的方法的装置。
123.条款13：一种系统，包括：包括计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器被配置成执行计算机可执行指令并使得该处理系统执行根据条款1-11中任一者的方法。
124.条款14：一种包括计算机可执行指令的非瞬态计算机可读介质，这些计算机可执行指令在由处理系统的一个或多个处理器执行时使得该处理系统执行根据条款1-11中任一者的方法。
125.条款15：一种被实施在计算机可读存储介质上的计算机程序产品，包括用于执行根据条款1-11中任一者的方法的代码。
126.附加考虑
127.提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各个方面。本文中所讨论的示例并非是对权利要求中阐述的范围、适用性或者方面的限定。对这些方面的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。例如，可以对所讨论的要素的功能和布置作出改变而不会脱离本公开的范围。各种示例可恰适地省略、替代、或添加各种规程或组件。例如，可以按与所描述的次序不同的次序来执行所描述的方法，并且可以添加、省略、或组合各种步骤。而且，参照一些示例所描述的特征可在一些其他示例中被组合。例如，可使用本文中所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者不同于本文中所阐述的本公开的各个方面的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
128.如本文所使用的，术语“示例性”意指“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
129.如本文中所使用的，引述一列项目“中的至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多重相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。
130.如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及类似动作。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)及诸如此类。而且，“确定”可包括解析、选择、选取、建立及诸如此类。
131.如本文所使用的，在本文中描述的各元件之间共享电子信号和数据的上下文中，术语“连接到”一般可以指处于在彼此连接的相应元件之间的数据通信。在一些情形中，元件可以彼此直接连接，诸如经由一条或多条导电迹线、线路或能够在彼此直接连接的相应元件之间承载信号和/或数据的其他导电载体。在其他情形中，元件可以彼此间接连接，诸如经由用于在彼此间接连接的相应元件之间传达信号和数据的一条或多条数据总线或类似的共享电路系统和/或集成电路元件。
132.本文中所公开的各方法包括用于实现方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的
特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。此外，上述方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)、或处理器。一般地，在存在附图中解说的操作的场合，这些操作可具有带相似编号的相应配对装置加功能组件。
133.以下权利要求并非旨在被限定于本文中示出的各方面，而是应被授予与权利要求的语言相一致的全部范围。在权利要求内，对单数元素的引用不旨在意指“有且只有一个”(除非专门如此声明)，而是“一个或多个”。除非特别另外声明，否则术语“一些/某个”指的是一个或多个。权利要求的任何要素都不应当在35u.s.c.
§
112(f)的规定下来解释，除非该要素是使用短语“用于
……
的装置”来明确叙述的或者在方法权利要求情形中该要素是使用短语“用于
……
的步骤”来叙述的。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文所公开的任何内容都不旨在捐献于公众，无论此类公开内容是否明确记载在权利要求书中。