等面多面体球面量规卷积神经网络的制作方法

等面多面体球面量规卷积神经网络
1.相关申请的交叉引用
2.本技术要求于2020年9月23日提交的题为“icospherical gauge convolutional neural network(等面多面体球面量规卷积神经网络)”的美国临时专利申请no.17/030,361的权益，后者要求于2019年9月24日提交的题为“icospherical gauge convolutional neural network(等面多面体球面量规卷积神经网络)”的美国临时专利申请no.62/905,233的权益，这些申请的公开内容通过援引全部明确纳入于此。
3.公开领域
4.本公开的各方面一般涉及人工神经网络。更具体地，本公开涉及等面多面体球面量规卷积神经网络。
5.背景
6.常规网格(例如，图像平面)上卷积算子在计算意义上的简单性和效率并不扩展到其他网格/流形。例如，常规网格上的卷积算子并不扩展到球面流形，球面流形是经由恰适的成像设置获得的全向全景信号的自然嵌入空间。此外，由于局部参考系的多义性和非唯一性，球面流形上的常规卷积计算并不简单直接。相应地，不能仅通过简单的移位来将系数内核在球面流形上移位。
7.概述
8.在本公开的一方面，提供了一种方法。该方法包括在球面流形上的多个位置处生成局部定义的量规。该方法还包括在球面流形上的多个位置中的每个位置处参照局部定义的量规来计算卷积。进一步地，该方法包括基于量规等变性来转化在每个位置处的卷积的结果以获得对应的流形变换。
9.在本公开的另一方面，提供了一种装置。该装置包括存储器以及耦合至该存储器的一个或多个处理器。该(诸)处理器被配置成在球面流形上的多个位置处生成局部定义的量规。该(诸)处理器还被配置成在球面流形上的多个位置中的每个位置处参照局部定义的量规来计算卷积。附加地，该(诸)处理器被配置成基于量规等变性来转化在每个位置处的卷积的结果以获得对应的流形变换。
10.在本公开的另一方面，提供了一种装备。该装备包括用于在球面流形上的多个位置处生成局部定义的量规的装置。该装备还包括用于在球面流形上的多个位置中的每个位置处参照局部定义的量规来计算卷积的装置。进一步地，该装备包括用于基于量规等变性来转化在每个位置处的卷积的结果以获得对应的流形变换的装置。
11.在本公开的进一步方面中，提供了一种非瞬态计算机可读介质。该计算机可读介质具有编码在其上的程序代码。该程序代码由处理器执行并且包括用于在球面流形上的多个位置处生成局部定义的量规的代码。该程序代码还包括用于在球面流形上的多个位置中的每个位置处参照局部定义的量规来计算卷积的代码。附加地，该程序代码还包括用于基于量规等变性来转化在每个位置处的卷积的结果以获得对应的流形变换的代码。
12.本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员
还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
13.附图简述
14.在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
15.图1解说了根据本公开的某些方面的使用片上系统(soc)(包括通用处理器)来设计神经网络的示例实现。
16.图2a、2b和2c是解说根据本公开的各方面的神经网络的示图。
17.图2d是解说根据本公开的各方面的示例性深度卷积网络(dcn)的示图。
18.图3是解说根据本公开的各方面的示例性深度卷积网络(dcn)的框图。
19.图4a解说了根据本公开的各方面的以平坦表面来逼近球面的常规十二面体。
20.图4b解说了根据本公开的各方面的等面多面体球面。
21.图5a是解说了根据本公开的各方面的用于量规不变变换的从球体或球面流形到切平面的指数映射的示图。
22.图5b解说了根据本公开的各方面的示出关注点的切平面连同该切平面上的内插点。
23.图6解说了根据本公开的各方面的用于生成在球面流形上操作的卷积神经网络的方法。
24.详细描述
25.以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
26.基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个要素来实施。
27.措辞“示例性”在本文中用于意指“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
28.尽管描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
29.人工神经网络可以包括一群互连的人工神经元(例如，神经元模型)。人工神经网
络可以是计算设备或表示为由计算设备执行的方法。卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(cnn)(诸如深度卷积神经网络(dcn))具有众多应用。具体而言，这些神经网络架构被用于各种技术，诸如图像识别、模式识别、语音识别、自动驾驶和其他分类任务。
30.球面cnn是可处理球面上的信号(诸如，全球气候和天气模式或全向图像)的卷积神经网络。常规网格(例如，图像平面)上卷积算子在计意义上的简单性和效率并不扩展到其他网格/流形。例如，常规网格上的卷积算子并不扩展到球面流形，球面流形是经由恰适的成像设置获得的全向全景信号的自然嵌入空间。此外，由于局部参考系的多义性和非唯一性，球面流形上的常规卷积计算并不简单直接。相应地，将系数内核在球面流形上移位是复杂且麻烦的。
31.在许多科学和工程学科中，球面信号自然地涌现。在地球和气候科学中，全球分布的传感器阵列收集测量，诸如温度、压力、风向和许多其他变量。宇宙学家们感兴趣的是从球面天象图上采样的真实和模拟宇宙微波背景测量中标识物理模型参数。在机器人技术中，尤其是在应用(诸如，同时定位和映射(slam)和视觉里程计)中广泛地使用全向和鱼眼相机。直接在球面信号上操作的高效cnn可以是有益的。
32.本公开的各方面旨在利用量规等变性卷积来设计可在球面信号上操作的高效卷积网络实现。对称变换的等变性原理对神经网络架构设计提供了有理论依据的办法。等变性网络在展现对称性的视觉和医学成像问题上示出优异的性能和数据效率。该原理可从全局对称扩展到局部量规变换，其使得能在流形上开发一类非常通用的卷积神经网络，其仅依赖于内蕴几何并且包括来自等变性和几何深度学习的许多常用方法。
33.等变性原理被用于实现定义在等面多面体的表面上的信号的量规等变性卷积神经网络(cnn)，等面多面体提供了对球面的合理逼近。量规等变性卷积可使用单个二维卷积(conv2d)调用来实现，这使得该实现具有高度可伸缩性并且是对球面cnn的实用替换。量规等变性网络理论被应用于流形(例如，等面多面体)。该流形包括全局对称性(例如，离散旋转)，这些全局对称性示出了局部对称性与全局对称性的相互作用之间的差异。该流形的形状使得以既便于数值计算(不指定内插)，又计算高效率(繁重的工作由单个二维卷积(conv2d)调用完成)的方式实现量规等变性卷积成为可能，。然而，在等面多面体上的常规实现限于固定的内核，并且仅与常规二十面体的至多达六十个旋转对称等变。
34.本公开的各方面涉及一种用于生成在球面流形上操作的卷积神经网络的方法。所提议方法包括在球面流形上的多个位置处生成局部定义的量规。该方法还包括在球面流形上的多个位置中的每个位置处参照任意选择的局部定义的量规来定义卷积。进一步地，该方法包括基于量规等变性来转化在每个位置处所定义的卷积的结果以获得流形卷积。
35.在一个方面，球面流形或球面被参数化为等面多面体网格。流形卷积可基于局部定义的量规来被分布到球面流形的局部邻域。与该多个位置中的每个位置相关联的每个内核都是从相同函数推导出的局部变化内核。每个位置处每个所定义的卷积由局部连通层计算。因此，从球面的每个位置选择参考系或任意量规，并在每个位置处计算卷积，并且随后组合以形成最终结果。
36.在一方面，将量规变换及其对应的表示应用于二维卷积以获得卷积运算的广义化
定义。在任意流形上的特定位置处，将特征转化为该特定位置处的参考系或局部定义的量规。
37.本公开的各方面涉及处理球面类型的信号。球面信号的示例可以来自成像设备，诸如鱼眼、全景或全向型相机。因此，所提议的实现具有许多实际应用，包括但不限于图像识别、图像分割以及上述应用的记录设备上的检测。
38.本公开的各方面分析球面域或流形中的输入(例如，信号，诸如全球温度或气候数据)。所提议的实现影响气候科学，例如，使用机器学习进行天气预报。例如，所提议的实现可以用来分析全球温度随时间的趋势，以应对全球变暖。类似地，它可以被用来经由从卫星获得的影像来跟踪地球上的改变。
39.另一示例应用包括自动驾驶交通工具。例如，自动驾驶软件可以通过处理从周围环境收集的360度图像来使用所提议的实现，用于诸如避免碰撞、行人检测、定位等目的。在一个方面，相机被用于分类和标识物体，并且相机的输入可被投射到球面流形上
40.所提议的系统也可用于宇宙学处理。宇宙学数据可包括根据球面域处理的宇宙的观测的数据。例如，所提议的实现适合于处理和分析宇宙数据，其中由于从可观测的宇宙中收集了大量数据，因此处理实现的效率尤其重要。任务可能包括探测黑洞，或其他来自遥远星系或恒星的微弱信号。针对所提议的实现的其他应用包括形状分析、分子建模和三维(3d)形状识别。例如，根据本发明的各个方面，形状模型可以被间接投影到球面上并进行分析。
41.尽管本公开的各方面是参照球面流形所描述的，但相同的实现可通过极少修改或无需修改即扩展到任意流形，从而使其成为几何深度学习的通用过程。
42.图1解说了片上系统(soc)100的示例实现，其可包括被配置成用于卷积神经网络的高效处理的中央处理单元(cpu)102或多核cpu。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(npu)108相关联的存储器块中、与cpu 102相关联的存储器块中、与图形处理单元(gpu)104相关联的存储器块中、与数字信号处理器(dsp)106相关联的存储器块中、存储器块118中，或可跨多个块分布。在cpu 102处执行的指令可从与cpu 102相关联的程序存储器加载或可从存储器块118加载。
43.soc 100还可包括为具体功能定制的附加处理块，诸如gpu 104、dsp 106、连通性块110(其可包括第五代(5g)连通性、第四代长期演进(4g lte)连通性、wi-fi连通性、usb连通性、蓝牙连通性等)以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，npu 108实现在cpu 102、dsp 106、和/或gpu104中。soc 100还可包括传感器处理器114、图像信号处理器(isp)116、和/或导航模块120(其可包括全球定位系统)。
44.soc 100可基于arm指令集。在本公开的一方面，被加载到通用处理器102中的指令可包括：用于在球面流形上的多个位置处生成局部定义的量规的代码，用于在球面流形上的多个位置中的每个位置处参照局部定义的量规来计算卷积的代码，以及用于基于量规等变性来转化在每个位置处的卷积的结果以获得对应的流形变换的代码。
45.深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人
类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的相似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
46.深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
47.深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
48.神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
49.神经网络的各层之间的连接可以是全连通的或局部连通的。图2a解说了全连通神经网络202的示例。在全连通神经网络202中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。图2b解说了局部连通神经网络204的示例。在局部连通神经网络204中，第一层中的神经元可连接到第二层中有限数目的神经元。更一般化地，局部连通神经网络204的局部连通层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，210、212、214和216)。局部连通的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
50.局部连通神经网络的一个示例是卷积神经网络。图2c解说了卷积神经网络206的示例。卷积神经网络206可被配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，208)。卷积神经网络可能非常适合于其中输入的空间位置有意义的问题。
51.一种类型的卷积神经网络是深度卷积网络(dcn)。图2d解说了被设计成从来自图像捕捉设备230(诸如车载相机)的图像226输入识别视觉特征的dcn 200的详细示例。可对当前示例的dcn 200进行训练以标识交通标志以及在交通标志上提供的数字。当然，dcn 200可被训练用于其他任务，诸如标识车道标记或标识交通信号灯。
52.可以用受监督式学习来训练dcn 200。在训练期间，可向dcn 200呈递图像(诸如限速标志的图像226)，并且随后可计算“前向传递(forward pass)”以产生输出222。dcn 200可包括特征提取区段和分类区段。在接收到图像226之际，卷积层232可向图像226应用卷积核(未示出)，以生成第一组特征图218。作为示例，卷积层232的卷积核可以是生成28x28特征图的5x5核。在本示例中，由于在第一组特征图218中生成四个不同的特征图，因此在卷积层232处四个不同的卷积核被应用于图像226。卷积核还可被称为过滤器或卷积过滤器。
53.第一组特征图218可由最大池化层(未示出)进行子采样以生成第二组特征图220。最大池化层减小了第一组特征图218的大小。即，第二组特征图220的大小(诸如14x14)小于第一组特征图218的大小(诸如28x28)。减小的大小向后续层提供类似的信息，同时降低存储器消耗。第二组特征图220可经由一个或多个后续卷积层(未示出)被进一步卷积，以生成后续的一组或多组特征图(未示出)。
54.在图2d的示例中，第二组特征图220被卷积以生成第一特征向量224。此外，第一特征向量224被进一步卷积以生成第二特征向量228。第二特征向量228的每个特征可包括与图像226的可能特征(诸如，“标志”、“60”和“100”)相对应的数。softmax(软最大化)函数(未示出)可将第二特征向量228中的数转换为概率。如此，dcn 200的输出222是图像226包括一个或多个特征的概率。
55.在本示例中，输出222中关于“标志”和“60”的概率高于输出222的其他特征(诸如“30”、“40”、“50”、“70”、“80”、“90”和“100”)的概率。在训练之前，由dcn 200产生的输出222很可能是不正确的。由此，可计算输出222与目标输出之间的误差。目标输出是图像226的真值(例如，“标志”和“60”)。dcn 200的权重可随后被调整以使得dcn 200的输出222与目标输出更紧密地对齐。
56.为了调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”，因为其涉及在神经网络中的“反向传递(backward pass)”。
57.在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。在学习之后，可以向dcn呈递新图像并且在网络中的前向传递可产生输出222，其可被认为是该dcn的推断或预测。
58.深度置信网络(dbn)是包括多层隐藏节点的概率性模型。dbn可被用于提取训练数据集的阶层式表示。dbn可通过堆叠多层受限波尔兹曼机(rbm)来获得。rbm是一类可在输入集上学习概率分布的人工神经网络。由于rbm可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此rbm经常被用于无监督式学习。使用混合无监督式和受监督式范式，dbn的底部rbm可按无监督方式被训练并且可以用作特征提取器，而顶部rbm可按受监督方式(在来自先前层的输入和目标类别的联合分布上)被训练并且可用作分类器。
59.深度卷积网络(dcn)是卷积网络的网络，其配置有附加的池化和归一化层。dcn已在许多任务上达成现有最先进的性能。dcn可使用受监督式学习来训练，其中输入和输出目
标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
60.dcn可以是前馈网络。另外，如上所述，从dcn的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。dcn的前馈和共享连接可被利用于进行快速处理。dcn的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。
61.卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕获色彩信息的第三维度。卷积连接的输出可被认为在后续层中形成特征图，该特征图(例如，220)中的每个元素从先前层(例如，特征图218)中一定范围的神经元以及从该多个通道中的每个通道接收输入。特征图中的值可以用非线性(诸如矫正，max(0,x))进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
62.深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
63.图3是解说深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3中示出的，深度卷积网络350包括卷积块354a、354b。卷积块354a、354b中的每一者可配置有卷积层(conv)356、归一化层(lnorm)358、和最大池化层(max pool)360。
64.卷积层356可包括一个或多个卷积过滤器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块354a、354b，但本公开不限于此，而是代之以根据设计偏好可将任何数目的卷积块354a、354b包括在深度卷积网络350中。归一化层358可对卷积过滤器的输出进行归一化。例如，归一化层358可提供白化或侧向抑制。最大池化层360可提供在空间上的降采样聚集以实现局部不变性以及维度缩减。
65.例如，深度卷积网络的并行过滤器组可被加载到soc 100的cpu 102或gpu 104上以达成高性能和低功耗。在替换实施例中，并行过滤器组可被加载到soc 100的dsp 106或isp 116上。另外，深度卷积网络350可访问其他可存在于soc 100上的处理块，诸如分别专用于传感器和导航的传感器处理器114和导航模块120。
66.深度卷积网络350还可包括一个或多个全连通层362(fc1和fc2)。深度卷积网络350可进一步包括逻辑回归(lr)层364。深度卷积网络350的每一层356、358、360、362、364之间是要被更新的权重(未示出)。每一层(例如，356、358、360、362、364)的输出可以用作深度卷积网络350中一后续层(例如，356、358、360、362、364)的输入以从第一卷积块354a处供应的输入数据352(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。深度卷积网络350的输出是针对输入数据352的分类得分366。分类得分366可以是概率集，其中每个概率是输入数据包括来自特征集的特征的概率。
67.本公开的各方面旨在利用量规等变性卷积来设计可在非平面(例如，球面)信号上操作的高效卷积网络过程。球面流形s2上的局部定义的量规为流形上的每个点p指派从标准平面到球面在p点处的切平面t
p
s2的线性映射局部定义的量规允许将流形卷积的计算分布到局部邻域。例如，在球面流形s2中的每个位置或点p处，可参照任意选取的量规来定义卷积。最后，量规等变性确保了局部计算的结果可以被有意义地相互转化。即，对应的流形变换可以基于量规等变性来确定。
68.量规卷积神经网络(cnn)中的特征空间可被建模为流形m上的场f。例如，输入数据可以是地球上风向的向量场，或平面(例如，灰度图像)上强度值的标量场，或上的扩散张量场。此类量(例如，标量、向量、张量等)可被称为几何特征，这些几何特征可被应用于几何特征场。
69.在计算机科学中，向量或张量可被视为数的列表或阵列，但从物理或数学角度来看，这些是独立于坐标或基选择存在的几何量。然而，为了以数值方式表示几何特征，可在每个位置p∈m处选择用于切平面空间t
p
m的帧。帧的平滑选择是一量规。从数学上讲，d维流形m上的量规可被定义为一组线性映射，其由流形上的点p平滑参数化：(参见式1)。在具有可取向的度量张量的流形(诸如球面)上，量规的选取可以限于一组取向的正交量规。在该情形中，任何两个量规w，w
′
在点p处由d维旋转so(d)群中的元素r
p
相关，使得
70.量规变换的应用可影响几何特征的系数。这是因为量规的选取是任意的。首先考虑点或位置p处用于的标准基向量(c1，e2)的系数(位置p∈m处切平面空间t
p
m中切向量v的f(p)＝v，被表达相对于正交帧(w
p
(e1)，w
p
(e2))的数对v＝(v1，v2))。如果帧在位置p由平面旋转群so(2)中的元素r使用式来旋转，则系数向量变换为在其矩阵表示中将平面旋转r∈so(2)视作作用于v的这两个系数的两行两列矩阵。向量是抽象的几何量，对量规变换不变化，使得：v＝(w
p
r)r-1
v＝w
p
v。在一些方面，量规变换可被定义为平滑变化的旋转选择r
p
∈so(2)。然而，本公开并不局限于此，量规变换也可被另行定义。
71.超出标量(其对量规变换不变)和向量(像那样变换)之外，可以考虑更一般种类的几何特征。例如，(2，0)张量是向量v，w∈t
p
m的张量积(的线性组合)。给定一帧，此类张量可被表示为d
×
d矩阵。在帧的改变下，矩阵f(p)可以像那样变换。矩阵f(p)可以被压平为d2维坐标向量f(p)，并且该变换可被表达为其中是克罗内克积。
72.张量积是群表示的示例。该群表示可以是映射其取g(其中g是so(2))的每个元素r映射至作用于c维特征向量的可逆矩阵ρ(r)。如果可逆矩阵ρ(r)满足ρ(rr
′
)＝ρ(r)ρ(r
′
)(可针对其检查张量/克罗内克积)，则该矩阵被视为一种表示。
73.因此，量规变换下的像那样变换的几何特征场可被广义化以用于so(2)的任何群表示ρ。此类场被称为ρ场或ρ类型场。在量规等变性cnn中，可以为网络
的每个特征空间选择确定由该层学习的特征类型的表示ρ。可构建网络，以使得应用于输入的量规变换可在每个特征空间中导致对应的量规变换。在一个示例中，ρ可被选为块对角，包含例如数个标量场(1
×
1块pi(r)＝1)、数个向量场等。每种类型特征的副本数目可被称为其多重性。
74.对于网络的每一层，输入和输出两者都可被解读为几何特征场。应用量规变换，输入系数可改变并且还对输出执行量规变换。即，在本公开的各方面，可以确定量规等变性。
75.根据本公开的各方面，可在对特征向量求和之前对其应用并行转运。给定从q到p的曲线，向量w∈tqm可以通过将旋转r
p
←q∈so(2)应用于其系数向量w来被转运到t
p
m。因为r
p
←qw可被解读为t
p
m中的向量，因此对向量v∈t
p
m，v+r
p
←qw的加法可被良好地定义。对于其他类型的几何特征，平行转运可经由ρ起作用，例如，加法v+ρ(r
p
←q)w。
76.围绕p∈m的局部邻域可经由指数映射由切平面来参数化。即，通过针对定义qv＝exp
pwp
v(其可被称为“简正坐标”)，可使用指数映射由正切向量对近旁的点q进行索引。随后，卷积可由以下操作来定义：对于每个近旁的点qv，通过计算将特征向量f(qv)转运到p，使用习得的内核来变换在p处的结果所得特征，并在中k的支持上对结果进行积分。内核k在特征f上的卷积运算由表示：
[0077][0078]
当且在一些方面仅当k(v)满足以下条件时，该运算才可被视为量规等变性：
[0079]
k(r-1
v)＝ρ
out
(r-1
)k(v)ρ
in
(r)
ꢀꢀ
(2)
[0080]
除了量规等变性之外，还可达成球面cnn至通过三维(3d)旋转群so(3)的元素对球面的任何旋转的等变性。即，如果对网络的输入应用3d旋转，则输出也旋转。
[0081]
在一个示例中，考虑球面上的局部贴片(例如，内核的支持)和在那里定义的信号。如果球面旋转，则贴片被移动到另一地方，并且它可改变其取向。移动贴片可能不是问题：在新位置处应用相同内核k，因此可预期新位置处的卷积结果等于旧位置处原始信号的卷积结果。然而，因为内核的取向由量规决定(该量规是任意的但是固定的)，并且因为贴片的取向可以通过围绕其中心旋转而被任意改变，所以在应用旋转之后，该内核和贴片可在不同的相对取向上匹配。幸运的是，由于内核满足式2，所以该结果等价于由ρ
out
作用的量规变换，并且因此也达成了so(3)等变性。相应地，在连续理论中，量规等变卷积也是so(3)等变得。
[0082]
信号可被表示为与有限数目个点相关联的值fi＝f(pi)的列表。可以假定内核k(v)具有局部支持，以使得对于某个半径r，如果||v||＞r，则k(v)＝0。等价地，仅当p与q之间的测地距离小于r时，q∈s2才可能对p∈s2处的卷积结果有贡献。相应地，可将p的邻居集合n(p)定义为从p开始半径r内的点q的集合。
[0083]
将量规卷积离散化的一种方式(参见式1)是将(用t
p
m标识的)上的积分用p的诸邻居上的和代替。每个邻居可经由对数映射：v
pq
＝log
p
q与正切向量相关联。这产生如下
近似：
[0084][0085]
量规卷积对形式为k(v
pq
)ρ
in
(r
p
←q)f(p)的诸消息求和。因此，诸邻居q的特征向量f(q)以可例如取决于：i)该流形经由r
p
←q和v
pq
的内蕴几何、以及ii)通过非各向同性(但量规等变的)可学习内核k(v
pq
)的方式被变换。
[0086]
离散量规卷积可在几个过程步骤中计算，其中一些步骤可在预计算期间作出，而另一些步骤可在前向传递期间作出：i)计算对数映射v
pq
＝log
p
q：，ii)计算并行转运器r
p
←q，iii)内核的构造/参数化，以及iv)内核和信号的线性收缩。
[0087]
在通用流形或网状上计算对数映射和并行转运器可以是复杂的。此外，因为m＝s2的实际几何是已知的(而不仅仅是离散近似)，所以所计算的对数映射和转运器的准确度不会如仅仅是网眼近似于球面的情况下那样受网眼类型或分辨率的影响。
[0088]
注意，因为r
p
←q是平面旋转，所以其可由其发送单个(非零)向量的位置确定。第一基向量可以用3d欧几里德坐标来表达。第一基向量被绕与pq平面正交的轴p
×
q旋转p与q之间的角∠(p，q)＝arccos《p，q》。所得向量位于p处的切平面。随后确定r
p
←q为该向量与t
p
s2中的第一基向量之间的角。
[0089]
在一些方面，可针对网格v中的每个点p和每个预计算转运角。这会产生一个大小为num_v
×
num_neigh的角阵列，其中num_v＝和是最大邻域大小。具有非最大数目邻居的节点可以用零填充。
[0090]
对于每一个和计算v
pq
＝log
p
q，它是t
p
s2中指向q方向且长度等于p与q之间的测地距离的向量。计算对数映射的一种方式是将3d欧几里德差分向量q-p投影到p处的切平面上。这产生了具有正确方向的向量然后，可缩放的长度，以使其匹配测地距离d(p，q)(其可被称为弧长)：
[0091][0092]
结果v
pq
＝log
p
q可以用极坐标来表达。这提供了两个阵列log_map_r(v的长度/径向坐标)和log_map_angle(v的角度部分，相对于p处的量规而言)。这两个阵列((log_map_r和log_map_angle)如前被塑形为num_v
×
num_neigh。因为几何和网格是固定的，所以这些阵列在训练之前仅被计算一次。
[0093]
内核k(v)可被定义为中的满足内核约束的连续矩阵值函数(参见式2)。在经典cnn中，用中的均匀像素网格操作，相邻像素的小(例如，3
×
3)集合可被定义为以使得该内核可在少量(例如，9个)点v(i)处被。这导致将k参数化为具有c
out
×cin
×3×
3可学习系数的阵列。
[0094]
在球面上，可能不存在完全均匀的网格，因此取决于卷积被求值的点邻域结构n(p)可能是不同的。因此，k被求值的点也可能不同。为此，k可被参数化为分析地确定的连续基核的线性组合。可以学习k的线性系数。
[0095]
假定ρ_in和ρ_out是块对角的，以不可约表示(irreps)为块，则任何so(2)表示都可通过基的改变成为该形式。在该情形中，内核也可采用块结构，每个块对应于特定的输入/输出不可约表示，具有由整数频率n≥0标记的不可约表示。全内核可以逐块构造，其中输入和输出表示两者都是单个不可约表示。
[0096]
式2的分析解可被拆分成独立的径向部分和角向部分。对于从ρn映射到ρm的内核，角部分k(θ)的解如表1所示，而径向部分是无约束的。在表1，c
±
＝cos(m
±
n)θ，s
±
＝sin(n
±
n)θ。相应地，如果选取一组径向函数{ra(r)}，并且{kb(θ)}是角解的完整集合，则对于权重w，参数化内核为：该解可被表示为ki，以使得参数化内核为∑iw
iki
。基内核的数目被称为num_basis。
[0097][0098]
表1
[0099]
因为几何和网格是固定的，所以可预计算在所有点处求值的基内核。即，对于每一个和随输入表示ki(v
pq
)ρ
in
(r
p
←q)收缩的每个基内核可被求值。该预计算的结果是num_basis
×
num_v
×
num_neigh
×
c_out
×
c_in形状的阵列，其中c_in和c_out是p
in
和ρ
out
的维数并且也是输入和输出信号的通道数目。
[0100]
在每个v
pq
处计算了基内核后，离散化量规卷积(参见式3)可被计算为线性收缩。在这样做时，可扩展具有num_v
×
c_in形状的信号f(p)到num_v
×
num_neigh
×
c_in形状的如此，是p的第q个邻居处的信号值。
[0101]
随后，可以收缩具有基内核ki(v
pq
)ρ
in
(r
p
←q)和权重wi的信号以获得num_v
×
c_out形状的卷积结果ψ＊f。因为基内核ki只作用于一个in/out不可约表示对，所以它可能大多为零。
[0102]
在一些方面，网络的每一层可以是量规等变的，包括非线性。不可约表示特征不与
逐点非线性交换。然而，可将基变换为其中逐点非线性近似为量规等变的基。此后，该基可被变换回不可约表示。
[0103]
出于简单起见，假定该表示是的u个副本。一个此副本可被视为带限为m的圆形信号的离散傅里叶模式。离散傅里叶逆变换(dft)矩阵可将这些模式映射到n个空间样本。在2π/n倍数的量规变换下，采样可以被循环移位。结果所得的表示由此可被称为正则表示，并且因此该规程可被称为正则非线性。在这些采样上逐点作用的非线性(诸如，校正线性单元(relu))与此类量规变换交换。
[0104]
计算的一种办法是对n(p)处的采样值进行内插，以获得上的连续函数，并且随后使用正交积分以获得更精确的积分值。正交积分是用有限和来逼近积分的一种通用数值技术。对于区域a和函数g，积分∫ag(x)dx可由∑
x∈l
ω
x
g(x)逼近，其中是一组有限的正交点，每个正交点都有一个权重ω
x
。目标是选择i和ω
x
，以使得对于满足某些正则性假定(例如，带限)的函数g而言该逼近是准确的(或甚至是确切的)。例如，区域a可以是具有如内核的支持半径r那样的半径的碟形。
[0105]
c∈i处的信号通过内插从n(p)处的信号推断：
[0106][0107]
其中k(c，q)＝exp(-||c-iogp(q)||2/σ2)是缩放比例为σ的高斯内核，其衡量切空间中c与q之间的距离，并且是归一化常数。
[0108]
可由正交积分来计算上的积分：
[0109][0110]
式6的卷积可在经均匀化的邻域上求和，并且因此可以更加等同于球面的旋转。例如，如果使用大量正交点，则等变性可得以改进，这可能增加计算成本。然而，由于线性运算的组合是线性的，因此可以将其简化：
[0111][0112][0113][0114]
以得到新核该新核可被预计算一次，从而使得运行时期间的卷积仅涉及诸邻居上的和，就像式3中的卷积一样。因此，内插不影响计算成本。
[0115]
图4a是解说了示例二十面体400的示图。参照图4a，二十面体400是球面的粗略逼近。二十面体400是凸多面体。二十面体400是类似球面的柏拉图式实体。二十面体400有二十个平坦面402a-t、三十条边404a-dd和十二个顶点406a-l。二十面体400或其网格上的点在三维欧几里德空间中与原点(0，0，0)的距离不同。由于局部平坦性，量规等变性卷积可被约简为具有经由简单索引执行得特征转运的常规二维卷积(conv2d)。相应地，与二十面体400相关联的许多数学定义(例如，指数映射)被平凡化。
[0116]
图4b是解说了根据本公开的各方面的示例等面多面体网格s2450的示图。参照图4b，等面多面体网格450是对二十面体400的此柏拉图式实体的特定采样。可选择并连接三角形面(例如，454a-n)上的点或位置，以使得其像网一样覆盖对象。网格可以对球面上的连续信号进行采样或离散化。
[0117]
图5a是解说了根据本公开的各方面的用于量规不变变换的从球面或球面流形502到切平面504的指数映射的示图500。参照图5a，球面流形502上的点p被投影到切平面504。线性映射或量规w
p
被定义为使用量规w
p
，指数映射取切向量v∈t
p
m，并且以一个单位时间||v||的速度从点p开始，沿着测地线506到达在球面流形502上的点qv＝exp
p
v∈m处。
[0118]
图5b解说了示出切平面550上的关注点(p)552和内插点554(例如，554a-f)的切平面550。对于每个关注点552，该组点位于相对于其对应关注点的相同位置。来自(在等面多面体球面上的)诸邻居p的信号被内插到内插点554a-554f，藉此恰适地对量规进行转向。可对这些内插点554a-554f执行卷积(例如，式1中所提议的卷积运算)。在一个方面，内插作为预计算步骤执行，从而使得内插的次数不影响训练时间。因此，在运行时期间，求和只针对诸邻居，而不是所有内插点。
[0119]
然而，由于不同的内插权重和不同的量规转向，卷积运算不将一个顶点(例如，第一关注点p)的诸邻居与另一顶点(例如，关注点p1(未示出))的诸邻居同等对待。不同邻居的对待差异与平面cnn和等面多面体cnn(例如，式1中所提议的卷积运算)两者形成对比，平面cnn和等面多面体cnn可使用单个内核并应用常规单个二维卷积(conv2d)。
[0120]
邻域扩展实现改进了卷积实现。邻域扩展实现从每个顶点p处的信号向量f(p)开始。对于每个关注点p，分配至多达m个邻居q。对信号向量f(p)进行索引以对于q＝0...m形成张量f(p，q)。例如，张量f(p，3)是顶点p的第三邻居处的信号。随后，式1中所提议的卷积运算可应用于张量f(p，q)。可调整邻域扩展实现的一些操作的执行次序，以减少相对于常规网格上的卷积而言的附加存储器需求。例如，可通过关注张量的结果矩阵的非零块来改进邻域扩展实现的效率。即，非零块可以被应用于相关的输入和输出向量。
[0121]
本公开的各方面对于so(3)的任意群动作(例如，3d旋转群)更稳健(近似等变)，比其他实现(例如，根据傅里叶域操作的实现，其计算限制性强)更快且更具可伸缩性。
[0122]
图6是解说根据本公开的各方面的用于生成在球面流形上操作的卷积神经网络的方法600的示图。如图6中所示，在框602处，在球面流形的多个位置处生成局部定义的量规。局部定义的量规对应于切平面及其对应的关注位置。例如，参照图5a，线性映射或量规w
p
被定义为使用量规w
p
，指数映射取切向量v∈t
p
m，并且以一个单位时间||v||的速度从点p开始，沿着测地线506到达在球面流形502上的点qv＝exp
p
v∈m处。
[0123]
在框604处，参照局部定义的量规在球面流形上的多个位置中的每个位置处计算卷积。例如，如参照式1所描述的，卷积可通过计算来将每个近旁点qv、特征向量f(qv)转运到p来定义。在一些方面，可任意选择局部定义的量规。附加地，在流形的不同位置处可不同地定义局部定义的量规。
[0124]
在框606处，基于量规等变性来在每个位置处转化卷积的结果以获得对应的流形变换。如参照式1所描述的，卷积被定义，以使得点p处的结果特征可以使用习得的内核进行变换，并在中k的支持上对结果进行积分。
[0125]
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(asic)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
[0126]
如所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
[0127]
如所使用的，引述一列项目“中的至少一者”的短语指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
[0128]
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，dsp与微处理器的组合、多个微处理器、与dsp核心协同的一个或多个微处理器、或任何其他此类配置。
[0129]
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(ram)、只读存储器(rom)、闪存、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、寄存器、硬盘、可移动盘、cd-rom等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可被整合到处理器。
[0130]
所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
[0131]
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处
理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
[0132]
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、dsp处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(ram)、闪存、只读存储器(rom)、可编程只读存储器(prom)、可擦式可编程只读存储器(eprom)、电可擦式可编程只读存储器(eeprom)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
[0133]
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或附加地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
[0134]
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经形态处理器以用于实现所描述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(asic)来实现，或者用一个或多个现场可编程门阵列(fpga)、可编程逻辑器件(pld)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
[0135]
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到ram中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
[0136]
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质
上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或无线技术(诸如红外(ir)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘、和蓝光碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。以上的组合应当也被包括在计算机可读介质的范围内。
[0137]
由此，某些方面可包括用于执行给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
[0138]
此外，应当领会，用于执行所描述的方法和技术的模块和/或其他恰适装置可由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合到服务器以促成用于执行所描述的方法的装置的转移。替换地，所描述的各种方法能经由存储装置(例如，ram、rom、诸如压缩碟(cd)或软盘之类的物理存储介质等)来提供，以使得一旦将该存储装置耦合到或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供所描述的方法和技术的任何其他合适的技术。
[0139]
将理解，权利要求并不被限于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。