信号处理系统的制作方法
【技术领域】
[0001] 本发明一般地设及用于信号处理的电子硬件、软件W及相关方法，具体地设及生 成依赖于并且表示先前学习的示例数据的数据的信号处理系统。
【背景技术】
[0002] 我们将主要描述采用神经网络和其它技术来生成和先前所学习的那些匹配的输 出数据示例的信号处理器。例如，信号处理器可W利用从零至九的手写数字的许多不同 示例训练并且然后可W被采用来从所学习的类别中的一个随机地生成新的示例。因此可 W从（训练示例的）学习的分布的集合生成输出，并且一般而言，还可W学习训练示例的 类别。我们还将描述不通过精确地指定类别而是替代地通过提供为训练示例定义"场境 (context)"的数据来使用外部输入来选择所生成的输出示例的类别的技术。信号处理器使 用示例及其场境来训练，并且之后场境数据能够被用来偏置输出示例的生成。
[0003] 此通用类型的信号处理器具有一应用范围。例如它们能够被用于利用或利用场境 的预测，并且因此在许多类型的图像和音频信号处理中W及在控制应用（例如预测机器人 手臂的位置）中W及在其它应用（例如针对假定药物发现的调优捜索技术）中有应用。信 号处理器/系统的实施例可W处理包括但不限于下列的数据：音频数据、视频数据、图像数 据、游戏数据、传感器数据、致动器数据、控制（包括电机控制）数据、生物数据、物理数据、 化学数据、空间数据、文本数据、捜索数据W及其它数据。
[0004] 已知使用波尔兹曼度01tzmann)机来提供如例如在2009年人工智能和统 计国际会议会刊第 5 卷第 448-455 页Salalduitdinov和Hinton的"DeepBoltzmann Machine"化ttp://www.CS.utoronto.Ca/~rsalaldui/papers/dbm.P壯）中描述的所谓的 再生模型。然而，深度波尔兹曼机需要大量处理能力来实现。
[0005] 还能够采用Helmholtz机来提供再生模型，但是同时运样的机器具有在实践中它 们非常慢地学习的一些有趣特征并且它们生成的输出示例是差的。
[0006] 我们将描述解决运两个问题的改进的信号处理器和相关架构。
【发明内容】
[0007] 根据本发明的第一方面，因此提供了信号处理器，所述信号处理器包括：概率向量 生成系统，其中，所述概率向量生成系统具有用于为输出示例的类别接收类别向量的输入 端W及用于为输出示例的所述类别提供概率向量的输出端，其中，所述输出示例包括数据 点的集合，并且其中，所述概率向量针对输出示例的所述类别定义数据点的所述集合中的 每一个的概率；存储器，所述存储器存储多个所述类别向量，输出示例的多个所述类别中的 每一个各一个；W及随机选择器，所述随机选择器用于选择输出示例的所述存储的类别W 用于将所对应的类别向量呈现给所述概率向量生成系统；其中，所述信号处理器被配置成 针对与所选择的存储的类别相对应的输出示例来输出数据。
[0008] 在实施例中，已经通过使用一组示例来训练信号处理器而学习类别向量与概率向 量W及所存储的类别向量本身之间的关系，如在下面进一步描述的。训练系统可W包括信 号处理器的一部分，或者可W在创建信号处理器的实例时训练信号处理器中的变量参数， 并且之后信号处理器可W独立于训练模块/系统操作。在一些优选实施方式中，概率向量 生成系统操作来在定义输出数据点的集合的概率的概率向量（输出向量）与作为类别向量 的概率向量的压缩表示之间转化。因此在实施例中，类别向量是概率向量的压缩表示。
[0009] 可W使用神经网络、具体地使用确定性（而不是随机）神经网络来实现数据压缩。 采用该类型的共享映射系统减小待由信号处理器学习的参数的数目，因为实际上，神经网 络的权重对于所有压缩表示（类别）是共同的。此外采用确定性神经网络通过在信号处理 器的训练期间便于权重的确定性封闭形式计算来反直觉地便于学习。
[0010] 技术人员应当了解，在该场境中，对确定性的引用是权重计算并且不排除例 如"信号丢失"技术的使用W减小其中潜在地存在许多自由度的复杂互相适应的风险 化inton等人'ImprovingNeuralNetworksbyPreventingCo-adaptationofFeature Detectors' ,Arxiv: 1207. 0580vl, 2012年7月3日）。更一般地在引用"确定性"神经网 络的本说明书中，运应该被认为例如包括采用信号丢失或类似技术来在训练期间减小过度 拟合的神经网络。
[0011] 如先前所提到的，优选地概率向量生成系统包括确定性神经网络，例如非线性多 层感知器。运里，通过非线性，意味着网络中的神经元中的一个或多个层具有非线性传递函 数，使得该网络不限于拟合仅仅线性数据。技术人员将认识到，原则上，映射不必由神经网 络执行而是可W通过任何确定性函数（例如大多项式、样条函数等）执行，但是在实践中运 样的技术因为随着输入/输出向量的长度增加所需的参数的数目的指数增长而是不期望 的。
[0012] 信号处理器的一些优选实施方式包括用于接收（针对训练示例和/或输出示例） 定义多个类别中的每一个的相对可能性的场境向量的场境向量输入端。运然后可W将输入 提供给随机选择器，使得对输出示例的类别的选择依赖于场境（向量）。然后场境向量或从 场境向量得到的数据可W作为另一个输入被提供给概率向量生成系统，在实施例中作为对 确定性神经网络的附加向量输入。因此运个网络的输入层可W具有用于接收从存储运些向 量的存储器输出的类别向量的节点的第一集合W及用于接收场境向量的节点的第二集合。
[0013] 在一些优选实施例中，场境向量的长度可W与类别的数目不同并且映射单元被包 括来彼此转换。该映射单元优选地包括第二神经网络，优选地为确定性神经网络，优选地为 非线性的（包括从节点的至少一个层应用于信号的非线性函数）。在实施例中运个映射单 元包括第二多层感知器。随机选择器然后可W根据由长度K(类别的数目）的修改场境向 量所定义的一组概率来选择类别。在运样的系统中，如果不存在外部场境，则可W将场境向 量或从映射单元输出的长度K的已修改场境向量定义为恒定的（即，将类别设定为等可能 的）。
[0014] 在场境向量不恒定的情况下场境向量映射神经网络应该具有至少一个隐藏层；类 似地在实施例中概率向量生成系统中的神经网络还优选地具有至少一个隐藏层，但是取决 于数据的复杂性，对于该神经网络来说两个或更多个隐藏层可能是优选的。为信号处理器 提供场境向量输入端使得来自学习的场境的输出示例能够被提供。尽管通常输出示例可 W包括大量的数据点（例如它可W是图像），并且场境向量将常常短得多（例如1-100个 值），但是运不是必要的。因此在其它实施方式中场境向量可能是大的，例如图像，并且输出 示例小，例如定义图像的分类或类别。在运种情况下可能不需要概率向量生成系统在概率 向量与类别向量之间提供数据压缩，在此情况下概率向量生成系统实际上可W提供恒等运 算（直通连接）。数据压缩然后可W由场境向量映射单元（A)有效地提供。
[0015] 对上面描述的信号处理器的一个特别有利的扩展在于连接链中的信号处理器的 序列，使得每个相继的信号处理器从链中的至少先前信号处理器（在实施例中从链中的所 有先前信号处理器）接收场境向量。更具体地，输入给链中的信号处理器的场境向量可W 包括在链的先前信号处理器中识别对随机选择器的选择的数据。在某种意义上运对应于先 前信号处理器关于输出示例必须生成的"看法"，因为所提供的是基于它已从训练示例学习 的可能性（分布）而选择的示例。可W紧跟在选择之后从各级向下一个信号处理器提供对 随机选择器的选择。因此信息可W作为概率向量或作为类别向量或者潜在地作为随机选择 (样本）与根据由概率向量所定义的概率而选择的数据值一起被提供。然而，优选使用"压 缩"类别向量级别数据，因为运减小后续信号处理器必须学习的参数的数目，并且实际上， 利用由先前信号处理器所学习的压缩映射（MLP-多层感知器-权重）。
[0016] 因此还应当了解，针对输出示例来自信号处理器的输出数据可W包括类别向量或 概率向量（针对输出示例的数据点定义可能性值），所述概率向量视需要可W被用于生成 输出示例。附加地或替选地输出可W包括输出示例本身，其中数据点值是根据由概率向量 所定义的对应概率随机地选择的。
[0017] 类似地，来自信号处理器的链的输出可W包括来自链的末端处理器的概率向量和 /或可W提供输出随机选择器W根据由该概率向量所定义的概率来生成输出示例。
[0018] 技术人员将认识到，取决于是否期望使信号处理器链依赖于外部场境向量输入， 在信号处理器的链中该链中的第一信号处理器可W或者可W不具有场境向量输入。
[0019] 信号处理器中可用的类别的数目是设计选择。部分地可W使该选择依赖于数据的 先验知识-非常粗略地可W预期存在有多少类别。例如在学习的手写数字情况下对于数 字0-9将预期10个不同的类别。然而，一般而言，提供非常大量的类别并且实际上允许信 号处理器的训练确定需要多少类别是有利的。理论上存在利用运样的方法的过度拟合的风 险（实际上信号处理器可W简单地记忆训练示例）。然而，在实践中，运不必是问题并且如 果它能够通过例如信号丢失或（对一个或两个神经网络）施加稀疏表示或W其它方式（例 如通过检测过度拟合并且调整（减小）自由参数的数目来解决。因此一般地期望提供大量 的类别。
[0020] 在一个方法中可W在单个信号处理器上实现大量的类别，但是在超过几千个类别 的情况下运变得计算昂贵。反直觉地在处理器链的每个处理器上实现相对少量的类别是更 加计算高效的：利用该方法类别的有效数目随着链中的处理器的数目（级别的数目）而按 指数地增长，同时从结构采样的计算成本随着处理器（级别）的数目而线性地增长，并且训 练链的计算成本随着级别的数目而次线性地增长。例如在假定20个类别和四个级别情况 下有效地存在20 4= 160, 000个类别。在单个处理器上实现的该相同数目的类别情况下不 存在完全对等，但是在计算成本上的巨大节省的灵活性方面存在很少减少。通过图示考虑 在每个处理器上具有两个类别的示例。第一处理器将数据域分成两个（一般而言按某个复 曲面划分），第二处理器然后将数据域内的运些类别中的每一个分成两个，第=处理器将由 第一处理器和第二处理器所创建的域中的每一个分成两个，依此类推。实际上由处理器所 接收到的场境向量标记由先前处理器所生成的可用区域中的哪一个，当前处理器将分割从 先前处理器继承的类别向量W压缩形式提供运个信息（它例如表示它已选择的图像的压 缩形式）。一个处理器接收针对假定图像定义先前处理器认为应该为输出示例的压缩图像 的类别向量，并且运与目前处理器有关输出示例图像的看法组合，目前处理器添加细节。运 个过程随着输出示例的顺序精化而往链下方继续。
[0021] 在相关方面中，因此，本发明提供用于从多个类别中的类别生成输出示例的信号 处理系统，其中，训练示例跨越所述多个类别的分布已由所述信号处理系统学习，所述信号 处理系统包括：信号处理器的链，其中，该链的每个信号处理器已学习所述训练示例跨越少 于所述多个类别的有限数目的类别的分布；其中，在链中的第一所述信号处理器之后的至 少每个所述信号处理器具有场境输入并且被配置成从W所述场境输入为条件的所述学习 的分布生成输出示例；其中，所述链中的每个相继的信号处理器从该链中前面的处理器接 收输出示例作为所述场境输入；其中，所述链中的第一所述输入处理器被配置成根据它学 习的分布随机地选择所述输出示例；并且其中，所述链中的最后所述信号处理器被配置成 提供输出示例和概率分布中的一个或两者W用于随机地选择所述输出示例。
[0022] 在另一个相关方面中，提供了用于从训练示例的多个学习的类别为输出示例生成 数据的信号处理的方法，所述方法包括：存储每个定义训练示例的学习的类别的多个类别 向量；随机地选择存储的所述类别向量；生成依赖于所述选择的类别向量的概率向量；W 及为所述输出示例输出数据，其中，所述输出示例包括每个具有由所