上执行。
[0054]本说明书中所述的过程和逻辑流程可以由一个或多个可编程计算机执行，其执行一个或多个计算机程序，通过对输入数据操作并产生输出来执行功能。过程或逻辑流程可以由专用逻辑电路执行，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)，并且装置可以实施为该专用逻辑电路。
[0055]适合于计算机程序的执行的计算机包括，示例性地可以基于通用或专用微处理器或二者，或者任何其他种类的中央处理单元。通常，中央处理单元会从只读存储器或随机存取存储器或二者接收指令和数据。计算机的必不可少的元件是中央处理单元，用于完成或执行指令，以及一个或多个存储器设备，用于存储指令和数据。通常，计算机还会包括或可操作地耦接以便从用于存储数据的一个或多个大容量储存设备接收数据或向其传送数据或者二者，所述大容量存储设备例如磁盘或磁光盘或光盘。但计算机不必具有这种设备。此夕卜，计算机可以嵌入在另一个设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收机、或便携式储存设备，例如通用串行总线(USB)闪存驱动器，仅列举几个。
[0056]适合于储存计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，示例性地包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及⑶ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或包含于其中。
[0057]为了提供与用户的交互，本说明书中所述的主题的实施例可以在具有用于向用户显示信息的例如CRT(阴极射线管)或LCD(液晶显示器)监视器的显示设备，和用户借助其可以向计算机提供输入的键盘及例如鼠标或跟踪球的指示设备的计算机上实施。其他种类的设备也可以用于提供与用户的交互；例如提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；来自用户的输入可以以任何形式接收，包括声音、语音或触觉输入。另外，计算机可以通过往来于由用户使用的设备发送文档并接收文档来与用户交互；例如通过响应于从用户客户机设备上的web浏览器接收的请求，向该web浏览器发送网页。
[0058]本说明书中所述的主题的实施例可以在计算系统中实施，该计算系统包括后端组件，例如作为数据服务器，或者包括中间件组件，例如应用服务器，或者包括前端组件，例如客户计算机，具有图形用户界面或Web浏览器，用户通过它可以与本说明书中所述主题的实现方式交互，或者一个或多个这种后端、中间件或前端组件的任意组合。系统的组件可以由任意形式或媒介的数字数据通信互连，例如通信网络。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。
[0059]计算系统可以包括客户机和服务器。客户机和服务器通常彼此远离，并且典型地通过通信网络交互。客户机与服务器的关系借助在相应的计算机上运行并相互具有客户机-服务器关系的计算机程序而产生。
[0060]尽管本说明书包含许多特定实现方式细节，但这些不应视为对任何发明的或者所要求的范围的限制，而是作为可以专用于特定发明的特定实施例的特征的说明。本说明书在单独实施例的语境中所述的某些特征可以在单一实施例中相结合地实施。相反，在单一实施例的语境中所述的多个特征也可以分别在多个实施例中实施，或者在任何适合的子组合中实施。此外，尽管以上可以将特征说明为在某些组合中操作，甚至最初如此要求了，但来自所要求的组合的一个或多个特征在一些情况下可以脱离该组合，并且所要求的组合可以针对子组合或者子组合的变形。
[0061]类似地，尽管按照特定顺序在附图中示出了操作，但这不应理解为要求按照所示的特定顺序或者以顺序的次序执行这种操作，或者执行全部所示的操作，以实现期望的结果。在某些环境下，多任务与并行处理会是有利的。此外，上述实施例中的多个系统模块和组件的分离不应理解为在所有实施例都要求这种分离，并且应将其理解为所述的程序组件和系统通常可以在单一软件产品中集成在一起或者封装到多个软件产品中。
[0062]说明了主题的特定实施例。其他实施例也在以下权利要求书的范围内。例如，在权利要求书中表述的操作可以按照不同顺序执行，但仍可以实现希望的结果。作为一个示例，在附图中所示的过程不必要求所示的特定顺序或者顺序的次序以便实现希望的结果。在某些实现方式中，多任务与并行处理会是有利的。
【主权项】
1.一种由一个或多个计算机执行的方法，所述方法包括: 获得输入序列，所述输入序列包括根据输入顺序排列的多个输入； 使用第一长短期记忆(LSTM)神经网络处理所述输入序列，以将所述输入序列转换为所述输入序列的可替换表示；以及 使用第二 LSTM神经网络处理所述输入序列的所述可替换表示，以产生所述输入序列的目标序列，所述目标序列包括根据输出顺序排列的多个输出。2.根据权利要求1所述的方法，其中，所述输入序列是可变长度输入序列。3.根据权利要求1或2所述的方法，其中，所述可替换表示是固定维度的向量。4.根据权利要求1至3任意一项所述的方法，其中，处理所述输入序列包括: 将句尾标志增加到所述输入序列的末尾以产生经修改的输入序列；以及 使用所述第一 LSTM神经网络处理所述经修改的输入序列。5.根据权利要求1至4任意一项所述的方法，其中，使用所述第二LSTM神经网络处理所述输入序列的所述可替换表示包括将所述第二 LSTM神经网络的隐藏状态初始化为所述输入序列的所述可替换表示。6.根据权利要求5所述的方法，其中，使用所述第二LSTM神经网络处理所述输入序列的所述可替换表示包括: 使用所述第二 LSTM神经网络处理所述输入序列的所述可替换表示以为一组可能目标序列的每一个产生相应的序列得分；以及 将具有最高序列得分的可能目标序列选择为所述输入序列的所述目标序列。7.根据权利要求6所述的方法，其中，所述一组可能目标序列包括长度变化的可能目标序列。8.根据权利要求6或7所述的方法，其中，使用所述第二LSTM神经网络处理所述输入序列的所述可替换表示包括: 使用应用左到右集束搜索解码的所述第二 LSTM神经网络处理所述可替换表示。9.根据权利要求1至8任意一项所述的方法，进一步包括: 使用随机梯度下降训练所述第一 LSTM神经网络和所述第二 LSTM神经网络。10.根据权利要求1至9任意一项所述的方法，其中，所述输入序列是第一语言的词语的序列，并且所述目标序列是所述词语的序列到第二语言的翻译。11.根据权利要求1至9任意一项所述的方法，其中，所述输入序列是词语的序列，并且所述目标序列是所述输入序列的自动编码。12.根据权利要求1至9任意一项所述的方法，其中，所述输入序列是字形的序列，并且所述目标序列是所述字形的序列的音素表示。13.—种系统，包括一个或多个计算机和存储可操作的指令的一个或多个储存设备，所述指令当由所述一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求1至12任意一项所述的相应的方法的操作。14.一种编码有指令的计算机储存介质，所述指令当由一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求1至12任意一项所述的相应的方法的操作。
【专利摘要】本发明涉及使用神经网络产生输入序列的表示的方法、系统、装置及计算机程序。方法之一包括获得输入序列，所述输入序列包括根据输入顺序排列的多个输入；使用第一长短期记忆(LSTM)神经网络处理所述输入序列，以将所述输入序列转换为输入序列的可替换表示；以及使用第二LSTM神经网络处理输入序列的可替换表示，以产生输入序列的目标序列，所述目标序列包括根据输出顺序排列的多个输出。
【IPC分类】G06F17/28, G10L15/16, G06N3/02
【公开号】CN105159890
【申请号】CN201510426401
【发明人】奥里奥尔·温亚尔斯, 国·V·勒, 伊利亚·苏特思科韦尔
【申请人】谷歌公司
【公开日】2015年12月16日
【申请日】2015年6月8日
【公告号】EP2953065A2, US20150356401