1.一种用于在训练数据上训练神经网络以生成规范化的输出的计算机实现的方法，所述规范化的输出能够根据规范化参数的集合映射到未规范化的输出，其中，所述训练数据包括训练项目的序列，并且对于所述序列中的每个训练项目包括相应的目标输出，所述方法包括对于所述序列中的每个训练项目：
更新所述规范化参数的当前值以考虑所述训练项目的目标输出；
通过根据更新后的规范化参数值对所述训练项目的目标输出进行规范化来确定所述训练项目的规范化的目标输出；
使用所述神经网络处理所述训练项目，以根据所述神经网络的主要参数的当前值来生成所述训练项目的规范化的输出；
使用所述规范化的目标输出和所述规范化的输出来确定所述训练项目的误差；以及
使用所述误差来调节所述神经网络的主要参数的当前值。
2.根据权利要求1所述的方法，其中，所述规范化参数包括所述规范化的移位参数和尺度参数。
3.根据权利要求2所述的方法，其中，确定所述规范化的目标输出包括将所述尺度参数的更新后的值和所述移位参数的更新后的值应用于所述目标输出。
4.根据权利要求1至3中的任一项所述的方法，其中，更新所述当前规范化参数值以考虑所述训练项目的目标输出包括：更新所述当前规范化参数值，使得直到并且包括所述序列中的所述训练项目的训练项目的规范化的目标输出具有指定分布。
5.根据权利要求1至4中的任一项所述的方法，其中，由所述神经网络生成的所述规范化的输出能够根据所述规范化参数和辅助参数的集合被映射到未规范化的输出。
6.根据权利要求5所述的方法，还包括：
更新所述辅助参数的当前值以即使更新了所述规范化参数的当前值也保持所述未规范化的输出和规范化的输出之间的映射。
7.根据权利要求6所述的方法，其中，更新所述辅助参数的当前值以即使更新了所述规范化参数的当前值也保持所述未规范化的输出与规范化的输出之间的映射包括：更新所述辅助参数的当前值以消除更新所述规范化参数的当前值对所述映射的影响。
8.根据权利要求6或7中的任一项所述的方法，其中，确定所述误差包括：
根据所述主要参数的当前值来处理所述训练输入以生成初始输出；以及
根据所述辅助参数的更新后的值来对所述初始输出进行规范化。
9.根据权利要求8所述的方法，其中，使用所述误差来调节所述神经网络的参数的当前值包括：
执行神经网络训练技术的迭代以调节所述神经网络的所述主要参数的当前值。
10.根据权利要求9所述的方法，还包括：
调节所述辅助参数的更新后的值以作为执行所述神经网络训练技术的迭代的一部分。
11.根据权利要求9或10中的任一项所述的方法，其中，所述神经网络训练技术是随机梯度下降(SGD)。
12.一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时能够操作为使得所述一个或多个计算机执行根据权利要求1至11中的任一项所述的相应方法的操作。
13.一种编码有指令的计算机存储介质，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行根据权利要求1至11中的任一项所述的相应方法的操作。