更多个处理器及一个或更多个控制器。此外，诸如并行处理器或多核处理器的不同处理配置是可行的。
[0097]被配置为实施软件组件以执行操作A的处理装置可包括:被编程为运行软件或执行指令以控制处理器来执行操作A的处理器。此外，例如，被配置为实施软件组件以执行操作A、操作B和操作C的处理装置可具有各种配置，例如，被配置为实施软件组件以执行操作A、操作B和操作C的处理器；被配置为实施软件组件以执行操作A的第一处理器，被配置为实施软件组件以执行操作B和操作C的第二处理器；被配置为实施软件组件以执行操作A和操作B的第一处理器，被配置为实施软件组件以执行操作C的第二处理器；被配置为实施软件组件以执行操作A的第一处理器，被配置为实施软件组件以执行操作B的第二处理器，被配置为实施软件组件以执行操作C的第三处理器；被配置为实施软件组件以执行操作A、操作B和操作C的第一处理器，被配置为实施软件组件以执行操作A、操作B和操作C的第二处理器，或者一个或更多个均实施操作A、操作B和操作C中的一个或更多个操作的处理器的任何其它配置。虽然这些示例提到三个操作(操作A、操作B和操作C)，但可实施的操作的数量不限于此，而可以是任意数量的实现期望结果或执行期望任务所需的操作。
[0098]用于控制处理装置实施软件组件的软件或指令可包括用于独立或共同地指示或配置处理装置来执行一个或多个期望的操作的计算机程序、代码段、指令或它们的一些组合。软件或指令可包括可由处理装置直接运行的机器代码(例如，由编译器生成的机器代码)和/或可由处理装置使用解释器运行的更高级代码。软件或指令和任何关联数据、数据文件、数据结构可以以机器、组件、物理或虚拟设备、计算机存储介质或装置、或能够向处理装置提供指令或数据或能够被处理装置解释执行的传播信号波中的任何类型被永久或暂时地实施。软件或指令和任何关联数据、数据文件和数据结构还可分布在网络连接的计算机系统中，从而软件或指令和任何关联数据、数据文件和数据结构以分散方式被存储和执行。
[0099]例如，软件或指令和任何关联数据、数据文件和数据结构可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质可以是能够存储软件或指令和任何关联数据、数据文件和数据结构的任何数据存储装置，从而软件或指令和任何关联数据、数据文件和数据结构可被计算机系统或处理装置读取。非暂时性计算机可读存储介质的示例包括只读存储器(R0M)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光数据存储装置、硬盘、固态盘或本领域普通技术人员已知的任何其它非暂时性计算机可读存储介质。
[0100]用于实施在此公开的示例的功能性程序、代码和代码段可由示例所属领域的程序员基于在此提供的附图和它们的相应描述而容易地构建。
[0101]虽然本公开包括特定示例，但是本领域普通技术人员将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可在形式和细节上对这些示例作出各种改变。在此描述的示例将被认为仅是描述性的意义，而不是为了限制的目的。对每个示例中的特征或方面的描述将被认为可用于其它示例中的相似特征或方面。如果所描述的技术以不同的顺序被执行和/或如果在所描述的系统、构架、装置或电路中的组件以不同的方式进行组合和/或由其它元件或它们的等同物替换或补充，则可获得恰当的结果。因此，本公开的范围不是通过【具体实施方式】限定的，而是通过权利要求和它们的等同物来限定的，在权利要求和它们的等同物范围内的所有变形将被解释为包括在本公开中。
【主权项】
1.一种基于训练数据的神经网络训练方法，所述方法包括: 接收包括序列数据的训练数据； 从神经网络中的隐藏节点选择参考隐藏节点； 基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据，来训练神经网络，剩余隐藏节点与之后时间间隔中的隐藏节点相连接，并且忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。2.如权利要求1所述的方法，其中，在基于一项序列数据的神经网络的训练期间排除参考隐藏节点。3.如权利要求1所述的方法，其中，选择步骤包括:从隐藏节点随机选择参考隐藏节点。4.如权利要求1所述的方法，其中， 选择步骤包括:响应于基于一项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点； 训练步骤包括:基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。5.如权利要求1所述的方法，其中，序列数据包括语音数据、图像数据、生物数据和手写数据中的任意一个或任意组合。6.如权利要求1所述的方法，还包括:基于训练结果更新应用于神经网络的连接权重。7.如权利要求1所述的方法，其中，训练步骤包括:基于预定重复次数控制神经网络重复学习训练数据。8.如权利要求1所述的方法，其中，神经网络为递归神经网络，并包括多个隐藏层。9.一种基于训练数据的神经网络训练方法，所述方法包括: 接收包括序列数据的训练数据； 从神经网络中的隐藏节点选择参考隐藏节点； 在基于一项序列数据的神经网络的训练期间，通过从隐藏节点排除参考隐藏节点来训练神经网络。10.如权利要求9所述的方法，其中: 通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点与之后时间间隔中的隐藏节点相连接； 忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。11.如权利要求9所述的方法，其中: 选择步骤包括:响应于基于所述项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点； 训练步骤包括:基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。12.—种基于训练数据的神经网络训练设备，所述设备包括: 训练数据存储器，被配置为存储包括序列数据的训练数据； 神经网络训练器，被配置为在基于一项序列数据的神经网络的训练期间，通过从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。13.如权利要求12所述的设备，其中: 神经网络训练器将通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点与之后时间间隔中的隐藏节点相连接； 神经网络训练器忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。14.如权利要求12所述的设备，其中，神经网络训练器被配置为: 响应于基于所述项序列数据的神经网络的训练结束，在基于另一项序列数据的神经网络的训练期间，通过从隐藏节点排除其他参考隐藏节点来训练神经网络。15.一种数据处理设备，包括: 训练器，被配置为在基于一项序列数据的神经网络的训练期间，通过从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。16.如权利要求15所述的数据处理设备，其中，训练器忽略参考隐藏节点与上层中的节点之间的连接。17.如权利要求15所述的数据处理设备，其中，训练器忽略参考隐藏节点与之后时间间隔中的节点之间的连接。18.如权利要求15所述的数据处理设备，训练器被配置为: 在基于所述项序列数据的神经网络的训练期间，通过从每个时间间隔中的隐藏节点排除相同的参考隐藏节点来训练神经网络。
【专利摘要】本发明提供一种神经网络训练方法和设备及数据处理设备。基于训练数据的神经网络训练方法包括：接收包括序列数据的训练数据，从神经网络中的隐藏节点选择参考隐藏节点。所述方法还包括：基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据，来训练神经网络，剩余隐藏节点与之后时间间隔中的隐藏节点相连接，并且忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。
【IPC分类】G06N3/08
【公开号】CN105320986
【申请号】CN201510242301
【发明人】文太燮, 李礼夏, 崔喜烈
【申请人】三星电子株式会社
【公开日】2016年2月10日
【申请日】2015年5月13日
【公告号】EP2977936A2, US20160026913