神经网络训练方法和设备及数据处理设备的制造方法
【技术领域】
[0001]以下描述涉及神经网络训练方法、神经网络训练设备和数据处理设备。
【背景技术】
[0002]作为解决将输入图案分类为预定组的问题的方法，将人类所拥有的高效的图案识别方法应用于计算机的研究正活跃地进行。正在进行的研究的一种形式涉及通过数学表达式对人类神经细胞的生物特性进行建模而获得的人工神经网络。为了解决该问题，人工神经网络可使用基于人类的学习能力构建的算法。基于所述算法，人工神经网络可生成输入图案与输出图案之间的映射，该生成可表示人工神经网络具有学习能力。此外，人工神经网络可具有泛化能力，从而可基于学习结果生成关于在学习处理中未使用过的输入图案相对正确的输出。
【发明内容】
[0003]提供本
【发明内容】
来以简化的形式介绍在下面的【具体实施方式】中进一步描述的对构思的选择。本
【发明内容】
不意在标识所要求保护的主题的关键特征或必要特征，也不意在用来帮助确定所要求保护的主题的范围。
[0004]在一总体方面，提供一种基于训练数据的神经网络训练方法，所述方法包括:接收包括序列数据的训练数据；从神经网络中的隐藏节点选择参考隐藏节点；基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据来训练神经网络，剩余隐藏节点与之后时间间隔中的隐藏节点相连接，并且忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。
[0005]可在基于一项序列数据的神经网络的训练期间排除参考隐藏节点。
[0006]选择步骤可包括:从隐藏节点随机选择参考隐藏节点。
[0007]选择步骤可包括:响应于基于一项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点；训练步骤可包括:基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。
[0008]序列数据可包括语音数据、图像数据、生物数据和手写数据中的任意一个或任意组合。
[0009]所述方法还可包括:基于训练结果更新应用于神经网络的连接权重。
[0010]训练步骤可包括:基于预定重复次数控制神经网络重复学习训练数据。
[0011]神经网络可为递归神经网络，并可包括多个隐藏层。
[0012]—种非暂时性计算机可读存储介质可包括程序，所述程序包括用于使计算机执行所述方法的指令。
[0013]在另一总体方面，提供一种基于训练数据的神经网络训练方法，所述方法包括:接收包括序列数据的训练数据；从神经网络中的隐藏节点选择参考隐藏节点；在基于一项序列数据的神经网络的训练期间，通过从隐藏节点排除参考隐藏节点来训练神经网络。
[0014]通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点可与之后时间间隔中的隐藏节点相连接；并且可忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。
[0015]选择步骤可包括:响应于基于所述项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点；训练步骤可包括:基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。
[0016]在另一总体方面，提供一种基于训练数据的神经网络训练设备，所述设备包括:训练数据存储器，被配置为存储包括序列数据的训练数据；神经网络训练器，被配置为在基于一项序列数据的神经网络的训练期间，通过从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。
[0017]神经网络训练器可被配置为:响应于基于所述项序列数据的神经网络的训练结束，在基于另一项序列数据的神经网络的训练期间，通过从隐藏节点排除其他参考隐藏节点来训练神经网络。
[0018]在另一总体方面，提供一种数据处理设备，包括:训练器，被配置为通过在基于一项序列数据的神经网络的训练期间，从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。
[0019]可忽略参考隐藏节点与上层中的节点之间的连接。
[0020]可忽略参考隐藏节点与之后时间间隔中的节点之间的连接。
[0021]训练器可被配置为:在基于所述项序列数据的神经网络的训练期间，通过从每个时间间隔中的隐藏节点排除相同的参考隐藏节点来训练神经网络。
[0022]从以下【具体实施方式】、附图和权利要求，其它特征和方面将是清楚的。
【附图说明】
[0023]图1是示出神经网络训练设备的示例的示图。
[0024]图2和图3是示出在神经网络训练设备中基于序列数据训练神经网络的示例的示图。
[0025]图4是示出神经网络训练方法的示例的流程图。
[0026]图5是示出神经网络训练方法的另一示例的流程图。
[0027]图6是示出数据处理设备的示例的示图。
[0028]贯穿附图和【具体实施方式】，除非另外描述或规定，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不必成比例，并且为了清楚、说明和方便起见，可夸大附图中元件的相对尺寸、比例和绘示。
【具体实施方式】
[0029]提供以下详细描述来帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在此描述的系统、设备和/或方法的各种改变、修改及等同物对本领域的普通技术人员而言将是清楚的。所描述的处理步骤和/或操作的进展是示例；然而，除了必需按特定顺序发生的步骤和/或操作之外，步骤和/或操作的顺序不限于在此阐述的顺序，并且可如本领域中所知的那样改变。此外，为了更加清楚和简明，可省略对本领域的普通技术人员公知的功能和构造的描述。
[0030]在此描述的特征可以以不同的形式来实现，并且不应被解释为限于在此描述的示例。相反地，提供在此描述的示例，使得本公开将是全面而完整的，并且在此描述的示例将向本领域的普通技术人员传达本公开的全部范围。
[0031]图1是示出神经网络训练设备100的示例的示图。神经网络训练设备100训练神经网络或人工神经网络。神经网络可以是通过软件或硬件实施的通过使用由连接线连接的多个人工神经元来模拟生物系统的计算能力的识别模型。
[0032]神经网络的识别模型可识别序列数据，可用于诸如语音识别、图像识别、身体状态识别和手写识别的领域。序列数据可指具有时间性或序列的数据，例如，语音数据、图像数据、生物(b1metric)数据、手写数据和/或其它类型的数据。例如，神经网络的识别模型可识别输入语音数据中的内容或图像中出现的图形。此外，神经网络的识别模型可通过分析生物信号(例如，心电图(ECG)、脑电图(EEG)和/或其它类型的信号)识别用户的身体状态，并可通过分析用户的手势识别手写输入。作为一个示例，神经网络的识别模型可用于基于在脱氧核糖核酸(DNA)测序装置中测得的信号来估计恰当的DNA序列。
[0033]具有神经元的简化的生物功能的人工神经元可用于神经网络，并可通过具有连接权重的连接线互相连接。连接权重可以是连接线的预定值，并还可被表示为连接强度。神经网络可使用人工神经元执行人类认知功能或训练处理。人工神经元还可被称为节点。
[0034]神经网络可包括多个层。例如，神经网络可包括输入层、隐藏层和输出层。输入层可接收输入以执行训练，并将接收到的输入传输到隐藏层。输出层可基于从隐藏层的节点接收的信号生成神经网络的输出。隐藏层可设置在输入层和输出层之间，以将通过输入层传输的训练数据改变为容易预测的值。包括在输入层和隐藏层中的节点可通过具有连接权重的连接线互相连接，包括在隐藏层和输出层中的节点可通过具有连接权重的连接线互相连接。输入层、隐藏层和输出层的每个可包括多个节点。
[0035]神经网络可包括多个隐藏层。包括多个隐藏层的神经网络可被称为深度神经网络，深度神经网络的训练可被称为深度学习。包括在隐藏层中的节点可被称为隐藏节点。之前时间间隔(优选地，前一时间间隔)中的隐藏节点的输出可与当前时间间隔的隐藏节点相连接。此外，当前时间间隔中的隐藏节点的输出可与之后时间间隔(优选地，下一时间间隔)的隐藏节点相连接。在不同时