训练装置、训练方法以及检测装置的制造方法

训练装置、训练方法以及检测装置的制造方法
【技术领域】
[0001] 本公开总体上涉及神经网络，具体而言，涉及基于卷积神经网络模型的训练装置、 训练方法W及检测装置，并且尤其涉及一种用于对卷积神经网络模型进行训练的装置和方 法W及一种通过该装置或方法训练得到的卷积神经网络模型来对输入数据进行检测的装 置。
【背景技术】
[0002] 人工神经网络也简称为神经网络或称作连接模型，是一种模仿动物神经网络行为 特征，进行分布式并行信息处理的算法数学模型。送种网络依靠系统的复杂程度，通过调整 内部大量节点之间相互连接的关系，从而达到处理信息的目的。
[0003] 卷积神经网络（CNN)是人工神经网络的一种，并且在语音分析、图像识别等领域 取得越来越多的关注和应用。例如，近几十年来，手写体中文字符识别技术在工业界和研究 领域得到了广泛的关注并取得了很多进展，而基于卷积神经网络的识别技术是性能最好的 识别技术之一。存在改进卷积神经网络的效率和准确性的需求。

【发明内容】

[0004] 在下文中给出了关于本发明的简要概述，W便提供关于本发明的某些方面的基本 理解。应当理解，送个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是W简化的形式给出某些概 念，W此作为稍后论述的更详细描述的前序。
[0005] 鉴于现有技术的上述缺陷，本发明的目的之一是提供一种在特征提取过程中提取 多个方面的特征并对送些方面的特征进行竞争选择的用于对卷积神经网络模型进行训练 的装置和方法，W至少克服现有的问题。
[0006] 根据本公开的第一方面，提供一种用于对卷积神经网络模型进行训练的装置，其 包括特征获取及竞争单元W及模型训练单元。特征获取及竞争单元包括：获取子单元，被配 置成针对所述卷积神经网络模型的至少一个卷积层、获取训练样本数据的至少两个不同方 面的特征；W及竞争子单元，被配置成基于所述获取子单元获取的至少两个不同方面的特 征的对应元素，选择每个元素位置处的最优元素，W得到竞争结果特征。模型训练单元被配 置成在训练卷积神经网络模型的过程中，针对所述至少一个卷积层，应用所述竞争结果特 征来执行训练。
[0007] 根据本公开的另一方面，提供一种通过如本公开的第一方面所述的装置训练得到 的卷积神经网络模型来对输入数据进行检测的装置，该装置包括特征获取及竞争单元W及 检测单元。特征获取及竞争单元包括：获取子单元，被配置成提取所述输入数据的至少两个 不同方面的特征；W及竞争子单元，被配置成基于该获取子单元获取的至少两个不同方面 的特征的对应元素，选择每个元素位置处的最优元素，W得到竞争结果特征。检测单元被配 置成利用所述卷积神经网络模型、基于该竞争结果特征来进行检测。在所述进行检测的装 置中，所提取的所述输入数据的至少两个不同方面的特征与在训练所述卷积神经网络模型 时由所述进行训练的装置中的获取子单元获取的训练样本数据的至少两个不同方面的特 征是对应的。
[0008] 根据本公开的又一个方面，还提供一种对卷积神经网络模型进行训练的方法，包 括：针对所述卷积神经网络模型的至少一个卷积层，获取训练样本数据的至少两个不同方 面的特征；基于所获取的至少两个不同方面的特征的对应元素，选择每个元素位置处的最 优元素，W得到竞争结果特征；W及在训练卷积神经网络模型的过程中，针对所述至少一个 卷积层，应用所述竞争结果特征来进行训练。
[0009] 依据本公开的其它方面，还提供了一种使得计算机用作如上所述的对卷积神经网 络模型进行训练的装置的程序。
[0010] 依据本公开的又一方面，还提供了相应的计算机可读存储介质，该计算机可读存 储介质上存储有能够由计算设备执行的计算机程序，该计算机程序在执行时能够使计算设 备执行上述对卷积神经网络模型进行训练的方法。
[0011] 上述根据本公开实施例的对卷积神经网络模型进行训练的装置和方法，至少能够 获得W下益处至少之一；通过获取训练样本数据的多个不同方面的特征，可W充分利用训 练样本数据的信息，而通过对送些不同方面的特征的竞争选择，可W得到在充分信息的基 础上，高效地应用训练样本数据中的优选信息。
[0012] 通过W下结合附图对本公开的最佳实施例的详细说明，本公开的送些W及其他优 点将更加明显。
【附图说明】
[0013] 本公开可W通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 公开的优选实施例和解释本公开的原理和优点。其中：
[0014] 图1是示意性地示出根据本公开实施例的用于对卷积神经网络模型进行训练的 装置的示例结构的框图。
[0015] 图2是示意性地示出卷积神经网络的示意图。
[0016] 图3是示意性地示出卷积操作的示意图。
[0017] 图4是示意性地示出非线性操作的示意图。
[0018] 图5是示意性地示出池化操作的示意图。
[0019] 图6A、图6B是示意性地示出了根据本公开实施例的用于对卷积神经网络模型进 行训练的装置中的特征获取及竞争单元进行的操作的示意图。
[0020] 图7是示出了根据本公开的一个优选实施例的用于对卷积神经网络模型进行训 练的装置中的模型训练单元中与特征过滤有关的部分的示例结构的框图。
[0021] 图8是示意性地示出根据本公开实施例的、通过根据本公开实施例的训练装置训 练得到的卷积神经网络模型来对输入数据进行检测的装置的示例结构的框图。
[0022] 图9是示出了根据本公开实施例的对卷积神经网络模型进行训练的方法的示例 流程的流程图。
[0023] 图10是示出了可用来实现根据本公开实施例的用于对卷积神经网络模型进行训 练的装置和方法的一种可能的硬件配置的结构简图。
【具体实施方式】
[0024] 在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见， 在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何送种实际实施 例的过程中必须做出很多特定于实施方式的决定，W便实现开发人员的具体目标，例如，符 合与系统及业务相关的郝些限制条件，并且送些限制条件可能会随着实施方式的不同而有 所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开 内容的本领域技术人员来说，送种开发工作仅仅是例行的任务。
[00巧]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中 仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明 关系不大的其他细节。
[0026] 本发明人发现，现有的卷积神经网络在训练过程中，没有充分利用输入数据的多 方面的信息，并且为了训练得到最优的参数组合需要很大的计算量。
[0027] 基于此，本公开提供了一种在特征提取过程中提取多个方面的特征并对送些方面 的特征进行竞争选择的用于对卷积神经网络模型进行训练的装置和方法。根据本公开的实 施例的用于对卷积神经网络模型进行训练的装置和方法，通过获取训练样本数据的多个不 同方面的特征，能够充分利用训练样本数据的信息，并且通过对送些不同方面的特征的竞 争选择，可W得到在充分信息的基础上，高效地应用训练样本数据中的优选信息，从而降低 了计算量。
[0028] 图1是示意性地示出根据本公开实施例的用于对卷积神经网络模型进行训练的 装置的一种示例结构的框图。
[0029] 如图1所示，用于对卷积神经网络模型进行训练的装置1包括特征获取及竞争单 元10和模型训练单元20。特征获取及竞争单元10包括；获取子单元101，被配置成针对所 述卷积神经网络模型的至少一个卷积层、获取训练样本数据的至少两个不同方面的特征； W及竞争子单元102,被配置成基于所述获取子单元101获取的至少两个不同方面的特征 的对应元素，选择每个元素位置处的最优元素，W得到竞争结果特征。模型训练单元20被 配置成在训练卷积神经网络模型的过程中，针对所述至少一个卷积层，应用所述竞争结果 特征来执行训练。
[0030] 为了详细说明根据本公开实施例的上述装置1，在此简要介绍现有卷积神经网络 的一般结构。图2是示意性地示出现有的卷积神经网络的示意图。图2上方示意性地示出 了典型的卷积神经网络的结构，包含一个输入层、若干个卷积层（在图中具体示出了Η个 卷积层）、一个或多个全连接层（在图中示出了一个全连接层）、W及一个输出层。卷积神 经网络的各个层的定义在现有技术中是已知的，因此在此不进行过多描述。
[0031] 图2的下方示意性地示出了其中一个卷积层的结构，其包括下述Η个操作：卷积 操作、非线性操作和池化操作。在下文中，有时也将送Η个操作描述为卷积操作子层、非线 性操作子层和池化操作子层的操作。
[0032] W下参照图3至图5来描述卷积层中的各个子层的操作。作为示例，在一个卷积 层中，首先，在卷积操作子层中，利用若干个具有一定大小的卷积核来对从上一层输入的数 据进行卷积操作，并将得到的结果输出到非线性操作子层。送里所述的上一层可W是整个 卷积神经网络的输入层（即，当前卷积层为卷积神经网络中的第一个卷积层），也可W是上 一个卷积层（即，当前卷积层不是卷积神经网络中的第一个卷积层）。卷积模板也可W称为 卷积核，其示例可W是一个二维矩阵，矩阵中的每一个元素都为实数。
[0033] 送里，卷积操作将输入的图像与卷积模板做卷积而得到输出的特征图。图3显示 了一个输入图像和大小为2 X 2的卷积模板做卷积而得到特征图FM11的过程。在此，将卷积 模板与输入图像的左上角对齐，然后将输入图像和卷积模板对应位置的元素相乘并求和， 就得到了特征图FM11中第一个像素的像素值。然后将卷积模板在输入图像上向右移动一 个像素的距离，重复上面的步骤，就得到了特征图FM11的第二个像素的像素值。继续上面 的步骤，最终得到整个特征图FM11。卷积操作之后，一般还要加上一个偏置值（实数值）， 就得到了最后的输出结果（