训练装置、训练方法以及检测装置的制造方法_3

文档序号:9688027阅读:来源:国知局
方面当中的第k个方面的第i个特 征在点(x,y)处的矩阵元素的值,RW(i,x,y)表示第二矩阵rW针对所述N个方面当中的 每个方面的第i个特征在点(X,y)处的矩阵元素的值。
[0055] 当第一矩阵mW针对第k个方面的第i个特征在点(x,y)处的矩阵元素的值 Mf化XJ)为1时,所述第一过滤子单元201保留N个方面当中的第k个方面中的第i个 特征在点(x,y)处的元素。
[0056] 上述第一矩阵MW的作用实际上类似于一个"掩膜",针对第k个方面的第i个特 征在点(x,y)处的值,取决于该掩膜矩阵mW的相应矩阵元素的值是1还是0 来决定其否能够保留。从公式(1)中可W看出,由于第二矩阵RW在点(x,y)处的矩阵元 素 RW (i,X,y)的取值是在0到1的均匀分布中随机获得的值,因此,rW (i,X,y)的取值 落入下述区间中的每个区间中的概率是均等的1/N ;[0, 1/闲,[1/N,2/闲,…,[化-1)/N,K/ 闲,…,[(N-1) /N,U。即,rW (i,X,y) W 1/N 的概率满足条件化-1) /N < rW (i,X,y) < k/ N,从而Mf化wO W 1/N的概率为1。
[0057] 参照之前描述的图6A、图她的示例,第一过滤子单元201的上述处理是在特征图 FM11-FM14进行逐元素取最大的竞争选择之前。例如,在图6A的示例中,对于卷积子层,所 提取的是N = 2个方面的特征,并且每个方面的特征的数量为S = 2,即两个特征图集合,每 个集合各自有两个m X η的特征图。
[005引因此,对于第一个特征图集合,作为掩膜的Mf>(l,x,肿表示根据第二矩阵rW的相 应取值而决定的、第1个方面(第一个特征图集合FM11和FM12)的第1个特征(第一个特 征图FM11)在点(X,y)处的矩阵元素是否应该被保留。具体地,当第二矩阵rW在第1个 特征(第一个特征图FM11)在点(X,y)处的矩阵元素的值满足0 < rW (1,X,y) < 1/2时, Μ严獲疋切为1,表示第1个方面的第1个特征即特征图FM11在点(X,y)处的矩阵元素应 该被保留。
[0059] 替选地,在另一个示例中,第一过滤子单元201可W被配置成基于另外的第一矩 阵r W来得到所述第一过滤特征。仍假设所述至少两个不同方面的特征是N个方面的特 征,并且每个方面的特征的数量为S,每个特征为mXn的矩阵,其中,N、S、m、n为自然数,并 且N大于1。
[0060] 利用每个元素为第一随机分布中的随机采样的第二矩阵r w将第一矩阵r w定 义为:
[0061]
[006引其中,k、P为1到N的自然数,i为1到S的自然数,X为1到m的自然数,y为! 至U η的自然数,勘f按也的表示第一矩阵r W针对所述N个方面当中的第k个方面的第i 个特征在点(X,y)处的矩阵元素的值,片_*,诗表示第二矩阵R' W针对所述N个方面当 中的第Ρ个方面的第i个特征在点(x,y)处的矩阵元素的值。满足
则表示第二矩阵*<ΓO',.v,.v)针对所有N个方面当中的各个方面的第i个特征在点(x,y)处 的矩阵元素的最大值发生在第k个方面中的第i个特征的点(x,y)处,此时掩膜矩阵M'W 在该点(x,y)的取值为1。
[0063] 当第一矩阵r W针对第k个方面的第i个特征在点(x,y)处的矩阵元素的值 为1时,所述第一过滤子单元保留第k个方面中的第i个特征在点(x,y)处的 兀素。
[0064] 另外,作为优选示例,第二过滤子单元202可W被配置成基于第Η矩阵来得到 所述第二过滤特征,其中,通过每个元素为[0,1]的均匀分布中的随机采样的第四矩阵R? 将第Η矩阵Μ?定义为:
[0065]
[006引其中,t表示预先定义的重合度并且为0到1之间的实数,Mf(/,x,y)表示第Η矩 阵Μ?针对所述Ν个方面当中的第k个方面的第i个特征在点(X,y)处的矩阵元素的值, 磅A(/,:jr,y)表示第四矩阵R?针对所述N个方面当中的第k个方面的第i个特征在点(X,y) 处的矩阵元素的值。
[0067] 当第Η矩阵针对第k个方面的第i个特征在点(x,y)处的矩阵元素的值 >化.τ,.ν)为1时,所述第二过滤子单元202保留第k个方面的第i个特征在点(X,y)处的 兀素。
[0068] 上述第Η矩阵的作用也类似于一个"掩膜",针对第k个方面的第i个特征在 点(x,y)处的值,取决于该掩膜矩阵的相应矩阵元素的值Mf唯,x,y);是1还是0来决 定其否能够保留。不同于第一矩阵mW的是,第Η矩阵在给定点处可保留来自多于一个 方面的相应特征的元素,从而提供了兀余。从公式(2)中可W看出,当设置的重合度t的值 越大时,意味着每个元素位置处能够被保留的元素可能会越多,即得到的过滤结果的兀余 度越高,对该元素位置处的卷积神经网络的部分的训练则越充分。作为示例,重合度t的取 值例如可W为0. 1。
[0069] 如果在利用第一过滤子单元基于第一矩阵MW进行过滤的同时,也利用第二过滤 子单元基于第一矩阵进行过滤,则得到的第一过滤特征和第二过滤特征共同输入到竞 争子单元102中,W进行竞争。
[0070] 此外,所述第二过滤子单元可W被配置成基于另外的第Η矩阵r?来得到所述第 二过滤特征,其中,通过每个元素为第二随机分布中的随机采样的第四矩阵r ?将第Η矩 阵r ?定义为:
[0071]
[007引其中,t表示预先定义的重合度并且为0到1之间的实数,MfO',x,_y)表示第立 矩阵r ?针对所述N个方面当中的第k个方面的第i个特征在点(x,y)处的矩阵元素的 值,Kf (z',x,兴表示第四矩阵r ?针对所述N个方面当中的第k个方面的第i个特征在点 (x,y)处的矩阵元素的值,E(i,x,y)表示第四矩阵R'?针对所述N个方面当中的各个方面 的第i个特征在点(X,y)处的矩阵元素的平均值。
[0074] 当第Η矩阵r ?针对第k个方面的第i个特征在点(x,y)处的矩阵元素的值 为1时,所述第二过滤子单元保留第k个方面的第i个特征在点(x,y)处的元 素。
[00巧]根据本公开的另一方面,还提供了一种通过根据本公开实施例的训练装置训练得 到的卷积神经网络模型来对输入数据进行检测的装置。
[0076] 图8是示意性地示出根据本公开实施例的、通过根据本公开实施例的训练装置训 练得到的卷积神经网络模型来对输入数据进行检测的装置8的示例结构的框图。
[0077] 如图8中所示,通过根据本公开实施例的训练装置训练得到的卷积神经网络模型 来对输入数据进行检测的装置8包括特征获取及竞争单元80和检测单元90。特征获取及 竞争单元80包括;获取子单元801,被配置成提取所述输入数据的至少两个不同方面的特 征,W及竞争子单元802,被配置成基于该获取子单元获取的至少两个不同方面的特征的对 应元素,选择每个元素位置处的最优元素,W得到竞争结果特征。检测单元90被配置成利 用所述卷积神经网络模型、基于该竞争结果特征来进行检测。在上述进行检测的装置8中, 所提取的所述输入数据的至少两个不同方面的特征与在训练所述卷积神经网络模型时由 所述进行训练的装置1中的获取子单元101获取的训练样本数据的至少两个不同方面的特 征是对应的。
[0078] 根据本公开的实施例,利用上述的用于进行检测的装置8,能够获取输入数据的多 个不同方面的特征,W充分利用输入数据的信息,并且通过对送些不同方面的特征的竞争 选择,可W得到在充分信息的基础上,高效地应用输入数据中的优选信息。
[0079] 根据本公开的又一方面,提供了一种对卷积神经网络模型进行训练的方法。
[0080] 图9示出了根据本公开实施例的对卷积神经网络模型进行训练的方法900的示例 流程。如图9所示,该方法900可W包括特征获取及竞争步骤S901 W及训练执行步骤S903。 特征获取及竞争步骤S901包括;获取子步骤S9011,针对所述卷积神经网络模型的至少一 个卷积层,获取训练样本数据的至少两个不同方面的特征;竞争子步骤S9012,基于所获取 的至少两个不同方面的特征的对应元素,选择每个元素位置处的最优元素,W得到竞争结 果特征。训练执行步骤S903用于在训练卷积神经网络模型的过程中,针对所述至少一个卷 积层,应用所述竞争结果特征来进行训练。
[0081] 特征获取及竞争步骤S901例如可W包括W上参照图1至图6B描述的特征获取及 竞争单元10中进行的各种处理。获取子步骤S9011例如可W包括W上参照图1至图6B描 述的获取子单元101中进行的各种处理,而竞争子步骤S9012例如可W包括W上参照图1 至图6B描述的竞争子单元102中进行的各种处理。训练执行步骤S903例如可W包括W上 参照图1、图7等描述的模型训练单元20中进行的各种处理。送些处理的具体细节在此不 再赏述。
[0082] 在一个优选实施例中,方法900例如还可W包括;W机会均等的方式,在所获取的 至少两个不同方面的特征的对应元素位置保留来自其中一个方面的特征的元素,W得到第 一过滤特征,作为要供竞争子步骤S9012中选择的特征。方法900中用于得到第一过滤特 征的处理可W包括W上参照图7描述的第一过滤子单元201中进行的各种处理,具体细节 在此不再赏述。
[0083] 此外,一个优选实施例中,方法900例如还可W包括;W提供兀余的方式,在所获 取的至少两个不同方面的特征的对应元素位置保留来自其中一个W上方面的特征的元素, W得到第二过滤特征,作为要供竞争子步骤S9012中选择的特征。方法900中用于得到第 二过滤特征的处理可W包括W上参照图7描述的第二过滤子单元202中进行的各种处理, 具体细节在此不再赏述。
[0084] 在一个优选实施例中,所述至少两个不同方面的特征是N个方面的特征,并且每 个方面的特征的数量为S,每个特征为mXn的矩阵,其中,N、S、m、η为自然数,并且N大于 1〇
[0085] 此时,方法900还可W包括基于第一矩阵mW来得到所述第一过滤特征,其中,利 用每个元素为[0, 1]的均匀分布中的随机采样的第二矩阵RW将第一矩阵mW定义为:
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1