一种基于GPU存储的自适应负样本采样池的模型训练方法

一种基于gpu存储的自适应负样本采样池的模型训练方法
技术领域
1.本发明涉及机器学习领域，尤其是涉及一种基于存储在gpu中的负样本采样池的模型训练方法、系统、电子设备及存储介质。


背景技术：

2.负采样技术已经被广泛地应用于推荐系统、信息检索、自然语言处理等场景中。一般情况下，由于数据规模庞大，对所有未交互样本进行计算会消耗大量的计算和存储资源，而更为严峻的情况下，计算机内存无法存储下数量庞大的全量负样本。目前，许多机器学习方法通常采用负采样技术，即选择部分负样本对全量负样本进行估计，得到近似值或者数据分布，大大降低时间和空间开销。
3.然而现有技术中，基于静态的负采样技术存在过采样和训练中收敛过程缓慢等问题；基于动态的负采样技术存在训练过程耗时、无法在全量负样本上进行采样等问题。


技术实现要素：

4.鉴于上述问题，本发明提供了一种基于存储在gpu中的负样本采样池的模型训练方法、系统、电子设备及存储介质，以期至少能够解决上述问题之一。
5.根据本发明的第一个方面，提供了一种基于存储在gpu中的负样本采样池的模型训练方法，包括：步骤一，初始化计数向量、负样本总量、采样比例以及运行在gpu中的深度匹配模型的参数，并根据采样比例，对存储在可读存储介质中的训练样本集合中的物品样本集合进行随机采样，根据随机采样得到的物品样本初始化存储在gpu中的负样本采样池，其中，存储在gpu中的负样本采样池作为缓存；步骤二，从存储在可读存储介质中的训练样本集合中随机采样得到批处理训练样本集合，将批处理训练样本集合中的物品样本集合作为候选样本集合，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与候选样本集合中物品的相似度，得到第一相似度，并根据候选样本集合的样本数量、第一相似度以及采样比例，得到第一样本集合；步骤三，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与存储在gpu中的负样本采样池中物品的相似度，得到第二相似度，并根据负样本总量、第一样本集合的样本数量以及第二相似度，得到第二样本集合；步骤四，将第一样本集合和第二样本集合进行集合运算，得到负样本集合，并利用负样本集合和损失函数，对运行在gpu中的深度匹配模型的参数进行更新优化；步骤五，根据负样本集合中每个样本的频次和存储在gpu中的负样本采样池的预设更新频率，更新计数向量，并根据更新后的计数向量对存储在gpu中的负样本采样池进行更新，得到更新后的负样本采样池；步骤六，重复步骤二至步骤五，直到满足预设条件，得到训练完成的深度匹配模型。
6.根据本发明的实施例，上述运行在gpu中的深度匹配模型包括用户特征提取网络和物品特征提取网络。
7.根据本发明的实施例，上述从存储在可读存储介质中的训练样本集合中随机采样得到批处理训练样本集合，将批处理训练样本集合中的物品样本集合作为候选样本集合，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与候选样本集合中物品的相似度，得到第一相似度，并根据候选样本集合的样本数量、第一相似度以及采样比例，得到第一样本集合包括：对存储在可读存储介质中的训练样本集合中的样本进行乱序处理，并根据预设数量，对乱序处理后的训练样本集合进行采样，得到批处理训练样本集合，并将批处理训练样本集合中的物品样本集合作为候选样本集合；利用用户特征提取网络对批处理训练样本集合中的用户样本集合进行特征提取，得到用户特征集合；利用物品特征提取网络对候选样本集合进行物品特征提取，得到第一物品特征集合；根据用户特征集合与第一物品特征集合，计算每个用户与所有物品的相似度，得到第一相似度；通过softmax函数对第一相似度进行归一化处理，得到第一采样概率；根据第一采样概率、候选样本集合的样本数量以及采样比例，对候选样本集合进行采样，得到第一样本集合。
8.根据本发明的实施例，上述通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与存储在gpu中的负样本采样池中物品的相似度，得到第二相似度，并根据负样本总量、第一样本集合的样本数量以及第二相似度，得到第二样本集合包括：利用物品特征提取网络对存储在gpu中的负样本采样池中的物品样本集合进行物品特征提取，得到第二物品特征集合；根据用户特征集合与第二物品特征集合，计算每个用户与所有物品的相似度，得到第二相似度；通过softmax函数对第二相似度进行归一化处理，得到第二采样概率；根据第二采样概率、第一样本集合的样本数量以及负样本总量，对存储在gpu中的负样本采样池进行采样，得到第二样本集合。
9.根据本发明的实施例，上述损失函数包括交叉熵损失函数和采样归一化指数损失函数；其中，预设条件包括训练次数达到预设训练轮次或运行在gpu中的深度匹配模型满足预设收敛条件。
10.根据本发明的实施例，上述利用负样本集合和损失函数，对运行在gpu中的深度匹配模型的参数进行更新优化包括：根据预设梯度计算算法，利用损失函数处理负样本集合、第一相似度以及第二相似度，得到运行在gpu中的深度匹配模型的梯度损失值；根据梯度损失值，对运行在gpu中的深度匹配模型进行参数更新和优化。
11.根据本发明的实施例，上述根据负样本集合中每个样本的频次和存储在gpu中的
负样本采样池的预设更新频率，更新计数向量，并根据更新后的计数向量对存储在gpu中的负样本采样池进行更新，得到更新后的负样本采样池包括：计算负样本集合中每个样本出现的频次，并根据每个样本出现的频次以及存储在gpu中的负样本采样池的预设更新频率更新计数向量；对更新后的计数向量进行归一化处理，得到负样本采样池的样本分布；基于存储在gpu中的负样本采样池的样本分布对存储在gpu中的负样本采样池进行采样，得到更新后的负样本采样池。
12.根据本发明的第二个方面，提供了一种基于gpu存储的自适应负样本采样池的模型训练系统，包括：初始化模块，用于执行步骤一，初始化计数向量、负样本总量、采样比例以及运行在gpu中的深度匹配模型的参数，并根据采样比例，对存储在可读存储介质中的训练样本集合中的物品样本集合进行随机采样，根据随机采样得到的物品样本初始化存储在gpu中的负样本采样池，其中，存储在gpu中的负样本采样池作为缓存；第一样本集合获取模块，用于执行步骤二，从存储在可读存储介质中的训练样本集合中随机采样得到批处理训练样本集合，将批处理训练样本集合中的物品样本集合作为候选样本集合，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与候选样本集合中物品的相似度，得到第一相似度，并根据候选样本集合的样本数量、第一相似度以及采样比例，得到第一样本集合；第二样本集合获取模块，用于执行步骤三，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与存储在gpu中的负样本采样池中物品的相似度，得到第二相似度，并根据负样本总量、第一样本集合的样本数量以及第二相似度，得到第二样本集合；模型更新和优化模块，用于步骤四，将第一样本集合和第二样本集合进行集合运算，得到负样本集合，并利用负样本集合和损失函数，对运行在gpu中的深度匹配模型的参数进行更新优化；采样池更新模块，用于步骤五，根据负样本集合中每个样本的频次和存储在gpu中的负样本采样池的预设更新频率，更新计数向量，并根据更新后的计数向量对存储在gpu中的负样本采样池进行更新，得到更新后的负样本采样池；迭代模块，用于执行步骤六，重复步骤二至步骤五，直到满足预设条件，得到训练完成的深度匹配模型。
13.根据本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行基于存储在gpu中的负样本采样池的模型训练方法。
14.根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行基于存储在gpu中的负样本采样池的模型训练方法。
15.本发明提供的上述方法，将负样本采样池存储在gpu中，作为负样本集合的一部分，使得采样过程不需要对全局的物品进行计算，就可以实现高质量样本的重复利用，避免
了对全量样本的深度模型推理，减少了计算机计算开销。计数向量也保存在gpu中，并根据采样到的次数进行更新，相比于数量庞大的模型参数，该计算向量空间开销低，并且更新方式简单。此外，第一样本集合中的物品特征已经在gpu上进行了模型推理，不需要额外的空间开销进行重复计算，避免了随机采样等方案会采样到额外的样本，需要额外的空间、时间开销进行模型推理。此外，本发明提供了一种面向负采样方法的采样池缓存及更新策略，在动态采样算法中记录下频繁采样到的样本，使得这些信息量充分的样本得到多次训练，加快学习算法的收敛，大大减少占用资源（如内存、显存）的时间。
附图说明
16.图1是根据本发明实施例的基于存储在gpu中的负样本采样池的模型训练方法的流程图；图2是根据本发明实施例获取第一样本集合的流程图；图3是根据本发明实施例的获取第二样本集合的流程图；图4是根据本发明实施例的更新优化深度匹配模型的流程图；图5是根据本发明实施例的获取更新后的负样本采样池的流程图；图6是根据本发明实施例的基于gpu存储的自适应负样本采样池的模型训练系统的结构示意图；图7示意性示出了根据本发明实施例的适于实现基于gpu存储的自适应负样本采样池的模型训练方法的电子设备的方框图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
18.现有的负采样技术大致分为两类，一类基于静态的采样分布进行采样，比如均匀分布、流行度分布等，这类采样算法能实现快速采样，但是随着模型的训练，往往对简单样本会过采样，在训练后期收敛过程缓慢。另一类为基于动态的采样分布进行采样，即在训练过程中根据模型的变化得到采样分布，选择更难学习的样本，加快模型收敛，因此通常比第一类方法表现更佳。但这些基于动态分布的采样算法在每次迭代中都对采样概率进行重新计算，并没有保留历史采样信息，部分样本会频繁地被采样到，这些频繁出现的样本往往是学习困难的样本，对这些样本进行训练有利于加速模型的收敛；而且这种动态采样方法需要基于模型推理结果进行采样，推理过程往往非常耗时，采样过程难以在全量负样本上进行，特别是样本具有丰富的结构化或非结构化特征。
19.为了解决上述技术问题，本发明提供了负样本采样池的缓存方式，记录过去采样过程中多次出现的样本，使得这些样本有更大的采样概率，从而提升模型效果，而且只需要按照次数来设计采样，不再依赖于对样本特征的编码，从而提升采样的效率。
20.本发明的目的是提供一种基于计数的负样本采样池缓存及更新方法，该负样本采样池存储在gpu中，可以实现简单、快速地采样，解决推荐系统场景下候选物品数量庞大，无法存储全部物品、进行复杂的模型计算的问题。此外，本发明还为此设计了简单、高效的采样池更新策略。
21.本发明提供的基于存储在gpu中的负样本采样池的模型训练方法可以广泛应用于各种采样算法中，例如自然语言处理、推荐系统场景中。
22.本发明提供的上述方法，主要针对推荐系统中的深度匹配模型进行，深度匹配模型往往包含两部分深度网络。一部分采用深度的网络模型1（用户特征提取网络）对用户进行特征表达，其包含多层感知机、非线性激活函数等。另一部分采用深度网络模型2（即物品特征提取网络）对物品进行特征表达，也包含多层感知机以及非线性激活函数。这两部分构成了推荐系统中的深度匹配模型。该模型基于log-softmax损失函数进行优化。在模型训练过程中，每次从数据集中，即用户与商品交互的记录中（存储在cpu或者是硬盘中），选择训练批次大小的样本进行训练，这些样本作为正样本输入到损失函数中，具体地，对该批数据中的用户通过网络模型1（在gpu上进行）得到用户特征，物品通过网络模型2（在gpu上进行）得到物品特征，进而计算这些用户特征与物品特征的相似度，一般为内积运算，输入到损失函数中，再根据所发明的采样算法得到每一条用户-商品数据样本的负样本，计算相似度，输入到损失函数中。
23.图1是根据本发明实施例的基于存储在gpu中的负样本采样池的模型训练方法的流程图。
24.如图1所示，基于存储在gpu中的负样本采样池的模型训练包括步骤s110~步骤s160。
25.步骤s110，初始化计数向量、负样本总量、采样比例以及运行在gpu中的深度匹配模型的参数，并根据采样比例，对存储在可读存储介质中的训练样本集合中的物品样本集合进行随机采样，根据随机采样得到的物品样本初始化存储在gpu中的负样本采样池，其中，存储在gpu中的负样本采样池作为缓存。
26.设定负样本采样池的更新频率和采样比例，对所有样本记录其被采样到的次数，初始值设为0，记作计数向量。在gpu上初始化负样本采样池作为缓存，负样本采样池中通过随机采样得到预设数量的样本作为初始值。步骤s120~步骤s160计算均在gpu上进行，样本集合仅存储样本的编号（即索引）。
27.根据本发明的实施例，上述运行在gpu中的深度匹配模型包括用户特征提取网络和物品特征提取网络。
28.步骤s120，从存储在可读存储介质中的训练样本集合中随机采样得到批处理训练样本集合，将批处理训练样本集合中的物品样本集合作为候选样本集合，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与候选样本集合中物品的相似度，得到第一相似度，并根据候选样本集合的样本数量、第一相似度以及采样比例，得到第一样本集合。
29.将该批处理训练样本集合中的所有物品样本作为候选集，计算该批训练样本中每个用户特征与该批样本中所有的物品特征的相似度。对每个用户，通过softmax函数归一化在候选集上计算得到的相似度，作为采样概率1。根据该候选集大小以及采样比例，计算得到第一采样量。根据采样概率1，采样第一采样量个样本，得到第一采样样本集合。遍历所有用户，得到所有用户的第一采样样本集合。
30.上述批处理训练样本集合，在每一轮训练过程中重新进行采样，首先将上一轮的训练样本集合中的样本打乱顺序，然后在对训练样本进行随机采样，得到预设数量（例如，
2000个）的批处理训练样本集合。
31.步骤s130，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与存储在gpu中的负样本采样池中物品的相似度，得到第二相似度，并根据负样本总量、第一样本集合的样本数量以及第二相似度，得到第二样本集合。
32.将负样本采样池中的物品作为候选集，通过网络模型2（即物品特征提取网络）得到采样池物品特征，计算训练样本中每个用户特征与采样池物品特征的相似度。对每个用户，通过softmax函数归一化对采样池物品的相似度，作为采样概率2。根据负样本总量以及第一采样量计算得到第二采样量，根据采样概率2进行采样，采样第二采样量个样本，得到第二样本采样集合。遍历所有用户，得到所有用户的第二采样样本集合。
33.步骤s140，将第一样本集合和第二样本集合进行集合运算，得到负样本集合，并利用负样本集合和损失函数，对运行在gpu中的深度匹配模型的参数进行更新优化。
34.将用户的第一采样集合与第二采样集合进行集合运算，得到用户所需要的负样本集合，将负样本及其通过步骤一、步骤二计算的相似度，输入到损失函数中，通过自动求导框架（比如pytorch）计算得到模型梯度，更新深度匹配模型中的网络参数。
35.根据本发明的实施例，上述损失函数包括交叉熵损失函数和采样归一化指数损失函数。
36.步骤s150，根据负样本集合中每个样本的频次和存储在gpu中的负样本采样池的预设更新频率，更新计数向量，并根据更新后的计数向量对存储在gpu中的负样本采样池进行更新，得到更新后的负样本采样池。
37.根据负样本集合中每个样本出现的次数，更新计数向量，即累计更新每个样本从训练开始到现在被采样的次数。若该次训练轮数能被所述更新频率整除，则归一化计数向量得到负样本采样池更新分布，基于该分布采样预设数量的样本，作为新的负样本采样池。
38.步骤s160，重复步骤s120至步骤s150，直到满足预设条件，得到训练完成的深度匹配模型。
39.根据本发明的实施例，上述预设条件包括训练次数达到预设训练轮次或运行在gpu中的深度匹配模型满足预设收敛条件。
40.本发明提供的上述方法，将负样本采样池存储在gpu中，作为负样本集合的一部分，使得采样过程不需要对全局的物品进行计算，就可以实现高质量样本的重复利用，避免了对全量样本的深度模型推理，减少了计算机计算开销。计数向量也保存在gpu中，并根据采样到的次数进行更新，相比于数量庞大的模型参数，该计算向量空间开销低，并且更新方式简单。此外，第一样本集合中的物品特征已经在gpu上进行了模型推理，不需要额外的空间开销进行重复计算，避免了随机采样等方案会采样到额外的样本，需要额外的空间、时间开销进行模型推理。此外，本发明提供了一种面向负采样方法的采样池缓存及更新策略，在动态采样算法中记录下频繁采样到的样本，使得这些信息量充分的样本得到多次训练，加快学习算法的收敛，大大减少占用资源（如内存、显存）的时间。
41.图2是根据本发明实施例获取第一样本集合的流程图。
42.如图2所示，上述从存储在可读存储介质中的训练样本集合中随机采样得到批处理训练样本集合，将批处理训练样本集合中的物品样本集合作为候选样本集合，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与候选样本集合中物品的相似
度，得到第一相似度，并根据候选样本集合的样本数量、第一相似度以及采样比例，得到第一样本集合包括操作s210~操作s260。
43.在操作s210，对存储在可读存储介质中的训练样本集合中的样本进行乱序处理，并根据预设数量，对乱序处理后的训练样本集合进行采样，得到批处理训练样本集合，并将批处理训练样本集合中的物品样本集合作为候选样本集合。
44.在操作s220，利用用户特征提取网络对批处理训练样本集合中的用户样本集合进行特征提取，得到用户特征集合。
45.在操作s230，利用物品特征提取网络对候选样本集合进行物品特征提取，得到第一物品特征集合；在操作s240，根据用户特征集合与第一物品特征集合，计算每个用户与所有物品的相似度，得到第一相似度。
46.在操作s250，通过softmax函数对第一相似度进行归一化处理，得到第一采样概率。
47.在操作s260，根据第一采样概率、候选样本集合的样本数量以及采样比例，对候选样本集合进行采样，得到第一样本集合。
48.图3是根据本发明实施例的获取第二样本集合的流程图。
49.如图3所示，上述通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与存储在gpu中的负样本采样池中物品的相似度，得到第二相似度，并根据负样本总量、第一样本集合的样本数量以及第二相似度，得到第二样本集合包括操作s310~操作s340。
50.在操作s310，利用物品特征提取网络对存储在gpu中的负样本采样池中的物品样本集合进行物品特征提取，得到第二物品特征集合。
51.在操作s320，根据用户特征集合与第二物品特征集合，计算每个用户与所有物品的相似度，得到第二相似度。
52.在操作s330，通过softmax函数对第二相似度进行归一化处理，得到第二采样概率。
53.在操作s340，根据第二采样概率、第一样本集合的样本数量以及负样本总量，对存储在gpu中的负样本采样池进行采样，得到第二样本集合。
54.图4是根据本发明实施例的更新优化深度匹配模型的流程图。
55.如图4所示，上述利用负样本集合和损失函数，对运行在gpu中的深度匹配模型的参数进行更新优化包括操作s410~操作s420。
56.在操作s410，根据预设梯度计算算法，利用损失函数处理负样本集合、第一相似度以及第二相似度，得到运行在gpu中的深度匹配模型的梯度损失值。
57.在操作s420，根据梯度损失值，对运行在gpu中的深度匹配模型进行参数更新和优化。
58.图5是根据本发明实施例的获取更新后的负样本采样池的流程图。
59.如图5所示，上述根据负样本集合中每个样本的频次和存储在gpu中的负样本采样池的预设更新频率，更新计数向量，并根据更新后的计数向量对存储在gpu中的负样本采样池进行更新，得到更新后的负样本采样池包括操作s510~操作s530。
60.在操作s510，计算负样本集合中每个样本出现的频次，并根据每个样本出现的频
次以及存储在gpu中的负样本采样池的预设更新频率更新计数向量。
61.在操作s520，对更新后的计数向量进行归一化处理，得到负样本采样池的样本分布。
62.在操作s530，基于存储在gpu中的负样本采样池的样本分布对存储在gpu中的负样本采样池进行采样，得到更新后的负样本采样池。
63.图6是根据本发明实施例的基于gpu存储的自适应负样本采样池的模型训练系统的结构示意图。
64.如图6所示，上述基于存储在gpu中的负样本采样池的模型训练系统包括初始化模块610、第一样本集合获取模块620、第二样本集合获取模块630、模型更新和优化模块640、采样池更新模块650和迭代模块660。
65.初始化模块610，用于执行步骤s110，初始化计数向量、负样本总量、采样比例以及运行在gpu中的深度匹配模型的参数，并根据采样比例，对存储在可读存储介质中的训练样本集合中的物品样本集合进行随机采样，根据随机采样得到的物品样本初始化存储在gpu中的负样本采样池，其中，存储在gpu中的负样本采样池作为缓存。
66.第一样本集合获取模块620，用于执行步骤s120，从存储在可读存储介质中的训练样本集合中随机采样得到批处理训练样本集合，将批处理训练样本集合中的物品样本集合作为候选样本集合，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与候选样本集合中物品的相似度，得到第一相似度，并根据候选样本集合的样本数量、第一相似度以及采样比例，得到第一样本集合。
67.第二样本集合获取模块630，用于执行步骤s130，通过运行在gpu中的深度匹配模型计算批处理训练样本集合中用户与存储在gpu中的负样本采样池中物品的相似度，得到第二相似度，并根据负样本总量、第一样本集合的样本数量以及第二相似度，得到第二样本集合。
68.模型更新和优化模块640，用于步骤s140，将第一样本集合和第二样本集合进行集合运算，得到负样本集合，并利用负样本集合和损失函数，对运行在gpu中的深度匹配模型的参数进行更新优化。
69.采样池更新模块650，用于步骤s150，根据负样本集合中每个样本的频次和存储在gpu中的负样本采样池的预设更新频率，更新计数向量，并根据更新后的计数向量对存储在gpu中的负样本采样池进行更新，得到更新后的负样本采样池。
70.迭代模块660，用于执行步骤s160，重复步骤s120至步骤s150，直到满足预设条件，得到训练完成的深度匹配模型。
71.为了更好地理解本发明所提供的上述方法，本发明提供另一实施例对上述方法做进一步地说明和解释。
72.假设采样算法对每个查询实例从个样本中挑选个样本，学习算法一共训练轮，训练集中共有条查询实例，采样分布由公式（1）和（2）确定：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1），
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2），表示第个样本的采样概率。
73.采样池记作，保存样本的索引，更新频率为整数，从采样池中采样样本的比例为。
74.初始化计数向量，随机采样个样本作为采样池初始值。从轮训练开始，对训练集中每一条查询实例进行如下步骤：步骤一：对候选样本集计算采样分布，，其中为学习算法中的根据当前模型对于查询以及样本计算出的预测值，例如推荐系统中的相似度函数，信息检索中的匹配度函数。不同的采样算法设定不同的采样分布，此处假设采样分布是随着模型而动态变化的。
75.步骤二：采样算法根据采样分布依次采样个样本，如公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3），表示第一样本集合的第个元素。
76.步骤三：对采样池中的样本集计算采样分布，其中，表示第个采样池中的样本的采样概率；根据该分布采样个样本，表示第二样本集合的第个元素。
77.步骤四：将采样到的样本集合输入到学习算法，计算损失函数、进行梯度回传等。
78.步骤五：对在采样样本集合中的样本更新其对应的计数值，即公式（4）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4），其中，表示当时候，返回值为1，当时候，返回值为0。
79.步骤六：如果训练轮数能被整除，即达到更新周期，计算采样池更新权重，如公式（5）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5），其中为加法归一后的权重，从该权重中根据多项式分布有放回地采样个样本更新采样池。否则，不进行更新。
80.步骤七：重复步骤一至步骤六，直到达到最大训练轮数或者是收敛条件。
81.图7示意性示出了根据本发明实施例的适于实现基于gpu存储的自适应负样本采样池的模型训练方法的电子设备的方框图。
82.如图7所示，根据本发明实施例的电子设备700包括处理器701，其可以根据存储在只读存储器（rom）702中的程序或者从存储部分708加载到随机访问存储器（ram）703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器（例如cpu）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（asic））等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
83.在ram 703中，存储有电子设备700操作所需的各种程序和数据。处理器 701、rom 702以及ram 703通过总线704彼此相连。处理器701通过执行rom 702和/或ram 703中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 902和ram 703以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
84.根据本发明的实施例，电子设备700还可以包括输入/输出（i/o）接口705，输入/输出（i/o）接口705也连接至总线704。电子设备700还可以包括连接至i/o接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
85.本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
86.根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的
rom 702和/或ram 703和/或rom 702和ram 703以外的一个或多个存储器。
87.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
88.本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
89.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。