词嵌入方法、装置与电子设备与流程

本公开涉及机器学习技术领域，具体而言，涉及一种基于生成器-判决器模型的词嵌入方法。

背景技术：

随着互联网技术的飞速发展，以互联网为载体的电商业务出现了爆发式的增长，产生了海量实时数据。这些数据中包含极具价值的用户信息，例如用户日志记录的用户行为数据，有助于分析获取用户行为偏好。大规模互联网系统产生的原始数据具有结构和非结构混合、高维稀疏、数据量大等特点，为了更好地分析用户的行为偏好进而预测用户行为，业内使用词嵌入(w2v，wordtovec)技术构建文本数据中词与词之间相互关系、提取数据的通用特征，学习这些通用特征的低阶、高阶相互作用，完成对用户行为的分析或预测。

fnn(factorizationmachinesupportedneuralnetwork，因子分解机神经网络)模型是一种常用的词嵌入模型。fnn模型可以将异构数据分为不同的域，并用fm(factorizationmachine，因子分解机)算法将域内数据映射到一个共同的低维实向量空间，再使用多层感知机模型进行分析预测。但是，多层感知机模型的第一层参数对模型最终分析预测能力的影响较小，极大降低了预训练对fnn模型性能提升的影响；此外，多层感知机模型为全连接神经网络，模型可调整参数数量巨大，训练过程复杂，训练时容易出现过拟合问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本公开的目的在于提供一种基于生成器-判决器模型的词嵌入方法，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的词嵌入模型参数量大、容易产生过拟合等问题。

根据本公开实施例的第一方面，提供一种词嵌入方法，包括：通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。

在本公开的一种示例性实施例中，所述分类结果为对预设目标变量的预测结果。

在本公开的一种示例性实施例中，所述生成器包括串联的多个生成器子模块，每个所述生成器子模块包括n1个反卷积层和n2个上采样层，所述多个生成器子模块的特征通道数相同。

在本公开的一种示例性实施例中，所述生成器子模块将前一个生成器子模块输出的特征张量通道数减半并进行空间放大。

在本公开的一种示例性实施例中，所述判决器包括串联的多个判决器子模块和多个全连接层，每个所述判决器子模块包括n3个卷积层和n4个下采样层，所述多个判决器子模块的特征通道数相同。

在本公开的一种示例性实施例中，所述判决器子模块的将前一个判决器子模块输出的特征张量通道数加倍并进行空间缩小，所述全连接层接收最后一个所述判决器子模块输出的展平为向量的特征张量。

在本公开的一种示例性实施例中，所述生成器和所述判决器的激活函数均为线性整流函数，所述预设神经网络的最后一层网络的激活函数为双曲函数。

在本公开的一种示例性实施例中，所述预设神经网络的损失函数为二分类交叉熵损失函数。

在本公开的一种示例性实施例中，所述预设神经网络通过误差反向传播算法训练。

根据本公开实施例的第二方面，提供一种词嵌入装置，包括：

数据接收模块，设置为通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；

特征提取模块，设置为通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；

分类输出模块，设置为通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。

根据本公开的第三方面，提供一种词嵌入装置，包括：存储器；以及耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的词嵌入方法。

本公开实施例提供的词嵌入方法通过使用基于反卷积网络-卷积网络的生成器-判决器模型对词向量进行特征提取、分类预测，可以有效减少词嵌入模型的可调参数，进而减少模型的过拟合现象。

应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开示例性实施例中词嵌入方法的流程图。

图2是本公开示例性实施例中神经网络的示意图。

图3是本公开示例性实施例中生成器的示意图。

图4是本公开示例性实施例中判决器的示意图。

图5是本公开一个示例性实施例中一种词嵌入装置的方框图。

图6是本公开一个示例性实施例中一种电子设备的方框图。

图7是本公开一个示例性实施例中一种计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图对本公开示例实施方式进行详细说明。

图1是本公开示例性实施例中词嵌入方法的流程图。参考图1，词嵌入方法100可以包括：

步骤s102，通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；

步骤s104，通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；

步骤s106，通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。

针对fnn模型处理高维稀疏异构数据的缺陷，本公开提出了一种基于生成器-判决器网络结构的词嵌入方法，通过基于反卷积神经网络形成的生成器将高维稀疏特征转化为稠密实张量，并通过基于卷积神经网络形成的判决器对这些张量进行分类，实现数据的分析和预测。相比于全连接网络，使用反卷积层、卷积层、非线性激活函数的神经网络在增加深度的过程中，可调整参数的数量增长较慢，模型的复杂度低，在拟合非线性函数时能够增强词嵌入模型的泛化能力(即减轻过拟合问题)。一方面，基于反卷积神经网络形成的生成器能学习特征的低阶、高阶相互作用，提取出更丰富、有效的信息，使分类模型在更抽象特征的基础上进行训练；另一方面，基于卷积神经网络形成的判决器的可调整参数少，网络结构深，泛化能力强，能有效克服fnn模型的缺陷。

下面，对词嵌入方法100的各步骤进行详细说明。

在将用户数据输入到预设神经网络即词嵌入模型之前，首先需要对用户数据进行预处理。

首先，可以选取预设时间段的用户数据加入待预处理数据集。以申请评分为例，对于每一个用户来说，其激活时点前一年内的日志行为信息最具有研究价值，最能体现用户当前状态下的行为习惯偏好，可以选取此时间段内有效、非虚拟日志行为数据作为特征数据。为了防止一些用户特征为空，可以对用户的订单数据及浏览数据在激活前30天、60天、90天、180天内分别进行统计，并根据特征对用户的覆盖率，最终选择用户激活前90天内统计数据作为加入待处理数据集的特征数据。

然后，可以通过一般方法将特征数据处理成词向量，并将这些词向量输入预设神经网络。

本公开提供的词嵌入模型(预设神经网络)是一种强调低阶和高阶特征交互的端到端学习模型，结合了特征学习和深度学习预测两个方面的内容。

图2是本公开提供的预设神经网络的结构示意图。

参考图2，预设神经网络200为一种深度神经网络模型，主要可以包括生成器21和判决器22。

其中，生成器21基于反卷积网络形成，包括若干个反卷积模块211，用于对词向量数据提取特征张量；判决器22基于卷积网络形成，包括若干个卷积模块221和全连接层222，用于对该特征张量进行分类以输出分类结果。

图3是本公开一个实施例中生成器21的结构示意图。

与fnn模型使用词嵌入矩阵对高维稀疏特征向量进行线性变换产生低维稠密特征不同，生成器21使用反卷积网络对高维稀疏特征进行非线性变换，将其转换为稠密的特征张量表示。反卷积网络能够自适应的构造不同特征分量之间的局部相关关系。

参考图3，生成器21主要由反卷积层与上采样层构成。在图3所示的实施例中，生成器21包括串联的多个生成器子模块211(图3中为3个)，各生成器子模块的特征通道数相同，每个生成器子模块都将前一个生成器子模块输出的特征张量通道数减半并进行空间放大。

此外，每个生成器子模块211均可以包括n1个反卷积层和n2个上采样层。在图3所示实施例中，n1＝2，n2＝1，各反卷积层的反卷积核的大小均被设置为3×3，移动步长均被设置为为1×1；各上采样层的采样层核大小均被设置为2×2。在其他实施例中，生成器子模块的数量、n1和n2的具体数值、各反卷积层/上采样层的核大小、移动步长均可以由本领域技术人员自行设置，本公开不以此为限。

最后，生成器21中所有激活函数都被设置为线性整流函数(rectifiedlinearunit)。

在本公开实施例中，由于生成器21由反卷积层、上采样层、非线性激活函数构成，包含多层参数、非线性强，能提取更有效的特征表示，明显提高模型的预测能力，能够有效克服多层感知机模型的第一层参数对模型最终分析预测能力的影响较小，预训练对fnn模型性能提升影响低的缺陷。

图4是本公开一个实施例中判决器22的结构示意图。

参考图4，判决器22主要由卷积层、下采样层、全连接层构成。在图4所示实施例中，判决器22包括串联的多个判决器子模块221(图4中为3个)以及多个全连接层222(图4中为2个)。各判决器子模块的特征通道数相同，每个子模块都将前一个模块的特征张量通道数加倍并进行空间缩小，最后将产生的特征张量展平为向量后输入全连接层222。

此外，每个判决器子模块221均可以包括n3个卷积层和n4个下采样层。在图4所示实施例中，n3＝2，n4＝1，卷积层的卷积核的大小均被设置为3×3，移动步长均被设置为为1×1；各下采样层的采样层核大小均被设置为2×2。判决器22中所有激活函数同样可以被设置为线性整流函数。在其他实施例中，判决器子模块的数量、n3和n4的具体数值、各卷积层/下采样层的核大小、移动步长、激活函数均可以由本领域技术人员自行设置，本公开不以此为限。

需要说明的是，可以根据输出目标的不同，对判决器22设置不同的参数，以控制判决器22的输出标量。

在本公开实施例中，设置判决器22的输出标量为对目标变量的预测结果，例如根据输入的用户日志词向量数据输出对用户行为的预测。一个实施例中，可以根据用户在电商网站的浏览、购买数据预测用户在未来7天内可能购买的商品，或根据用户在90天以内的行为数据，预测对用户提供信贷的风险。

图3、图4所示结构仅为示例，在对抗生成神经网络相关的研究工作中，任意生成器、判决器结构都可用于实现本公开实施例提出的预设神经网络200，预设神经网络200的结构具有很强的灵活性。

在预设神经网络200中，最后一层全连接网络(即输出网络)的激活函数可以被设置为双曲(sigmoid)函数。

为使用预设神经网络200对词向量进行处理，首先需要对其进行训练。对本公开提出的基于生成器-判决器模型形成的预设神经网络200，可以设置生成器-判决器模型的损失函数为二分类交叉熵损失函数，其公式如下：

其中，l是损失函数，n是数据集内样本的个数，x是词向量，y是用户真实行为的好坏分类标签，a是生成器-判决器模型对用户行为好坏类别的概率预测。二分类问题一般只采用交叉熵损失函数来指导模型的训练，它是根据二分类问题的极大似然估计方法得出的损失函数，具有明确的理论依据。本领域技术人员也可以根据实际需求自行设置损失函数，本公开不以此为限。

在本公开实施例中，设置损失函数后，使用误差反向传播算法对进行训练，训练方式为端到端(end-to-end)训练(直接从输入得到期望的输出，即学习算法将系统的输入端连接到输出端)，以简化训练流程。

训练结束后，可以应用预设神经网络200执行词嵌入方法100的步骤s102～s106，根据词向量数据输出分类结果。

为了检验本公开提供的预设神经网络200的效果，需要对模型的预测能力、稳定性进行检验。模型的检验标准通常有auc、ks等指标。auc指标为roc曲线的线下面积。在二分类问题中，使用不同的分类阈值会产生不同的召回率与误报率，以误报率为横轴，召回率为纵轴即可绘制roc曲线。ks指标的计算方法和auc指标相似。以评价模型对普通用户与逾期用户的区分能力为例，ks指标的计算方法为：把评估样本按分数升序排列，将样本切割为n段(一般切割为10段)，然后计算每段i的累计普通用户占比gi和逾期用户占比bi，ks的计算公式为：

在相同的数据集上对fnn模型与预设神经网络200的评价指标进行比较，数据如表1所示。

由表1可以看出，预设神经网络200相比fnn模型，auc指标提升了一个点，ks指标提升了两个点，表明预设神经网络200有更准确的分类能力。

在本公开实施例中，反卷积网络构成的生成器将描述用户行为的高维稀疏特征向量转换为低维特征张量，自适应地将相关特征分量组织为张量中空间相邻的点；卷积网络构成的判决器对特征张量进行预测识别。由于反卷积网络(生成器)、卷积网络(判决器)的可调整参数少、网络结构深、泛化能力强、不易过拟合，能有效克服fnn模型中全连接网络训练难度大、容易过拟合的缺陷。此外，由于生成器、判决器都由多层网络构成，更容易进行迁移学习。例如生成器部分由反卷积层、上采样层、非线性激活函数构成，层数更多，经过训练后，可以在模型训练结束后保留更深的网络部分来直接用于其他模型的抽象特征提取，克服了fm只有一层的缺陷；判决器部分可以在使用逻辑回归或因子分解算法进行微调训练后应用于接收生成器输出的特征张量并输出多种分类方式的多个分类结果。

综上所述，本公开提供的词嵌入方法能有效减少实现词嵌入的神经网络模型的可调整参数数量，增加模型深度，提高模型泛化能力。

对应于上述方法实施例，本公开还提供一种词嵌入装置，可以用于执行上述方法实施例。

图5是本公开一个示例性实施例中一种词嵌入装置的方框图。

参考图5，词嵌入装置500可以包括：

数据接收模块502，设置为通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；

特征提取模块504，设置为通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；

分类输出模块506，设置为通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。

在本公开的一种示例性实施例中，所述分类结果为对预设目标变量的预测结果。

在本公开的一种示例性实施例中，所述生成器包括串联的多个生成器子模块，每个所述生成器子模块包括n1个反卷积层和n2个上采样层，所述多个生成器子模块的特征通道数相同。

在本公开的一种示例性实施例中，所述生成器子模块将前一个生成器子模块输出的特征张量通道数减半并进行空间放大。

在本公开的一种示例性实施例中，所述判决器包括串联的多个判决器子模块和多个全连接层，每个所述判决器子模块包括n3个卷积层和n4个下采样层，所述多个判决器子模块的特征通道数相同。

在本公开的一种示例性实施例中，所述判决器子模块的将前一个判决器子模块输出的特征张量通道数加倍并进行空间缩小，所述全连接层接收最后一个所述判决器子模块输出的展平为向量的特征张量。

在本公开的一种示例性实施例中，所述生成器和所述判决器的激活函数均为线性整流函数，所述预设神经网络的最后一层网络的激活函数为双曲函数。

在本公开的一种示例性实施例中，所述预设神经网络的损失函数为二分类交叉熵损失函数。

在本公开的一种示例性实施例中，所述预设神经网络通过误差反向传播算法训练。

由于装置500的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤s102：通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；步骤s104：通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；步骤s106：通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。