基于用户搜索记录的性别年龄判别方法及装置与流程

本发明涉及用户建模、个性化搜索引擎、人工智能、自然语言处理等技术领域，特别涉及一种基于用户搜索记录的性别年龄判别方法及装置。

背景技术：

年龄、性别等网络用户的属性信息在个性化搜索引擎、推荐、广告等个性化网络应用中起着重要作用、。例如，通过在线用户的性别信息，广告商可以向女性用户展示化妆品广告，向男性用户发布剃须刀广告。而没有用户的性别和年龄信息，广告商可能会向青少年用户展示退休保险广告，向男性用户展示口红广告，这往往是无效的。然而，用户属性信息的获取非常困难，许多在线用户的属性信息都不可用，这限制了用户属性信息在个性化网络服务中的应用。幸运的是，在线用户经常使用搜索引擎来搜索所需的信息，而商业搜索引擎积累的搜索查询可以覆盖大量的用户。另外，来自不同性别和年龄的用户的搜索查询，在内容和写作风格上也存在一定的差异。例如，青少年可能搜索“数学游戏”和“给同学的礼物”，而老年人可能搜索“助听器”和“老花镜”。男性用户可能搜索“飞利浦剃须刀”，女性用户可能搜索“唇膏色号图”。此外，年轻用户比老年用户更容易在搜索查询中使用“酷”之类的词。因此，在线用户生成的搜索查询可以为推断他们的性别年龄提供有用的线索。因此，本发明研究了基于搜索查询的用户性别年龄预测问题。

从用户生成的文本预测用户的性别年龄等属性已经在数据挖掘和自然语言处理领域被研究了多年。例如，nguyen等人提出了一种基于lasso正则化的线性回归模型，用于从博客、论坛帖子和电话录音中预测用户年龄。rosenthal和mckeown提出使用逻辑回归来从博客中预测用户年龄。除了博客内容之外，他们还将风格特征和行为特征融入到他们的方法中。fink等人使用支持向量机预测twitter用户的性别。wang等人应用lstm(longshort-termmemory，长期短期记忆网络)从社交媒体用户的微博信息中共同预测其性别、年龄和职业。然而，现有的用户性别年龄预测方法主要集中在博客、社交媒体消息和论坛帖子上，而基于搜索查询的预测研究还十分有限。此外，现有的方法通常将同一用户生成的所有文本组合在一起，建立用户表示向量，不能区分有信息量的文本和噪声文本。

由以上可以知道，利用搜索记录对用户属性进行预测需要捕捉局部上下文关系，并克服用户搜索记录的嘈杂问题。对这两个问题，卷积神经网络进和注意力机制网络能分别有效克服这两个问题。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于用户搜索记录的性别年龄判别方法，该方法有效地提升了用户性别年龄预测的性能，同时有广大的用户覆盖量。

本发明的另一个目的在于提出一种基于用户搜索记录的性别年龄判别装置。

为达到上述目的，本发明一方面实施例提出了一种基于用户搜索记录的性别年龄判别方法，包括以下步骤：步骤s1：对搜索记录中的词语进行建模，并利用预训练的词向量得到每条搜索记录中每个词语的语义表示向量；步骤s2，对所述搜索记录进行建模，通过词语级的卷积神经网络捕获词语间上下文依赖关系，并使用注意力机制选取满足第一预设条件的词语，以构建搜索记录的上下文表示向量；步骤s3，基于所述搜索记录对用户建模，通过记录级的卷积神经网络捕获搜索记录间的上下文依赖关系，并使用注意力机制选取满足第二预设条件的搜索记录，以构建搜索用户的表示向量；步骤s4，基于用户表示向量的用户分类，通过全连接层对用户向量进行解码，并使用softmax函数对分类概率归一化。

本发明实施例的基于用户搜索记录的性别年龄判别方法，首先使用词语编码器来学习的查询表示，然后使用查询编码器来学习用户表示。此外，该方法将词级和查询级注意力网络结合，选择和突出重要单词和搜索查询，以便学习信息更丰富的用户表示，提高用户性别年龄预测的准确率。

另外，根据本发明上述实施例的基于用户搜索记录的性别年龄判别方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在所述步骤s1之前，还包括：获取用户搜索记录的文本数据集；对所述文本数据集进行预处理，对每个搜索记录将其切分成为词语的序列，并将英文的所有单词转换为小写单词；在所述文本数据集上使用word2vec工具预训练所述词向量，获得每个词语的语义向量表示。

进一步地，在本发明的一个实施例中，所述步骤s1包括：对在预训练词向量词典中的单词，使用预训练的词语嵌入矩阵查找所述单词的语义向量表示；对不在预训练词向量词典中的单词，使用[-0.1,0.1]的均匀分布随机生成改词的词向量；对词向量施加第一预设百分比的dropout。

进一步地，在本发明的一个实施例中，所述步骤s2包括：使用所述词语级别的卷积神经网络，从词语的语义向量表示学习词语的局部上下文表示；对所述卷积神经网络得到的词语表示施加第二预设百分比的dropout；使用词语级的注意力网络选取所述满足第一预设条件的词语，以通过加权求和构建搜索记录的所述上下文表示向量。

进一步地，在本发明的一个实施例中，所述步骤s3包括：使用所述记录级别的卷积神经网络，从搜索记录的语义向量表示学习其局部上下文表示；对所述卷积神经网络得到的词语表示施加第三百分比的dropout；使用搜索记录级的注意力网络选取所述满足第二预设条件的搜索记录，以通过加权求和构建所述用户的表示向量。

进一步地，在本发明的一个实施例中，所述步骤s4包括：对当前用户在每一个性别或者年龄类别的概率使用全连接层进行计算，并使用所述softmax函数进行归一化；对于有真实标签的用户，获取所述当前用户的分类loss函数。

为达到上述目的，本发明另一方面实施例提出了一种基于用户搜索记录的性别年龄判别装置，包括：第一建模模块，用于对搜索记录中的词语进行建模，并利用预训练的词向量得到每条搜索记录中每个词语的语义表示向量；第二建模模块，用于对所述搜索记录进行建模，通过词语级的卷积神经网络捕获词语间上下文依赖关系，并使用注意力机制选取满足第一预设条件的词语，以构建搜索记录的上下文表示向量；第三建模模块，用于基于所述搜索记录对用户建模，通过记录级的卷积神经网络捕获搜索记录间的上下文依赖关系，并使用注意力机制选取满足第二预设条件的搜索记录，以构建搜索用户的表示向量；归一化模块，用于基于用户表示向量的用户分类，通过全连接层对用户向量进行解码，并使用softmax函数对分类概率归一化。

本发明实施例的基于用户搜索记录的性别年龄判别装置，首先使用词语编码器来学习的查询表示，然后使用查询编码器来学习用户表示。此外，该方法将词级和查询级注意力网络结合，选择和突出重要单词和搜索查询，以便学习信息更丰富的用户表示，提高用户性别年龄预测的准确率。

另外，根据本发明上述实施例的基于用户搜索记录的性别年龄判别装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：文本预处理模块，用于获取用户搜索记录的文本数据集，并对所述文本数据集进行预处理，对每个搜索记录将其切分成为词语的序列，并将英文的所有单词转换为小写单词，且在所述文本数据集上使用word2vec工具预训练所述词向量，获得每个词语的语义向量表示。

进一步地，在本发明的一个实施例中，其中，所述第一建模模块进一步用于对在预训练词向量词典中的单词，使用预训练的词语嵌入矩阵查找所述单词的语义向量表示，且对不在预训练词向量词典中的单词，使用[-0.1,0.1]的均匀分布随机生成改词的词向量，并对词向量施加第一预设百分比的dropout；所述第二建模模块进一步用于使用所述词语级别的卷积神经网络，从词语的语义向量表示学习词语的局部上下文表示，且对所述卷积神经网络得到的词语表示施加第二预设百分比的dropout，并使用词语级的注意力网络选取所述满足第一预设条件的词语，以通过加权求和构建搜索记录的所述上下文表示向量；所述第三建模模块进一步用于使用所述记录级别的卷积神经网络，从搜索记录的语义向量表示学习其局部上下文表示，且对所述卷积神经网络得到的词语表示施加第三百分比的dropout，并使用搜索记录级的注意力网络选取所述满足第二预设条件的搜索记录，以通过加权求和构建所述用户的表示向量。

进一步地，在本发明的一个实施例中，所述归一化模块进一步用于对当前用户在每一个性别或者年龄类别的概率使用全连接层进行计算，并使用所述softmax函数进行归一化，并对于有真实标签的用户，获取所述当前用户的分类loss函数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于用户搜索记录的性别年龄判别方法的流程图；

图2为根据本发明一个具体实施例基于用户搜索记录的性别年龄判别方法的流程图；

图3为根据本发明实施例的基于用户搜索记录的性别年龄判别装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本申请是基于发明人对以下问题的认识和发现做出的：

本发明是受以下观察结果启发的。首先，并不是所有的搜索查询都对用户的性别年龄有用，而且许多搜索记录是无关的，甚至是嘈杂的。因此，区分重要的查询和嘈杂的查询常重要，以便为用户性别年龄预测构建信息丰富的用户表示。其次，相邻的搜索查询可能相互关联。这可能是因为它们是相同搜索意图的不同表达。然而，长时间跨度的搜索查询之间的相关性通常很弱。建模搜索查询的本地上下文对于学习更精确和更鲁棒的查询表示很有用，因为搜索查询通常很短，并且每个查询中的上下文信息都是有限的。第三，同一个查询中不同的词对人口预测的重要性可能不同。此外，同一个词在不同的查询中也可能有不同的用处。因此，根据上下文识别和突出重要的词非常重要，可对搜索查询构建更有信息量的表示。

正是基于上述原因，本发明实施例提出了一种基于用户搜索记录的性别年龄判别方法及装置。

下面参照附图描述根据本发明实施例提出的基于用户搜索记录的性别年龄判别方法及装置，首先将参照附图描述根据本发明实施例提出的基于用户搜索记录的性别年龄判别方法。

图1是本发明一个实施例的基于用户搜索记录的性别年龄判别方法的流程图。

如图1所示，该基于用户搜索记录的性别年龄判别方法包括以下步骤：

步骤s1：对搜索记录中的词语进行建模，并利用预训练的词向量得到每条搜索记录中每个词语的语义表示向量。

可以理解的是，本发明实施例可以对通过对搜索记录中的词语进行建模，使每个单词通过一个单词嵌入查找表，被映射到一个低维的语义向量，在模型训练期间,该单词嵌入查找表的参数可以训练，从而在融入丰富的语义信息的同时，利用深度神经网络的自我学习能力。

进一步地，在本发明的一个实施例中，在步骤s1之前，还包括：获取用户搜索记录的文本数据集；对文本数据集进行预处理，对每个搜索记录将其切分成为词语的序列，并将英文的所有单词转换为小写单词；在文本数据集上使用word2vec工具预训练词向量，获得每个词语的语义向量表示。

可以理解的是，(1)从搜索引擎的记录中搜集一个大规模的用户搜索记录的文本数据集，作为预训练语料；(2)对语料进行预处理，进行单词切分，讲英文单词转换为小写等；(3)在大规模的搜索记录语料上预训练词向量，获得丰富的语义信息。

进一步地，在本发明的一个实施例中，步骤s1包括：对在预训练词向量词典中的单词，使用预训练的词语嵌入矩阵查找单词的语义向量表示；对不在预训练词向量词典中的单词，使用[-0.1,0.1]的均匀分布随机生成改词的词向量；对词向量施加第一预设百分比的dropout。

其中，第一预设百分比可以为20％，当然，本领域技术人员可以根据实际情况进行设置，在此不做具体限定。

需要说明的是，本发明实施例中的预设时间、预设稳定条件和预设数量，本领域技术人员均可以根据实际情况进行设置，在此不做具体限定。

可以理解的是，(1)对在预训练词向量词典中的单词，使用预训练好的词语嵌入矩阵查找改词的语义向量表示；(2)对不在预训练词向量词典中的单词，使用一个[-0.1,0.1]的均匀分布随机生成改词的词向量；(3)对词向量施加20％的dropout，减轻模型过拟合现象。

具体而言，如图2所示，本发明实施例对于一个搜索查询q的单词序列[w1，w2，...，wm]，需要从中学习该查询的隐藏表示。

通过这一个步骤，每个单词wi通过单词嵌入查找表被映射到一个低维密集向量其中v是词汇量大小，d是嵌入维度。在模型训练期间,该单词嵌入查找表的参数可以训练。

步骤s2，对搜索记录进行建模，通过词语级的卷积神经网络捕获词语间上下文依赖关系，并使用注意力机制选取满足第一预设条件的词语，以构建搜索记录的上下文表示向量。

进一步地，在本发明的一个实施例中，步骤s2包括：使用词语级别的卷积神经网络，从词语的语义向量表示学习词语的局部上下文表示；对卷积神经网络得到的词语表示施加第二预设百分比的dropout，从而可以减轻模型过拟合现象；使用词语级的注意力网络选取满足第一预设条件的词语，以通过加权求和构建搜索记录的上下文表示向量。

其中，第二预设百分比可以为20％，当然，本领域技术人员可以根据实际情况进行设置，在此不做具体限定。选取满足第一预设条件的词语可以理解为选取重要的词语，当然，本领域技术人员可以根据实际情况进行设置第一预设条件，在此不做具体限定。

可以理解的是，本发发明实施例使用一个词语级别的卷积神经网络，从词语的语义向量表示学习词语的局部上下文表示；并对卷积神经网络得到的词语表示施加20％的dropout，减轻模型过拟合现象；且使用一个词语级的注意力网络，选取重要的词语，以加权求和的方式构建搜索记录的表示向量。

具体而言，如图2所示，这一步骤使用一个单词编码器，用于从一个用户的查询q的语义向量序列[w1，w2，...，wm]中学习该查询的表示。搜索查询通常是几个关键字的组合，例如“小猪佩奇”，而不是一个完整的句子。因此，将查询视为单词序列并使用诸如lstm的序列建模方法来学习搜索查询的表示可能是不合适的。此外，单词的局部上下文对于学习查询表示非常重要。例如，结合“佩奇”可以知道“猪”是卡通角色名称的一部分，可以为用户建模提供信息。然而，在其他情况下，例如“家猪”这个词对于年龄预测来说并不那么有用。因此，本发明实施例通过使用cnn(convolutionalneuralnetworks，卷积神经网络)来捕获单词的局部上下文信息来学习查询表示。

将记作cnn网络中窗口大小为kw的滤波器，则第i个词的上下文表示计算如下：

其中是嵌入向量从位置到位置的组合，g是激活函数。在本发明实施例的方法中，relu被用作本发明实施例的激活函数，在cnn层中使用多个滤波器，而第i个词的最终上下文表示是位于位置i的这些滤波器的输出的串联，表示为其中fw是滤波器的数量。

接下来一层是一个注意力网络。同一搜索查询中的不同单词对于用户属性预测可能具有不同的重要性。例如，在查询“给女友的圣诞礼物”中，“女友”这个词在推断用户性别方面可能比“礼物”更具信息性。另外，相同的单词在不同的搜索查询中可以具有不同的信息量。例如，查询“电影新女友”中的“女友”一词比上述查询信息量少。在不同的上下文中选择有用的单词以学习更有信息量的查询表示非常重要。因此，本发明实施例使用词语级别的注意力网络来帮助本发明实施例的模型根据对用户属性预测的重要性选取词语。

查询q中单词wi的注意权重计算如下：

其中以及是注意力网络的参数，是查询q中单词wi的注意力权重。搜索查询q的最终表示是使用注意力权重加权的词语的上下文表示的总和，其表述如下：

步骤s3，基于搜索记录对用户建模，通过记录级的卷积神经网络捕获搜索记录间的上下文依赖关系，并使用注意力机制选取满足第二预设条件的搜索记录，以构建搜索用户的表示向量。

其中，选择满足第二预设条件的搜索记录可以理解为选取重要的搜索记录，当然，本领域技术人员可以根据实际情况进行设置第二预设条件，在此不做具体限定。

进一步地，在本发明的一个实施例中，步骤s3包括：使用记录级别的卷积神经网络，从搜索记录的语义向量表示学习其局部上下文表示；对卷积神经网络得到的词语表示施加第三百分比的dropout，从而可以减轻模型过拟合现象；使用搜索记录级的注意力网络选取满足第二预设条件的搜索记录，以通过加权求和构建用户的表示向量。

其中，第三预设百分比可以为20％，当然，本领域技术人员可以根据实际情况进行设置，在此不做具体限定。

可以理解的是，本发明实施例使用一个搜索记录级别的卷积神经网络，从搜索记录的语义向量表示学习其局部上下文表示；且对卷积神经网络得到的词语表示施加20％的dropout，减轻模型过拟合现象；并使用一个搜索记录级的注意力网络，选取重要的搜索记录，以加权求和的方式构建用户的表示向量。

具体而言，如图2所示，这一步骤使用一个查询编码器，用于从一个用户的查询序列[q1，q2，...，qn]中学习用户u的表示。第一层是查询级cnn网络，通过捕获其局部上下文来学习搜索查询的上下文表示。相邻用户在相邻时间发布的搜索查询可能彼此具有相关性。

例如，它们可以是相同搜索意图的不同表述，或者是同一搜索目标的不同方面。相邻查询之间的相关性对于学习搜索查询的更准确的表示是有用的，因为单个查询中的上下文信息通常是有限的,而相关的相邻查询可以提供补充信息。但是，具有长时间跨度的查询之间的相关性通常非常弱。因此，本发明实施例使用cnn网络捕获搜索查询的局部上下文，以增强查询表示的学习。

此cnn网络的输入是用户u的搜索查的表示向量询[q1，q2，...，qn]。

将表示为具有窗口大小kq的查询级cnn网络中的滤波器，然后通过此滤波器学习查询qi的上下文表示，计算如下：

其中，是是从位置到的搜索查询表示向量的组合，g是relu激活函数。搜索查询qi的最终上下文表示是多个过滤器的输出的串联，表示为其中fq是查询级cnn网络中的过滤器数量。

第二层是查询级别的注意力网络。不同的搜索查询对用户建模的贡献不同，并且许多搜索查询对于用户建模而言是无关紧要的甚至是嘈杂的。例如，对于年龄和性别预测，诸如“为孙子的生日礼物”和“飞利浦剃须刀”的搜索查询可能比“谷歌地图”和“亚马逊网站”等查询更具信息性。

因此，本发明实施例使用查询级别的注意力网络来帮助本发明实施例的模型以选取重要的搜索查询，以从搜索查询中学习更多信息丰富的用户表示。搜索查询qi的注意权重计算如下：

其中，以及是查询级别注意力网络的参数。用户u的最终隐藏表示是他/她的搜索查询的上下文表示的总和，这些表示由这些查询的注意权重加权，其公式如下：

步骤s4，基于用户表示向量的用户分类，通过全连接层对用户向量进行解码，并使用softmax函数对分类概率归一化。

进一步地，在本发明的一个实施例中，步骤s4包括：对当前用户在每一个性别或者年龄类别的概率使用全连接层进行计算，并使用softmax函数进行归一化；对于有真实标签的用户，获取当前用户的分类loss函数

可以理解的是，本发明实施例对用户在每一个性别或者年龄类别的概率使用一个全连接层进行计算，并使用softmax函数进行归一化。对于有真实标签的用户，计算该用户的分类loss函数。

具体而言，如图2所示，在这一步骤中，模型根据从学习的用户的隐藏表示，将用户分类为预定义的类别之一(例如，年龄预测中的年龄组和性别预测中的性别类别)。

在本模块中，本发明实施例使用softmax层计算用户$u$在不同类别中的概率，其公式如下：

pu＝softmax(w^t×u+bu)，

其中，和是分类器的参数，c是类别数。

在模型训练阶段，本发明实施例使用交叉熵作为损失函数，并将整体目标函数表示为：

其中，yu,c是c类别中用户u的真实标签，如果c为真，则为1，否则为0。u是训练用户的数量。

在预测阶段，选择yu,c中得分最高的标签作为用户u的预测类别。

根据本发明实施例提出的基于用户搜索记录的性别年龄判别方法，首先使用词语编码器来学习的查询表示，然后使用查询编码器来学习用户表示。此外，该方法将词级和查询级注意力网络结合，选择和突出重要单词和搜索查询，以便学习信息更丰富的用户表示，提高用户性别年龄预测的准确率。

其次参照附图描述根据本发明实施例提出的基于用户搜索记录的性别年龄判别装置。

图3是本发明一个实施例的基于用户搜索记录的性别年龄判别装置的结构示意图。

如图3所示，该基于用户搜索记录的性别年龄判别装置10包括：第一建模模块100、第二建模模块200、第三建模模块300和归一化模块400。

其中，第一建模模块100用于对搜索记录中的词语进行建模，并利用预训练的词向量得到每条搜索记录中每个词语的语义表示向量。第二建模模块200用于对搜索记录进行建模，通过词语级的卷积神经网络捕获词语间上下文依赖关系，并使用注意力机制选取满足第一预设条件的词语，以构建搜索记录的上下文表示向量。第三建模模块300用于基于搜索记录对用户建模，通过记录级的卷积神经网络捕获搜索记录间的上下文依赖关系，并使用注意力机制选取满足第二预设条件的搜索记录，以构建搜索用户的表示向量。归一化模块400用于基于用户表示向量的用户分类，通过全连接层对用户向量进行解码，并使用softmax函数对分类概率归一化。本发明实施例的装置10可以根据一个用户的搜索记录，利用其隐含的内容与行为特点，自动预测用户的性别和年龄等属性，从而有效地提升了用户性别年龄预测的性能，同时有广大的用户覆盖量。

进一步地，在本发明的一个实施例中，还包括：文本预处理模块，用于获取用户搜索记录的文本数据集，并对文本数据集进行预处理，对每个搜索记录将其切分成为词语的序列，并将英文的所有单词转换为小写单词，且在文本数据集上使用word2vec工具预训练词向量，获得每个词语的语义向量表示。

可以理解的是，文本预处理模块也可以称为用户文本预处理模块，用于搜集用户的搜索记录，并对搜索记录进行预处理，进行单词的切分，英文单词转换为小写、过滤低频词之后得到处理后的文本，并最终使用词典将该文本映射为单词id的序列。

进一步地，在本发明的一个实施例中，其中，第一建模模块100进一步用于对在预训练词向量词典中的单词，使用预训练的词语嵌入矩阵查找单词的语义向量表示，且对不在预训练词向量词典中的单词，使用[-0.1,0.1]的均匀分布随机生成改词的词向量，并对词向量施加第一预设百分比的dropout；第二建模模块200进一步用于使用词语级别的卷积神经网络，从词语的语义向量表示学习词语的局部上下文表示，且对卷积神经网络得到的词语表示施加第二预设百分比的dropout，并使用词语级的注意力网络选取满足第一预设条件的词语，以通过加权求和构建搜索记录的上下文表示向量；第三建模模块300进一步用于使用记录级别的卷积神经网络，从搜索记录的语义向量表示学习其局部上下文表示，且对卷积神经网络得到的词语表示施加第三百分比的dropout，并使用搜索记录级的注意力网络选取满足第二预设条件的搜索记录，以通过加权求和构建用户的表示向量。

可以理解的是，用户建模模块可以包括第一建模模块100、第二建模模块200和第三建模模块300，用户建模模块用于对用户从搜索记录进行建模，使用前述的用户搜索记录的性别年龄判别方法对用户进行建模。

用户建模模块进一步包括：建模单元，训练单元和监测单元。

其中，建模单元，从搜索记录的词语id序列对用户进行建模；训练单元，通过的基于用户搜索记录的性别年龄判别模型，利用adam优化器与反向传播算法不断优化该模型的参数和性能；监测单元，用于在达到每段预设时间之后，在验证集上检验神经网络模型的loss值，在该loss值在连续五个时段内不再下降时，停止模型训练。

进一步地，在本发明的一个实施例中，归一化模块400进一步用于对当前用户在每一个性别或者年龄类别的概率使用全连接层进行计算，并使用softmax函数进行归一化，并对于有真实标签的用户，获取当前用户的分类loss函数。

进一步地，在本发明的一个实施例中，还包括：预测模块，用于从给出的用户类别的概率向量，给出用户的分类结果。

需要说明的是，前述对基于用户搜索记录的性别年龄判别方法实施例的解释说明也适用于该实施例的基于用户搜索记录的性别年龄判别装置，此处不再赘述。

根据本发明实施例提出的基于用户搜索记录的性别年龄判别装置，首先使用词语编码器来学习的查询表示，然后使用查询编码器来学习用户表示。此外，该方法将词级和查询级注意力网络结合，选择和突出重要单词和搜索查询，以便学习信息更丰富的用户表示，提高用户性别年龄预测的准确率。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。