商品命名实体识别方法及其装置、设备、介质、产品与流程

1.本技术涉及电商信息技术，尤其涉及一种商品命名实体识别方法及其装置、设备、介质、产品。


背景技术：

2.命名实体识别是自然语言处理技术领域中的一项基础任务，在电商领域的搜索、推荐和用户画像分析等都起着重要作用。例如用户搜索时，搜索框对用户搜索的词汇联想，可以引导用户搜索想要搜索的商品词，提高搜索效率，而词汇联想中的联想词，通常便是基于商品库中的商品信息通过命名实体识别出的商品词。除用于词汇联想外，还可以将命名实体用于搜索推荐场景中，以及用于商品画像等，可见命名实体在电商场景的应用途径是多种多样的。
3.商品的实体识别可以被当作序列标注问题来解决，但这种方法只用到了文本的信息，忽略了商品图片的信息。而多模态命名实体识别在传统的命名实体识别基础上额外引入了图像，可以为文本补充语义信息来进行消歧。传统的多模态命名实体识别技术仍然存在着两个问题：
4.1、当前大部分方法基于注意力机制来进行文本和图像间的特征交互，但由于不同模态的表示来自于不同的编码器，想要捕捉文本中特征和图像区域之间的关系是困难的。如果文本和图像的表示并不一致，在计算其彼此间的相似度时，有些词可能会和其它区域有着较高的相似度得分。因此，表示的不一致会导致模态之间难以建立起较好的关系。
5.2、当前的方法默认文本与其随附的图像在意思表达上是匹配的，并且图像可以帮助识别文本中的命名实体。事实上，并不是所有的文本和图像都是匹配的，如果模型依赖这种不匹配的图像，便会受图像的误导，会做出错误的预测。
6.由此可见，基于多个模态的信息进行命名实体的识别相关的技术，由于图像与文本之间可能存在所表达的意思不匹配的可能，而常导致不能准确识别出命名实体，需要进行技术改进。


技术实现要素：

7.本技术的目的在于解决上述问题而提供一种商品命名实体识别方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
8.根据本技术的一个方面，提供一种商品命名实体识别方法，包括如下步骤：
9.采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；
10.采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；
11.采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息
与所述图文匹配概率的乘积；
12.采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。
13.可选的，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息，包括：
14.获取商品信息中的商品图像和描述文本，所述商品图像为商品的默认展示图片，所述描述文本包括所述商品的商品标题；
15.采用所述编码网络中的图像编码器提取所述商品图像的深层语义信息，获得图像特征表示；
16.采用所述编码网络中的文本编码器提取所述描述文本的深层语义信息，获得文本特征信息；
17.采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息。
18.可选的，采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息，包括：
19.将所述文本特征信息作为查询向量，将所述图像特征表示作为值向量和键向量，输入所述注意力层；
20.由所述注意力层利用所述查询向量从键向量中查询出其中的关键特征向量；
21.由所述注意力层将所述关键特征向量归一化为权重向量；
22.将所述值向量匹配所述权重向量获得图像特征信息。
23.可选的，采用所述实体识别模型中的融合网络构造图文综合信息，包括：
24.采用所述融合网络中的线性层计算所述图像特征信息与所述图文匹配概率的乘积，获得图像关键信息；
25.采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融合，获得融合特征信息，并计算所述融合特征信息与所述图像关键信息的元素积，获得图文优选信息；
26.采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文综合信息。
27.可选的，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息之前，包括：
28.获取数据集，所述数据集中包括多个商品相对应的商品信息，每个商品信息包括同一商品的商品图像和描述文本，以及存在于所述描述文本中的多个命名实体；
29.将所述编码网络与所述概率回归网络构建为图文匹配识别模型，采用所述数据集中同一商品的商品图像和描述文本构造正样本，不同商品的商品图像和描述文本构造负样本，对所述图文匹配识别模型实施训练至收敛，使其适于根据商品图像和描述文本获得将两者预测为正样本的图文匹配概率；
30.以所述数据集中每个商品的商品信息中的商品图像和描述文本作为所述实体识别模型的训练样本，以所述商品信息中相对应的命名实体作为监督标签，在固化所述概率回归网络的权重的条件下对所述实体识别模型实施训练至收敛。
31.可选的，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：
32.将识别出的命名实体作为据以获得该命名实体的商品信息相对应的商品的商品标签；
33.响应于用户搜索指令，获得用户关键词；
34.根据所述用户关键词与所述商品标签的匹配关系，获得携带与所述用户关键词相匹配的商品标签的商品信息列表；
35.将所述商品信息列表推送给所述的用户。
36.可选的，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：
37.将识别出的命名实体作为商品关键词库中的关键词；
38.响应于用户搜索指令，获得用户关键词；
39.从所述商品关键词库中查询出与所述用户关键词相匹配的关键词，根据匹配出的关键词重构所述用户关键词，获得重定向文本；
40.根据重定向文本执行商品搜索，获得相应的商品信息列表推送给所述的用户。
41.根据本技术的另一方面，提供一种商品命名实体识别装置，包括：
42.特征提取模块，设置为采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；
43.概率获取模块，设置为采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；
44.特征融合模块，设置为采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息与所述图文匹配概率的乘积；
45.实体标注模块，设置为采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。
46.根据本技术的另一方面，提供一种商品命名实体识别设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述的商品命名实体识别方法的步骤。
47.根据本技术的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的商品命名实体识别方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。
48.根据本技术的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本技术任意一种实施例中所述方法的步骤。
49.相对于现有技术，本技术在命名实体识别模型对商品图像、描述文本两种模态的特征信息进行引用的过程中，引入概率回归网络用于确定两个模态的特征信息之间的图文匹配概率，根据图文匹配概率修正图像特征信息，获得图像关键信息，再在图像关键信息与文本特征信息的基础上进行命名实体识别，由于图文匹配概率能够优化从商品图像中获得的图像特征信息，滤除无关的图像特征信息，为从文本特征信息中识别出命名实体提供有
效的图像特征，发挥命名识别过程中的消歧作用，因而可以提升命名实体识别模型从描述文本中识别出命名实体的准确度。
附图说明
50.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1为本技术的技术方案的应用环境的网络架构示意图；
52.图2为本技术的示例性的实体识别模型的模型架构的示意图；
53.图3为本技术的商品命名实体识别方法的一种实施例的流程示意图；
54.图4为本技术实施例中商品信息的编码过程的流程示意图；
55.图5为本技术实施例中根据图像特征表示和文本特征信息获取图像特征信息的流程示意图；
56.图6为本技术实施例中根据图文匹配概率融合文本特征信息和图像特征信息的流程示意图；
57.图7为本技术实施例中训练实体识别模型的流程示意图；
58.图8为本技术应用命名实体的一种实施例的流程示意图；
59.图9为本技术应用命名实体的另一实施例的流程示意图；
60.图10为本技术的商品命名实体识别装置的原理框图；
61.图11为本技术所采用的一种商品命名实体识别设备的结构示意图。
具体实施方式
62.本技术中所引用或可能引用到的模型，包括传统机器学习模型或深度学习模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
63.请参阅图1，本技术一种示例性的应用场景所采用的网络架构，包括终端设备80、独立站服务器81和应用服务器82，所述应用服务器82可用于部署商品命名实体识别服务，所述商品命名实体识别服务通过运行根据本技术的商品命名实体识别方法实现的计算机程序产品并开放相应的接口来提供服务。所述独立站服务器81可用于部署并开放电商服务的线上店铺，所述终端设备80上的用户可以在所述线上店铺的页面中提交商品图像和描述文本给独立站服务器81，独立站服务器81进一步调用所述应用服务器82的商品命名实体识别服务提供的相应接口向其提交所述商品图像和描述文本，获得所述描述文件中的多个命名实体，返回给所述的终端设备80，或者根据所述命名实体生成相应的下游任务结果后返回给所述的终端设备80。
64.根据本技术的商品命名实体识别方法实现的计算机程序产品也可以运行于任意具备足够算力的计算机设备中，执行所述方法的各个步骤，而实现所述商品实体识别服务。例如，可以运行于所述终端设备80或独立站服务器中而提供所述商品命名实体识别服务。
65.请参阅图2，图2示出执行本技术的商品命名实体识别方法时示例性采用的一个实体识别模型的模型架构，该架构中，所述实体识别模型主要由编码网络、概率回归网络、融合网络，以及条件随机场网络等各大部件构成，其中，编码网络用于提取示例性的电商场景中的商品信息中的商品图像的图像特征信息和商品信息中的描述文本的文本特征信息；所述概率回归网络用于预测所述商品信息中的商品图像及描述文本之间的匹配程度，可表示为概率值，获得图文匹配概率；所述融合网络用于根据图文匹配概率从所述图像特征信息中提取出部分图文优选信息后与文本特征信息结合获得图文综合信息，以为文本特征信息融合有指示作用的图像特征；所述条件随机场网络用于根据所述图文综合信息预测出描述文本中的命名实体。
66.所述编码网络中，可以包括图像编码器、文本编码器以及注意力层，其中图像编码器用于提取所述商品信息中的商品图像的图像特征表示，可以采用卷积神经网络(convolutional neural network，cnn)、残差网络(residual network，resnet)之类的深度学习模型实施；所述文本编码器用于提取所述商品信息中的描述文本的文本特征信息，可以采用适于处理序列化信息的深度学习模型实施，例如循环回归网络(recurrent neural network,rnn)、长短期记忆网络(long short-term memory，lstm)、bert(bidirectional encoder representation from transformers)及其同类网络等。所述注意力层可以采用多头注意力层(multi-heads attention)、交谈注意力层(talking-heads attention)等多种注意力机制实现的现成模型来实施。
67.所述概率回归网络可以借助传统机器学习方式或者深度学习方式实现为一个线性层，其以文本特征信息及图像特征表示为输入，拟合出表示两者之间的匹配程度的概率值即可，因而，可以借助一个sigmoid函数来计算出所述的概率值。在实际应用中，所述编码网络可以采用预训练的模型，然后将所述编码网络与所述概率回归网络构造为图文匹配识别模型，采用相应的训练样本对该图文匹配识别模型实施训练至收敛状态后，再接入本技术的实体识别模型中，在冻结图文匹配识别模型的权重的情况下，对整个实体识别模型实施训练，以便通过所述概率回归网络为实体识别模型的训练过程引入图文匹配概率，提升实体识别模型的训练收敛速度，而实体识别模型的训练过程则不会影响整个图文匹配识别模型已习得的推理能力。
68.所述融合网络通过一个线性层将图文匹配概率与图像特征信息计算元素积，即哈达玛积，以提取出图像特征信息中的图像关键信息，然后借助一个门控层将图像关键信息与文本特征信息进行融合，以获得图文优选信息，最后再借助拼接层将图文优选信息与文本特征信息拼接获得图文综合信息，输入条件随机网络中做命名实体预测。
69.所述条件随机场网络，即crf(conditional random field)，是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列，因此适于根据图文特征信息预测出其中的命名实体。
70.请参阅图3，根据本技术提供的一种商品命名实体识别方法，在其一个实施例中，包括如下步骤：
71.步骤s1100、采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；
72.本技术示例性的商品信息是电商场景中的商品信息，通常是指电商平台中适于展
示商品所需的相关信息，其中的商品图像可以是商品详情页面中的主图，该主图通常也是相应的商品的默认展示图片，其中的描述文件通常采用相应的商品的商品标题，当然也可以是该商品的其他文本信息，例如商品详情文本、商品属性数据等，由本领域技术人员灵活选定即可。
73.针对一个商品的商品信息，当需要实施命名实体识别时，获取其中的一个商品图像和一个描述文本，分别输入本技术示例性的命名实体模型的编码网络中，其中的商品图像由所述编码网络中的图像编码器提取可获得图像特征表示，其中的描述文本由所述编码网络中的文本提取器提取可获得文本特征信息。
74.在所述编码网络中，注意力层获得所述图像特征表示和文本特征信息后，将文本特征信息作为查询向量，将所述图像特征表示作为键向量和值向量，从图像特征表示中查询出与所述文本特征信息密切相关的图像特征信息，由此，编码网络便可根据商品图像和描述文本，获得图像特征信息和文本特征信息。
75.需要指出的是，此时的图像特征信息和文本特征信息，尽管通过注意力层，从原始的图像特征表示中筛选出部分图像特征信息，但由于有时候商品图像与描述文本各自所表达的内容或有差异，因此，这种粗浅的处理所得的图像特征信息，如果直接将图像特征信息与文本特征信息联合用于实施命名实体识别，图像特征信息反而会对文本特征信息起到干扰作用，常会导致识别结果不够准确。
76.步骤s1200、采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；
77.为了有效指示所述图像特征信息对于所述文本特征信息的参考作用，本技术图2示例性的实体识别模型中，给出一个概率回归网络，其预先被训练至收敛状态而适于根据图像特征信息和文本特征信息预测出两者之间的匹配程度，并表示为图文匹配概率。也即是说，通过所述图文匹配概率，可以表示所述商品信息中的商品图像与其描述文本之间的匹配程度，从而可以用于指导如何从所述图像特征信息中获取适量的参考信息，用于辅助文本特征信息，而实现更准确的命名实体识别过程。
78.所述概率回归网络，可以采用全连接层来构建以将其映射到两个分类，其中一个分类表示图像特征信息与文本特征信息相似，另一分类则相反。由此，借助sigmoid函数可以计算出两个分类相应的分类概率，将代表相似相对应的分类的分类概率作为所述图文匹配概率即可。
79.所述概率回归网络确定所述图文匹配概率的推理能力可以通过预先训练获得，在将其训练至收敛后，再接入本技术图2的实体识别模型中用于确定所述的图文匹配概率。
80.步骤s1300、采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息与所述图文匹配概率的乘积；
81.获得所述图文匹配概率之后，实体识别模型中的融合网络可以先利用所述图文匹配概率与所述图像特征信息进行相乘，获得图像关键信息，用于表示为了实施命名实体识别而应从所述图像特征信息中获取的信息量，所述图像关键信息于是表示了所述商品图像对描述文本的命名实体识别任务的贡献价值相对应的信息量。
82.所述融合网络进一步将所述图像关键信息与所述文本特征信息分别匹配学习权重后相加，所述学习权重是实体识别模型训练过程中习得的，能够决定所述文本特征信息与所述图像关键信息在何种程度上相融合，然后，将相加所得结果与所述图像关键信息再计算元素积，从而获得图文优选信息，所述图文优选信息实际上便是文本特征信息与图像特征信息基于图文匹配概率深度交互之后的结果。
83.在图文优选信息的基础上，所述融合网络将所述图文优选信息与所述文本特征信息进行拼接，构成图文综合信息，其中的文本特征信息表示了商品信息中的描述文本的原义，图文优选信息则是以图像特征信息为基础优化获得的参考信息，两者相结合获得的图文综合信息，以文本为主，以图像为辅，提供了充分的特征信息，可供条件随机场网络准确预测出命名实体。
84.步骤s1400、采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。
85.在所述图文综合信息的基础上，条件随机场网络对所述图文综合信息进行序列化标注，标注出对应文本特征信息中的各个词元的命名实体标签，根据这些标签便可提取出相应的命名实体，从而实现命名实体识别。
86.根据以上实施例可知，本技术在命名实体识别模型对商品图像、描述文本两种模态的特征信息进行引用的过程中，引入概率回归网络用于确定两个模态的特征信息之间的图文匹配概率，根据图文匹配概率修正图像特征信息，获得图像关键信息，再在图像关键信息与文本特征信息的基础上进行命名实体识别，由于图文匹配概率能够优化从商品图像中获得的图像特征信息，滤除无关的图像特征信息，为从文本特征信息中识别出命名实体提供有效的图像特征，发挥命名识别过程中的消歧作用，因而可以提升命名实体识别模型从描述文本中识别出命名实体的准确度。
87.在本技术任意实施例的基础上，请参阅图4，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息，包括：
88.步骤s1110、获取商品信息中的商品图像和描述文本，所述商品图像为商品的默认展示图片，所述描述文本包括所述商品的商品标题；
89.一种实施例中，采用跨境电商平台的独立站的线上店铺中的商品信息作为命名实体识别的素材，从所述线上店铺中的某个商品的商品信息中获取其默认展示图片作为其商品图像，并获取该商品的商品标题作为其描述文本。
90.步骤s1120、采用所述编码网络中的图像编码器提取所述商品图像的深层语义信息，获得图像特征表示；
91.适应实体识别模型中的图像编码器的入参所需，对所述商品图像进行适当的图像格式预处理后，例如进行图像压缩至244*244大小，然后将其输入所实体识别模型的编码网络的图像编码器中，以便执行特征提取操作。由所述图像编码器提取出所述商品图像中的深层语义信息，获得相应的图像特征表示。
92.作为示例，可使用resnet作为图像编码器，当图像输入到resnet后，其最后一层卷积层的输出j＝(j1,j2,...,j
49
)∈r
2048
×7×7作为图像区域的表示，即图像特征表示，其中7
×
7＝49为图像区域的数量，即将整张图像均分为49个区域。接着，使用大小为2048的平均池化层对进行平均池化得到整个图像的表示vg∈r
2048
。由于后续t和j需要进行交互，所以将j
通过一个全连接层将其投影到与t相同的维度v＝w
jt
j＝(v1,v2,...,v
49
)，其中vi∈rd。
93.步骤s1130、采用所述编码网络中的文本编码器提取所述描述文本的深层语义信息，获得文本特征信息；
94.与步骤s1120同步地，可将所述商品信息中的描述文本进行文本格式预处理，例如去除停用词、去除标点符号等操作后，编码输入所述编码网络的文本编码器中进行特征提取操作，获得所述描述文本的深层语义信息相对应的文本特征信息。
95.作为示例，可使用bert作为文本编码器，当文本输入到bert后，便可以得到token序列的表示即文本特征信息t＝(t0,t1,...,tn,t
n+1
)，其中n为token的数量，t0为标识[cls]，t
n+1
为标识[sep]，ti∈rd,实际使用时，可采用[cls]的表示作为整个文本的表示ts∈rd。
[0096]
步骤s1140、采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息。
[0097]
在所述编码网络中，还包括有一个注意力层，其基于qkv操作，利用所述文本特征信息查询出所述图像特征信息中，与该文本特征信息相关联的特征信息，从而获得图像特征信息，该图像特征信息由于注意力机制的作用，而初步表征了商品图像与描述文本之间的图像语义关联信息，可以用做命名实体识别的参考信息，但由于注意力机制的交互较为笼统，因而，还可以在本实施例的基础上对其做深度的信息加工，以提升其对命名实体识别的指导价值。
[0098]
作为示例，注意力层通过注意力机制建立起文本和图像之间的关系，使用文本特征信息t∈rd×
(n+
2)作为查询向量query，使用图像的区域表示即图像特征表示v∈rd×
49
作为键向量key和值向量value，最终得到文本增强后的图像表示c＝(c0,c1,...,c
n+1
)(ci∈rd)。
[0099]
根据以上实施例可知，本技术在对商品信息进行编码处理的过程中，先借助注意力机制对商品图像的图像特征表示和描述文本的文本特征信息做交互而获得图像特征信息，这些图像特征信息和文本特征信息可以用于确定图文匹配概率以指导命名实体识别，为命名实体识别过程奠定了可靠的技术基础。
[0100]
在本技术任意实施例的基础上，请参阅图5，采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息，包括：
[0101]
步骤s1141、将所述文本特征信息作为查询向量，将所述图像特征表示作为值向量和键向量，输入所述注意力层；
[0102]
所述商品图像的图像特征表示中所包含的语义较为丰富，但未彰显重点，因而，可以借助文本特征信息与图像特征表示进行特征交互，抽取出其中对于命名实体识别更具决定性影响的关键特征。为此，可借助一个注意力层用于抽取所述的关键特征。
[0103]
在应用注意力层时，将所述文本特征信息作为查询向量，将图像特征表示作为键向量和值向量，通过自注意力层执行qkv运算，实现图文特征的综合，参考所述文本特征信息查询出图像特征表示中的关键特征，最终获得图像特征信息。图像特征信息是对商品图片中用于预测命名实体的关键特征的表示。不难理解，经过预先训练，注意力层可以事先习得根据描述文本的文本特征信息查询出商品图像的图像特征表示的图像特征信息的能力。
[0104]
步骤s1142、由所述注意力层利用所述查询向量从键向量中查询出其中的关键特
征向量；
[0105]
由于键向量是商品图像的图像特征表示，而查询向量是文本特征信息，包含商品信息中的描述文本的深层语义信息，因而，以注意力层使用多头注意力机制的实施例中，可将查询向量q与键向量k分别匹配其各自的可学习权重wq、wk之后，求点积运算实现特征交互，以文本语义为参考，从键向量k匹配相应的可学习权重wk所得的结果中确定出商品图像中的关键特征向量。
[0106]
对于注意力层使用单头注意力机制的实施例，所述查询向量q无需匹配可学习权重。
[0107]
步骤s1143、由所述注意力层将所述关键特征向量归一化为权重向量；
[0108]
获得所述关键特征向量后，可采用softmax函数对其进行归一化，将其中的特征数值映射至[0,1]的置信区间，获得一个权重向量，用于表征图像特征表示中各个对应特征所享有的关键程度的权重。
[0109]
步骤s1144、将所述值向量匹配所述权重向量获得图像特征信息。
[0110]
为了从图像特征表示中提取出关键特征，进一步，可将所述权重向量与所述值向量v(如前文所述，可事先按需匹配相应的可学习权重wv)，也即所述图像特征表示相乘，实现对所述图像特征表示中的特征值的加权求和，由此便可获得最后的图像特征信息，其中的各个特征数值在权重向量的作用下得到调节，从而实现对商品图像中的关键特征的挖掘和表示。
[0111]
部分实施例中，无论是基于单头注意力机制还是多头注意力机制，所述值向量v可以直接复用所述键向量k，减少需要学习的权重参数，以便在训练过程中加速模型的收敛速度。不难理解，所述各个可学习权重在图像编码器的训练过程中被反向传播修正，在图像编码器被训练至收敛后得到固化。
[0112]
本实施例中，注意力层通过参考文本特征信息对图像特征表示执行注意力运算，实现对商品图像中的关键特征的深度挖掘，获得图像特征信息，使图像特征信息可以有效表示商品图像中对于生成命名实体识别有价值的特征信息，从而可以更为有效地指导命名实体识别过程。
[0113]
在本技术任意实施例的基础上，请参阅图6，采用所述实体识别模型中的融合网络构造图文综合信息，包括：
[0114]
步骤s1310、采用所述融合网络中的线性层计算所述图像特征信息与所述图文匹配概率的乘积，获得图像关键信息；
[0115]
在获得所述的图文匹配概率和所述的图像特征信息后，可以利用图文匹配概率对图像特征信息进行修正，以便在注意力层的结果的基础上，进一步确定商品图像对于命名实体识别过程所起的信息贡献程度，为此，可通过一个线性层来实施图文匹配概率的计算。具体而言，所述线性层可以用于执行所述图像特征信息与所述图文匹配概率的乘积操作，从而获得相应的图像关键信息m。
[0116]
步骤s1320、采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融合，获得融合特征信息，并计算所述融合特征信息与所述图像关键信息的元素积，获得图文优选信息；
[0117]
进一步，由所述融合网络中实现的一个门控层负责将所述文本特征信息与所述图
像关键信息进行特征融合获得融合特征信息，然后在融合特征信息的基础上计算融合特征信息与图像关键信息的元素积，也即哈达玛积，从而获得图文优选信息。
[0118]
作为示例，门控层用于将文本特征信息t以及图像关键信息m融合在一起获得融合特征信息，其使用门机制动态地调整应与文本结合的图像表示，其中，通过公式g＝σ(wt+wm)，将文本特征信息与图像关键信息分别匹配学习而得的权重w之后加和而获得融合特征信息g。然后，通过公式r＝g
⊙
m，求取融合特征信息g与所述图像关键信息m之间的元素积，便可获得所述图文优选信息r。
[0119]
步骤s1330、采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文综合信息。
[0120]
最后，融合网络中的拼接层，将所述图文优选信息r与所述文本特征信息t拼接在一起，便得到图文综合信息h＝(h0,h1,...,h
n+1
)，其中hi∈r
2d
。
[0121]
可以看出，以上实施例中，图文匹配概率起到修正图像特征信息的关键作用，在此基础上获得图像关键信息，融合网络在图像关键信息的基础上，进一步结合文本特征信息进行深度特征融合，从而获得图文优选信息，图文优选信息便是有效综合了文本特征信息和图像特征信息中的有价值信息的产物，将图文优选信息与文本特征信息拼接后所获得的图文综合信息，在其中的图文优选信息的参考作用下，可以指导条件随机场网络更准确地识别出命名实体。
[0122]
在本技术任意实施例的基础上，请参阅图7，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息之前，包括：
[0123]
步骤s2100、获取数据集，所述数据集中包括多个商品相对应的商品信息，每个商品信息包括同一商品的商品图像和描述文本，以及存在于所述描述文本中的多个命名实体；
[0124]
预备一个数据集，所述数据集可以从电商平台的商品信息库中采集各个成功发布的商品的商品信息来构造。每个所述的商品信息通常包括训练模型所需的同一商品的商品图像和描述文本，所述商品图像可以是商品的默认展示图片，所述描述文本可以是所述商品的商品标题。通常商品标题都会存在一个或多个命名实体，例如商品的产品词、核心词等，这些命名实体可以作为监督标签使用，可以事先标注出来。
[0125]
步骤s2200、将所述编码网络与所述概率回归网络构建为图文匹配识别模型，采用所述数据集中同一商品的商品图像和描述文本构造正样本，不同商品的商品图像和描述文本构造负样本，对所述图文匹配识别模型实施训练至收敛，使其适于根据商品图像和描述文本获得将两者预测为正样本的图文匹配概率；
[0126]
本技术中的概率回归网络需要针对性训练。因而，一个实施例中，先将本技术的实体识别模型中的编码网络与概率回归网络构造为图文匹配识别模型，以该图文匹配识别模型为对象实施第一阶段的训练。
[0127]
需要注意的是，所述编码网络，通过采用预训练模型即可，因而，在图文匹配识别模型的训练过程中，所述编码网络的权重可以参与修正，也可以冻结使用。
[0128]
一种实施例中，所述概率回归网络可以是采用sigmoid函数构造的分类器，由此可以计算出两个分类相对应的概率，其中一个分类对应识别为正样本的情况，另一分类对应识别为负样本的情况，由此，在利用正、负样本对基于概率回归网络构建的图文匹配识别模
型实施训练之后，获取正样本相对应的分类所获得的分类概率作为图文匹配概率，即可表征所输入的商品图像与描述文本之间的匹配程度。
[0129]
为此，在对所述图文匹配识别模型实施训练之前，可利用所述数据集中的商品信息来构造训练所需的正样本和负样本。对于所述正样本，采用数据集中的属于同一商品的商品信息中的一张商品图像和一个描述文本构成两个模态的素材；对于所述负样本，则采用数据集中的一种商品的商品信息中的商品图像和另一种商品的商品信息中的描述文本构成。
[0130]
在对图文匹配识别模型实施迭代训练的阶段，逐一调用所述的正样本或负样本，将其中的商品图像和描述文本分别输入所述编码网络的图像编码器和文本编码器中，相应获得图像特征表示和文本特征信息，经注意力层查询关键特征后进一步获得图像特征信息，再由概率回归网络根据图像特征信息和文本特征信息的拼接结果映射到两个分类相对应的空间获得分类结果，以便获得两个分类相对应的分类概率，然后相应采用正样本或负样本相对应的监督标签计算所述分类结果的损失值，再根据损失值判断图文匹配识别模型是否达到收敛状态，在未达到收敛状态时，对图文匹配识别模型实施梯度更新，通过反向传播修正其权重，然后继续采用下一正样本或负样本进行训练，直至根据所述损失值判断图文匹配识别模型达到收敛状态为止而终止训练。
[0131]
需要注意的是，由于所采用的编码网络中的图像编码器和文本编码器通常是预训练模型，因而，在对图文匹配识别模型实施训练的过程中，所述图像编码器和文本编码器既可以参与梯度更新，也可以不参与梯度更新，可视实测效果而定。而所述编码网络中的注意力层，则可与所述概率回归网络一起参与梯度更新。也即，在图文匹配识别模型的训练阶段，可以单独对所述概率回归网络实施梯度更新以修正其权重，也可以一并修正所述编码网络中的注意力层的权重，甚至还可以进一步修正所述编码网络中的图像编码器和文本编码器的权重。不难理解，需要修正权重的环节越多，模型习得的能力便越强；环节越少，则其训练效率可望越高。
[0132]
步骤s2300、以所述数据集中每个商品的商品信息中的商品图像和描述文本作为所述实体识别模型的训练样本，以所述商品信息中相对应的命名实体作为监督标签，在固化所述概率回归网络的权重的条件下对所述实体识别模型实施训练至收敛。
[0133]
如前所述，数据集中的每个描述文本中的命名实体可经预先标注而成为监督标签，因而，在完成所述的图文匹配识别模型的训练之后，将其接入融合网络和条件随机场网络，构成本技术如图2所示的实体识别模型，然后对该实体识别模型实施训练。
[0134]
在对图2所示的实体识别模型实施训练之前，可以先固化所述编码网络和概率回归网络的权重，以最大程度避免在训练实体识别模型的过程中，破坏所述概率回归网络已经习得的推理能力。也即，可只对所述融合网络和条件随机场网络实施梯度更新。
[0135]
在对所述实体识别模型实施训练时，从所述数据集中调用单个商品的商品信息中的商品图像和描述文本作为训练样本，分别输入所述实体识别模型中编码网络部分的图像编码器和文本编码器，分别获得图像特征表示和文本特征信息，经编码网络的注意力层利用文本特征信息查询出图像特征表示中的关键特征获得图像特征信息后，图像特征信息与文本特征信息一起被输入概率回归网络中预测出图文匹配概率。然后，融合网络中的线性层采用图文匹配概率修正图像特征信息中的数值，获得图像关键信息，输入融合网络中的
门控层，门控层融合图像关键信息与文本特征信息获得融合特征信息，并根据图像关键信息对融合特征信息择优而获得适量掺和图像、文本两个模态的特征信息的图文优选信息。最后，融合网络中的拼接层将所述图文优选信息与文本特征信息相拼接，构成图文综合信息输出至条件随机场网络，由条件随机场网络预测出其中的各个命名实体。对于条件随机场网络预测出的命名实体，可采用所述描述文本预标注的监督标签计算其损失值，然后根据损失值判断实体识别模型是否收敛，如果未收敛，便对实体识别模型实施梯度更新，通过反向传播修正其各个需要更新权重的各个环节的相应权重，继续调用下一商品的商品图像和描述文本作为训练样本对实体识别模型迭代训练。如果已经收敛，则终止对实体识别模型的训练，可将已收敛的实体识别模型投入推理阶段使用。
[0136]
根据以上实施例可以看出，本技术为了使实体识别模型获得更精准的序列标注结果，在训练阶段，对于两个模态的信息，即所述的商品图像和描述文本，先建立图文匹配识别模型并对其实施训练，使其具备预测所述商品图像和描述文本的匹配程度相对应的图文匹配概率的能力，然后将该图文匹配识别模型置入实体识别模型中，成为实体识别模型的一个构件，使实体识别模型可以根据内嵌的图文匹配识别模型所预测的图文匹配概率更合理地融合商品图像和描述文本的特征信息，获得图文综合信息，再由条件随机场网络根据图文综合信息准确预测出描述文本中的命名实体。由于图文匹配概率的引入，实体识别模型能够获得更高的训练效率，更容易训练至收敛状态，并且，实体识别模型能够更准确地决定从商品图像和描述文本各自的特征信息中提取的信息量，获得更有效表示两者之间的关联信息的图文综合信息，从而可使条件随机场网络进行序列化标注时更为精准有据，确保高效精准地识别出描述文本中的命名实体。
[0137]
在本技术任意实施例的基础上，请参阅图8，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：
[0138]
步骤s3100、将识别出的命名实体作为据以获得该命名实体的商品信息相对应的商品的商品标签；
[0139]
本技术的实体识别模型对一个商品的商品信息，具体是对其中的商品图像和描述文本进行命名实体的识别后，可以获得其中的各个命名实体，示例而言，当所述描述文本是商品标题时，可以获得诸如“商品名称：手机”、“商品颜色：土豪金”之类的数据对，由此，可将这些数据对作为商品标签，对相应的商品进行标注，存储到商品信息库中。电商平台中上架的每个商品均可采用这种方式进行标注，以便后续可通过商品标题对其实施检索。
[0140]
步骤s3200、响应于用户搜索指令，获得用户关键词；
[0141]
当任意用户需要执行商品搜索时，可以通过线上店铺触发用户搜索指令，线上店铺所在的独立站响应于所述用户搜索指令进行解析处理，便可以获得其中携带的用户关键词。
[0142]
步骤s3300、根据所述用户关键词与所述商品标签的匹配关系，获得携带与所述用户关键词相匹配的商品标签的商品信息列表；
[0143]
获得所述用户关键词后，采用所述用户关键词对线上店铺的商品信息库进行查询，查询出其中携带所述用户关键词相匹配的商品标签的商品，获得这些商品的一种或多种商品信息，构造出商品信息列表。所述商品信息通常包括商品标题、商品图像、商品链接等。
[0144]
在确定用户关键词与商品的商品标签的匹配关系时，一种实施例中，可采用规则匹配的方式执行，另一种实施例中，也可以采用语义匹配的方式执行，对此，本领域技术人员可灵活选用。
[0145]
步骤s3400、将所述商品信息列表推送给所述的用户。
[0146]
获得所述商品信息列表后，便可以该商品信息列表应答所述的用户搜索指令，将其推送给相应的用户，使该商品信息列表在用户的终端设备中解析显示，从而达到应答搜索、商品推荐等目的。
[0147]
根据以上实施例可知，由于本技术能够实现对商品的描述文本中的命名实体进行精准识别，因而，当采用本技术的技术方案对商品实施商品标签的标注之后，在服务于商品搜索场景中，可望获得更高效精准的搜索结果，从而改善电商平台的商品搜索体验。
[0148]
在本技术任意实施例的基础上，请参阅图9，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：
[0149]
步骤s4100、将识别出的命名实体作为商品关键词库中的关键词；
[0150]
本实施例中，可为每个线上店铺预备一个商品关键词库，然后采用本技术的技术方案用于为该线上店铺的各个商品的商品信息实施命名实体识别，将所获得的命名实体存储到商品关键词库中备用。
[0151]
步骤s4200、响应于用户搜索指令，获得用户关键词；
[0152]
当任意用户需要执行商品搜索时，可以通过线上店铺触发用户搜索指令，线上店铺所在的独立站响应于所述用户搜索指令进行解析处理，便可以获得其中携带的用户关键词。
[0153]
步骤s4300、从所述商品关键词库中查询出与所述用户关键词相匹配的关键词，根据匹配出的关键词重构所述用户关键词，获得重定向文本；
[0154]
获得所述用户关键词后，采用所述用户关键词对线上店铺的商品关键词库进行查询，查询出其中携带所述用户关键词相匹配的一个或多个关键词，从而实现对用户关键词的扩充，可作为所述用户关键词的重定向文本使用。
[0155]
在确定用户关键词与商品关键词库中的关键词的匹配关系时，一种实施例中，可采用规则模糊匹配的方式执行，另一种实施例中，也可以采用语义匹配的方式执行，对此，本领域技术人员可灵活选用。
[0156]
步骤s4400、根据重定向文本执行商品搜索，获得相应的商品信息列表推送给所述的用户。
[0157]
获得重定向文本之后，便可采用重定向文本对线上店铺的商品信息库进行检索，例如检索出商品信息库中商品标题匹配所述重定向文本中的一个或多个关键词的商品，然后获得这些商品的商品信息构造为商品信息列表，将其推送给触发所述用户搜索指令的用户，使该用户的终端设备能够显示所述商品信息列表所包含的商品的商品信息，所述商品信息列表中的商品信息，如前所述，通常包括商品标题、商品图像、商品链接等。
[0158]
根据以上实施例可知，经过本技术识别出的命名实体，可服务于搜索重定向，用于修正或扩充用户搜索指令中的用户关键词，使用户搜索结果更为全面和精准，从而可以改善电商平台的服务体验。
[0159]
请参阅图10，根据本技术的一个方面提供的一种商品命名实体识别装置，包括特
征提取模块1100、概率获取模块1200、特征融合模块1300，以及实体标注模块1400，其中：所述特征提取模块1100，设置为采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；所述概率获取模块1200，设置为采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；所述特征融合模块1300，设置为采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息与所述图文匹配概率的乘积；所述实体标注模块1400，设置为采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。
[0160]
在本技术任意实施例的基础上，所述特征提取模块1100，包括：素材获取单元，设置为获取商品信息中的商品图像和描述文本，所述商品图像为商品的默认展示图片，所述描述文本包括所述商品的商品标题；图像处理单元，设置为采用所述编码网络中的图像编码器提取所述商品图像的深层语义信息，获得图像特征表示；文本处理单元，设置为采用所述编码网络中的文本编码器提取所述描述文本的深层语义信息，获得文本特征信息；特征查询单元，设置为采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息。
[0161]
在本技术任意实施例的基础上，所述特征查询单元，包括：数据导入子单元，设置为将所述文本特征信息作为查询向量，将所述图像特征表示作为值向量和键向量，输入所述注意力层；关键查询子单元，设置为由所述注意力层利用所述查询向量从键向量中查询出其中的关键特征向量；权重生成子单元，设置为由所述注意力层将所述关键特征向量归一化为权重向量；特征生成子单元，设置为将所述值向量匹配所述权重向量获得图像特征信息。
[0162]
在本技术任意实施例的基础上，所述特征融合模块1300，包括：概率运算单元，设置为采用所述融合网络中的线性层计算所述图像特征信息与所述图文匹配概率的乘积，获得图像关键信息；特征筛选单元，设置为采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融合，获得融合特征信息，并计算所述融合特征信息与所述图像关键信息的元素积，获得图文优选信息；模态融合单元，设置为采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文综合信息。
[0163]
在本技术任意实施例的基础上，本技术的商品命名实体识别模块，先于所述特征提取模块1100，包括：数据获取模块，设置为获取数据集，所述数据集中包括多个商品相对应的商品信息，每个商品信息包括同一商品的商品图像和描述文本，以及存在于所述描述文本中的多个命名实体；第一训练模块，设置为将所述编码网络与所述概率回归网络构建为图文匹配识别模型，采用所述数据集中同一商品的商品图像和描述文本构造正样本，不同商品的商品图像和描述文本构造负样本，对所述图文匹配识别模型实施训练至收敛，使其适于根据商品图像和描述文本获得将两者预测为正样本的图文匹配概率；第二训练模块，设置为以所述数据集中每个商品的商品信息中的商品图像和描述文本作为所述实体识别模型的训练样本，以所述商品信息中相对应的命名实体作为监督标签，在固化所述概率回归网络的权重的条件下对所述实体识别模型实施训练至收敛。
[0164]
在本技术任意实施例的基础上，本技术的商品命名实体识别模块，后于所述实体
标注模块1400，包括：标签标注模块，设置为将识别出的命名实体作为据以获得该命名实体的商品信息相对应的商品的商品标签；第一指令响应模块，设置为响应于用户搜索指令，获得用户关键词；列表匹配模块，设置为根据所述用户关键词与所述商品标签的匹配关系，获得携带与所述用户关键词相匹配的商品标签的商品信息列表；列表推送模块，设置为将所述商品信息列表推送给所述的用户。
[0165]
在本技术任意实施例的基础上，本技术的商品命名实体识别模块，后于所述实体标注模块1400，包括：关键词存储模块，设置为将识别出的命名实体作为商品关键词库中的关键词；第二指令响应模块，设置为响应于用户搜索指令，获得用户关键词；文本定向模块，设置为从所述商品关键词库中查询出与所述用户关键词相匹配的关键词，根据匹配出的关键词重构所述用户关键词，获得重定向文本；搜索执行模块，设置为根据重定向文本执行商品搜索，获得相应的商品信息列表推送给所述的用户。
[0166]
本技术的另一实施例还提供一种商品命名实体识别设备。如图11所示，商品命名实体识别设备的内部结构示意图。该商品命名实体识别设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该商品命名实体识别设备的计算机可读的非易失性可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种商品命名实体识别方法。
[0167]
该商品命名实体识别设备的处理器用于提供计算和控制能力，支撑整个商品命名实体识别设备的运行。该商品命名实体识别设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本技术的商品命名实体识别方法。该商品命名实体识别设备的网络接口用于与终端连接通信。
[0168]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的商品命名实体识别设备的限定，具体的商品命名实体识别设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0169]
本实施方式中处理器用于执行图10中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的非易失性可读存储介质中存储有本技术的商品命名实体识别装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。
[0170]
本技术还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本技术任一实施例的商品命名实体识别方法的步骤。
[0171]
本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本技术任一实施例所述方法的步骤。
[0172]
本领域普通技术人员可以理解，实现本技术上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等计算机可读存储介质，
或随机存储记忆体(random access memory，ram)等。
[0173]
综上所述，本技术通过为商品图像、描述文本两种模态的特征信息引入图文匹配概率获得融合结果，在融合结果基础上进行命名实体识别，可以提升命名实体识别的准确度，从而可以从商品信息中准确提取商品相关的命名实体。