技术特征：
1.一种商品命名实体识别方法，其特征在于，包括：采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息与所述图文匹配概率的乘积；采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。2.根据权利要求1所述的商品命名实体识别方法，其特征在于，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息，包括：获取商品信息中的商品图像和描述文本，所述商品图像为商品的默认展示图片，所述描述文本包括所述商品的商品标题；采用所述编码网络中的图像编码器提取所述商品图像的深层语义信息，获得图像特征表示；采用所述编码网络中的文本编码器提取所述描述文本的深层语义信息，获得文本特征信息；采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息。3.根据权利要求2所述的商品命名实体识别方法，其特征在于，采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息，包括：将所述文本特征信息作为查询向量，将所述图像特征表示作为值向量和键向量，输入所述注意力层；由所述注意力层利用所述查询向量从键向量中查询出其中的关键特征向量；由所述注意力层将所述关键特征向量归一化为权重向量；将所述值向量匹配所述权重向量获得图像特征信息。4.根据权利要求1所述的商品命名实体识别方法，其特征在于，采用所述实体识别模型中的融合网络构造图文综合信息，包括：采用所述融合网络中的线性层计算所述图像特征信息与所述图文匹配概率的乘积，获得图像关键信息；采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融合，获得融合特征信息，并计算所述融合特征信息与所述图像关键信息的元素积，获得图文优选信息；采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文综合信息。5.根据权利要求1至4中任意一项所述的商品命名实体识别方法，其特征在于，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的
文本特征信息之前，包括：获取数据集，所述数据集中包括多个商品相对应的商品信息，每个商品信息包括同一商品的商品图像和描述文本，以及存在于所述描述文本中的多个命名实体；将所述编码网络与所述概率回归网络构建为图文匹配识别模型，采用所述数据集中同一商品的商品图像和描述文本构造正样本，不同商品的商品图像和描述文本构造负样本，对所述图文匹配识别模型实施训练至收敛，使其适于根据商品图像和描述文本获得将两者预测为正样本的图文匹配概率；以所述数据集中每个商品的商品信息中的商品图像和描述文本作为所述实体识别模型的训练样本，以所述商品信息中相对应的命名实体作为监督标签，在固化所述概率回归网络的权重的条件下对所述实体识别模型实施训练至收敛。6.根据权利要求1至4中任意一项所述的商品命名实体识别方法，其特征在于，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：将识别出的命名实体作为据以获得该命名实体的商品信息相对应的商品的商品标签；响应于用户搜索指令，获得用户关键词；根据所述用户关键词与所述商品标签的匹配关系，获得携带与所述用户关键词相匹配的商品标签的商品信息列表；将所述商品信息列表推送给所述的用户。7.根据权利要求1至6中任意一项所述的商品命名实体识别方法，其特征在于，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：将识别出的命名实体作为商品关键词库中的关键词；响应于用户搜索指令，获得用户关键词；从所述商品关键词库中查询出与所述用户关键词相匹配的关键词，根据匹配出的关键词重构所述用户关键词，获得重定向文本；根据重定向文本执行商品搜索，获得相应的商品信息列表推送给所述的用户。8.一种商品命名实体识别装置，其特征在于，包括：特征提取模块，设置为采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；概率获取模块，设置为采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；特征融合模块，设置为采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息与所述图文匹配概率的乘积；实体标注模块，设置为采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。9.一种商品命名实体识别设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。10.一种非易失性可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据
权利要求1至7中任意一项所述的方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
技术总结
本申请涉及一种商品命名实体识别方法及其装置、设备、介质、产品，所述方法包括：采用实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；采用实体识别模型中的概率回归网络根据编码网络生成的图像特征信息和文本特征信息确定图文匹配概率；采用实体识别模型中的融合网络构造图文综合信息，使图文综合信息包含文本特征信息与图像关键信息的融合结果，图像关键信息为图像特征信息与图文匹配概率的乘积；采用实体识别模型中的条件随机场网络根据图文综合信息识别出命名实体。通过引入图文匹配概率，丰富命名实体预测所需的参考信息，可以提升命名实体识别的准确度。本申请可以提升商品命名实体识别的准确度。命名实体识别的准确度。命名实体识别的准确度。
技术研发人员：王锋
受保护的技术使用者：广州华多网络科技有限公司
技术研发日：2022.10.19
技术公布日：2022/12/12