链接实体关联方法、装置、电子设备和存储介质与流程

1.本申请涉及人工智能技术领域，具体为深度学习和自然语言技术，具体涉及一种链接实体关联方法、装置、电子设备和存储介质。


背景技术：

2.互联网百科产品为用户提供了方便的信息检索途径，在百科词条的正文内容中，存在一些内部链接，可以跳转到文中提及的其他词条，这样可以方便快捷地将知识点关联起来。随着知识库的规模越来越大，同一词语对应的备选词条也越来越多，也就是说，待链接的词语(简称链接词)可能对应多个备选的链接实体，这需要从多个备选的链接实体中为链接词选择合适的链接实体。


技术实现要素：

3.本申请提供了一种链接实体关联方法、装置、电子设备、存储介质和计算机程序产品。
4.根据第一方面，本申请提供了一种链接实体关联方法，包括：
5.响应于接收到第一文本以及第一链接词，生成第一向量；所述第一链接词为所述第一文本中待链接的词语；
6.从预设的链接实体向量库中确定与所述第一向量匹配的第二向量，所述链接实体向量库预先存储有若干个链接实体的向量表示；
7.将所述第二向量对应的链接实体与所述第一文本中的所述第一链接词进行关联。
8.根据第二方面，本申请提供了一种链接实体关联装置，包括：
9.文本向量化模块，用于响应于接收到第一文本以及第一链接词，生成第一向量；所述第一链接词为所述第一文本中待链接的词语；
10.确定模块，用于从预设的链接实体向量库中确定与所述第一向量匹配的第二向量，所述链接实体向量库预先存储有若干个链接实体的向量表示；
11.关联模块，用于将所述第二向量对应的链接实体与所述第一文本中的所述第一链接词进行关联。
12.根据第三方面，本申请提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与至少一个处理器通信连接的存储器；其中，
15.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法。
16.根据第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行第一方面中的任一项方法。
17.根据第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中的任一项方法。
18.根据本申请的技术，通过对包含链接词的文本和链接实体进行向量化，这样，即可通过向量匹配的方式，从链接实体向量库中为链接词确定合适的链接实体。
19.应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本申请的限定。其中：
21.图1是根据本申请第一实施例的链接实体关联方法的流程示意图；
22.图2是根据本申请第二实施例的链接实体关联装置的结构示意图；
23.图3是用来实现本申请实施例的链接实体关联方法的电子设备的框图。
具体实施方式
24.以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
25.目前，主要有以下方式可以为文本中的链接词关联链接实体：
26.其一，人工编辑：用户在撰写完文本内容后，可以为文本中的链接词选择合适的链接实体，该方式所确定的链接实体准确度较高，但是效率较低。
27.其二，机器链接：机器根据文本中的链接词，从知识库中找到该链接词对应的备选链接实体，如果备选链接实体存在多个，则对每个备选链接实体进行打分，并将打分排序来确定该链接词对应的链接实体，该方式中，打分规则一般是人为设定，无法保证所确定的链接实体的准确度。
28.鉴于此，本申请提供一种基于链接实体向量化的链接实体关联方法、装置、电子设备、存储介质和计算机程序产品。
29.以下对本申请的示范性实施例进行说明。
30.如图1所示，链接实体关联方法，包括如下步骤：
31.步骤101：响应于接收到第一文本以及第一链接词，生成第一向量；所述第一链接词为所述第一文本中待链接的词语。
32.上述第一文本是指包含有链接词的文本，例如，包含有链接词的语句或段落。第一文本中可以包含一个链接词(即第一链接词)，也可以包含多个链接词，当第一文本中包含多个链接词时，可以将其中一个链接词作为第一链接词，在完成该链接词的链接实体关联之后，再将其他某个链接词作为新的第一链接词，依此类推，直至完成所有链接词的链接实体关联。
33.本申请中，可以预先训练并构建向量化模型，待向量化模型收敛后，可使用该向量化模型来实现对文本进行向量化。例如，该向量化模型可包括对文本信息进行编码的部分，该部分可以单独出来，作为文本编码器使用。
34.在使用时，可以将第一文本以及第一链接词作为输入，输入至文本编码器中，文本编码器在接收到第一文本以及第一链接词之后，可根据第一文本以及第一链接词生成第一
向量。
35.在现实场景中，同一链接词位于不同的文本中时，其表达的含义不同，例如，以链接词为“红楼梦”为例，对于文本“红楼梦是一部奇书”，这里的“红楼梦”是指曹雪芹写的《红楼梦》这本书，而对于文本“李少红执导的红楼梦”，这里的“红楼梦”是指电视剧。因此，同一链接词位于不同文本中时，对应的链接实体可能不同。
36.鉴于此，该步骤中，由于将第一文本以及第一链接词同时作为输入，这样，生成的第一向量不仅仅体现第一链接词本身，而能够体现第一链接词与第一文本的关系，使得生成的第一向量能够更准确、更贴切地表示第一文本中的第一链接词。尤其是在第一链接词存在多个备选的链接实体的情况下，第一链接词位于不同文本时所生成的向量能够区分开，从而能够更准确地从多个备选的链接实体中确定出合适的链接实体。
37.步骤102：从预设的链接实体向量库中确定与所述第一向量匹配的第二向量，所述链接实体向量库预先存储有若干个链接实体的向量表示。
38.本申请中，可以将知识库中所有链接实体进行向量化，并将所有链接实体的向量表示存储于预先创建的链接实体向量库中，该链接实体向量库又可称为链接实体向量检索系统，是一个针对向量的检索召回系统。使用时，向该链接实体向量库中输入一个向量，即可在该链接实体向量库中寻找与输入的向量匹配的向量。
39.该步骤中，可以将第一向量输入至链接实体向量库中，并从链接实体向量库中确定与第一向量匹配的第二向量。在确定了第二向量之后，第一文本中的第一链接词对应的链接实体也就相应的确定了，链接实体向量库可以返回第二向量对应的链接实体的id或地址。
40.步骤103：将所述第二向量对应的链接实体与所述第一文本中的所述第一链接词进行关联。
41.该步骤中，可以根据链接实体向量库返回的链接实体的id或地址，将第二向量对应的链接实体与第一文本中的第一链接词进行关联。
42.根据本申请实施例的技术，通过对包含链接词的文本和链接实体进行向量化，这样，即可通过向量匹配的方式，从链接实体向量库中为链接词确定合适的链接实体。
43.可选的，所述响应于接收到第一文本以及第一链接词，生成第一向量，包括：
44.响应于接收到第一文本以及第一链接词，生成所述第一文本对应的向量，并根据所述第一链接词在所述第一文本中的位置信息，生成位置编码，所述位置编码的长度与所述第一文本的长度相同；
45.根据所述第一文本对应的向量和所述位置编码，生成所述第一向量。
46.该实施方式提供了一种根据第一文本以及第一链接词生成第一向量的具体实现方式。
47.该实施方式中，在将第一文本以及第一链接词输入至文本编码器之后，对于第一文本，文本编码器可将其直接转换为一向量；对于第一链接词，可以根据链接词在第一文本中的位置信息，生成和第一文本相同长度的位置编码，该位置编码也可理解为一个向量。作为示例，位置编码可以采用0
‑
1编码的形式，在链接词所在的位置置1，而在不存在链接词的位置置0，假设第一文本为“红楼梦是一部奇书”，第一链接词为“红楼梦”，则位置编码可以是1，1，1，0，0，0，0，0。
48.在生成第一文本对应的向量以及第一链接词对应的位置编码之后，可根据第一文本对应的向量和位置编码，生成第一向量。
49.该实施方式中，由于考虑第一链接词在第一文本中的位置信息，生成的位置编码能够很好地体现第一链接词与第一文本的关系，从而使得生成的第一向量能够体现第一链接词与第一文本的关系，使得生成的第一向量能够更准确、更贴切地表示第一文本中的第一链接词。
50.可选的，所述第一文本对应的向量包括所述第一文本的每个字符对应的初始向量；
51.所述根据所述第一文本对应的向量和所述位置编码，生成所述第一向量，包括：
52.将所述位置编码与所述第一文本的每个字符对应的初始向量进行对位相加，得到所述第一文本的每个字符对应的目标向量；
53.根据所述第一文本的每个字符对应的目标向量，生成所述第一向量。
54.该实施方式中，对于第一文本，文本编码器可生成第一文本的每个字符对应的向量(即每个字符对应的初始向量)，每个字符对应的向量可以是维度为512的向量。
55.以下对第一向量的生成过程进行示例说明：
56.假设第一文本为“红楼梦是一部奇书”，第一链接词为“红楼梦”。
57.第一文本一共包含8个字符，每个字符对应有一个向量，比如“红”对应一个512的向量，“楼”对应一个512的向量，
……
，一共得到了8个字符的初始向量。
58.第一链接词对应的位置编码是：1，1，1，0，0，0，0，0。
59.将上述位置编码与上述每个字符对应的初始向量进行对位相加，得到上述每个字符对应的目标向量，即得到了8个字符的目标向量。最后，根据这8个字符的目标向量，生成第一向量。
60.需要说明的是，除了采用上述的向量运算方法来得到第一向量之外，还可以采用其他合适的向量运算方法来得到第一向量，对此不作赘述。
61.可选的，所述从预设的链接实体向量库中确定与所述第一向量匹配的第二向量，包括：
62.计算所述第一向量与所述链接实体向量库中每个向量之间的相似度；
63.将所述链接实体向量库中，与所述第一向量的相似度最高的向量确定为所述第二向量。
64.本申请中，可以预先训练并构建向量相似度计算模型，该向量相似度计算模型可以采用文本相似度计算模型的预设框架，训练文本信息和链接实体信息之间的相似度。待向量相似度计算模型收敛后，可使用该向量相似度计算模型计算两个向量之间的相似度。
65.可选的，还包括：
66.对第一链接实体进行向量化，得到所述第一链接实体对应的向量表示；
67.将所述第一链接实体对应的向量表示存储于所述链接实体向量库中。
68.本申请中，可以预先训练并构建向量化模型，待向量化模型收敛后，可使用该向量化模型来实现对链接实体进行向量化。例如，该向量化模型可包括对链接实体进行编码的部分，该部分可以单独出来，作为链接实体编码器使用。
69.作为示例，在构建向量化模型上，可以采用语义理解技术与平台文心(ernie)构建
二分类模型，该模型的主要输入包括文本信息、链接词位置信息和链接实体信息，该模型内部的网络层结构可以采用双塔模型结构。该模型训练收敛之后，该模型具有对链接实体信息和文本信息进行向量化的能力，可以将模型中对链接实体信息进行编码的部分单独出来，作为链接实体编码器使用。可以将模型中对文本信息进行编码的部分单独出来，作为文本编码器使用。
70.在使用时，可以将第一链接实体的相关信息作为输入，输入至链接实体编码器中，链接实体编码器在接收到第一链接实体的相关信息之后，可根据第一链接实体的相关信息生成第一链接实体对应的向量表示。若采用双塔模型结构，则可将模型倒数第二层的输出作为第一链接实体最终的向量表示。
71.以下对向量化模型的训练过程进行简单的说明：
72.首先，准备训练样本集合，包括文本信息、文本中的链接词以及备选的链接实体全集，备选的链接实体全集中包括与链接词匹配的链接实体和不匹配的链接实体。其次，训练分类任务，在备选的链接实体中，将与链接词匹配的链接实体标注为1，将不匹配的链接实体标注为0。对于链接实体，构造包括词条信息、属性信息在内的特征信息。然后，将文本信息、文本中的链接词以及备选链接实体的特征信息输入至向量化模型中，得到文本信息的向量表示和链接实体的向量表示。继而，采用文本相似度计算模型的预设框架，训练文本信息的向量表示和链接实体的向量表示之间的相似度。
73.以下对链接实体的向量化过程进行具体说明。
74.可选的，所述对第一链接实体进行向量化，得到所述第一链接实体对应的向量表示，包括：
75.获取所述第一链接实体的词条信息和属性信息；
76.对所述词条信息和所述属性信息进行向量化，得到所述第一链接实体对应的向量表示。
77.该实施方式中，对于链接实体，可以构造词条信息和属性信息作为特征信息，其中，词条信息一般为文本信息，属性信息可包括属性名和属性值，一般采用表格格式。
78.词条信息和属性信息作为区别链接实体的关键特征信息，通过对词条信息和属性信息进行向量化，能够使链接实体的向量表示较准确。
79.可选的，所述对第一链接实体进行向量化，得到所述第一链接实体对应的向量表示，包括：
80.获取所述第一链接实体的词条信息、属性信息和第一信息，所述第一信息为非文本信息；
81.对所述词条信息和所述属性信息进行向量化，得到第三向量；
82.将所述第一信息转换为第四向量；
83.根据所述第三向量和所述第四向量，生成所述第一链接实体对应的向量表示。
84.在一些情况下，链接实体除了包含词条信息、属性信息这些特征信息之外，还可能包含其他较关键的非文本信息(即第一信息)，例如图片。可以采用预训练模型对该第一信息进行编码，转换为第四向量后使用。进一步的，第四向量的长度与第三向量的长度相同。
85.在得到第三向量和第四向量之后，可以采用拼接的方式得到第一链接实体对应的向量表示，例如，前半部分为第三向量，后面拼接第四向量。
86.词条信息、属性信息以及其他较关键的非文本信息作为区别链接实体的关键特征信息，通过对这些信息进行向量化，能够使链接实体的向量表示更加准确。
87.为了便于处理，可以将属性信息转换成文本信息来处理，即，所述对所述词条信息和所述属性信息进行向量化，包括：
88.将所述属性信息转换为第二文本；
89.对所述词条信息和所述第二文本进行向量化。
90.需要说明的是，本申请中的链接实体关联方法中的多种可选的实施方式，彼此可以相互结合实现，也可以单独实现，对此本申请不作限定。
91.本申请的上述实施例至少具有如下优点或有益效果：
92.根据本申请的技术，通过对包含链接词的文本和链接实体进行向量化，这样，即可通过向量匹配的方式，从链接实体向量库中为链接词确定合适的链接实体。
93.如图2所示，本申请提供一种链接实体关联装置200，包括：
94.文本向量化模块201，用于响应于接收到第一文本以及第一链接词，生成第一向量；所述第一链接词为所述第一文本中待链接的词语；
95.确定模块202，用于从预设的链接实体向量库中确定与所述第一向量匹配的第二向量，所述链接实体向量库预先存储有若干个链接实体的向量表示；
96.关联模块203，用于将所述第二向量对应的链接实体与所述第一文本中的所述第一链接词进行关联。
97.可选的，文本向量化模块201包括：
98.第一生成单元，用于响应于接收到第一文本以及第一链接词，生成所述第一文本对应的向量，并根据所述第一链接词在所述第一文本中的位置信息，生成位置编码，所述位置编码的长度与所述第一文本的长度相同；
99.第二生成单元，用于根据所述第一文本对应的向量和所述位置编码，生成所述第一向量。
100.可选的，所述第一文本对应的向量包括所述第一文本的每个字符对应的初始向量；
101.所述第二生成单元具体用于：
102.将所述位置编码与所述第一文本的每个字符对应的初始向量进行对位相加，得到所述第一文本的每个字符对应的目标向量；
103.根据所述第一文本的每个字符对应的目标向量，生成所述第一向量。
104.可选的，确定模块202包括：
105.计算单元，用于计算所述第一向量与所述链接实体向量库中每个向量之间的相似度；
106.确定单元，用于将所述链接实体向量库中，与所述第一向量的相似度最高的向量确定为所述第二向量。
107.可选的，链接实体关联装置200还包括：
108.链接实体向量化模块，用于对第一链接实体进行向量化，得到所述第一链接实体对应的向量表示；
109.存储模块，用于将所述第一链接实体对应的向量表示存储于所述链接实体向量库
中。
110.可选的，所述链接实体向量化模块包括：
111.第一获取单元，用于获取所述第一链接实体的词条信息和属性信息；
112.第一向量化单元，用于对所述词条信息和所述属性信息进行向量化，得到所述第一链接实体对应的向量表示。
113.可选的，所述链接实体向量化模块包括：
114.第二获取单元，用于获取所述第一链接实体的词条信息、属性信息和第一信息，所述第一信息为非文本信息；
115.第一向量化单元，用于对所述词条信息和所述属性信息进行向量化，得到第三向量；
116.第二向量化单元，用于将所述第一信息转换为第四向量；
117.第三生成单元，用于根据所述第三向量和所述第四向量，生成所述第一链接实体对应的向量表示。
118.可选的，所述第一向量化单元包括：
119.转换子单元，用于将所述属性信息转换为第二文本；
120.向量化子单元，用于对所述词条信息和所述第二文本进行向量化。
121.本申请实施例提供的链接实体关联装置200能够实现上述链接实体关联方法实施例中的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。
122.根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
123.图3示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
124.如图3所示，电子设备300包括计算单元301，其可以根据存储在只读存储器(rom)302中的计算机程序或者从存储单元308加载到随机访问存储器(ram)303中的计算机程序，来执行各种适当的动作和处理。在ram303中，还可以存储设备300操作所需的各种程序和数据。计算单元301、rom302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
125.电子设备300中的多个部件连接至i/o接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调整解调器、无线通信收发机等。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
126.计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，
例如链接实体关联方法。例如，在一些实施例中，链接实体关联方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由rom302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到ram303并由计算单元301执行时，可以执行上文描述的链接实体关联方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方法(例如，借助于固件)而被配置为执行链接实体关联方法。
127.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
128.用于实施本公开的方法的程序代码可以采用一个或多个编辑语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
129.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
130.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
131.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网
(lan)、广域网(wan)、互联网和区块链网络。
132.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
133.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
134.上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。