本申请涉及自然语言学习
技术领域：
：，尤其涉及一种获取文本语义相似值的方法、装置、存储介质及电子设备。
背景技术：
：：变压器的双向解码表示(bidirectionalencoderrepresentationfromtransformers，bert)模型作为目前效果最好的深度语言模型，是未来自然语言处理(naturallanguageprocess，nlp)研究和工业应用最主流的语言模型之一。为了使bert模型能够完成本身的遮盖单词(maskedlanguagemode，mlm)任务和预测下一句(nextsentenceprediction，nsp)任务之外，还具备其他诸如文本语义相似性任务的功能，通常需要对bert模型进行微调。在现有技术中，通常通过在bert模型中加入其他无监督的预训练模型对bert模型进行微调，例如语义角色预测模型、实体识别模型等，但这些预训练模型会增加bert模型的训练时间和训练成本。技术实现要素：本申请实施例提供了一种获取文本语义相似值的方法、装置、存储介质及电子设备，可以在获取至少两个待检测文本之间的相似值时，在不增加训练时长和内存损耗的前提下提高模型效果。所述技术方案如下：第一方面，本申请提出一种获取文本语义相似值的方法，包括：将至少两个待检测文本及所述至少两个待检测文本之间的相似参数输入到来自变压器的双向编码器表示bert模型中；基于所述至少两个待检测文本生成查询向量和键值向量对；基于所述查询向量、所述键值向量对和所述相似参数生成点积数据；将所述点积数据经过相似性处理后得到所述至少两个待检测文本之间的相似值。在一个或多个可能的实施方式中，所述至少两个待检测文本之间的相似参数包括：所述至少两个待检测文本对应的相似矩阵；或用于生成所述相似矩阵的计算模型。在一个或多个可能的实施方式中，所述基于所述查询向量、所述键值向量对和所述相似参数生成点积数据，包括：scores＝qkt⊙s+mask；其中，scores为所述点积数据，q为所述查询向量，k为所述键值向量对中的第一键值向量，s为所述相似矩阵，mask为遮盖矩阵。在一个或多个可能的实施方式中，所述将所述点积数据经过相似性处理后得到所述至少两个待检测文本的相似值，包括：基于所述点积数据和所述查询向量，对注意函数进行更新后得到更新注意函数；基于所述更新注意函数和多头自注意模型，将所述查询向量和所述键值向量对投影h次得到h个注意值；将所述h个注意值进行拼接计算后得到所述相似值。在一个或多个可能的实施方式中，基于所述点积数据和所述查询向量，对注意函数进行更新后得到更新注意函数，包括：其中，scores为所述点积数据，q为所述查询向量，v为所述键值向量对中的第二键值向量，(k，v)为所述键值向量对，attention(q，k，v)为更新注意函数。在一个或多个可能的实施方式中，基于所述更新注意函数和多头自注意模型，将所述查询向量和所述键值向量对投影h次得到h个注意值，包括：其中，i的取值为1到h之间的自然数，wq为对应所述查询向量q的参数矩阵，wk为对应所述第一键值向量k的参数矩阵，wv为对应所述第二键值向量v的参数矩阵。在一个或多个可能的实施例中，所述对所述h个注意值进行拼接计算后得到所述相似值，包括：multihead(q，k，v)＝concat(head1，head2，……，headh)wo；其中，wo为参数矩阵，multihead(q，k，v)为所述相似值。第二方面，本申请提出一种获取文本语义相似值的装置，所述装置包括：获取文本模块，用于将至少两个待检测文本及所述至少两个待检测文本之间的相似参数输入bert模型中；生成向量模块，用于基于所述至少两个待检测文本生成查询向量和键值向量对；生成点积模块，用于基于所述查询向量、所述键值向量对和所述相似参数生成点积数据；相似计算模块，用于将所述点积数据经过相似性处理后得到所述至少两个待检测文本之间的相似值。第三方面，本申请提出一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如第一方面所述任意一项的方法步骤。第四方面，本申请提出一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如第一方面所述任意一项的方法步骤。本申请一些实施例提供的技术方案带来的有益效果至少包括：利用至少两个待检测文本之间的相似参数，基于bert模型获取两个待检测文本之间的相似值，极大程度减少bert模型的训练时间和内存的损耗，避免利用预训练模型对bert模型进行微调时需要获取大量的预训练模型和预训练数据的困难，提高了bert模型在执行自然语言处理任务中的表现；基于现有的自然语言处理模型和简单的计算过程获取两个待检测文本的相似值，提高获取大量相似值的获取效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种获取文本语义相似值方法的流程示意图；图2是本申请实施例提供的一种相似性处理的流程示意图；图3是本申请实施例提供的一种bert模型的部分结构示意图；图4是本申请实施例提供的另一种bert模型的部分结构示意图图5是本申请实施例提供的一种获取文本语义相似值装置的结构示意图；图6是本申请实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。下面结合具体的实施例对本申请进行详细说明。bert模型，可以理解为应用在自然语言处理领域(naturallanguageprocess，nlp)中执行各式各样下游任务的语言模型，是通过在海量语料的基础上运行自监督学习方法的特征提取器。本申请提出的获取文本语义相似值的方法用来通过bert模型进行微调后，利用待检测文本之间的相似参数，进而获取相似值。在一个实施例中，如图1所示，特提出了一种获取文本语义相似值的方法，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的获取文本语义相似值装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。上述方法可以由具有自然语言处理能力、或搭载了获取文本语义相似值装置或设置有可以执行文本语义相似值的计算机程序的终端设备执行，该终端设备(terminaldevice)包括但不限于移动台(mobilestation，ms)、移动终端设备(mobileterminal)、移动电话(mobiletelephone)、手机(handset)及便携设备(portableequipment)等，该终端设备可以经无线接入网(radioaccessnetwork，ran)与一个或多个核心网进行通信，例如，终端设备可以是移动电话(或称为“蜂窝”电话)、具有无线通信功能的计算机等，终端设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置或设备。具体的，该获取文本语义相似值方法包括：步骤s101、将至少两个待检测文本及至少两个待检测文本之间的相似参数输入到bert模型中。待检测文本，可以理解为需要检测相似值的文本，文本指由中文或外文文字组成的能够进行意思表示的文本段，包括句子、段落、文章等任意一种文本量，以及英语、中文、德语等任意一种语言形式。举例来说：三个待检测文本分别是句子“i’mastudent”、“iamastudent”和“iamateacher”，本申请提出的获取文本语义相似值的方法用于获取待检测文本“i’mastudent”分别与待检测文本“iamastudent”、“iamateacher”的相似值，即相似值有2个；或者获取三个待检测文本两两之间的相似值，即相似值有3个。可以理解的是，相似值包括任意一种表现两个待检测文本之间的相似度的表现形式，例如，待检测文本与其他待检测文本的相似值为30％，或待检测文本与其他待检测文本的相似值为8，相似值满分阈值为50。至少两个待检测文本之间的相似参数包括：至少两个待检测文本对应的相似矩阵；或用于生成相似矩阵的计算模型。相似参数，指基于先验知识获取的两个待检测文本之间的相似矩阵。举例来说：两个待检测文本分别是句子1“iamastudent”和句子2“youarenotateacher”，句子1包括5个单词，句子2包括6个单词；根据先验知识wordnet中的语义关系，计算句子1和句子2中的每一个单词对(w1,w2)的相似性，例如单词对(i，you)的相似性为0.5，单词对(a，a)的相似性为1；基于上述语义关系，构建句子1和句子2的5×6相似矩阵，该相似矩阵即为相似参数；生成相似矩阵的计算模型，即为基于wordnet语义关系数据库建立的计算模型，用于生成两个待检测文本之间的相似矩阵。可以理解的是，本申请对如何得到相似参数以及计算模型不作限定，采用其他计算模型或计算方法获取两个待检测文本之间的相似参数仍然属于本申请的保护范围。步骤s102、基于至少两个待检测文本生成查询向量和键值向量对。将至少两个待检测文本进行拼贴后输入到bert模型中，利用transformer解析层中的映射关系输出查询向量k和键值向量对(k，v)。举例来说，待检测文本为两个句子，在两个句子的句首分别添加符号[cls]，在句尾分别添加符号[sep]，以及将两个句子拼贴后添加符号[sep]；将拼贴后得到的合成待检测文本输入到bert模型中的transformer解析层；transformer解析层中包括数个编码器-解码器的组合，基于编码器-解码器组合中多次对合成待检测文本进行基于映射关系的输入输出，最后得到三个值，分别是查询向量k和键值向量对(k，v)。步骤s103、基于查询向量、键值向量对和相似参数生成点积数据。为使bert模型更加关注两个待检测文本之间的具有较高相似性的词对，基于查询向量、键值向量对和相似参数生成点积数据，包括：scores＝qkt⊙s+mask；其中，scores为点积数据，q为查询向量，k为键值向量对中的第一键值向量，s为相似矩阵，mask为遮盖矩阵。mask为遮盖矩阵，可以理解为基于遮盖任务(maskedlanguagemodel，mlm)生成的遮盖矩阵，用于在训练的时候在输入矩阵中随机遮盖掉一部分，以使bert模型通过的上下文预测该部分。上述输入矩阵即查询向量q、第一键值向量k与相似矩阵s做哈德马积后生成的矩阵。本申请一些实施例提供的技术方案带来的有益效果至少包括：基于mlm任务对输入矩阵进行随机遮盖后做预测任务，相比传统标准条件语言模型只能left-to-right或right-to-left单向预测目标函数，mlm任务可以从任意方向预测被掩盖的数据，以提高模型对两个待预测文本之间关系的理解以及对词对的学习；相比于微调前的bert模型直接利用查询向量和键值向量对执行后续任务，本申请中计算了查询向量、键值向量对与相似矩阵的哈德马积值，以使bert模型更加关注两个待检测文本之间的具有较高相似性的词对，提高获取的两个待检测文本之间的相似值的准确性。步骤s104、将点积数据经过相似性处理后得到至少两个待检测文本之间的相似值。如图2所示，图2为本申请实施例提供的一种相似性处理的流程示意图，图2所示步骤用于实现将点积数据经过相似性处理后得到至少两个待检测文本之间的相似值，包括下述步骤：步骤s1041、基于点积数据和查询向量，对注意函数进行更新后得到更新注意函数。注意函数，可以理解为基于注意力机制attention的计算函数，注意力机制指一种能让bert模型对重要信息重点关注并充分学习吸收的技术。具体地，注意力机制的工作原理为：如图3所示，为本申请实施例提供的一种bert模型的部分结构示意图，bert模型是基于传统seq2seq模型来建立的，分为编码层encode与解码层decode，在编码层中包括数个编码器encoder，在解码层中包括数个解码器decoder，并均为循环神经网络(recurrentneuralnetwork,rnn)或rnn的变体构成；至少一个待检测文本经过拼贴后组成合成待检测文本；在编码阶段，第一个编码器节点输入合成待检测文本的一个单词，下一个编码器节点输入的是下一个单词与前一个编码器节点的隐藏数据hiddenstate1，最终编码层会输出一个待解码文本context1，隐藏数据hiddenstate1至少包括第一隐藏数据hiddenstate1、第二隐藏数据hiddenstate1；将待解码文本context1输入到解码层decode，第一个解码器节点基于待解码文本中context1的第一个词输出一个翻译后的词，并将该解码器节点的隐藏数据hiddenstate2和作为待解码文本context1的第二个词作为第二个解码器节点的输入，最终解码层会输出一个翻译文本context2；基于上述过程，bert模型完成对待检测文本的理解。然而，当待检测文本的文本量超过阈值，上述过程容易丢失重要信息，因此引入注意力机制attention。如图4所示，为本申请实施例提供的另一种bert模型的部分结构示意图，待解码文本context1和所有编码器产生的隐藏数据hiddenstate1发送解码层；在每一个解码器节点进行解码时，基于注意函数在所有隐藏数据hiddenstate1选择出最合适的隐藏数据输入到该解码器节点中，以此使解码器更关注与该词意思相近的词。具体而言，基于注意函数attention计算所有隐藏数据分别与当前解码器节点的相似度数值，与当前节解码器点的相关性越高的隐藏数据的分数越高。在本申请中，为了提高注意函数挑选的准确性，基于两个待检测文本的相似矩阵对bert模型中原有的注意函数进行更新，得到更新注意函数，以使注意函数基于相似矩阵更加关注两个待检测文本之间的相似词对。包括下述公式：其中，scores为所述点积数据，q为所述查询向量，v为所述键值向量对中的第二键值向量，(k，v)为所述键值向量对，attention(q，k，v)为更新注意函数。步骤s1042、基于更新注意函数和多头自注意模型，将查询向量和键值向量对投影h次得到h个注意值。多头自注意模型multi-headedattention，和上述注意力机制attention类似，可以理解为bert模型的transformer层用来将其他相关单词的“理解”转换成我们正常理解的单词的一种思路，举例来说：待检测文本为句子“theanimaldidn'tcrossthestreetbecauseitwastootired”，“it”代表的是“animal”还是“street”，对于人来说能很简单的判断出来，但是对于语言模型来说判断具有困难性；而多头自注意模型能够让bert模型将it和animal联系起来，以此理解待检测文本。具体而言，多头自注意模型整个过程可以简述为：查询向量q和键值向量对(k，v)投影h次得到h个注意值，h次也就是所谓的多头，每一次算一个头，且每次查询向量q和键值向量对(k，v)进行线性变换的矩阵w随着计算更新，包括：其中，i的取值为1到h之间的自然数，wq为对应查询向量q的参数矩阵，wk为对应第一键值向量k的参数矩阵，wv为对应第二键值向量v的参数矩阵。步骤s1043、对h个注意值进行拼贴计算后得到相似值。multihead(q，k，v)＝concat(head1，head2，……，headh)wo；其中，wo为参数矩阵，multihead(q，k，v)为相似值。综上上述，基于步骤s1041、s1042和s1043实现步骤s104、将点积数据经过相似性处理后得到至少两个待检测文本之间的相似值。基于步骤s101、s102、s103和s104实现获取文本语义相似值。本申请一些实施例提供的技术方案带来的有益效果至少包括：利用至少两个待检测文本之间的相似参数，基于bert模型获取两个待检测文本之间的相似值，极大程度减少bert模型的训练时间和内存的损耗，避免利用预训练模型对bert模型进行微调时需要获取大量的预训练模型和预训练数据的困难，提高了bert模型在执行自然语言处理任务中的表现；基于现有的自然语言处理模型和简单的计算过程获取两个待检测文本的相似值，提高获取大量相似值的获取效率。下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。请参见图5，其示出了本申请一个示例性实施例提供的获取文本语义相似值装置的结构示意图。该获取文本语义相似值装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置包括：获取文本模块501、生成向量模块502、生成点积模块503和相似计算模块504。获取文本模块501，用于将至少两个待检测文本及所述至少两个待检测文本之间的相似参数输入bert模型中；生成向量模块502，用于基于所述至少两个待检测文本生成查询向量和键值向量对；生成点积模块503，用于基于所述查询向量、所述键值向量对和所述相似参数生成点积数据；相似计算模块504，用于将所述点积数据经过相似性处理后得到所述至少两个待检测文本之间的相似值。可选的，所述至少两个待检测文本之间的相似参数包括：所述至少两个待检测文本对应的相似矩阵；或用于生成所述相似矩阵的计算模型。可选的，所述生成点积数据模块503具体用于通过以下公式生成点积数据：scores＝qkt⊙s+mask；其中，scores为所述点积数据，q为所述查询向量，k为所述键值向量对中的第一键值向量，s为所述相似矩阵，mask为遮盖矩阵。可选的，相似计算模块504，包括：更新单元，用于基于所述点积数据和所述查询向量，对注意函数进行更新后得到更新注意函数；投影单元，用于基于所述更新注意函数和多头自注意模型，将所述查询向量和所述键值向量对投影h次得到h个注意值；拼接单元，用于对所述h个注意值进行拼接计算后得到所述相似值。可选的，所述更新单元具体用于通过以下公式生成更新注意函数：其中，scores为所述点积数据，q为所述查询向量，v为所述键值向量对中的第二键值向量，(k，v)为所述键值向量对，attention(q，k，v)为所述更新注意函数。可选的，所述投影模块具体用于通过以下公式将所述查询向量和所述键值向量对投影：其中，i的取值为1到h之间的自然数，wq为对应查询向量q的参数矩阵，wk为对应第一键值向量k的参数矩阵，wv为对应第二键值向量v的参数矩阵。可选的，所述拼接单元具体用于通过以下公式生成相似值：multihead(q，k，v)＝concat(head1，head2，……，headh)wo；其中，wo为参数矩阵，multihead(q，k，v)为所述相似值。需要说明的是，上述实施例提供的获取文本语义相似值装置在执行获取文本语义相似值方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的获取文本语义相似值装置与获取文本语义相似值方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。本申请利用至少两个待检测文本之间的相似参数，基于bert模型获取两个待检测文本之间的相似值，极大程度减少bert模型的训练时间和内存的损耗，避免利用预训练模型对bert模型进行微调时需要获取大量的预训练模型和预训练数据的困难，提高了bert模型在执行自然语言处理任务中的表现；基于现有的自然语言处理模型和简单的计算过程获取两个待检测文本的相似值，提高获取大量相似值的获取效率。本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图4所示实施例的所述获取文本语义相似值方法，具体执行过程可以参见图1-图4所示实施例的具体说明，在此不进行赘述。本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图4所示实施例的所述获取文本语义相似值方法，具体执行过程可以参见图1-图4所示实施例的具体说明，在此不进行赘述。请参见图6，为本申请实施例提供了一种电子设备的结构示意图。如图6所示，所述电子设备600可以包括：至少一个处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。其中，通信总线602用于实现这些组件之间的连接通信。其中，用户接口603可以包括显示屏(display)、摄像头(camera)，可选用户接口603还可以包括标准的有线接口、无线接口。其中，网络接口604可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。其中，处理器601可以包括一个或者多个处理核心。处理器601利用各种借口和线路连接整个服务器600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行服务器600的各种功能和处理数据。可选的，处理器601可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field-programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器601可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器601中，单独通过一块芯片进行实现。其中，存储器605可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。可选的，该存储器605包括非瞬时性计算机可读介质(non-transitorycomputer-readablestoragemedium)。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及获取文本语义相似值应用程序。在图6所示的电子设备600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而处理器601可以用于调用存储器605中存储的获取文本语义相似值的应用程序，并具体执行以下操作：将至少两个待检测文本及所述至少两个待检测文本之间的相似参数输入到来自变压器的双向编码器表示bert模型中；基于所述至少两个待检测文本生成查询向量和键值向量对；基于所述查询向量、所述键值向量对和所述相似参数生成点积数据；将所述点积数据经过相似性处理后得到所述至少两个待检测文本之间的相似值。在一个可能的实施例中，所述至少两个待检测文本之间的相似参数包括：所述至少两个待检测文本对应的相似矩阵；或用于生成所述相似矩阵的计算模型。在一个可能的实施例中，所述处理器601执行所述基于所述查询向量、所述键值向量对和所述相似参数生成点积数据，具体通过以下公式：scores＝qkt⊙s+mask；其中，scores为所述点积数据，q为所述查询向量，k为所述键值向量对中的第一键值向量，s为所述相似矩阵，mask为遮盖矩阵。在一个可能的实施例中，所述处理器601执行所述将所述点积数据经过相似性处理后得到所述至少两个待检测文本的相似值，具体执行：基于所述点积数据和所述查询向量，对注意函数进行更新后得到更新注意函数；基于所述更新注意函数和多头自注意模型，将所述查询向量和所述键值向量对投影h次得到h个注意值；对所述h个注意值进行拼接计算后得到所述相似值。在一个可能的实施例中，所述处理器601执行所述基于所述点积数据和所述查询向量，对注意函数进行更新后得到更新注意函数，具体通过以下公式：其中，scores为所述点积数据，q为所述查询向量，v为所述键值向量对中的第二键值向量，(k，v)为所述键值向量对，attention(q，k，v)为所述更新注意函数。在一个可能的实施例中，所述处理器601执行基于所述更新注意函数和多头自注意模型，将所述查询向量和所述键值向量对投影h次得到h个注意值，具体通过以下公式：其中，i的取值为1到h之间的自然数，wq为对应查询向量q的参数矩阵，wk为对应第一键值向量k的参数矩阵，wv为对应第二键值向量v的参数矩阵。在一个可能的实施例中，所述处理器601执行所述对所述h个注意值进行拼接计算后得到所述相似值，具体通过以下公式：multihead(q，k，v)＝concat(head1，head2，……，headh)wo；其中，wo为参数矩阵，multihead(q，k，v)为所述相似值。本申请利用至少两个待检测文本之间的相似参数，基于bert模型获取两个待检测文本之间的相似值，极大程度减少bert模型的训练时间和内存的损耗，避免利用预训练模型对bert模型进行微调时需要获取大量的预训练模型和预训练数据的困难，提高了bert模型在执行自然语言处理任务中的表现；基于现有的自然语言处理模型和简单的计算过程获取两个待检测文本的相似值，提高获取大量相似值的获取效率。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。当前第1页12当前第1页12