技术特征：
1.一种提高深度文本匹配模型适应性的小样本学习方法，其特征在于，包括以下步骤：步骤1：建立样本权重与模型参数的计算图关系，包括以下步骤：步骤1.1：在一批次源域训练集数据上前向传播文本匹配模型，并计算相应的损失值：cost
s
(y
i
,l
i
)＝ce
s
(y
i
,l
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，cost
s
表示模型在源域上的损失值；ce
s
代表交叉熵损失函数；l
i
表示第i个样本的标签值；y
i
是模型对第i个样本的预测值：y
i
＝tmm
s
(a
i
,b
i
,θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，tmm
s
表示在源域的任务或数据集上训练的文本匹配模型；a
i
、b
i
分别表示输入到模型进行文本匹配的两条句子；θ表示深度文本匹配模型的参数；步骤1.2：为损失值对应的每个样本，赋予一个初始化权重，将样本权重初始值设为0；然后，计算源域数据上的加权损失值之和，作为源域损失值：其中，loss
s
表示源域损失值，y表示模型对源域样本的预测值，l表示源域样本的标签值；为源域中第i个样本的权重值，其初始化为0，i∈{1,2,
…
,n}；步骤1.3：用源域损失值loss
s
对模型参数θ进行梯度下降更新：其中，表示在源域样本上更新一步后的模型参数；α表示学习率；表示源域损失值对模型参数的偏导数；w
s
表示源域样本的权重；为偏导数的运算符；步骤2：通过元梯度下降调节样本的权重，包括以下步骤：步骤2.1：在目标小样本集上训练当前模型，并计算训练损失：其中，loss
t
表示目标域损失值；tmm
t
表示在目标域上训练时的深度文本匹配模型；m表示目标域样本的数目；步骤2.2：梯度携带的比较信息在源域样本的权重梯度上累积，源域样本的权重调节过程如下：其中，表示更新后的源域样本权重，α表示学习率，表示模型在目标域小样本集上损失值对源域样本权重的二阶偏导数；步骤2.3：采用二阶导数比较梯度下降的方向，并根据比较结果更新权重；元权重调节首先消除调整后的权重的负值，然后对它们进行批量归一化：
其中，表示当前要进行归一化处理的源域样本权重，表示批次数据内其它源域样本的权重，m是目标域训练集的数据批次大小，k表示源域批次数据中第k个样本的序号；步骤3：在加权源域样本上，训练文本匹配模型。2.如权利要求1所述的一种提高深度文本匹配模型适应性的小样本学习方法，其特征在于，步骤2中，目标域样本的权重设置为1。3.如权利要求1所述的一种提高深度文本匹配模型适应性的小样本学习方法，其特征在于，步骤3中，通过元权重调节将计算得到的样本权重分配给源域样本，在源域样本上训练文本匹配模型后获得加权损失：其中，loss
s
表示模型在源域样本上的最终加权损失值，i∈{1,2,...,n}。
技术总结
本发明涉及一种提高深度文本匹配模型适应性的小样本学习方法，属于自然语言处理中的文本匹配技术领域。本方法综合了应用于文本匹配模型的小样本学习与跨领域适应性方法，沿最小化目标域小样本数据集损失的方向，对源域数据的权重进行梯度下降，解决了传统的跨领域文本匹配方法在小样本学习设置下表现不足的问题，增强了文本匹配模型在少样本学习环境中的适应性。本方法与基础模型无关，可应用于各种基于深度学习的文本匹配模型。基于深度学习的文本匹配模型。基于深度学习的文本匹配模型。
技术研发人员：宋大为 张博 张辰 马放
受保护的技术使用者：北京理工大学
技术研发日：2021.12.15
技术公布日：2022/4/22