一种跨域持续学习方法、系统、装置及存储介质

本发明涉及人工智能，尤其是一种跨域持续学习方法、系统、装置及存储介质。

背景技术：

1、现有技术中，无论是基于概率模型和统计模型的传统机器学习方法，还是以深度卷积网络(dcn)或深度强化学习(drl)为代表的基于深度学习的方法，都在特定任务中取得了巨大进展，如围棋、图像识别等。这些模型超越了人的表现，充分体现了这些模型的强大性能。

2、然而，大多数现有的深度模型都有一个致命的缺陷，即，不能像人类那样连续地跨域学习任务。深度模型为了在新任务上有更好的表现，总是会陷入灾难性遗忘。这是由于模型固有的优化方法，新任务和旧任务的分布总是不同的，特别是在不同的领域，参数将沿着梯度方向进行优化，以最小化分布距离，这将不可避免地忘记之前的任务从而导致灾难性的遗忘。相反，人类的学习方式不会很快忘记以前的知识，甚至可以根据在以前的任务中学习到的知识来加速新任务的学习。鉴于此，如何有效提升跨领域任务的学习性能是一个亟需解决的问题。

技术实现思路

1、有鉴于此，本发明实施例提供一种跨域持续学习方法、系统、装置及存储介质，能够有效提升跨领域任务的学习性能。

2、一方面，本发明的实施例提供了一种跨域持续学习方法，包括：

3、获取任务样本；其中，所述任务样本包括目标任务的任务样本和知识库的任务样本；

4、根据所述任务样本，基于跨域三元组网络进行训练分析，获得相似性特征；其中，所述跨域三元组网络包括共享权重的三元组和自注意力模块；

5、利用空间注意力网络，对所述相似性特征进行分析，获得所述目标任务的分类结果；其中，所述空间注意力网络包括级联的若干瓶颈层的网络结构。

6、可选地，还包括：

7、获取不同域的若干类任务数据集，得到知识库。

8、可选地，还包括：

9、基于共享权重的三元组和自注意力模块，结合1x1卷积，构建跨域三元组网络；

10、其中，所述三元组的第一个分支用于输入所述目标任务的任务样本，所述三元组的第二分支和第三分支用于成对输入所述知识库的任务样本；

11、所述自注意力模块包括若干卷积层和softmax函数。

12、可选地，还包括：

13、通过联合损耗函数作为损失函数，对所述跨域三元组网络进行网络训练。

14、可选地，所述跨域三元组网络还包括1x1卷积，所述根据所述任务样本，基于跨域三元组网络进行训练分析，获得相似性特征，包括：

15、根据所述任务样本，通过所述三元组使用最大平均差异方法测量获得域间分布差异和域内分布差异；

16、基于所述域间分布差异和所述域内分布差异得到第一特征图；

17、根据所述第一特征图，通过所述自注意力模块进行整形合并处理，得到相似性特征；

18、通过所述1x1卷积，对所述相似性特征进行通道数量调整。

19、可选地，还包括：

20、基于级联的若干瓶颈层的网络结构，结合sigmod函数、完全连接层和softmax，构建空间注意力网络；

21、通过结构稀疏性损失和任务损失作为损失函数，对所述空间注意力网络进行网络训练。

22、可选地，所述利用空间注意力网络，对所述相似性特征进行分析，获得所述目标任务的分类结果，包括：

23、根据所述相似性特征，通过若干所述瓶颈层转换得到若干匹配信道的特征图；

24、根据若干所述匹配信道的特征图，通过所述sigmod函数获得若干注意力图；

25、对若干所述注意力特征图逐级相乘，得到任务特定特征；

26、根据所述任务特定特征，通过所述完全连接层和所述softmax，获得所述目标任务的分类结果。

27、另一方面，本发明的实施例提供了一种跨域持续学习系统，包括：

28、第一模块，用于获取任务样本；其中，所述任务样本包括目标任务的任务样本和知识库的任务样本；

29、第二模块，用于根据所述任务样本，基于跨域三元组网络进行训练分析，获得相似性特征；其中，所述跨域三元组网络包括共享权重的三元组和自注意力模块；

30、第三模块，用于利用空间注意力网络，对所述相似性特征进行分析，获得所述目标任务的分类结果；其中，所述空间注意力网络包括级联的若干瓶颈层的网络结构。

31、另一方面，本发明的实施例提供了一种跨域持续学习装置，包括处理器以及存储器；

32、所述存储器用于存储程序；

33、所述处理器执行所述程序实现如前面所述的方法。

34、另一方面，本发明的实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

35、本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

36、本发明实施例首先获取任务样本；其中，所述任务样本包括目标任务的任务样本和知识库的任务样本；根据所述任务样本，基于跨域三元组网络进行训练分析，获得相似性特征；其中，所述跨域三元组网络包括共享权重的三元组和自注意力模块；利用空间注意力网络，对所述相似性特征进行分析，获得所述目标任务的分类结果；其中，所述空间注意力网络包括级联的若干瓶颈层的网络结构。本发明通过包括共享权重的三元组的跨域三元组网络对不同任务的任务样本进行训练分析，得到相似性特征，避免导致不同任务的灾难性遗忘，进而通过空间注意力网络基于相似性特征进行分析，得到分类结果，能够有效提升跨领域任务的学习性能。

技术特征：

1.一种跨域持续学习方法，其特征在于，包括：

2.根据权利要求1所述的一种跨域持续学习方法，其特征在于，还包括：

3.根据权利要求1所述的一种跨域持续学习方法，其特征在于，还包括：

4.根据权利要求3所述的一种跨域持续学习方法，其特征在于，还包括：

5.根据权利要求1所述的一种跨域持续学习方法，其特征在于，所述跨域三元组网络还包括1x1卷积，所述根据所述任务样本，基于跨域三元组网络进行训练分析，获得相似性特征，包括：

6.根据权利要求1所述的一种跨域持续学习方法，其特征在于，还包括：

7.根据权利要求6所述的一种跨域持续学习方法，其特征在于，所述利用空间注意力网络，对所述相似性特征进行分析，获得所述目标任务的分类结果，包括：

8.一种跨域持续学习系统，其特征在于，包括：

9.一种跨域持续学习装置，包括处理器以及存储器；

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。

技术总结
本发明公开了一种跨域持续学习方法、系统、装置及存储介质，方法包括：获取任务样本；根据任务样本，基于跨域三元组网络进行训练分析，获得相似性特征；其中，跨域三元组网络包括共享权重的三元组和自注意力模块；利用空间注意力网络，对相似性特征进行分析，获得目标任务的分类结果；其中，空间注意力网络包括级联的若干瓶颈层的网络结构。本发明通过包括共享权重的三元组的跨域三元组网络对不同任务的任务样本进行训练分析，得到相似性特征，避免导致不同任务的灾难性遗忘，进而通过空间注意力网络基于相似性特征进行分析，得到分类结果，能够有效提升跨领域任务的学习性能，可广泛应用于人工智能技术领域。

技术研发人员：蔡占川,杨烁今
受保护的技术使用者：澳门科技大学
技术研发日：
技术公布日：2024/1/12