基于知识图谱引导的小样本动作识别方法及系统与流程

本发明属于动作识别，具体涉及一种基于知识图谱引导的小样本动作识别方法及系统。

背景技术：

1、近年来，针对小样本的研究已经吸引了许多国内外顶尖科研机构甚至是国家政府机构的关注。一方面，由于现实中很多应用场景都面临数据难以收集，或者是标注成本高导致的训练数据不足的问题。例如在医疗影像领域，罕见疾病的数据通常难以收集，同时也不容易找到专业人士对数据进行有效标注；在无人驾驶领域，各种突发情况的数据样本尤为稀缺；在金融投资领域，数据通常呈长尾分布，对于尾部场景难以获取足够的训练样本。发展小样本学习的理论与技术，能够帮助深度学习技术在缺少数据的应用场景下落地，在很多领域有着广泛的应用前景。为推动小样本学习技术的发展，在新一代人工智能的研究抢占领先地位，国内外机构纷纷发布了针对小样本学习的研究计划。

2、目前针对小样本学习任务，目前已经出现了一些相关的研究工作，并取得了一定的进展。根据方法侧重点的不同，现有方法大致可以分为三类：基于元学习的小样本识别技术，主要研究如何迁移模型在大量学习任务上的学习经验，以实现小样本识别；基于数据增强的小样本识别技术，主要研究如何设计方法扩充有限的数据集，以提升所构建模型的性能；引入语义关系的小样本识别技术，主要通过借助高层语义概念之间的关系，帮助建立视觉概念之间的联系以更好的进行小样本识别。在小样本学习中，先验知识能够帮助模型有效利用已有的学习经验，实现在少量样本上的快速学习。因此，先验知识的引入对于小样本学习十分重要。上述三类方法中只有最后一种利用了先验知识，然而目前的研究也仅仅局限于对文本语义概念的利用。由于语义文本关系无法充分反映视觉关系，对于小样本视觉识别任务的帮助往往有限。因此，充分挖掘视觉先验知识，探索基于多模态知识的小样本识别的方法，以此发展知识驱动小样本学习理论与技术，具有重要的研究意义和科学价值。

3、基于以上认识，本技术发明人受生物脑的学习过程启发，研究基于知识驱动的小样本视觉识别理论与技术。生物学的研究表明, 生物脑的学习过程并非从零开始，而是在学习之初就拥有重要的先验知识，其中包括物种在进化过程中学到的（生物学称之为系统发生）以及个体在生活过程中学到的有关真实世界的关键知识。这些知识在生物脑的学习过程中起到了非常重要的作用。这也构成了知识驱动的小样本视觉识别任务的理论基础。然而，如何构建、表示并利用视觉识别任务中的先验知识，使得模型能够在样本数量很少的情况下进行有效学习成为一个极具意义的科学问题。

4、中国专利公开文献cn112766354a公开了一种基于知识图谱的小样本图片识别方法，该方法构建包含训练图片集中所有种类标签的知识图谱，通过图卷积神经网络对该知识图谱进行特征提取，得到该待识别图片的种类作为图片识别结果。

5、该方法仅仅利用了图像的标签信息，一个图像类别在知识图谱中仅有一个节点与之对应，无法关注到视频中的细粒度信息，会导致准确率不高。例如，一段打篮球的视频，如采用cn112766354a的方法，仅将动作类别“打篮球”作为知识图谱的节点，但是诸如运动员的身高、年龄、位置等属性也很有可能影响动作识别的结果，会导致识别不准确。

技术实现思路

1、本发明的目的在于提供一种基于知识图谱引导的小样本动作识别系统及方法，本发明针对的是语义信息（内容）更加丰富的视频，针对视频中的各种语义更加细粒度地建立知识图谱，本发明将多种属性均纳入知识图谱的构建，并将其用于后续动作识别，提高了小样本动作识别的准确性。

2、基于知识图谱引导的小样本动作识别方法，步骤如下：构建用于动作识别的知识图谱，知识图谱包含动作和动作的属性；

3、选取已知动作类别的视频集合作为训练集，将训练集的每个动作类别中选择一部分视频作为支持样本，另一部分视频作为查询样本；通过图卷积神经网络提取知识图谱中所有相关节点的特征，作为知识图谱特征；将知识图谱特征与特征提取网络提取的支持样本的视频特征向量进行点乘，从而使视频特征与知识图谱特征进行交互，得到视频的各种属性特征；将视频的各种属性特征与特征提取网络提取的支持样本的视频特征向量拼接，得到视频原型特征向量fc；特征提取网络提取查询样本的视频特征向量，视频特征向量对应的标签为；计算视频原型特征向量fc与查询样本的视频特征向量的余弦损失；对图卷积神经网络方向传播从而进行训练；

4、将未知动作类别的视频集合分为支持样本和查询样本；通过训练后的图卷积神经网络提取知识图谱中所有相关节点的特征，作为知识图谱特征；将知识图谱特征与特征提取网络提取的支持样本的视频特征向量进行点乘，从而使视频特征与知识图谱特征进行交互，得到视频的各种属性特征；将视频的各种属性特征与特征提取网络提取的支持样本的视频特征向量拼接，得到视频原型特征向量fc；特征提取网络提取查询样本的视频特征向量；计算视频原型特征向量fc与视频特征向量之间的余弦相似度，将余弦相似度最大的视频原型特征向量所对应的标签作为预测的动作类别。

5、进一步优选，构建知识图谱的步骤如下：

6、s11.结合动作识别语料库结构化的特点，设计针对动作类别视频的模式层；模式层包含需要从动作语料中所抽取的词语类别，以及它们之间的连接关系；所述词语类别为所有动作类别、动作发生时所处的场景、施加动作的对象、与动作相关的物体；将每个词语作为知识图谱中的节点；将动作类别作为中心，场景、对象、物体作为该动作的属性与动作相连；知识图谱设计为无向图以方便知识传递；

7、s12.利用实体抽取技术从动作识别语料库中抽取出备选实体：使用实体抽取算法从动作识别语料库上关于每个动作的介绍页中抽取出所有实体，之后利用词性选择算法，从所有实体中筛选出动作、场景、对象、物体这四个类别的实体作为备选实体；并且人工从这些备选实体中选出若干与动作类别强相关的词语；

8、s13.根据备选实体与人工选择的实体间词向量的余弦距离，从动作识别语料库中发现与人工选择的实体相近的新实体；

9、s14.使用实体消歧技术，对发现的新实体进行过滤，筛除有歧义的词语，然后再次进行人工的筛选；

10、s15.将视频动作作为中心节点，重要动作属性为普通节点，以动作与属性之间的联系为边得到知识图谱。

11、进一步优选，提取知识图谱特征的方法为：采用邻接矩阵对知识图谱进行建模，邻接矩阵的横、纵维度代表相关节点，将具有联系的相关节点在知识图谱中标为1，否则标为0；图卷积神经网络将各个相关节点的词向量作为输入，通过图卷积神经网络的知识扩散的特点将信息传播给各个节点，输出为每个节点的最终特征，所有节点的最终特征构成知识图谱特征。

12、进一步优选，余弦损失按下式计算：

13、；

14、；

15、其中,表示视频原型特征向量fc与查询样本的视频特征向量相比的余弦相似度，norm为l2正则化。

16、本发明还提供了基于知识图谱引导的小样本动作识别系统，包括知识图谱构建模块、基于图卷积神经网络的信息传播模块和动作信息识别模块，所述知识图谱构建模块从动作识别语料库中抽取动作属性的相关语料并构建知识图谱；所述信息传播模块利用知识图谱，结合图卷积神经网络使得动作相关信息可以在不同设备之间进行传播；将未知动作类别的视频集合分为支持样本和查询样本；通过训练后的图卷积神经网络提取知识图谱中所有相关节点的特征，作为知识图谱特征；将知识图谱特征与特征提取网络提取的支持样本的视频特征向量进行点乘，从而使视频特征与知识图谱特征进行交互，得到视频的各种属性特征；将视频的各种属性特征与特征提取网络提取的支持样本的视频特征向量拼接，得到视频原型特征向量fc；特征提取网络提取查询样本的视频特征向量；动作信息识别模块计算视频原型特征向量fc与视频特征向量之间的余弦相似度，将余弦相似度最大的视频原型特征向量所对应的标签作为预测的动作类别。

17、本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述的基于知识图谱引导的小样本动作识别方法。

18、本发明还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述的基于知识图谱引导的小样本动作识别方法。

19、本发明还提供了一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行基于知识图谱引导的小样本动作识别方法。

20、本发明的有益效果：本发明首先从动作识别语料库中抽取动作属性的相关语料并构建知识图谱。信息传播模块利用构建完成的知识图谱，结合图卷积神经网络，使得动作信息可以在不同设备之间进行传播；最终通过动作信息识别模块对传播后的信息进行动作分类。通过构建知识图谱和图卷积神经网络训练，将未知动作类别的视频集合分为支持样本和查询样本；通过支持样本和知识图谱得到视频原型特征向量；计算视频原型特征向量与查询样本的视频特征向量之间的余弦相似度，将余弦相似度最大的视频原型特征向量所对应的标签作为预测的动作类别，提高了小样本动作识别的准确性。