基于知识图谱引导的小样本动作识别方法及系统与流程

文档序号:34729663发布日期:2023-07-07 23:17阅读:来源:国知局

技术特征:

1.基于知识图谱引导的小样本动作识别方法,其特征在于,构建用于动作识别的知识图谱,知识图谱包含动作和动作的属性;

2.根据权利要求1所述的基于知识图谱引导的小样本动作识别方法,其特征在于,构建知识图谱的步骤如下:

3.根据权利要求1所述的基于知识图谱引导的小样本动作识别方法,其特征在于,提取知识图谱特征的方法为:采用邻接矩阵对知识图谱进行建模,邻接矩阵的横、纵维度代表相关节点,将具有联系的相关节点在知识图谱中标为1,否则标为0;图卷积神经网络将各个相关节点的词向量作为输入,通过图卷积神经网络的知识扩散的特点将信息传播给各个节点,输出为每个节点的最终特征,所有节点的最终特征构成知识图谱特征。

4.根据权利要求1所述的基于知识图谱引导的小样本动作识别方法,其特征在于,余弦损失按下式计算:

5.基于知识图谱引导的小样本动作识别系统,其特征在于,包括知识图谱构建模块、基于图卷积神经网络的信息传播模块和动作信息识别模块,所述知识图谱构建模块从动作识别语料库中抽取动作属性的相关语料并构建知识图谱;所述信息传播模块利用知识图谱,结合图卷积神经网络使得动作相关信息可以在不同设备之间进行传播;将未知动作类别的视频集合分为支持样本和查询样本;通过训练后的图卷积神经网络提取知识图谱中所有相关节点的特征,作为知识图谱特征;将知识图谱特征与特征提取网络提取的支持样本的视频特征向量进行点乘,从而使视频特征与知识图谱特征进行交互,得到视频的各种属性特征;将视频的各种属性特征与特征提取网络提取的支持样本的视频特征向量拼接,得到视频原型特征向量fc;特征提取网络提取查询样本的视频特征向量;动作信息识别模块计算视频原型特征向量fc与视频特征向量之间的余弦相似度,将余弦相似度最大的视频原型特征向量所对应的标签作为预测的动作类别。

6.一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,其特征在于,该计算机可执行指令可执行权利要求1-4任意一项所述的基于知识图谱引导的小样本动作识别方法。

7.一种计算机程序产品,计算机程序产品包括存储在非易失性计算机存储介质上的计算机程序,计算机程序包括程序指令,其特征在于,当程序指令被计算机执行时,使计算机执行权利要求1-4任意一项所述的基于知识图谱引导的小样本动作识别方法。

8.一种电子设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,其特在在于,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4任意一项所述的基于知识图谱引导的小样本动作识别方法。


技术总结
本发明属于动作识别技术领域,涉及基于知识图谱引导的小样本动作识别方法及系统。本发明的系统面向动作识别的知识图谱构建模块、基于图卷积神经网络的信息传播模块以及动作信息识别模块构成。本发明通过构建知识图谱和图卷积神经网络训练,将未知动作类别的视频集合分为支持样本和查询样本;通过支持样本和知识图谱得到视频原型特征向量;计算视频原型特征向量与查询样本的视频特征向量之间的余弦相似度,将余弦相似度最大的视频原型特征向量所对应的标签作为预测的动作类别。本发明提高了小样本动作识别的准确性。

技术研发人员:徐波,钟幼平,刘嘉,刘家豪,林谋,丁元
受保护的技术使用者:国网江西省电力有限公司超高压分公司
技术研发日:
技术公布日:2024/1/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1