一种融合视觉知识图谱的动作类别识别方法和装置

本发明涉及计算机视觉领域，尤其涉及一种融合视觉知识图谱的动作类别识别方法和装置。

背景技术：

1、随着深度学习和大规模数据集的快速发展，基于视频的人类活动理解取得了巨大进步。动作识别是视频理解的一个重要问题，动作识别是指：在一段包括有运动过程的视频片段中，识别出该运动所对应的动作类别。例如，从一段人在运动场所进行体育运动的视频中，识别出该人所进行的体育运动类别。

2、现有方法将动作识别视为一个高级视频分类问题，并专注于设计表示学习的主干。另外，由于缺乏对运动是身体部位运动和物体相互作用的时空进化的理解，这些方法在识别具有复杂动态的混乱动作时经常会遇到性能瓶颈。

3、在另外一种现有方法中，主要关注场景中的整个人的运动状态，而没有对视频中的身体部位运动进行深入研究。最近，相关专家试图通过部分人类运动的状态注释来探索人类的活动知识。但它适用于图像域中的人机交互，而无需学习视频中的人类动态。更重要的是，与人机交互类别相比，人类行为指的是更抽象的概念，该方法缺乏用判别语义来描述人类行为的常识性知识。

4、因此，当前的动作识别方案可解释性不强，且对动作类别的识别还不够准确，识别效率不高。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题，为此，本发明第一方面提出一种融合视觉知识图谱的动作类别识别方法，所述方法包括：

2、获取视频图像中的目标对象在进行目标运动过程中的各个动作状态对应的三元组信息，所述三元组信息包括所述目标对象的身体部位、所述身体部位的子动作状态、所述身体部位的交互对象；其中，一个所述动作状态对应多组所述三元组信息；

3、将所述三元组信息分别与预设的视觉知识图谱中的多个标准动作的三元组信息进行匹配，得到与所述三元组信息匹配度大于预设匹配度阈值的的标准动作的数量；

4、根据所述数量确定各个所述三元组信息与所述标准动作的匹配程度权值，得到每个所述动作状态包括的多组三元组信息的多个匹配程度权值；

5、根据所述多个匹配程度权值确定各个所述动作状态相对于所述目标运动的动作类别识别的重要性；

6、获取所述重要性大于预设重要性阈值的多个第一动作状态，并分别确定所述多个第一动作状态对应在所述视觉知识图谱中的多个目标标准动作；

7、构建由所述多个目标标准动作组成的动作类别知识图谱；

8、利用预先获取的语言先验三元组信息和所述第一动作状态的三元组信息，确定与所述目标运动的动作类别识别最相关的目标三元组信息；

9、将所述目标三元组信息与所述动作类别知识图谱进行匹配，得到所述目标运动对应的目标动作类别。

10、可选地，所述根据所述数量确定各个所述三元组信息与所述标准动作的匹配程度权值，包括：

11、根据预先设置的所述数量与所述匹配程度权值的对应关系，确定所述数量对应的三元组信息与所述标准动作的匹配程度权值；所述对应关系根据所述数量越多，所述匹配程度权值越低的原则设置。

12、可选地，所述根据所述多个匹配程度权值确定各个所述动作状态相对于所述目标运动的动作类别识别的重要性，包括：

13、对每个所述动作状态包括的多组三元组信息的多个匹配程度权值进行求和，得到多个和值；

14、将所述多个和值进行归一化，并将所述归一化的结果作为所述动作状态相对于所述目标运动的动作类别识别的重要性。

15、可选地，在确定与所述目标运动的动作类别识别最相关的目标三元组信息之前，还包括：

16、提取所述视频图像的特征向量；

17、将所述特征向量输入预设的图像描述生成模型，得到所述特征向量对应的语义描述语句；所述图像描述生成模型所采用的词典为维基百科；

18、利用bert模型提取所述语义描述语句中的三元组信息，得到语言先验三元组信息；所述三元组信息包括：目标对象的身体部位、身体部位的子动作状态、所述身体部位的交互对象。

19、可选地，所述确定与所述目标运动的动作类别识别最相关的目标三元组信息，包括：

20、将预先获取的语言先验三元组信息和所述第一动作状态的三元组信息相乘，得到乘积三元组信息；

21、将所述乘积三元组信息作为与所述目标运动对应的动作类别最相关的目标三元组信息。

22、可选地，在将所述三元组信息分别与预设的视觉知识图谱中的多个标准动作进行匹配之前，还包括：

23、从目标图像数据集中获取目标对象运动过程中的图像；

24、提取所述图像中的基元，并对所述基元配置标签，所述标签为所述基元所属的标准动作类别；所述基元包括所述目标对象的身体部位、所述身体部位的子动作状态、所述身体部位的交互对象；

25、根据所述基元和所述标签构建视觉知识图谱；其中，所述视觉知识图谱中的节点信息为所述目标对象的身体部位、所述身体部位的子动作状态、所述身体部位的交互对象的特征组合，连接所述节点的边表示所述节点之间的视觉联系，所述标签作为所述节点信息的标准动作。

26、可选地，所述将所述目标三元组信息与所述动作类别知识图谱进行匹配，得到所述目标运动对应的目标动作类别，包括：

27、将所述目标三元组信息与所述动作类别知识图谱中的标准动作的三元组信息进行匹配，得到多个匹配值；

28、将所述多个匹配值中的最大值对应的标准动作，确定为与所述目标运动匹配的目标标准动作；

29、获取所述目标标准动作的标签，将所述标签中包括的动作类别作为所述目标运动对应的目标动作类别。

30、可选地，所述视觉知识图谱中还包括各个所述标准动作类别对应的知识库，在得到所述目标运动对应的目标动作类别之后，还包括：

31、接收用户输入的关于所述目标动作类别的问题；

32、利用预设的问题编码表确定所述问题对应的问题编码；

33、利用所述问题编码从所述知识库获取所述问题的答案，并输出所述答案。

34、本发明第二方面提出一种融合视觉知识图谱的动作类别识别装置，所述装置包括：

35、三元组信息获取模块，用于获取视频图像中的目标对象在进行目标运动过程中的各个动作状态对应的三元组信息，所述三元组信息包括所述目标对象的身体部位、所述身体部位的子动作状态、所述身体部位的交互对象；其中，一个所述动作状态对应多组所述三元组信息；

36、第一匹配模块，用于将所述三元组信息分别与预设的视觉知识图谱中的多个标准动作的三元组信息进行匹配，得到与所述三元组信息匹配度大于预设匹配度阈值的的标准动作的数量；

37、匹配程度权值确定模块，用于根据所述数量确定各个所述三元组信息与所述标准动作的匹配程度权值，得到每个所述动作状态包括的多组三元组信息的多个匹配程度权值；

38、重要性确定模块，用于根据所述多个匹配程度权值确定各个所述动作状态相对于所述目标运动的动作类别识别的重要性；

39、第一动作状态获取模块，用于获取所述重要性大于预设重要性阈值的多个第一动作状态，并分别确定所述多个第一动作状态对应在所述视觉知识图谱中的多个目标标准动作；

40、知识图谱构建模块，用于构建由所述多个目标标准动作组成的动作类别知识图谱；

41、目标三元组信息获取模块，用于利用预先获取的语言先验三元组信息和所述第一动作状态的三元组信息，确定与所述目标运动的动作类别识别最相关的目标三元组信息；

42、第二匹配模块，用于将所述目标三元组信息与所述动作类别知识图谱进行匹配，得到所述目标运动对应的目标动作类别。

43、本发明第三方面提出一种电子设备，包括：

44、处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的融合视觉知识图谱的动作类别识别方法。

45、本发明实施例具有以下有益效果：

46、本发明实施例提供的融合视觉知识图谱的动作类别识别方法，获取视频图像中的目标对象在进行目标运动过程中的各个动作状态对应的三元组信息，所述三元组信息包括所述目标对象的身体部位、所述身体部位的子动作状态、所述身体部位的交互对象；其中，一个所述动作状态对应多组所述三元组信息；将所述三元组信息分别与预设的视觉知识图谱中的多个标准动作的三元组信息进行匹配，得到与所述三元组信息匹配度大于预设匹配度阈值的的标准动作的数量；根据所述数量确定各个所述三元组信息与所述标准动作的匹配程度权值，得到每个所述动作状态包括的多组三元组信息的多个匹配程度权值；根据所述多个匹配程度权值确定各个所述动作状态相对于所述目标运动的动作类别识别的重要性；获取所述重要性大于预设重要性阈值的多个第一动作状态，并分别确定所述多个第一动作状态对应在所述视觉知识图谱中的多个目标标准动作；构建由所述多个目标标准动作组成的动作类别知识图谱；利用预先获取的语言先验三元组信息和所述第一动作状态的三元组信息，确定与所述目标运动的动作类别识别最相关的目标三元组信息；将所述目标三元组信息与所述动作类别知识图谱进行匹配，得到所述目标运动对应的目标动作类别。本方案能够很好的解释目标对象的动作行为是身体部位运动的时空演化与物体的交互决定的，可解释性较强。并且，有预设的视觉知识图谱做支撑，大大提高了识别效率；识别结果是经过了视觉信息和语言信息筛选之后得到的结果，大大提升了识别准确度。