基于图推理模型的图像中人物社会关系辨识方法及系统与流程

本发明涉及计算机视觉技术领域，特别是涉及一种基于图推理模型的图像中人物社会关系辨识方法及系统。

背景技术：

社会关系是社会网络的基本组成部分，在日常生活中起着非常重要的作用。在以人为本，人工智能高速发展的时代，对社会关系的智能分析在很多领域中有着重要的应用，如多目标追踪，人物轨迹预测，群体活动分析，人机交互等等。

社会关系识别任务存在一定的难度，因为在不同的场景中，人物社会关系可能完全改变。比如，若目标人物对处于工作室，则他们更可能是同事关系，而若目标人物对处于厨房，则他们更可能是家人关系。这也就意味着目标人物对所处环境对其社会关系的识别有着重要的作用。而当前解决社会关系识别任务的方法，要么只是聚焦在目标人物对的外形上，要么只是抽取目标人物对周围可能存在相关信息的候选区域辅助社会关系的识别，而忽略了目标人物所处场景中物体的语义信息，无法准确地识别出图像中人物之间的社会关系。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于图推理模型的图像中人物社会关系辨识方法及系统，以通过图推理机制，自动地注意有利于识别当前社会关系的物体图结点，并忽略其中不利于识别社会关系的物体图节点，进一步提高图像中人物社会关系辨识的效率。

为达上述及其它目的，本发明提出一种基于图推理模型的图像中人物社会关系辨识方法，包括如下步骤：

步骤s1，为社会关系和语义物体的共存关系建模，形成了先验知识图；

步骤s2，联合高层知识图与深度学习，形成一个可端到端学习的图推理网络，并利用图推理网络的传播机制对先验知识图中结点的信息进行传播和学习，获得加权的图结点输出；

步骤s3，联合加权后的图结点的输出，经分类网络输出目标人物对的社会关系标签分布。

优选地，于步骤s1中，利用社会关系训练集，统计每一社会关系与每一语义物体共存的实例个数，从而得到以社会关系和语义物体为结点的图结构的连接矩阵。

优选地，于步骤s1中，根据社会关系训练集，统计每一社会关系与每一语义物体共存的实例个数，以其在所有实例中所占的比例作为图结构中对应社会关系结点和语义结点之间边的取值，从而构成图结构的连接矩阵。

优选地，于步骤s2中，利用该图推理网络对包含目标人物对及其周围语义物体的图像提取目标人物对及其周围的语义物体的特征，将其作为图推理网络结构对应结点的输入，经可学习的图推理网络后，得到加权的图结点的输出。

优选地，所述图推理网络包括卷积神经网络以及门图神经网络，所述图推理网络先利用卷积神经网络提取包含目标人物对及其周围语义物体的图像中的目标人物对以及通过检测器获取的语义物体的特征，然后利用门图神经网络的传播机制，在图结点间传播和学习彼此的信息，最后得到所有图结点的输出o。

优选地，所述目标人物对的特征作为所述图推理网络中社会关系结点的初始值，语义物体的特征作为图推理网络中相应语义物体结点的初始值。

优选地，于步骤s3中，所述分类网络的输入为所述图推理网络的输出oi，其输出为社会关系标签分布。

优选地，所述分类网络为全连接网络，针对每一个输入oi，得到分类分数si。

为达到上述目的，本发明还提供一种基于图推理模型的图像中人物社会关系辨识系统，包括：

先验知识图建立单元，用于为社会关系和语义物体的共存关系建模，形成先验知识图；

图推理单元，用于联合高层的先验知识图与深度学习，形成一个可端到端学习的图推理网络，利用其中的传播机制对先验知识图中结点的信息进行传播和学习，获得加权的图结点输出；

分类单元，用于联合加权后的图结点的输出，经分类网络，输出目标人物对的社会关系标签分布。

优选地，所述图推理单元利用该图推理网络对包含目标人物对及其周围语义物体的图像提取目标人物对及其周围的语义物体的特征，将其作为图结构对应结点的输入，经可学习的图推理网络后，得到加权的图结点的输出。

与现有技术相比，本发明一种基于图推理模型的图像中人物社会关系辨识方法及系统通过对社会关系和语义物体共存建模，形成先验知识图，通过知识图结构，充分融合社会关系和语义物体的信息，将特征提高到新的高度，并通过图推理机制，自动地注意有利于识别当前社会关系的物体图结点，并忽略其中不利于识别社会关系的物体图节点，进一步提高了图像中人物社会关系辨识的效率。

附图说明

图1为本发明一种基于图推理模型的图像中人物社会关系辨识方法的步骤流程图；

图2为本发明具体实施例中图推理网络的架构示意图；

图3为本发明一种基于图推理模型的图像中人物社会关系辨识系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于图推理模型的图像中人物社会关系辨识方法的步骤流程图。如图1所示，本发明一种基于图推理模型的图像中人物社会关系辨识方法，包括如下步骤：

步骤s1，为社会关系和语义物体的共存关系建模，形成先验知识图。

具体地说，于步骤s1中，利用社会关系训练集，统计每一社会关系与每一语义物体共存的实例个数，从而得到以社会关系和语义物体为结点的图结构的连接矩阵m。在本发明具体实施例中，社会关系训练集是指包含很多图像并且具有标注信息的数据集，可以是现有公开的数据集，也可以是自己收集的特定的数据集，也就是说，于步骤s1中，根据社会关系训练集，统计每一社会关系与每一语义物体共存的实例个数，以其在所有实例中所占的比例作为图结构中对应社会关系结点和语义结点之间边的取值，从而构成图结构的连接矩阵m，这里的社会关系例如亲人、朋友、同事，语义物体指的是图像中除目标人物对外的其他通用物体，如桌子、椅子、水杯等。举例来说，如一张图片中，两个人关系为同事，所处环境为工作室，工作室中有电脑、键盘、桌子、领带等，那么这些物体针对“同事”这一关系的实例计数相应地+1，统计了整个数据集后，再将此计数转换为频率，作为连接矩阵中相应位置的值。

步骤s2，联合高层的先验知识图与深度学习，形成一个可端到端学习的图推理网络，利用图推理网络的传播机制对先验知识图中结点的信息进行传播和学习，以探索社会关系和语义物体之间的交互，充分融合社会关系和语义物体的信息，具体地，利用该图推理网络对包含目标人物对及其周围语义物体的图像提取目标人物对及其周围的语义物体的特征，将其作为图结构对应结点的输入，经可学习的图推理网络后，得到加权的图结点的输出。

在本发明具体实施例中，如图2所示，所述图推理网络包括卷积神经网络(cnn)以及门图神经网络(ggnn)，首先分别用卷积神经网络提取包含目标人物对及其周围语义物体的图像中的目标人物对以及通过检测器获取的语义物体的特征，其中目标人物对的特征作为图推理网络中社会关系结点的初始值，而语义物体的特征作为图推理网络中相应语义物体结点的初始值；然后利用门图神经网络(ggnn)的传播机制，在图结点间传播和学习彼此的信息，最后得到所有图结点的输出o，利用门图神经网络针对每个社会关系，推理不同语义物体结点的重要性，具体的，记关系结点集为{r1，r2，...，rm}，语义物体结点集为{o1，o2，...，on},其中m，n分别表示对应结点集的个数，对应每个社会关系结点i，推理语义结点j的重要性αij,其中j∈ni,ni表示结点i的邻结点集，最终得到每个关系对应的图结点输出oi＝{oi，αi1oo1，αi1oo1，…αinoon},其中oi∈o,ooj∈o(j∈[1，n])。

步骤s3，联合加权后的图结点的输出，经分类网络，输出目标人物对的社会关系标签分布。在本发明具体实施例中，所述分类网络的输入为步骤s2中的oi，其输出为社会关系标签分布，所述分类网络为全连接网络，针对每一个输入oi，得到分类分数si。

图3为本发明一种基于图推理模型的图像中人物社会关系辨识系统的系统架构图。如图3所示，本发明一种基于图推理模型的图像中人物社会关系辨识系统，包括：

先验知识图建立单元301，用于为社会关系和语义物体的共存关系建模，形成了先验知识图。

具体地说，先验知识图建立单元301利用社会关系训练集，统计每一社会关系与每一语义物体共存的实例个数，从而得到以社会关系和语义物体为结点的图结构的连接矩阵m。在本发明具体实施例中，先验知识图建立单元301根据社会关系训练集，统计每一社会关系与每一语义物体共存的实例个数，以其在所有实例中所占的比例作为图结构中对应社会关系结点和语义结点之间边的取值，从而构成图结构的连接矩阵m。

图推理单元302，用于联合高层知识图与深度学习，形成一个可端到端学习的图推理网络，利用其中的传播机制对图中结点的信息进行传播和学习，以探索社会关系和语义物体之间的交互。具体地，图推理单元302利用该图推理网络对包含目标人物对及其周围语义物体的图像提取目标人物对及其周围的语义物体的特征，将其作为图结构对应结点的输入，经可学习的图推理网络后，得到加权的图结点的输出。

在本发明具体实施例中，所述图推理网络包括卷积神经网络以及门图神经网络(ggnn)，首先分别用卷积神经网络提取包含目标人物对及其周围语义物体的图像中的目标人物对以及通过检测器获取的语义物体的特征，其中目标人物对的特征作为图推理网络中社会关系结点的初始值，而语义物体的特征作为图推理网络中相应语义物体结点的初始值；然后利用门图神经网络(ggnn)的传播机制，在图结点间传播和学习彼此的信息，最后得到所有图结点的输出o，利用门图神经网络针对每个社会关系，推理不同语义物体结点的重要性，具体的，，如图3中，t为ggnn网络的迭代次数；a指的是图推理网络推理得到的每个语义物体结点的重要性(权重)；f指的是图结点的联合特征。记关系结点集为{r1，r2，...，rm}，语义物体结点集为{o1，o2，...，on},其中m，n分别表示对应结点集的个数，对应每个社会关系结点i，推理语义结点j的重要性αij,其中j∈ni,ni表示结点i的邻结点集，最终得到每个关系对应的图结点输出oi＝{oi，αi1，oo1，αi1oo1，...αinoon},其中oi∈o,ooj∈o(j∈[1，n])

分类单元303，用于联合加权后的图结点的输出，经分类网络，输出目标人物对的社会关系标签分布。在本发明具体实施例中，所述分类网络的输入为图推理单元302中的输出oi，其输出为社会关系标签分布，所述分类网络为全连接网络，针对每一个输入oi，得到分类分数si。

综上所述，本发明一种基于图推理模型的图像中人物社会关系辨识方法及系统通过对社会关系和语义物体共存建模，形成先验知识图，通过知识图结构，充分融合社会关系和语义物体的信息，将特征提高到新的高度，并通过图推理机制，自动地注意有利于识别当前社会关系的物体图结点，并忽略其中不利于识别社会关系的物体图节点，进一步提高了图像中人物社会关系辨识的效率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。