社交关系识别方法、装置、设备及存储介质与流程

文档序号:30183438发布日期:2022-05-26 16:03阅读:来源:国知局

技术特征:
1.一种社交关系识别方法,其特征在于,所述方法包括:获取目标图像;通过特征提取模型对目标图像进行特征提取,获得目标图像特征,并在所述目标图像特征中提取出各个目标人物特征;根据所述各个目标人物特征以及所述目标图像特征,构建人物特征关系图;所述人物特征关系图中的各个节点用于指示各个目标人物的图像特征;根据所述人物特征关系图中的所述各个节点,生成各个目标查询向量;所述目标查询向量用于指示人物特征关系图中两两节点之间的关系;将所述目标图像特征进行维度变换后,通过编码器进行编码处理,获得目标编码向量;根据所述各个目标查询向量以及目标编码向量,通过具有自注意力层的解码器进行解码处理,获得所述各个目标人物之间的社交关系。2.根据权利要求1所述的方法,其特征在于,所述在所述目标图像特征中提取出各个目标人物特征,包括:通过兴趣区域池化层roip对所述目标图像特征进行数据处理,获得各个兴趣区域;将所述各个兴趣区域中的图像特征进行池化操作,分别获得各个目标人物特征。3.根据权利要求1所述的方法,其特征在于,所述根据所述各个所述目标人物特征以及所述目标图像特征,构建人物特征关系图,包括:将所述各个目标人物特征作为所述各个节点的初始特征;通过全局平均池化层所述目标图像特征进行数据处理,并将处理结果作为所述各个节点之间的边的初始特征。4.根据权利要求3所述的方法,其特征在于,所述根据所述人物特征关系图中的所述各个节点,生成各个目标查询向量之前,还包括:对所述人物特征关系图,进行迭代图卷积操作,以更新所述人物特征关系图中的各个节点的特征;所述根据所述人物特征关系图中的所述各个节点两两之间的节点特征,生成各个目标查询向量,包括:将更新后的人物特征关系图中,两两节点之间进行向量拼接,获得各个所述目标查询向量。5.根据权利要求4所述的方法,其特征在于,所述对所述人物特征关系图,进行迭代图卷积操作,包括:根据第t轮中第一节点的特征、第t轮中第二节点的特征以及第t轮中所述第一节点与所述第二节点之间的边的特征进行运算,获取第t+1轮中第一节点与所述第二节点之间的边的特征;所述第一节点与所述第二节点是所述人物特征关系图中的任意两个节点;根据第t轮第一节点的特征、第t轮中与所述第一节点相邻的各个目标节点的特征,以及第t轮中各个所述目标节点与所述第一节点之间的边特征进行运算,获得第t+1轮中第一节点的特征。6.根据权利要求1至5任一所述的方法,其特征在于,所述将目标图像特征进行维度变换后,通过编码器进行编码处理,获得目标编码向量,包括:对所述目标图像特征进行降维操作,并拆分为各个具有目标维度的向量序列;
通过第一位置特征分别与各个所述向量序列拼接,并通过编码器进行处理,获得所述目标编码向量;所述第一位置特征为所述编码器中的参数。7.根据权利要求6所述的方法,其特征在于,所述根据各个目标查询向量以及目标编码向量,通过具有自注意力层的解码器进行解码处理,获得各个所述目标人物之间的社交关系,包括:将所述各个目标查询向量与第二位置特征拼接,获得各个位置查询向量;所述第二位置特征为所述解码器中的参数;根据所述各个位置查询向量,以及各个所述目标编码向量,确定各个注意力系数;基于所述各个注意力系数,通过所述解码器对所述目标编码向量进行解码操作,获得所述各个目标人物的概率分布;所述概率分布中的各个概率值用于指示所述目标人物之间为各个社交关系的概率。8.一种社交关系识别装置,其特征在于,所述装置包括:目标图像获取模块,用于获取目标图像;特征提取模块,用于通过特征提取模型对目标图像进行特征提取,获得目标图像特征,并在所述目标图像特征中提取出各个目标人物特征;关系图构建模块,用于根据所述各个目标人物特征以及所述目标图像特征,构建人物特征关系图;所述人物特征关系图中的各个节点用于指示各个目标人物的图像特征;所述各个节点之间的边用于指示所述各个目标人物之间的特征关系;查询向量生成模块,用于根据所述人物特征关系图中的所述各个节点,生成各个目标查询向量;所述目标查询向量用于指示人物特征关系图中两两节点之间的关系;编码向量生成模块,用于将所述目标图像特征进行维度变换后,通过编码器进行编码处理,获得目标编码向量;社交关系推理模块,用于根据所述各个目标查询向量以及目标编码向量,通过具有自注意力层的解码器进行解码处理,获得所述各个目标人物之间的社交关系。9.一种计算机设备,其特征在于,所述计算机设备中包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的社交关系识别方法。10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的社交关系识别方法。

技术总结
本申请是关于一种社交关系识别方法、装置、设备及存储介质,具体涉及图像识别领域。所述方法包括:获取目标图像的目标图像特征,并在目标图像特征中提取出各个目标人物特征;根据各个目标人物特征以及目标图像特征,构建人物特征关系图;根据人物特征关系图中的各个节点,生成各个目标查询向量将目标图像特征进行维度变换后,通过编码器进行编码处理,获得目标编码向量;根据各个目标查询向量以及目标编码向量,通过具有自注意力层的解码器进行解码处理,获得各个目标人物之间的社交关系。上述方案可以在目标图像的整体特征中更加关注与人物有关的特征,从而提高获取到的社交关系的准确性。准确性。准确性。


技术研发人员:蚁韩羚 唐锲 黄坤 余晓填 王孝宇 陈宁
受保护的技术使用者:深圳云天励飞技术股份有限公司
技术研发日:2021.12.30
技术公布日:2022/5/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1