用于检测关键点的方法和装置与流程

文档序号:21369669发布日期:2020-07-04 06:19阅读:来源:国知局

技术特征:

1.一种用于检测关键点的方法,包括:

将包含至少一个目标对象的图片输入卷积网络,其中,每个目标对象具有预先定义的多个关键点和所述多个关键点之间的一组连接关系,不同目标对象的关键点之间不存在连接关系;

利用所述卷积网络输出多个第一特征图和多个第二特征图,其中,每个第一特征图对应于所述至少一个目标对象的一类关键点,每个第二特征图对应于所述至少一个目标对象的一类连接关系;以及

利用所述多个第一特征图和所述多个第二特征图将所述图片中的关键点分组,使得对于每个目标对象,该目标对象的每个关键点和与该关键点连接的响应值最大的下一个关键点组合以检测出该目标对象的所有关键点。

2.根据权利要求1所述的方法,其中,

每个第一特征图采用一个第一矩阵来表示,每个第二特征图采用一个第二矩阵来表示。

3.根据权利要求2所述的方法,其中,将所述图片中的关键点分组,使得对于每个目标对象,该目标对象的每个关键点和与该关键点连接的响应值最大的下一个关键点组合的步骤包括:

对于所述图片中的一个目标对象,将该目标对象的一个关键点确定为基础关键点;

基于所述基础关键点与下一个关键点的连接关系类型获得包含所有下一个关键点的第一特征图,并在该第一特征图中查找得到所有下一个关键点;

在包含所述基础关键点与下一个关键点的连接关系的第二特征图中,获得该基础关键点分别与所查找得到的每个关键点之间的连线;

在与该第二特征图所对应的第二矩阵上,分别计算每个连线所对应的所有元素值之和;

根据与每个连线所对应的元素值之和确定与所述基础关键点属于同一个目标对象的连线;以及

根据所确定的连线获得与所述基础关键点连接的响应值最大的下一个关键点。

4.根据权利要求3所述的方法,其中,

在与第二特征图所对应的第二矩阵中,与该第二特征图的具有相应连接关系的连线所对应的所有元素值均为非零值,该第二矩阵的其他元素值均为0,

其中,根据与每个连线所对应的元素值之和确定与所述基础关键点属于同一个目标对象的连线的步骤包括:将元素值之和最大的连线确定为与所述基础关键点属于同一个目标对象的连线;

在所述非零值为正值的情况下,所述响应值为相应连线所对应的所有元素值之和。

5.根据权利要求3所述的方法,其中,

在与第二特征图所对应的第二矩阵中,与该第二特征图的具有相应连接关系的连线所对应的所有元素值均为0,该第二矩阵的其他元素值均为非零值,

其中,根据与每个连线所对应的元素值之和确定与所述基础关键点属于同一个目标对象的连线的步骤包括:将元素值之和最小的连线确定为与所述基础关键点属于同一个目标对象的连线;

在所述非零值为正值的情况下,所述响应值为相应连线所对应的所有元素值之和的相反数。

6.根据权利要求2所述的方法,其中,

在与第一特征图对应的第一矩阵中,与该第一特征图的关键点对应的元素值为非零值,该第一矩阵的其他元素值均为0;或者,

在与第一特征图对应的第一矩阵中,与该第一特征图的关键点对应的元素值为0,该第一矩阵的其他元素值均为非零值。

7.根据权利要求1所述的方法,其中,

在所述图片中,利用每个关键点的坐标和状态表示该关键点,其中,所述状态包括:可见状态、不可见状态和部分可见状态。

8.根据权利要求1所述的方法,其中,在将包含至少一个目标对象的图片输入卷积网络之前,所述方法还包括:

将包含具有已知关键点的目标对象的图片输入所述卷积网络以训练所述卷积网络。

9.一种用于检测关键点的装置,包括:

输入单元,用于将包含至少一个目标对象的图片输入卷积网络,其中,每个目标对象具有预先定义的多个关键点和所述多个关键点之间的一组连接关系,不同目标对象的关键点之间不存在连接关系;

输出单元,用于利用所述卷积网络输出多个第一特征图和多个第二特征图,每个第一特征图对应于所述至少一个目标对象的一类关键点,每个第二特征图对应于所述至少一个目标对象的一类连接关系;以及

分组单元,用于利用所述多个第一特征图和所述多个第二特征图将所述图片中的关键点分组,使得对于每个目标对象,该目标对象的每个关键点和与该关键点连接的响应值最大的下一个关键点组合以检测出该目标对象的所有关键点。

10.根据权利要求9所述的装置,其中,

每个第一特征图采用一个第一矩阵来表示,每个第二特征图采用一个第二矩阵来表示。

11.根据权利要求10所述的装置,其中,

所述分组单元用于对于所述图片中的一个目标对象,将该目标对象的一个关键点确定为基础关键点,基于所述基础关键点与下一个关键点的连接关系类型获得包含所有下一个关键点的第一特征图,并在该第一特征图中查找得到所有下一个关键点,在包含所述基础关键点与下一个关键点的连接关系的第二特征图中,获得该基础关键点分别与所查找得到的每个关键点之间的连线,在与该第二特征图所对应的第二矩阵上,分别计算每个连线所对应的所有元素值之和,根据与每个连线所对应的元素值之和确定与所述基础关键点属于同一个目标对象的连线,以及根据所确定的连线获得与所述基础关键点连接的响应值最大的下一个关键点。

12.根据权利要求11所述的装置,其中,

在与第二特征图所对应的第二矩阵中,与该第二特征图的具有相应连接关系的连线所对应的所有元素值均为非零值,该第二矩阵的其他元素值均为0,

所述分组单元用于将元素值之和最大的连线确定为与所述基础关键点属于同一个目标对象的连线;

其中,在所述非零值为正值的情况下,所述响应值为相应连线所对应的所有元素值之和。

13.根据权利要求11所述的装置,其中,

在与第二特征图所对应的第二矩阵中,与该第二特征图的具有相应连接关系的连线所对应的所有元素值均为0,该第二矩阵的其他元素值均为非零值,

所述分组单元用于将元素值之和最小的连线确定为与所述基础关键点属于同一个目标对象的连线;

其中,在所述非零值为正值的情况下,所述响应值为相应连线所对应的所有元素值之和的相反数。

14.根据权利要求10所述的装置,其中,

在与第一特征图对应的第一矩阵中,与该第一特征图的关键点对应的元素值为非零值,该第一矩阵的其他元素值均为0;或者,

在与第一特征图对应的第一矩阵中,与该第一特征图的关键点对应的元素值为0,该第一矩阵的其他元素值均为非零值。

15.根据权利要求9所述的装置,其中,

在所述图片中,利用每个关键点的坐标和状态表示该关键点,其中,所述状态包括:可见状态、不可见状态和部分可见状态。

16.根据权利要求9所述的装置,其中,

所述输入单元还用于将包含具有已知关键点的目标对象的图片输入所述卷积网络以训练所述卷积网络。

17.一种用于检测关键点的装置,包括:

存储器;以及

耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至8任意一项所述的方法。

18.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现如权利要求1至8任意一项所述的方法的步骤。


技术总结
本公开提供了一种用于检测关键点的方法和装置,涉及人工智能技术领域。该方法包括:将包含至少一个目标对象的图片输入卷积网络,每个目标对象具有预先定义的多个关键点和该多个关键点之间的一组连接关系,不同目标对象的关键点之间不存在连接关系;利用卷积网络输出多个第一特征图和多个第二特征图,每个第一特征图对应于该至少一个目标对象的一类关键点,每个第二特征图对应于该至少一个目标对象的一类连接关系;利用该多个第一特征图和该多个第二特征图将图片中的关键点分组,使得对于每个目标对象,该目标对象的每个关键点和与该关键点连接的响应值最大的下一个关键点组合。本公开实现了对目标对象的关键点的检测。

技术研发人员:丁圣勇;樊勇兵;陈楠;黄志兰
受保护的技术使用者:中国电信股份有限公司
技术研发日:2018.12.26
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1