一种视角无关的视频三维人体姿态识别方法与流程

文档序号:20953718发布日期:2020-06-02 20:17阅读:来源:国知局

技术特征:

1.一种视角无关的视频三维人体姿态识别方法,其特征在于,该识别方法包括:

步骤1:虚拟数据生成阶段:基于任意包含三维标注的人体姿态数据集,合成虚拟相机参数后生成二维/三维数据元组;

步骤2:模型训练阶段:利用生成的二维/三维数据元组分别训练用于获得具有相机视角泛化能力的模型的模块化神经网络第一模块和用于获得能够保护帧间动作连续性的模型的模块化神经网络第二模块;

步骤3:无约束视频推理阶段:对于任意无约束采集得到的视频,通过利用步骤2训练得到的多模块深度神经网络预测得到三维人体姿态识别结果。

2.根据权利要求1所述的一种视角无关的视频三维人体姿态识别方法,其特征在于,所述的步骤1具体包括:对于任意包含三维标注的人体姿态数据集,采用相机视角增强模块合成虚拟相机参数,并利用投影关系生成二维/三维数据元组。

3.根据权利要求2所述的一种视角无关的视频三维人体姿态识别方法,其特征在于,所述的相机参数包括决定相机位置和朝向的外参和决定相机投影焦距画幅的内参。

4.根据权利要求1所述的一种视角无关的视频三维人体姿态识别方法,其特征在于,所述的步骤2中的第一模块使用单帧数据元组进行视角增强的训练。

5.根据权利要求1所述的一种视角无关的视频三维人体姿态识别方法,其特征在于,所述的步骤2中的第二模块使用连续序列的数据元组进行时序模型训练。

6.根据权利要求1所述的一种视角无关的视频三维人体姿态识别方法,其特征在于,所述的步骤2与步骤3中,在输入神经网络前,还包括对二维检测结果进行相机无关的二维检测归一化预处理过程,其对应描述公式为:

式中,kx,y表示二维检测归一化预处理后的二维点坐标,表示原二维点坐标,表示二维检测框的中心坐标,wd,hd分别为二维检测框的宽度和高度。

7.根据权利要求1所述的一种视角无关的视频三维人体姿态识别方法,其特征在于,所述的步骤3中的无约束采集得到的视频具体包括自然条件采集,或经过缩放、裁剪、变速、和其他颜色调整变换的视频序列。


技术总结
本发明涉及一种视角无关的视频三维人体姿态识别方法,该识别方法包括:步骤1:虚拟数据生成阶段:基于任意包含三维标注的人体姿态数据集,合成虚拟相机参数后生成二维/三维数据元组;步骤2:模型训练阶段:利用生成的二维/三维数据元组分别训练用于获得具有相机视角泛化能力的模型的模块化神经网络第一模块和用于获得能够保护帧间动作连续性的模型的模块化神经网络第二模块;步骤3:无约束视频推理阶段:对于任意无约束采集得到的视频,通过利用步骤2训练得到的多模块深度神经网络预测得到三维人体姿态识别结果。与现有技术相比,本发明基于模块化神经网络组合训练方法,有效提高三维人体姿态识别的泛化能力。

技术研发人员:邱丰;马利庄
受保护的技术使用者:上海交通大学
技术研发日:2020.01.06
技术公布日:2020.06.02
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1