结合高度图从无标记单目图像中恢复三维人体姿态的方法
【技术领域】
[0001] 本发明设及Ξ维人体姿态恢复方法，尤其设及一种结合高度图从无标记的单目图 像序列中恢复Ξ维人体姿态的方法。
【背景技术】
[0002] 人体Ξ维姿态估计，因其广泛的应用前景，受到很多研究学者的关注。现有的Ξ维 人体姿态估计的方法主要可W分为基于单目相机的方法和基于多视图像序列的方法。目 前，单目的方法正受到业界越来越多的关注。因为虽然多视方法提供了更多的可视数据，进 而能为姿态估计提供更丰富的信息，但是在现实中运些数据并不总是可W获得，特别是在 视频监控W及疗养院等应用中。
[0003] 从单目图像序列中恢复Ξ维人体姿态是一个固有的病态问题，因为当我们视图从 单目相机获得的单视图像中推导Ξ维姿态的时候，对于同一个二维图像上观测到的投影可 W得到多个Ξ维姿态和相机位置的组合。再加上在真实情况下由于环境因素或遮挡等的影 响，图像的特征(例如人体轮廓，四肢或二维关节点）不能精确地检测到，从而使基于单目图 像恢复出Ξ维人体姿态变得更加具有挑战性。然而，人类观测者却可W通过一只眼睛精确 估计出人体的姿态。大部分情况下，人类也可W轻松的组织起Ξ维空间中的解剖标记进而 预测相机的相对位置。人类之所W可W做到运一点，很可能是因为人的大脑中存储了大量 的Ξ维人体姿态的配置信息，进而可W消除二维到Ξ维的歧义性。因此，可W通过学习运动 捕捉数据库中大量的Ξ维动作数据来获得运样的能力的一个合理的代理。
【发明内容】
[0004] 本发明的目的在于针对现有技术的不足，提高一种结合高度图从无标记单目图像 中恢复Ξ维人体姿态的方法。
[0005] 本发明的目的是通过W下技术方案来实现的：一种结合高度图从无标记单目图像 中恢复Ξ维人体姿态的方法，该方法的步骤如下：
[0006] 1)使用彩色图像数据集和高度图像数据集训练得到基于深度卷积网络的二维关 节点识别模型；
[0007] 2)读入彩色视频帖图像序列和相机参数，估算得到每帖彩色图像对应的高度图 像；
[0008] 3)将步骤2)得到的高度图及其对应的彩色图像输入步骤1)训练得到的基于深度 卷积网络的二维关节点识别模型，识别得到每帖图像中人体的二维关节点坐标；
[0009] 4)输入步骤3)得到的多帖图像的二维关节点坐标，根据优化模型恢复出每帖图像 中人体的Ξ维姿态。
[0010] 进一步地，所述的高度图采用W下方式计算得到：
[0011] 高度图是本发明提出的一种新的人体部位的中间标识。在解剖结构上的，人体各 主要关节点的位置及骨骼的长度和人体的高度存在一个经验比例。因此高度信息包含了骨 架结构各关节点间的空间关系。对于人体轮廓内的每一个像素点，使用Park及其合作者们 在2012年发表的题为《Robust Estimation of Height of Moving People Using a Sing 1 e Camera》的论文中提到的高度估计方法进行高度估计，该方法通过把图像平面上的 二维特征（即头点和脚点)反投影到Ξ维场景中来计算人体的高度。高度图中的每一个像素 点的值表示的是该点的高度(即在世界坐标系中相对于地面的高度）。但由于不同的人的身 高不同，为了与人体高度无关，把高度图中的每一个像素的值H(x，y)归一化为相对高度 巧 〇',}〇,即：
[0012]
[001引其中X和y是像素坐标，hi表示第i个人的身高。k是一个用来把相对高度图映射到 所需的区间的缩放常量，经验上被设置为255。
[0014] 进一步地，步骤1)中所述的基于深度卷积网络的二维关节点识别模型基于化en及 其合作者们在2014年发表的题为《Articulated F*ose Estimation by a Gra地ical Model with Image Dependent Pairwise Relations》的论文中提到的二维关节点识别模型，论文 为X.Chen and A丄.Yuille，"Articulated Pose Estimationby a Graphical Model with Image Dependent Pai;rwiseRelations"，In NIPS,pagesl736-1744,2014。运里对该模型进 行了改进，增加一个新的数据流(即高度图），使其深度卷积网络变成双流结构(原来的结构 只使用RGB图像，现在同时使用RGB图像和估算出的高度图像），并在最后的图模型之前增加 了一个融合层，来融合双流卷积网络的输出。
[0015] 进一步地，所述步骤1)中基于深度卷积网络的二维关节点识别模型的训练过程 为：
[0016] 1.1)使用公开数据集"Leeds Sports化ses"化SP)(彩色图像)和合成的高度图像 数据集对基于深度卷积网络的二维关节点识别模型进行训练，合成的高度图像数据集通过 运动数据驱动人体模型来获得。
[0017] 1.2)使用真实视频中的RGB图像及其对应的高度图对得到的识别模型进行微调。
[0018] 进一步地，所述步骤2)中彩色视频帖图像对应的高度图的生成过程如下：
[0019] 2.1)对输入的彩色视频帖图像进行前景提取，得到每帖图像的前景二值图像。
[0020] 2.2)读入相机内参、外参和每帖图像的前景二值图像，生成每帖图像对应的高度 图。
[0021] 进一步地，所述步骤3)中识别得到的二维关节点共有14个，分别是：左/右脚踩、 左/右膝盖、左/右臀部、左/右手腕、左右/肘部、左/右肩膀、颈部和头部。二维关节点的坐标 通过优化一个基于部位的图模型的得分函数F(l，t|l)得到：
[0022]
[0023]其中l = Ui|iev}是关节点位置的集合，* = {*^|(1〇'）￡6}是成对的关系类型， ω〇是一个偏置项。V和ε分别是图模型的顶点和边的集合。U和R通过边缘化训练得到的卷积 网络的联合分布得到，包含部位类型和成对关系类型的混合。卷积网络的输入是一个图像 块，而输出是一个部位(即关节点)落在该图像块的概率。
[0024] 进一步地，所述步骤4)具体为：
[0025] 在t时刻Ξ维人体状态可表示为：
[0026]
[0027]其中Pt表示t时刻Ξ维人体姿态，Vt表示t时刻的关节点速率。
[002引 Ξ维人体状态可W表示成一系列主成分B={bi，…，bk}和一个平均向量μ的线性组 合：
[0031]其中ω*是主成分的系数，技t*;是Β的一个优化子集。Β通过对不同类型的运动数据 进行主成分分析(PCA)得到。
[00创给定一个图像序列的二维关节点坐标.括1,…，扔，…,PmIPt e .胶对应的；维 姿态巧1,…，祐…，.巧e阪3可可^通过优化如下目标函数得到：
[0033]
[0034] 其中
m和η分别表示输入的图像序列包含的帖数和Ξ 维关节点的数目；弱透视相机模聖
为相机投影矩 阵；
α用于平 衡反投影误差和时序一致性，
[0035]
[0036] 本发明的有益效果是:本发明在二维关节点的识别过程中综合使用彩色图像和高 度图像，使二维关节点的识别准确率得到了提高。另一方面，在从二维关节点恢复出Ξ维人 体姿态的优化模型中加入了时序一致性约束，使恢复出的Ξ维人体姿态更加接近真实人体 姿态。
【附图说明】
[0037] 图1是本发明的总体流程图；
[0038] 图2是基于高度的骨架解剖分解图；
[0039] 图3(a)-(d)是实施例中二维关节点识别模型训练用的四个不同的合成高度图像；
[0040] 图4是本发明使用的真实高度图的生成过程；
[0041] 图5(a)-(c)是实施例使用的Ξ张真实视频图像；
[0042] 图6(a)-(c)是实施例估算出的真实视频图像对应的高度图；
[0043] 图7(a)-(c)是实施例只使用彩色图像估算出的二维人体骨架；
[0044] 图8(a)-(c)是实施例使用彩色加高度图像估算出的二维人体骨架；
[0045] 图9(a)-(c)是实施例恢复出的Ξ维人体姿态。
【具体实施方式】
[0046] 本发明的核屯、是在二维关节点识别的过程中增加高度信息（即使用高度图），然后 在根据二维关节点恢复出Ξ维姿态的过程中增加了时序一致性约束。
[0047] W下利用一实施例，来描述具体流程的实施方式，步骤如下(见图1):
[0048] 1)使用彩色图像数据集和高度图像数据集训练得到基于深度卷积网络的二维关 节点识别模型；给定一个图像序列[Jl，…€阪wxhxd}，其中W和h分别是图像的宽度 和高度，d是通道数目。二维关节点识别的目标就是利用RGB图像和估算出的高度图像来计 算出每帖图像上二维关节点的位置。二维关节点的识别使用的模型基于化en及其合作者们 在2014年发表的题为《Articulated Pose Estimation by a Graphical Model with Image Dependent化irwise Relations》的论文中提到的二维关节点识别模型，论文为 X.Chen and A.L.Yuille，"Articulated Pose Estimationby a Graphical Model with Image Dependent Pai;rwiseRelations"，In NIPS,pages 1736-1744,2014。运里对该模型 进行了改进(见图1)，增加一个新的数据流（即高度图），使其深度卷积网络变成双流结构 (原来的结构只使用RGB图像，现在同时使用RGB图像和估算出的高度图像）。并在最后的图 模型之前增加了一个融合层，来融合双流卷积网络的输出。二维关节点识别模型的训练过 程为：
[0049] 1.1)使用公开数据集"Leeds Sports化ses"化SP)(彩色图像)和合成的高度图像 数据集对