专利名称：一种基于优化思想的人体姿态变形方法
技术领域：
本发明涉及计算机应用技术领域，特别是一种基于优化思想的人体姿态变形方法。
背景技术：
从二维的视频中获取三维的人体姿态信息是计算机视觉、模式识别、虚拟现实、智能人机接口领域的热点和难点问题。在本文中，按照惯例，我们统一将“二维”简写为“2D”，“三维”简写为“3D”。
在已知初始人体姿态3D信息的前提下，如何根据视频内容对初始姿态进行变形，从而得到视频中对应的3D信息是其中一个非常重要的子问题，它不仅具有重要的研究意义，而且在游戏、关键帧3D动画、以及基于实例数据的3D信息获取等方面具有广阔的应用前景。例如，在基于视频的人体运动分析领域，我们只要有一个小样本的3D人体姿态库，就可以根据视频图像，恢复出对应的人体姿态信息。再如，在动画领域中，只要给定一个小样本的2D关键帧及其对应的3D姿态信息，就可以将所有2D动画帧的3D信息恢复出来，轻松的实现3D动画的效果。
因此，基于视频内容的人体姿态变形技术不仅有重大的理论意义，也具有广泛的应用领域以及重要的实用价值。但是，在国内外的现有的基于视频的运动分析以及重构软件中，都没有提供基于视频内容的人体姿态变形技术功能。在进行相关的专利检索时，也没有检索到任何相关专利的信息。
发明内容
本发明的目的是提供一种基于优化思想的人体姿态变形方法，实现在已知初始3D姿态的情况下，根据视频内容，对3D姿态进行变形，从而恢复视频中对应的人体3D姿态信息。
为了实现上述目的，本发明提供了一种基于优化思想的人体姿态变形方法，用于在已知初始人体三维姿态信息的基础上，根据视频中人体信息内容，将初始人体3D姿态根据视频内容进行变形，从而求取出视频中对应的3D人体结构信息；该方法包括以下步骤1)对于给定的通用参数化3D人体模型，根据视频内容对其进行定制；2)提取视频中人体轮廓信息；3)将3D人体姿态(表面几何模型描述)在2D平面上投影，形成2D模型轮廓；4)按照基于优化算法的变形准则对参数化3D人体模型姿态进行变形。
上述技术方案中，步骤1)中所述的通用的参数化3D人体模型是这样实现的参数化3D人体模型包括人体关节角度参数xa，内部比例参数(缩放因子)xi；因此，人体模型可以表示为x＝(xa，xi)。
上述技术方案中，步骤4)中按照基于优化算法的变形准则对参数化3D人体模型姿态进行变形是这样实现的变形准则包括1)模型轮廓被视频轮廓的包含准则；2)模型轮廓与视频轮廓重叠最大化准则；3)关节角度约束准则；以上变形准则的执行是通过数学优化目标函数实现的。
其中，上述的模型轮廓被视频轮廓包含准则是指设Sa为人体模型的2D投影轮廓区域，Sg为视频轮廓区域，通过自动调整参数化3D人体模型的模型缩放因子，使3D人体模型姿态的2D投影轮廓Sa被视频轮廓Sg覆盖，即Sa∈Sg。
上述的模型轮廓与视频轮廓重叠最大化准则是指设Sa为人体模型的2D投影轮廓区域，Sg为视频轮廓区域，通过自动调整参数化3D人体模型的模型缩放因子参数和关节角度参数，使3D人体模型姿态的2D投影轮廓Sa与视频轮廓Sg的重叠最大，即两个轮廓Sa与Sg的差集最小，即Sa∈Sg，Sg∈Sa同时成立。
上述的关节角度约束准则是指人的各个关节的活动区域都有特定的范围，在自动调整参数化人体模型的关节角度参数xa时，要遵守满足生物学原理的人体关节角度约束，同时，要避免角度参数的不合理造成的肢体穿透现象。
本发明的优点在于1、本发明方法实现了对基于视频内容的人体姿态变形方法，不仅具有重要的理论意义，而且具有广泛的应用范围和重大的使用价值。
2、本发明方法可用于各种类型的运动对象，具有良好的通用性。
图1为基于优化思想的人体姿态变形技术流程图。
具体实施例方式
下面结合附图，对本发明所述方法进行进一步地说明。
如图1所示，为本方法的流程图，流程图中虚线框内表示操作，实线框内表示相关操作得到的结果。
本发明的一种基于优化思想的人体姿态变形技术主要分成以下步骤步骤1.定义一个通用的参数化3D人体模型，并根据视频内容定制3D模型参数；参数化3D人体模型包括人体关节角度参数xa，内部比例参数(缩放因子)xi；因此，人体模型可以表示为x＝(xa，xi)；根据视频中人体的形体信息，对通用的3D参数化人体模型的形体进行相应调整，使得两者在形体上相吻合；步骤2.提取视频中人体轮廓信息；提取视频中人体轮廓的方法很多，我们采用简单的背景剪除的方法。
步骤3.将3D人体姿态(表面几何模型描述)在2D平面上投影，形成2D模型轮廓；步骤4.定义变形准则，并采用基于优化算法的方法对相应的目标函数进行计算，以达到对参数化3D人体模型姿态按照视频内容进行变形的目的。
变形准则包括a1、模型轮廓被视频轮廓的包含准则。设Sa为人体模型的2D投影轮廓区域，Sg为视频轮廓区域。通过自动调整参数化3D人体模型的模型缩放因子，使3D人体模型姿态的2D投影轮廓Sa被视频轮廓Sg覆盖，即Sa∈Sg。量化的准则函数为ea(xi)＝|P(Person(xi，xa))-Sg|；其中，P为投影矩阵，Person(xi)为参数化的人体模型。
b1、模型轮廓与视频轮廓重叠最大化准则。设Sa为人体模型的2D投影轮廓区域，Sg为视频轮廓区域。通过自动调整参数化3D人体模型的模型缩放因子参数和关节角度参数，使3D人体模型姿态的2D投影轮廓Sa与视频轮廓Sg的重叠最大，即两个轮廓Sa与Sg的差集最小。即Sa∈Sg，Sg∈Sa同时成立。量化的准则函数为es(xi,xa)=minxi,xa(P(Person(xi,xa))-Sg).]]>c1、关节角度约束准则。人的各个关节的活动区域都有特定的范围。在自动调整参数化人体模型的关节角度参数xa时，要遵守满足生物学原理的人体关节角度约束，同时，要避免角度参数的不合理造成的肢体穿透现象。
以上变形准则的执行是通过对目标函数进行数值优化来实现的。具体来说，给定初始人体模型姿态x＝(xa，xi)，结合以上三个变形准则，目标函数f(x)可以表示为f(x)＝ea(xi)+es(xa，xi)+ep(xa)。
其中，ea为量化的模型轮廓被视频轮廓的包含准则；es为模型轮廓与视频轮廓重叠最大化准则；ep为人体关节角度约束。需要注意的是，在以上的三个量化准则中，ea只对模型缩放因子xi进行操作，es同时对缩放因子和人体关节角度参数进行变化，而ep只对人体关节角度参数xa进行处理。
通过最小化目标函数，即 可以得到最终的视频的3D人体姿态信息。优化的实现过程是一个迭代的数值计算过程，具体数值计算方法很多，例如LM方法等。
权利要求
1.一种基于优化思想的人体姿态变形方法，用于在已知初始人体三维姿态信息的基础上，根据视频中人体信息内容，将初始人体3D姿态根据视频内容进行变形，从而求取出视频中对应的3D人体结构信息；该方法包括以下步骤1)对于给定的通用参数化3D人体模型，根据视频内容对其进行定制；2)提取视频中人体轮廓信息；3)将3D人体姿态在2D平面上投影，形成2D模型轮廓；4)按照基于优化算法的变形准则对参数化3D人体模型姿态进行变形。
2.根据权利要求1所述的基于优化思想的人体姿态变形方法，其特征在于，步骤1)所述的通用参数化3D人体模型是这样实现的参数化3D人体模型包括人体关节角度参数xa，内部比例参数xi；因此，人体模型可以表示为x＝(xa，xi)。
3.根据权利要求1所述的基于优化思想的人体姿态变形方法，其特征在于，步骤4)中按照基于优化算法的变形准则对参数化3D人体模型姿态进行变形是这样实现的变形准则包括1)模型轮廓被视频轮廓的包含准则；2)模型轮廓与视频轮廓重叠最大化准则；3)关节角度约束准则；以上变形准则的执行是通过数学优化目标函数实现的。
4.根据权利要求3所述的基于优化思想的人体姿态变形方法，其特征在于，所述的按照模型轮廓被视频轮廓包含准则是指设Sa为人体模型的2D投影轮廓区域，Sg为视频轮廓区域，通过自动调整参数化3D人体模型的模型缩放因子，使3D人体模型姿态的2D投影轮廓Sa被视频轮廓Sg覆盖，即Sa∈Sg。
5.根据权利要求3所述的基于优化思想的人体姿态变形方法，其特征在于，所述的模型轮廓与视频轮廓重叠最大化准则是指设Sa为人体模型的2D投影轮廓区域，Sg为视频轮廓区域，通过自动调整参数化3D人体模型的模型缩放因子参数和关节角度参数，使3D人体模型姿态的2D投影轮廓Sa与视频轮廓Sg的重叠最大，即两个轮廓Sa与Sg的差集最小，即Sa∈Sg，Sg∈Sa同时成立。
6.根据权利要求3所述的基于优化思想的人体姿态变形方法，其特征在于，所述的关节角度约束准则是指人的各个关节的活动区域都有特定的范围，在自动调整参数化人体模型的关节角度参数xa时，要遵守满足生物学原理的人体关节角度约束，同时，要避免角度参数的不合理造成的肢体穿透现象。
7.根据权利要求3所述的基于视频内容的人体姿态变形方法，其特征在于，所述的变形准则的执行是通过数学优化目标函数的实现具体来说，给定初始人体模型姿态x＝(xa，xi)，结合以上三个变形准则，目标函数f(x)可以表示为f(x)＝ea(xi)+es(xa，xi)+ep(xa)；其中，ea为量化的模型轮廓被视频轮廓的包含准则；es为模型轮廓与视频轮廓重叠最大化准则；ep为人体关节角度约束，需要注意的是，在以上的三个量化准则中，ea只对模型缩放因子xi进行操作，es同时对缩放因子和人体关节角度参数进行变化，而ep只对人体关节角度参数xa进行处理；通过最小化目标函数，即 可以得到最终的视频的3D人体姿态信息。
全文摘要
本发明涉及计算机应用技术领域，特别是一种基于优化思想的人体姿态变形方法。用于在已知初始人体三维姿态信息的基础上，根据视频中人体信息内容，将初始人体3D姿态根据视频内容进行变形，从而求取出视频中对应的3D人体结构信息；该方法包括以下步骤1)定义一个通用的参数化3D人体模型；2)根据视频内容定制3D人体模型；3)提取视频中人体轮廓信息；4)将3D人体姿态在2D平面上投影，形成2D模型轮廓；5)按照基于优化算法的变形准则对参数化3D人体模型姿态进行变形。本发明的优点在于可用于各种类型的已知初始3D信息的运动对象的3D结构参数恢复，具有良好的通用性；应用领域广泛，具有广阔的实用前景。
文档编号G06T7/00GK1710611SQ20051001217
公开日2005年12月21日 申请日期2005年7月14日 优先权日2005年7月14日
发明者邱显杰, 王兆其, 夏时洪 申请人:中国科学院计算技术研究所