一种基于简易测量服的三维人体快速重建方法与流程

文档序号:14912448发布日期:2018-07-10 23:47阅读:175来源:国知局

本发明涉及三维人体建模的技术领域,特别是涉及一种基于简易测量服的三维人体快速重建方法。



背景技术:

三维人体重建是计算机图形学,计算机视觉等领域的重要研究方向。基于统计样本的三维人体重建,充分利用大量的样本模型和统计学习方法,快速构建人体模型,为三维动画,产品试穿戴和虚拟试衣等实际应用场景提供了基础而普遍的素材。

在计算机图形学中,通常以数以千计甚至是数以万计的空间点云或者三角网格来表示三维人体模型。PCA(Principle Component Analysis),即主成分分析,是一种常用的统计方法,其主要思想为通过正交变换将一组可能存在相关性的变量转化为一组线性无关的变量,按照特征值的大小选取对应的特征向量,实现数据降维。人体形状空间的本质是所有个性人体形状的集合,其空间维度常以千或者是万为单位,过高的空间维度信息又限制了人体模型的实际应用范围。因而在实际工程中,常使用PCA来处理网格结构统一的人体模型,以低维度的正交子空间近似代表高维度的三维人体模型。

在日常生活中,又常以身高、体重、三围等一维特征参数来描述人体模型,但是由于缺少人体表面几何信息,即使是两个身高、体重、甚至是三围非常接近的人,在部分人体形状区域依旧会存在直观的差异,而这些差异必然无法通过一维的特征参数得以体现。

人体形状空间和人体特征之间必然存在直接关联,显然这两者是非线性相关的,但是一般而言,线性模型常被用来近似表达人体形状空间和人体特征参数之间的映射关系,这势必会影响重建得到的三维人体模型的精度。



技术实现要素:

本发明的目的在于克服现有技术的不足,提供一种能够获取包含人体表面几何信息的高维人体特征参数的方法与装置,同时建立人体特征与人体形状空间之间的合理映射关系,快速重建得到高精度的三维人体模型。

本发明采用的技术方案为:

S1、针对现有人体库的各个样本人体,提取每个样本人体的特征参数和特征曲线作为人体特征,组成人体特征库;

样本人体是指通过使用高精度三维扫描仪扫描真实人体获得的人体点云数据。

S2、使用PCA方法对现有人体库中的各个样本人体进行处理构建人体形状空间;

S3、通过神经网络建立人体特征和人体形状空间之间的映射模型;

S4、测量待测人体的特征参数,并利用简易测量服获取待测人体的特征曲线;

S5、待测人体的特征参数和特征曲线输入到映射模型中获得待测人体在人体形状空间中的各特征向量对应的特征值,利用特征向量及其对应的特征值再还原重建得到高精度的三维人体模型。

进一步地,所述步骤S1具体包括:

S101、提取样本人体的身高、体重、三围、臂长和肩宽等一维人体特征参数;具体实施中,根据样本人体的点云数据中的点计算获得各项特征参数。

S102、提取样本人体的胸部、腰部和臀部的人体截面的轮廓曲线作为特征曲线;具体实施中,分别在胸部、腰部和臀部设定截面,取截面轮廓的数据构建特征曲线。

S103、由现有人体库的各个样本人体的特征参数和特征曲线组成人体特征库。

所述步骤S1和步骤S3中,特征参数包括身高、体重、三围、臂长和肩宽的一维人体参数;特征曲线包括胸部、腰部和臀部的人体截面的轮廓曲线。

身高、体重、三围、臂长、肩宽等一维人体特征参数在不同的人体之间必然不尽相同,因而在日常生活中常被用来描述人体形态。

胸部、腰部和臀部按照《人体测量方法》对于三围的定义,如下:胸围——平静呼吸时经乳头点的胸部水平围长;腰围——经脐部中心的水平围长,或肋最低点与髂嵴上缘两水平线间中点线的围长;臀围——臀部向后最突出部位的水平围长。

所述步骤S103中,对现有人体库的各个样本人体的特征曲线进行重采样,使得特征曲线中的点数量统一,再组件人体特征库。

所述步骤S2具体是先对现有人体库的各个样本人体进行预处理使得所有样本人体的网格结构统一,再使用PCA方法对样本人体进行处理,使得样本人体的点云数据降维后表示为互相正交的特征向量及其对应的特征值,构建人体形状空间。

所述的网格结构统一是指样本人体的点云包含有的点总数相一致且各点位置对应统一。

如图3所示,图3是人体特征库构建流程图。由步骤S102获取的人体截面特征曲线长度不一,数据量大小不一,无法直接作为人体特征参数构建与人体形状空间之间的映射模型,因而需要将各样本人体的特征曲线转化为统一的数据结构。对于每一条闭合的人体特征曲线,采用等长度或者等角度的方式进行重采样。

人体点云过高的空间维度信息限制了其实际应用范围,为了更为便捷的表达三维人体模型,对人体点云数据进行PCA操作,降低数据维度,构建低维度的人体形状空间。

进一步地,所述步骤S2的PCA方法具体包括以下步骤:

S201、计算样本人体的平均人体,对于每个样本人体均减去平均人体;

具体实施中,利用样本人体的点云数据计算每个样本人体的平均点,移动所有样本人体使得所有平均点重合,再计算所有样本人体相同位置点的平均点作为平均人体该相同位置的点。

S202、利用减去平均人体后的各个样本人体采用以下构建协方差矩阵C,表示为:

其中,xa表示样本人体的第a维数据,具体为表示样本人体某一点空间位置的三轴中的一轴的坐标值,xb表示样本人体的第b维数据,con(xa,xb)表示第a 维数据xa和第b维数据xb的协方差,n表示样本人体的点云数据的总维数;

S203、求解协方差矩阵的特征值及其特征向量;

具体实施中,特征向量互相正交,与对应的特征值共同构建人体形状空间;

S204、将特征值按照从大到小的顺序排列,选择其中最大的K个特征值对应的特征向量构成特征向量矩阵;

S205、将每个样本人体的点云数据投影到特征向量矩阵上,以特征向量及其对应的特征值表示样本人体,构建人体形状空间。

所述步骤S3是以人体特征作为神经网络的输入量,以人体形状空间作为神经网络的输出量,将各个现有人体库的各个样本人体的人体特征与人体形状空间输入神经网络进行训练,以训练后的神经网络作为映射模型。

所述的神经网络包括输入层、隐藏层和输出层的三层结构,输入层包括身高、体重、臂长等一维特征参数,胸部、腰部、臀部等特征曲线以及偏置量;隐藏层包括若干隐藏结点及偏置量;输出层包括由样本人体进行PCA操作得到的各特征向量所对应的特征值

进一步地,所述步骤S4包括:

S401、制作能紧贴人体表面的简易测量服,利用简易测量服采集人体表面几何信息;

S402、让待测人体穿着简易测量服,简易测量服上设有标记点,通过多相机从多视角同时拍摄采集,获得待测人体的各视角图像;

S403、通过图像识别获得简易测量服上的标记点作为特征采样点,利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线。

所述的待测人体为真实的人体。具体实施中再对待测人体的特征曲线和样本人体一样进行重采样,结合测量所得的特征参数,构建待测人体特征库。

所述的简易测量服为主要由三条柔带绕置于人体上所构成的网格,柔带为长度可变的无弹性软带,柔带两端分别包含一定长度的粘扣,改变柔带可视部分的长度,以适应不同的人体,三条柔带分别水平绕置于胸部、腰部和臀部,柔带上沿长度方向等间隔设有标记点。

进一步地,所述步骤S403中,利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线,针对胸部、腰部和臀部的每条特征曲线获得方式具体为:

S4031、首先针对每个视角的图像,构建以下能量方程,在不破坏各个视角折线段原始形状的前提下,拼接拟合各视角下特征曲线段,能量方程的表达式为:

其中,Pi表示经上述能量方程优化后的第i个特征采样点的位置,Pij表示第 i个特征采样点在第j个视角中的位置,若第j个视角中无法观测到第i个特征采样点,则令Pij=0;在实际数据采集的过程中,受到各种外界因素的干扰,同一特征采样点在不同视角下计算得到的空间位置存在差异,表示当前迭代状态下,第i个特征采样点的位置;n表示特征采样点的总数,m表示相机所拍摄视角的总数;ωij表示第j个视角下的特征采样点Pij的权重,若第j个视角图像中包含第i个特征采样点,则ωij=1/Dij,Dij表示第i个特征采样点和第j个视角图像中所有特征采样点的平均中心点之间的欧式距离;若第j个视角图像中不包含第i个采样点,则ωij=0;

采用非线性优化(NLOPT)方法不断迭代求解能量方程获得更新后的第i 个特征采样点位置Pi,若当前次计算获得的能量值E1与当前次前的第100次计算时的能量值E1之差小于等于当前次计算获得的能量值E1的1%,则停止计算;

S4032、以步骤S4031最终次计算获得的更新后的第i个特征采样点位置Pi在每个视角图像中连接各个特征采样点构成一条初始特征曲线;

S4033、针对各个视角图像中的初始特征曲线,基于长度和位置约束优化特征曲线的拼接形状,构建以下约束方程:

其中,表示第k个特征采样点和第k+1个特征采样点之间的曲线的真实长度,由于柔带为无弹性的软带,柔带上的特征点等间隔均布,为已知量;Lk表示当前迭代状态下第k个特征采样点和第k+1个特征采样点之间的曲线的长度; K表示特征采样点的总数;Pi表示经过约束方程优化后的第i个特征采样点位置,表示当前迭代状态下第i个特征采样点的位置,α表示位置约束权重;

采用非线性优化(NLOPT)方法不断迭代求解约束方程再获得更新后的第 i个特征采样点位置Pi,若当前次计算获得的约束值E2与当前次前的第100次计算时的约束值E2之差小于等于当前次计算获得的约束值E2的1%,则停止计算;

S4034、以步骤S4033最终次计算获得的更新后的第i个特征采样点位置Pi作为特征曲线中的特征采样点位置的最终位置,用多项式曲线连接特征采样点构成特征曲线。

本发明的有益效果是:

本发明方法身穿简易测量服,通过多相机同时采集人体表面数据,保证了获取的人体特征参数拥有丰富的人体表面几何信息,通过神经网络准确建立人体特征和人体形状空间之间的非线性模型,有效保障了重建精度。这种重建方法成本低,精度高,速度快,为产品试穿戴,虚拟试衣等实际应用场景提供了符合要求的三维人体模型。

附图说明

图1是本发明方法的流程图;

图2是简易测量服实物效果图;

图3是人体特征库构建流程图;

图4是神经网络结构示意图;

图5是本发明的最终模型效果图;(a)表示为高精度三维扫描仪得到的结果, (b)表示本发明提出的方法得到的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及实例,对本发明做出进一步详细,清楚的描述。显然,此处所描述的实施例仅用于阐述本发明的流程,并不用于限定本发明。

如图1所示,本方法的具体实施例子及其实施步骤如下:

S1、针对现有人体库的各个样本人体,提取每个样本人体的特征参数和特征曲线作为人体特征,组成人体特征库;

S101、提取样本人体的身高、体重、三围、臂长和肩宽等一维人体特征参数;具体实施中,根据样本人体的点云数据中的点计算获得各项特征参数。

S102、提取样本人体的胸部、腰部和臀部的人体截面的轮廓曲线作为特征曲线;具体实施中,分别在胸部、腰部和臀部设定截面,取截面轮廓的数据构建特征曲线。

S103、由现有人体库的各个样本人体的特征参数和特征曲线组成人体特征库。统一不同样本人体样本人体的特征曲线数据结构,具体是:对于每一条闭合的特征曲线,采用等长度或者等角度的方式进行重采样,以等角度采样为例说明,以各点的平均位置作为曲线中心点,每隔10度从中心点做一条射线,以射线与特征曲线的交点作为特征曲线的重采样点;

S104、构建人体特征库;

如图3所示,图3是人体特征库构建流程图。

S2、使用PCA方法对现有人体库中的各个样本人体进行处理以构建人体形状空间;

先对现有人体库的各个样本人体进行预处理使得所有样本人体的网格结构统一,再使用PCA方法对各个样本人体进行处理,使得样本人体的点云数据降维后表示为互相正交的特征向量及其对应的特征值,构建人体形状空间。

将各样本人体的特征曲线转化为统一的数据结构。具体是:对于每一条闭合的人体特征曲线,采用等长度或者等角度的方式进行重采样,以等角度采样举例说明,首先确定曲线中心点位置,每隔10度为单位从中心点做一条射线,以射线与人体特征曲线的点的集合为重采样点。

再对人体点云数据进行PCA操作,具体包括:

S201、计算样本人体的平均人体,对于每个样本人体均减去平均人体;

具体实施中,利用样本人体的点云数据计算每个样本人体的平均点,移动所有样本人体使得所有平均点重合,再计算所有样本人体相同位置的各对应点的平均点作为平均人体该相同位置对应的点。

S202、利用减去平均人体后的各个样本人体采用以下构建协方差矩阵C,表示为:

其中,con(xa,xb)表示变量xa和变量xb的协方差,xa表示样本人体的第a维数据,具体为表示样本人体某一点空间位置的三轴中的一轴的坐标值;

S203、求解协方差矩阵的特征值及其特征向量;

具体实施中,特征向量互相正交,与对应的特征值共同构建人体形状空间。

S204、将特征值按照从大到小的顺序排列,选择其中最大的K个特征值对应的特征向量构成特征向量矩阵;

S205、将每个样本人体的点云数据投影到特征向量矩阵上,以特征向量及其对应的特征值表示样本人体,构建人体形状空间。

S3、通过神经网络建立人体形状空间和人体特征之间的映射模型;

步骤S3是以人体特征作为神经网络的输入量,以人体形状空间作为神经网络的输出量,将各个现有人体库的各个样本人体的人体特征与人体形状空间输入神经网络进行训练,以训练后的神经网络作为映射模型。

如图4所示,图4是神经网络结构示意图。人体特征与人体形状空间均可用来描述三维人体模型,这两者之间必然存在着某种非线性关系,因而可以通过多层神经网络进行拟合,拟合目标为:最小化重建得到的三维人体模型的几何误差。

所述的神经网络包括输入层、隐藏层和输出层的三层结构,

输入层包括身高、体重、臂长等一维特征参数,胸部、腰部、臀部等特征曲线以及偏置量;具体包括:身高、体重、手臂长度、腿长,胸部、腰部、臀部等特征曲线均以8个特征采样点表示;

隐藏层包括若干隐藏节点及偏置量,具体包括:2个隐藏层,节点数量分别为57,57;

输出层包括由样本人体进行PCA操作得到的各特征向量所对应的特征值,具体为:1.对人体库中的样本人体进行PCA操作之后得到的特征向量和特征值, 2.按照特征值大小重新排列并取前14个特征向量,构建特征向量矩阵,3.各样本人体点云数据投影至特征向量矩阵上,求解对应的特征值。

S4、测量待测人体的特征参数,并利用简易测量服获取待测人体的特征曲线;

S401、制作能紧贴人体表面的简易测量服,利用简易测量服采集人体表面几何信息;

一维人体特征参数缺少人体表面几何信息,无法准确表达人体细节,因而需要通过简易测量服获取人体表面几何信息。图2为一种本发明所提及的简易测量服的一种示意版本,本发明所述的简易测量服包含但不限于:简易测量服为主要由三条柔带绕置于人体上所构成的网格,柔带为长度可变的无弹性软带,三条柔带分别水平绕置于胸部、腰部和臀部,柔带上沿长度方向等间隔设有标记点。

为提高简易测量服的可重用性,增加本发明所述的三维人体快速重建方法的适用范围,如S401所述,各测量带的空间位置及长度可调,目标人体需根据自身实际情况,调节各测量带的空间位置,以获取准确的人体特征曲线,保障重建精度。

S402、让待测人体穿着简易测量服,简易测量服上设有标记点,通过多相机从多视角同时拍摄采集,获得待测人体的各视角图像;

多相机同时采集数据,人体在旋转台上缓慢旋转一周,结合双目视觉或多目视觉的方式确定各个视角下简易测量服上采样点的空间位置。

S403、通过图像识别获得简易测量服上的标记点作为特征采样点,利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线。

人体是非刚性物体,在数据采集的过程中,难以保证完全静止,参照S403 所述方法采集各角度特征曲线无法构成闭环,对各特征曲线段进行拼接拟合优化。

S4031、首先针对每个视角的图像,构建以下能量方程,能量方程的表达式为:

其中,Pi表示经上述能量方程优化后的第i个特征采样点的位置,Pij表示第 i个特征采样点在第j个视角中的位置,若第j个视角中无法观测到第i个特征采样点,则令Pij=0;在实际数据采集的过程中,受到各种外界因素的干扰,同一特征采样点在不同视角下计算得到的空间位置存在差异,表示当前迭代状态下,第i个特征采样点的位置;n表示特征采样点的总数,m表示相机所拍摄视角的总数;ωij表示第j个视角下的特征采样点Pij的权重,若第j个视角图像中包含第i个特征采样点,则ωij=1/Dij,Dij表示第i个特征采样点和第j个视角图像中所有特征采样点的平均中心点之间的欧式距离;若第j个视角图像中不包含第i个采样点,则ωij=0;

采用非线性优化(NLOPT)方法不断迭代求解能量方程获得更新后的第i 个特征采样点位置Pi,若当前次计算获得的能量值E1与当前次前的第100次计算时的能量值E1之差小于等于当前次计算获得的能量值E1的1%,则停止计算;

S4032、以步骤S4031最终次计算获得的更新后的第i个特征采样点位置Pi在每个视角图像中连接各个特征采样点构成一条初始特征曲线;

S4033、针对各个视角图像中的初始特征曲线,构建以下约束方程:

其中,表示第k个特征采样点和第k+1个特征采样点之间的曲线的真实长度,由于柔带为无弹性的软带,柔带上的特征点等间隔均布,为已知量;Lk表示当前迭代状态下第k个特征采样点和第k+1个特征采样点之间的曲线的长度;表示第,K表示特征采样点的总数,即相机拍摄视角的总数;Pi表示经过约束方程优化后的第i个特征采样点位置,表示当前迭代状态下第i个特征采样点的位置,α表示位置约束权重;

采用非线性优化(NLOPT)方法不断迭代求解约束方程再获得更新后的第 i个特征采样点位置Pi,若当前次计算获得的约束值E2与当前次前的第100次计算时的约束值E2之差小于等于当前次计算获得的约束值E2的1%,则停止计算;

S4034、以步骤S4033最终次计算获得的更新后的第i个特征采样点位置Pi作为特征曲线中的特征采样点位置的最终位置,用多项式曲线连接特征采样点构成特征曲线。

S5、待测人体的特征参数和特征曲线输入到映射模型中获得待测人体在人体形状空间中的各特征向量所对应的特征值,利用特征向量以及对应的特征值还原重建得到高精度的三维人体模型。

结合步骤S4所获取的特征曲线及步骤S3中所建立的人体特征和人体形状空间之间的映射模型,以真实人体一维特征参数及步骤S4中获取的特征曲线作为输入,求解人体形状空间中特征向量所对应的特征值参数,通过相对低维的特征向量矩阵及其对应的特征值构建人体形状空间,表达三维人体模型。

如图5所示,图中可见采用本发明提出的方法重建得到的三维人体模型非常接近于高精度三维扫描仪扫描得到的三维人体模型,即本发明提出的方法具有较好的重建精度。

综上所述,本发明方法实施实际情况中,用户身穿简易测量服,在多相机前缓慢旋转一周,即可快速获取高精度的三维人体模型。只需要一件简易测量服和两个及以上普通相机即可,重建速度快,精度高,用户体验好,为产品试穿戴,虚拟试衣等实际应用场景提供了符合要求的三维人体模型。

以上所述,仅为本发明的具体实施方式,但本发明的实施方式并不受限于此,其他任何未背离本发明精神实质与原理的改变、修饰等置换方式,均在本发明的保护范围之内,具体以权利要求的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1