基于神经网络的三维物体法向量、几何及材质获取方法与流程

文档序号:19421695发布日期:2019-12-14 01:34阅读:来源:国知局

技术特征:

1.一种基于神经网络的三维物体法向量获取方法,其特征在于,包括以下步骤:

(1)生成训练数据:获取采集设备的参数,包括光源到采集空间原点的距离及角度、光源的特性曲线、摄像机到采集空间原点的距离及角度、摄像机的内参和外参;利用这些参数生成模拟实际摄像机的采集结果,作为训练数据。

(2)根据步骤(1)得到的训练数据,训练神经网络,神经网络的特征如下:

a.神经网络的输入为一个lumitexel,lumitexel描述了采样点对来自每个光源的入射光沿着某个观察方向的反射光强;

b.神经网络的输出和回归目标为所输入lumitexel对应的法向量;

c.神经网络的第一层包括线性全连接层,线性全连接层的参数矩阵通过以下公式训练得到:

wl=fw(wraw)

其中wraw为待训练参数;wl为光照矩阵,大小为n×m,n为lumitexel的采样精度,m为光照图案个数;fw为一个映射,用于对wraw进行变换,使得生成的光照矩阵能够对应到采集设备可能的发光强度;

d.第二层及之后各层为非线性映射网络,其中最后一层的输出向量长度为3;

训练结束后,将第一层线性全连接层的光照矩阵取出。

(3)使采集设备按照步骤(2)取出的光照矩阵生成光照图案,依次对目标三维物体进行照射,获得一组照片r1,r2…,rm;依次遍历照片的像素和通道,每次分别从r1,r2…,rm中取出第i行、第j列、第k通道的像素值,组成向量a=a1,a2,…,am,将a作为神经网络的第一层线性全连接层的输出向量,计算得到最后一层的输出向量,所得即为该像素对应的三维物体表面的法向量;遍历所有的像素,得到三维物体表面法向量特征图。

2.根据权利要求1所述的基于神经网络的三维物体法向量获取方法,其特征在于,所述步骤(1)中,生成模拟实际摄像机的采集结果的具体方法为:随机在目标三维物体可能出现的采集空间中选择一个采样点,并随机采样该点的材质参数,使用渲染模型生成lumitexel。

3.根据权利要求2所述的基于神经网络的三维物体法向量获取方法,其特征在于,所述渲染模型采用ggx模型,生成公式如下:

其中fr(ωi;ωo,n,t,p)为双向反射分布函数,ωo为出射方向,ωi为入射方向,n表示世界坐标系下的法向量,t表示世界坐标系下采样点局部坐标系的x轴方向,p为材质参数向量,包括括αx,αy,ρd,ρs,其中αx与αy表示粗糙度系数,ρd表示漫反射率,ρs表示镜面反射率;ωh为半路向量,dggx为微分面分布项,f为菲涅尔项,gggx表示阴影系数函数。

4.根据权利要求1所述的基于神经网络的三维物体法向量获取方法,其特征在于,所述步骤(2)中,映射fw选用归一化函数和翻转函数的组合,要求m为偶数,wraw的大小为可将wraw看作个列向量的组合,表示如下:

fw对wraw的每一列进行归一化,使之为单位向量,后翻转每一列的负数,组成新的向量,公式表述如下:

fw(wraw)=fflip(fnormalize(wraw))

wnormalized可看作个列向量,表示如下:

5.根据权利要求1所述的基于神经网络的三维物体法向量获取方法,其特征在于,所述步骤(2)中,神经网络的最后一层之后还可以接一个归一化层,用于对输出向量进行归一化,使之为单位向量。

6.一种基于神经网络获得三维物体材质的方法,其特征在于,该方法在权利要求书1训练神经网络时加入对材质特征信息的预测,包括以下步骤:

(1)对于一个采样点,采用边长为d,中心在采集空间原点的立方体将其包围,每个面上均匀采样若干点作为虚拟光源。

(2)生成材质特征向量,公式如下:

v(i,p)=fnear(xl,xp,ωi,np,nl)i(l)fr(ωi;ωo,np,t,p)

其中i表示每个虚拟光源l的发光信息,包括:虚拟光源l的空间位置xl、虚拟光源l的法向量nl、虚拟光源l的发光强度i(l),p包含采样点的参数信息,包括:采样点的空间位置xp、世界坐标系下的法向量np、世界坐标系下局部坐标系的x轴方向t采样点的材质参数p,p包括αx,αy,ρd,ρs,其中αx,αy表示粗糙度系数,ρd表示漫反射率,ρs表示镜面反射率;ωi表示世界坐标系下的入射向量,ωo表示世界坐标系下的出射向量;fr(ωi;ωo,np,t,p)为双向反射分布函数,fnear(xl,xp,ωi,np,nl)为近光因素,公式如下:

(3)将采样点的镜面反射率设为0,生成漫反射特征向量vd。

(4)将漫反射率设为0,生成镜面反射特征向量vs。

(5)神经网络的输出增加向量v′d,v′s,p′,其中v′d与vd长度相同,v′s与vs长度相同,p′长度为3,向量v′d,v′s,p′分别为对消去近光因素后的漫反射特征向量vd、消去近光因素后的镜面反射向量vs、空间位置xp的预测。

(6)材质特征部分的损失函数表达如下:

lossdiffuse=||v′dfnear(xl,p′,ω′i,n′,nl)-vd||

lossspecular=||v′sfnear(xl,p′,ω′i,n′,nl)-vs||

训练神经网络时,加入漫反射损失函数lossdiffuse和镜面反射损失函数lossspecular。

在实际使用时,获得法向量的同时,即可获得材质特征信息。

(7)根据材质特征信息获取三维物体材质贴图。

7.根据权利要求6所述的基于神经网络获得三维物体材质的方法,其特征在于,所述步骤(7)中,根据材质特征信息获取三维物体材质贴图的过程如下:

(7.1)通过摄像机对目标三维物体采样m个角度后,将采样得到的照片作为输入,获得三维网格;对于每一个顶点,选择使ni·ωo最小且该点可见的采样角度ω,ni为三维网格顶点法向量,ωo表示世界坐标系下的出射向量。

(7.2)将三维物体的三维网格作为输入,得到材质贴图到网格的映射关系图。

(7.3)将映射关系图上的每个有效像素映射到采样角度ω;结合使用神经网络获得的该点的材质特征vi拟合材质参数;遍历所有映射关系图上的有效像素后,即得到最终的材质贴图。

8.根据权利要求7所述的基于神经网络获得三维物体材质的方法,其特征在于,所述步骤(7.3)中,使用l-bfgs-b方法来拟合材质参数,表达如下:

minimize(||vi-nn[fr(ωi;ωo,n′,t,p′)]||)

其中p′和t为拟合量,p′为材质参数向量,t表示世界坐标系下采样点局部坐标系的x轴方向,n′为神经网络预测的法向量,nn表示神经网络的映射。

9.一种使用法向量优化三维网格的方法,其特征在于,包括以下步骤:

(1)通过摄像机对目标三维物体采样m个角度,每个角度下使用权利要求1所述方法训练得到的光照图案进行照射,将采样得到的照片作为输入,获得初始三维点云和三维网格;三维网格的每个顶点上有初始的法向量ni。

(2)对步骤(1)获取的三维网格进行重新网格化(remesh)。

(3)对于每一个顶点,选择使ni·ωo最小且该点可见的采样角度ω,在该采样角度下通过权利要求1所述方法得到法向量预测值n′i,作为该点的法向量ni。

(4)将当前网格中的每个顶点位置pi变换到新位置p′i而得到新网格,该过程包括对法向量损失函数lnormal和顶点位置损失函数lppsition的优化;结合lnormal和lposition得到联合损失函数lopt,并使用最小二乘法优化lopt。

(5)返回到步骤(3),直到lopt收敛,完成三维网格的优化,并将该三维网格作为最终的几何模型。

10.根据权利要求9所述的使用法向量优化三维网格的方法,其特征在于,所述步骤(4)中,

法向量损失函数lnormal:将多边形{e′0,e′1,…,e′k}作为切平面的近似,k大于2,其中e′j为多边形的第j条边,该多边形由以p′i为中心并与其邻接的顶点所构成,损失函数lnormal的表达如下:

n为三维网格顶点的数量;

顶点位置损失函数lposition:

其中i为单位矩阵,α和β均为预先设置的参数α,β∈[0,+∞),通过调节α和β使得新位置p′i对应的联合损失函数lopt达到最优;

联合损失函数lopt:

lopt=λlposition+(1-λ)lnormal

其中λ∈[0,1]用于控制两种损失函数的权重。


技术总结
本发明公开了一种基于神经网络的三维物体法向量、几何及材质获取方法,本发明在“对物体主动照射若干特定的图案,同时采集照片,通过对所得照片计算来获得物体法向量”的思想上,给出了一个结合神经网络的获取方法。进一步地,该方法将获得的法向量用于优化物体的模型。该方法还可在获取法向量的同时,获取材质特征信息。最终联合得到高质量的几何及材质采集结果。使用该方法得到的光照图案数量少,所获取的法向量精度高且该方法不限于某一特定的采集设备。

技术研发人员:吴鸿智;周昆;康凯彰
受保护的技术使用者:浙江大学;杭州相芯科技有限公司
技术研发日:2019.09.03
技术公布日:2019.12.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1