一种基于时序变化光场的轻量级动态人脸采集装置的制作方法

本发明涉及室内摄影装置领域，尤其涉及一种基于时序变化光场的轻量级动态人脸采集装置及方法。

背景技术：

1、在ar(增强显示)、vr(虚拟现实)、元宇宙、虚拟拍摄等领域都对人体的三维重建有大量需求，人脸尤其是重点。目前常用的方法是使用多视角相机拍摄，利用相机阵列来实现人脸的三维信息采集。除了三维信息之外，人脸的皮肤外观信息也是采集的对象。人脸的皮肤外观按照反射属性的不同分为漫反射和高光两种，漫反射代表人脸的肤色，属于低频信号；高光则体现人脸毛孔级别的细节，属于高频信号。如果只需要获取皮肤的漫反射数据，采集装置一般使用光源均匀、明亮的拍摄环境。如果要采集高频的高光数据，采集装置需要用时序变化的光源对人脸进行拍摄，这类装置的代表是以球面梯度偏振光为代表的lightstage系列。light stage需要搭建一个球形采集装置，其上分布数百个光源，拍摄人脸在4种不同模式的光照下的影响，再以光度立体技术提取人脸物理反射材质。然而扩展到动态领域，light stage装置因不同光照模式之间差异较大，不利于动态场景的时序关联。

2、因此，本领域的技术人员致力于开发一种轻量级的人脸采集，要求以尽量少的光照模式以适应动态场景，同时光照效果尽量均匀照亮人脸。降低硬件成本、搭建和维护难度。

技术实现思路

1、为克服上述问题，本发明提供一种基于时序变化光场的轻量级动态人脸采集装置，配有与相机同步的可变光场，设计对应的光照模式，做到：a.为了不影响动态的时序关联，光照要求尽量均匀；b.为了适配动态场景人脸的几何在不断变化的情况，还原材质所需的光照模式要尽量少。

2、本发明的第一个方面提供一种基于时序变化光场的轻量级动态人脸采集装置，包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；

3、所述相机阵列围绕正面人脸设置，相机阵列包括多行多列呈阵列排布的多个记录人脸不同角度的相机；相机阵列上的每行相机俯视呈呈半圆形阵列式分布，以确保相机覆盖人脸左右耳之间的范围；相机阵列上的多行相机沿垂直方向间隔分布，以完整覆盖人脸脖子、下巴到额头的范围；

4、所述时序可控的光场阵列围绕人脸设置，光场阵列包括沿垂直方向间隔设置的三层led面光源，从上至下依次称为上层led面光源、中间层led面光源和下层led面光源；所述中间层led面光源高度近似拍摄人脸的中心高度，上层led面光源和下层led面光源分别对准人脸的两个侧面和正面，上层led面光源和下层led面光源的高度与中间层led面光源保持一定距离差；

5、所述相机阵列和光场阵列分别与控制模块电连接连接，控制模块同步控制相机阵列和光场阵列，使得光场阵列的面光源支持至少与相机阵列的视频拍摄帧率达到一致的频率。

6、进一步，所述相机阵列包括四行沿垂直方向间隔分布的相机。

7、进一步，所述光场阵列与人脸的距离以及水平分布范围与相机阵列相同。

8、进一步，所述光场阵列包括光照模式一、光照模式二和光照模式三，光照模式一、光照模式二和光照模式三所提供的照明存在差异。

9、进一步，所述光照模式一、光照模式二和光照模式三在相机阵列拍摄时交替出现，以改变人脸高光的分布作为提取皮肤高光物理渲染材质的数据基础。

10、进一步，还包括用于支撑相机的支架、以及将相机固定在支架上的固定装置。

11、进一步，所述相机阵列中的相机数目、相对人脸位姿可调整。

12、进一步，所述光源阵列中的光源数目、相对位姿可调整。

13、本发明的第二个方面提供一种基于时序变化光场的轻量级动态人脸采集装置的人脸采集方法，包括以下步骤：

14、步骤一：调整人物姿态，确保头部在相机阵列中完全不出框；

15、步骤二：点击拍摄，相机阵列和光场同步开启；led面光源以相同的频率开启或关闭或变换强度，该时序变化的光场持续直到拍摄结束。

16、进一步，所述步骤二中，时序变化的光场，通过led面光源以相同的频率开启或关闭或变换强度，组成三种光照模式，具体包括：

17、(1)光照模式一：所有led面光源都开启，实现人脸的均匀光照。

18、(2)光照模式二：中间层led面光源开启，上层led面光源和下层led面光源在水平方向上交替开启或关闭，整体亮度与光照模式一一致。

19、(3)光照模式三：中间层led光源开启，上层led面光源和下层led面光源状态与光照模式二相反，整体亮度与光照模式一一致。

20、所述三种光照模式在拍摄过程中轮流交替出现，频率至少与相机视频拍摄帧率一致。

21、本发明的有益效果是：所需相机数量和光源数量较其他解决方案要少，是一种轻量级的解决方案；设计的光照模式可以做到不影响时序上的均匀光照，而仅仅对代表细节、高频信号的高光分量产生影响，做到以往需要大型昂贵的light stage设备才能完成的效果；同时仅需三个光照模式就能实现高光分类的提取，时间间隔少，适合人脸动态场景。

技术特征：

1.一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；

2.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述相机阵列包括四行沿垂直方向间隔分布的相机。

3.如权利要求2所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述光场阵列与人脸的距离以及水平分布范围与相机阵列相同。

4.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述光场阵列包括光照模式一、光照模式二和光照模式三，光照模式一、光照模式二和光照模式三所提供的照明存在差异。

5.如权利要求4所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述光照模式一、光照模式二和光照模式三在相机阵列拍摄时交替出现，以改变人脸高光的分布作为提取皮肤高光物理渲染材质的数据基础。

6.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：还包括用于支撑相机的支架、以及将相机固定在支架上的固定装置。

7.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述相机阵列中的相机数目、相对人脸位姿可调整。

8.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述光源阵列中的光源数目、相对位姿可调整。

9.基于权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置的人脸采集方法，其特征在于，包括以下步骤：

10.如权利要求9所述的人脸采集方法，其特征在于：所述步骤二中，时序变化的光场通过led面光源以相同的频率开启或关闭或变换强度，组成三种光照模式，具体包括：

技术总结
一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；相机阵列与光场围绕正面人脸分布，俯视呈现的形状近似半圆，在垂直方向为多层分布。相机阵列、LED光源与控制模块连接，可以同步控制相机拍摄与光源开关，在人脸动态采集过程中，形成时序变化的光场。本发明还提供一种基于时序变化光场的轻量级动态人脸采集装置的采集方法。本发明通过多层LED光场阵列，设计了一套对皮肤漫反射分量均匀，对高光分量有差异的光照模式，实现对动态场景友好的时序变化光场，确保几何和人脸物理材质动态提取的效果。本装置以相对低的硬件成本做到高质量人脸几何和材质的重建。

技术研发人员：王习之,黄治,李萌坚,耿卫东
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/1/13