一种人脸3D建模方法、装置、设备及存储介质与流程

一种人脸3d建模方法、装置、设备及存储介质
技术领域
1.本发明涉及3d建模技术领域，具体是涉及一种人脸3d建模方法、装置、设备及存储介质。


背景技术：

2.3d人脸建模的设备方案可以分为2d模拟仿真、3d结构光/tof+2d摄像头搭配等实现人脸3d建模。纯2d摄像头方案的设备虽然可以通过先验知识进行2d模型转换，但存在精度不良的严重缺陷。
3.而现有的3d结构光/tof+2d摄像头方案设备，存在两个极端，一个是设备大型化，通过分布在人脸周围的多个摄像头来同步抓取人脸图像数据，精度较高，但是成本较高，建模时间长，无法实现大批量生产。一个是低成本，但是因为摄像头固定，为了抓取完整数据，需要人按照指示左右转动，也就是转头来实现完整数据抓取，受限于人脸转动过程中的各种不可控因素，无法实现高精度人脸3d数据还原，客户的认可度不高。
4.综上所述，现有技术中的人脸3d建模还原度较低。
5.因此，现有技术还有待改进和提高。


技术实现要素：

6.为解决上述技术问题，本发明提供了一种人脸3d建模方法、装置、设备及存储介质，解决了现有技术中的人脸3d建模还原度较低的问题。
7.为实现上述目的，本发明采用了以下技术方案：
8.第一方面，本发明提供一种人脸3d建模方法，其中，所述建模方法包括：
9.规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户；
10.控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像；
11.依据若干所述人脸图像，构建3d人脸模型。
12.在一种实现方式中，所述规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户，包括：
13.采集所述被采样用户在被采样之前的历史移动轨迹；
14.依据所述历史移动轨迹，得到所述被采样用户的预测移动轨迹；
15.依据所述被采样用户的预测移动轨迹，规划图像采集装置的预设轨迹。
16.在一种实现方式中，所述规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户，包括：
17.围绕所述被采样用户确定预估轨迹，所述预估轨迹为以所述被采样用户为中心的环形；
18.在所述预估轨迹上标记第一点，所述第一点沿所述预估轨迹的径向指向所述被采样用户的正中央；
19.在所述第一点的两侧标记第二点和第三点，所述第二点和所述被采样用户的连线与所述第三点和所述被采样用户的连线的夹角大于九十度；
20.依据所述第一点、所述第二点和所述第三点绘制环形，规划图像采集装置的预设轨迹。
21.在一种实现方式中，所述控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像，包括：
22.监控所述被采样用户的实时位置；
23.计算所述实时位置与初始的所述图像采集装置之间的实时距离，初始的所述图像采集装置位于所述预设轨迹的第一点；
24.当所述实时距离小于预设距离时，控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像。
25.在一种实现方式中，所述当所述实时距离小于预设距离时，控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像，包括:
26.当所述实时距离小于所述预设距离中的所述图像采集装置的聚焦距离时，控制所述图像采集装置从所述预设轨迹的所述第一点开始移动，依次反复移动至所述第二点、所述第一点、所述第三点；
27.控制反复移动中的所述图像采集装置在所述第一点的位置处、所述第二点的位置处、所述第三点的位置处分别采集所述被采样用户的人脸图像，得到所述被采样用户的各个角度的若干人脸图像。
28.在一种实现方式中，所述依据若干所述人脸图像，构建3d人脸模型，包括：
29.去除所述图像采集装置位于所述预设轨迹上的同一个位置处采集的重叠人脸图像，得到预处理之后的所述人脸图像；
30.依据预处理之后的所述人脸图像，得到所述图像采集装置位于所述第一点、所述第二点和所述第三点采集的图像，分别记为第一图像、第二图像和第三图像；
31.统计所述第二图像和所述第三图像的各个像素点的灰度值；
32.去除灰度值大于灰度阈值的像素点，分别得到与所述第二图像相对应的第二分割图像和与所述第三图像相对应的第三分割图像；
33.依据所述第一图像、所述第二分割图像、所述第三分割图像，构建3d人脸模型。
34.在一种实现方式中，所述建模方法还包括建模设备，所述建模设备包括如下组成部分：
35.距离传感器，设置于所述图像采集装置上；
36.主控单元，输入端与所述距离传感器的输出端电连接；
37.驱动单元，输入端与所述主控单元的输出端电连接，与所述图像采集装置机械连接。
38.第二方面，本发明实施例还提供一种人脸3d建模装置，其中，所述装置包括如下组成部分：
39.轨迹规划模块，用于规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户；
40.控制模块，用于控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户
的各个角度的若干人脸图像；
41.建模模块，用于依据若干所述人脸图像，构建3d人脸模型。
42.第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的人脸3d建模程序，所述处理器执行所述人脸3d建模程序时，实现上述所述的人脸3d建模方法的步骤。
43.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸3d建模程序，所述人脸3d建模程序被处理器执行时，实现上述所述的人脸3d建模方法的步骤。
44.有益效果：本发明首先建立图像采集装置的预设轨迹，由于该预设轨迹是围绕被采样用户设置的，因此可以控制图像采集装置沿着预设轨迹围绕被采样用户移动，从而采集其各个角度的人脸图像，只有采集到各个角度的人脸图像，才能完整地复原被采样用户的3d人脸模型。从上述分析可知，本发明是图像采集装置围绕被采样用户移动而非被采样用户转动以使图像采集装置获取其各个角度的图像。本发明采用前者，一方面通过控制图像采集装置可以精准获取到各个角度的人脸图像，另一方面能够减少被采样用户的移动频率，从而增加其体验感。
附图说明
45.图1为本发明的整体流程图；
46.图2为本发明实施例中的预设轨迹覆盖范围示意图；
47.图3为本发明实施例中的预设轨迹路径示意图；
48.图4为本发明实施例中的建模设备系统图；
49.图5为本发明实施例中的3d建模流程图；
50.图6为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
51.以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.经研究发现，3d人脸建模的设备方案可以分为2d模拟仿真、3d结构光/tof+2d摄像头搭配等实现人脸3d建模。纯2d摄像头方案的设备虽然可以通过先验知识进行2d模型转换，存在精度不良的严重缺陷。而现有的3d结构光/tof+2d摄像头方案设备，存在两个极端，一个是设备大型化，通过分布在人脸周围的多个摄像头来同步抓取人脸图像数据，精度较高，但是成本较高，建模时间长，无法实现大批量生产。一个是低成本，但是因为摄像头固定，为了抓取完整数据，需要人按照指示左右转动，也就是转头来实现完整数据抓取，受限于人脸转动过程中的各种不可控因素，无法实现高精度人脸3d数据还原，客户的认可度不高。
53.为解决上述技术问题，本发明提供了一种人脸3d建模方法、装置、设备及存储介质，解决了现有技术中的人脸3d建模还原度较低的问题。具体实施时，首先规划图像采集装置的预设轨迹，然后控制所述图像采集装置沿预设轨迹移动以实现图像采集装置围绕被采
样用户移动的目的，从而采集被采样用户的各个角度的若干人脸图像；最后依据若干所述人脸图像，构建3d人脸模型。
54.举例说明，比如构建3d人脸模型需要用户的五个不同角度的人脸图像，因此本实施例就先规划摄像头(图像采集装置)的预设轨迹，只要摄像头围绕该预设轨迹移动，就可以采集到用户的五个不同角度的人脸图像。利用这五个不同角度的人脸图像就可以还原用户的3d人脸模型。由于本实施例不需要用户移动，而只需要通过精准控制摄像头的移动就可以采集到指定角度的人脸图像，从而提高了采集到的人脸图像的精准度，进而提高了3d模型的还原度。
55.示例性方法
56.本实施例的人脸3d建模方法可应用于终端设备中，所述终端设备可为具有图像采集功能的终端产品，比如电脑、手机等。在本实施例中，如图1中所示，所述人脸3d建模方法具体包括如下步骤：
57.s100，规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户。
58.本实施例图像采集装置为摄像头，首先规划摄像头的预设轨迹，之后就控制摄像头沿着预设轨迹移动以采集用户的人脸图像。本实施例中规划预设轨迹包括两种方式，第一种是被采样用户是移动的，根据用户的历史移动轨迹去预测其可能的移动轨迹，再根据用户的预测轨迹去规划摄像头的预设轨迹，从而使得摄像头可以围绕用户移动以采集用户各个角度的人脸图像。此种情况可以适应于移动中的用户。第二种是针对移动范围很小或者几乎不移动的用户，只要根据用户的位置规划摄像头的预设范围即可，此种情况既可以采集到用户的各个角度的人脸图像，又可以因采集的位置数据较少而降低计算量。当步骤s100为第一种情况时，步骤s100包括如下的步骤s101、s102、s103:
59.s101，采集所述被采样用户在被采样之前的历史移动轨迹。
60.s102，依据所述历史移动轨迹，得到所述被采样用户的预测移动轨迹。
61.本实施例中根据用户的历史移动去预测用户的未来移动轨迹属于现有技术。
62.s103，依据所述被采样用户的预测移动轨迹，规划图像采集装置的预设轨迹。
63.当步骤s100为第二种情况时，步骤s100包括如下的步骤s104、s105、s106、s107：
64.s104，围绕所述被采样用户确定预估轨迹，所述预估轨迹为以所述被采样用户为中心的环形。
65.本实施例先围绕被采样用户确定一个大概的预估轨迹，该预估轨迹的中心是被采样用户。之所以先建立预估轨迹是为了便于逐步得到精准的预设轨迹，以便于该预设轨迹能够覆盖被采样用户脸部的各个位置。
66.s105，在所述预估轨迹上标记第一点，所述第一点沿所述预估轨迹的径向指向所述被采样用户的正中央。
67.第一点就是保证摄像头处在该位置点处时可以采集到如图2所示的用户脸部中部(正中央)。
68.s106，在所述第一点的两侧标记第二点和第三点，所述第二点和所述被采样用户的连线与所述第三点和所述被采样用户的连线的夹角大于九十度。
69.第二点和第三点分别为图2中的左和右。大于九十度是为了保证摄像头在该预设轨迹上移动可以覆盖人脸的全部范围。
70.s107，依据所述第一点、所述第二点和所述第三点绘制环形，规划图像采集装置的预设轨迹。
71.本实施例通过三点绘制环形属于现有技术。
72.s200，控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像。
73.本实施例中，预设轨迹上除了设置有上述的第一点、第二点和第三点之外，还设置有如图3所示的各个点，其中图3中的“1”为第一点、“2”位第二点、“4”为第四点。在一个拍摄周期内图像采集装置按照1-2-3-2-1-4-5-4-1的规定路径移动拍摄，在按照既定弧形轨道移动的过程中每个固定位置均拍摄3张以上2d图像以及点云照片，如图中所示五个位置(在100度范围内均等分)，一共拍摄十五张，确保人脸数据的完整性，同理不限于五个位置，也不限于每个位置拍摄三张照片，需要根据系统拍摄能力以及图像处理能力综合评估。基于上述原理，步骤s200包括如下的步骤s201、s202、s203、s204：
74.s201，监控所述被采样用户的实时位置。
75.s202，计算所述实时位置与初始的所述图像采集装置之间的实时距离，初始的所述图像采集装置位于所述预设轨迹的第一点。
76.s203，当所述实时距离小于所述预设距离中的所述图像采集装置的聚焦距离时，控制所述图像采集装置从所述预设轨迹的所述第一点开始移动，依次反复移动至所述第二点、所述第一点、所述第三点。
77.本实施例，图像采集装置在不采集图像之前是被放置在第一点(图3中的“1”处)位置处的，当图像采集装置上的距离传感器监控到被采样用户距离其小于450mm时，图像采集装置就开始拍摄图像，且开始沿着图3中的1-2-3-2-1-4-5-4-1路径移动。
78.s204，控制反复移动中的所述图像采集装置在所述第一点的位置处、所述第二点的位置处、所述第三点的位置处分别采集所述被采样用户的人脸图像，得到所述被采样用户的各个角度的若干人脸图像。
79.本实施例的图像采集装置每移动至一个位置点处时就停下来采集人脸图像，即本实施例中的图像采集装置是在静止状态下采集图像的，能够保证采集到的图像足够清晰。
80.s300，依据若干所述人脸图像，构建3d人脸模型。
81.本实施例先对采集到的若干人脸图像进行预处理，之后再构建3d人脸模型，其中构建3d人脸模型属于现有技术。步骤s300包括如下的步骤：
82.s301，去除所述图像采集装置位于所述预设轨迹上的同一个位置处采集的重叠人脸图像，得到预处理之后的所述人脸图像。
83.去除重叠的图像可以降低计算量，从而提高了建模速度。
84.s302，依据预处理之后的所述人脸图像，得到所述图像采集装置位于所述第一点、所述第二点和所述第三点采集的图像，分别记为第一图像、第二图像和第三图像。
85.s303，统计所述第二图像和所述第三图像的各个像素点的灰度值。
86.s304，去除灰度值大于灰度阈值的像素点，分别得到与所述第二图像相对应的第二分割图像和与所述第三图像相对应的第三分割图像。
87.由图3可知，第二点(图3中的“2”)以及第三点(图3中的“4”)采集的图像属于人脸侧面图像，而人脸侧面图像会包括头发，这部分是不需要建模的，因此需要去除这部分图
像，由于黑色的头发灰度值很大，本实施例将灰度阈值设置为256以去除黑色头发。
88.s305，依据所述第一图像、所述第二分割图像、所述第三分割图像，构建3d人脸模型。
89.第一图像、所述第二分割图像和第三分割图像覆盖了人脸的全部，因此可以高度还原出3d人脸模型。
90.在一个实施例中还提供一种建模设备，如图4所示，建模设备包括如下组成部分：
91.距离传感器，设置于所述图像采集装置上。
92.主控单元(主控soc系统单元)，输入端与所述距离传感器的输出端电连接。
93.驱动单元，输入端与所述主控单元的输出端电连接，与所述图像采集装置机械连接。
94.屏显示单元，输入端与主控单元的输出端电连接。
95.以图5为例说明本发明的3d建模的详细过程：
96.设备弧形轨道范围为120度(环形的预设轨迹的弧度为120度)以确保拍摄点3和5位置角度在100度(即图3中“3”和“5”所对应的弧度为100度)，同时3和5左右距离700mm(弧长)，人脸距离中心拍摄1位置距离在450mm。也就是人脸数据采样单元整体需要在一个拍摄周期内曲线行程路径按照1-2-3-2-1-4-5-4-1的规定路径移动拍摄，在按照既定弧形轨道移动的过程中每个固定位置均拍摄3张以上2d图像以及点云照片，如图中所示5个位置(在100度范围内均等分)，一共拍摄15张，确保人脸数据的完整性，同理不限于5个位置，也不限于每个位置拍摄三张照片，需要根据系统拍摄能力以及图像处理能力综合评估。
97.综上，本发明首先建立图像采集装置的预设轨迹，由于该预设轨迹是围绕被采样用户设置的，因此可以控制图像采集装置沿着预设轨迹围绕被采样用户移动，从而采集其各个角度的人脸图像，只有采集到各个角度的人脸图像，才能完整地复原被采样用户的3d人脸模型。从上述分析可知，本发明是图像采集装置围绕被采样用户移动而非被采样用户转动以使图像采集装置获取其各个角度的图像。本发明采用前者，一方面通过控制图像采集装置可以精准获取到各个角度的人脸图像，另一方面能够减少被采样用户的移动频率，从而增加其体验感。
98.另外，本发明的设计无需用户进行摇头等操作，通过电机(驱动单元)控制，移动2d/3d摄像头模组来确保采样以及建模的精度，极大的提高用户体验。
99.示例性装置
100.本实施例还提供一种人脸3d建模装置，所述装置包括如下组成部分：
101.轨迹规划模块，用于规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户；
102.控制模块，用于控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像；
103.建模模块，用于依据若干所述人脸图像，构建3d人脸模型
104.基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图6所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性
存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种3d建模方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
105.本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
106.在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的3d建模程序，处理器执行3d建模程序时，实现如下操作指令：
107.规划图像采集装置的预设轨迹，所述预设轨迹围绕被采样用户；
108.控制所述图像采集装置沿所述预设轨迹移动采集所述被采样用户的各个角度的若干人脸图像；
109.依据若干所述人脸图像，构建3d人脸模型。
110.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
111.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。