一种基于人工智能的头发3D建模方法及系统与流程

一种基于人工智能的头发3d建模方法及系统
技术领域
1.本发明涉及建模技术领域，具体而言，涉及一种基于人工智能的头发3d建模方法及系统。


背景技术：

2.人的头发在非真实渲染、人物肖像和数字人物动画中是非常重要的部分，头发的创建在虚拟形象(avatar)和娱乐应用中显著增强了虚拟角色的真实感。因此，针对3d角色的头发建模是3d计算机图形和计算机视觉领域的关键问题。目前，人们可以借助于3d摄像机拍摄的图像进行手动建模，但是这种方式需要通过人工手动建模且需要建模的头发细节很多，因而不仅耗费了大量的人力和时间，而且所构建的头发3d模型与真实头发之间差异太大，不够逼真。由此可见，在现有技术中，无法基于普通拍摄装置捕获的图像对人类的头发进行真实有效且逼真的3d建模，以使3d建模后的人像更加逼真。


技术实现要素：

3.本发明的目的在于提供一种基于人工智能的头发3d建模方法及系统，用以改善现有技术中无法基于普通拍摄装置捕获的图像对人类的头发进行真实有效且逼真的3d建模，以使3d建模后的人像更加逼真的问题。
4.本发明的实施例是这样实现的：
5.第一方面，本技术实施例提供一种基于人工智能的头发3d建模方法，其包括如下步骤：
6.s110：利用摄像头多视角拍摄目标对象的头部，获得多个头型图像和多个头发2d图像；
7.s120：根据多个头型图像，按照预设比例进行三维重构，得到头型模型；
8.s130：对任一头发2d图像进行预处理，以确定闭合等值线，根据闭合等值线对该头发2d图像进行体积重建，得到体积重建结果；
9.s140：提取该头发2d图像的图像特征，并根据图像特征，利用二维平行轮廓线对该头发2d图像进行表面重建，以得到表面重建结果；
10.s150：根据体积重建结果和表面重建结果对该头发2d图像进行三维重建，以得到三维头发图像，并按照预设比例对三维头发图像进行调整；
11.s160：根据该头发2d图像的位置信息，从头型模型的外表面截取对应位置的模型碎片，并将调整后的三维头发图像拼接至模型碎片上，生成头发子模型，重复执行s130至s160，直至得到各个头发2d图像相对应的头发子模型；
12.s170：拼接所有头发子模型，得到头发3d模型。
13.在本发明的一些实施例中，上述s120的步骤包括：
14.将所有头型图像按照两个一组进行配对，得到多个图像对；
15.采用共轭点对匹配算法对多个图像对进行匹配，提取得到多个匹配点对；
16.将所有匹配点对输入至训练好的神经网络模型中，得到头型三维坐标数据；
17.根据头型三维坐标数据构建头型模型，并按照预设比例对构建的头型模型进行调整。
18.在本发明的一些实施例中，上述根据头型三维坐标数据构建头型模型的步骤之后，该方法还包括：
19.采用脸部识别技术分析所有头型图像，得到头部特征；
20.根据头部特征，对头型模型进行特征调整。
21.在本发明的一些实施例中，上述对任一头发2d图像进行预处理，以确定闭合等值线的步骤包括：
22.对头发2d图像依次进行灰度拉伸处理、归一化处理以及滤波处理后，再对头发2d图像进行阈值划分；
23.提取阈值划分后的头发2d图像的闭合等值线。
24.第二方面，本技术实施例提供一种基于人工智能的头发3d建模系统，其包括：
25.拍摄模块，用于利用摄像头多视角拍摄目标对象的头部，获得多个头型图像和多个头发2d图像；
26.三维重构模块，用于根据多个头型图像，按照预设比例进行三维重构，得到头型模型；
27.体积重建模块，用于对任一头发2d图像进行预处理，以确定闭合等值线，根据闭合等值线对该头发2d图像进行体积重建，得到体积重建结果；
28.表面重建模块，用于提取该头发2d图像的图像特征，并根据图像特征，利用二维平行轮廓线对该头发2d图像进行表面重建，以得到表面重建结果；
29.三维头发图像得到模块，用于根据体积重建结果和表面重建结果对该头发2d图像进行三维重建，以得到三维头发图像，并按照预设比例对三维头发图像进行调整；
30.头发子模型生成模块，用于根据该头发2d图像的位置信息，从头型模型的外表面截取对应位置的模型碎片，并将调整后的三维头发图像拼接至模型碎片上，生成头发子模型，重复执行体积重建模块至头发子模型生成模块，直至得到各个头发2d图像相对应的头发子模型；
31.拼接模块，用于拼接所有头发子模型，得到头发3d模型。
32.第三方面，本技术实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
33.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
34.相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
35.本发明提出了一种基于人工智能的头发3d建模方法及系统，其包括如下步骤：s110：利用摄像头多视角拍摄目标对象的头部，获得多个头型图像和多个头发2d图像。s120：根据多个头型图像，按照预设比例进行三维重构，得到头型模型。s130：对任一头发2d图像进行预处理，以确定闭合等值线，根据闭合等值线对该头发2d图像进行体积重建，得到体积重建结果。通过闭合等值线可以准确反映头发2d图像的体型特征，从而根据闭合等值线对该头发2d图像进行体积重建，可以得到体积重建结果，根据体积重建结果可以反映头
发2d图像的体型。s140：提取该头发2d图像的图像特征，并根据图像特征，利用二维平行轮廓线对该头发2d图像进行表面重建，以得到表面重建结果。s150：根据体积重建结果和表面重建结果对该头发2d图像进行三维重建，以得到三维头发图像，并按照预设比例对三维头发图像进行调整。由于体积重建结果可以准确反映目标部位(例如头发)的体型，表面重建结果可以准确反映目标部位(例如头发)的细节特征点，则保证了构建的三维头发图像的准确性，也就保证了该方法及系统所构建的三维头发图像的逼真感。最后按照预设比例对三维头发图像进行调整，以使三维头发图像与头型模型的比例大小一致。s160：根据该头发2d图像的位置信息，从头型模型的外表面截取对应位置的模型碎片，并将调整后的三维头发图像拼接至模型碎片上，生成头发子模型，重复执行s130至s160，直至得到各个头发2d图像相对应的头发子模型。s170：拼接所有头发子模型，得到头发3d模型。从而实现了基于普通拍摄装置捕获的图像对人类的头发进行真实有效且逼真的3d建模，以使3d建模后的人像更加逼真的目的。而且该方法及系统无需通过人工手动建模，节省了大量的人力和时间。
附图说明
36.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
37.图1为本发明实施例提供的一种基于人工智能的头发3d建模方法的流程图；
38.图2为本发明实施例提供的一种s120的流程图；
39.图3为本发明实施例提供的又一种基于人工智能的头发3d建模方法的流程图；
40.图4为本发明实施例提供的一种基于人工智能的头发3d建模系统的结构框图；
41.图5为本发明实施例提供的一种电子设备的示意性结构框图。
42.图标：110-拍摄模块；120-三维重构模块；130-体积重建模块；140-表面重建模块；150-三维头发图像得到模块；160-头发子模型生成模块；170-拼接模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
43.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
44.实施例
45.请参照图1，图1所示为本发明实施例提供的一种基于人工智能的头发3d建模方法的流程图。本技术实施例提供一种基于人工智能的头发3d建模方法，其包括如下步骤：
46.s110：利用摄像头多视角拍摄目标对象的头部，获得多个头型图像和多个头发2d图像；
47.具体的，可以利用普通数码相机或者红外摄像头对目标对象的头部进行多角度拍摄，以得到多张头型图像和多张头发2d图像。
48.s120：根据多个头型图像，按照预设比例进行三维重构，得到头型模型；
49.请参照图2，图2所示为本发明实施例提供的一种s120的流程图。在本实施例的一些实施方式中，上述s120的步骤包括：将所有头型图像按照两个一组进行配对，得到多个图像对。采用共轭点对匹配算法对多个图像对进行匹配，提取得到多个匹配点对。将所有匹配点对输入至训练好的神经网络模型中，得到头型三维坐标数据。根据头型三维坐标数据构建头型模型，并按照预设比例对构建的头型模型进行调整。
50.示例性的，当目标对象位于拍摄区域时，首先在当前位置对目标对象的头部进行拍摄得到一张头型图像，然后在另一个角度再对目标对象的头部进行拍摄得到另一张头型图像，这两幅图像构成一图像对。通过共轭点对匹配算法对多个图像对进行匹配获得一系列匹配点对后，利用训练好的神经网络模型根据所有匹配点对恢复出头型模型表面点的头型三维坐标数据。通过头型三维坐标数据可以反映出头型的真实比例，从而根据头型三维坐标数据即可构建出头型模型，并按照预设比例对构建的头型模型进行调整，以得到方便用户观看的比例大小。
51.s130：对任一头发2d图像进行预处理，以确定闭合等值线，根据闭合等值线对该头发2d图像进行体积重建，得到体积重建结果；
52.在本实施例的一些实施方式中，上述对任一头发2d图像进行预处理，以确定闭合等值线的步骤包括：对头发2d图像依次进行灰度拉伸处理、归一化处理以及滤波处理后，再对头发2d图像进行阈值划分。提取阈值划分后的头发2d图像的闭合等值线。具体的，通过灰度拉伸处理，可以提高头发2d图像处理时灰度级的动态范围。当头发2d图像进行灰度拉伸后，可能会生成多种副本图像。将副本图像、灰度拉伸后的头发2d图像经过归一化处理后就可以得到相同形式的标准图像，该标准图像对平移、旋转、缩放等变换具有不变特性。上述滤波处理可以对头发2d图像中的图像噪声进行抑制，以使头发2d图像更加清楚。进而对头发2d图像进行阈值划分后，可以提取到头发2d图像的闭合等值线。通过闭合等值线可以准确反映头发2d图像的体型特征。从而根据闭合等值线对该头发2d图像进行体积重建，可以得到体积重建结果，根据体积重建结果可以反映头发2d图像的体型。
53.s140：提取该头发2d图像的图像特征，并根据图像特征，利用二维平行轮廓线对该头发2d图像进行表面重建，以得到表面重建结果；
54.具体的，可以采用特征提取算法提取所有头发2d图像的图像特征，从而准确表述各个头发2d图像的细节特征点。然后通过二维平行轮廓线将头发2d图像中目标部位(例如头发纹理)的相邻轮廓线顶点连接起来，以完成对头发2d图像中目标部位的表面重建，以构成目标部位在三维图像中的可视等值面。
55.s150：根据体积重建结果和表面重建结果对该头发2d图像进行三维重建，以得到三维头发图像，并按照预设比例对三维头发图像进行调整；
56.具体的，根据体积重建结果和表面重建结果合并所有可视等值面便可生成完整的三维表面，从而实现了对头发2d图像进行三维重建的目的，得到三维头发图像。由于体积重建结果可以准确反映目标部位(例如头发)的体型，表面重建结果可以准确反映目标部位(例如头发)的细节特征点，则保证了构建的三维头发图像的准确性，也就保证了该方法所构建的三维头发图像的逼真感。最后按照预设比例对三维头发图像进行调整，以使三维头发图像与头型模型的比例大小一致。
57.s160：根据该头发2d图像的位置信息，从头型模型的外表面截取对应位置的模型碎片，并将调整后的三维头发图像拼接至模型碎片上，生成头发子模型，重复执行s130至s160，直至得到各个头发2d图像相对应的头发子模型；
58.s170：拼接所有头发子模型，得到头发3d模型。
59.具体的，通过步骤s160将各个三维头发图像拼接至对应的模型碎片上，以生成多个头发子模型，并通过步骤s170根据各个头发2d图像的位置信息，将全部头发子模型拼接起来，以得到头发3d模型。从而实现了基于普通拍摄装置捕获的图像对人类的头发进行真实有效且逼真的3d建模，以使3d建模后的人像更加逼真的目的。而且该方法无需通过人工手动建模，节省了大量的人力和时间。
60.请参照图3，图3所示为本发明实施例提供的又一种基于人工智能的头发3d建模方法的流程图。在本实施例的一些实施方式中，上述根据头型三维坐标数据构建头型模型的步骤之后，该方法还包括：
61.采用脸部识别技术分析所有头型图像，得到头部特征；
62.根据头部特征，对头型模型进行特征调整。
63.具体的，获取并利用头部特征对头型模型进行微调，使得头型模型与目标对象的真实头型比例更加适配。
64.示例性的，上述头部特征可以包括头发特征、用户脸型特征、是否佩戴眼镜特征、性别特征等。从而根据头部特征可以进一步确定头型模型的调整方向，并对头型模型进行微调，可以使得头型模型与真实头型更加一致。
65.请参照图4，图4所示为本发明实施例提供的一种基于人工智能的头发3d建模系统的结构框图。本技术实施例提供一种基于人工智能的头发3d建模系统，其包括：
66.拍摄模块110，用于利用摄像头多视角拍摄目标对象的头部，获得多个头型图像和多个头发2d图像；
67.三维重构模块120，用于根据多个头型图像，按照预设比例进行三维重构，得到头型模型；
68.体积重建模块130，用于对任一头发2d图像进行预处理，以确定闭合等值线，根据闭合等值线对该头发2d图像进行体积重建，得到体积重建结果；
69.表面重建模块140，用于提取该头发2d图像的图像特征，并根据图像特征，利用二维平行轮廓线对该头发2d图像进行表面重建，以得到表面重建结果；
70.三维头发图像得到模块150，用于根据体积重建结果和表面重建结果对该头发2d图像进行三维重建，以得到三维头发图像，并按照预设比例对三维头发图像进行调整；
71.头发子模型生成模块160，用于根据该头发2d图像的位置信息，从头型模型的外表面截取对应位置的模型碎片，并将调整后的三维头发图像拼接至模型碎片上，生成头发子模型，重复执行体积重建模块130至头发子模型生成模块160，直至得到各个头发2d图像相对应的头发子模型；
72.拼接模块170，用于拼接所有头发子模型，得到头发3d模型。从而实现了基于普通拍摄装置捕获的图像对人类的头发进行真实有效且逼真的3d建模，以使3d建模后的人像更加逼真的目的。而且该系统无需通过人工手动建模，节省了大量的人力和时间。
73.请参照图5，图5为本技术实施例提供的电子设备的一种示意性结构框图。电子设
备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本技术实施例所提供的一种基于人工智能的头发3d建模系统对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
74.其中，存储器101可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
75.处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
76.可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
77.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
78.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
79.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
80.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在
不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。