图像处理方法、装置及电子设备与流程

本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及电子设备。

背景技术：

从人脸检测与识别中延伸出来的五官分析，是一种细化的人脸属性识别技术，其在游戏交互、美容美妆、广告投放、市场调研等领域中都有需求，未来在移动智能硬件终端也将获得更广泛的使用。其中，在基于关键点的人脸五官形状匹配分析中，将测试人脸图像的五官关键点与样本集中的人脸五官关键点进行匹配，可以通过最小的匹配误差获得测试人脸图像五官的形状。

但是，经发明人研究发现，为了提高关键点匹配的准确度，现有技术中，还会通过采集不同角度的人脸图像来补充样本集。因而，存在着人力成本高、效率低的问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种图像处理方法、装置及电子设备，以改善现有技术中存在的问题。

为实现上述目的，本发明实施例采用如下技术方案：

一种图像处理方法，包括：

根据获得的人脸正面图像生成三维人脸模型；

根据所述三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据；

将待分析人脸图像中的脸部关键点的位置信息与所述样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像中脸部器官的形状信息。

在本发明实施例较佳的选择中，所述根据获得的人脸正面图像生成三维人脸模型的步骤，包括：

获取具有不同形状类型脸部器官的多个人脸正面图像；

根据所述多个人脸正面图像分别生成三维人脸模型，得到多个具有不同形状类型脸部器官的三维人脸模型。

在本发明实施例较佳的选择中，所述根据所述多个人脸正面图像分别生成三维人脸模型的步骤，包括：

获取每个所述人脸正面图像对应的脸部关键点的位置信息；

根据每个所述人脸正面图像和该人脸正面图像对应的脸部关键点的位置信息分别生成三维人脸模型。

在本发明实施例较佳的选择中，所述获取每个所述人脸正面图像对应的脸部关键点的位置信息的步骤，具体为：

在每个所述人脸正面图像中通过预先确定的脸部关键点定位模型获取脸部关键点的位置信息。

在本发明实施例较佳的选择中，所述样本数据为多组，每组样本数据根据其中一个三维人脸模型生成，所述将待分析人脸图像中的脸部关键点的位置信息与所述样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像中脸部器官的形状信息的步骤，包括：

将待分析人脸图像的脸部关键点的位置信息与预先确定的一组样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像的角度信息；

分别提取待分析人脸图像的脸部关键点的位置信息，并和每组样本数据中与所述角度信息对应的脸部关键点的位置信息进行匹配，得到所述待分析人脸图像脸部器官的形状信息。

在本发明实施例较佳的选择中，所述图像处理方法还包括预先确定一组样本数据的步骤，该步骤包括：

基于用户的操作在多组样本数据中确定一组样本数据。

在本发明实施例较佳的选择中，所述图像处理方法还包括预先确定一组样本数据的步骤，该步骤包括：

针对每个三维模型，计算该三维模型与其它三维模型的相似度的均值，得到多个均值；

将多个均值中最大的均值对应的三维模型确定为目标模型，并将根据该目标模型生成的样本数据作为预先确定的一组样本数据。

本发明实施例还提供了一种图像处理装置，包括：

三维人脸模型生成模块，用于根据获得的人脸正面图像生成三维人脸模型；

样本数据生成模块，用于根据所述三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据；

匹配模块，用于将待分析人脸图像中的脸部关键点的位置信息与所述样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像中脸部器官的形状信息。

在本发明实施例较佳的选择中，所述三维人脸模型生成模块包括：

人脸正面图像获取子模块，用于获取具有不同形状类型脸部器官的多个人脸正面图像；

三维人脸模型生成子模块，用于根据所述多个人脸正面图像分别生成三维人脸模型，得到多个具有不同形状类型脸部器官的三维人脸模型。

本发明实施例还提供了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现上述的图像处理方法。

本发明实施例提供的图像处理方法、装置及电子设备，通过人脸正面图像生成三维人脸模型，根据三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据，并与待分析人脸图像的脸部关键点的位置信息进行匹配，以得到待分析人脸图像中脸部器官的形状信息。因此，只需要采集人脸正面图像，避免了现有技术中需要通过图像采集设备采集不同角度下的人脸图像来补充样本集，从而改善了人力成本高、效率低的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的电子设备的结构框图。

图2为本发明实施例提供的图像处理方法的流程示意图。

图3为本发明实施例提供的步骤s100的流程示意图。

图4为本发明实施例提供的步骤s120的流程示意图。

图5为本发明实施例提供的人脸正面图像中的脸部关键点的示意图。

图6为本发明实施例提供的人脸正脸图像多角度下的脸部关键点的示意图。

图7为本发明实施例提供的图像处理装置的结构框图。

图标：10-电子设备；12-存储器；14-处理器；100-图像处理装置；110-三维人脸模型生成模块；120-样本数据生成模块；130-匹配模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

如图1所示，本发明实施例提供了一种电子设备10。该电子设备10可以包括存储器12、处理器14及图像处理装置100。所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述图像处理装置100所包括的软件功能模块及计算机程序等，以实现图像处理方法。

其中，所述存储器12可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)、片上系统(systemonchip，soc)等。

可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

结合图2，本发明实施例还提供一种可应用于上述电子设备10的图像处理方法。其中，所述图像处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程进行详细阐述。

步骤s100，根据获得的人脸正面图像生成三维人脸模型。

详细地，所述人脸正面图像的具体数量不受限制，可以根据实际应用需求进行设置。例如，在一实施例中，所述人脸正面图像的具体数量可以是一个。在另一实施例中，所述人脸正面图像的具体数量可以是多个。

步骤s200，根据所述三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据。

详细地，所述脸部器官的具体种类不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，所述脸部器官可以包括眉毛、眼睛、鼻子和嘴巴中的至少一种。

其中，所述脸部关键点的具体角度不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，所述脸部关键点的具体角度可以包括两个方向的角度，分别为仰头到低头和左侧面到右侧面。其中，因为角度是连续的，所述角度的具体数量可以根据实际应用需求进行设置，例如，可以间隔5度将所述三维人脸模型投影到二维平面上，以生成对应的脸部关键点的位置信息的样本数据。

步骤s300，将待分析人脸图像中的脸部关键点的位置信息与所述样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像中脸部器官的形状信息。

详细地，将位置信息进行匹配的具体方式不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，进行匹配的具体方式可以是procrustesanalysis匹配。

其中，所述形状信息具体为脸部器官的形状。例如，眉毛的形状可以包括标准眉、柳叶眉、平眉、刀眉、剑眉、远山眉或高挑眉。

通过以上设置，只需要采集人脸正面图像以生成三维人脸模型，根据三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据，并与待分析人脸图像的脸部关键点的位置信息进行匹配，以得到待分析人脸图像中脸部器官的形状信息，避免了现有技术中需要通过图像采集设备采集不同角度下的人脸图像来补充样本集，从而改善了人力成本高、效率低的问题。

结合图3，在所述人脸正面图像的具体数量为多个时，所述步骤s100可以包括步骤s110和步骤s120，以得到多个三维人脸模型，以扩充样本数据的数量，从而提高匹配的准确性，得到所述待分析人脸图像中脸部器官的形状信息的准确性更高。

步骤s110，获取具有不同形状类型脸部器官的多个人脸正面图像。

其中，由于每个人的脸部器官不同，因而，可以针对多个人，分别获取每个人的人脸正面图像，得到多个具有不同脸部器官的人脸正面图像。

步骤s120，根据所述多个人脸正面图像分别生成三维人脸模型，得到多个具有不同形状类型脸部器官的三维人脸模型。

基于生成三维人脸模型的方式不同，步骤s120可以包括不同的步骤。例如，在一种可以替代的示例中，结合图4和图5，所述步骤s120可以包括步骤s121和步骤s122。

步骤s121，获取每个所述人脸正面图像对应的脸部关键点的位置信息。

其中，所述位置信息可以具体为脸部关键点的二维坐标。

所述获取每个人脸正面图像中的脸部关键点的位置信息步骤，可以具体为：

在每个人脸正面图像中通过预先确定的脸部关键点定位模型获取脸部关键点的位置信息。

具体地，可以通过深度学习的方式获得预先确定的脸部关键点定位模型，该脸部关键点定位模型可以用函数f(i)表示，将人脸正面图像输入所述定位模型，输出为包含二维坐标的点集p(x,y)。

步骤s122，根据每个所述人脸正面图像和该人脸正面图像对应的脸部关键点的位置信息分别生成三维人脸模型。

详细地，生成三维人脸模型的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一实施例中，所述人脸正面图像可以包括脸部器官的深度信息，该人脸正面图像对应的所述脸部关键点的位置信息具体为脸部关键点的二维坐标，根据所述深度信息和二维坐标可以生成该人脸图像对应的三维人脸模型。

进一步地，在所述人脸正面图像的具体数量为多个时，所述三维人脸模型的具体数量为多个，对应生成的所述样本数据为多组，每组样本数据根据其中一个三维人脸模型生成(例如，如图6所示，一组样本数据可以包括仰头到低头方向上的2个角度，分别为角度1和角度2，左侧面到右侧面方向上的5个角度，分别为角度a、角度b、角度c、角度d和角度e)。所述步骤s300可以包括以下步骤：

将待分析人脸图像的脸部关键点的位置信息与预先确定的一组样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像的角度信息。分别提取待分析人脸图像的脸部关键点的位置信息，并和每组样本数据中与所述角度信息对应的脸部关键点的位置信息进行匹配，得到所述待分析人脸图像脸部器官的形状信息。

详细地，每组样本数据包括对应的三维人脸模型在不同角度下的脸部关键点的位置信息，也就是说，待分析人脸图像的脸部关键点的位置信息可以与多组样本数据中多个角度下的脸部关键点的位置信息进行匹配，以得到所述待分析人脸图像的角度信息。

为了提高运算效率，可以将待分析人脸图像的脸部关键点的位置信息与预先确定的一组样本数据中脸部关键点的位置信息进行匹配，其中，匹配误差最小的样本数据对应的角度即为待分析人脸图像的角度。

例如，可以将待分析人脸图像的脸部关键点的位置信息分别与第一组样本数据中5个角度下脸部关键点的位置信息进行匹配，得到的匹配误差分别为3、2、4、6和10，其中，第二角度对应的误差最小，因此，可以确定待分析人脸图像的角度为第二角度。

确定角度之后，将待分析人脸图像的脸部关键点的位置信息与每组样本数据中所述角度信息对应的脸部关键点的位置信息进行匹配，通过匹配误差最小的样本数据即可得到所述待分析人脸图像脸部器官的形状信息。通过二次匹配，先确定待分析人脸图像的角度再确定待分析人脸图像脸部器官的形状信息，从而降低了运算的数据量，以提高运算效率。

例如，可以将待分析人脸图像的脸部关键点的位置信息与第二角度下的两组样本数据脸部关键点的位置信息分别进行匹配，得到的匹配误差分别为2和1，第二组的误差最小，因此，可以确定待分析人脸图像脸部器官的形状信息为第二角度下第二组样本数据脸部器官的形状信息。

可选地，预先确定一组样本数据的具体步骤不受限制，可以根据实际应用需求进行设置。例如，在一实施例中，预先确定一组样本数据的具体步骤包括：基于用户的操作在多组样本数据中确定一组样本数据。

例如，用户可以通过选择三维人脸模型选择对应的样本数据，也可以直接在多组样本数据中确定一组样本数据。

在另一实施例中，预先确定一组样本数据的具体步骤包括：

首先，针对每个三维模型，计算该三维模型与其它三维模型的相似度的均值，得到多个均值。然后，将多个均值中最大的均值对应的三维模型确定为目标模型。最后，并将根据该目标模型生成的样本数据作为预先确定的一组样本数据。

例如，当三维模型的数量为三个时，分别为第一三维模型、第二三维模型和第三三维模型。第一三维模型与第二三维模型和第三三维模型的相似度分别为5和6，计算得到的第一相似度均值为5.5。第二三维模型与第一三维模型和第三三维模型的相似度分别为5和3，计算得到的第二相似度均值为4。第三三维模型与第一三维模型和第二三维模型的相似度分别为6和3，计算得到的第一相似度均值为4.5。最大的均值为第一相似度均值，即将第一三维模型确定为目标三维模型。

详细地，可以通过计算三维模型与其他三维模型的相似度的方式来得到一个最具有代表性的三维模型作为目标模型，并将根据该目标模型生成的样本数据作为预先确定的一组样本数据，以使待分析人脸图像与预先确定的一组样本数据进行匹配的效率更高，得到的角度信息的准取性更高。

结合图7，本发明实施例还提供了一种图像处理装置100，可以应用于所述电子设备10。其中，该图像处理装置100可以包括三维人脸模型生成模块110、样本数据生成模块120和匹配模块130。

三维人脸模型生成模块110，用于根据获得的人脸正面图像生成三维人脸模型。在本实施例中，所述三维人脸模型生成模块110可以用于执行图2所示的步骤s100，关于所述三维人脸模型生成模块110的相关内容可以参照前文对步骤s100的描述。

样本数据生成模块120，用于根据所述三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据。在本实施例中，所述样本数据生成模块120可以用于执行图2所示的步骤s200，关于所述样本数据生成模块120的相关内容可以参照前文对步骤s200的描述。

匹配模块130，用于将待分析人脸图像中的脸部关键点的位置信息与所述样本数据中脸部关键点的位置信息进行匹配，得到所述待分析人脸图像中脸部器官的形状信息。在本实施例中，所述匹配模块130可以用于执行图2所示的步骤s300，关于所述匹配模块130的相关内容可以参照前文对步骤s300的描述。

进一步地，所述三维人脸模型生成模块110可以包括人脸正面图像获取子模块和三维人脸模型生成子模块。

人脸正面图像获取子模块，用于获取具有不同形状类型脸部器官的多个人脸正面图像。在本实施例中，所述人脸正面图像获取子模块可以用于执行图3所示的步骤s110，关于所述人脸正面图像获取子模块的相关内容可以参照前文对步骤s110的描述。

三维人脸模型生成子模块，用于根据所述多个人脸正面图像分别生成三维人脸模型，得到多个具有不同形状类型脸部器官的三维人脸模型。在本实施例中，所述三维人脸模型生成子模块可以用于执行图3所示的步骤s120，关于所述三维人脸模型生成子模块的相关内容可以参照前文对步骤s120的描述。

综上所述，本发明实施例提供的图像处理方法、装置及电子设备10，通过人脸正面图像生成三维人脸模型，根据三维人脸模型生成包括脸部关键点在不同角度下的位置信息的样本数据，并与待分析人脸图像的脸部关键点的位置信息进行匹配，以得到待分析人脸图像中脸部器官的形状信息。因此，只需要采集人脸正面图像，避免了现有技术中需要通过图像采集设备采集不同角度下的人脸图像来补充样本集，从而改善了人力成本高、效率低的问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。