一种基于深度学习的球面图像人脸检测方法及系统与流程

本发明涉及一种基于深度学习的球面图像人脸检测方法及系统，属于计算机领域。

背景技术：

在安防监控领域的单目全景摄像头设备上，通常从摄像头采集的数据都是一个球面图像，为了在这些设备上实现高性价比的人脸检测功能，通常会使用摄像头采集的球面图像作为原始数据进行人脸检测。比如，在单目360°全景行车记录仪上实现人脸检测的功能。

现有技术存在以下缺点：(1)由于球面图像中的人脸可能是倒着的，导致通常的人脸检测算法无法检测出倒着的图像；(2)当人脸图像位于球面图像的边缘位置时，人脸图像会有畸变，导致传统的人脸检测算法鲁棒性差；(3)由于球面图像的分辨率高，因此，对人脸检测算法的性能有较高要求。

技术实现要素：

本发明提供一种基于深度学习的球面图像人脸检测方法及系统，首先需要将球面图像进行展开，得到全景图像；由于球面图像越靠近边缘的位置畸变越大，因此在展开后的全景图像相对应的位置会存在一定的拉伸变形的情况，因此，我们需要建立自己的图像数据库，使用鲁棒性更好的深度学习算法进行模型训练，得到基于全景图像的人脸检测模型；然后使用该人脸检测模型在实际应用中进行人脸检测。

本发明的技术方案包括一种基于深度学习的球面图像人脸检测方法，其特征在于，该方法包括以下步骤：a.建立用于存储球面图像数据库；b.对数据库中的球面图像使用算法进行处理，得到全景图像；c.对全景图像进行人脸标注，将进行人脸标注的图像作为训练深度学习模型的数据源，执行训练处理得到人脸检测模型；d.使用摄像装置采集多个球面图像，并对球面图像依次执行步骤a及b的处理，进一步，使用人脸检测模型执行检测，得到人脸区域图。

根据所述的基于深度学习的球面图像人脸检测方法，其中所述步骤a还包括：所述数据库为存储有大量球面图像的数据库，其中大量球面图像作为训练数据源。

根据所述的基于深度学习的球面图像人脸检测方法，其中步骤b具体包括：对数据库中的球面图像通过展开算法得到对应的全景图像，得到的球面图像中的人脸在全景图像中为正着的。

根据所述的基于深度学习的球面图像人脸检测方法，其中步骤c具体包括：对数据库中的全景图像进行人脸标注，用以提供训练深度学习模型所需的数据；利用深度学习算法对标注数据进行训练，其中深度学习算法为mtcnn算法，进一步得到基于mtcnn的全景图像人脸检测模型。

根据所述的基于深度学习的球面图像人脸检测方法，其中步骤d具体包括：使用单目摄像头采集到多个球面图像；将球面图像通过展开算法展开为全景图像；使用已训练的基于mtcnn的全景图像人脸检测模型对当前全景图像进行检测；将基于全景图像检测到的人脸区域映射到球面图像对应的位置，从而得到球面图像中人脸的区域。

本发明的技术方案还包括一种用于上述任意方法的基于深度学习的球面图像人脸检测系统，其特征在于，该系统包括：图像存储模块，用于建立用于存储球面图像数据库；图像展开模块，用于对数据库中的球面图像使用算法进行处理，得到全景图像；图像训练模块，用于对全景图像进行人脸标注，将进行人脸标注的图像作为训练深度学习模型的数据源，执行训练处理得到人脸检测模型；图像检测模块，用于使用摄像装置采集多个球面图像，并对球面图像依次使用存储模块及图像展开模块进行处理，进一步，使用所述图像训练模块得到的人脸检测模型执行检测，得到人脸区域图。

本发明的有益效果为：通过全景展开算法将球面图像展开为全景图像，然后通过该全景图像进行人脸检测，有效的解决了球面图像中人脸倒着无法进行检测的问题；球面图像越靠近边缘的位置畸变越大，对于在球面图像边缘位置的人脸，传统的人脸检测方法检测准确率低，本文将球面图像展开为全景图像后再使用鲁棒性更好的mtcnn深度学习模型，使得球面图像边缘位置的人脸检测更加准确。

附图说明

图1所示为根据本发明的方法的总体流程图。

图2所示为根据本发明的总体系统框图；

图3所示为根据本发明实施方式的人脸检测模型获得流程图；

图4所示为根据本发明实施方式的人脸检测流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

图1所示为根据本发明的方法的总体流程图。该流程包括如下步骤：a.建立用于存储球面图像数据库；b.对数据库中的球面图像使用算法进行处理，得到全景图像；c.对全景图像进行人脸标注，将进行人脸标注的图像作为训练深度学习模型的数据源，执行训练处理得到人脸检测模型；d.使用摄像装置采集多个球面图像，并对球面图像依次执行步骤a及b的处理，进一步，使用人脸检测模型执行检测，得到人脸区域图。

图2所示为根据本发明的总体系统框图。该系统包括：图像存储模块，用于建立用于存储球面图像数据库；图像展开模块，用于对数据库中的球面图像进行展开处理，得到全景图像；图像训练模块，用于对全景图像进行人脸标注，将进行人脸标注的图像作为训练深度学习模型的数据源，执行训练处理得到人脸检测模型；图像检测模块，用于使用摄像装置采集多个球面图像，并对球面图像依次使用存储模块及图像展开模块进行处理，进一步，使用所述图像训练模块得到的人脸检测模型执行检测，得到人脸区域图。

图3所示为根据本发明实施方式的人脸检测模型获得流程图。其流程如s31-s35所示，包括：

s31，建立一个大数据量的球面图像数据库；

s32，对数据库中的球面图像通过展开算法得到对应的全景图像，这样在球面图像倒着的人脸在全景图像中是正着的；

s33，对数据库中的全景图像进行人脸标注，用以提供训练深度学习模型所需的数据；

s34，利用深度学习算法对标注数据进行训练，本文采用的是效率更好的mtcnn算法；

s35，得到基于mtcnn的全景图像人脸检测模型。

图4所示为根据本发明实施方式的人脸检测流程图。其流程如s41-s45所示，包括：

s41，首先通过单目摄像头采集到球面图像；

s42，将球面图像通过展开算法展开为全景图像；

s43，利用上述训练好的基于mtcnn的全景图像人脸检测模型对当前全景图像进行检测；

s44，将基于全景图像检测到的人脸区域映射到球面图像对应的位置；

s45，得到球面图像中人脸的区域。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。