图像检测方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种图像检测方法及装置。

背景技术：

人脸皮肤老化的标志之一是皱纹，因此人脸额头上的脂肪粒可以看作人脸中一个重要的皮肤特征。同时由于性别、年龄以及地域属性等不同，也会导致脂肪粒的严重程度各不相同。

人脸识别是指利用人脸视觉特征信息进行身份鉴别的计算机技术，在图像识别领域检测脂肪粒的严重程度对人脸表情识别、人脸身份识别、人脸年龄识别和人脸性别识别等也有很大的应用价值。

由此可见，人脸脂肪粒检测是本领域技术人员正在研究的问题。

技术实现要素：

本申请提供了一种图像检测方法及装置，可提高脂肪粒检测的准确率。

第一方面，本申请实施例提供了一种图像检测方法，包括：

确定目标图像，所述目标图像为待检测脂肪粒的图像；

对所述目标图像进行边缘检测，得到候选区域；

根据所述候选区域的面积以及参考面积确定所述脂肪粒所在的区域，所述参考面积为所述脂肪粒的参考面积；

将包括所述脂肪粒所在的区域的所述目标图像输入到神经网络，输出所述目标图像中所述脂肪粒的检测结果。

本申请实施例中，通过确定目标图像，对目标图像进行边缘检测，能够尽可能地将类似脂肪粒或脂肪粒划分为面积大小不同的候选区域；然后通过计算这些候选区域的面积筛选出可能为脂肪粒所在的区域；并将包含脂肪粒所在的区域的目标图像输入到神经网络中，输出脂肪粒的检测结果。实施本申请实施例，能够准确的检测出人脸图像中的脂肪粒。

在一种可能的实现方式中，所述确定目标图像之后，以及所述对所述目标图像进行边缘检测之前，所述方法还包括：

对所述目标图像进行预处理，得到预处理之后的所述目标图像，所述预处理用于增强所述目标图像中所述脂肪粒的显示效果；

所述对所述目标图像进行边缘检测，得到候选区域，包括：

对预处理之后的所述目标图像进行边缘检测，得到所述候选区域。

本申请实施例中，通过对所述目标图像进行预处理，能够更加精确的定位所述目标图像中脂肪粒所在的区域，提高检测的精度。

在一种可能的实现方式中，所述对所述目标图像进行预处理包括以下任意一项或多项：

对所述目标图像进行灰度化处理，得到灰度图像；

对所述目标图像进行掩膜处理，得到掩膜图像；

对所述目标图像进行高斯模糊处理，得到高斯模糊图像；

对所述目标图像进行二值化处理，得到二值化图像；

对所述目标图像进行形态学处理，得到形态学图像。

本申请实施例中，通过对目标图像进行灰度化处理，可以降低所述目标图像的亮度，减少对所述目标图像的计算量。通过对所述目标图像进行掩膜处理，可以屏蔽所述目标图像中不包含脂肪粒的区域(如眼球区域)，减少运算量。通过对所所述目标图像进行高斯模糊处理，可以减少所述目标图像的噪声以及降低细节层次。通过对所述目标图像进行形态学处理，如开运算可以消除所述目标图像中的细小物体，闭运算可以填充所述目标图像内的细小空洞。通过对所述目标图像进行二值化处理，可以通过设置阈值将非脂肪粒区域设置为背景，从而不参与运算，提高对脂肪粒检测的效率。

在一种可能的实现方式中，所述对所述目标图像进行预处理，得到预处理之后的所述目标图像，包括：

对所述目标图像进行灰度化处理，得到灰度图像；

以及对所述灰度图像进行掩膜处理，得到掩膜图像；

以及对所述掩膜图像进行高斯模糊处理，得到高斯模糊图像；

以及对所述高斯模糊图像进行二值化处理，得到二值化图像；

以及对所述二值化图像进行形态学处理，得到形态学图像。

在一种可能的实现方式中，所述根据所述候选区域的面积以及参考面积确定所述脂肪粒所在的区域，包括：

通过计算所述候选区域的像素点个数，得到所述候选区域的面积；

根据所述候选区域的面积以及参考面积确定所述脂肪粒所在的区域。

本申请实施例中，计算所述候选区域的面积，再将该候选区域的面积与已知脂肪粒的参考面积进行对比，可以过滤掉一部分非脂肪粒的区域，提高脂肪粒检测的效率和精确率。

在一种可能的实现方式中，所述目标图像中包括眼睛；所述确定目标图像，包括：

获取到人脸图像后，确定所述人脸图像中的人脸关键点；其中，所述目标图像中的人脸关键点包括第一关键点和第二关键点；所述第一关键点为所述人脸关键点中左边眉毛的最左边点，所述第二关键点为所述人脸关键点中右边眉毛的最右边点；

根据所述第一关键点和所述第二关键点确定所述目标图像。

本申请实施例中，本申请实施例中，通过第一关键点和第二关键点来确定所述目标图像，简单可行，提高了检测效率。

在一种可能的实现方式中，所述将包括所述脂肪粒所在的区域的所述目标图像输入到神经网络之前，所述方法还包括：

获取训练样本，所述训练样本包括正样本和负样本，其中，所述正样本为包含参考数量的脂肪粒的图像，所述负样本为不包含脂肪粒的图像；

将所述正样本和所述负样本输入至所述神经网络，训练所述神经网络。

本申请实施例中，通过正样本和负样本训练所述神经网路，可以提高脂肪粒检测的精确率。

第二方面，本申请实施例提供了一种图像检测装置，包括：

第一确定单元，用于确定目标图像，所述目标图像为待检测脂肪粒的图像；

检测单元，用于对所述目标图像进行边缘检测，得到候选区域；

第二确定单元，用于根据所述候选区域的面积以及参考面积确定所述脂肪粒所在的区域，所述参考面积为所述脂肪粒的参考面积；

输入输出单元，用于将包括所述脂肪粒所在的区域的所述目标图像输入到神经网络，输出所述脂肪粒所在的区域中所述脂肪粒的检测结果。

在一种可能的实现方式中，所述装置还包括：

预处理单元，用于对所述目标图像进行预处理，得到预处理之后的所述目标图像，所述预处理用于增强所述目标图像中所述脂肪粒的显示效果；

所述检测单元，还用于对预处理之后的所述目标图像进行边缘检测，得到所述候选区域。

在一种可能的实现方式中，所述预处理单元包括以下任意一项或多项：

灰度化子单元，用于对所述目标图像进行灰度化处理，得到灰度图像；

掩膜子单元，用于对所述目标图像进行掩膜处理，得到掩膜图像；

高斯模糊子单元，用于对所述目标图像进行高斯模糊处理，得到高斯模糊图像；

二值化子单元，用于对所述目标图像进行二值化处理，得到二值化图像；

形态学子单元，用于对所述目标图像进行形态学处理，得到形态学图像。

在一种可能的实现方式中，所述第二确定单元包括：

计算子单元，用于通过计算所述候选区域的像素点个数，得到所述候选区域的面积；

确定子单元，用于根据所述候选区域的面积以及参考面积确定所述脂肪粒所在的区域。

在一种可能的实现方式中，所述装置还包括：

获取单元，用于获取训练样本，所述训练样本包括正样本和负样本，其中，所述正样本为包含参考数量的脂肪粒的图像，所述负样本为不包含脂肪粒的图像；

训练单元，用于将所述正样本和所述负样本输入至所述神经网络，训练所述神经网络。

第三方面，本申请实施例还提供了一种图像检测装置，包括：处理器和存储器，所述处理器和所述存储器通过线路互联；其中，所述存储器存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行如第一方面所述的相应的方法。

在一种可能的实现方式中，该图像检测装置还包括输入输出接口，所述输入输出接口可用于与其他设备或装置等等进行通信。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被图像检测装置的处理器执行时，使所述处理器执行第一方面所述的方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种图像检测方法的流程示意图；

图2是本申请实施例提供的一种人脸关键点的示意图；

图3是本申请实施例提供的一种确定目标图像的示意图；

图4是本申请实施例提供的另一种确定目标图像的示意图；

图5是申请实施例提供的一种掩膜图像示意图；

图6是本申请实施例提供的一种脂肪粒检测结果图；

图7是本申请实施例提供的一种神经网络训练方法的流程示意图；

图8是本申请实施例提供的一种图像检测装置的结构示意图；

图9是本申请实施例提供的另一种图像检测装置的结构示意图；

图10是本申请实施例提供的一种预处理单元的结构示意图；

图11是本申请实施例提供的一种第二确定单元的结构示意图；

图12是本申请实施例提供的又一种图像检测装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。

参见图1，图1是本申请实施例提供的一种图像检测方法的流程示意图，该图像检测方法可应用于图像检测装置，该图像检测装置可包括服务器、终端设备或芯片，该终端设备可包括手机、台式电脑、手提电脑和其他设备等等，本申请实施例对于该图像检测装置的具体形式不作限定。

如图1所示，该图像检测方法包括：

101、确定目标图像，上述目标图像为待检测脂肪粒的图像。

本申请实施例中，确定目标图像可理解为该图像检测装置采集或获取目标图像，从而确定该目标图像；也可理解为该图像检测装置从其他装置处采集或获取该目标图像。举例来说，若该图像检测装置为手机，可以将该图像检测方法应用在手机端的app中，则可以通过手机中的该app应用获取人脸图像，从而进一步确定目标图像(即待检测的脂肪粒图像)。对于该图像检测装置如何采集或获取目标图像，本申请实施例不作限定。可理解，该目标图像为待检测脂肪粒的图像，即该目标图像为需要确定脂肪粒严重程度的图像。

可选的，上述目标图像为人脸图像中与眼睛对应的区域，可以直接从目标图像中截取出眼睛区域，如以固定长宽为依据来截取等等。但是在以固定长宽来截取时，往往会因为每个人眼睛大小不一样，而导致截取出的眼睛区域不同。因此，本申请实施例还提供了一种确定眼睛区域的图像的方法，如下所示：

获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述目标图像中的人脸关键点包括第一关键点和第二关键点；上述第一关键点为上述人脸关键点中左边眉毛的最左边点，上述第二关键点为上述人脸关键点中右边眉毛的最右边点；

根据上述第一关键点和上述第二关键点确定上述目标图像。

本申请实施例中，确定上述人脸图像中的人脸关键点的方法包括：可以通过算法如边缘检测robert算法，索贝尔sobel算法等；也可通过相关模型如主动轮廓线snake模型等等。

尽管采用上述各种算法或模型可以确定人脸图像中的人脸关键点，但是以上方法一方面比较复杂，另一方面效果较差。因此，本申请实施例提供了一种简单方法，不仅实现简单，而且还可有效的确定人脸关键点，如下所示：

上述确定人脸图像中的人脸关键点，包括：

通过第三方应用确定上述人脸图像中的人脸关键点。

本申请实施例中，第三方应用可为第三方工具包dlib，dlib是开源的人脸关键点定位效果较好的工具包且是一个包含机器学习算法的c++开源工具包。目前工具包dlib被广泛应用在包括机器人，嵌入式设备，移动电话和大型高性能计算环境领域。因此可有效的利用该工具包做人脸关键点定位，得到人脸关键点。具体的，该人脸关键点可为68个人脸关键点等等。如图2所示，图2是本申请实施例提供的一种人脸关键点的示意图。从中可以看出人脸关键点可包括关键点0、关键点1……关键点67，即68个关键点。

本申请实施例中，还提供了一种通过人脸关键点确定上述眼睛区域的图像的方法。

具体的，上述目标图像中包括左眼区域和右眼区域，根据上述第一关键点和上述第二关键点确定上述目标图像，包括：

获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述人脸图像中的人脸关键点包括第一关键点、第二关键点、第三关键点、第四关键点和第五关键点；上述第一关键点为上述人脸关键点中的关键点17，上述第二关键点为上述人脸关键点中的关键点26，上述第三关键点为上述人脸关键点中的关键点28，上述第四关键点为上述人脸关键点中的关键点21，上述第五关键点为上述人脸关键点中的关键点22。

根据上述第一关键点的横坐标和上述第四关键点的横坐标确定上述目标图像中左眼区域的第一边长；

根据上述第一关键点的纵坐标和上述第三关键点的纵坐标确定上述目标区域中左眼区域的第二边长；

根据上述第一边长和上述第二边长确定上述目标图像中的左眼区域；

根据上述第二关键点的横坐标和上述第五关键点的横坐标确定上述目标图像中右眼区域的第三边长；

根据上述第三关键点的纵坐标和上述第五关键点的纵坐标确定上述目标区域中右眼区域的第四边长；

根据上述第三边长和上述第四边长确定上述目标图像中的右眼区域。

具体的，本申请实施例中，参见图2，图2是本申请实施例提供的一种人脸关键点的示意图，如图2所示，人脸关键点中包括关键点17、26、28、21和22，且处于眼睛区域，因此，以关键点17、26、28、21和22为基准关键点。可理解，在通过人脸关键点定位眼睛区域时，每个关键点均有坐标，即像素点坐标。因此，以关键点17和21的横坐标作为上述目标图像中左眼区域的第一边长，以关键点17和28的纵坐标作为上述目标图像中左眼区域的第二边长。举例来说，选取左边眉毛最左边的关键点17和左边眉毛最右边的关键点21作为基准点，x1坐标为关键点17的横坐标，x2坐标为关键点21的横坐标；选取左边眉毛最左边的关键点17和鼻梁关键点28作为基准点，y1坐标为关键点17的纵坐标，y2坐标为关键点28的纵坐标，则通过坐标(x1,y1,x2,y2)确定上述目标图像中的左眼区域，从而截取该左眼区域的图像作为上述目标图像的一部分图像。可理解，截取上述目标图像的右眼区域可参考上述截取左眼区域的方法，在此不再一一详述。如图3所示。图3是本申请实施例提供的一种确定目标图像的示意图。图3中，目标图像中左眼区域的长即为关键点17和21的横坐标的差，目标图像中左眼区域的宽即为关键点17和28的纵坐标的差；目标图像中右眼区域的长即为关键点22和26的横坐标的差，目标图像中右眼区域的宽即为关键点22和28的纵坐标的差。可理解，本申请实施例中，第一关键点和第四关键点的横坐标和纵坐标的坐标系标准一致，且第一关键点和第三关键点的横坐标和纵坐标的坐标系标准一致；第二关键点和第五关键点的横坐标和纵坐标的坐标系标准一致，且第三关键点和第五关键点的横坐标和纵坐标的坐标系标准一致，以及第一关键点、第三关键点和第四关键点与第二关键点、第三关键点和第五关键点的坐标系一致。举例来说，上述第一关键点、第二关键点、第三关键点、第四关键点和第五关键点的横坐标和纵坐标可以以像素坐标系中的坐标为标准。

实施本申请实施例，能够快速定位上述目标图像，提高检测效率。

本申请实施例中，通过第一关键点、第二关键点、第三关键点、第四关键点和第五关键点来确定目标图像，简单可行，提高了目标图像的确定效率。

本申请实施例中，还提供了另一种通过人脸关键点确定上述眼睛区域的图像的方法。

具体的，根据上述第一关键点和上述第二关键点确定上述目标图像，包括：

获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述人脸图像中的人脸关键点包括第一关键点、第二关键点和第三关键点；上述第一关键点为上述人脸关键点中的关键点17，上述第二关键点为上述人脸关键点中的关键点26，上述第三关键点为上述人脸关键点中的关键点28。

根据上述第一关键点的横坐标和上述第二关键点的横坐标确定上述目标图像的第五边长；

根据上述第一关键点的纵坐标和上述第三关键点的纵坐标确定上述目标区域中左眼区域的第六边长；

根据上述第五边长和上述第六边长确定上述目标图像。

具体的，本申请实施例中，参见图2，图2是本申请实施例提供的一种人脸关键点的示意图，如图2所示，人脸关键点中包括关键点17、26和28，且处于眼睛区域，因此，以关键点17、26和28为基准关键点。可理解，在通过人脸关键点定位眼睛区域时，每个关键点均有坐标，即像素点坐标。因此，以关键点17和26的横坐标作为上述目标图像域的第五边长(即长)，以关键点17和28的纵坐标作为上述目标图像的第六边长(即宽)。举例来说，选取左边眉毛最左边的关键点17和右边眉毛最右边的关键点26作为基准点，x3坐标为关键点17的横坐标，x4坐标为关键点26的横坐标；选取左边眉毛最左边的关键点17和鼻梁关键点28作为基准点，y3坐标为关键点17的纵坐标，y4坐标为关键点28的纵坐标，则通过坐标(x3,y3,x4,y4)确定上述目标图像，从而截取该区域的图像作为上述目标图像。如图4所示。图4是本申请实施例提供的另一种确定目标图像的示意图。图4中，目标图像中的长即为关键点17和26的横坐标的差，目标图像的宽即为关键点17和28的纵坐标的差。可理解，本申请实施例中，第一关键点、第二关键点和第三关键点的坐标系一致。实施本申请实施例，能够快速定位上述目标图像，提高检测效率。

102、对上述目标图像进行边缘检测，得到候选区域。

本申请实施例中，对上述目标图像进行边缘检测可以得到上述候选区域。具体的，该候选区域为面积大小不同的不同封闭区域(或封闭轮廓)。通过边缘检测方法可以过滤掉上述目标图像中非脂肪粒区域，如人眼睛的轮廓、疤痕、眉毛等。具体的，对该目标图像进行边缘检测可以通过调用opencv的findcontours函数，检测类似脂肪粒的该候选区域。可理解，上述边缘检测算法还可以为基于一阶微分的边缘检测算子如reberts算子、prewitt算子、sobel算子、罗盘算子和kirsch算子，以及基于二阶微分的边缘检测算子如laplacian算子、laplace算子、log算子、dog算子和canny算子等等。可理解，本申请实施例中对于边缘检测算法的具体内容不作限定。实施本申请实施例，通过上述边缘检测算法可以将上述目标图像划分为面积大小不同的各个区域，从而初步筛选出类似脂肪粒的区域，提高检测效率。

可选的，上述确定目标图像之后，以及上述对上述目标图像进行边缘检测之前，上述方法还包括：

对上述目标图像进行预处理，得到预处理之后的上述目标图像，上述预处理用于增强上述目标图像中上述脂肪粒的显示效果；

上述对上述目标图像进行边缘检测，得到候选区域，包括：

对预处理之后的上述目标图像进行边缘检测，得到上述候选区域。

本申请实施例中，为了使上述目标图像中的脂肪粒显示效果更佳明显，可以对该目标图像进行预处理操作，进而对预处理之后的该目标图像进行边缘检测。因此，本申请实施例中还提供了以下一项或多项预处理方法。

可选的，上述对上述目标图像进行预处理包括以下任意一项或多项：

对上述目标图像进行灰度化处理，得到灰度图像；

对上述目标图像进行掩膜处理，得到掩膜图像；

对上述目标图像进行高斯模糊处理，得到高斯模糊图像；

对上述目标图像进行二值化处理，得到二值化图像；

对上述目标图像进行形态学处理，得到形态学图像。

本申请实施例中，通过上述图像处理装置到的上述目标图像一般为rgb彩色图像，如果r＝g＝b时，则彩色表示一种灰度颜色，其中r＝g＝b的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。对上述目标图像进行灰度化处理，可以通过分量法、最大值法、平均值法和加权平均法四种方法对彩色图像(即上述目标图像)进行灰度化。可理解，本申请实施例对于如何进行灰度化处理不作限定。实施本申请实施例，通过将上述目标图像灰度化，可以降低上述目标图像的亮度，减少对上述目标图像的计算量，提高检测效率。

本申请实施例中，参见图5，图5是申请实施例提供的一种掩膜图像示意图。如图5所示，由于人的眼球部分不会长脂肪粒，因此可以通过对上述目标图像进行掩膜处理进而屏蔽掉人脸图像中的眼球部分区域。具体的，掩膜(mask)是用选定的图像、图形或物体，对待处理的图像(即目标图像)(全部或局部)进行遮挡，来控制图像处理的区域或处理过程，其中，用于覆盖的特定图像或物体称为掩模或模板。如该掩模可以为二维矩阵数组，也可以使用多值图像。可理解，本申请实施例中对于如何进行掩膜不作限定。实施本申请实施例，可以屏蔽掉上述目标图像中的眼球部分区域，使该眼球部分区域不参与计算，提高检测速度。

本申请实施例中，高斯模糊(gaussianblur)，又叫做高斯平滑，高斯模糊是对上述目标图像进行加权平均的过程。实施本申请实施例，通过对上述目标图像进行高斯模糊，可以减少上述目标图像的噪声以及降低细节层次。实施本申请实施例，可以有效降低上述目标图像的噪声，提高检测精度。

本申请实施例中，图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。最常用的二值化方法就是设定一个阈值t，用该阈值t将该目标图像分为两部分，即大于t的像素群和小于t的像素群。具体的，可以通过双峰法、p参数法、迭代法和otsu法等方法实现对该目标图像的二值化。举例来说，可以将上述目标图像中大于脂肪粒像素值的像素点设置为255，小于脂肪粒像素值的像素点设置为0。可理解，本申请实施例中对于如何进行二值化不作限定。实施本申请实施例，通过二值化可以过滤掉一部分非脂肪粒的区域，提高检测效率。

本申请实施例中，形态学，即数学形态学(mathematicalmorphology)，是图像处理中应用最为广泛的技术之一，主要用于从图像中提取对表达和描绘区域形状有意义的图像分量，使后续的识别工作能够抓住目标对象(即上述目标图像)最为本质(最具区分能力－mostdiscriminative)的形状特征，如边界和连通区域等。上述形态学处理包括膨胀和腐蚀两种基本操作，形态学图像处理是设置一个结构元素，然后将该结构元素与二值图像(即经过二值化处理的上述目标图像)进行交、并等集合运算；先腐蚀后膨胀的过程称为开运算，先膨胀后腐蚀的过程称为闭运算。实施本申请实施例，通过开运算可以将上述目标图像中的细小物体消除，在纤细处分离物体和平滑较大物体边界的作用，以及通过闭运算能够填充上述目标图像中的细小空洞，连接邻近物体和平滑边界的作用，提高检测精度。

可选的，上述对上述目标图像进行预处理包括：

对上述目标图像进行灰度化处理，得到灰度图像；

以及对上述目标图像进行掩膜处理，得到掩膜图像；

以及对上述掩膜图像进行高斯模糊处理，得到高斯模糊图像；

以及对上述高斯模糊图像进行二值化处理，得到二值化图像；

以及对上述二值化图像进行形态学处理，得到形态学图像。

本申请实施例中，上述灰度化处理、掩膜处理、高斯模糊处理、二值化处理以及形态学处理可以参考上述步骤，在此不再详述。实施本申请实施例，可以更加精确的定位脂肪粒所在位置，提高检测精度。

103、根据上述候选区域的面积以及参考面积确定上述脂肪粒所在的区域，上述参考面积为上述脂肪粒的参考面积。

本申请实施例中，由于上述脂肪粒的边长(以像素点为单位)在3-20之间，所以上述脂肪粒的面积范围为9-400之间，也就是说，上述参考面积即为9-400。通过计算上述候选区域的面积以及参考面积可以为上述脂肪粒所在的区域。计算上述候选区域的面积可以通过基于三角形的目标面积计算方法、基于freeman4-链码的目标面积计算方法以及基于freeman8-链码的目标面积计算方法等等。可理解本申请实施例对于计算候选区域的面积的具体方法不作限定。实施本申请实施例，可以有效滤除非脂肪粒区域，提高检测效率。

具体的，本申请实施例还提供了一种计算上述候选区域面积的方法，如下所示：

可选的，上述根据上述候选区域的面积以及参考面积确定上述脂肪粒所在的区域，包括：

通过计算上述候选区域的像素点个数，得到上述候选区域的面积；

根据上述候选区域的面积以及参考面积确定上述脂肪粒所在的区域。

本申请实施例中，上述候选区域为面积大小不同的封闭区域，通过统计该封闭区域内各个子区域的像素点个数，可以计算该候选区域内不同子区域的面积，然后通过脂肪粒的参考面积滤除掉非脂肪粒区域，从而确定上述脂肪粒所在的区域。实施本申请实施例，通过统计像素点个数的方式可以准确、高效的计算上述候选区域的面积，提高面积计算的准确率。

104、将包括上述脂肪粒所在的区域的上述目标图像输入到神经网络，输出上述目标图像中上述脂肪粒的检测结果。

本申请实施例中，通过上述边缘检测得到的候选区域中，可以包括脂肪粒所在区域，也可能包括痘痘、黑痣等区域。因此需要将通过脂肪粒所在区域的上述目标图像输入到神经网络中去，进行进一步的检测。参见图6，图6是本申请实施例提供的一种脂肪粒检测结果图，如图6所示，上述图像检测装置可以标记上述脂肪粒所在的区域，将该脂肪粒所在的区域的上述目标图像输入到训练好的神经网络中，通过该神经网络可以输出脂肪粒的检测结果，如脂肪粒的位置和数量。举例来说，若该图像检测装置为手机，且该手机中安装有上述图像检测方法的app应用软件，当通过该手机获取到人脸图像，则该app应用软件可以检测到该人脸图像中的脂肪粒的异物分布情况。实施本申请实施例，可以通过手机等图像检测装置方便快捷的检测脂肪粒的分布情况，提高用户体验。

其中，上述神经网络可以为alexnet神经网络、深度卷积神经网络(visualgeometrygroup，vgg)、残差网络resnet，多目标检测算法(thesingleshotdetector，ssd)，目标检测神经网络(youonlylookonce，yolo)等等。可理解，本申请实施例中对于具体的神经网络不作限定。实施本申请实施例，可以通过上述神经网络输出上述脂肪粒的检测结果(如脂肪粒的位置和数量)，提高检测精度。

实施本申请实施例，通过确定目标图像，对目标图像进行边缘检测，能够尽可能地将类似脂肪粒或脂肪粒划分为面积大小不同的候选区域；然后通过计算这些候选区域的面积筛选出可能为脂肪粒所在的区域；并将包含脂肪粒所在的区域的目标图像输入到神经网络中，输出脂肪粒的检测结果，提高了脂肪粒检测的准确率。

本申请实施例神经网络可由卷积层、非线性层、池化层等网络层按照一定方式堆叠设计而成，本申请实施例对具体的网络结构并不限制。设计好神经网络结构后，可基于带有标注信息的正、负样本图像，采用监督方式对设计好的神经网络进行反向梯度传播等方法进行成千上万次的迭代训练，具体的训练方式本申请实施例并不限制。

对于图1所示的图像检测方法，神经网络为已训练好的网络模型，即对网络模型进行训练，而得到的神经网络。因此，本申请实施例还提供了一种训练网络模型的方法，参见图7，图7是本申请实施例提供的一种神经网络训练方法的流程示意图，如图7所示，该训练方法包括：

701、获取训练样本，上述训练样本包括正样本和负样本，其中，上述正样本为包含参考数量的脂肪粒的图像，上述负样本为不包含脂肪粒的图像。

本申请实施例中，上述训练样本包括正样本和负样本，上述正样本为包含参考数量的脂肪粒图像，即上述正样本中的脂肪粒的数量是已知的，上述负样本为不包含脂肪粒的图像。其中，上述图像检测装置可以获取上述训练样本图像，也可以通过其他装置获取该训练样本图像。其中，当上述图像检测装置获取到的训练样本(即正样本和负样本)数据量太少的时候，可以通过数据增强的方式增强训练样本的数据量。具体的，可以通过人工增加训练集的大小实现数据增强，具体的，可以通过平移、翻转、加噪声等方法从已经获取到的训练样本中创造出一批新数据。举例来说，可以通过上述图像检测装置获取6000个训练样本(即正样本和负样本)，其中，该6000个训练样本包括4000个训练集、1000个验证集(用于调参)以及1000个测试集(用于评估模型)。可理解，本申请实施例中对于如何获取训练样本以及训练样本的及具体数量不作限定。实施本申请实施例，通过获取大量的训练样本，提高训练精确率。

702、将上述正样本和上述负样本输入至上述神经网络，训练上述神经网络。

本申请实施例中，可以将上述获取到的训练样本，即上述正样本和上述负样本输入到上述神经网络，并训练该神经网络。

为了说明该神经网络的具体训练过程，本申请实施例将以该神经网络为alexnet神经网络为例进行说明。

因此，本申请实施例中，提供了一种alexnet神经网络的训练过程。

具体的，由于上述训练样本(即正样本和负样本)图像的分辨率可能不一致，且神经网络要求输入的训练样本具有相同的尺寸，因此，本实施例中统一设置训练样本图像的分辨率为256*256。然后，构造alexnet神经网络结构，传统的神经网络为[conv1，pool1，normal，conv2，norm2，pool2，fc1，fc2，f3]，本实施例中，修改传统的神经网络结构为[conv1，pool1，bn，conv2，bn，pool2，conv3，bn，conv4，fc]。

具体的，可采集6000个训练样本，其中，该6000个训练样本包括4000个训练集、1000个验证集(用于调参)以及1000个测试集(用于评估模型)。并且将该4000个训练集平均分为m组数据，并且保证每一组的正样本和负样本的比例为1:3，并且设置合适的learning-rate(学习率)。

在训练过程中，由于该神经网络训练前期学习较快，当该神经网络学习到一定程度的时候学习速度会变慢，因此需要降低learning-rate，如可以将该learning-rate除以10，以保证该神经网络学习速度的稳定性。

其中，通过上述4000个训练集训练该神经网络，并通过上述1000个验证集调整该神经网络的参数，并且通过上述1000个测试集测试该神经网络的稳定性，最终完成对该神经网络的训练。实施本实施例，通过上述方法进行训练，能够有效提高检测精度。可理解，本申请实施例中对于该神经网络具体是什么，以及该神经网络具体的训练方式不作限定。

实施本申请实施例，通过大量的训练样本，以及通过该训练样本中不同的训练集的不同作用训练该神经网络，可有效保证训练过程的完整性，有效提高了该神经网络的准确率。

可理解，图1和图7所示的方法实施例各有侧重，其中一个实施例中未详尽描述的实现方式还可参考其他实施例。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

参见图8，图8是本申请实施例提供的一种图像检测装置的结构示意图，如图8所示，该图像检测装置包括：

第一确定单元801，用于确定目标图像，上述目标图像为待检测脂肪粒的图像；

检测单元802，用于对上述目标图像进行边缘检测，得到候选区域；

第二确定单元803，用于根据上述候选区域的面积以及参考面积确定上述脂肪粒所在的区域，上述参考面积为上述脂肪粒的参考面积；

输入输出单元804，用于将包括上述脂肪粒所在的区域的上述目标图像输入到神经网络，输出上述脂肪粒所在的区域中上述脂肪粒的检测结果。

可选的，参见图9，图9是本申请实施例提供的另一种图像检测装置的结构示意图，如图9所示，上述装置还包括：

预处理单元805，用于对上述目标图像进行预处理，得到预处理之后的上述目标图像，上述预处理用于增强上述目标图像中上述脂肪粒的显示效果；

上述检测单元802，还用于对预处理之后的上述目标图像进行边缘检测，得到上述候选区域。

可选的，参见图10，图10是本申请实施例提供的一种预处理单元的结构示意图，如图10所示，上述预处理单元805包括以下任意一项或多项：

灰度化子单元8051，用于对上述目标图像进行灰度化处理，得到灰度图像；

掩膜子单元8052，用于对上述目标图像进行掩膜处理，得到掩膜图像；

高斯模糊子单元8053，用于对上述目标图像进行高斯模糊处理，得到高斯模糊图像；

二值化子单元8054，用于对上述目标图像进行二值化处理，得到二值化图像；

形态学子单元8055，用于对上述目标图像进行形态学处理，得到形态学图像。

可选的，参见图11，图11是本申请实施例提供的一种第二确定单元的结构示意图，如图11所示，上述第二确定单元803包括：

计算子单元8031，用于通过计算上述候选区域的像素点个数，得到上述候选区域的面积；

确定子单元8032，用于根据上述候选区域的面积以及参考面积确定上述脂肪粒所在的区域。

可选的，参见图9，图9是本申请实施例提供的另一种图像检测装置的结构示意图，如图9所示，上述装置还包括：

获取单元806，用于获取训练样本，上述训练样本包括正样本和负样本，其中，上述正样本为包含参考数量的脂肪粒的图像，上述负样本为不包含脂肪粒的图像；

训练单元807，用于将上述正样本和上述负样本输入至上述神经网络，训练上述神经网络。

参见图12，图12是本申请实施例提供的又一种图像检测装置的结构示意图，该图像检测装置包括处理器1201、存储器1202和输入输出接口1203，上述处理器1201、存储器1202和输入输出接口1203通过总线相互连接。

存储器1002包括但不限于是随机存储记忆体(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、或便携式只读存储器(compactdiscread-onlymemory，cd-rom)，该存储器1202用于相关指令及数据。

输入输出接口1203，例如可通过该输入输出接口与其他装置进行通信等。

处理器1201可以是一个或多个中央处理器(centralprocessingunit，cpu)，在处理器1201是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。

具体的，各个操作的实现还可以对应参照图1和图7所示的方法实施例的相应描述。以及各个操作的实现还可对应参照图8、图9、图10以及图11所示的装置实施例的相应描述。

如在一个实施例中，处理器1201可用于执行步骤101、步骤102以及步骤103所示的方法，又如该处理器1201还可用于执行第一确定单元801、检测单元802以及第二确定单元803等所执行的方法。

可以理解的是，图12仅仅示出了图像检测装置的简化设计。在实际应用中，数据处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入输出接口、处理器、存储器等，而所有可以实现本申请实施例的图像检测装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。