应用于电子设备的图像处理、装置、计算设备、介质的制作方法

本公开涉及计算机技术领域，特别是涉及一种应用于电子设备的图像处理方法、一种应用于电子设备的图像处理装置、一种计算设备以及一种计算机可读介质。

背景技术：

随着人工智能的快速发展，人脸识别技术在教育、公共安全、互联网、金融等行业的应用越来越广泛。例如，在金融领域，人脸识别技术已经应用在支付结算、运营管理、风险防控等业务场景，帮助业务部门降低操作风险、经营成本，提高经营管理能力。人脸识别通常是由各个终端(手机、平板、atm、摄像头等)拍摄图像并上传，经过特征提取算法进行人脸特征提取，然后利用人脸识别算法进行人脸匹配搜索，最后得到用户的身份。由于各终端上传图像均由用户自己拍摄或摄像机自行抓取，导致拍摄过程中受各种因素影响而产生低质量人脸图像。例如，一方面，由于光照、背景等不断变化导致拍摄质量低；另一方面，拍摄过程中由于的人脸转向、运动、遮挡、表情等，导致生成模糊、非正脸的低质量人脸图像。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：在相关技术中，将低质量的人脸图像用于人脸识别，不仅会降低整个系统的人脸识别率，而且由于人脸识别过程中引起特征计算复杂度增加，造成计算资源浪费。

技术实现要素：

本公开的一个方面提供了一种应用于电子设备的图像处理方法，包括：获取目标用户的请求数据，其中，所述请求数据包括所述目标用户的用户图像，所述请求数据用于请求所述电子设备允许所述目标用户执行相关操作，处理所述用户图像，得到所述用户图像的图像质量，所述图像质量表征所述用户图像能够被所述电子设备成功识别的概率，响应于所述图像质量满足预设条件，基于所述用户图像确定所述目标用户的目标身份信息，响应于所述目标身份信息为预设身份信息，允许所述目标用户执行所述相关操作。

可选地，上述方法还包括：响应于所述图像质量不满足预设条件，生成提示信息，以便提示所述电子设备重新获取所述目标用户的用户图像。

可选地，上述图像质量包括：质量分数。所述响应于所述图像质量满足预设条件，基于所述用户图像确定所述目标用户的目标身份信息，包括：确定所述质量分数是否大于预设阈值，响应于确定所述质量分数大于预设阈值，基于所述用户图像确定所述目标用户的目标身份信息。

可选地，上述用户图像包括面部图像。所述处理所述用户图像，得到所述用户图像的图像质量，包括：处理所述面部图像，得到至少一个图像特征，基于所述至少一个图像特征，确定所述面部图像的图像质量。

可选地，上述至少一个图像特征包括以下至少一项：对比度特征、亮度特征、模糊度特征、面部纹理特征、面部角度特征。

可选地，上述处理所述用户图像，得到所述用户图像的图像质量，包括：获取经训练的卷积神经网络模型，利用所述卷积神经网络模型处理所述用户图像，得到所述用户图像的图像质量。

可选地，上述卷积神经网络模型包括多个层级，所述多个层级中目标层级的输入数据包括：上一层级的输出数据以及所述目标层级之前所有层级的输入数据。

本公开的另一个方面提供了一种应用于电子设备的图像处理装置，包括：获取模块、处理模块、确定模块以及响应模块。其中，获取模块，获取目标用户的请求数据，其中，所述请求数据包括所述目标用户的用户图像，所述请求数据用于请求所述电子设备允许所述目标用户执行相关操作。处理模块，处理所述用户图像，得到所述用户图像的图像质量，所述图像质量表征所述用户图像能够被所述电子设备成功识别的概率。确定模块，响应于所述图像质量满足预设条件，基于所述用户图像确定所述目标用户的目标身份信息。响应模块，响应于所述目标身份信息为预设身份信息，允许所述目标用户执行所述相关操作。

可选地，上述装置还包括：生成模块，响应于所述图像质量不满足预设条件，生成提示信息，以便提示所述电子设备重新获取所述目标用户的用户图像。

可选地，上述图像质量包括：质量分数。所述响应于所述图像质量满足预设条件，基于所述用户图像确定所述目标用户的目标身份信息，包括：确定所述质量分数是否大于预设阈值，响应于确定所述质量分数大于预设阈值，基于所述用户图像确定所述目标用户的目标身份信息。

可选地，上述用户图像包括面部图像。所述处理所述用户图像，得到所述用户图像的图像质量，包括：处理所述面部图像，得到至少一个图像特征，基于所述至少一个图像特征，确定所述面部图像的图像质量。

可选地，上述至少一个图像特征包括以下至少一项：对比度特征、亮度特征、模糊度特征、面部纹理特征、面部角度特征。

可选地，上述处理所述用户图像，得到所述用户图像的图像质量，包括：获取经训练的卷积神经网络模型，利用所述卷积神经网络模型处理所述用户图像，得到所述用户图像的图像质量。

可选地，上述卷积神经网络模型包括多个层级，所述多个层级中目标层级的输入数据包括：上一层级的输出数据以及所述目标层级之前所有层级的输入数据。

本公开的另一方面提供了一种计算设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

本公开的另一方面提供了一种非易失性可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的图像处理方法和图像处理装置的系统架构；

图2示意性示出了根据本公开实施例的应用于电子设备的图像处理方法的流程图；

图3示意性示出了根据本公开另一实施例的应用于电子设备的图像处理方法的流程图；

图4示意性示出了本公开实施例的卷积神经网络的整体结构图；

图5示意性示出了本公开实施例卷积块层的结构图；

图6～10示意性示出了本公开实施例全连接网络部分的结构图；

图11示意性示出了本公开实施例的线性模型的结构图；

图12示意性示出了根据本公开实施例应用于电子设备的图像处理装置的框图；

图13示意性示出了根据本公开另一实施例应用于电子设备的图像处理装置的框图；以及

图14示意性示出了根据本公开实施例的用于实现图像处理的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程控制装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

本公开的实施例提供了一种应用于电子设备的图像处理方法，包括：获取目标用户的请求数据，其中，请求数据包括目标用户的用户图像，请求数据用于请求电子设备允许目标用户执行相关操作，处理用户图像，得到用户图像的图像质量，图像质量表征用户图像能够被电子设备成功识别的概率，响应于图像质量满足预设条件，基于用户图像确定目标用户的目标身份信息，响应于目标身份信息为预设身份信息，允许目标用户执行相关操作。

图1示意性示出了根据本公开实施例的图像处理方法和图像处理装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的图像处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，本公开实施例的目标用户的请求数据可以存储在终端设备101、102、103中，通过终端设备101、102、103将目标用户的请求数据发送至服务器105中，服务器105可以处理请求数据中的用户图像，得到用户图像的图像质量，以及确定目标用户的目标身份信息。另外，目标用户的请求数据还可以由服务器105接收并直接存储在服务器105中，由服务器105直接处理请求数据中的用户图像，得到用户图像的图像质量，以及确定目标用户的目标身份信息。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面结合图1的系统架构，参考图2～图11来描述根据本公开示例性实施方式的应用于电子设备的图像处理方法。需要注意的是，上述系统架构仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

图2示意性示出了根据本公开实施例的应用于电子设备的图像处理方法的流程图。

如图2所示，该方法可以包括操作s210～s240。

在操作s210，获取目标用户的请求数据，其中，请求数据包括目标用户的用户图像，请求数据用于请求电子设备允许目标用户执行相关操作。

根据本公开实施例，相关操作例如包括支付操作、登录操作等等。例如，以相关操作为支付操作举例，当目标用户需要进行支付时，通常通过终端(例如手机、atm、摄像头)获取目标用户的用户图像，并将用户图像发送至电子设备，便于电子设备基于用户图像识别目标用户的身份。

其中，电子设备可以是服务器或者是终端。其中，服务器例如可以是支付机构的后台服务器，例如可以是银行后台服务器。

根据本公开实施例，由于用户图像是由用户自己拍摄或者摄像机自行抓取，因此容易获取质量低的用户图像。例如，拍摄过程中受各种环境因素影响可能导致获取的用户图像不清晰，导致用户图像的识别率低，或者由于拍摄角度影响用户图像的识别率。具体地，例如在拍摄过程中，由于光照、拍摄背景等不断变化，影响拍摄质量。或者，在拍摄过程中由于用户面部存在转向、运动、遮挡、表情变化等，产生模糊、非正面的低质量用户图像。

因此，为了避免识别低质量的用户图像，在识别用户图像得到目标用户的身份信息之前，可以首先判断用户图像的图像质量。

在操作s220，处理用户图像，得到用户图像的图像质量，图像质量表征用户图像能够被电子设备成功识别的概率。

在本公开实施例中，图像质量越高，用户图像越容易被识别成功。本公开实施例在识别用户图像得到用户身份之前，可以首先处理用户图像得到图像质量。

在操作s230，响应于图像质量满足预设条件，基于用户图像确定目标用户的目标身份信息。

根据本公开实施例，图像质量满足预设条件包括图像质量较高，用户图像容易被识别成功。在确定图像质量满足预设条件之后，可以进一步识别用户图像，以便确认目标用户的身份信息。

在操作s240，响应于目标身份信息为预设身份信息，允许目标用户执行相关操作。

根据本公开实施例，预设身份信息例如可以是存储于银行后台的多个用户的身份信息。如果目标用户的目标身份信息为预设身份信息，表明目标用户为合法用户，则可以允许目标用户执行支付操作。

本公开实施例在识别目标用户的身份信息之前，首先判断用户图像的图像质量是否满足预设条件，如果图像质量满足预设条件，则表明用户图像质量高，被成功识别的概率较大，并进一步识别目标用户的身份信息，在确定目标用户为合法用户之后，允许目标用户执行相关操作。在本公开实施例中，由于识别低质量图像的过程中，需要进行大量复杂的计算，容易造成计算资源的浪费，因此，通过本公开实施例，去除低质量的用户图像，提高了图像识别的成功率，避免了计算资源的浪费。

在本公开实施例中，用户图像例如包括面部图像。上述操作s220例如可以包括：处理面部图像，得到至少一个图像特征，基于至少一个图像特征，确定面部图像的图像质量。其中，图像特征例如可以包括：对比度特征、亮度特征、模糊度特征、面部纹理特征、面部角度特征等等。

例如，可以通过神经网络来处理目标用户的面部图像，得到面部图像的多个图像特征，并基于多个图像特征确定图像质量。其中，神经网络例如可以包括卷积神经网络。

本公开实施例中，可以将影响图像质量的多个因素融合到一个模型中。具体地，通过卷积神经网络可以识别出面部图像的多个图像特征，并进一步确定图像质量。

在本公开实施例中，图像质量包括质量分数。上述操作s230例如可以包括：确定质量分数是否大于预设阈值，响应于确定质量分数大于预设阈值，基于用户图像确定目标用户的目标身份信息。

根据本公开实施例，例如质量分数越高表征图像质量越高。其中，质量分数例如可以是具体的数值，例如质量分数可以是0～1之内的任意数值。其中，预设阈值例如可以是0.8，当用户图像的质量分数大于0.8时，表征用户图像的为高质量图像，此时，可以进一步识别用户图像以确定目标用户是否为合法用户。

图3示意性示出了根据本公开另一实施例的应用于电子设备的图像处理方法的流程图。

如图3所示，该方法可以包括操作s210～s240以及操作s310。其中，操作s210～s240与上参考图2描述的操作相同或类似，在此不再赘述。

在操作s310，响应于图像质量不满足预设条件，生成提示信息，以便提示电子设备重新获取目标用户的用户图像。

根据本公开实施例，如果图像质量不满足预设条件，表征图像为低质量图像，如果进一步识别该用户图像，需要进行大量复杂的计算，容易造成计算资源的浪费。因此，当图像质量不满足预设条件时，不会进一步识别该用户图像，而是生成提示信息，以提示用户重新拍摄图像或者控制摄像头重新拍摄图像。

其中，图像质量不满足预设条件例如可以是用户图像的质量分数低于或等于预设阈值，例如质量分数低于或等于0.8。

根据本公开实施例，上述操作s220例如可以包括：获取经训练的卷积神经网络模型，利用卷积神经网络模型处理用户图像，得到用户图像的图像质量。

根据本公开实施例，卷积神经网络模型包括多个层级，多个层级中目标层级的输入数据包括：上一层级的输出数据以及目标层级之前所有层级的输入数据。

例如，该卷积神经网络采用全连接(denseconnectivity)的方式，即，卷积神经网络中当前层级的输入包括上一层级的输出数据以及之前所有层级的输入数据，利于提高层级之间的数据流的联系，尽可能保留各个层级所学习到的图像特征，避免各个层级所学习到的图像特征被丢弃。

根据本公开实施例，卷积神经网络采用全连接(denseconnectivity)的方式如下描述。

xl＝hl([x0，x1，...，xl-1])

其中，xl为l层的输入，x0，x1，...，xl-1为第0层到l-1层的输出特征图像，hl是一个组合函数，其中包括batchnormalization(bn)、relu激活函数和一个卷积操作。这种结构可以减少网络参数，避免某些网络层被选择性丢弃。使用全连接的方式可以减轻了梯度消失现象，加强特征的传递，更有效地利用了每一层的特征，并在一定程度上减少了参数数量。

为了便于理解采用卷积神经网络获取图像质量，在具体介绍采用卷积神经网络获取图像质量之前，首先介绍优化网络卷积层结构的两种方式。

第一种方式：采用bottleneck结构来优化网络卷积层结构。

根据本公开实施例，bottleneck，即瓶颈，顾名思义，就是中间窄，两头宽，输入和输出通道数保持，但是在中间进行卷积时，减少卷积核个数，也即产生的新通道数，从而达到减少参数的效果。例如，传统方式通过128×3×3的卷积核，可以对一个128通道的输入进行卷积，输出结果为128的通道。然而，bottleneck会先用一个96×1×1的卷积核先将通道数降下来，然后再用96×3×3的卷积核进行卷积操作，最后再通过128×1×1的卷积核将通道数重新扩展为128。

例如，对于传统方式，假设输入通道数为m，对图像使用n个k*k的卷积核，不考虑偏差(bias)，则一次卷积产生的参数个数为：

sum(conv)＝m*k²*n

如果采用bottleneck，假设通道数下降到m’，同样进行k*k的卷积后进行扩展到n，则一次bottleneck产生的参数个数为：

sum(bottleneck)＝m*1*1*m’+m’*k²*m’+m’*1*1*n

＝m’+m’²k²+m’n

假设m为128，m’为96，k为3，n为128，那么，

即参数个数少了近四分之一，随着网络的复杂度加深，参数个数的减少也会越来越明显，对模型训练速度的提升起到了关键作用。

第二种方式：采用depthwiseseparableconvolution来优化网络卷积层结构。

对于计算机来说，乘除法操作比加减法操作更消耗时间，而在卷积神经网络中又充满大量的乘法操作，有效的模型加速方法就是尽可能多地减少乘法操作。通常，一层卷积层所需要的计算如下：

例如，对于传统方式，假设图像f，长和宽均为df，通道数为m，用n个dk*dk大小的卷积核对f进行卷积，得到图像g，大小为dg*dg*n，卷积会沿着f滑动dg*dg次，那么整个过程中乘法计算的次数为：

如果使用depthwiseseparableconvolution可以有效减少乘法计算的次数，它主要分为两个步骤(1)～(2)：

(1)depthwiseconvolution，一个卷积核对应一个通道进行卷积卷积，即对f的每个通道都给一卷积核，该卷积核只在自己的通道上进行卷积，此步骤所需的乘法计算次数为：

(2)pointwiseconvolution，对(1)的结果用1*1的卷积核对所有通道进行卷积，卷积核的个数为n，这样得到的新图像g尺寸(长宽)就和普通卷积操作的结果一致了，此步骤所需的乘法计算次数为：

那么，总的乘法计算次数为：

假设n为1024，dk为3，两种方式的比值为0.112，也就是说采用depthwiseseparableconvolution可以减少约9倍的乘法计算次数，性能得到极大地提升。

接下来，将参考图4～图11描述采用卷积神经网络获取图像质量的过程。

图4示意性示出了本公开实施例的卷积神经网络的整体结构图。

如图4所示，卷积神经网络的整体结构图包括：模型输入(iutput)410、卷积块层(conv)420、block430，线性模型(linearmodel)440以及模型输出(output)450。接下来详细解释图4所示根据本公开实施例的各个组件的结构及功能。

模型输入410：模型输入410例如包括用户图像。

卷积块层420：卷积块层420例如首先对用户图像进行depthwiseseparableconvolution操作。例如，用户图像f的长和宽均为df，通道数为m，用n1个dk*dk大小的卷积核对用户图像f进行卷积，其中，卷积会沿着用户图像f滑动dg*dg次，得到特征图像g，大小为dg*dg*n1，其中，n1为通道数。

block430：block430接收来自卷积块层420的特征图像g，并对特征图像g进行处理，得到特征图像h。

线性模型440：卷积神经网络模型最后通过一个线性模型440处理特征图像h，得到用户图像的质量分数，质量分数例如为0～1的实数。

模型输出450：例如将质量分数作为模型的输出。

图5示意性示出了本公开实施例卷积块层的结构图。

如图5所示，卷积块层420例如包括dropout421、depthwiseconv422和423、pointwiseconv424、batchnormalization425、relu426以及maxpooling427。接下来详细解释图5所示根据本公开实施例的各个组件的结构及功能。

dropout421：即随机失活，dropout层可以减少噪声和数据缺失带来的影响，通常在数据缺失的情况下，模型容易出现过拟合现象，dropout可以通过学习，对模型中的节点进行一定概率地暂时性丢弃，这样可以降低模型对数据的依赖，再通过卷积和池化，去除图像表面较浅的特征。

depthwiseconv422和423：该两层depthwiseconv通过一个卷积核对应一个通道进行卷积卷积，即对用户图像f的每个通道都给一卷积核，该卷积核只在自己的通道上进行卷积。

例如，用户图像f的长和宽均为df，通道数为m(通道数例如为3)，两层depthwiseconv例如通过3个3*3的卷积核对用户图像f进行卷积操作，得到特征图像f’，特征图像f’的通道数为3。

pointwiseconv424：用1*1的卷积核对特征图像f’的所有通道进行卷积，卷积核的个数为n1，其中，n1例如为32，这样得到的特征图像g’的大小例如为d2*g*d2*g*n1，其中，n1为通道数。

batchnormalization425：用于实现网络收敛。

relu426：即激活函数。

maxpooling427：即最大池化层，例如包括2*2的卷积核。特征图像g’通过最大池化层后，这样得到的特征图像g的大小为dg*dg*n1，其中，n1为通道数，n1例如为32。

图6～10示意性示出了本公开实施例全连接网络部分的结构图。

如图6所示，block430例如包括三个全连接层模块组成，例如包括block431、block432、block433。接下来详细解释图6所示根据本公开实施例的各个组件的结构及功能。

其中，每个block包括denseblock和transitionblock。

例如，block431包括denseblock431a和transitionblock431b。例如，block432包括denseblock432a和transitionblock432b。例如，block433包括denseblock433a和transitionblock433b。

如图7所示，图7适应性示出denseblock431a的结构。其中，本公开实施例中denseblock431a、denseblock432a、denseblock433a的结构例如相同，因此仅以denseblock431a举例。另外，图7中的lastlayer’soutput例如为上一层的输出。

其中，denseblock是全连接卷积网络的主要结构，每个denseblock均包含三个卷积块a，b，c。其中，每一层的输入都是上一层的输出与前面所有层的输入的拼接而成，每个卷积块都是先连接batchnormalization层和relu激活函数，这种结构可以加速训练并且让模型有更好的效果。每个卷积块都是先用1×1的卷积核进行升维，然后再进行卷积操作，这里需要使用half模式的padding，使输出的特征图像长宽与输入时的特征图像长宽一致。具体地，卷积块a升维到64个通道(卷积核)，卷积输出的特征图像为32个通道，卷积块b升维到128个通道(卷积核)，卷积输出的特征图像为64个通道，卷积块c升维到256个通道(卷积核)，卷积输出的特征图像为128个通道。

其中，每一个denseblock后都需要连接一个transitionblock，因此，三个denseblock对应有三个transitionblock。这三个transitionblock整体结构上没有太大差异，都是先进行batchnormalization和relu处理，然后进行卷积，最后进行采样操作，唯一有区别的地方在于每个transitionblock的卷积核参数不同，例如三个transitionblock的卷积核参数分别为128、256、512。

如图8～10所示，图8适应性示出transitionblock431b的结构。图9适应性示出transitionblock432b的结构。图10适应性示出transitionblock433b的结构。

例如，来自卷积块层420的特征图像g的通道为n1，n1例如为32。特征图像g依次经过denseblock431a的卷积块a，b，c之后，得到特征图像h1的通道例如为128。特征图像h1经过transitionblock431b之后，得到特征图像h2的通道例如为128。

接下来，特征图像h2依次经过denseblock432a的卷积块a，b，c之后，得到特征图像h3的通道为128。特征图像h3经过transitionblock432b之后，得到特征图像h4的通道例如为256。

接下来，特征图像h4依次经过denseblock433a的卷积块a，b，c之后，得到特征图像h5的通道例如为128。特征图像h5经过transitionblock433b之后，得到特征图像h6的通道例如为512。

图11示意性示出了本公开实施例的线性模型的结构图。

如图11所示，线性模型440例如包括：spatialparymidpooling、dense_1、batchnormalization和relu、dense_2。接下来详细解释图11所示根据本公开实施例的各个组件的结构及功能。

例如，来自block430的特征图像h6的通道为512。该特征图像h6经过spatialparymidpooling(spp，空间金字塔池化层)之后，得到512个数值，其中，spp结构可以使模型在接受不同尺寸图像输入后依然可以得到正确结果。

例如，来自spatialparymidpooling的512个数值经过dense_1(256维的全连接层)之后，得到256个数值。该256个数值经过batchnormalization和relu层，再经过dense_2(1维的全连接层，其中，激活函数为线性函数linear)之后，得到一个0～1的数值。

根据本公开实施例，卷积神经网络模型最终将提取的特征映射为一个0～1的数值，该数值即为用户图像的质量分数，其中，质量分数越接近1，图像质量越高。

图12示意性示出了根据本公开实施例应用于电子设备的图像处理装置的框图。

如图12所示，应用于电子设备的图像处理装置1200可以包括获取模块1210、处理模块1220、确定模块1230以及响应模块1240。

获取模块1210可以用于获取目标用户的请求数据，其中，请求数据包括目标用户的用户图像，请求数据用于请求电子设备允许目标用户执行相关操作。根据本公开实施例，获取模块1210例如可以执行上文参考图2描述的操作s210，在此不再赘述。

处理模块1220可以用于处理用户图像，得到用户图像的图像质量，图像质量表征用户图像能够被电子设备成功识别的概率。根据本公开实施例，处理模块1220例如可以执行上文参考图2描述的操作s220，在此不再赘述。

确定模块1230可以用于响应于图像质量满足预设条件，基于用户图像确定目标用户的目标身份信息。根据本公开实施例，确定模块1230例如可以执行上文参考图2描述的操作s230，在此不再赘述。

响应模块1240可以用于响应于目标身份信息为预设身份信息，允许目标用户执行相关操作。根据本公开实施例，响应模块1240例如可以执行上文参考图2描述的操作s240，在此不再赘述。

图13示意性示出了根据本公开另一实施例应用于电子设备的图像处理装置的框图。

如图13所示，应用于电子设备的图像处理装置1300可以包括获取模块1210、处理模块1220、确定模块1230、响应模块1240以及生成模块1310。其中，获取模块1210、处理模块1220、确定模块1230以及响应模块1240与上参考图12描述的模块相同或类似，在此不再赘述。

生成模块1310可以用于响应于图像质量不满足预设条件，生成提示信息，以便提示电子设备重新获取目标用户的用户图像。根据本公开实施例，生成模块1310例如可以执行上文参考图3描述的操作s310，在此不再赘述。

根据本公开实施例，图像质量包括：质量分数。响应于图像质量满足预设条件，基于用户图像确定目标用户的目标身份信息，包括：确定质量分数是否大于预设阈值，响应于确定质量分数大于预设阈值，基于用户图像确定目标用户的目标身份信息。

根据本公开实施例，用户图像包括面部图像。处理用户图像，得到用户图像的图像质量，包括：处理面部图像，得到至少一个图像特征，基于至少一个图像特征，确定面部图像的图像质量。

根据本公开实施例，至少一个图像特征包括以下至少一项：对比度特征、亮度特征、模糊度特征、面部纹理特征、面部角度特征。

根据本公开实施例，处理用户图像，得到用户图像的图像质量，包括：获取经训练的卷积神经网络模型，利用卷积神经网络模型处理用户图像，得到用户图像的图像质量。

根据本公开实施例，卷积神经网络模型包括多个层级，多个层级中目标层级的输入数据包括：上一层级的输出数据以及目标层级之前所有层级的输入数据。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块1210、处理模块1220、确定模块1230、响应模块1240以及生成模块1310中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块1210、处理模块1220、确定模块1230、响应模块1240以及生成模块1310中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块1210、处理模块1220、确定模块1230、响应模块1240以及生成模块1310中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图14示意性示出了根据本公开实施例的用于实现图像处理的计算机系统的方框图。图14示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，计算机系统1400包括处理器1401、计算机可读存储介质1402。该系统1400可以执行根据本公开实施例的方法。

具体地，处理器1401例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器1401还可以包括用于缓存用途的板载存储器。处理器1401可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质1402，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

计算机可读存储介质1402可以包括计算机程序1403，该计算机程序1403可以包括代码/计算机可执行指令，其在由处理器1401执行时使得处理器1401执行根据本公开实施例的方法或其任何变形。

计算机程序1403可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1403中的代码可以包括一个或多个程序模块，例如包括1403a、模块1403b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1401执行时，使得处理器1401可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，获取模块1210、处理模块1220、确定模块1230、响应模块1240以及生成模块1310中的至少一个可以实现为参考图14描述的计算机程序模块，其在被处理器1401执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现上述方法。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。