图像处理方法、装置、存储介质及电子设备与流程

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术：

目前，关键点检测主要为对人体关键点的检测，也即是检测人体的一些关键点，如眼睛、鼻子、手肘、肩膀等，并将它们按照肢体顺序依次连接，通过这些人体关键点来描述人体。然而，相关技术中，将关键点检测分为两部分执行：人体检测和单人人体关键点检测，即首先将图像中每一个人体单独检测出来，然后对每一个人体单独做关键点检测。该方法的检测速度与图像中人体个数呈线性增长的关系，并且需要额外的人体检测算法作为支撑，导致关键点检测的效率较低。

技术实现要素：

本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够提高关键点检测的效率。

本申请实施例提供的图像处理方法，包括：

获取需要进行关键点检测的待检测图像；

调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；

根据所述关键点位置信息以及所述关键点归属信息识别出归属于同一人体的人体关键点集合。

本申请实施例提供的图像处理装置，包括：

图像获取模块，用于获取需要进行关键点检测的待检测图像；

图像检测模块，用于调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；

人体识别模块，用于根据所述关键点位置信息以及所述关键点归属信息识别出归属于同一人体的人体关键点集合。

本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请提供的图像处理方法。

本申请实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行本申请提供的图像处理方法。

本申请通过获取需要进行关键点检测的待检测图像；调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。相较于相关技术，本申请无需人体检测算法作为前置支撑，可同时检测图像中所有人体的关键点，从而达到提高关键点检测效率的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的流程示意图。

图2是本申请实施例提供的关键点检测界面的示例图。

图3是本申请实施例提供的选择子界面的示例图。

图4是本申请实施例提供的关键点检测模型的结构示意图。

图5是本申请实施例中特征预测网络的结构示意图。

图6是本申请实施例中归属分支的结构示意图。

图7是本申请实施例中提供的图像处理方法的另一流程示意图。

图8是本申请实施例中输出提示信息的示例图。

图9是本申请实施例中定位点和构图点匹配的示例图。

图10是本申请实施例提供的图像处理装置的结构示意图。

图11是本申请实施例提供的电子设备的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

本申请实施例提供的方案涉及人工智能的机器学习技术，具体通过如下实施例进行说明:

本申请实施例提供一种图像处理方法、图像处理装置、存储介质以及电子设备，其中，该图像处理方法的执行主体可以是本申请实施例中提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器(包括但不限于通用处理器、定制化处理器等)而具有处理能力的设备。

请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图，本申请实施例提供的图像处理方法的流程可以如下：

在101中，获取需要进行关键点检测的待检测图像。

应当说明的是，本申请中所提及的关键点检测主要为对人体关键点的检测，也即是检测人体的一些关键点，如眼睛、鼻子、手肘、肩膀等，并将它们按照肢体顺序依次连接，通过这些人体关键点来描述人体。

其中，电子设备可以接收用户输入的关键点检测请求，并根据该关键点检测请求获取需要进行关键点检测的待检测图像，还可以自动识别需要进行关键点检测的待检测图像，并获取到该待检测图像以用于进行关键点检测。

比如，电子设备可以通过包括请求输入接口的关键点检测界面接收输入的关键点检测请求，如图2所示，该请求输入接口可以为输入框的形式，用户可以在该输入框形式的请求输入接口中键入需要进行关键点检测的图像的标识信息，并输入确认信息(如直接按下键盘的回车键)以输入关键点检测请求，该关键点检测请求携带有需要进行关键点检测的图像的标识信息。相应的，电子设备即可根据接收到的关键点检测请求中的标识信息获取到需要进行关键点检测的图像，记为待检测图像。

又比如，在图2所述的关键点检测界面中，还包括“打开”控件，一方面，电子设备在侦测到该打开控件触发时，将在关键点检测界面之上叠加显示选择子界面(如图3所示)，该选择子界面向用户提供可进行关键点检测的图像的缩略图，如图像a、图像b、图像c、图像d、图像e、图像f等图像的缩略图，供用户查找并选中需要进行关键点检测的图像的缩略图；另一方面，用户可以在选中需要进行关键点检测的图像的缩略图之后，触发选择子界面提供的确认控件，以向电子设备输入关键点检测请求，该关键点检测请求与用户选中的图像的缩略图相关联，指示电子设备将用户选中的图像作为需要进行关键点检测的待检测图像。

在102中，调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息。

示例性的，本申请中采用机器学习方法预先训练有关键点检测模型。其中，该关键点检测模型被配置为同时预测输入图像中所有的人体关键点及其归属的人体，其可以设置在电子设备本地，也可以设置在服务器。此外，本申请中对关键点检测模型的构型不做具体限制，可由本领域普通技术人员根据实际需要选择。

相应的，电子设备在获取到需要进行关键点检测的待检测图像之后，从本地或服务器调用预训练的关键点检测模型，并将获取到的待检测图像输入该关键点检测模型，得到关键点检测模型输出的关键点位置信息和关键点归属信息。其中，关键点位置信息用于描述待检测图像中存在的所有人体关键点，关键点归属信息用于描述每一人体关键点归属的人体。

比如，关键点位置信息描述了待检测图像中存在人体关键点a和人体关键点b，关键点归属信息描述了人体关键点a归属于人体甲，人体关键点b归属于人体乙。

在103中，根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。

如上所述，关键点位置信息描述了待检测图像中存在的所有人体关键点，关键点归属信息描述了每一人体关键点归属的人体，在得到对应待检测图像的关键点位置信息和关键点归属信息之后，电子设备即可根据关键点位置信息以及关键点归属信息识别出归属于同一人体的关键点集合，由此，即可同时实现对多人体的关键点检测。

本申请通过获取需要进行关键点检测的待检测图像；调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。相较于相关技术，本申请无需人体检测算法作为前置支撑，可同时检测图像中所有人体的关键点，从而达到提高关键点检测效率的目的。

在一实施例中，关键点检测模型包括特征提取网络和特征预测网络，调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息，包括：

(1)调用特征提取网络提取得到待检测图像的图像特征；

(2)调用特征预测网络对图像特征进行关键点检测，得到关键点位置信息和关键点归属信息。

请参照图4，在本申请实施例中，关键点检测模型由两部分组成，分别为用于特征提取的特征提取网络，用于关键点检测的特征预测网络。其中，特征提取网络可以是任意已知的特征提取网络，比如vgg、mobilenet以及resnet等，若使用较深层次的网络模型如vgg和resnet，则会增加模型的运算量，但能得到更高的检测精度，若使用轻量化的网络模型如mobilenet，则会损失一定的检测精度，但能获取更快的检测速度，具体可由本领域普通技术人员根据实际需要进行选择，本申请对此不作具体限制。

相应的，电子设备在调用关键点检测模型对待检测图像进行关键点检测时，可以首先调用关键点检测模型中的特征提取网络对待检测图像进行特征提取，得到待检测图像的图像特征，然后，再调用关键点检测模型中的特征预测网络根据待检测图像的图像特征进行关键点检测，得到对应待检测图像的关键点位置信息以及关键点归属信息。

比如，关键点位置信息的展现形式为关键点位置热图，其为一个height*width*keypoints的三维矩阵，其中，height和width分别表示高和宽，keypints表示人体关键点的数量，也就是说，每个人体关键点对应一个height*width的矩阵，矩阵中每个位置的值表示该人体关键点处于这个位置的可能性，值越大表示该人体关键点越有可能处于该位置。比如，可以取关键点位置热图中每个区域中最大值的位置得到对应的人体关键点，其中，可以对关键点位置热图进行最大池化，然后将池化前和池化后的关键点位置热图对比，取值相等的位置作为人体关键点。

另外，关键点归属信息的展现形式可以为整数的人体编号，即在检测的每一人体关键点位置处，特征预测模块均会预测一个整数作为人体编号，人体编号相同的人体关键点即归属于同一人体。

在一实施例中，特征预测网络包括位置分支和归属分支，调用特征预测网络对图像特征进行关键点检测，得到关键点位置信息和关键点归属信息，包括：

(1)调用位置分支对图像特征进行关键点位置检测，得到关键点位置信息；

(2)调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到关键点归属信息。

请参照图5，本申请实施例中，对关键点检测任务进行了分割，使用双分支网络来实现关键点检测，其中一条分支网络被配置为检测图像中存在的人体关键点，记为位置分支，另一条分支网络被配置为检测人体关键点所归属的人体，记为归属分支。相应的，电子设备在调用特征预测网络对图像特征进行关键点检测时，可以调用特征预测网络中的位置分支根据图像特征进行关键点位置检测，得到对应待检测图像的关键点位置信息。

此外，应当说明的是，在高层级语义信息中，人体关键点的归属是关键点位置的更深层次的特征信息，只有知道了准确的关键点位置，才能进行更精确的关键点归属的预测。基于此考虑，电子设备调用特征预测网络中的归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到对应待检测图像的关键点归属信息。

在一实施例中，位置分支包括卷积核尺寸为1*1的卷积单元。

在一实施例中，归属分支包括特征优化子模块、融合子模块以及输出子模块，调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到关键点归属信息，包括：

(1)调用特征优化子模块对图像特征进行优化处理，得到优化图像特征；

(2)调用融合子模块融合优化图像特征以及关键点位置信息得到融合特征；

(3)调用输出子模块对融合特征进行关键点位置检测，得到关键点位置信息。

请参照图6，在本申请实施例中，归属分支由三部分组成，分别为用于对图像特征做进一步提取以优化图像特征的特征优化子模块，用于融合优化后的图像特征以及关键点位置信息的融合子模块，用于对融合特征进行关键点归属检测到输出子模块。

相应的，电子设备在调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测时，可以调用归属分支中的特征优化子模块对图像特征进行优化处理，将优化后的图像特征记为优化图像特征；然后，调用融合子模块融合优化图像特征以及关键点位置信息得到融合特征；最后，调用输出子模块对融合特征进行关键点位置检测，得到对应待检测图像的关键点位置信息。

其中，特征优化子模块包括1*1的卷积单元，输出子模块包括1*1的卷积单元，融合子模块包括concat单元。

示例性的，以图像特征为特征图，关键点位置信息关键点位置热图为例，电子设备调用特征优化子模块对图像特征做进一步的卷积运算，实现对图像特征的优化，得到优化图像特征；然后，电子设备调用融合子模块对特征图和关键点位置热图进行通道的连接，实现特征融合，比如，特征图为19维，关键点位置热图为38维，经过融合子模块进行通道的连接之后，得到优化图像特征为19+38＝57维的特征图；最后，电子设备调用输出子模块对融合得到的优化图像特征再进行卷积运算，得到对应待检测图像的关键点归属信息。

在一实施例中，在获取需要进行关键点检测的待检测图像之前，还包括：

(1)获取样本图像以及对应样本图像的样本关键点位置信息，并构建关键点检测模型；

(2)调用关键点检测模型对样本图像进行关键点检测，得到预测关键点位置信息和预测关键点归属信息；

(3)根据样本关键点位置信息和预测关键点位置信息获取关键点位置损失，以及根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失；

(4)融合关键点位置损失以及关键点归属损失得到融合损失，并根据融合损失调整关键点检测模型的参数。

本申请实施例中还提供一种关键点检测模型的训练方案。

其中，电子设备首先获取样本图像以及对应样本图像的样本关键点位置信息，比如，可以从imagenet数据集中获取包括人体的图像作为样本图像，并根据样本图像进行标注得到对应的样本关键点位置信息。

此外，电子设备还构建关键点检测模型，该关键点检测模型的结构可以参照以上实施例中的相关描述，此处不再赘述。

然后，电子设备调用关键点检测模型对样本图像进行关键点检测，相应得到对应样本图像的预测关键点位置信息和预测关键点归属信息，其中，预测关键点位置信息描述了样本图像中存在的所有的人体关键点，预测关键点归属信息描述了每一人体关键点所归属的人体。

然后，电子设备根据样本关键点位置信息和预测关键点位置信息获取关键点位置损失，该关键点位置损失用于衡量预测关键点位置信息和样本关键点位置信息之间的差异。以样本关键点位置信息和预测关键点位置信息的展现形式均为热图(二者尺寸一致)为例，关键点位置损失可以表示为：

其中，l位置表示关键点位置损失，(i,j)表示坐标位置，p(i,j)表示预测关键点位置热图中位置(i,j)的值，g(i,j)表示样本关键点位置热图中位置(i,j)的值，width表示预测关键点位置热图的宽，height表示预测关键点位置热图的高。

另一方面，电子设备还根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失。应当说明的是，关键点归属损失不同于关键点位置损失，由于不同的样本图像中的人体个数不同，无法预先对样本图像中人体关键点的归属进行标注，即没有真实的人体关键点的归属作为训练目标。

在一实施例中，根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失，包括：

(1)根据预测关键点位置信息进行关键点聚类，得到归属不同人体的多个人体关键点集合；

(2)根据多个人体关键点集合以及预测关键点归属信息获取关键点归属损失。

本申请实施例中，采用聚类的思想进行处理，在模型的训练和预测过程中，每个关键点位置处均会预测一个整数作为人体编号，因此关键点归属损失需要保证训练是朝着“缩小相同人体的人体编号之间的差距，增大不同人体的人体编号之间的差距”这个目标进行，可以表示为：

采用聚类算法(可由本领域普通技术人员根据实际需要进行选择)根据预测关键点位置信息所描述的样本图像中的人体关键点进行关键点聚类，得到归属不同人体的多个人体关键点集合，其中，同一人体关键点集合中的人体关键点归属于同一人体。

根据预测关键点归属信息，对每一人体关键点集合所对应的人体编号值求平均，得到：

其中n表示第n个人体对应的人体关键点集合，k表示第k个关键点，k表示人体关键点的个数，hnk表示第n个人的第k个人体关键点处的人体编号；

计算每一人体关键点集合中的各人体关键点位置处的人体编号与该前述值的差距，并求平方和：

其中n表示人体关键点集合的个数；

计算不同人体关键点集合间的人体均值之间的差距，保证当某两个人体的人体编号之间的差距非常大时，该项损失为0，当某两个人体的人体编号之间的差距非常小时，该项损失较大，需要在训练过程中减小：

其中σ为常数，取经验值，n/n’∈[1，n]，且n≠n’；

l归属＝l1+l2；

其中l归属表示关键点归属损失。

本申请实施例中，在获取得到关键点位置损失以及关键点归属损失之后，电子设备还融合关键点位置损失以及关键点归属损失得到融合损失，可以表示为：

ltotal＝l位置+l归属；

其中，ltotal表示融合损失。

在得到融合损失之后，电子设备即根据融合损失调整关键点检测模型的参数，直至完成对关键点检测模型的训练。

在一实施例中，获取需要进行关键点检测的待检测图像，包括：

(1)当电子设备使能拍摄功能时，获取拍摄场景的预览图像，并将预览图像作为待检测图像；

根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合之后，还包括：

(2)根据识别出的人体关键点集合确定目标人体，并根据目标人体对应的人体关键点集合进行人体分类，得到目标人体的人体类型；

(3)根据人体类型以及目标人体对应的人体关键点集合确定对应目标人体的定位点以及构图类型；

(4)根据定位点以及构图类型确定对应人体的构图点；

(5)当定位点与构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。

应当说明的是，拍摄场景为电子设备在使能拍摄功能后摄像头所对准的场景，其可以为任何场景，其中可以包括人和物等。

比如，电子设备可以根据用户操作来启动电子设备的系统应用“相机”，在启动“相机”后，电子设备将使能拍摄功能，通过摄像头实时进行图像采集，此时，其摄像头所对准的场景即为拍摄场景。其中，电子设备可以根据用户对“相机”入口的触摸操作来启动“相机”，还可以根据用户的语音口令“启动相机”来启动“相机”等。

本申请实施例中，电子设备在使能拍摄功能时，获取到拍摄场景的预览图像，并将该预览图像作为需要进行关键点检测的待检测图像，对其进行关键点检测，得到预览图像中归属于同一人体的人体关键点集合，其中，当预览图像中存在多个人体时，将最终得到分别对应每一人体的人体关键点集合，共多个人体关键点集合；而当预览图像中存在一个人体时，将最终得到对应该人体的一个人体关键点集合。

之后，电子设备根据识别出的人体关键点集合确定出目标人体。比如，当存在一个人体关键点集合时，直接将该人体关键点集合所对应的人体确定为目标人体；当存在多个人体关键点集合时，根据预设的目标决策策略，确定出其中一个人体关键点集合所对应的人体作为目标人体。

在确定出目标人体之后，电子设备进一步根据目标人体对应的人体关键点集合以及预设的人体分类策略，对拍摄场景中的目标人体进行分类，得到该人目标人体的人体类型。应当说明的是，对于人体类型的划分，本申请中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

之后，电子设备根据人体类型以及目标人体对应的人体关键点集合，按照预设定位点决策策略确定出对应目标人体的定位点，此外，还按照预设的构图类型决策策略确定出对应前述目标人体的构图类型。其中，定位点用于代表目标人体的位置。应当说明的是，对于构图类型的划分，本申请中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

应当说明的是，本申请实施例中对应于不同的构图类型，预先设置有多个可选的候选构图点。电子设备可以根据确定的构图类型进一步确定出当前可选的候选构图点，然后再根据定位点从当前可选的候选构图点中确定出对应目标人体的构图点。

在确定出对应目标人体的定位点以及构图点之后，电子设备实时判断定位点与构图点是否匹配，若不匹配，则输出用于指示调整电子设备拍摄姿态的提示信息，以使得拍摄场景中目标人体的定位点与构图点匹配，从而获得较佳的构图；若匹配，则可直接对拍摄场景进行拍摄，得到拍摄场景的拍摄图像。

其中，定位点与构图点匹配包括定位点与构图点的距离小于或等于预设距离，本申请对该预设距离的取值不做具体限定，可由本领域普通技术人员根据实际需要取值。

请参照图7，图7为本申请实施例提供的图像处理方法的另一流程示意图，本申请实施例提供的图像处理方法的流程还可以如下：

在201中，当使能拍摄功能时，电子设备获取拍摄场景的预览图像，并将预览图像作为需要进行关键点检测的待检测图像。

应当说明的是，拍摄场景为电子设备在使能拍摄功能后摄像头所对准的场景，其可以为任何场景，其中可以包括人和物等。

比如，电子设备可以根据用户操作来启动电子设备的系统应用“相机”，在启动“相机”后，电子设备将使能拍摄功能，通过摄像头实时进行图像采集，此时，其摄像头所对准的场景即为拍摄场景。其中，电子设备可以根据用户对“相机”入口的触摸操作来启动“相机”，还可以根据用户的语音口令“启动相机”来启动“相机”等。

本申请实施例中，电子设备在使能拍摄功能时，获取到拍摄场景的预览图像，并将该预览图像作为需要进行关键点检测的待检测图像。

在202中，电子设备调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息。

示例性的，本申请中采用机器学习方法预先训练有关键点检测模型。其中，该关键点检测模型被配置为同时预测输入图像中所有的人体关键点及其归属的人体，其可以设置在电子设备本地，也可以设置在服务器。此外，本申请中对关键点检测模型的构型不做具体限制，可由本领域普通技术人员根据实际需要选择。

相应的，电子设备在获取到需要进行关键点检测的待检测图像之后，从本地或服务器调用预训练的关键点检测模型，并将获取到的待检测图像输入该关键点检测模型，得到关键点检测模型输出的关键点位置信息和关键点归属信息。其中，关键点位置信息用于描述待检测图像中存在的所有人体关键点，关键点归属信息用于描述每一人体关键点归属的人体。

比如，关键点位置信息描述了待检测图像中存在人体关键点a和人体关键点b，关键点归属信息描述了人体关键点a归属于人体甲，人体关键点b归属于人体乙。

在203中，电子设备根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。

如上所述，关键点位置信息描述了待检测图像中存在的所有人体关键点，关键点归属信息描述了每一人体关键点归属的人体，在得到对应待检测图像的关键点位置信息和关键点归属信息之后，电子设备即可根据关键点位置信息以及关键点归属信息识别出归属于同一人体的关键点集合。其中，当待检测图像中存在多个人体时，将最终得到分别对应每一人体的人体关键点集合，共多个人体关键点集合；而当待检测图像中存在一个人体时，将最终得到对应该人体的一个人体关键点集合。

在204中，电子设备根据识别出的人体关键点集合确定目标人体，并根据目标人体对应的人体关键点集合进行人体分类，得到目标人体的人体类型。

其中，电子设备根据识别出的人体关键点集合确定出目标人体。比如，当存在一个人体关键点集合时，直接将该人体关键点集合所对应的人体确定为目标人体；当存在多个人体关键点集合时，根据预设的目标决策策略，确定出其中一个人体关键点集合所对应的人体作为目标人体。

应当说明的是，本申请中对目标决策策略的设置不做具体限制，可由本领域普通技术人员根据实际需要进行设置。

在确定出目标人体之后，电子设备进一步根据目标人体对应的人体关键点集合以及预设的人体分类策略，对拍摄场景中的目标人体进行分类，得到该人目标人体的人体类型。应当说明的是，对于人体类型的划分，本申请中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

示例性的，当目标人体的人体关键点集合中仅包括头部关键点时，根据头部关键点获取目标人体的头部长度和头部宽度，并获取头部长度和头部宽度中较大值与人像边界框长度的比值，若比值位于第一比值区间，则确定目标人体为第一人体类型，若比值位于第二比值区间，则确定目标人体为第二人体类型，若比值位于第三比值区间，则确定目标人体为第三人体类型，若比值位于第四比值区间，则确定目标人体为第四人体类型；或者，

当目标人体的人体关键点集合中包括头部关键点和脚部关键点时，确定目标人体为第四人体类型；或者，

当目标人体的人体关键点集合中包括除脚部关键点之外的关键点时，确定目标人体为第三人体类型；或者，

当目标人体的人体关键点集合中包括除髋关节关键点和脚部关键点之外的关键点时，确定目标人体为第二人体类型。

本申请实施例中，提供一可选的目标人体分类策略，首先识别检测到的人体关键点中是否仅包括头部关键点，若仅包括头部关键点，则说明可能存在其他关键点未检测出来。

此时，电子设备进一步根据头部关键点获取到目标人体的头部长度和头部宽度。然后，电子设备确定出头部长度和头部宽度中的较大值，并计算该较大值与人像边界框长度(其中，人像边界框的长度取其在纵轴的侧边的长度)的比值，进而根据计算得到比值进行人体类型的划分。比如，假设头部长度大于头部宽度，则电子设备计算头部长度与人像边界框长度的比值，相应的，若头部宽度大于头部长度，则电子设备计算头部宽度与人像边界框长度的比值。

其中，若比值位于第一比值区间，则确定目标人体为第一人体类型；

若比值位于第二比值区间，则确定目标人体为第二人体类型；

若比值位于第三比值区间，则确定目标人体为第三人体类型；

若比值位于第四比值区间，则确定目标人体为第四人体类型。

本申请实施例中，定义有四种人体类型，分别为第一人体类型、第二人体类型、第三人体类型以及第四人体类型。其中，各比值区间可由本领域普通技术人员根据实际需要进行划分，本申请对此不做具体限制。

示例性的，第一比值区间被配置为(1/4,+∞]，即当目标人体的头部长度和头部宽度中较大值与人像边界框长度的比值大于1/4时，确定拍摄场景中的目标人体为第一人体类型，判定用户此时想要拍摄前述目标人体的面部特写；

第二比值区间被配置为(1/6,1/4]，即当目标人体的头部长度和头部宽度中较大值与人像边界框长度的比值大于1/6，但是不大于1/4时，确定拍摄场景中目标人体为第二人体类型，判定用户此时想要拍摄前述目标人体的胸像；

第三比值区间被配置为(1/9,1/6]，即当目标人体的头部长度和头部宽度中较大值与人像边界框长度的比值大于1/9，但是不大于1/6时，确定拍摄场景中目标人体为第三人体类型，判定用户此时想要拍摄前述目标人体的七分身像；

第四比值区间被配置为(-∞,1/9]，即当目标人体的头部长度和头部宽度中较大值与人像边界框长度的比值不大于1/9时，确定拍摄场景中目标人体为第四人体类型，判定用户此时想要拍摄前述目标人体的全身像。

此外，当检测到的人体关键点中除了头部关键点之外还包括其它部位的关键点时，则根据其它部位的关键点进行人体类型的划分。

其中，当检测到的人体关键点中包括头部关键点和脚部关键点时，确定拍摄场景中目标人体为第四人体类型，判定用户此时想要拍摄前述目标人体的全身像；

当检测到的人体关键点中包括除脚部关键点之外的关键点时，确定目标人体为第三人体类型，判定用户此时想要拍摄前述目标人体的七分身像；

当人体关键点中包括除髋关节关键点和脚部关键点之外的关键点时，确定目标人体为第二人体类型，判定用户此时想要拍摄前述目标人体的胸像。

在205中，电子设备根据人体类型以及目标人体对应的人体关键点集合确定对应目标人体的定位点以及构图类型。

其中，定位点用于代表人体的位置。本申请实施例中，电子设备在分类得到人体类型之后，进一步根据该人体类型以及前述目标人体的人体关键点集合，按照预设定位点决策策略确定出对应目标人体的定位点，此外，还按照预设的构图类型决策策略确定出对应前述目标人体的构图类型。

其中，对于构图类型的划分，本申请中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

比如，本申请实施例中划分的构图类型包括面部特写型构图和全身型构图。

示例性的，电子设备根据目标人体的人体关键点集合中头部关键点识别目标人体的头部朝向为正向或是侧向；

当目标人体的头部朝向为正向且人体类型为第一人体类型时，将人像边界框的几何中心点确定为定位点，以及确定构图类型为第一构图类型；或者，

当目标人体的头部朝向为侧向且人体类型为第一人体类型时，识别出头部关键点中的多个对称头部关键点，将多个对称头部关键点的几何中心点确定定位点，以及确定构图类型为第一构图类型；或者，

当目标人体的头部朝向为侧向且人体类型为第二人体类型时，将人像边界框的几何中心点确定为定位点，以及确定构图类型为第二构图类型；或者，

当目标人体的头部朝向为正向，且人体类型为第二人体类型、第三人体类型或第四人体类型时，识别出头部关键点中的多个对称头部关键点，将多个对称头部关键点的几何中心点确定定位点，以及确定构图类型为第二构图类型；或者，

当目标人体的头部朝向为侧向，且人体类型为第三人体类型或第四人体类型时，将头部关键点的纵坐标均值确定为定位点的纵坐标，将人像边界框的几何中心点的横坐标确定为定位点的横坐标，以及确定构图类型为第二构图类型。

本申请提供一可选的定位点决策策略和构图类型决策策略。

其中，电子设备首先根据目标人体的人体关键点集合中的头部关键点来识别目标人体的头部朝向为正向或是侧向。

比如，电子设备可以获取眼睛关键点的横坐标、鼻尖关键点的横坐标以及嘴关键点的横坐标，然后求取其横坐标的平均值，若该平均值位于人像边界框最左或最右1/4的区域内，则判定头部朝向为侧向，否则为正向。

然后，根据识别到的头部朝向以及人体类型来进一步确定定位点和构图类型。

其中，当目标人体的头部朝向为正向且人体类型为第一人体类型时，将人像边界框的几何中心点确定为定位点，以及确定构图类型为第一构图类型(即面部特写型构图)。

当目标人体的头部朝向为侧向且人体类型为第一人体类型时，识别出头部关键点中的多个对称头部关键点，将多个对称头部关键点的几何中心点确定定位点，以及确定构图类型为第一构图类型。其中，对称头部关键点是指成对出现且都被检测出的头部关键点，比如，左眼关键点和右眼关键点，左耳关键点和右耳关键点等。应当说明的是，多个对称头部关键点的几何中心点，即连接多个对称头部关键点得到的多边形的几何中心点。

当目标人体的头部朝向为侧向且人体类型为第二人体类型时，将人像边界框的几何中心点确定为定位点，以及确定构图类型为第二构图类型(即全身型构图)。

当目标人体的头部朝向为正向，且人体类型为第二人体类型、第三人体类型或第四人体类型时，识别出头部关键点中的多个对称头部关键点，将多个对称头部关键点的几何中心点确定定位点，以及确定构图类型为第二构图类型；或者，

当目标人体的头部朝向为侧向，且人体类型为第三人体类型或第四人体类型时，将头部关键点的纵坐标均值确定为定位点的纵坐标，将人像边界框的几何中心点的横坐标确定为定位点的横坐标，以及确定构图类型为第二构图类型。

在206中，电子设备根据定位点以及构图类型确定对应目标人体的构图点。

应当说明的是，本申请实施例中对应于不同的构图类型，预先设置有多个可选的候选构图点。电子设备可以根据确定的构图类型进一步确定出当前可选的候选构图点，然后再根据定位点从当前可选的候选构图点中确定出对应目标人体的构图点。

示例性的，当构图类型为第一构图类型时，从第一构图类型对应的候选构图点中选取距离定位点最近的候选构图点，确定为构图点；

当构图类型为第二构图类型时，从第二构图类型对应的候选构图点中选取距离定位点最近的候选构图点，确定为构图点。

示例性的，针对于第一构图类型，本申请实施例中预先设置有多个可选的候选构图点，划分为两部分，分别为适于横屏拍摄时的候选构图点和适于竖屏拍摄时的候选构图点，其中，适于横屏拍摄时的候选构图点包括图像中心、上三分线中点，以及上三分线与其它三分线的交点，适于竖屏拍摄时的候选构图点包括图像中心和上三分线中点。

同样的，针对于第二构图类型，本申请实施例中也预先设置有多个可选的候选构图点，同样划分为两部分，分别为适于横屏拍摄时的候选构图点和适于竖屏拍摄时的候选构图点，其中，适于横屏拍摄时的候选构图点包括图像中心、上/下三分线与左/右三分线的四个交点以及上/下三分线和左/右三分线的四个中点，适于竖屏拍摄时的候选构图点包括图像中心和上三分线中点。

基于以上设置的候选构图点，电子设备首先识别出当前的拍摄模式为竖屏模式或是横屏模式，然后从确定的构图类型在当前拍摄模式对应的候选构图点中确定出距离定位点最近的候选构图点，作为对应目标人体的构图点。

在207中，当定位点与构图点不匹配时，电子设备输出用于指示调整电子设备拍摄姿态的提示信息。

其中，定位点与构图点匹配包括定位点为构图点的距离小于或等于预设距离，本申请对该预设距离的取值不做具体限定，可由本领域普通技术人员根据实际需要取值。

相应的，电子设备实时判定拍摄场景中目标人体的定位点与构图点是否匹配，若不匹配，则输出用于指示调整电子设备拍摄姿态的提示信息，以使得拍摄场景中目标人体的定位点与构图点匹配，从而获得较佳的构图。

示例性的，请参照图8，确定的定位点为人体头部多个对称头部关键点的几何中心点，确定的构图点为上三分线和右三分线的交点。电子设备在实时采集的预览图像之上叠加显示上/下/左/右三分线，以及确定的定位点和构图点，并利用由定位点到构图点的箭头作为提示信息，引导用户来调整电子设备的拍摄姿态，使得实时预览图像中定位点和构图点匹配，如图9所示。

在208中，当定位点与构图点匹配时，电子设备对拍摄场景进行拍摄，得到拍摄图像。

当定位点与构图点匹配时，电子设备判定此时能够获得较佳的构图，即对拍摄场景进行拍摄，从而得到拍摄场景的拍摄图像。

本申请还提供了一种图像处理装置。请参照图10，图10为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该图像处理装置包括图像获取模块301、图像检测模块302以及人体识别模块303，如下：

图像获取模块301，用于获取需要进行关键点检测的待检测图像；

图像检测模块302，用于调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；

人体识别模块303，用于根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。

在一实施例中，关键点检测模型包括特征提取网络和特征预测网络，在调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息时，图像检测模块302用于：

调用特征提取网络提取得到待检测图像的图像特征；

调用特征预测网络对图像特征进行关键点检测，得到关键点位置信息和关键点归属信息。

在一实施例中，特征预测网络包括位置分支和归属分支，调用特征预测网络对图像特征进行关键点检测，得到关键点位置信息和关键点归属信息时，图像检测模块302用于：

调用位置分支对图像特征进行关键点位置检测，得到关键点位置信息；

调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到关键点归属信息。

在一实施例中，位置分支包括卷积核尺寸为1*1的卷积单元。

在一实施例中，归属分支包括特征优化子模块、融合子模块以及输出子模块，在调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到关键点归属信息时，图像检测模块302用于：

调用特征优化子模块对图像特征进行优化处理，得到优化图像特征；

调用融合子模块融合优化图像特征以及关键点位置信息得到融合特征；

调用输出子模块对融合特征进行关键点位置检测，得到关键点位置信息。

在一实施例中，特征优化子模块包括卷积核尺寸为1*1的卷积单元，输出子模块包括卷积核尺寸为1*1的卷积单元。

在一实施例中，本申请提供的图像处理装置还包括模型训练模块，在获取需要进行关键点检测的待检测图像之前，用于：

获取样本图像以及对应样本图像的样本关键点位置信息，并构建关键点检测模型；

调用关键点检测模型对样本图像进行关键点检测，得到预测关键点位置信息和预测关键点归属信息；

根据样本关键点位置信息和预测关键点位置信息获取关键点位置损失，以及根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失；

融合关键点位置损失以及关键点归属损失得到融合损失，并根据融合损失调整关键点检测模型的参数。

在一实施例中，在根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失时，模型训练模块用于：

根据预测关键点位置信息进行关键点聚类，得到归属不同人体的多个人体关键点集合；

根据多个人体关键点集合以及预测关键点归属信息获取关键点归属损失。

在一实施例中，在获取需要进行关键点检测的待检测图像时，图像获取模块301用于：

当电子设备使能拍摄功能时，获取拍摄场景的预览图像，并将预览图像作为待检测图像；

本申请提供的图像处理装置还包括构图提示模块，在人体识别模块303根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合之后，用于：

根据识别出的人体关键点集合确定目标人体，并根据目标人体对应的人体关键点集合进行人体分类，得到目标人体的人体类型；

根据人体类型以及目标人体对应的人体关键点集合确定对应目标人体的定位点以及构图类型；

根据定位点以及构图类型确定对应人体的构图点；

当定位点与构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。

本申请还提供一种电子设备，请参照图11，电子设备包括处理器401和存储器402。

本申请实施例中的处理器401是通用处理器，比如arm架构的处理器。

存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现如下功能：

获取需要进行关键点检测的待检测图像；

调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；

根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。

在一实施例中，关键点检测模型包括特征提取网络和特征预测网络，在调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息时，处理器401用于执行：

调用特征提取网络提取得到待检测图像的图像特征；

调用特征预测网络对图像特征进行关键点检测，得到关键点位置信息和关键点归属信息。

在一实施例中，特征预测网络包括位置分支和归属分支，调用特征预测网络对图像特征进行关键点检测，得到关键点位置信息和关键点归属信息时，处理器401用于执行：

调用位置分支对图像特征进行关键点位置检测，得到关键点位置信息；

调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到关键点归属信息。

在一实施例中，位置分支包括卷积核尺寸为1*1的卷积单元。

在一实施例中，归属分支包括特征优化子模块、融合子模块以及输出子模块，在调用归属分支根据图像特征以及关键点位置信息进行关键点归属检测，得到关键点归属信息时，处理器401用于执行：

调用特征优化子模块对图像特征进行优化处理，得到优化图像特征；

调用融合子模块融合优化图像特征以及关键点位置信息得到融合特征；

调用输出子模块对融合特征进行关键点位置检测，得到关键点位置信息。

在一实施例中，特征优化子模块包括卷积核尺寸为1*1的卷积单元，输出子模块包括卷积核尺寸为1*1的卷积单元。

在一实施例中，在获取需要进行关键点检测的待检测图像之前，处理器401还用于执行：

获取样本图像以及对应样本图像的样本关键点位置信息，并构建关键点检测模型；

调用关键点检测模型对样本图像进行关键点检测，得到预测关键点位置信息和预测关键点归属信息；

根据样本关键点位置信息和预测关键点位置信息获取关键点位置损失，以及根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失；

融合关键点位置损失以及关键点归属损失得到融合损失，并根据融合损失调整关键点检测模型的参数。

在一实施例中，在根据预测关键点位置信息和预测关键点归属信息获取关键点归属损失时，处理器401用于执行：

根据预测关键点位置信息进行关键点聚类，得到归属不同人体的多个人体关键点集合；

根据多个人体关键点集合以及预测关键点归属信息获取关键点归属损失。

在一实施例中，在获取需要进行关键点检测的待检测图像时，处理器401用于执行：

当电子设备使能拍摄功能时，获取拍摄场景的预览图像，并将预览图像作为待检测图像；

根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合之后，处理器401还用于执行：

根据识别出的人体关键点集合确定目标人体，并根据目标人体对应的人体关键点集合进行人体分类，得到目标人体的人体类型；

根据人体类型以及目标人体对应的人体关键点集合确定对应目标人体的定位点以及构图类型；

根据定位点以及构图类型确定对应人体的构图点；

当定位点与构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像拍摄方法属于同一构思，在电子设备上可以运行图像拍摄方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例的图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。