一种智能构图方法、电子设备及存储介质与流程

本发明涉及智能图像处理领域，尤其涉及一种智能构图方法、电子设备及存储介质。

背景技术：

随着科技的发展和人们生活水平的提高，数码相机、手机相机等拍摄设备越来越普及，越来越多的用户可以通过拍照的方式留下生活中的精彩瞬间。从旅游时的风景留念到自拍晒图，人们都想拍出美好的照片。然而由于普通用户对于专业摄影知识的不足，使得他们无法从美学的角度来考虑拍照时各种因素对于照片的影响，从而无法拍摄出更符合美学规则的、能带来美感的照片。通常，为了提高照片的美感度，利用现有的拍照软件通过一键美化的功能，对拍摄后的图片的色彩、对比度等进行调整，使得图像更符合大众审美习惯。但是，使用拍照软件进行修图的处理方式，对图像美感度的提升是有限的，无法弥补由于拍摄角度、焦距等因素的影响，进而影响照片拍摄，造成照片不完美，

近年来，随着相机硬件的长足发展，自动拍摄机器人进入人们的视野，随时随地、自动调焦、多角度通过拍照记录生活已成为人们的日常。通常，现有的自动拍摄机器人会使用人脸检测技术检测出人物，将人物作为主体自动拍摄，在拍照时，应用三分构图法原则(又称为黄金分割法)进行构图，这样能够在拍摄人物照片时，通过黄金分割法使图片的构图更加完美、更具美感。但不是所有场景下拍摄照片人脸都代表主体，直接根据人脸位置进行三分构图无法覆盖所有场景的拍摄需求。通常照片可分为有主体对象(如人或物)及无主体对象(如风景)两种，对于例如以风景为主题拍摄的照片，由于风景图像不包含明确的主体对象，应用上述方法显然是无法得到较好的效果的。基于此，如何获得较好的摄影构图，以适应各种场景进行拍摄都能获得具有优秀美感的照片成为当前值得研究的方向。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供一种智能构图方法，能够适应多种场景拍摄并挑选符合大众审美的构图照片。

本发明的目的之一采用如下技术方案实现：

一种智能构图方法，包括：主体判断步骤，将提取到的图像比对预先建立的主体判断识别模型，进行主体类型判断；构图步骤，根据主体类型判断结果，对有主体对象的图像和无主体对象的图像分别采用对应的统计构图规律进行构图计算及图像裁切。

进一步地，在所述主体判断步骤之前，还包括：图像提取步骤，获取同一拍摄场景中不同拍摄点多个角度的视频图像，对获取的视频图像按照预设时间间隔抽取关键帧，提取出对焦清晰的图像。

进一步地，在所述主体判断步骤之前，还包括：主体判断识别模型建立步骤，根据多种物体的外形、颜色及材质组合特征，提取多种主体为人特征或物的特征进行学习训练，建立主体判断识别模型。

进一步地，在所述主体判断步骤之前，还包括：统计构图规律建立步骤，获取大量符合大众审美的摄影图像，分别对有主体对象的图像和无主体对象的图像查找并建立对应的统计构图规律。

进一步地，在所述统计构图规律建立步骤中，对于有主体对象的图像，利用统计学规律查找出图像拍摄时的主体部分与图像整体相对位置的空间分布规律，同时统计每种主体类型的图像中主体各个组成部分的占比数据，完成统计构图规律建立。

进一步地，在所述统计构图规律建立步骤中，对于无主体对象的图像，采用聚类算法将照片拍摄的内容进行颜色聚类，得到各种形状的颜色块组合，统计各色块的颜色及空间分布规律完成统计构图规律建立。

进一步地，在所述构图步骤中，对于有主体对象的图像，利用一个矩形取景框通过不断调整矩形构图框对图像进行随机构图，并分析随机构图得到的图像中主体部分的空间分布规律，比对已建立的对应的统计构图规律，使得主体位置被放置在通过统计学获得的空间分布位置特征的范围内；同时根据智能构图方案对图像进行裁切，对裁切后的图像主体部分进行颜色聚类，得到图像中主体各部分的占比数据，根据图像主体类型识别结果比对预先建立的对应主体分类下主体部分空间分布统计数据，将主体各部分的占比数据相似度最高的对应图像判定为最佳图像提供给用户。

进一步地，在所述构图步骤中，对于无主体对象的图像，利用一个矩形取景框通过不断调整矩形构图框对图像进行随机构图，对随机构图后的照片进行颜色聚类处理，并分析随机构图后得到的图像的颜色、空间分布规律和处于矩形构图框外部分图像的面积大小，比对前期建立的统计构图规律得到的颜色、空间分布规律，选择处于矩形构图框外图像面积最小且最接近统计构图规律的构图结果作为智能构图方案，根据智能构图方案对照片进行裁切后提供给用户查看。

本发明的目的之二在于提供一种电子设备，能够适应多种场景拍摄并挑选符合大众审美的构图照片。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明目的之一所述的一种智能构图方法。

本发明的目的之三在于提供一种存储介质，能够适应多种场景拍摄并挑选符合大众审美的构图照片。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明目的之一所述的一种智能构图方法。

相比现有技术，本发明的有益效果在于：

本发明的一种智能构图方法、电子设备及存储介质，通过预设一个主体判断识别模型，对有主体对象的图像和无主体对象的图像分别进行判断后分别采用对应的统计构图规律进行构图计算及图像裁切，根据统计学规律建立构图规则，通过多角度自动拍摄并挑选出最优构图图像提供给用户，能适应各种场景拍摄出符合大部分人审美标准的照片，使得构图图像更具美感。

附图说明

图1为发明一种智能构图方法流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一：

实施例一公开了一种智能构图方法，如图1所示，包括如下步骤：

主体判断识别模型建立步骤，根据各种人、动物、物件的外形、颜色及材质组合特征，提取各种主体人、物的特征进行学习训练，建立主体判断识别模型；

统计构图规律建立步骤，获取大量符合大众审美的摄影图像，分别对有主体对象的图像和无主体对象的图像查找并建立对应的统计构图规律；

图像提取步骤，获取同一拍摄场景中不同拍摄点各个角度的视频图像，对获取的视频图像按照预设时间间隔抽取关键帧，提取出对焦清晰的图像；

主体判断步骤，将提取到的图像比对预先建立的主体判断识别模型，进行主体类型判断；

构图步骤，根据主体类型判断结果，对有主体对象的图像和无主体对象的图像分别采用对应的统计构图规律进行构图计算及图像裁切。

本实施例的智能构图方法，旨在通过学习海量优秀摄影作品统计构图规则，并根据统计学规律建立构图规则，通过多角度自动拍摄并挑选出最优构图照片提供给用户，能适应各种场景拍摄出符合大部分人审美标准的照片。不同于以往只能对于人脸进行智能构图的方式，本实施例通过获取大量符合大众审美的图像，提取出构图规律，后续根据构图规律进行构图，使得构图图像符合大众审美，更具美感。同时根据图像是否存在明确主体对象，将图像分为有主体对象和无主体对象设置不同的构图规律进行构图，是构图更智能合理。

首先，根据各种人、动物、物件的外形、颜色或者材质等组合特征，提取各种主体人、物的特征进行学习训练，建立主体判断识别模型。对与无明确主体对象的，则认为是无主体对象图像，例如风景。通过建立全面的主体识别模型来对主体内容进行判断。然后通过对单个或多个组合的主体部分进行边缘检测，完成对主体部分的矩形框选。根据对主体部分建立的矩形框，确定单个主体或多个主体组合后的中心点。对于主体的判断，系统会预设一个阈值范围来计算该进入画面的人或物件是否属于主体，本实施例设置的阈值范围为该人或物的面积占整个画面面积的15％及以上，则判断它为一个主体。完成上述主体判断识别模型建立步骤后，则进入统计构图规律建立步骤。

系统通过社交媒体和优秀摄影作品网站获取海量用户点赞数高的摄影照片，将照片分为包含明确主体(如人、动物等)的照片和不包含明确主体(如风景)的照片两大类；对于包含明确主体的照片：利用统计学规律查找出照片拍摄时的主体部分与照片整体相对位置的空间分布规律，同时统计每种主体类型的图片中主体各个组成部分的占比数据；对于不包含明确主题的照片，则认为其为无主体对象的照片，采用聚类算法将照片拍摄的内容进行颜色聚类，得到各种形状的颜色块组合，统计各色块的颜色及空间分布规律，完成两类照片构图规律统计。构图规律统计过程如下：

1、对含有明确主体的照片，判断出照片中的主体部分，对主体部分进行框选。判断时，通过物体识别对主体部分进行类型判断和框选，主体部分有可能为人，包括单人、多人、半身、全身人像或者头部或某一部位特写；各种动物、建筑物等物件；或者以上几种类型主体的组合或合影或局部特写。

2、通过统计学规律分析照片拍摄时主体部分的空间分布规律，得到大量照片拍摄时主体部分的空间分布统计数据。其中，空间分布规律指的是主体部分在整个照片中的相对位置的分布规律。根据框选出来的主体得到的中心点，计算照片中包含的单个主体或多个主体组合所在位置相对照片总体宽度和高度位置的百分比，通过统计学规律对计算结果进行分析。通过上述过程，分析得到大量的优秀包含明确主体照片拍摄时的构图规律统计数据。

3、根据照片中包含的各类主体对图片进行主体识别和分类；对各分类图片中主体各组成部分进行颜色聚类，根据聚类后的各色块对主体各个部分进行划分，统计划分出的主体各部分色块的比例，得到每种类型主体图片的主体各部分的占比统计数据。例如，以人物为主体的照片被划分为一类，根据颜色聚类后人物的头部、肩部、上半身、腿部各个部分形成的不同色块，分别统计出上述各部分在总体人物主体中的比例数据。

完成上述步骤即可得到海量含有明确主体的优秀摄影图片在拍摄构图时的统计学规律(即统计构图规律)。

对无主体对象的照片，采用聚类算法将照片拍摄的内容进行颜色聚类，形成各种主色调颜色块组合，如三角形、圆形、矩形等图形组合。具体为将主色调分块，通过不断将相邻的hsb值色差接近的点取平均值聚合为同一色块，最后的到图片的主色调颜色块组合。再通过统计学规律分析图片中色块的颜色hsb值和对应的空间分布等规律，得到大量优秀照片颜色、空间分布统计数据，完成不包含明确主体照片拍摄时的构图规律统计，得到无主体对象的照片对应的构图规律。

例如：一张风景摄影图片中，包含有天空、山峰、湖水，将图片进行颜色聚类变形成各种色块。通过不断将相邻的hsb值色差接近的点取平均值聚合为同一色块，经过处理后，天空部分形成蓝色色块、山峰部分形成灰色色块、湖水部分形成绿色色块；分析上述各部分形成的色块颜色hsb值和在整个图像中的空间分布规律。空间分布规律如面积占比、宽度比、高度比，面积占比指颜色色块占整个图像总面积的百分比；宽度比、高度比指计算出颜色色块在整个图像中的宽度和高度位置的百分比。分析各个色块的面积占整个图像总面积的百分比。通过确定色块的重心坐标计算出色块的宽度、高度，从而得到各个色块的面积，然后计算各色块面积占整个图像总面积的百分比，计算各色块在整个图像位置中与图像总体宽度和高度的百分比。

通过上述处理过程，分别完成有主体对象的图像及无主体对象的图像对应的构图规律建立，得到海量的优秀摄影图片的拍摄构图时的统计学规律。

之后，拍照设备在拍摄场景中通过移动转换拍摄点，设备通过安装在角度调整装置上可以进行水平和垂直方向上转动的摄像头不断转换角度，拍摄场景中拍摄点(不同距离)的各个角度的视频图像。完成拍摄后，系统对获取的视频图像按照预设时间间隔抽取关键帧，提取出对焦清晰的图像，将各图像比对预先建立的主体判断识别模型，进行主体类型判断。根据判断结果，对有主体对象的图像和无主体对象的图像分别采用不同的对应的统计构图规律进行最优构图计算及图像裁切后将照片提供给用户。具体过程如下：

1、自动拍照设备在拍摄场景中不断移动转换拍摄点，通过安装在角度调整装置上可以进行水平和垂直方向上转动的摄像头不断转换拍摄角度，拍摄场景中不同拍摄点各个角度的视频图像。

2、对视频图像按照预设时间间隔抽取关键帧，得到多张照片，对于相同内容的多张照片进行判断后，只提取出其中清晰的一张。对抽取的关键帧图像进行颜色聚类和相似度比较，将相似度达到一定阀值的图像归为一组：对照片进行颜色聚类，通过不断将相邻的hsb值色差接近的点取平均值聚合为同一色块，将图片的拍摄的内容颜色聚类形成多个不同形状的颜色块组合。计算出聚类后得到的各个色块的中心点和色块面积，统计各色块中心点位置分布数据和各色块的面积占比，得到图像聚类后各色块组合的空间分布数据。按抽取图像序列一一比对各图像聚类后得到的色块组合的空间分布数据的相似度，当相似度达到预设阈值时(本实施例为95％)以上则认为图像拍摄的场景内容相同，将相同内容的多张图像划分为一组。从每组图像中提取对焦准确、拍摄清晰的一张图像。因为对焦准确、拍摄清晰的照片图像色彩锐利，对焦不准确、模糊的照片图像会有很多色彩渐变区域，因此，相比模糊的照片，清晰的照片会出现较多色差较大的图像区域，通过判断图像中包含的色差较大区域的数量，将包含色差较大区域的覆盖范围最大的图像判定为对焦准确、拍摄清晰的第一张图像提取出来即可。

判断时，为了减少服务器的运算量，只提取出图像的中间主体区域进行比较：将照片宽度的1/2作为半径，从照片的中心点开始切割出照片的中间区域，作为图像的主体部分，只判断主体部分图像包含的较大色差区域数量，以减轻服务器的压力，加快处理速度；比较时，对各中间区域切割图像进行查找颜色边缘处理，判断出图像中色差较大的颜色区域。即提取相邻各像素点的h值，将h值跨度较大的区域定义为图像中色差较大的颜色区域，比对各图像中包含的色差较大的颜色区域的范围，将覆盖范围最大的对应图像判定为对焦准确的清晰图像。

完成图像预处理后，通过比对系统中预先建立的主体判断识别模型，判断图像是否包含的明确主体部分和主体类型，将有主体部分的图像和无主体部分图像分组后分别处理。

处理过程中，对于包含明确主体部分的图像采用随机构图的方式，随机生成一条确定对角坐标的斜线以生成一个矩形取景框，利用矩形取景框对照片进行随机构图；对随机构图后的照片进行主体判断，对得到的主体部分进行边缘检测，根据主体边缘建立矩形框，计算矩形框的中心点位置以得到主体的中心点位置；根据得到的中心点位置，分析各个随机构图图像中主体部分的空间分布规律和处于构图矩形框外部分图像的面积大小；通过不断调整矩形构图框对照片进行随机构图，并分析随机构图得到的图像中主体部分的空间分布规律，比对建立的统计构图规律，使得主体位置被放置在通过统计学获得的空间分布位置特征的范围内；同时分析处于构图矩形框外部分图像的面积大小，选择其中处于构图矩形框外部分图像面积最小的构图结果作为智能构图方案，根据智能构图方案对图像进行裁剪。

对裁切后的图像主体部分进行颜色聚类，根据颜色聚类后得到的不同颜色块对主体各个组成部分进行划分，计算划分出的主体各部分的比例，得到图像中主体各部分的占比数据；根据图像主体类型识别结果比对服务器中预先建立的对应主体分类下主体部分空间分布统计数据，将主体各部分的占比数据相似度最高的对应图像判定为最佳照片，提供给用户。

对于未包含明确主体的图像，同样采用随机构图的方式，随机生成一条确定对角坐标的斜线以生成一个矩形构图框，利用矩形切构图对照片进行随机构图。对随机构图后的照片进行颜色聚类处理，得到照片的主色调色块。分析随机构图后照片的颜色、空间分布规律和处于构图矩形框外部分图像的面积大小；通过不断调整矩形构图框对照片进行随机构图，并分析随机构图后得到的照片的颜色、空间分布规律和处于矩形构图框外部分图像的面积大小，比对前期建立的统计构图规律得到的颜色、空间分布规律，选择处于矩形构图框外图像面积最小且最接近统计构图规律的构图结果作为智能构图方案，根据智能构图方案对照片进行裁切后提供给用户查看。

通过预设一个主体判断识别模型，对有主体对象的图像和无主体对象的图像分别进行判断后分别采用对应的统计构图规律进行构图计算及图像裁切，根据统计学规律建立构图规则，通过多角度自动拍摄并挑选出最优构图图像提供给用户，能适应各种场景拍摄出符合大部分人审美标准的照片，使得构图图像更具美感。

实施例二：

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种智能构图方法，该电子设备可以是自动拍照机器人、带处理器的相机、手机、平板电脑等等一系列的电子设备。

实施例三：

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种智能构图方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。