一种照片智能裁剪方法及装置与流程

本发明涉及图像处理技术领域，特别涉及一种照片智能裁剪方法及装置。

背景技术：

随着智能终端设备拍照性能的不断增强，人们热衷于随手记录下生活中的美丽瞬间，并分享至社交网络中。但是通常我们拍摄完的照片并不适合直接上传至互联网，需要进行一些后期处理。例如，拍照时手指不小心遮挡了镜头边缘或镜头边缘有人误入；只想截取照片中的部分画面用作突出显示；有一张很美的矩形自拍照，而微信头像却要求是正方形。上述这些情况下通常需要进行照片裁剪，目前主流拍照/修图类应用已提供的照片裁剪功能是通过自由/固定比例手动编辑截图，但由于普通用户通常并不具备构图等专业的摄影知识，因此手动裁剪出的照片美学质量不能保证，另外，手动裁剪出照片的比例可能也不符合应用要求。申请号为cn201410681308.7的发明对拍摄的图像进行人脸检测获得人脸检测框；以人脸检测框中心点为原点，按照面积与人脸检测框的面积比例10：7生成长宽比为4：3的矩形裁剪框；将图像中所述矩形裁剪框以外的部分裁剪掉。该发明从人脸检测的角度对证件照等人脸为主照片的裁剪具有较好效果，但对于大量的普通照片却无法实现智能裁剪。

技术实现要素：

鉴于上述问题，本发明提供了一种照片智能裁剪方法及装置。

本发明提供的照片智能裁剪方法，包括以下步骤：

获取智能设备照片图像；

在所述照片图像中生成若干子区域，计算所述若干子区域的美学评分，根据所述美学评分得到最佳美感裁剪区域；

根据所述最佳美感裁剪区域的坐标裁剪所述照片图像。

本发明还提供了一种照片智能裁剪装置，包括：图像获取模块、计算模块、裁剪模块：

所述图像获取模块，用于获取智能设备照片图像；

所述计算模块，用于在所述照片图像中生成若干子区域，计算所述若干子区域的美学评分，根据所述美学评分得到最佳美感裁剪区域；

所述裁剪模块，用于根据所述最佳美感裁剪区域的坐标裁剪所述照片图像。

本发明有益效果如下：

本发明实施例的照片智能裁剪方法及装置通过图像美学评价技术实现照片的智能裁剪，使得从美学角度裁剪出更加符合应用场景的照片；本发明适用的照片类型更加普遍，且操作方便、效率高。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

附图说明

图1是本发明方法实施例的照片智能裁剪方法的流程图；

图2是本发明装置实施例的照片智能裁剪装置的结构示意图；

图3是本发明实例1的照片智能裁剪方法的流程图；

图4是本发明实例2的照片智能裁剪方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术剪出的照片美学质量不能保证、或除人脸为主的照片外大量的普通照片却无法实现智能裁剪的问题，本发明提供了一种照片智能裁剪方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

根据本发明的方法实施例，提供了一种照片智能裁剪方法，图1是本发明方法实施例的照片智能裁剪方法的流程图，如图1所示，根据本发明方法实施例的照片智能裁剪方法包括如下处理：

步骤101，获取智能设备照片图像。

具体的，智能设备包括个人电脑、智能手机、平板电脑、智能眼镜，以及其他具有摄像头及数据处理功能的设备。

步骤102，在所述照片图像中生成若干子区域，计算所述若干子区域的美学评分，根据所述美学评分得到最佳美感裁剪区域。具体的，在照片图像中生成若干子区域包括用预设的滑动窗口遍历所述照片图像，得到若干个子区域。

其中，步骤102包括以下两种技术方案。第一种技术方案包括以下步骤：使用第一滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分，选取最高美学评分，以最高美学评分对应的位置作为最佳美感裁剪区域；其中，第一滑动窗口选取以下中的一种或几种：原始比例滑动窗口、标准比例滑动窗口、预设比例滑动窗口。

更加具体的，当所述第一滑动窗口中包括所述预设比例滑动窗口时，所述使用第一滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分，包括以下步骤：

使用预设比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分。

更加具体的，当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时，使用第一滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分，选取最高美学评分，包括以下方案a和方案b。

具体的，方案a包括以下步骤：

使用原始比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分；

使用标准比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述标准比例滑动窗口对应的若干个美学评分；

在所述原始比例滑动窗口对应的若干个美学评分、及所述标准比例滑动窗口对应的若干个美学评分中选取最高美学评分。

具体的，方案b包括以下步骤：

使用原始比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分；

选取原始比例滑动窗口对应的若干个美学评分中最高的美学评分，根据最高的美学评分对应的原始比例滑动窗口的坐标得到原始比例下的最佳美感裁剪区域；

计算所述标准比例滑动窗口与所述原始比例下的最佳美感裁剪区域的最大交并比，将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域；

按照指令选择原始比例下的最佳美感裁剪区域或标准比例下的最佳美感裁剪区域中的一个作为图像最佳美感裁剪区域。

更加具体的，在方案a和方案b中，原始比例滑动窗口和标准比例滑动窗口可选用为几个尺度。例如当原始比例滑动窗口选用3个尺度，各尺度的缩放比为1.2，最小尺度滑动窗口的水平方向边长为原始图像水平方向长边的1/4时，即表示选用以下三种尺度的原始比例图像：大小为原始图像大小的0.25倍、大小为原始图像大小的0.25×1.2倍、大小为原始图像大小的0.25×1.2×1.2倍。

步骤102的第二种技术方案包括以下步骤：使用第二滑动窗口遍历所述照片图像，得到在遍历的过程中所述第二滑动窗口对应的若干个美学评分，以所述若干个美学评分作为遍历过程中若干个第二滑动窗口中心点坐标的美学质量值，根据若干个美学质量值生成美学质量图谱；其中，所述第二滑动窗口为照片图像原始比例，且第二滑动窗口小于或等于第一滑动窗口，第二滑动窗口步长小于或等于第一滑动窗口；

使用预设的聚类算法得到所述美学质量图谱中的能量最高区域，以所述能量最高区域的最小外接矩形作为图像最佳美感区域；

计算所需裁剪比例的窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为最佳美感裁剪区域。

具体的，当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时，计算第一滑动窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为最佳美感裁剪区域，包括以下步骤：

计算原始比例滑动窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为原始比例下的最佳美感裁剪区域；

计算标准比例滑动窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域；

在所述原始比例下的最佳美感裁剪区域、及标准比例下的最佳美感裁剪区域中选取中心与所述图像最佳美感区域中心最近的一个作为图像最佳美感裁剪区域。

作为本发明方法实施例的另一实施例，还包括以下步骤：获取指定的目标裁剪区域种子点；进一步的，所述使用预设的滑动窗口遍历所述照片图像，得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分，包括以下步骤：

使用预设的滑动窗口遍历所述目标裁剪区域种子点邻域，得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分。

步骤103，根据所述最佳美感裁剪区域的坐标裁剪所述照片图像，得到所述照片图像的最佳裁剪区域。

本发明实施例的照片智能裁剪方法通过图像美学评价技术实现照片的智能裁剪，使得从美学角度裁剪出更加符合应用场景的照片；本发明适用的照片类型更加普遍，且操作方便、效率高。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

与本发明的方法实施例相对应，本发明还提供了一种照片智能裁剪装置，图2是本发明装置实施例的照片智能裁剪装置的结构示意图，如图2所示，根据本发明装置实施例的照片智能裁剪装置包括：图像获取模块20、计算模块22、裁剪模块24，以下对本发明实施例的各个模块进行详细的说明。

具体的，所述图像获取模块20，用于获取智能设备照片图像。

所述计算模块22，用于在所述照片图像中生成若干子区域，计算所述若干子区域的美学评分，根据所述美学评分得到最佳美感裁剪区域。

具体的，在照片图像中生成若干子区域包括用预设的滑动窗口遍历所述照片图像，得到若干个子区域。

所述计算模块具体用于：使用第一滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分，选取最高美学评分，以最高美学评分对应的位置作为最佳美感裁剪区域；其中，第一滑动窗口选取以下中的一种或几种：原始比例滑动窗口、标准比例滑动窗口、预设比例滑动窗口；

或者，用于使用第二滑动窗口遍历所述照片图像，得到在遍历的过程中所述第二滑动窗口对应的若干个美学评分，以所述若干个美学评分作为遍历过程中若干个第二滑动窗口中心点坐标的美学质量值，根据若干个美学质量值生成美学质量图谱；其中，所述第二滑动窗口为照片图像原始比例，且第二滑动窗口小于或等于第一滑动窗口，第二滑动窗口步长小于或等于第一滑动窗口；

使用预设的聚类算法得到所述美学质量图谱中的能量最高区域，以所述能量最高区域的最小外接矩形作为图像最佳美感区域；

计算所需裁剪比例的窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为最佳美感裁剪区域。

更加具体的，当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时，所述计算模块具体用于：

使用原始比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分；

使用标准比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述标准比例滑动窗口对应的若干个美学评分；

在所述原始比例滑动窗口对应的若干个美学评分、及所述标准比例滑动窗口对应的若干个美学评分中选取最高美学评分；

或者使用原始比例滑动窗口遍历所述照片图像，利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分；

选取原始比例滑动窗口对应的若干个美学评分中最高的美学评分，根据最高的美学评分对应的原始比例滑动窗口的坐标得到原始比例下的最佳美感裁剪区域；

计算所述标准比例滑动窗口与所述原始比例下的最佳美感裁剪区域的最大交并比，将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域；

按照指令选择原始比例下的最佳美感裁剪区域或标准比例下的最佳美感裁剪区域中的一个作为图像最佳美感裁剪区域；

或者计算第一滑动窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为最佳美感裁剪区域，包括以下步骤：

计算原始比例滑动窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为原始比例下的最佳美感裁剪区域；

计算标准比例滑动窗口与所述图像最佳美感区域的最大交并比，将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域；

在所述原始比例下的最佳美感裁剪区域、及标准比例下的最佳美感裁剪区域中选取中心与所述图像最佳美感区域中心最近的一个作为图像最佳美感裁剪区域。

所述裁剪模块24，用于根据所述最佳美感裁剪区域的坐标裁剪所述照片图像，得到所述照片图像的最佳裁剪区域。

所述预设的美学评价模型通过训练得到，使用的机器学习方法包括卷积神经网络、受限玻尔兹曼机、深度置信网络等。更进一步的，本发明装置实施例还包括模型训练模块，所述模型训练模块用于：

获取已知美学评分的若干个图像；

利用已知美学评分的若干个图像对预设的美学评价模型进行训练，得到训练后的美学评价模型。

本发明的照片智能裁剪方法及系统，具有以下有益效果：

1、本发明可以从最佳美学的角度智能地裁剪出标准比例的照片，解决了人工手动裁剪照片可能出现低美感以及裁剪出的照片比例非标准的情况，以符合实际应用需求。

2、支持交互功能，可以在人工指定点的邻域范围内裁剪出最佳美学的照片，以更好地满足用户的定制化裁剪需求。

为了更加详细的说明本发明的实施例，给出实例1和实例2。

如图3所示，实例1包括以下步骤：

步骤s1：从智能设备相册中获取照片图像。

步骤s2：系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。

步骤s3：若没有人工指定的目标裁剪区域种子点，使用多尺度的原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口遍历图像，并使用卷积神经网络美学评价模型计算得到各窗口内的美学评分。选取原始比例及标准比例窗口的最高美学评分对应的位置，作为原始比例及标准比例下最佳美感裁剪区域；

若存在人工指定的目标裁剪区域种子点，使用多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口遍历种子点邻域，确保各滑动窗口包含种子点，并使用卷积神经网络美学评价模型计算得到各窗口内的美学评分。选取原始比例及标准比例窗口的最高美学评分对应的位置，作为原始比例及标准比例下最佳美感裁剪区域。

步骤s4：智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像，得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标，则无需裁剪。

在步骤s1中，从智能设备相册中获取照片图像。

在步骤s2中，系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。

在步骤s3中，若没有人工指定图像中的某一坐标作为目标裁剪区域种子点，使用多尺度的原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口以一定步长遍历图像，并使用卷积神经网络美学评价模型计算得到各窗口内的美学评分(1-10分)。选取原始比例及标准比例窗口的最高美学评分对应的位置，作为原始比例及标准比例下最佳美感裁剪区域。

需要说明的是，美学评价模型通过训练得到，避免了人工规则模型的主观性和片面性。检测原始比例与多种标准比例(1:1、5:3、4:3、16:9、16:9、3:2、7:5)下最佳美感裁剪区域时，除去使用所有比例下的滑动窗口遍历图像外，亦可只用原始比例窗口遍历一次图像得到原始比例下最佳美感裁剪区域，随后计算多种标准比例窗口与原始比例下最佳美感裁剪区域的最大交并比，将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域。

优选地，滑动窗口共7个尺度，各尺度缩放比为1.2，最小尺度滑动窗口的水平方向边长设为原始图像水平方向长边的1/4，滑动窗口的水平方向步长设为原始图像水平方向边长的1/16，滑动窗口的竖直方向步长设为原始图像竖直方向边长的1/16。

在所述步骤s3中，若人工指定图像中的某一坐标作为目标裁剪区域种子点，使用多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口遍历种子点邻域，并确保各滑动窗口包含种子点。使用卷积神经网络美学评价模型计算得到各窗口内的美学评分(1-10分)，选取原始比例及标准比例窗口的最高美学评分对应的位置，作为原始比例及标准比例下最佳美感裁剪区域。

需要说明的是，美学评价模型通过训练得到，避免了人工规则模型的主观性和片面性。检测原始比例与多种标准比例(1:1、5:3、4:3、16:9、16:9、3:2、7:5)下最佳美感裁剪区域时，除去使用所有比例下的滑动窗口遍历图像外，亦可只用原始比例窗口遍历一次图像得到原始比例下最佳美感裁剪区域，随后计算多种标准比例窗口与原始比例下最佳美感裁剪区域的最大交并比，将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域。

优选地，滑动窗口共7个尺度，各尺度缩放比为1.2，最小尺度滑动窗口的水平方向边长设为原始图像水平方向长边的1/4，滑动窗口的水平方向步长设为原始图像水平方向边长的1/16，滑动窗口的竖直方向步长设为原始图像竖直方向边长的1/16。优选地，在种子点邻域内使用物体识别算法，确保种子点邻域包含种子点物体的轮廓。现有技术中已经有很多成熟的物体识别算法，故在此不再赘述。

在所述步骤s4中，智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像，得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标，则无需裁剪。

需要说明的是，亦可由用户指定所需裁剪比例，本方法及系统将根据用户指定裁剪比例裁剪出最佳图像区域。

如图4所示，实例2包括以下步骤：

步骤s1：从智能设备相册中获取照片图像。

步骤s2：使用卷积神经网络美学评价模型生成照片图像的美学质量图谱。

步骤s3：系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。

步骤s4：若没有人工指定图像中的某一坐标作为目标裁剪区域种子点，使用聚类算法得到美学质量图谱中能量最高区域，得到能量最高区域的最小外接矩形的坐标，其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置，作为原始比例及标准比例下最佳美感裁剪区域。

若人工指定图像中的某一坐标作为目标裁剪区域种子点，使用聚类算法得到种子点邻域内美学质量图谱中能量最高区域，并确保能量最高区域范围包含种子点，得到能量最高区域的最小外接矩形的坐标，其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置，作为原始比例及标准比例下最佳美感裁剪区域。

步骤s5：智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像，得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标，则无需裁剪。

在步骤s1中，从智能设备相册中获取照片图像。

在步骤s2中，使用卷积神经网络美学评价模型生成照片图像的美学质量图谱。以一定大小和步长的滑动窗口遍历图像，使用卷积神经网络美学评价模型计算每个滑动窗口的美学评分(1-10分)作为滑动窗中心点坐标的美学质量值，随着滑动窗口遍历完成，即生成美学质量图谱。

需要说明的是，美学评价模型通过训练得到，避免了人工规则模型的主观性和片面性。

优选地，滑动窗口的长宽比与原始图像相同，滑动窗口的水平方向边长设为原始图像水平方向长边的1/4，滑动窗口的竖直方向边长设为原始图像竖直方向长边的1/4，滑动窗口的水平方向步长设为原始图像水平方向边长的1/32，滑动窗口的竖直方向步长设为原始图像竖直方向边长的1/32。

在步骤s3中，系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。

在步骤s4中，若没有人工指定图像中的某一坐标作为目标裁剪区域种子点，使用聚类算法得到美学质量图谱中能量最高区域，得到能量最高区域的最小外接矩形的坐标，其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置，作为原始比例及标准比例下最佳美感裁剪区域。

需要说明的是，当多尺度原始比例及标准比例窗口与图像最佳美感区域产生的最大交并比的坐标位置不唯一时，选取窗口中心与图像最佳美感区域中心最近的窗口作为最佳美感裁剪区域。

在步骤s4中，若人工指定图像中的某一坐标作为目标裁剪区域种子点，使用聚类算法得到种子点邻域内美学质量图谱中能量最高区域，并确保能量最高区域范围包含种子点，得到能量最高区域的最小外接矩形的坐标，其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置，作为原始比例及标准比例下最佳美感裁剪区域。

需要说明的是，当多尺度原始比例及标准比例窗口与图像最佳美感区域产生的最大交并比的坐标位置不唯一时，选取窗口中心与图像最佳美感区域中心最近的窗口作为最佳美感裁剪区域。优选地，在种子点邻域内使用物体识别算法，确保种子点邻域包含种子点物体的轮廓。现有技术中已经有很多成熟的物体识别算法，故在此不再赘述。

在所述步骤s5中，智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像，得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标，则无需裁剪。

需要说明的是，亦可由用户指定所需裁剪比例，本方法及系统将根据用户指定裁剪比例裁剪出最佳图像区域。

本发明可自动裁剪出照片中最美区域，而且提供用户交互的操作方式，可裁剪出用户指定位置附近最美照片，同时预先对相册照片进行场景分类，提升美学评价准确性，采用卷积神经网络美学评价模型，避免人工规则特征的主观性和片面性。本方法及系统可以适用的范围广，可在智能设备中广泛适用。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。