图像自动裁剪方法与流程

本发明涉及模式识别、机器学习及计算机视觉技术领域，特别涉及一种图像自动裁剪方法。

背景技术：

随着计算机技术和数字媒体技术的快速发展，人们对计算机视觉、人工智能、机器感知等领域的需求与期盼也越来越高。图像的自动裁剪作为图像自动编辑中的一项非常重要和常见的任务也得到越来越多的关注和发展。图像自动裁剪技术就是希望能够去除多余的区域，强调感兴趣区域，从而提高图像的整体构图和美感质量。一种有效并且自动的图像裁剪方法不仅能够使人类从繁琐的工作中解放出来，而且还能给一些非专业人士提供一些专业的图像编辑的建议。

由于图像裁剪是一项非常主观性的任务，现有的规则很难考虑所有影响因素。传统的图像自动裁剪区域通常使用显著性图来识别图像中的主要区域或感兴趣区域，同时通过制定的一些规则来计算能量函数最小化或学习分类器来寻找裁剪区域。但是这些制定的规则对图像裁剪这一主观性的任务并不够全面，精度也很难达到用户需求。

有鉴于此，特提出本发明。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决如何提高图像自动裁剪的鲁棒性和精度的技术问题而提供一种图像自动裁剪方法。

为了实现上述目的，提供了以下技术方案：

一种图像自动裁剪方法，所述方法包括：

提取待裁剪图像的美感响应图和梯度能量图；

对所述待裁剪图像密集提取候选裁剪图像；

基于所述美感响应图，筛选所述候选裁剪图像；

基于所述美感响应图和所述梯度能量图，估计筛选出的候选裁剪图像的构图分数，并将得分最高的候选裁剪图像确定为裁剪图像。

进一步地，所述提取待裁剪图像的美感响应图和梯度能量图，具体包括：

利用深度卷积神经网络和类别响应映射方法，并采用如下公式提取所述待裁剪图像的所述美感响应图：

其中，所述M(x,y)表示在空间位置(x,y)处的美感响应值；所述K表示深度卷积神经网络的最后一层卷积层的特征图的总通道个数；所述k表示第k个通道；所述f_k(x,y)表示所述第k个通道在所述空间位置(x,y)处的特征值；所述w_k表示所述第k个通道的特征图池化后的结果到高美感类别的权值；

对所述待裁剪图像进行平滑处理，并计算每个像素点的梯度值，从而得到所述梯度能量图。

进一步地，所述深度卷积神经网络通过以下方式训练得到：

在所述深度卷积神经网络结构的底层设置卷积层；

在所述深度卷积神经网络结构的最后一个卷积层之后通过全局平均池化的方法，将每一特征图池化为一个点；

连接与美感质量分类类别数相同的全连接层和损失函数。

进一步地，所述基于所述美感响应图，筛选所述候选裁剪图像，具体包括：

通过如下公式计算所述候选裁剪图像的美感保留分数：

其中，所述S_a(C)表示所述候选裁剪图像的所述美感保留分数；所述C表示所述候选裁剪图像；所述(i,j)表示像素的位置；所述I表示原始图像；所述A_(i,j)表示在(i,j)位置处的美感响应值；

将所有候选裁剪图像按照所述美感保留分数从大到小进行排序；

选取得分最高的一部分候选裁剪图像。

进一步地，所述基于所述美感响应图和所述梯度能量图，估计筛选出的候选裁剪图像的构图分数，并将得分最高的候选裁剪图像确定为裁剪图像，具体包括：

基于所述美感响应图和所述梯度能量图建立构图模型；

利用所述构图模型估计所述筛选出的候选裁剪图像的构图分数，并将所述得分最高的候选裁剪图像确定为所述裁剪图像。

进一步地，所述构图模型通过以下方式获得：

基于所述美感响应图和所述梯度能量图建立训练图像集；

对训练图像进行美感质量类别的标注；

利用标注的训练图像训练深度卷积神经网络；

针对所述已标注的训练图像，利用训练好的深度卷积神经网络，提取所述美感响应图和所述梯度能量图的空间金字塔特征；

将提取的空间金字塔特征拼接在一起；

利用分类器进行训练，自动学习构图规则，得到构图模型。

本发明实施例提供一种图像自动裁剪方法。该方法包括：提取待裁剪图像的美感响应图和梯度能量图；对待裁剪图像密集提取候选裁剪图像；基于美感响应图，筛选候选裁剪图像；基于美感响应图和梯度能量图，估计筛选出的候选裁剪图像的构图分数，并将得分最高的候选裁剪图像确定为裁剪图像。本方案利用美感响应图去探究图片的美感影响区域，利用美感响应图确定美感保留部分，从而更加最大程度地保留了裁剪图像的高美感质量，同时本方案还利用梯度能量图去分析梯度分布规则，并且基于美感响应图和梯度能量图来评估裁剪图的构图分数。本发明实施例弥补了图像构图表达的缺陷，解决了如何提高图像自动裁剪的鲁棒性和精度的技术问题。本发明实施例能应用于涉及图像自动裁剪的众多领域，包括图像编辑、摄影学及图像重定位等。

附图说明

图1是根据本发明实施例的图像自动裁剪方法的流程示意图；

图2是根据本发明实施例的深度卷积神经网络的结构示意图；

图3a是根据本发明实施例的待裁剪图像示意图；

图3b是根据本发明实施例的裁剪后的图像示意图。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

深度学习在各个领域得到了快速的发展及很好的效果。本发明实施例考虑利用深度学习去自动学习对图像裁剪重要的影响区域，以自动全面地学习规则，从而使得在裁剪时尽可能地保留高美感区域。

为此，本发明实施例提供一种自动图像裁剪方法。图1示例性地示出了图像自动裁剪方法的流程。如图1所示，该方法可以包括：

S100：提取待裁剪图像的美感响应图和梯度能量图。

具体地，本步骤可以包括：

S101：利用深度卷积神经网络和类别响应映射方法，并采用如下公式提取待裁剪图像的美感响应图：

其中，M(x,y)表示在空间位置(x,y)处的美感响应值；K表示训练好的深度卷积神经网络的最后一层卷积层的特征图f的总通道个数；k表示第k个通道；f_k(x,y)表示第k个通道在空间位置(x,y)处的特征值；w_k表示第k个通道的特征图池化后的结果到高美感类别的权值。

上述步骤在提取美感响应图时可以根据实际需要训练深度卷积神经网络。深度卷积神经网络的训练可以通过以下方式进行：

步骤1：在深度卷积神经网络结构的底层设置卷积层。

步骤2：在深度卷积神经网络结构的最后一个卷积层之后通过全局平均池化的方法，将每一个特征图池化为一个点。

步骤3：连接一个与美感质量分类类别数相同的全连接层和损失函数。

图2示例性地示出了一个深度卷积神经网络结构。

通过步骤1-3可以训练一个在美感质量分类任务下的深度卷积神经网络模型。然后，利用为美感质量分类任务训练好的深度卷积神经网络和类别响应映射方法；再采用上述公式，可以计算在高美感类别下待裁剪图像的美感响应图M。

S102：对待裁剪图像进行平滑处理，并计算每个像素点的梯度值，从而得到梯度能量图。

S110：对待裁剪图像密集提取候选裁剪图像。

这里，可以采用小于图像大小的所有大小的滑动窗口，对待裁剪图像密集提取候选裁剪窗口，通过候选裁剪窗口提取出候选裁剪图像。

S120：基于美感响应图，筛选候选裁剪图像。

具体地，本步骤可以包括：

S121：通过如下公式计算候选裁剪图像的美感保留分数：

其中，S_a(C)表示候选裁剪图像的美感保留分数；C表示候选裁剪图像；(i,j)表示像素的位置；I表示原始图像；A_(i,j)表示在(i,j)处的美感响应值。

通过本步骤可以构建美感保留模型。将候选裁剪窗口经过美感保留模型筛选出美感保留分数较高的候选窗口。

S122：将所有候选裁剪图像按照美感保留分数从大到小进行排序。

S123：选取得分最高的一部分候选裁剪图像。

例如：实际应用中可以设置保留前10000个候选裁剪窗口中的候选裁剪图像。

S130：基于美感响应图和梯度能量图，估计筛选出的候选裁剪图像的构图分数，并将得分最高的候选裁剪图像确定为裁剪图像。

具体地，本步骤可以通过步骤S131至步骤S133来实现。

S131：基于美感响应图和梯度能量图建立构图模型。

本步骤在建立构图模型时可以根据实际情况训练构图模型。在训练构图模型的过程中，训练数据可以采用构图较好的图像作为正样本，而将有构图缺陷的图像作为负样本。

可以通过以下方式来训练构图模型：

步骤a：基于美感响应图和梯度能量图建立训练图像集。

步骤b：对训练图像进行美感质量类别的标注。

步骤c：利用标注的训练图像训练深度卷积神经网络。

本步骤的训练过程可以参考上述步骤1至步骤3，在此不再赘述。

步骤d：针对已标注的训练图像，利用训练好的深度卷积神经网络，提取美感响应图和梯度能量图的空间金字塔特征。

步骤e：将提取的空间金字塔特征拼接在一起。

步骤f：利用分类器进行训练，自动学习构图规则，得到构图模型。

其中，分类器例如可以采用支持向量机分类器。

S132：利用构图模型估计筛选出的候选裁剪图像的构图分数，并将得分最高的候选裁剪图像确定为裁剪图像。

图3a示例性地示出了待裁剪图像；图3b示例性地示出了裁剪后的图像。

下面再以一优选实施例来更好地说明本发明。

步骤A：将标注有美感质量类别的图像数据集送入深度卷积神经网络进行美感质量类别模型训练。

步骤B：将标注有构图类别的图像数据集输入训练好的深度卷积神经网络，提取最后一层卷积层的特征图，并计算美感响应图，同时计算美感梯度图，然后采用支持向量机分类器训练构图模型。

步骤C：对待测试图像提取美感响应图和梯度能量图。

本步骤的提取方法可参考训练阶段的方法。

步骤D：密集采集待测试图像的候选裁剪窗口。

举例来说，在1000×1000的待测试图像上，利用间隔为30个像素的滑动窗口进行采集或提取。

步骤E：利用美感保留模型筛选候选裁剪窗口。

本步骤利用美感保留模型计算密集采集到的候选裁剪窗口的美感保留分数，筛选出美感分类最高的一部分候选裁剪窗口，例如：筛选出10000个候选裁剪窗口。

步骤F：利用构图模型评估筛选出的候选裁剪窗口。

本步骤采集训练阶段训练好的构图模型去评估筛选出的候选裁剪窗口的构图分数，将得分最高的作为最后的裁剪窗口，从而得到裁剪图像。

综上所述，本发明实施例提供的方法很好地利用了美感响应图和梯度能量图来最大程度地保留美感质量和图像的构图规则，得到更加鲁棒，精度更高的图像的自动裁剪性能，进而说明了美感响应图和梯度能量图对于图像自动裁剪的有效性。

上述实施例中虽然按照上述先后次序描述了本发明实施例提供的方法，但是本领域技术人员可以理解，为了实现本实施例的效果，还可以以诸如并行或颠倒次序等不同的顺序来执行，这些简单的变化都在本发明的保护范围之内。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。