专利名称：一种基于重要性检测的图像collage的自动生成与智能管理方法
技术领域：
本发明涉及一种基于重要性检测的图像collage的自动生成和智能管理方法。
背景技术：
随着数字相机的发展，越来越多的数字相册被广泛应用，比如Google的Picasa和Yahoo的Flickr ;由于有大量的图像，随之就产生了一个问题，如何有效的展示这些图像目前有许多产品，如提供一些简单的图像幻灯片放映的方式。然而，这些方式不仅放弃了语义信息，而且效果也是不尽人意的。基于上述，我们提出了一种基于重要性检测的图像collage的自动生成和智能管理方法。
发明内容
本发明要解决的技术问题是如何使得生成的collage包含尽可能多的信息，也即使得用户得到的整体信息最大化以及如何使得画布的利用率(图像填满)尽可能高。为此本发明采用以下技术方案，该方法包括以下步骤(I)重要性图检测按步骤(I. I)至(I. 3)提取图像的重要性区域(11)顔色重要性检测根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素重要性度的初始重要性图；(I. 2)景深分析对输入图像进行景深分析，若图像为长景深图像，则直接进入步骤(1.3);若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；(I. 3)构图分析对图像进行构图分析，根据图像的结构特征，进一歩修正重要性图；(2)智能摆放根据上ー步骤得到的重要性图，使用我们的算法在画布上摆放图像，摆放的过程保证重要部分不被遮挡(2.1)索引选定图像对于原始图像集合Im (I, n),通过索引的选择确定某ー张图像，其中n为图像的个数；(2. 2)确定图像在画布上的大小定义r = minCfF/oV^),丑/，其中W，H是画布的宽和高，w，h是图像的宽和高，n为图像的个数；通过上述定义的比率,将放在画布上的图像乘以这个比率，确定图像在画布上的大小；(2. 3)摆放图像首先在画布的中心位置放ー张图像，然后以此图像为中心，向四周扩散摆放，每放ー张图像，调用遮挡算法检测重要性区域有没有被遮挡；如果被遮挡，通过改变当前图像的位置和大小进行调整；(3)角度多样性 (3. I)角度确定把图像的编号(1，. . .，n)作为唯一确定图像的索引，根据索引的奇偶性，使图像的角度服从y = ±10，S = 5高斯分布；(3. 2)角度旋转以图像的中心为定点做旋转，定义图像旋转的状态集合{_1，0，1}，-I表示图像逆时针旋转，0表示旋转角度为0,1表示图像顺时针旋转；(3. 3)图像角度自优化图像经步骤(3. 2)旋转一定角度之后，稍稍改变图像的大小，将图像周围的空白覆盖；
(3.4)图像间角度优化观察任意两张图像的位置关系，如果该两张图像的重叠部分和图像间的空白较多，对其中一张图像再做一次角度旋转。本发明的一种基于重要性检测的图像collage的自动生成和智能管理方法，生成的拚帖(collage)包含的信息量大，使得用户得到的整体信息最大化。同时生成的collage图像基本填满画布，使得画布的利用率非常高。作为本发明的进ー步改进，将步骤(I)提取出的图像的重要性区域用矩形信息表示。所述的矩形信息包括左上的顶点坐标，以及矩形的宽度和高度。一般情况下，我们得到的图像重要性区域矩形会偏小，因此，可以适当扩大该矩形区域的信息，扩大比例为图像长宽的5%。作为本发明的再进ー步的改进,通过user-study,支持角度多样性对collage美观起到积极作用。因此，我们给予摆放后的每ー张图像ー个服从一定分布的角度。由于要旋转图像，在摆放的过程中，我们适当扩大重要性区域的大小，这样在旋转以后仍然保证实际重要性区域不被遮挡。对于给定的角度，我们根据索引奇偶性让其分别服从期望对称的高斯分布，从而既保证了角度多祥性，又有对称美。作为本发明的再进ー步的改进，本发明还提供ー种智能管理模式经过前面步骤
(3)生成的collage，仍有可能不尽人满意的地方，这是需要我们通过人工的方式对某些差强人意的地方进行修改。具体来说，提供用户交互修改collage的工具，使用户可以方便地修改图像，比如调整图像的大小、位置、旋转角度以及色调等信息，调整信息凸显重要性图等，使得collage更符合用户的需求，更具有美观的效果。作为本发明的更进一歩的改进，本发明还提供ー种智能浏览模式通过为用户提供一系列的操作欣赏智能生成的collage的整体效果。
图I为本发明的总体流程图。图2为检测出重要性重要区域的ー个图像，其中矩形信息框包含的区域为重要性区域。图3为本发明所提供的方法制作的示意图，其中(a)为原始图像集合，(b)为智能生成并优化后的collage。图4为本发明所提供的方法制作的ー个具体例子，其中(a)为原始图像集合，(b)为智能生成并优化后的collage。图5为任意两个图像的位置关系图。图6为对图像间角度优化过程的示意图。
具体实施方式
首先定义接下来说明中要用到的縮写原始图像集Ii = {I, ...，n}，重要性图集Si = {I,…，n},图I是本发明的基本流程图，发明以ー些列图像为输入，经过一系列处理，得到一幅传达信息最大化的具有一定观赏效果的拼贴，下面对本发明的各个流程进行详细说明I.重要性图检测这里我们输入一系列原始图像集合，通过色彩检测、景深分析、构图分析等步骤，提取图像的重要性区域，用矩形表示，为了后面角度旋转方便，我们这里扩大重要性区域的面积，扩大比例为图像长宽的5%，从而保证图像旋转之后重要部分不被遮挡。所述的色彩检测、景深分析和构图分析步骤如下(11)顔色重要性检测根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素敏感度的初始重要性图； (I. 2)景深分析对输入图像进行景深分析，若图像为长景深图像，则直接进入步骤(1.3);若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；(I. 3)构图分析对图像进行构图分析，根据图像的结构特征，进一歩修正重要性图2.智能摆放对于原始图像集合Ii (1，...，n)，索引唯一确定，通过索引的选择，我们可以确定某ー张图像。为了使得图像在画布上有一个合适的大小，我们定义T = min(W / H / (h^n))，其中W，H是画布的宽和高，w，h是图像的宽和高，n为图像的个数。通过上述定义的比率，我们将放在画布上的图像乘以这个比率，就可以确定图像在画布上的大小。在摆放的过程中，首先在画布的中心位置(局部随机)放ー张图像，然后以此图像为中心，向四周扩散摆放，每放ー张图像，调用遮挡算法检测重要性区域部分有没有被遮挡。如果被遮挡，我们通过改变当前图像的位置、大小等信息来调整。遮挡算法的简单描述就是判断当前图像重要性区域的顶点是否落在已摆放图像所在的区域，若是则遮挡，否则没有遮挡。3.角度多样性(I)角度确定我们把图像的编号(1， …，n)作为唯一确定图像的索弓丨，根据索引的奇偶性，使图像的角度服从U =±10，8 = 5高斯分布，这样使得图像的角度既能保证多祥性，有可以保持ー种简单的对称美。(2)角度旋转这里角度的旋转是以图像的中心为定点做的旋转，我们定义图像旋转的状态集合{-1,0,1}, -I表示图像逆时针旋转,0表示旋转角度为0,1表示图像顺时针旋转。由于在旋转角度时，图像已经在画布上摆放完毕，旋转角度产生之后，就会在四个角部分会出现ー些空白，为了保证这些空白尽可能的少，我们做后面2方面的优化。(3)图像角度自优化图像经上述旋转一定角度之后，对于某一张图像本身而言，我们要保证图像周围的空白尽可能少，我们稍稍改变图像的大小，使得将周围的空白覆盖。(4)图像间角度优化
參照图5，根据前面定义的角度旋转的状态，我们观察任意两张图像的位置关系有以下几种情况对于图5(a)和(b)中的情况，空白和遮挡部分在接受范围内；而对于图5(c)中的情况，我们将按图6所示的方法进行调整即将图像2沿该图像中心顺时针旋转一定角度，使图像I和图像2之间的夹角变小，这样处理的结果使得两图像之间的重叠部分和空白面积減少。4.智能管理对于自动生成的collage，总是难免有些地方差强人意，我们提供一些人工的方式来更改前面的collage，用户可以更改图像的位置、大小、旋转角度、图层、色调等，图3是最终生成的collage的效果图。5.智能浏览对于前面生成的collage,用户可以根据自己喜欢的方式对collage进行欣赏。 应该理解到的是上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。
权利要求
1.一种基于重要性检测的图像collage的自动生成和智能管理方法，其特征在于该方法包括以下步骤 (1)重要性检测 按步骤(I. I)至(I. 3)提取图像的重要性区域 (11)顔色重要性检测根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素敏感度的初始重要性图； (1.2)景深分析对输入图像进行景深分析，若图像为长景深图像，则直接进入步骤(I. 3);若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图； (1.3)构图分析对图像进行构图分析，根据图像的结构特征，进一歩修正重要性图； (2)智能摆放图像 (2. I)索引选定图像对于原始图像集合IiQ = l，...，n)，通过索引的选择确定某ー张图像，其中n为图像的个数； (2. 2)确定图像在画布上的大小定义r = min(W/(>‘),///(ゐ‘))，其中W，H是画布的宽和高，w，h是图像的宽和高，n为图像的个数；通过上述定义的比率，将放在画布上的图像乘以这个比率，确定图像在画布上的大小； (2. 3)摆放图像首先在画布的中心位置放ー张图像，然后以此图像为中心，向四周扩散摆放，每放ー张图像，调用遮挡算法检测重要性区域有没有被遮挡；如果被遮挡，通过改变当前图像的位置和大小进行调整； (3)角度多祥性图像 (3. I)角度确定把图像的编号(1，. . .，n)作为唯一确定图像的索引，根据索引的奇偶性，使图像的角度服从U = ±10，8 = 5高斯分布； (3. 2)角度旋转以图像的中心为定点做旋转，定义图像旋转的状态集合{-1，0，1}，-1表示图像逆时针旋转，0表示旋转角度为0,1表示图像顺时针旋转； (3.3)图像角度自优化图像经步骤(3.2)旋转一定角度之后，稍稍改变图像的大小，将图像周围的空白覆盖； (3.4)图像间角度优化观察任意两张图像的位置关系，如果该两张图像的重叠部分和图像间的空白较多，对其中一张图像再做一次角度旋转。
2.根据权利要求I所述的ー种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于将步骤(I)提取出的图像的重要性区域用矩形信息表示。
3.根据权利要求2所述的ー种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于所述的矩形信息包括左上的顶点坐标，以及矩形的宽度和高度。
4.根据权利要求2所述的ー种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于将所述的图像重要性区域矩形扩大至1-1. 05倍。
5.根据权利要求I所述的ー种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于步骤(2. 3)所述的遮挡算法是指循环判断当前图像重要性区域是否落在其它图像所占区域，若是，则表示遮挡，否则，即没有遮挡。
6.根据权利I所述的ー种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于对于步骤(3)生成的拚帖，提供用户交互修改collage的工具，，通过人工方式调整图像的大小、位置、旋转角度以及色调，调整图层信息，对图像进行进一歩修改。
7.根据权利1-6任何一项所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于，对于步骤(3)生成的拚帖，提供ー种智能浏览的方式，该智能浏览的方式包括一些简单的用户操作，用户选择自己喜欢的方式对拚帖进行浏览。
全文摘要
本发明公开了一种基于重要性检测的图像collage的自动生成和智能管理方法，其特征在于该方法包括以下步骤(1)重要性图检测采用色彩检测、景深分析、构图分析等步骤，提取图像的重要性区域；(2)智能摆放根据上一步骤得到的重要性图，使用我们的算法在画布上摆放图像，摆放的过程保证重要部分不被遮挡；(3)角度多样性通过user-study，支持角度多样性对collage美观起到的积极作用。因此，我们给予摆放后的每一张图像一个服从一定分布的角度。本发明生成的拚帖(collage)包含的信息量大，使得用户得到的整体信息最大化。同时生成的collage基本填满画布，使得画布的利用率非常高。
文档编号G06T11/60GK102646273SQ201110446130
公开日2012年8月22日 申请日期2012年3月29日 优先权日2012年3月29日
发明者童若锋, 鲍大勇 申请人:浙江大学