一种缩略图生成方法和系统的制作方法
【专利摘要】本发明公开了一种缩略图生成方法和系统，通过联合使用裁切、扭曲、缩放三种图像处理策略生成缩略图，发挥了不同策略的优势，并使其互相补充，使图像中的重要区域在缩略图中得到准确、完整、充分的显示，在缩略图的有限空间中实现了重要信息的最大化保留。本发明将以上三种图像处理策略通过一次统一的最优化过程实现，同时具有较少的时间开销。
【专利说明】一种缩略图生成方法和系统
【技术领域】
[0001]本发明涉及到一种图像处理领域，特别涉及到一种生成图像缩略图的方法和系统。
【背景技术】
[0002]近年来，随着多媒体和互联网技术的不断发展，图像、视频等可视化数据呈爆炸式增长。为了快速浏览图像，手机、IPad、电脑等设备先将图像转换成小尺寸的缩略图，然后在屏幕上同时显示多幅图像的缩略图，以方便用户的浏览。
[0003]根据调查，当前几乎所有设备所采用的缩略图生成方法都是裁切或者均匀缩放。裁剪就是直接在原始图像中间截取一块目标尺寸区域作为缩略图，而均匀缩放则是将原始图像以固定的比例压缩至缩略图的尺寸。然而，均匀缩放往往导致图像中重要物体在缩略图中严重形变，裁切可能造成某些重要物体被全部或者部分丢弃。总之，这两种方法生成的缩略图难以有效地向用户传达信息，极大降低了用户视觉体验。
[0004]近年来，一些国外学者注意到了缩略图的实用意义以及所面临的困难，提出了一些新的方法°在〈〈Proceedings of IEEE International Conference on Computer Vision))2012年发表的〈〈Scale and object aware image retargeting for thumbnail browsing))中，他们通过联合使用两种图像处理策略一一缝雕刻与扭曲，来生成缩略图，该方法首先通过缝雕刻算法剔除图像中的非重要像素，生成一幅目标尺寸的缩略图，然后根据缩略图中各像素与源图像中像素的对应关系，计算出从原始图像到缩略图的最佳映射，再根据该映射将源图像映射成缩略图。该方法可以使缩略图中的大部分空间用于显示重要的物体，同时确保该物体不发生严重的形变。然而，缝雕刻方法容易破坏图像的几何结构，很多时候后续的扭曲策略也无法完全修复，生成的缩略图中重要物体依然会出现明显的形状改变，而且，该方法采用分阶段的方式逐一执行两种图像处理策略，带来了较大的时间开销，不利于实际应用。
【发明内容】
[0005]本发明的目的是为了解决缩略图中重要图像内容形变严重、损失过多、视觉体验较差的问题，而提出一种图像的缩略图生成方法和系统。该方法和系统将不同尺寸、规格和内容的图像处理成预设尺寸的缩略图，并且使该缩略图准确、完整、充分地显示图像中的重要内容，提升用户浏览效率和浏览体验。
[0006]根据本发明的一个方面，提出一种图像的缩略图的生成方法，包括:步骤1，获取待生成缩略图的源图片和待生成缩略图的目标尺寸；步骤2，根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性；步骤3，将源图片均匀划分成MXN个网格，其中M是大于等于I的整数，N是大于等于I的整数，以及，根据图像的重要性分布，计算每个网格的重要性；步骤4，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格；步骤5，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图；步骤6，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件；步骤7，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；步骤8，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件；步骤9，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图；步骤10，输出第三缩略图。
[0007]根据本发明的另一方面，还提出一种缩略图生成系统，该系统包括:图片获取单元，用于获取待生成缩略图的源图片和待生成缩略图的目标尺寸；重要性分析单元，用于根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性；网格重要性确定单元，用于将源图片均匀划分成MXN个网格，其中M是大于等于I的整数，N是大于等于I的整数，以及，根据图像的重要性分布，计算每个网格的重要性；网格变形单元，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格；第一缩略图获取单元，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图；第一判定单元，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件；第二缩略图获取单元，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；第二判定单元，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件；第三缩略图获取单元，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图；输出单元，输出第三缩略图。
[0008]本发明的缩略图生成系统和方法联合使用三种图像处理策略生成目标尺寸的缩略图，将三种策略融合在一个统一的最优化框架下实现，根据所生成缩略图对重要区域显示的完整程度来调整裁切策略的作用效果，根据所生成缩略图对重要区域显示的充分程度来调整缩放策略的作用效果。
[0009]本发明引入的裁切策略，将使图像中的重要区域被保存在缩略图中，而相对不重要的图像外围区域则被舍弃，这么做将节省缩略图本已十分有限的空间，使缩略图有限的空间尽可能用于集中展示图像的重要信息。
[0010]本发明所引入的扭曲策略，将使图像的重要区域在缩略图中保持原有的形状和几何结构，并同时扭曲处于各重要区域之间的不重要区域，使重要目标的空间排列发生改变，使其排列得更加紧密，有利于缩略图完整地概括所有重要目标。
[0011]本发明所引入的缩放策略，将使重要区域在缩略图中保持一个合适的尺度，避免重要目标发生过度的缩小，影响用户的浏览和辨认，有利于缩略图有效地向用户传达信息。
[0012]本发明通过联合使用裁切、扭曲、缩放三种图像处理策略处理图像，发挥了不同策略的优势，并使其互相补充，使图像中的重要区域在缩略图中得到准确、完整、充分的显示，在缩略图的有限空间中实现了重要信息的最大化保留。
[0013]本发明将三种图像处理策略融合成一个统一的凸规划问题，通过一次数值优化即可求解，相较于采用分阶段的方式逐步执行各策略，这种统一的融合有效降低了算法的复杂度。[0014]本发明定义的缩略图完整性判定条件和充分性判定条件可以评价当前缩略图对重要区域显示的完整程度和充分程度。
[0015]本发明所引入的缩略图完整性修正算法，对重要区域显示不完整的缩略图，相应地调整裁切策略的作用效果，使再次生成的缩略图包含更多重要区域，有效改进缩略图中重要区域的完整性。
[0016]本发明所引入的缩略图充分性修正算法，对重要区域显示不充分的缩略图，相应地调整缩放策略的作用效果，使再次生成的缩略图中重要区域占据更多空间，有效改进缩略图中重要区域的充分性。
【专利附图】
【附图说明】
[0017]图1所示为本发明中的缩略图生成方法示意图；
[0018]图2所示为本发明中的缩略图生成系统示意图；
[0019]图3所示为缩略图生成系统中重要区域分析模块示意图；
[0020]图4所不为缩略图生成系统中最优化|旲块不意图；
[0021]图5所示为缩略图生成系统中完整性修正模块示意图；
[0022]图6所不为缩略图生成系统中充分性修正模块不意图；
[0023]图7所示为本发明重要性分析算法实施例示意图；
[0024]图8所示为本发明采用三种策略处理图像生成缩略图实施例示意图；
[0025]图9所示为本发明完整性、充分性修正算法修正缩略图实施例示意图；
[0026]图10所示为本发明与已有算法处理实施例对比示意图。
【具体实施方式】
[0027]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0028]本发明的主要思想是同时使用三种图像处理策略来生成缩略图，使得重要的图像内容得以在缩略图中准确、完整、充分的显示，使缩略图最大化地保留原始图像的重要信息，提高用户的浏览效率和浏览体验，同时降低算法复杂度。
[0029]下面首先对本发明涉及到的术语进行解释:
[0030]裁切:位于裁切窗口内的图像内容被保留，而裁剪窗口外的区域则被丢弃。本发明中的裁切策略将优先保留图像的重要区域，而将不重要区域裁切掉。
[0031]扭曲:改变图像或者图像某个区域的形状，这种形状改变不包括等比例的放大或缩小，比如正方形区域被放大成一个边长更长的正方形并不视为形状改变，而正方形被拉伸成长方形则视为形状改变。本发明中的扭曲策略是使重要区域保持原有的形状，而改变不重要区域的形状。
[0032]缩放:将图像或者图像的某个区域放大成原图或者原区域的N倍，或者缩小成原图或者原区域的1/N倍，其中N大于I。本方法中的缩放策略是将重要区域缩放到一个相对较大的尺寸，而缩小不重要区域的尺寸。
[0033]变形:该处含义不仅仅指改变图像的形状，而是对图像内容广义的改变，包括改变图像某区域的形状和位置。本发明中通过裁切、扭曲、缩放三种策略处理过的图像被视为发生变形。
[0034]图1示出了本发明中缩略图生成方法的实施例的步骤流程图。如图1所示，本发明的缩略图生成方法包括以下步骤:
[0035]步骤101，获取待生成缩略图的源图像和该缩略图的尺寸；该处的源图像可以是任意尺寸和规格的图像数据，包括网络图片、数码相机照片到视频中捕捉到的一帧。该处待生成缩略图的目标尺寸可以是所述缩略图的宽Wt和高Ht。
[0036]步骤102，根据重要性分析算法，计算目标图像的重要性分布，并且进一步划分出重要区域和非重要区域；计算图像重要分布包括以下步骤:
[0037]先根据显著性图计算算法，计算图像的显著性图，其中显著性图计算算法可以参考《IEEE Transactions on Pattern Analisis and Machine Intelligence》1998 年的《Amodel of saliency-based visual attention for rapid scene analysis))中的方法。
[0038]然后根据人脸检测算法，检测目标图像的人脸所在区域；根据人脸检测结果生成人脸区域图。具体地，在人脸区域图中，将人脸所在区域的像素赋予较高的灰度值(如255)，将其他区域的像素赋予较低的灰度值，其中人脸检测算法可以参考文献《InternationalJournal on Computer Vision〉〉2004 年〈〈Robust real-time face detection〉〉中的方法。
[0039]对于目标图像每个像素，在显著性图和人脸区域图中找到相应位置的像素的灰度值，并取两个灰度值中较大的一个作为该像素的重要性值，获得重要性分布图:
[0040]I (i, j) =max (Is (i, j)，If (i, j))
[0041]I(i, j)是原始图像中像素(i，j)的重要性图值，Is(i，j)和If (i，j)分别是像素(i，j)的显著性图值和人脸区域图值。
[0042]如图7所示为该重要性分析算法示意图。
[0043]步骤103，将目标图像均匀划分成MXN个网格；其中M是网格的行数大于等于I的整数，N是网格的列数大于等于I整数，以及，统计每个网格中所有像素的重要性分布，并相应地计算出各网格的重要性值；
[0044]步骤104，根据预置规则及各网格的重要性，使用裁切、缩放、扭曲三种策略对网格进行变形。这种处理是通过最小化目标函数实现的。首先，构建以网格顶点坐标为变量的缩略图目标函数，该函数为与裁切、扭曲、缩放三种策略相对应的裁切能量函数、扭曲能量函数和缩放能量函数的线性加权和；然后，根据求解算法，求解出使得总能量函数值最小的网格顶点新坐标。
[0045]具体地，为本实施例构建以网格顶点坐标为变量的优化模型，说明步骤104。
[0046]第一步，定义裁切窗口，裁切窗口的左上顶点与右下顶点坐标分别为(0，0)、(WT, Ητ)，初始化原始网格顶点坐标，这里WT，Ht是待生成缩略图的宽和高，该实施例中设为
120,120ο
[0047]第二步，分别构建对应扭曲、裁切、缩放策略的扭曲能量函数、裁切能量函数和缩放能量函数Dw、Dc和Ds。下面将具体给出Dw、Dc和Ds的计算方法。
[0048]所有网格总的形状改变Dw的计算公式为:
[0049]
【权利要求】
1.一种缩略图的生成方法，其特征在于，包括: 步骤1，获取待生成缩略图的源图片和待生成缩略图的目标尺寸； 步骤2，根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性； 步骤3，将源图片均匀划分成MXN个网格，其中M是大于等于I的整数，N是大于等于I的整数，以及，根据图像 的重要性分布，计算每个网格的重要性； 步骤4，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格； 步骤5，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图； 步骤6，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件； 步骤7，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图； 步骤8，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件； 步骤9，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图； 步骤10，输出第三缩略图。
2.根据权利要求1所述的生成方法，所述重要性分析算法，计算源图片的重要性分布，进一步包括: 步骤201，根据显著性图计算算法，计算源图片的显著性图； 步骤202，根据人脸检测算法，检测源图片的人脸区域，然后根据人脸检测结果生成人脸区域图； 步骤3，同时根据人脸区域图和显著性图，生成源图片的重要性分布； 其中，根据人脸检测结果生成人脸区域图的方式为:将人脸所在区域的像素赋予较高的灰度值，该灰度值的取值范围为150~255，将其他区域的像素赋予较低的灰度值，该灰度值的取值范围为1~100。
3.根据权利要求1所述的生成方法，步骤4进一步包括:使用扭曲策略保持重要区域的形状，而扭曲重要区域之间的不重要区域，使用裁切策略和缩放策略使变形后的网格同时满足裁切要求、扭曲要求、缩放要求。
4.根据权利要求3所述的生成方法，其特征在于: 所述裁切要求为:网格的重要性越高，变形后的网格的位置与裁切窗口中心的距离越近； 其中，单个网格与裁切窗口中心距离的计算方式为:变形后网格的质心距离裁切窗口中心的距离的平方和，包括:根据网格的四个顶点，计算当前变形后网格的质心坐标；根据变形后网格的质心坐标，计算质心与裁切窗口中心的距离；计算所述距离的平方。
5.根据权利要求3所述的生成方法，其特征在于: 缩放要求为:网格的重要性越高，变形后的网格与原始网格相比尺度差异越小。 其中，单个网格与原始网格尺度差异的计算方式为:变形后网格的平均对角线长度与原始网格对角线长度之差的平方和，包括:根据网格的四个顶点，计算当前变形后网格的尺度参数，该参数取值为正值，在O到I的范围内，说明该网格变形后发生了尺度缩小；大于.1，说明该网格变形后发生尺度扩大；等于I说明该网格尺度未发生变化；根据变形后网格的尺度参数，计算变形后网格的平均对角线长度与原始网格对角线长度之差；计算所述长度差的平方。
6.根据权利要求1所述的生成方法，其特征在于，步骤5进一步包括: 根据变形后网格的四个顶点坐标与原始网格的四个顶点坐标，计算从原始网格到变形后网格的最佳平面投影关系，即一个二维的线性映射； 根据最佳平面投影关系，将原始网格内的各像素投影到变形后的网格中，使原始图像内容适应新的网格； 根据图像变形后像素的位置和裁切窗口的位置，丢弃处于裁切窗口之外的像素，保留裁切窗口之内像素作为第一缩略图。
7.根据权利要求1所述的生成方法，其特征在于，重要物体完整性判定条件为:缩略图中所有像素的重要性之和与源图片中所有像素的重要性之和的比例大于预设阈值，其中，预设阈值的取值大于0.2。
8.如权利要求1所述的方法，其特征在于，步骤7中利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图的步骤进一步包括:对不满足重要物体完整性判定条件的缩略图，调整裁切策略的作用效果，即调整裁切要求，使重要网格距离裁切窗口中心的距离更近，减少变形后处于裁切窗口之外的像素数量。
9.根据权利要求1所述的生成方法，其特征在于，重要物体充分性判定条件为:缩略图中重要像素所占的面积与缩略图面积比例大于预设阈值，其中，预设阈值的取值大于0.2。
10.如权利要求1所述的方法，其特征在于，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图的步骤包括:对不满足重要物体充分性判定条件的缩略图，调整缩放策略的作用效果，即调整缩放要求，使重要网格的尺度与原始网格的尺度差异更小，增大变形后重要区域占据的面积。
11.一种缩略图生成系统，其特征在于，包括:图片获取单元，用于获取待生成缩略图的源图片和待生成缩略图的目标尺寸； 重要性分析单元，用于根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性； 网格重要性确定单元，用于将源图片均匀划分成MXN个网格，其中M是大于等于I的整数，N是大于等于I的整数，以及，根据图像的重要性分布，计算每个网格的重要性； 网格变形单元，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格； 第一缩略图获取单元，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图； 第一判定单元，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件； 第二缩略图获取单元，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；第二判定单元，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件； 第三缩略图获取单元，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图； 输出单兀，输出第三缩略图。
【文档编号】G06T7/00GK103902730SQ201410150911
【公开日】2014年7月2日 申请日期:2014年4月15日 优先权日:2014年4月15日
【发明者】卢汉清, 王金桥, 屈展 申请人:中国科学院自动化研究所