预览图生成方法和设备的制作方法
【专利摘要】本发明的实施方式提供了一种预览图生成方法。该方法包括：选取用于产生拼接子图的候选图片；识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域；从所述候选图片中裁剪出包含所述显著性区域的图片；将裁剪出的图片作为拼接子图填充到拼接模板中。本发明的方法可以解决现有技术中由于以所选图片的固定位置为基础进行裁剪而导致的拼接子图的重要内容被截断甚至被裁剪掉。此外，本发明的另一方面提供了一种预览图生成设备。
【专利说明】预览图生成方法和设备
【技术领域】
[0001]本发明的实施方式涉及图像处理领域，更具体地，本发明的实施方式涉及预览图生成方法和设备。
【背景技术】
[0002]本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探宄的概念，但不一定是之前已经想到或者已经探宄的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]图集展示是很多互联网产品的一项重要功能，这些互联网产品通过用户上传或者网络爬虫自动抓取等方式收集图片，并以图集(即，一组图片的集合)为单位进行存储和展示。每个图集都包含了一组以相同文字信息描述的图片。图集展示系统以用户体验的角度出发，为每个图集生成一幅可概括该图集的图片，以供用户预览和点击查看详情，而这幅概要性的图片即为预览图。
【发明内容】
[0004]但是，本发明人在研宄过程中发现，在现有技术中，预览图生成方法主要包括三种:人工方法、非拼接方法和拼接方法。其中，人工方法就是由人工从图集中选择一幅图片作为预览图，或者选择多幅图片并利用图片处理软件对多幅图片进行拼接处理后作为预览图。非拼接方法就是将图集中的图片以卡片的形式随机叠加在一起，自动组合成一幅预览图。拼接方法就是先人工从多个拼接模板中选择一个用于生成预览图的拼接模块，在该拼接模板中规定了拼接子图的数量、每一幅拼接子图的拼接尺寸以及各拼接子图之间的相对位置，再由拼接装置按照拼接模板中所规定的拼接子图的数量随机地从图集中选取用于产生拼接子图的候选图片，并将所选的候选图片按照拼接模板中所规定的各个拼接子图的尺寸进行裁剪，最后将经过裁剪的图片作为拼接子图，并按照拼接模板进行拼接，所得到的拼接图片即为预览图。
[0005]依照现有技术，在拼接方法中，是以所选的候选图片的固定位置为基础进行裁剪，例如，以所选候选图片的中心位置为基础进行裁剪，以使得裁剪后的图片与拼接模板中所规定的拼接子图的尺寸相同。但是，这种裁剪方式容易导致拼接子图中的重要内容被截断甚至被裁剪掉，最终影响预览图的预览效果。
[0006]为此，非常需要一种预览图生成方法和设备，以解决现有技术中由于以候选图片的固定位置为基础进行裁剪而导致的拼接子图中的重要内容被截断甚至被裁剪掉，使得预览效果较差的问题。
[0007]在本上下文中，本发明的实施方式期望提供一种预览图生成方法和设备。
[0008]在本发明实施方式的第一方面中，提供了一种预览图生成方法，包括:选取用于产生拼接子图的候选图片；识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域；从所述候选图片中裁剪出包含所述显著性区域的图片；将裁剪出的图片作为拼接子图填充到拼接模板中。
[0009]在本发明实施方式的第二方面中，提供了一种预览图生成设备，包括:图片选取单元，用于选取用于产生拼接子图的候选图片；区域识别单元，用于识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域；图片裁剪单元，用于从所述候选图片中裁剪出包含所述显著性区域的图片；图片填充单元，用于将裁剪出的图片作为拼接子图填充到拼接模板中。
[0010]在本发明实施方式中，针对候选图片，先基于显著性区域检测技术识别出候选图片中的显著性区域，并从候选图片中裁剪出包含该显著性区域的图片，最后将裁剪出的图片作为拼接子图填充到拼接模板中。因此，在拼接模板的每一个拼接子图中，都完整地包含一个候选图片中的显著性区域，即，用户感兴趣目标的区域，并不会如现有技术一样被截断甚至被裁剪掉，从而提高了预览图(由填充在拼接模板中的多个拼接子图构成)的预览效果O
【专利附图】
【附图说明】
[0011]通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中:
[0012]图1示意性地示出了本发明实施方式可以在其中实施的一个示例性场景；
[0013]图2示意性地示出了根据本发明的一个实施方式的预览图生成方法的流程图；
[0014]图3示意性地示出了根据本发明的一个实施方式的从图集中选取色彩相似的原始图片的方法的流程图；
[0015]图4示意性地示出了根据本发明的一个实施方式的区域增长方法的流程图；
[0016]图5示意性地示出了根据本发明的一个实施方式的包含显著性区域的图片；
[0017]图6示意性地示出了根据本发明的一个实施方式的对显著性区域进行等比例拉伸处理的操作示意图；
[0018]图7示意性地示出了根据本发明的一个实施方式的两种拼接模板的结构示意图；
[0019]图8示意性地示出了根据本发明的一个实施方式的预览图生成设备的结构框架图；
[0020]图9示意性地示出了根据本发明的一个实施方式的图片裁剪单元的结构框架图；
[0021]图10示意性地示出了根据本发明的一个实施方式的图片填充单元的结构框架图；
[0022]图11示意性地示出了根据本发明的一个实施方式的区域识别单元的结构框架图；
[0023]图12示意性地示出了根据本发明的另一个实施方式的区域识别单元的结构框架图；
[0024]图13示意性地示出了根据本发明的一个实施方式的图片选取单元的结构框架图；
[0025]图14示意性地示出了根据本发明的一个实施方式的预览图生成设备的结构框架图。
[0026]在附图中，相同或对应的标号表不相同或对应的部分。
【具体实施方式】
[0027]下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0028]本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0029]根据本发明的实施方式，提出了一种预览图生成方法和设备。
[0030]在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0031]下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
[0032]发曰月概沐
[0033]本发明人发现，当利用拼接方法生成预览图时，针对用于产生拼接子图的候选图片，如果以候选图片的固定位置为基础进行裁剪，例如，以候选图片的中心位置为基础进行裁剪，在裁剪后所得到的拼接子图中，重要内容很容易被截断甚至被裁剪掉，最终影响预览图的预览效果。
[0034]如果识别出候选图片中的显著性区域(即，包含人类感兴趣目标的区域)，并从候选图片中裁剪出包含显著性区域的图片的话，就可以避免前面所述的由于以候选图片的固定位置为基础进行裁剪而导致的拼接子图中的重要内容被截断甚至被裁剪掉，使得预览效果较差的问题。
[0035]在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
[0036]应用场景总览
[0037]首先参考图1，图1示意性地示出了本发明的实施方式可以在其中实施的示例性应用场景。其中，客户端10向服务器20上传图片11，服务器20将获得的图片以图集为单位进行存储，并为图集生成一个用于概括该图集的预览图21，然后将该预览图21返回给客户端10，以供客户端10的用户预览和点击查看详情。服务器20可以是Web服务器，也可以是其他类型的服务器，例如APP服务器。本领域技术人员可以理解，图1所示的示意图仅是本发明的实施方式可以在其中得以实现的一个示例。本发明实施方式的应用范围不受到该框架任何方面的限制。例如，服务器20通过网络爬虫自动从客户端10抓取图片11。
[0038]示例件方法
[0039]下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的、用于预览图生成方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
[0040]请参阅图2，其示意性地示出了根据本发明的一个实施方式的预览图生成方法的流程图，例如，该方法可以由服务器20执行，方法具体例如可以包括:
[0041]步骤201:选取用于产生拼接子图的候选图片。
[0042]其中，由于图集中的原始图片的来源各不相同，因此，各个原始图片的视觉风格也存在差异，如果选取的候选图片的视觉风格不统一，最终生成的预览图的视觉效果就会很杂乱，从而无法突出显著性区域的重点。
[0043]为了使最后的预览图的视觉风格尽量统一，在本发明的一个优选实施方式中，从图集中选取色彩相似的原始图片作为用于产生拼接子图的候选图片。
[0044]在本发明的另一个优选实施方式中，如图3所示，从图集中选取色彩相似的原始图片包括:
[0045]步骤2011:针对图集中的每一个原始图片，计算该原始图片在红、绿和蓝三个色彩维度上的直方图向量，将三个直方图向量以首尾相接的方式拼接成该原始图片的色彩向量。
[0046]步骤2012:根据每一个原始图片的色彩向量对图集中的所有原始图片进行聚类，得到至少两个原始图片簇。
[0047]步骤2013:从所述至少两个原始图片簇中选取一个原始图片簇，计算选取的原始图片簇中各个原始图片的色彩向量分别于位于中心的色彩向量的相似度。
[0048]其中，可以计算选取的原始图片簇中各个原始图片的色彩向量与位于中心的色彩向量的余弦夹角，作为两者之间的相似度。
[0049]步骤2014:按照相似度从大到小的顺序选取至少N个原始图片，其中，N为正整数，且大于每一个拼接模板规定的拼接子图的个数。
[0050]其中，在上述步骤2012中，可以使用K-means算法对原始图片进行聚类处理。K-means算法是典型的基于原型的目标函数聚类方法的代表，它是以数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，是求对应某一初始类中心向量V最优分类，使得评价指标J最小。K-means算法采用误差平方和准则函数作为聚类准则函数。
[0051]当然，需要说明的是，除了可以采用K-means算法对原始图片进行聚类之外，也可以采用其它的聚类算法。
[0052]在通过上述方式选取了候选图片后，返回到预览图的生成流程中，并继续执行以下步骤。
[0053]步骤202:识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域。
[0054]在本发明的一个优选实施方式中，可以从所述候选图片中检测出显著性最强的区域；对所述显著性最强的区域进行区域增长处理，得到显著性区域。
[0055]例如，为了加快显著区域检测的速度，可以采用Image Signature对候选图片进行显著性区域检测，从而检测出显著性最强的区域，其中，Image Signature是一种快速显著性区域检测算法。当然，需要说明的是，在本发明中，除了可以采用Image Signature实现显著性区域检测之外，也可以采用其它的显著性区域检测算法。
[0056]并且，在本发明中，可以采用现有技术中的任意一种区域增长算法对检测出的显著性最强的区域进行区域增长处理，本发明对此不做具体限制。
[0057]例如，在如图4所示的区域增长方法中，该方法包括:
[0058]步骤2021:在候选图片中设置一个初始的矩形框，在该初始的矩形框中包含有该候选图片中的显著性最强的区域M。
[0059]例如，该初始的矩形框的宽高可以均为I。
[0060]步骤2022:计算该矩形框内各像素点的像素值总和与整个候选图片内各个像素点的像素值总和的比值。
[0061]步骤2023:判断该比值是否大于预设阈值，如果是，进入步骤2024，否则，进入步骤 2025。
[0062]步骤2024:停止生长，结束流程。
[0063]停止生长后所获得的矩形框所在的位置即为显著性区域的位置，根据所获得的矩形框的宽和高即可确定显著性区域的大小。
[0064]步骤2025:分别在上下左右四个方向生长矩形框，返回步骤2022。
[0065]其中，生长的步进值可以为1，并且，在生长过程中如果碰到了候选图片的边界，就停止该方向的生长。
[0066]在通过上述方式识别出显著性区域后，返回到预览图的生成流程中，并继续执行以下步骤。
[0067]步骤203:从所述候选图片中裁剪出包含所述显著性区域的图片。
[0068]其中，可以预先指定一个用于生成预览图的拼接模板，针对该拼接模板，可以先从候选图片中选取显著性区域的尺寸小于或等于该拼接模板中相应的拼接子图的尺寸的图片，然后再按照相应的拼接子图的尺寸裁剪图片，如图5所示。显然，在裁剪出的图片中，既包含有显著性区域，同时也包含有其它的非显著性区域。
[0069]另外，针对预先指定的拼接模板，也可以直接从候选图片中裁剪出其中的显著性区域，显然，在裁剪出的图片中，只包含有显著兴趣。并且，裁剪出的图片的尺寸可能会大于拼接子图的尺寸，也有可能小于拼接子图的尺寸。如果大于，可以对裁剪出的图片进行压缩处理，如果小于，可以对裁剪出的图片进行拉伸处理，从而使得压缩或拉伸处理后的图片的尺寸与相应的拼接图片的尺寸相同。
[0070]而考虑到在上述的压缩或拉伸处理时裁剪出的图片的宽和高并不是等比例变化的，因此会导致处理后的图片产生一些失真，最终影响预览图的展现效果。因此，在本发明的另一个优选实施方式中，提供了一种裁剪方法，可以保证在从候选图片中裁剪出其中的显著性区域之后，该裁剪出的图片可以经过等比例拉伸或压缩处理而与拼接模板中相应的拼接子图的尺寸相同。
[0071]该裁剪方法为:选取与候选图片中的显著性区域匹配的拼接模板，其中所述匹配的拼接模板的各个拼接子图的宽高比都落入所述候选图片的有效宽高比区间内，所述候选图片的有效宽高比区间为所述候选图片经过裁剪后完整包含显著性区域的所有图片的宽高比所构成的区间；从所述候选图片中裁剪出于所述匹配拼接模板的拼接子图的宽高比相同、且包含所述显著性区域的图片。
[0072]例如，以候选图片B为例，其宽和高分别为Wb和Hb，候选图片B中的显著性区域K的宽和高分别为Wk和H k，当对该显著性区域进行如图6所示的等比例拉伸处理时，所有处理后的图片可形成的宽高比区间为[Wk/Hb，ffb/Hk] ο通过上述方式，可以获得各个候选图片的宽高比区间，所有候选图片的宽高比区间即构成了候选图片的有效宽高比区间。
[0073]为了方便描述，假设有两种拼接模板，如图7所示，拼接模板I中的各个拼接子图的宽高比都为1/2，拼接模板2中的两个拼接子图的宽高比为1/2，另外两个拼接子图的宽高比为1/1。再假设计算得到的候选图片的有效宽高比区间为[1/3，1/2]，显然，拼接模板I中的各个拼接子图的宽高比全部都落入到该有效宽高比区间内，而拼接模板2中的各个拼接子图的宽高比没有全部落入到该有效宽高比区间，因此，拼接模板I为匹配的拼接模板。
[0074]可以理解的是，通过上述方式，可以自动地、实时地选取拼接模板，而不需要再由人工指定，特别是不需要人工为海量的图集分别指定拼接模板，因此，既提高了工作效率，也保证了实时地生成预览图。
[0075]还需要说明的是，如果有多个拼接模板符合上述的匹配的拼接模板的条件，可以从中任意选取一个拼接模板。一种更为优选的实现方式是，从中选取拼接子图的个数最多的拼接模板。
[0076]步骤204:将裁剪出的图片作为拼接子图填充到拼接模板中。
[0077]对应上述的优选实施方式，在该步骤中，可以将裁剪出的图片进行等比例拉伸和/或压缩处理，以满足处理后的图片的尺寸与匹配的拼接模板的拼接子图的尺寸相同；根据匹配的拼接模板对处理后的图片进行拼接。
[0078]为了加快显著性区域检测的速度，在本发明的一个优选实施方式中，可以在执行上述步骤202之前，先将候选图片进行等比例压缩，以便在上述步骤202中，从等比例压缩处理后的候选图片中检测出显著性最强的区域。相应的，在执行上述步骤203之前，先将显著性区域进行等比例拉伸，从而使得该显著性区域重新恢复为原始尺寸。
[0079]另外，在进行显著性区域检测时，针对一个候选图片，很有可能会裁剪出多个显著性区域，在对显著性最强的区域进行区域增长处理的同时，很有可能对其它的显著性区域也进行的区域增长。因此，为了更加凸显出显著性最强的区域，避免其他的显著性区域对后续的区域增长处理造成干扰，在本发明的另一个优选实施方式中，在对显著性最强的区域进行区域增长之前，先对候选图片中除显著性最强的区域以外的其它显著性区域进行抑制。
[0080]例如，可以采用加权的方式进行抑制。如，在候选图片S中，经过显著性区域检测所检测出的显著性最强的区域为M，S的加权矩阵为:
[0081]Wij= log(e+ I I s ^--M | |)
[0082]其中，Sij为S中横坐标为i纵坐标为j的像素点，I I s ?ΓΜ I为像素点Sij到M的欧式距离，WuS像素点s u的权重值，e为自然指数。
[0083]S经过加权后记为Sw，Sw= SXw υ。
[0084]另外，图集中的原始图片有可能本身就是一个由多个拼接子图拼接而成的拼接图片，如果将拼接图片选取为候选图片，由于在拼接图片中会存在多个显著性区域，会对显著性区域检测带来干扰，因此，在本发明的一个优选实施方式中，在执行上述步骤201之前，先检测图集中的原始图片本身是否为拼接图片，如果是拼接图片，对原始图片沿拼接的边界进行裁剪，以使得裁剪后的原始图片为非拼接图片，如果不是拼接图片，则直接执行上述步骤201。
[0085]例如，可以先对原始图片进行边缘检测，得到二值边缘图像，例如，使用canny算法进行边缘检测，检测在二值边缘图像中是否存在纵向边界和/或横向边界，如果存在，说明原始图片为拼接图片，如果不存在，说明原始图片不是拼接图片。
[0086]其中，检测在二值图像中是否存在纵向边界的方法为:计算二值边缘图像中的每一列的灰度值总和，判断该灰度值总和是否大于或等于预设的纵向灰度阈值，如果是，则存在纵向边界，如果否，则不存在纵向边界。
[0087]当然，该方法也同样适用于对横向边界的检测，S卩，计算二值边界图像中的每一行的灰度值总和，判断该灰度值总和是否大于或等于预设的横向灰度阈值，如果是，则存在横向边界，如果否，则不存在横向边界。
[0088]其中，预设的纵向灰度阈值可以根据每一列的最大灰度值总和乘以一个比例因子而得到，例如，预设的纵向灰度阈值为0.7。同样，预设的横向灰度阈值可以根据每一行的最大灰度值总和乘以一个比例因子而得到。
[0089]另外，在图集中，还有可能会存在内容相同或相似的原始图片，如果将内容相同或相似的原始图片选取为候选图片，最终有可能会导致预览图中的预览内容存在重复或非常近似，为了避免出现这样的情况，在本发明的一个优选实施方式中，在执行上述步骤201之前，还可以去除图集中内容相同或相似的原始图片，以便在步骤201中，只从内容互不相同也互不相似的原始图片中选取候选图片。例如，可以采用感知哈希算法从图集中搜索出相似的原始图片。
[0090]根据本发明，针对候选图片，先基于显著性区域检测技术识别出候选图片中的显著性区域，并从候选图片中裁剪出包含该显著性区域的图片，最后将裁剪出的图片作为拼接子图填充到拼接模板中。因此，在拼接模板的每一个拼接子图中，都完整地包含一个候选图片中的显著性区域，即，用户感兴趣目标的区域，并不会如现有技术一样被截断甚至被裁剪掉，从而提高了预览图的预览效果。
[0091]示例件设各
[0092]在介绍了本发明示例性实施方式的方法之后，接下来，参考图8来描述根据本发明示例性实施方式的、用于预览图生成设备。
[0093]参考图8，其示意性地示出了根据本发明一个实施方式的预览图生成设备的结构框架图，具体地，该设备例如可以包括:
[0094]图片选取单元801，用于选取用于产生拼接子图的候选图片；
[0095]区域识别单元802，用于识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域；
[0096]图片裁剪单元803，用于从所述候选图片中裁剪出包含所述显著性区域的图片；
[0097]图片填充单元804，用于将裁剪出的图片作为拼接子图填充到拼接模板中。
[0098]在本发明的一个优选实施方式中，如图9所示，图片裁剪单元803包括:
[0099]模板选取子单元803A，用于选取与所述候选图片中的显著性区域匹配的拼接模板，其中所述匹配的拼接模板的各个拼接子图的宽高比都落入所述候选图片的有效宽高比区间内，所述候选图片的有效宽高比区间为所述候选图片经过裁剪后完整包含显著性区域的所有图片的宽高比所构成的区间；
[0100]裁剪子单元803B，用于从所述候选图片中裁剪出与所述匹配拼接模板的拼接子图的宽高比相同、且包含所述显著性区域的图片。
[0101]在本发明的另一个优选实施方式中，如图10所示，图片填充单元804包括:
[0102]预处理子单元804A，用于将裁剪出的图片进行等比例拉伸和/或压缩，以满足处理后图片的尺寸与所述匹配拼接模板的拼接子图的尺寸相同；
[0103]拼接子单元804B，用于根据所述匹配的拼接模板对处理后的图片进行拼接。
[0104]在本发明的另一个优选实施方式中，如图11所示，区域识别单元802包括:
[0105]区域检测子单元802A，用于从所述候选图片中检测出显著性最强的区域；
[0106]区域增长子单元802B，用于对所述显著性最强的区域进行区域增长处理，得到显著性区域。
[0107]在本发明的另一个优选实施方式中，如图12所示，图8所示的区域识别单元802还包括:
[0108]等比例压缩子单元802C，用于在区域检测子单元802A从所述候选图片中检测出显著性最强的区域之前，将所述候选图片进行等比例压缩，以便后续从等比例压缩后的候选图片中检测出显著性最强的区域；
[0109]等比例放大子单元802D，用于在图片裁剪单元803从候选图片中裁剪出包含所述显著性区域的图片之前，将所述显著性区域进行等比例拉伸，从而所述显著性区域恢复为原始尺寸，以便后续从所述候选图片中裁剪出包含恢复为原始尺寸的所述显著性区域。
[0110]在本发明的另一个优选实施方式中，区域识别单元802还包括:
[0111]抑制子单元，用于在所述区域增长子单元对所述显著性最强的区域进行区域增长处理之前，对所述候选图片中除所述显著性最强的区域以外的其它显著性区域进行抑制。
[0112]在本发明的另一个优选实施方式中，图片选取单元801用于:从图集中选取色彩相似的原始图片作为用于产生拼接子图的候选图片。
[0113]在本发明的另一个优选实施方式中，如图13所示，图片选取单元801包括:
[0114]色彩向量计算子单元801A，用于计算图集中的原始图片在红、绿和蓝三个色彩维度上的直方图向量，将三个直方图向量以首尾相接的方式拼接成一个原始图片的色彩向量;
[0115]聚类子单元801B，用于根据所述原始图片的所述色彩向量对所述图集中的原始图片进行聚类，得到至少两个原始图片簇；
[0116]相似度计算子单元801C，用于从所述至少两个原始图片簇中选取一个原始图片簇，计算选取的原始图片簇中各个原始图片的色彩向量分别与位于中心的色彩向量的相似度；
[0117]排序选取子单元801D，用于按照相似度从大到小的顺序选取至少N个原始图片，其中，N为正整数，且大于每一个拼接模板规定的拼接子图的个数。
[0118]在本发明的另一个优选实施方式中，如图14所示，该设备还包括:
[0119]检测单元800A，用于在图片选取单元801选取用于产生拼接子图的候选图片之前，检测图集中的原始图片本身是否为拼接图片；
[0120]图片预处理单元800B，用于如果是，对所述原始图片沿拼接的边界进行裁剪，以使得裁剪后的原始图片为非拼接图片。
[0121]在本发明的另一个优选实施方式中，该设备还包括:
[0122]图片过滤单元，用于在图片选取单元801选取用于产生拼接子图的候选图片之前，去除内容相同或相似的原始图片。
[0123]根据本发明，针对候选图片，先基于显著性区域检测技术识别出候选图片中的显著性区域，并从候选图片中裁剪出包含该显著性区域的图片，最后将裁剪出的图片作为拼接子图填充到拼接模板中。因此，在拼接模板的每一个拼接子图中，都完整地包含一个候选图片中的显著性区域，即，用户感兴趣目标的区域，并不会如现有技术一样被截断甚至被裁剪掉，从而提高了预览图的预览效果。
[0124]应当注意，尽管在上文详细描述中提及了预览图生成设备的若干单元或子单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
[0125]此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0126]虽然已经参考若干【具体实施方式】描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的【具体实施方式】，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
【权利要求】
1.一种方法，包括: 选取用于产生拼接子图的候选图片； 识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域； 从所述候选图片中裁剪出包含所述显著性区域的图片； 将裁剪出的图片作为拼接子图填充到拼接模板中。
2.根据权利要求1所述的方法，其中，从所述候选图片中裁剪出包含所述显著性区域的图片，包括: 选取与所述候选图片中的显著性区域匹配的拼接模板，其中所述匹配的拼接模板的各个拼接子图的宽高比都落入所述候选图片的有效宽高比区间内，所述候选图片的有效宽高比区间为所述候选图片经过裁剪后完整包含显著性区域的所有图片的宽高比所构成的区间； 从所述候选图片中裁剪出与所述匹配拼接模板的拼接子图的宽高比相同、且包含所述显著性区域的图片。
3.根据权利要求2所述的方法，其中，所述将裁剪出的图片作为拼接子图填充到拼接模板中，包括: 将裁剪出的图片进行等比例拉伸和/或压缩处理，以满足处理后图片的尺寸与所述匹配的拼接模板的拼接子图的尺寸相同； 根据所述匹配的拼接模板对处理后的图片进行拼接。
4.根据权利要求1所述的方法，其中，所述识别所述候选图片中的显著性区域，包括: 从所述候选图片中检测出显著性最强的区域； 对所述显著性最强的区域进行区域增长处理，得到显著性区域。
5.根据权利要求4所述的方法，还包括: 在从所述候选图片中检测出显著性最强的区域之前，将所述候选图片进行等比例压缩，以便后续从等比例压缩后的候选图片中检测出显著性最强的区域； 在从所述候选图片中裁剪出包含所述显著性区域的图片之前，将所述显著性区域进行等比例拉伸，从而所述显著性区域恢复为原始尺寸，以便后续从所述候选图片中裁剪出包含恢复为原始尺寸的所述显著性区域。
6.根据权利要求4所述的方法，还包括: 在对所述显著性最强的区域进行区域增长处理之前，对所述候选图片中除所述显著性最强的区域以外的其它显著性区域进行抑制。
7.根据权利要求1所述的方法，其中，所述选取用于产生拼接子图的候选图片为:从图集中选取色彩相似的原始图片作为用于产生拼接子图的候选图片。
8.根据权利要求7所述的方法，其中，所述从图集中选取色彩相似的原始图片作为用于产生拼接子图的候选图片，包括: 计算图集中的原始图片在红、绿和蓝三个色彩维度上的直方图向量，将三个直方图向量以首尾相接的方式拼接成一个原始图片的色彩向量； 根据所述原始图片的所述色彩向量对所述图集中的原始图片进行聚类，得到至少两个原始图片族； 从所述至少两个原始图片簇中选取一个原始图片簇，计算选取的原始图片簇中各个原始图片的色彩向量分别与位于中心的色彩向量的相似度； 按照相似度从大到小的顺序选取至少N个原始图片，其中，N为正整数，且大于每一个拼接模板规定的拼接子图的个数。
9.根据权利要求1所述的方法，还包括: 在选取用于产生拼接子图的候选图片之前，检测图集中的原始图片本身是否为拼接图片； 如果是，对所述原始图片沿拼接的边界进行裁剪，以使得裁剪后的原始图片为非拼接图片。
10.根据权利要求1或9所述的方法，还包括: 在选取用于产生拼接子图的候选图片之前，去除内容相同或相似的原始图片。
11.一种设备，包括: 图片选取单元，用于选取用于产生拼接子图的候选图片； 区域识别单元，用于识别所述候选图片中的显著性区域，所述显著性区域为包含人类感兴趣目标的区域； 图片裁剪单元，用于从所述候选图片中裁剪出包含所述显著性区域的图片； 图片填充单元，用于将裁剪出的图片作为拼接子图填充到拼接模板中。
【文档编号】G06T3/40GK104504651SQ201510033263
【公开日】2015年4月8日 申请日期:2015年1月22日 优先权日:2015年1月22日
【发明者】祁斌川, 钱烽 申请人:网易（杭州）网络有限公司