一种基于Photomosaic的图集展示方法与流程

本发明涉及图像处理和非真实感(npr)领域，尤其是涉及一种基于photomosaic的图集展示方法。

背景技术：

harmon在1973年的scienticficamerica杂志第229卷第5期上发表了题目为therecognitionoffaces的文章使用成批的肖像来研究人类感官和认知模式，并且发表了第一个关于数字马赛克生成问题的结论。这个结论是在模拟人类感知和自动模式辨别的背景下产生。随后silver在1997年出版了题目为photomosaics的图书，第一次用计算机来生成photomosaic,那个时候silver还是一个mit的学生。在他的方法中，原图像上的瓦片(一个像素块)被一张图片所取代,他采用颜色和形状特征来匹配图像。

photomosaic目前已经被广泛地应用于不同的领域。pascaline在2015年的advancesincomputing,communicationsandinformatics会议上发表题为usingphotomosaicandsteganographictechniquesforhidinginformationinsideimagemosaics的文章，使用photomosaic来隐藏秘密信息。sakamoto2014年internationalsymposiumonvisualinformationcommunicationandinteraction会议上发表photomosaicgenerationforphotographcollectionbrowsing运用photomosaic来进行相册浏览。seo于2016年multimediatoolsandapplications上第75卷第20期上发表题为aphotomosaicimagegenerationmethodusingphotoannotationinasocialnetworkenvironment的文章，在创建photomosaic时把社会关系考虑进去，候选图集是来自与目标图主人社会关系密切的人的相册。关于photomosaic质量的理论由nicholastran提出。nicholastran在1999年proceedingsofthe1999acmsymposiumonappliedcomputing会议上发表generatingphotomosaics:anempiricalstudy文章。在他的论文中总结。在他的论文中，tran提出了一系列关于photomosaic质量的重要问题。直观上，一个好的photomosaic应该尽可能与原图像相似。

虽然基于平均颜色方法的比较方式是相对直接的创造photomosaic的方法，但是它并不是唯一的方法。理论上，任何能根据两张图片比较排序相似度都能被用来生成photomosaic。diblasietal在2006年eurographicsitalianchapterconference会议上发表smartideasforphotomosaicrendering.提出了两种技术：qt-photomosaic和fqt-photomosaic。在qt-photomosaic中他们使用四叉树分离技术将输入的图片分割成不同规则的块，分割过程依据的是图像rgb的平均值和方差，他将每个正方形分成四个大小相等的小正方形，当四个正方形的rgb颜色距离大于某个阈值表示分块成功，反之不进行分块操作。在fqt-photomosaic中他们扩张了四叉树的方法，产生出了不规则片形的photomosaic。清华大学研究人员daqingchang等人2013在internationalconferenceonintelligentscienceandbigdataengineering会议上发表了methodsforphotomosaicgenerationbasedondifferentimagesimilarityanddivisionstrategies的文章，用了两种方法来定义两个瓦片的相似度。他们通过颜色和边来定义。sahsbm等人在2013年的europeanconferenceontheapplicationsofevolutionarycomputation会议上发表了refinementtechniquesforanimatedevolutionaryphotomosaicsusinglimitedtilecollections.采用了遗传算法被运用在photomosaic生成优化上。

将photomosaic应用于图片的展示可以生成具有艺术感的图像。但是随着图集规模的扩大，基于rgb的传统比较方式生成时间相对较慢。虽然diblasietal在2006年eurographicsitalianchapterconference会议上发表smartideasforphotomosaicrendering提出了基于antipole树的方法加快了生成时间，但是无法获得比较满意的效果。同时photomosaic无法解决人们进一步欣赏小瓦片的需求。photomosaic的生成效果与生成时间本身就是一对矛盾体。想要精确匹配需要更加精细的计算，而复杂的精细计算必然会提升算法的时间复杂度。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于photomosaic的图集展示方法。采用photomosaic来展示大规模图集，提出了基于快速傅里叶变换的photomosaic生成方法，在保证生成马赛克图与原图尽量相似的同时，减少了生成时间。引入交互功能提升了用户体验，使用户可以通过放大浏览瓦片细节。采用图像信息熵特征，自适应的改变分块策略，可以保证原图像的一些细节特征。传统的用于生成photomosaic的候选图集都是用户给定，本发明可以通过关键字搜索网络图集来生成马赛克图像。

本发明的目的可以通过以下技术方案来实现：

一种基于photomosaic的图集展示方法，该方法包括以下步骤：

s1、对输入图像进行快速傅里叶变换处理，将图像从时间域转化成频率域，得到处理后的像素块；

s2、计算处理后的像素块与目标像素块的频率距离，并按照频率距离从小到大排列处理后的像素块，取前k个处理后的像素块作为候选像素块；

s3、将k个候选像素块与目标像素块进行rgb的距离比较，将与目标像素块rgb距离最小的候选像素块覆盖在目标像素块上；

s4、采用最佳熵阈值确定法即kws熵算法确定灰度级的最佳阈值，进行自适应改变分块大小。

步骤s1中的快速傅里叶变换公式为：

其中，m、n分别表示像素块的长和高，f(x,y)表示在空间域中大小为m*n的数字图像矩阵，公式中的μ和v指的是基函数在频率域中的坐标，x和y表示像素在空间域的坐标。

步骤s4具体为：当某个像素块的信息熵与周围像素块的信息熵的差值小于设定阈值时，合并周围的像素块，图像信息熵公式：其中pi表示灰度值为i的概率。

步骤s3中计算k个候选像素块与目标像素块的最小rgb距离公式为：

ar(i,j)、ag(i,j)、ab(i,j)分别表示二维坐标系中(i,j)位置目标像素块的红色、绿色、蓝色像素值，分别表示二维坐标系中(i,j)位置候选像素块的红色、绿色、蓝色像素值。

所述的方法还包括利用爬虫方法获网络图集，生成步骤s1中的输入图像。

所述的方法还包括利用仿射变换方法进行像素块的放大查看设置。

与现有技术相比，本发明具有以下优点：

1、在保证马赛克图像与原图尽量相似的同时，减少了生成时间：利用快速傅里叶变换，减少了图像的最终生成时间；

2、生成图像与原图匹配效果更好：同时采用自适应的改变分块策略，保证图像的细节特征；

3、增加了交互功能：用户可以点击photomosaic上的瓦片，对瓦片进一步操作，克服了photomosaic不能交互的缺点，客户可以通过放大浏览图片细节；

4、可以通过关键字搜索相应的图片来生成马赛克图像构成候选图集。

附图说明

图1为本发明方法功能性介绍示意图；

图2为本发明photomosaic图像生成流程图；

图3为本发明的生成时间与rgb方法效果对比图；

图4为本发明基于photomosaic的图集展示方法最终效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明提出一种基于photomosaic的图集展示方法。采用photomosaic产生艺术效果，通过photomosaic将无序的图集转换成相对有意义的图集。

具体步骤如下：

(1)对输入的n幅图像进行快速傅里叶变换将图像从时间域转化成频率域。m、n表示像素块的长和高，公式中f(x,y)是在空间域中大小为m*n的数字图像矩阵，公式中的μ和v指的是基函数在频率域中的坐标，x和y表示像素在空间域的坐标。

(2)计算瓦片的整体频率定义如下：其中f(u,v)是在(u,v)位置上的频率。然后计算每个瓦片与目标瓦片的频率距离：d＝|ftile-fimage|。公式中的ftile和fimage分别表示目标瓦片和候选瓦片的整体频率。

(3)根据计算的距离结果按照从距离从小到大进行排序。并且取前k个瓦片：range＝(d1,d2,d3,…,dk),dk+1,....dn。k为一个阈值。

(4)对k个候选瓦与目标瓦片进行rgb的距离比较：基于rgb的比较公式为：ar(i,j)、ag(i,j)、ab(i,j)分别表示二维坐标系中(i,j)位置目标像素块的红色、绿色、蓝色像素值，分别表示二维坐标系中(i,j)位置候选像素块的红色、绿色、蓝色像素值。原图中长度为m，高度为n的图像瓦片记为am*n，长度为m，高度为n的候选瓦片k记作

(5)对基于rgb的比较结果进行排序，将距离最小的瓦片覆盖在目标瓦片上。

(6)对于分块策略其特征在于基于信息熵自适应改变分块大小。利用图像信息熵：公式中的pi表示灰度值为i的概率。采用最佳熵阈值确定法(kws熵算法)确定灰度级的最佳阈值。当某个瓦片的信息熵与周围瓦片的信息熵差值小于某阈值时，合并周围的瓦片。

(7)对于交互设计其具体为基于网络爬虫实现关键字搜索生成photomosaic和对瓦片的缩放处理。传统的photomosaic候选瓦片来自于用户提供的本地图集。本发明提出了用户可以通过关键字搜索在线图片，利用爬虫技术来获得相关图像。本发明设计了了一个图像网站，模拟在线图像生成photomosaic。首先是利用爬虫技术爬取图片和对应的文字到本地电脑，生成photomosaic的过程与本地图集的方式相同，但是对于来自于网络的图集，本发明提供了瓦片文字描述功能，瓦片的文字来自于网站是对图片的描述。该功能首先通过移动鼠标的位置定位出是哪块瓦片，然后弹出标签的方式展示文字信息。传统的photomosaic的是没有交互功能的，本发明加入了放大缩小交互功能进一步观察瓦片。首先定位鼠标点击的位置，然后弹出交互面板获取点击瓦片对应的原图像，最后通过仿射变换的方法对图像进行放大缩小操作。

参阅附图，在图2中给出了本发明的方法流程图，首先对候选图集进行快速傅里叶变换，对目标图片上的瓦片也做快速傅里叶变换，比较目标瓦片与候选瓦片频率，对比较结果进行排序，选择前k个瓦片，最后将这k个瓦片与目标瓦片进行rgb的比较。按此图示流程给出一组实例。图3中虚线是基于rgb方法，折线是采用该流程的方法，y轴是消耗时间(单位是秒)，x轴是瓦片边长(单位是像素)，。实验使用的是2.3ghz因特尔i7处理器，16g内存的苹果macbook进行速度测试。如果我们假设目标图像被分割成n×n个瓦片，并且有m个候选瓦片，每个瓦片的大小设为s×s。在优化之前，我们采用传统方法。那么时间复杂度为o(n²ms²)。如果采用本文的方法，我们用快速排序对比较完频率的每个瓦片进行排序，时间复杂度为o(mlog2m)。如果我们定义k为一个阈值(见实施步骤3)，那么我们可以将时间复杂度降到o(n²(mlog2m+ks²)),当s≥8,在多数情况下，ks²＞＞mlog2m,时间复杂度可以简化到o(n²ks²)，这比之前的o(n²ms²)时间复杂度小了很多。如果我们把瓦片大小设为5像素，在优化之前，基于颜色的比较将耗费18秒，但是在优化过后只消耗5秒。我们可以得出这样的结论：当瓦片的大小越小，基于颜色和本文提出的方法的时间差将会越来越明显。采用本发明的算法效果与传统方法接近，但是时间上本发明有明显优势。而采用diblasietal的antipole树方法与本方法比较，可以得出虽然antipole策略确实加快了生成时间，但是antipole策略匹配效果并不是很理想，在一些区域丢失了颜色信息，比如在一些偏深黑色的区域，采用antipole策略会把偏绿色的瓦片匹配上去。本文提出的算法生成的效果图质量比diblasietal的方法更好，在颜色上更相似。在时间消耗上，本文提出的方法耗费4.261秒，采用antipole策略耗时6.102秒。

本发明基于信息熵的分块策略的改进效果：自底向上自适应合并的第一步是将原图像分割成均匀的正方形网格，假设每个网格的大小为s×s像素。然后计算相邻四个网格的信息熵。四个网格阈值t1,t2,t3,t4,若t1与t2,t3,t4的差值绝对值小于阈值h，那么将四个网格合并成一个大小为2s×2s的较大网格。举例图像瓦片的大小为5像素。传统方法在图像的细节处有些瓦片并没有合并，有些地方合并成大小为10像素的瓦片。用自适应方法分块出的小块单元可以保持原图像细节特征，对于像背景颜色比较统一的非特征区域，采用较大的分块单元可以提高马赛克分块单元中填充图像的清晰度，从而为用户展示更多有用的视觉信息。最终效果图如图4所示。

图1给出了本发明的功能示意图，在实现photomosaic的图集生成的同时，引入交互功能。本发明添加交互功能后的鼠标点击瓦片的效果：当用户点击某瓦片时，系统定位到该瓦片，弹出一个面板用户可对其进行缩放操作。

本发明利用网络爬虫鼠标在瓦片上滑动结果：当鼠标移动到某个瓦片上时候会有标签弹出，标签的内容就是网站中对图片的描述。此功能的目的是当候选图集是来自线上网站时候，该功能可以帮助用户获取瓦片的额外信息。用户可将图片上传到对应的图片分享网站，并添加对图片描述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。