一种基于场景分类的类漫画布局图像管理方法
【专利摘要】本发明公开了一种基于场景分类的类漫画布局图像管理方法，包括以下步骤：步骤一，求取待组织图像集合中各个图像的图像特征；步骤二，利用所属特征之间的数值距离构建四元树；步骤三，通过所求得的四元树构建层次化分类树；步骤四，利用分类树中图像间的分类度求取代表图像；步骤五，依据代表图像间分类度对代表图像进行排序；步骤六，根据所选拼贴代表图像数量以及存在的漫画规则，采用字符串枚举方法构建动态模板库；步骤七，依据排序后图像所呈现的信息量最大原则在动态模板库中搜索匹配模板，并进行优化布局，获得最终拼接结果。
【专利说明】一种基于场景分类的类漫画布局图像管理方法
【技术领域】
[0001] 本发明涉及一种图像管理方法，属于计算机图像处理和计算机图形学领域，具体 说是一种基于场景分类的类漫画布局图像管理方法。
【背景技术】
[0002] 随着数字摄影时代的到来，数字图像已经成为最为丰富的数字媒体之一，人们可 以随时随地通过各种移动设备拍摄各类照片。通常人们喜欢把拍摄所得各类照片按主题 创建不同的文件夹进行保存，但是由于照片数量的庞大，每个文件夹下都可能会包含数以 百计的图像，如需浏览该相册或查找具体某些照片，将是一件十分费时费力的事情。因 此对这些数量庞大的图像进行合理的组织与清晰的展示，将有利于本发明对相册进行高 效的管理，如文献 l:Wang J.D.，Quan L·，Sun J.，et al. Picture collage. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006, 347-354.和文献 2 :Philipp Sandhaus，Mohammad Rabbath，Susanne Boll. Employing aesthetic principles for automatic photo book layout. In MMMJ 11 Proceedings of the 17th international conference on Advances in multimedia modeling-Volume Part I Pages 84-95 介绍。
[0003] 近年来，对于相册管理研究者主要致力于解决相册管理中二个关键问题--图像 场景分类问题以及图像展示问题。
[0004] 针对图像场景分类度问题，研究人员通常根据图像中所能够获得的不同特征， 按不同的主题对图像进行分类。分类过程中主要是依赖不同层次特征之间的数值距 离相似程度如文献 3 :A. Vailaya，M. Figueiredo, A. Jain，H. J. Zhang. Content-based hierarchical classification of vacation images. In Proc. Of IEEE International Conference on Multimedia Computing and Sytems(ICMCS)， 1999, 1:518-523.;文献 4 ：Lowe D. G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004,60 (2):91-110.和文献 5: Mikolajczyk K. ,C. Schmid. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005:1615-1630.介绍， 米用聚类方法如文献 6 :Bishop C. Μ.，Springer link. Pattern recognition and machine learning[M].Vol.4:Springer New York. 2006:和文献7 :Frey B.J.，Dueck D. Clustering by passing messages beteen data points. Science 315 (Feb 2007)，972-976.介绍。 或学习的方法如文献 8 :Vailaya A, Figueiredo M，Jain A. Image classification for content-based indexing. IEEE Transactions on Image Proeessing，2001，10:117-129. 和文献 9 :Fan J，Gao Y，Luo H. Statistical modeling and conceptualization of natural images. Pattern Reeognition，2005, 38:865-885.介绍。对图像进行分类，但这些 用以判别类别的数据距离并不完全可靠，当比较二个高度不类似的图像时将会失效，因此 会导致分类不准等问题的产生。
[0005] 针对图像展示问题，拼贴是最近比较流行的一种相册管理方式，其可以将一组图 像组合拼接到一幅图像或几幅图像中，实现对该组图像的浓缩总结。这类方法多主要基 于空间规则来建立相应布局，采用不同的风格和技术实现图像的组合拼贴如文献1 :Wang J.D.,Quan L., Sun J.,et al.Picture collage.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006,347-354. 和文献 10 ：Y. Yang, Y. Wei, C Liu, Q. Peng, and Y. Matsushita. An Improved Belief Propagation Method ofr Dynamic Collage. The Visual Computer, Vol. 25, No. 5-7, 431 -439. 2009 和文献 11 :Zongqiao Yu, Lin Lu, Yanwen Guo, Rongfei Fan, Mingming Liu, et al. Content-aware photo collage using circle packing. IEEE Transactions on visualzation and compter graphics. Vol. 20, No. 2, 182-194. 2014 介绍。但这类方法 更多的是从图像展示角度入手，考虑相册中多幅图像拼接的紧凑感以及视觉吸引力，而很 少关注图像间可能存在的关系。最近Zhang等人如文献12 :Lei Zhang and Hua Huang. Hierarchical Narrative Collage For Digital Photo Album. Computer Graphics Forum Volume 31，Issue 7, pages 2173-2181，September2012 所提的基于事件的层次化拼贴方 法，能够按时间顺序通过事件方式对相册中图像进行组织，可以很好的完成图像按事件检 索浏览的功能，但由于该方法需借助同一设备的时间信息对图像进行划分，因此具有很大 的局限性，当采用多个设备对同一场景事件进行拍摄后，该方法将很难对图像进行组织。
[0006] 另外，针对图像展示问题，也有部分研究人员采用类漫画布局的方式进行图像展 不如文献 12 :M. Wang, R. C. Hong, X. T. Yuan, S. C. Yan, T. S. Chua.，Movie2Comics: Towards a Lively Video Content Presentation. IEEE Transactions on Multimedia. Vol. 14, No. 3. 2012. 858-870.和文献 13 J. Calic，D. P. Gibson, and N. Campell，"Efficient layout of comic-like video summaries,，'IEEE Trans. Circuits Syst. Video Technol.，vol.l7，no.7，pp.931 - 936，Jul.2007.所介绍。这类展示方法不仅画面简洁， 而且由于漫画通常具有一定的阅读顺序，所以有利于保留时间序列或排序序列等信息。但 已有方法多采用固定的几个模板实现类漫画布局，由于模板数量有限，所以在布局过程中 容易存在布局形式单一，排版美观性较差等问题。虽然有研究能够基于学习的方法从图像 序列生成相应的漫画布局如文献14 :Cao Y, Chan A B，Lau R W H. Automatic stylistic manga layout[J].ACM Transactions on Graphics(TOG), 2012,31(6) :141.所介绍，在布局 的样式上有了很大的改进，但在生成过程中需要大量的人工交互标记，以及各种学习方法 进行优化，这使该方法计算量过大、过程过于复杂。
【发明内容】
[0007] 发明目的：本发明所要解决的技术问题是使使用者根据图像中的场景快速准确的 找到目标图像，提供一种基于场景分类的类漫画布局图像管理方法。
[0008] 技术方案：本发明公开了基于场景分类的类漫画布局图像管理方法，包括以下步 骤：
[0009] 步骤一，求取待组织图像集合中各图像特征；
[0010] 步骤二，利用这些特征之间的数值距离构建四元树；
[0011] 步骤三，通过所求得的四元树构建层次化分类树；
[0012] 步骤四，利用分类树中图像间的分类度概念求取代表图像；
[0013] 步骤五，依据代表图像间分类度情况对其进行排序；
[0014] 步骤六，根据所选拼贴代表图像数量以及存在的漫画规则，采用字符串枚举方法 构建动态模板库；
[0015] 步骤七，依据排序后图像所呈现的信息量最大原则在动态模板库中搜索匹配模 板，并进行优化布局，获得最终拼接结果。
[0016] 本发明步骤一图像特征求取选择了 3种比较常用的特征参与计算。本发 明主要选择了底层的颜色、SIFT形状特征如文献4 :Lowe D.G. Distinctive image features from scale-invariant key points[J] · International Journal of Computer Vision，2004,60(2):91_110·和文献 5:Mikolajczyk K.，C· Schmid. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005:1615-1630.所介绍，以及中层的用于描述全局场景的GIST 特征如文献 15:01iva A.，Torralba A.Modeling the shape of the scene:a holistic representation of the spatial envelope. Int. J. Comput. Vison42. 3, 145-175.所介绍。 选择这些特征的主要原因是这些特征常在场景分类的研究中被学者所采用，并且便于计 算。
[0017] 本发明步骤二中当利用步骤一方法对输入的相册中的图像求取上述特征之 后，本发明可以基于这些特征采用文献16:Shi_Sheng Huang，Ariel Shamir，Cha〇-Hui Shen, Hao Zhang,Alla Sheffer,Shi-Min Hu,Daniel Cohen-〇r.Qualitative Organization of Collections of Shapes via Quartet Analysis. ACM Transactions on Graphics(Proceedings of SIGGRAPH2013)，32(4)介绍的方法来构建相应的四元树集合。 所构建的一个四元树包含四个图像，形成两对，其中每对的图像判定是相似的，来自不同对 的图像判定是不相似的。。
[0018] 本发明步骤三中步骤三中所构建的分类树为一个无根树，其能最大程度地保持由 四元树所嵌入的图像相似程度的拓扑关系，树的每个叶子节点代表一张图像，非叶子节点 即代表场景分类情况。如果叶子节点共用同一父节点，那么证明这些图像属于同一场景，而 如果二个非叶子节点共用同一父节点，那么证明其所代表的场景具有一定的相似程度，因 此可以通过该分类树对图像按场景进行层次化组织。
[0019] 通过本发明步骤三分析本发明知道，最底层的非叶子节点代表图像的一个最小场 景，节点之间的从属关系代表场景之间的相似程度。因此本发明在本发明步骤四按场景提 取代表图像时，可按不同粒度进行提取，即可根据层次结构关系划分场景大小，提取相应代 表图像。本发明通过图像间的分离度来定义其层次结构关系，并且该值也能体现出场景的 类间相似程度。所谓图像间的分离度是指在分类树中一张图像到其它图像所要经历的各最 短路径，即为叶子节点的最短距离。本分明步骤四具体计算过程如下：
[0020] 步骤（41):从任意叶子节点出发，采用广度优先搜索与其分离度小于等于阈值的 其它叶子节点，并将这些节点从分类树中剔除，组成一组场景图像；
[0021] 步骤（42):重复上述过程，直到分类树中不在包含图像时停止搜索，此时剩余的 图像就是代表图像。
[0022] 本发明步骤五希望选择类内差异性最小的图像作为该组的代表图像，本发明通过 求取每张图像到该组内其它图像的分离度之和来定义类内差异性，并基于此选取代表图 像。具体过程如下：
[0023] 步骤（51):求取组内每张图像的分离度之和；
[0024] 步骤（52):按从小到大顺序进行排序；
[0025] 步骤（53):选取值最小的图像为该组的代表图像（若有多个值相等的图像，本发 明将随机选择一幅图像作为该组的代表图像）。
[0026] 本发明步骤六根据所选拼贴代表图像数量以及存在的漫画规则，采用字符串枚举 方法构建动态模板库。众所周知一页漫画布局往往由数层构成，其中每层由大小不一的单 元格构成。为了有丰富的呈现方式，本发明希望有多类型的模板可供用户选择。由于图像是 按顺序、分层进行放置的，所以可以采用枚举的方法来生成初始模板。另外，由于漫画布局 过程中有很多启发式规则可以遵循，所以也可以借助这些规则来减小冗余模板的生成。本 发明步骤六具体计算过程如下：
[0027] 步骤（61):采用启发式规则将拼贴空间进行分层处理，每页拼接空间最多只能分 割为4层，每层最多只能分割为3个单元格；
[0028] 步骤（62):对于每层各单元格位置通过枚举方法获得。
[0029] 步骤￠3):将枚举所得内容通过字符串形式进行表示，并根据字符串划分每页拼 接空间，获得最终对应模板。
[0030] 本发明步骤七依据排序后图像所呈现的信息量最大原则在动态模板库中搜索匹 配模板，并进行优化布局，主要通过定义惩罚函数在动态模板库中搜索最为匹配的前top-k 个模板（根据用户需求确定k的值）。具体为：将代表图像以最大化覆盖单元格为模板进 行长宽等比例缩放后，将缩放后的排序代表图像以中心对齐方式放入各单元格中，由于代 表性图像和各单元格的大小可能不同，会产生缝隙、覆盖和高度差现象，将相邻的单元格间 产生的上述现象定义为局部约束关系；而相邻层之间可能由于代表性区域较大溢出单元格 而一部分覆盖到了下一层中，定义这样相邻层之间的覆盖为全局约束关系；根据局部和全 局约束关系本发明为每个模板^定义惩罚函数为：
[0031]
【权利要求】
1. 一种基于场景分类的类漫画布局图像管理方法，其特征在于，包括以下步骤： 步骤一，求取待组织图像集合中各个图像的图像特征； 步骤二，利用所属特征之间的数值距离构建四元树； 步骤三，通过所求得的四元树构建层次化分类树； 步骤四，利用分类树中图像间的分类度求取代表图像； 步骤五，依据代表图像间分类度对代表图像进行排序； 步骤六，根据所选拼贴代表图像数量以及存在的漫画规则，采用字符串枚举方法构建 动态模板库； 步骤七，依据排序后图像所呈现的信息量最大原则在动态模板库中搜索匹配模板，并 进行优化布局，获得最终拼接结果。
2. 根据权利要求1所述的一种基于场景分类的类漫画布局图像管理方法，其特征在 于，步骤一中所求取的图像特征包括颜色、形状以及场景三个特征。
3. 根据权利要求2所述的一种基于场景分类的类漫画布局图像管理方法，其特征在 于，步骤二中所构建的一个四元树包含两对图像，其中每对中对张图像是特征是相似的，而 两对图像之间特征是不相似的。
4. 根据权利要求3所述的一种基于场景分类的类漫画布局图像管理方法，其特征在 于，步骤三中所构建的分类树为一个无根树，树的每个叶子节点代表一张图像，非叶子节点 代表场景分类。
5. 根据权利要求4所述的一种基于场景分类的类漫画布局图像管理方法，其特征在 于，步骤四中分离度是指在分类树中一张图像到其它图像所要经历的各最短路径。
6. 根据权利要求5所述的一种基于场景分类的类漫画布局图像管理方法，其特征在 于，步骤六中采用字符串枚举的方法生成动态模板库，包括以下步骤：布局顺序设置为从左 到右从上到下，对每个单元格所在漫画的层次进行枚举，对每层内单元格的位置进行枚举， 通过两种枚举确定相应的漫画模板库。
7. 根据权利要求6所述的一种基于场景分类的类漫画布局图像管理方法，其特征在 于，步骤七中依据排序后图像所呈现的信息量最大原则在动态漫画模板库中搜索匹配模 板，并进行优化布局，通过定义惩罚函数在动态漫画模板库中搜索最为匹配的前k个模板， 包括以下步骤：将缩放后的排序代表图像以中心对齐方式放入各单元格中，将相邻的单元 格间产生的缝隙、覆盖和高度差定义为局部约束关系；将相邻层之间由于代表性区域溢出 单元格而一部分覆盖到了下一层中，定义相邻层之间的全局约束关系；根据局部和全局约 束关系，将每个丨吴板 1^定义惩罚函数Penalty (Tm)为： NL Σ^(Λ ,4,,) Pe/W/>(7:,) = a￡(N(￡:(L,.))+ Ν(￡；α,.))+ N(￡；,(L,.))) +β i ] ， AKtjA 其中：戈(￡,.) = 觸(/;. y)n 川）， J'=i J E^(Li) = Area{Lj) -J^(Area(L) r\{Area{!i ：) u Arec^l, ))), Eh(A) = Σ ^eighlU^) n Heighl(Ii H), 7=1 D(L, Li+l) = ^reaij^ /,·./)n ^reaif^ /,., U/), j=i Penalty(Tm)表示模板^的惩罚函数，α，β分别为局部约束和全局约束的权重，N是 min-max归一化因子，AREA是漫画模板的面积大小，Q表示模板Tm第i层，NL表示模板Tm 的层数，EjLi)是第i层的覆盖面积，Eg(Li)是第i层的缝隙度，Eh(Li)是第i层的平衡度； Ii;』表示放入第i层第j个单元格的代表性图像，Ii; j+1表示放入第i层第j+Ι个单元格的代 表性图像；Areadu)为放入i层第j个单元格的代表性图像面积，Areadu+i)为放入i层 第j+Ι个单元格的代表性图像的面积；J为该模板第i层所包含的单元格的个数，Area (LJ 为第i层的面积；Heighten，」）为当前放入第i层第j个单元格的图像高度，HeightC^j+i) 为当前放入i层第j+1个单元格的图像高度；D(Li，L i+1)表示第i层与第i+1层的覆盖度， Areadi+u)为当前放入i+Ι层第q个单元格的图像面积，Q表示第i+Ι层的单元格数量；Π 为交操作，表示两个区域面积相交情况；U为并操作，表示两个区域面积合并情况。
8.根据权利要求7所述一种基于场景分类的类漫画布局图像管理方法，其特征在于， 步骤七中为k个模板，以最大化保留代表性区域为目标定义适应度函数，并采取优化方法 对适应度函数进行优化从而生成模板样式丰富的漫画布局，包括以下步骤：选择出k个模 板后，为k个模板中的每一个模板定义优化目标为： NL J y(TJ = mmY^iRatioiP·,^)- Ratio{I, i=l 7=1 ' ' 其中，τπ为当前模板；NL的模板Tm的最大层数，NL e (1... 4) ;J e (1... 3)为每层所 包含的单元格个数；Pu表示该单元格处于模板Tm的第i层中的第j个位置；Iu为经过缩 放后的代表图像放入第i层第j个单元格后的矩形；Ratio(x)为对应区域的长宽比，利用 粒子群算法优化该能量函数Y (Tm)，将最终布局结果推荐给用户。
【文档编号】G06K9/62GK104268580SQ201410546275
【公开日】2015年1月7日 申请日期:2014年10月15日 优先权日:2014年10月15日
【发明者】张岩, 郑智斌, 孙中宇, 缪峥, 孙正兴 申请人:南京大学