一种图像物体的结构化合成方法
【专利摘要】本发明公开了一种图像物体的结构化合成方法，包括以下步骤：根据用户的简单交互标定相机参数，结合相机参数和图像物体分割信息生成结构化的三维代理，利用三维代理和接触点信息将来源不同、视点不同的图像部件组合连接成新颖的图像物体，通过智能颜色调整得到结果图像；基于一致分割的图像部件，在特定物体类型的图像数据集上进行统计学习，得到概率图模型；通过在习得的贝叶斯图模型上进行概率推理，对部件类型和式样进行采样得到高概率的组成方案和视点属性，使用视点感知图像物体合成方法生成结果图像。该方法能够合成出大量具照相质量且结构形状变化丰富的新图像物体，同时能够给三维形状建模提供良好的基础和引导。
【专利说明】一种图像物体的结构化合成方法
【技术领域】
[0001]本发明主要涉及数字媒体领域，尤其涉及图像创建/编辑、工业/艺术设计、虚拟物体/角色创建、三维造型等应用领域。
【背景技术】
[0002]本发明相关的技术背景简述如下:
[0003]一、图像合成与综合
[0004]图像合成与综合的主要目的是从多个图像来源中创造视觉上合理可信的新图像。
[0005]对于图像合成，其关注点通常在于将选择的图像内容进行无缝拼接的新颖混合方法。早期工作包括多分辨率样条技术(BURT，P.J.，AND ADELSON, E.H.1983.A multiresolution spline with application to image mosaics.ACM Trans.Graph.2，4 (Oct.),217 - 236.；0GDEN, J.M.，ADELSON, E.H.，BERGEN, J.R.，ANDBURT,P.J.1985.Pyramid-based computer graphics.RCA Engineer30,5,4 - 15.)和合成操作(PORTER, Τ.，AND DUFF, T.1984.Compositing digital images.SIGGRAPH Comput.Graph.18，3 (Jan.),253 - 259.)。自从泊松图像编辑技术(P ' EREZ, P., GANGNET, M., AND B LAKE, A.2003.Poisson image editing.ACMTransactions on Graphics (TOG) 22, 3, 313 - 318.)出现以后，梯度域的合成方法(JIA, J., SUN, J., TANG, C.-Κ., AND SHUM, Η.-Y.2006.Drag-and-drop pasting.1n ACMTransactions on Graphics (TOG)，vol.25，ACM, 631 - 637.；FARBMAN, Z.，H0FFER, G.，LIPMAN, Y., C0HEN-0R, D., AND LISCHINSKI, D.2009.Coordinates for instant image cloning.1n ACM Transactions on Graphics (TOG)，vol.28，ACM, 67.；TA0, M.ff.，JOHNSON, M.K.，ANDPARIS, S.2010.Error tolerant image compositing.1n Computer Vision - ECCV2010.Springer, 31 - 44.；SUNKAVALLI, K.，JOHNSON, M.K.，MATUSIK, ff.，AND PFISTER, H.2010.Mult1-scale image harmonization.ACM Transactions on Graphics(TOG)29, 4, 125.；SZELISKI, R., UYTTENDAELE, M., AND STEEDLY, D.2011.Fast poisson blending usingmult1-splines.1n Computational Photography (ICCP), 2011IEEE InternationalConference on, IEEE, 1- 8.)在早年间成为了无缝拼接的标准技术。近来,Xue等人(XUE,S.，AGARWALA, A.，DORSEY, J.，AND RUSHMEIER, H.2012.Understanding and improving therealism of image composites.ACM Transactions on Graphics (TOG) 31，4，84.)通过调整合成物体的外观改进了合成的视觉合理性。
[0006]另一方面，图像综合(DIAK0P0UL0S，N.，ESSA,1.,AND JAIN, R.2004.Content based image synthesis.1n Image and Video Retrieval.Springer, 299 - 307.JOHNSON, M.，BROSTOff, G.J.，SH0TT0N, J.，ARANDJEL0VIC, 0.，KffATRA,V., AND CIP0LLA, R.2006.Semantic photo synthesis.1n Computer GraphicsForum, vol.25, Wiley Online Library, 407 - 413.；LAL0NDE, J.-F., Η0ΙΕΜ, D., EFR0S, A.A., R0THER, C., WINN, J., AND CRIMINISI, A.2007.Photo clip art.1n ACMTransactions on Graphics (TOG), vol.26, ACM, 3.)主要关注视觉内容的选择和排列。其中一类代表性的工作是图像拼贴，即将多个图像在一定的约束下合成一张图像。这类工作的开创者是交互式数字蒙太奇技术(AGARWALA，A.，DONTCHEVA, M.，AGRAWALA, M.，DRUCKER, S.，COLBURN, A.，CURLESS, B.，SALESIN, D.，AND COHEN, Μ.2004.1nteractive digital photomontage.1n ACM Transactions on Graphics(TOG), vo1.23，ACM，294 - 302.)，之后又陆续涌现出许多后续工作，如数字编制(ROTHER，C.，KUMAR,S., KOLMOGOROV, V., AND BLAKE, A.2005.Digital tapestry[automatic imagesynthesis].1n Computer Vision and Pattern Recognition, 2005.1EEE ComputerSociety Conference on,vol.1,IEEE,589 - 596.)，自动拼贴(ROTHER, C.，BORDEAUX, L., HAMADI, Y., AND BLAKE, A.2006.Autocollage.1n ACM Transactions on Graphics (TOG)，vol.25，ACM, 847 - 852.)，图像拼贴(WANG, J.，QUAN, L.，SUN, J.，TANG, X., AND SHUM, H.-Y.2006.Picture collage.1n Computer Vision and PatternRecognition, 2006IEEE Computer Society Conference on, vol.1, IEEE, 347 - 354.),链题拼贴(G0FERMAN，S.，TAL, A.，71IAND ZELNIK-MANOR, L.2010.Puzzle-like collage.1nComputer Graphics Forum, vol.29, Wiley Online Library, 459 - 468.), Sketch2Photo(CHEN, T.，CHENG, M.-M.，TAN, P.，SHAMIR, A.，AND HU, S.-M.2009.Sketch2photo:1nternetimage montage.ACM Transactions on Graphics28, 5, 124:1- 10.), PhotoSketcher (ΕΙΤΖ, M.，RICHTER, R.，HILDEBRAND, K.，BOUBEKEUR, T.，AND ALEXA, M.2011.Photosketcher:1nteractive sketch-based image synthesis.Computer Graphicsand Applications, IEEE31, 6，56 - 66.), Arcimboldo 拼贴(HUANG, H.，ZHANG, L.，ANDZHANG, H.-C.2011.Arcimboldo-1ike collage using internet images.ACM Transactionson Graphics (TOG) 30, 6，155.)以及最新的环状打包拼贴(YU, Z.，LU, L.，GU0, Y.，FAN, R.，LIU, M., AND WANG, ff.2013.Content-aware photo collage using circle packing.1EEETransactions on Visualization and Computer Graphics99, PrePrints.)。
[0007]以上提到的大多数图像合成和综合算法都隐含了一个假设:即合成内容与源图像具有相同的视点，因此它们不处理相机参数信息。在照片剪贴画技术(LAL0NDE, J.-F.，HO I EM, D.，EFR0S, A.A.，ROTHER, C.，WINN, J.，AND CRIMINISI, A.2007.Photo clip art.1n ACM Transactions on Graphics (TOG), vol.26, ACM, 3.)中，作者尝试通过物体高度来推断相机姿态。然而，这个方法无法处理真实三维关系，因此难以进行复杂的旋转变换。在最近的一个工作中，Zheng等人(ZHENG，Y.，CHEN, X.，CHENG, Μ.-M.，ZH0U, K.,HU, S.-M., AND MITRA, N.J.2012.1nteractive images: cuboid proxies for smart imagemanipulation.ACM Trans.Graph.31, 4 (July), 99:1 - 99:11.)将图像物体表不为三维长方体代理，并显示地优化相机和几何参数。本发明中的方法同样使用三维代理表示，但需要处理更为挑战性的非长方体部件之间的空间关系和结构。
[0008]二、数据驱动的三维模型合成
[0009]数据驱动的三维模型合成近来吸引了大量图形学领域的研究兴趣。其目的旨在通过组合一批输入三维形状中的部件来自动合成出大量新颖并符合输入形状集合内部结构约束的三维形状。数据驱动的三维建模由Funkhouser等人最早提出(FUNKHOUSER，T.，KAZHDAN, M.，SHILANE, P.，MIN, P.，KIEFER, ff.，TAL, A.，RUSINKIEWICZ, S.，AND D0BKIN, D.2004.Modeling by example.ACM Trans.Graph.23，3 (Aug.)，652 - 663.),他们的样例建模系统允许用户搜索分割好的三维部件库，然后交互式地组装这些部件来形成新的形状。在后续工作中，有的使用用户输入的草图来搜索部件(SHIN，H.，AND IGARASHI, T.2007.Magic canvas:1nteractive design of a3_d scene prototype from freehandsketches.1n Graphics Interface, 63 - 70.；LEE, J., AND FUNKHOUSER,T.A.2008.Sketch-based search and composition of3d models.1n SBM, 97 - 104.),有的则让用户能够在一小组匹配的形状中互换部件(KREAV0Y，V.，JULIUS, D.，AND SHEFFER, A.2007.Model composition from interchangeable components.1n Proceedings of thel5thPacific Conference on Computer Graphics and Applications, IEEE Computer Society, Washington, DC, USA, PG，07，129 - 138.)。Chaudhuri 等人(CHAUDHURI, S.，ANDKOLTUN, V.2010.Data-driven suggestions for creativity support in3d modeling.ACM Trans.Graph.29，6 (Dec.)，183:1 - 183:10.)提出了一种数据驱动的方法来给设计不完整的形状推荐合适的部件，并在之后设计了一种形状结构的概率表示，能给出语义和风格上更为匹配的部件推荐(CHAUDHURI, S.，KALOGERAKIS, E.，⑶IBAS, L.，ANDKOLTUN, V.2011.Probabilistic reasoning for assembly-based3d modeling.ACM Trans.Graph.30, 4 (July), 35:1 - 35:10.) ? Kalogerakis等人延续了上述概率推理的方法并将其用于完整形状的合成(KALOGERAKIS, E.，CHAUDHURI, S.，ROLLER, D.，AND KOLTUN, V.2012.A probabilistic model for component-based shape synthesis.ACM Trans.Graph.31, 4(July), 55:1 - 55:11.)。
【发明内容】
[0010]本发明的目的在于针对 现有技术的不足，提供一种图像物体的结构化合成方法。该方法在一组给定类型且具不同视角的图像物体的基础上，通过组合图像部件合成出视觉合理逼真的图像物体。
[0011]本发明的目的是通过以下技术方案来实现的:一种图像物体的结构化合成方法，包括以下步骤:
[0012](I)图像物体数据的预处理:使用数码或网络设备收集特定类型物体的图像集合，要求物体结构清晰完整，并使用图像分割和标记工具得到物体组成部件的一致分割区域；
[0013](2)视点感知的图像物体合成方法:根据用户的简单交互标定单幅图像的相机参数，并结合相机参数和图像物体分割信息生成结构化的三维代理，然后利用三维代理和接触点信息将图像部件组合连接成新颖的图像物体，最后通过智能颜色调整得到结果图像；
[0014](3)贝叶斯概率图模型的训练和综合方法:基于一致分割的图像部件，在特定物体类型的图像数据集上进行统计学习，得到一个能表达形状风格、物体结构、部件类别和相机参数之间复杂依赖关系的概率图模型；并通过在习得的贝叶斯图模型上进行概率推理，对部件类型和式样等进行采样得到高概率图像物体的组成方案和视点属性，最后通过步骤2中的方法合成出结果图像；
[0015](4)图像物体合成结果的导出:将步骤2和步骤3得到的结果图像，包括步骤2得到的相机参数和三维代理数据，以通用格式导出与存储。[0016]本发明的有益效果是:对图像物体进行视点感知的部件层面合成，可将来自不同视点图像的部件连接合成为视点一致且结构正确的新颖图像物体。同时，本发明首次提出了一种基于坐标框架的单视点相机标定方法，适用于一般性的没有明显或完整几何线索的单幅图像相机标定；提出了一种结构感知的三维代理构建方法，适用于图像物体部件层的长方体代理构建；提出了一种三维代理引导的图像部件结构化合成方法；提出了基于给定样例图像物体合成出大批量形状和风格变化丰富的图像物体的应用；提出了集成图像视点信息的贝叶斯概率图模型，适用于表征图像物体集合的视点、结构和形状变化。相比现有的三维形状合成技术，此方法能够充分利用现有图像数据数量庞大、容易获取、颜色外观信息丰富的优势，合成出大量具照相质量且结构形状变化丰富的新图像物体，满足许多图像编辑相关应用的要求，同时能够给三维形状建模提供良好的基础和引导。
【专利附图】
【附图说明】
[0017]图1是本发明中的视点感知图像物体合成方法的流程示意图；
[0018]图2是本发明中单视点相机标定和结构化三维代理构建的示意图，图中，(a)为输入图像与相机标定的用户交互示意图，(b)为基于相机参数得到的物体各部件初始三维代理示意图，(C)为基于物体结构约束进行三维代理的优化示意图，(d)为结构优化后的结果;
[0019]图3是本发明中的图像物体合成过程中用到的关键元素，图中，(a)为三维代理及其连接槽，(b)为图像物体的分割部件，(C)为图像边界上的用于图像弯曲变形的二维引用点，(d)为用于图像部件连接的二维接触点；
[0020]图4是本发明中图像物体的部件颜色优化过程的示意图；
[0021]图5是本发明中基于概率图模型进行图像物体训练和综合的总流程示意图；
[0022]图6是本发明中基于椅子图像集合得到的结构化合成结果图；
[0023]图7是本发明中基于杯子图像集合得到的结构化合成结果图；
[0024]图8是本发明中基于台灯图像集合得到的结构化合成结果图；
[0025]图9是本发明中基于玩具飞机图像集合得到的结构化合成结果图；
[0026]图10是本发明中基于机器人图像集合得到的结构化合成结果图；
[0027]图11是本发明中对基于实验所得合成图像物体的新颖度进行用户评价的结果图；
[0028]图12是本发明中对椅子进行直接合成与视点感知图像物体合成的结果对比图；
[0029]图13是本发明中对玩具飞机进行直接合成与视点感知图像物体合成的结果对比图。
【具体实施方式】
[0030]本发明的核心是基于图像物体集合进行部件层面的结构感知且具有丰富的形状和风格变化的图像物体合成方法。本发明的核心方法主要分为如下四个部分:图像物体数据的预处理、视点感知的图像物体合成、贝叶斯概率图模型的训练和综合、图像物体合成结果的导出。
[0031]1.图像物体数据的预处理:使用数码设备或网络收集某一特定类型物体的图像集合，要求物体的部件结构清晰完整，并使用图像分割工具得到图像中各部件的区域，同时作好语义标记。
[0032]1.1图像物体集合的获取
[0033]本方法应用于普通的数字图像。作为输入数据，本方法要求收集一定数量的同类物体图像，并缩放裁剪到统一大小。由于本方法是一种部件层面的结构化合成，因此本步骤要求所收集的图像物体的部件结构清晰完整。
[0034]1.2用户辅助交互
[0035]由于图像中物体各部件的内容及边界存在着复杂的形态特征，很难鲁棒地进行自动识别与分割，因此本方法依赖适量的用户交互对图像物体集合进行预处理以便后续步骤的进行。通过采用 Lazy Snapping 技术(LI, Y.，SUN, J.，TANG, C.-K.，AND SHUM, H.-Y.2004.Lazy snapping.ACM Transactions on Graphics (ToG) 23，3，303 - 308.)分割整个物体区域，接着采用 LabelMe 技术(RUSSELL, B.C.，TORRALBA, A.，MURPHY, K.P.，AND FREEMAN, ff.T.2008.LabelMe:a database and web-based tool for image annotation.1nternationaljournal of computer vision77, 1-3, 157 - 173.)分割并标记物体的每个部件区域。对于受到遮挡的图像部件，采用 PatchMatch 技术(BARNES, C.，SHECHTMAN, E.，FINKELSTEIN,A., AND GOLDMAN, D.2009.PatchMatch:a randomized correspondence algorithm forstructural image editing.ACM Transactions on Graphics (TOG) 28, 3, 24:1 - 11.)来补全被遮挡区域。
[0036]2.视点感知的图像物体合成
[0037]本图像物体合成方法使用同一类的图像物体集合(如椅子)作为输入，半自动地分析它们的结构并提取相机参数。然后根据底层结构拟合三维长方体代理来表示图像物体。图像物体的部件可以在三维代理的引导下连接合成为新颖且透视正确的完整图像物体。
[0038]2.1图像物体表示
[0039]基于步骤1.1和1.2的处理结果，构建一个表征图像物体的语义部件之间关系的结构化表示。每一个图像物体可表示为一个图G= {V，E}，其中V是图中的结点集合，E是图中边的集合。每一个部件Ci是V中的一个结点。当两结点Ci和&相连时，E中存在边eiJO其中，Ci = (Pi, Si, cl, BJ，Pi为属于部件Ci的区域像素点，Si为其分割边界，cl为部件像素点中由k-means方法抽取的主色(k = 2)，Bi为其相应的三维长方体代理(由后续步骤2.2得到)。此结构化表示在后续步骤中将会频繁使用。
[0040]2.2图像三维代理的生成:根据用户的简单交互标定每幅图像的相机参数，并结合相机参数和图像物体的部件分割信息生成结构化的三维代理。
[0041]2.2.1基于坐标轴系统的相机标定
[0042]本方法使用一个二维顶点和三个二维向量(三维坐标系统原点和坐标轴的图像投影)作为输入，与已有的单视点相机标定方法比较，此方法更适合一般性的图像(物体上的几何线索较少)。
[0043]相机投影矩阵M3x4可表示为:[0044]M3x4=K[R
【权利要求】
1.一种图像物体的结构化合成方法，其特征在于，包括如下步骤: (1)图像物体数据的预处理:使用数码或网络设备收集特定类型物体的图像集合，要求物体结构清晰完整，并使用图像分割和标记工具得到物体组成部件的一致分割区域； (2)视点感知的图像物体合成方法:根据用户的简单交互标定单幅图像的相机参数，并结合相机参数和图像物体分割信息生成结构化的三维代理，然后利用三维代理和接触点信息将图像部件组合连接成新颖的图像物体，最后通过智能颜色调整得到结果图像； (3)贝叶斯概率图模型的训练和综合方法:基于一致分割的图像部件，在特定物体类型的图像数据集上进行统计学习，得到一个能表达形状风格、物体结构、部件类别和相机参数之间复杂依赖关系的概率图模型；并通过在习得的贝叶斯图模型上进行概率推理，对部件类型和式样等进行采样得到高概率图像物体的组成方案和视点属性，最后通过步骤2中的方法合成出结果图像； (4)图像物体合成结果的导出:将步骤2和步骤3得到的结果图像，包括步骤2得到的相机参数和三维代理数据，以通用格式导出与存储。
2.根据权利要求1所述图像物体的结构化合成方法，其特征在于，所述步骤2包括以下子步骤: (2.1)用户辅助交互，在输入的每幅图像上对世界坐标系的坐标中心和坐标轴方向进行标定； (2.2)基于用户交互信息进行优化计算得到输入图像的相机参数； (2.3)基于步骤I中得到的图像物体分割信息，结合步骤2.2中得到的相机参数，对图像物体的每个部件计算初始三维代理； (2.4)基于步骤2.3所求物体各部件的初始三维代理，结合物体各部件间的整体结构约束信息进行优化来生成最终三维代理； (2.5)基于输入的组合方案和视点信息，将各个组成部件的三维代理通过其连接槽中定义的三维接触点信息连接在一起； (2.6)基于连接好的三维代理，将代理中的原始部件图像通过二维仿射变换生成当前视点下的部件图像，其中仿射变换在三维代理的约束下计算而得； (2.7)基于部件连接槽中定义的二维接触点信息将各个部件图像在图像空间内无缝连接在一起； (2.8)基于来源图像的颜色组合信息和已有的颜色和谐度评价模型优化计算得到物体各部件的最终主色，并通过颜色转移方法变换物体各部件的颜色，得到新物体的结果图像。
3.根据权利要求2所述图像物体的结构化合成方法，其特征在于，所述步骤3包括以下子步骤: (3.1)基于步骤I中得到的一致分割结果建立图像物体的结构信息，包括各部件的类型、数目、形状特征、相互连接关系等属性，其中形状特征由二维轮廓的点分布模型坐标描述； (3.2)基于权利要求2中得到的相机参数进行聚类得到图像视点的离散表示(视点类别的索引值); (3.3)基于步骤3.1中得到的物体结构信息和步骤3.2中得到的视点信息，在整个特定类型物体的图像数据集上利用最大期望算法和贝叶斯信息准则训练一个贝叶斯概率图模型，以此生成模型来表征整个图像数据集空间的物体结构、形状风格、部件类别和部件间连接关系的复杂依赖关系； (3.4)基于概率图模型进行采样，得到新物体的组成方案和视点信息，即每个组成部件的来源； (3.5)基于步骤3.4中得 到的大量组合方案和视点信息，利用权利要求2中的方法生成所有的结果图像。
【文档编号】G06T17/00GK103942795SQ201410163775
【公开日】2014年7月23日 申请日期:2014年4月22日 优先权日:2014年4月22日
【发明者】周昆, 许威威, 陈翔, 杨世杰 申请人:浙江大学