基于三角网格变形的内容保持的几何边界图像映射方法
【技术领域】
[0001] 本发明涉及一种基于三角网格变形的内容保持的几何边界图像映射方法。
【背景技术】
[0002] 图像编辑一直是图像处理中的基本问题。将图像映射到任意几何边界上去是一种 基本的图像编辑问题，任意几何边界的图像映射广泛应用于艺术设计系统中，同时是三维 造型系统中复杂边界纹理映射的有效工具。
[0003] 内容保持的图像编辑问题的关键在于操纵图像以达到编辑目的的同时，同时尽可 能地保持住图像中的特征物，作为补偿，允许其他图像区域发生更多的变形或扭曲。
[0004] 散乱点插值方法（Scattered Data Interpolation) -直是过去图像编辑问题的 热门方法。此类方法通过选取若干锚点，以及设定控制顶点的目标坐标来操纵图像变形，目 标图像由选取的全局函数插值得到。Ruprecht等 [1]使用径向基函数以及局部有界的径向 基函数作为插值函数;Arad等[2]使用高次基函数作为插值函数。由于散乱点插值方法多使 用基于像素点的显式计算方法，所以运行效率较高，但是应用局限于图像局部变形操作，且 此类方法并不考虑特征物的保护。
[0005] Seam Carving方法由Avidan等[3]于2007年提出，Seam为一条从图像边界一端 到另一端的当前显著度最低的八联通折线，通过迭代地去除Seam，以达到将图像调整到目 标尺寸并且保护图像特征物的目的。Rubinstein等 [4]随后使用前向能量改进了 Seam的 选取方法，使得目标图像在调整尺寸后有更好的连续性。Rubinstein等[5]进而提出同时 使用不同的尺寸调整方法处理图像适应问题，以减少原始图像与目标图像的差异性。Seam Carving方法适用于特征物不突出或多个特征物的图像，其结果非常依赖于Seam选取的可 靠性，容易丢失特征物。
[0006] 网格变形方法（Mesh Deformation)使用四边形网格或三角网格表述图片，在图像 编辑中被广泛采用。Lee等[6]尝试采用双变量三次样条以控制网格变形得到C 2连续的图像 变形结果；Beier等[7]允许用户使用直线交互变形目标；Igarashi等 [8]提出使用三角网格 表述图像的特征物，在变形过程中代表特征物的三角形尽可能的只允许发生刚性变换；类 似地，Schaefer等 [9]采用移动最小二乘法来控制表述图像的正方形网格的变形。Karni等 [1°]定义变形能量以控制图像变形和图像适应，使用局部/全局的方法求解能量极小问题。 Gal等[11]提出一种保持特征物的图像任意几何边界适应方法。Jin等[12]提出了以非均 匀缩放控制三角形网格变形处理图像适应问题，并且解决了目标图像重叠的问题。使用网 格来操纵图像变形和图像适应，有着高效，易于操作的优点，然而现有方法很少考虑网格变 形的连续性，会产生一些目标图像的明显不连续的人工痕迹。并且相当部分的网格变形方 法存在着鲁棒性的问题。
[0007] 现有的图像编辑方法都不适用于内容保持的几何边界图像映射问题，而普通的几 何边界图像映射方法通常又不能够很好地保持图像的重要内容，所以需要有效的内容保持 的几何边界图像映射方法。
[0008] 参考文献
[0009] [ I ] Ruprecht D，Miiller H. Image warping with scattered data interpolation. IEEE Computer Graphics and Applications，1995,15(2) :37-43.
[0010] [2]Arad N? Reisfeld D. Image warping using few anchor points and radial functions. Computer Graphics Forum，1995,14(I) :35-46.
[0011] [3]Avidan S?Shamir A. Seam carving for content-aware image resizing. ACM Trans. On Graphics (Proc.SIGGRAPH)，2007, 26 (3) :267-276.
[0012] [4]Rubinstein M，Shamir A，Avidan S. Improved seam carving for video retargeting. ACM Trans. On Graphics (Proc. SIGGRAPH) ? 2008? 27 (3) ：l-9.
[0013] [5]Rubinstein M?Shamir A?Avidan S. Multioperator media retargeting. ACM Trans. On Graphics (Proc. SIGGRAPH) ? 2009, 28 (3) ：No. 23.
[0014] [6] Lee SY，Chwa KY，Shin SY. Image metamorphosis using snakes and free-form deformations. In ：Mair SG，Cook R，eds. Proceedings of ACM SIGGRAPH. Los Angeles :ACM Press，1995. 439-448.
[0015] [7]Beier T，Neely S，Feature based image metamorphosis. In ：Thomas JJ， ed. Proceedings of ACM SIGGRAPH. Chicago :ACM Press，1992. 35-42.
[0016] [8]Igarashi T，Moscovich T，Hughes JF. As-rigid-as-possible shape manipulation. ACM Trans. On Graphics(Proc SIGGRAPH)?2005,24(3) :1134-1141.
[0017] [9]Schaefer S，McPhail T? Warren J. Image Deformation Using Moving Least Squares. ACM Trans. On Graphics (Proc SIGGRAPH)?2006,25(3) :533-540.
[0018] [10]Karni Z，Freedman D，Gotsman C. Energy-based image deformation. Computer Graphics Forum(Proc. Symp. Geometry Processing)?2009?28 (5) :1257-1268.
[0019] [ll]Gal R，Sorkine 0? Cohen-Or D.Feature-aware texturing. In ：Heidrich W? Akenine-Moller T? eds. Proc. of Eurographics Symposium on Rendering. Nicosia ： Eurographics Association，2006. 297-303.
[0020] [12]Jin Y，Liu LG，Wu QB.Nonhomogeneous Scaling Optimization for Realtime Image Resizing. The Visual Computer(Proc. of CGI)，2010,26 (6-8) :769-778.
【发明内容】
[0021] 本发明提出一种基于三角网格变形的内容保持的几何边界图像映射方法。本发明 根据图像特征计算代表图像的自适应三角网格，采用与三角形仿射变换有关的能量函数控 制网格变形，代表特征物的三角网格在网格变形过程中只允许发生刚性变换。而相邻网格 在变形过程中发生的仿射变换应尽可能地相似。该能量优化问题的全局最优解可以通过迭 代求解多个稀疏线性方程组得到。
[0022] 本发明的具体步骤为：
[0023] 1)给定源图像，计算捕捉图像重要内容的三角网格;
[0024] 2)设计内容保持的网格变形能量函数Ε，并设计边界约束条件和刚性约束条件；
[0025] 3)将图像映射问题转化为在相关约束条件下求解网格变形能量函数以获得映射 后的图像，使用全局/局部的迭代方法求解该能量函数的最小值。
[0026] 主要有以下优点：本发明考虑了三角网格变形的连续性，故变形后的目标图像比 较自然；自适应网格使用加密的网格捕捉特征物，使用稀疏的网格表示图像的非重要区域， 由此特征物的变形有较大的自由度同时方法的效率也得以保证；由于本发明方法只涉及稀 疏方程组的求解，所以鲁棒性好。
【附图说明】
[0027] 图1为本发明简化方法实施例的流程图；
[0028] 图2为本发明可以放大或缩小重要物体的例子；
[0029] 图3为本发明与标准映射方法的比较例子。
【具体实施方式】
[0030] 下面，结合附图和实施例来对本发明的【具体实施方式】做详细说明。
[0031] 1.问题描述
[0032] 给定源图像&，见图1(a)，其长方形边界为。图像特征物可以由用户交互选择 或自动生成，特征物集合记为0，特征物体记为O e O。几何边界图像映射的目标可以表述 为将图像映射到目标几何边界A，为源图像及构造对应的三角网格，我们通过计算与 同拓扑而不同坐标的目标网格来达到将图像映射到目标几何边界的目的，目标图像 A容易通过目标网格?得到。由此将几何边界图像映射的问题转换为操纵原网格变形 到目标网格M的问题。直观上