专利名称：图像变形的方法
技术领域：
本发明涉及一种多媒体处理方法，特别是涉及一种图像处理方法。
背景技术：
图像变形技术是一种由一幅图像渐变至另一幅图像的动态变形技术，可以广泛的应用在动画、计算机特技生成及电影效果处理等多媒体领域。
目前的图像变形技术，主要靠操作者在源图像和目标图像上手工标记一些控制点，通过这些控制点来束缚其它点的几何变形，进而通过几何插图来得到从源图像到目标图像的中间图像序列。
现有的图像变形方法，只是靠操作者手工在源图像和目标图像上标定一些控制点，来计算图像间的几何映像关系。如果控制点过密，则会大大增加操作者手工标定的工作量，并且容易出错。但若控制点太少，则那些远离控制点的图像上的像素点，会产生较为严重的几何失真。
发明内容
本发明提供一种图像变形的方法，适用于生成一中间图像序列，以提升多媒体应用领域的动态变形效果。
本发明提出一种图像变形的方法，适用于生成一中间图像序列。首先，在一源图像 和一目标图像 中，标定一控制点CP＝{(pi，qi)}i＝1...N。然后根据此源图像 和此目标图像 计算一边缘梯度参数 接下来，再根据上述控制点CP及上述边缘梯度参数 来计算一总代价函数E(Df，Db)。最后，利用此总代价函数E(Df，Db)，来生成上述的中间图像序列。
从另一观点来看，本发明还提出一种图像变形的方法，适用于生成一中间图像序列。首先，根据一源图像 和一目标图像 计算一边缘梯度参数 然后，根据此边缘梯度参数 来计算一总代价函数E(Df，Db)。最后，再根据此总代价函数E(Df，Db)，来生成上述中间图像序列。
依照本发明的实施例所述，上述的图像变形的方法利用源图像 和目标图像 的边缘梯度，来增加图像变形的约束力，以提升图像变形的效果。
为使本发明的上述和其它目的、特征和优点能更明显易懂，下文特举本发明的实施例，并结合附图详细说明如下。
图1示出了本发明一实施例的图像变形的方法的步骤流程图。
图2示出了本发明一实施例的计算边缘梯度参数的步骤流程图。
图3示出了本发明一实施例的计算总代价函数的步骤流程图。
图4示出了本发明一实施例的计算前向代价函数的步骤流程图。
图5示出了本发明一实施例的计算后向代价函数的步骤流程图。
图6示出了本发明一实施例的生成中间图像序列的步骤流程图。
图7示出了本发明一实施例的考虑边缘约束的中间图像序列及不考虑边缘约束的中间图像序列。
图8示出了本发明另一实施例的图像变形的方法的步骤流程图。
图9示出了本发明另一实施例的计算总代价函数的步骤流程图。
具体实施例方式
对一幅图像而言，图像的边缘承载着80％以上的信息量。当一幅图像变形至另一幅图像时，有多少边缘线能够平滑的变形至另一幅图像的边缘上，几乎决定了算法的有效性以及最后生成的中间图像序列的效果。因此，利用边缘到边缘的映射关系作为一种重要的约束项，来修正图像变形算法，将大大提高上述算法的强固性(robustness)以及中间图像序列的质量。
所以，本发明在传统的图像变形方法中，引入了边缘约束的观念，在计算源图像Is和目标图像Id的几何映射关系时，充分考虑边缘点的对应，即在源图像Is上位于边缘在线的像素也最大可能的对应于目标图像Id的边缘在线的像素。
图1为本发明的图像变形的方法一实施例的步骤流程图，请参考图1。首先，如步骤S110所示，标定控制点CP＝{(pi，qi)}i＝1..N。接下来，请参考步骤S120，根据计算源图像 和目标图像 来计算边缘梯度参数 然后，如步骤S130所示，利用控制点CP、源图像边缘梯度 与目标图像边缘梯度 计算总代价函数E(Df，Db)。最后，再利用总代价函数E(Df，Db)生成中间图像序列(步骤S140)。
请参考图2，上述步骤S120在本发明一实施例中，包括了计算源图像 的边缘梯度以获得源图像边缘梯度 (步骤S121)和计算目标图像 的边缘梯度以获得目标图像边缘梯度 (步骤S122)。其中，源图像边缘梯度可以为Ise(x→)=▿x→(Is(x→)),]]>而目标图像边缘梯度可以为Ide(x→′)=▿x→′(Id(x→′)).]]>请参考图3，上述步骤S130在本发明一实施例中，总代价函数可以为E(Df，Db)＝Ef(Df)+Eb(Db)+Dis(Db，Df)。其中，总代价函数E(Df，Db)包括了前向代价函数Ef(Df)(步骤S131)、后向变型函数 (步骤S135)及偏差值代价函数Dis(Db，Df)(步骤S139)。其中，前向代价函数Ef(Df)的物理意义为设 为从源图像 变形到目标图像 的几何变形函数，这里称为前向变形函数 此前向变形函数 把源图像 上的每一点映像到目标图像 中。记为Df(x→)={df(x→)|df(x→)=(u,v)}.]]>前向变形的代价为前向变形函数 的函数，即为前向代价函数Ef(Df)。
同理可知，后向代价函数Eb(Db)的物理意义如下设 为从目标图像 变形到源图像 的几何变形函数，这里称为后向变形函数 此后向变形函数 把目标图像 上的每一点映像到源图像 中。记为Db(x→)={db(x→)|db(x→)=(u′,v′)}.]]>后向变形的代价为后向变形函数 的函数，即为后向代价函数Eb(Db)。
而偏差值代价函数Dis(Db，Df)为前向变形函数 和后向变形函数 的距离，反映了前向和后向几何变形的偏差，这里定义为Dis(Db,Df)=Σx→′ρdis(db(x→′)-df(x→′+db(x→′)))+Σx→ρdis(df(x→)-db(x→+df(x→)))]]>其中ρdis(x→1,x→2)=min(λdis||x→1-x→2||,Tdis).]]>请参考图4，前向代价函数Ef(Df)在本发明一实施例中包括了控制点代价Ecp(D)(步骤S132)、前向边缘梯度代价Eedgef(步骤S133)以及平滑性代价Es(D)(步骤S134)。
其中控制点代价Ecp(D)的算法如下设CP＝{(pi，qi)}i＝1..N为源图像 和目标图像 上的N对控制点，令
t→(x→)=(q→k-p→k)ifx→=p→kΣi=1Nwi(x→)(q→i-p→i)else]]>wi(x→)=1/||x→-p→i||Σi=1N1||x→-p→i||]]>其中 表示只考虑控制点CP的情况下，源图像 或目标图像 上每一点的偏移向量；而 则表示控制点CP对普通图像点的影响因子。控制点代价Ecp(D)定义为Ecp(D)=Σx→ρcp(d→(x→),t→(x→))]]>其中ρcp(α→,b→)=min(λcp||α→-b→||,Tcp),]]>比为一限幅的距离函数。
而前向边缘梯度代价Eedgef的算法如下前向边缘梯度代价Edegef(Df)=Σx→ρedge(Ise(x→)-Ide(x→+d→f(x→)))]]>且ρedge(s)＝min(λedge|s|，Tedge)，此亦为一限幅函数。
平滑性代价Es(D)的算法如下设s为图像上的任意一点，N(s)例如为s的3×3邻域，令C＝{s，t|s＜t，t∈N(s)}为此邻域内s的邻接点对，则平滑性代价Es(D)定义为Es(D)=Σs,t∈Cλs||(s+d(s))-(t+d(t))||,]]>其中λs为此平滑性代价Es(D)的权重。当然本发明并非只限定N(s)为s的3×3邻域，其它如N(s)为s的m×m邻域，m为大于等于3的正整数，也在本发明的保护范围内。
同理，如图5所示，后向代价函数Eb(Db)在本发明一实施例中亦包括了控制点代价Ecp(D)(步骤S136)、后向边缘梯度代价Eedgeb(步骤S137)以及平滑性代价Es(D)(步骤S138)。其中，计算后向边缘梯度代价Eedgeb的公式为Eedgeb(Db)=Σx→ρedge(Ide(x→)-Ise(x→+d→b(x→)))]]>且ρedge(s)＝min(λedge|s|，Tedge)。上述的前向边缘梯度代价Eedgef及后向边缘梯度代价Eedgeb所反映的是，源图像 (变形开始的图像)上的边缘点，应尽可能的对应于目标图像 (变形结束的图像)上的边缘点，这样才能保证变形生成的中间图像序列具有很好的视觉质量。在算法上，边缘代价可以归纳为在特定的几何变换下，对应像素点梯度差的和的最小者，此亦为本发明所特有的创见。
在取得总代价函数E(Df，Db)以后，如步骤S140所示，对总代价函数E(Df，Db)进行运算以取得中间图像序列。请参考图6，首先进行步骤S141，将总代价函数E(Df，Db)优化以取得特定前向变形函数 及特定后向变形函数 此特定前向变形函数 及特定后向变形函数 即相对于最小总代价函数E(Df，Db)的前向变形函数 及后向变形函数 将总代价函数E(Df，Db)优化的方法有很多种，例如可靠传递译码算法(Belief Propagation)、退火算法(Annealing Algorithms)及基因算法(Genetic Algorithm)等。
当求得特定前向变形函数 及特定后向变形函数 时，便可利用特定前向变形函数 对源图像Is进行插值运算以产生前向过渡图像序列 (步骤S142)，以及利用特定后向变形函数 对目标图像Id进行插值运算以产生后向过渡图像序列 (步骤S143)。最后，再利用前向过渡图像序列 与后向过渡图像序列 进行色彩混合运算以产生中间图像序列(步骤S144)。实际做法如下中间图像序列可以为Ii(x→)=αiIsi(x→)+(1-αi)Idj(x→),]]>(i＝1，2...N)。其中，αi＝1-i/N为色彩混和的加权因子。
值得注意的是，若源图像Is与目标图像Id非常相似，则中间图像序列亦可能仅包含一个图像，因而也在本发明的保护范围。
如上所述，控制点代价Ecp(D)表示标定的控制点对几何变换函数的约束。而前向边缘梯度代价Eedgef及后向边缘梯度代价Eedgeb则用以衡量在此几何变换下，源图像 和目标图像 边缘信息的匹配程度。最后，平滑性代价Es(D)则代表此几何变换在空间上是否是平滑的。
其中，前向边缘梯度代价Eedgef及后向边缘梯度代价Eedgeb为本发明所特有的创见，以图7为例，当源图像(a)和目标图像(b)的结构简单时，源图像(a)和目标图像(b)上所标定的控制点通常位于源图像(a)的正方形的四个直角。然而，以前向边缘梯度代价Eedgef及后向边缘梯度代价Eedgeb的角度观之，因为源图像(a)的正方形和目标图像(b)的圆形与背景颜色差距极大，也就是说源图像(a)的正方形和目标图像(b)的圆形在边缘处有很大的梯度，所以考虑前向边缘梯度代价Eedgef及后向边缘梯度代价Eedgeb的物理意义是在源图像(a)和目标图像(b)的边缘标上无数个控制点，而不仅仅是源图像(a)的正方形的四个直角。
所以，从图7可以看出，考虑边缘约束的中间图像序列的变形效果比不考虑边缘约束的中间图像序列的变形效果更为出色。甚至，考虑边缘约束的图像变形方法可以径行省略标定控制点的步骤。这是因为，对一张图像而言，边缘梯度变化最大的地方，几乎都是手工标定控制点时的首选。
图8为本发明的图像变形的方法完全舍弃人工标定控制点作业的一实施例的步骤流程图，请参考图8。本实施例的步骤S210可参考上述实施例的步骤S120，而本实施例的步骤S230可参考上述实施例的步骤S140。请参考图9，计算总代价函数E(Df，Db)在本发明一实施例中，与上述实施例的步骤S130相似，但仅舍弃了计算控制点代价Ecp(D)的步骤。本实施例的步骤S220的施行细节可参照上述实施例，在此不加赘述。
本实施例可完全舍弃人工标定控制点的作业，而仅由前向边缘梯度代价Eedgef及平滑性代价Es(D)构成前向代价函数Ef(Df)，以及由后向边缘梯度代价Eedgeb及平滑性代价Es(D)构成后向代价函数Eb(Db)。甚至，在本发明另一实施例中，亦可仅由前向边缘梯度代价Eedgef构成前向代价函数Ef(Df)，以及由后向边缘梯度代价Eedgeb构成后向代价函数Eb(Db)。本实施例的特色在于完全舍弃人工标定控制点的步骤，进而使生成中间图像序列的方法全程完全自动化。
综上所述，本发明具有至少以下两种优点1.本发明通过引入图像边缘梯度的约束，大大减少操作者手工标点的数量，减轻操作者的工作量。
2.在操作者标定相同数量控制点的情况下，相比于先前技术，本发明可以大大提高中间图像序列的质量。
虽然本发明已以较佳实施例披露如上，然其并非用以限定本发明，本领域的技术人员在不脱离本发明的精神和范围的前提下可作若干的更动与润饰，因此本发明的保护范围以本发明的权利要求为准。
权利要求
1.一种图像变形的方法，适用于生成一中间图像序列，包含根据一源图像 和一目标图像 计算一边缘梯度参数 根据该边缘梯度参数 计算一总代价函数E(Df，Db)；以及根据该总代价函数E(Df，Db)，生成该中间图像序列。
2.如权利要求1所述的图像变形的方法，还包含在该源图像 和该目标图像 中，标定一控制点CP＝{(pi，qi)}i＝1..N，其中该总代价函数E(Df，Db)的计算更回应于该控制点。
3.如权利要求1所述的图像变形的方法，其中该边缘梯度参数 包含一源图像边缘梯度 以及一目标图像边缘梯度 则计算该边缘梯度参数 的方法，包含根据该源图像 计算该源图像边缘梯度 其中Ise(x→)=▿x→(Is(x→));]]>以及根据该目标图像 计算该目标图像边缘梯度 其中Ide(x→′)=▿x→′(Id(x→′)).]]>
4.如权利要求3所述的图像变形的方法，其中该总代价函数E(Df，Db)包含一前向代价函数Ef(Df)，该前向代价函数Ef(Df)为一前向变型函数 的代价；一后向代价函数Eb(Db)，该后向代价函数Eb(Db)为一后向变型函数 的代价；以及一偏差值代价函数Dis(Db，Df)，该偏差值代价函数Dis(Db，Df)为该前向变形函数 与该后向变形函数 的距离。
5.如权利要求2所述的图像变形的方法，其中该边缘梯度参数 包含一源图像边缘梯度 以及一目标图像边缘梯度 则计算该边缘梯度参数 的方法，包含根据该源图像 计算该源图像边缘梯度 其中Ise(x→)=▿x‾(Is(x→));]]>以及根据该目标图像 计算该目标图像边缘梯度 其中Ide(x→′)=▿x→′(Id(x→′)).]]>
6.如权利要求5所述的图像变形的方法，其中该总代价函数E(Df，Db)包含一前向代价函数Ef(Df)，该前向代价函数Ef(Df)为一前向变型函数 的代价；一后向代价函数Eb(Db)，该后向代价函数Eb(Db)为一后向变型函数 的代价；以及一偏差值代价函数Dis(Db，Df)，该偏差值代价函数Dis(Db，Df)为该前向变形函数 与该后向变形函数 的距离。
7.如权利要求4或6所述的图像变形的方法，其中该前向代价函数Ef(Df)包含一前向边缘梯度代价Eedgef，该前向边缘梯度代价Eedgef的参数包含该边缘梯度参数 其中计算该前向边缘梯度代价Eedgef包含Eedgef(Df)=Σx→ρedge(Ise(x→)-Ide(x→+d→f(x→))),]]>其中ρedge(s)＝min(λedge|s|，Tedge)。
8.如权利要求4或6所述的图像变形的方法，其中该前向代价函数Ef(Df)还包含一平滑性代价Es(D)，其中计算该平滑性代价Es(D)包含设s为图像上的任意一点，N(s)为s的mxm邻域，令C＝{s，t|s＜t，t∈N(s)}为该邻域内s的邻接点对，则该平滑性代价Es(D)定义如下Es(D)=Σs,t∈Cλs||(s+d(s))-(t+d(t))||,]]>其中λs为该平滑性代价Es(D)在该前向代价函数Ef(Df)中的权重，m为大于等于3的正整数。
9.如权利要求4或6所述的图像变形的方法，其中该后向代价函数Eb(Db)包含一后向边缘梯度代价Eedgeb，该后向边缘梯度代价Eedgeb的参数包含该边缘梯度参数 其中计算该后向边缘梯度代价Eedgeb包含Eedgeb(Db)=Σx→ρedge(Ide(x→)-Ise(x→+d→b(x→))),]]>其中ρedge(s)＝min(λedge|s|，Tedge)。
10.如权利要求4或6所述的图像变形的方法，其中该后向代价函数Eb(Db)还包含一平滑性代价Es(D)，其中计算该平滑性代价Es(D)包含设s为图像上的任意一点，N(s)为s的mxm邻域，令C＝{s，t|s＜t，t∈N(s)}为该邻域内s的邻接点对，则该平滑性代价Es(D)定义如下Es(D)=Σs,t∈Cλs||(s+d(s))-(t+d(t))||,]]>其中λs为该平滑性代价Es(D)在该后向代价函数Eb(Db)中的权重，m为大于等于3的正整数。
11.如权利要求1或2所述的图像变形的方法，其中生成该中间图像序列，包含计算该总代价函数E(Df，Db)的最小值，以取得一特定前向变形函数 及一特定后向变形函数 利用该特定前向变形函数 及该特定后向变形函数 计算一前向过渡图像序列 与一后向过渡图像序列 将该前向过渡图像序列 与该后向过渡图像序列 进行色彩混合以生成该中间图像序列。
12.如权利要求1或2所述的图像变形的方法，其中计算该前向过渡图像序列 及该后向过渡图像序列 的方法，包含将该特定前向变形函数 对源图像Is进行插值运算以取得该前向过渡图像序列 以及将该特定后向变形函数 对目标图像Id进行插值运算以取得该后向过渡图像序列
全文摘要
一种图像变形的方法，适用于生成一中间图像序列。首先，在一源图像I
文档编号G06T3/00GK101038665SQ20071010215
公开日2007年9月19日 申请日期2007年4月29日 优先权日2007年4月29日
发明者牛宗标, 廖立军 申请人:威盛电子股份有限公司