专利名称：处理串流影像动画的系统及方法
技术领域：
本发明涉及一种实时处理并调整串流影像以产生动画的系统及方法，特别是将一输入的动态影像实时改变以产生动画的系统及方法。
背景技术：
在习知技术中，影像动画的制作大致包括以下几个方法(1)、由动画家根据剧情的需要以手绘方式完成。由于完全以手工完成，绘者需要有相当的艺术天份与才能，一般人难以完成。且制作时间长，通常需要数小时。
(2)、使用计算机的软件包产生动画，此类计算机软件包制作动画的原理，基本上是以排列组合的方式进行，使用此类计算机软件包制作动画因不需太多专业技巧，任何人都可以很快地组合出有趣的动画。但，受限于可供组合的单元种类与数量，此类计算机软件包不容易制作出特定效果的动画，例如，将实时发生的串流影像制作成动画。
(3)、使用影像处理软件以特殊的功能对影像对象逐步处理，例如，使用Adobe PhotoShop中的变形滤镜功能将影像对象加以扭曲变形，以达到类似哈哈镜的趣味效果。以此种方式制作动画，必须使用人工进行反复操作复杂的影像处理工具，使用者必须为熟练影像处理工具的全部功能并具备美学素养的专业人员，所有的操作步骤皆为手动且无法保留，且每一影像对象都需要个别处理，过程复杂需专业知识，非一般人可随意完成，且该类影像处理软件对于实时发生的串流影像并无提供产生动画的功能，是该类影像处理软件另一严重的不足。
(4)、在本公司另一篇专利文件”Image-Adjusting System and Method”中，所揭露的影像变形或处理的方式，虽然可利用连续处理静态影像的方式，达到动态的效果，但是因为每个画面都需经过检测与变形的处理，彼此不利用前后关系的作法，一方面效能无法令人满意，另一方面画面的流畅与连续程度皆有不完善的处。虽然在习知技术中，已渐渐提及有关使用实时串流影像以产生动画的系统及方法，然，此类使用实时串流影像以产生动画的系统及方法也只限对于实时影像对象影像的全域进行处理及输出，无法针对实时影像对象影像的部份区域，如前景或背景进行处理及输出，亦无法对具有声音的影像进行影音同步或影音合成的处理，故该类系统及方法仍有许多极需改善的处。
因此，针对上述问题及缺陷，本发明提出一种创新的处理串流影像动画的系统与方法，不仅可改善习知技术中需要复杂的影像处理工具及专业艺术素养的缺陷，还可针对实时发生的串流影像产生动画。
发明内容
本发明的目的是提供一种处理串流影像动画的系统及方法，特别是有关一种实时处理并调整串流影像以产生动画的系统及方法。
本发明书要是通过一动态影像输入模块、一影像改变模块、一时变模块及一动态影像输出模块将一输入的动态影像实时改变以产生动画的技术效果。
下面结合附图对本发明进行详细说明。
图1是本发明的系统架构图；图2是本发明的一实施例的系统架构图；图3是本发明的另一实施例的系统架构图；图4A至图4F是本发明的一实施例的示意图；图5A至图5C是本发明的另一实施例的示意图；图6A至图6B是本发明的另一实施例的示意图；图7A至图7C是本发明的另一实施例的示意图；图8A至图8C是本发明的另一实施例的示意图；图9A至图9B是本发明的另一实施例的示意图；图10是本发明的操作流程图。
附图标记说明100本发明；101动态影像输入模块；102影像改变模块；103时变模块；1031特征预测模块；1032特征平滑模块；104动态影像输出模块；105影像特征切割模块；106声音处理模块；1061声音输入模块；1062声音改变模块；1063声音输出模块；107影音处理模块；1071影音同步模块；1072影音合成模块；1011、1012、1013、1014、1015、1016-步骤。
具体实施例方式
请参阅图1所示的本发明的一实施例的系统架构图。由图1可知，本发明100的一种处理串流影像动画的系统可包括一动态影像输入模块101，用以输入实时连续的影像，该影像可为串流影像动画，例如通过摄影机的影像输入，或者网络视讯会议的网络影像动画，亦可为一现存盘案影像动画，例如计算机上储存的影像动画档案；一影像改变模块102，用以依据输入影像与其特征点，进行影像的改变；一时变模块103，用以依据时间变量，改变该影像变形模块的组合参数及一动态影像输出模块104，用以输出实时连续的影像。通过以上本发明中各模块的功能本发明可实时改变一输入的实时影像以产生实时连续的动画。
请再参阅图2所示的本发明的另一实施例的系统架构图。由图2可知，本发明100的一种处理串流影像动画的系统还可包括一影像特征切割模块105，用以分离输入的实时影像的各特征影像，并调整该各特征影像以产生实时连续的动画；一声音处理模块106，用以处理当输入的实时影像数据中亦同时包含声音数据时的该声音数据；一影音处理模块107，用以处理实时影像数据及声音数据。
请再参阅图3进一步详细说明本发明中时变模块、声音处理模块及影音处理模块的详细架构。由图3可知，本发明中时变模块103还包括一特征预测模块1031，用以辅助特征检测及一特征平滑模块1032，用以使特征移动轨迹更加平滑。本发明中的声音处理模块106还包含一声音输入模块1061，用以接收声音的输入；一声音改变模块1062，用以改变输入的声音；及一声音输出模块1063，用以输出改变完成的声音。本发明中的影音处理模块107还可包含一影音同步模块1071，用以将输出的影像数据与声音数据进行同步的工作；及一影音合成模块1072，用以将输出的影像数据与声音数据进行合成。
通过以下的实施例还可清楚的了解本发明实际运用的状况。请参考图4，由图4中可知，图4A的人像是由摄影机直接输入的一实时影像画面，输入的数据流为连续动态影像，通过本发明的影像改变模块不断更新改变人像脸部各区域，造成脸型五官与表情的动态变化，产生连续实时的输出影像流，可得到如图4B、图4C、图4D、图4E及图4F中所显示的人像效果。本发明所揭露的技术，亦可依照特征轨迹的改变向量的连续性的差异，决定影像改变模块的改变参数，让不同的改变动量对应产生不同的变化效果。
请参考图5所示的假设一女子头晕时所产生的动画效果。由图5中可知，图5A的人像是由摄影机直接输入的一实时影像画面，输入的数据流为动态连续影像，通过本发明的影像特征切割模块的处理，再经由本发明的影像改变模块不断改变特征影像各部份区域，改变方式为依照特征点的改变向量，对应此向量完成各区域变形后，产生连续实时的输出影像流，产生的效果如图5B及图5C所示。
请再参考图6所示的说明本发明实时改变一女子皮肤质量的实施例。由图6中可知，图6A的女子人像是由摄影机直接输入的一实时影像画面，输入的数据流为动态连续影像，通过本发明的影像改变模块不断对特定区域，如皮肤区域做影像处理，得到肤质细致，肤色美白等效果。影像处理完毕后，进一步产生连续实时的输出影像流，产生的效果如图6B所示。
请再参考图7所示的说明本发明实时改变物体背景的实施例。由图7中可知，图7A的男子人像是由摄影机直接输入的一实时影像画面，输入的数据流为动态连续影像，透过本发明的影像特征切割模块辨识出特征物体(人像)及背景影像数据，再通过本发明的影像改变模块不断对特征物体及背景影像进行影像改变处理，如变化人像的表情、加亮并柔化主题物体(人像)及改变背景数据等，影像处理完毕后，进一步产生连续实时的输出影像流，产生的效果如图7B及图7C所示。
请再参考图8所示的实施例，说明本发明实时合成虚拟对象的状况。由图8中可知，图8A的男子人像是由摄影机直接输入的一实时影像画面，输入的数据流为动态连续影像，通过本发明的影像特征切割模块辨识出特征物体(人像)，根据特征物体的位置，动态将欲加上的虚拟的对象，如本例中的夸张眼珠，经由适当的旋转位移缩放，将结果黏置于特征物体之上，并产生连续实时的输出影像流，产生的效果如图8B及图8C所示。本发明所揭露的技术，亦可依照特征轨迹的改变向量的连续性的差异，决定影像改变模块的改变参数，让不同的改变动量对应使用不同的虚拟对象。
请再参考图9的说明本发明互动虚拟对象的实施例。由图9中可知，图9A的两女子人像是由摄影机直接输入的一实时影像画面，输入的数据流为动态连续影像，通过本发明的影像特征切割模块分离出特征物体及背景，再透过本发明的影像改变模块不断决定互动对象的行为与位置，将结果粘置于特征物体以外的区域，并产生连续实时的输出影像流，产生的效果如图9B所示。
请再参考图10所示的本发明的一实施例的操作流程图。如图10所示，本发明的一实施例的操作流程至少包含以下步骤步骤1011，通过一动态影像输入模块取得实时连续影像；步骤1012，使用一影像特征切割模块，依据影像特征切割成至少一个特征区域；步骤1013，利用一影像改变模块对该特征区域进行影像处理并产生至少一个特征影像；步骤1014，使用一时变模块，于不同时间调整步骤1013中影像处理的参数；步骤1015，合并产生该调整完毕的该至少一个特征影像；及；步骤1016，经由一动态影像输出模块输出该调整完毕的该至少一个各特征影像迭合后的实时连续影像。
由上所述可知，本发明的一种处理串流影像动画的系统及方法，通过一动态影像输入模块，用以输入实时影像，该影像可为实时串流连续动画影像，例如通过摄影机的影像输入，或者网络视讯会议的网络影像动画，亦可为一现存动画档案影像，再经由一影像改变模块，进行影像改变，或经一影像特征切割模块分离该输入实时影像的前景及背景、再经由一时变模块，用以依据时间变量，改变影像变形模块的组合参数，最后再经由一动态影像输出模块，用以输出完成的实时连续影像。通过以上的各模块的功能本发明可将一影像中的特征影像分离，并调整各特征影像以产生实时连续的动画。本发明不仅可改善已知技术中需要复杂的影像处理工具及专业艺术素养的缺点，还可针对实时发生的串流影像产生动画。
以上所述仅为本发明的较佳实施例，不能用来限定本发明实施的范围。因此，凡依本发明权利要求所作的均等变化与修饰的，皆应仍属于本发明的保护范围。
权利要求
1.一种处理串流影像动画的系统，包括一动态影像输入模块，用以输入实时连续的影像；一影像改变模块，用以改变该输入的实时连续影像；一时变模块，用以依据时间变量，改变该影像改变模块的组合参数；及一动态影像输出模块，用以输出改变完成的实时连续的影像。
2.一种处理串流影像动画的系统，包括一动态影像输入模块，用以输入实时连续的影像；一影像特征切割模块，用以分离该输入实时连续影像的特征对象或特征区域；一影像改变模块，用以改变该输入的实时连续影像的该特征对象或特征区域；一时变模块，用以依据时间变量，改变该影像改变模块的组合参数；及一动态影像输出模块，用以输出改变完成的实时连续的影像。
3.如权利要求1或2所述的一种处理串流影像动画的系统，其中还包括一声音处理模块，用以处理声音数据。
4.如权利要求3所述的一种处理串流影像动画的系统，其中该声音处理模块，依据该影像改变模块及该时变模块所产生。
5.如权利要求3所述的一种处理串流影像动画的系统，其中还包含一影音处理模块，用以处理该实时影像数据及该声音数据。
6.如权利要求1或2所述的一种处理串流影像动画的系统，其中该时变模块还包括一特征预测模块，用以辅助特征检测；及一特征平滑模块，用以使特征移动轨迹更加平滑。
7.如权利要求3所述的一种处理串流影像动画的系统，其中该声音处理模块还可包含一声音输入模块，用以接收声音的输入；一声音改变模块，用以改变输入的声音及一声音输出模块，用以输出改变完成的声音。
8.如权利要求5所述的一种处理串流影像动画的系统，其中该影音处理模块还可包含一影音同步模块，用以将输出的影像数据与声音数据进行同步或一影音合成模块，用以将输出的影像数据与声音数据进行合成。
9.如权利要求1或2所述的一种处理串流影像动画的系统，其中，该输入的实时连续的影像为取像装置所产生的动画影像文件或动画影像串流。
10.如权利要求1或2所述的一种处理串流影像动画的系统，其中，该输入的实时连续的影像为影像生成装置所产生的动画影像文件或动画影像串流。
11.如权利要求1或2所述的一种处理串流影像动画的系统，其中，该输出的实时连续的影像可为动画影像文件或动画影像串流。
12.一种处理串流影像动画的方法，其至少包含以下步骤(a)通过一动态影像输入模块取得实时连续影像；(b)使用一时变模块将时间转为调整该实时连续影像的参数；(c)使用一影像改变模块改变该实时连续影像；(d)经由一动态影像输出该改变完成的实时连续影像。
13.一种处理串流影像动画的方法，其至少包含以下步骤(a)通过一动态影像输入模块取得实时连续影像；(b)使用一影像特征切割模块，依据影像特征切割成至少一个特征区域；(c)利用一影像改变模块对该特征区域进行影像处理并产生至少一个特征影像；(d)使用一时变模块，于不同时间调整步骤(c)中影像处理的参数；(e)合并产生该调整完毕的该至少一个特征影像；及(f)经由一动态影像输出模块输出该调整完毕的该至少一个各特征影像迭合后的实时连续影像。
14.如权利要求12或13所述的一种处理串流影像动画的方法，其中，当该输入的实时连续影像中包含声音数据时，该方法还包含一步骤用以处理该实时影像及该声音数据。
15.如权利要求14所述的一种处理串流影像动画的方法，其中该处理该实时影像及该声音数据的方法包括影音同步或影音合成。
16.如权利要求12或13所述的一种处理串流影像动画的方法，其中，该输入的实时连续的影像为取像装置所产生的动画影像文件或动画影像串流。
17.如权利要求12或13所述的一种处理串流影像动画的方法，其中，该输入的实时连续的影像为影像生成装置所产生的动画影像文件或动画影像串流。
18.如权利要求12或13所述的一种处理串流影像动画的方法，其中，该输出的实时连续影像为动画影像文件或动画影像串流。
全文摘要
本发明公开了一种处理串流影像动画的系统及方法，特别是有关一种实时处理并调整串流影像以产生动画的系统及方法，其主要是通过一动态影像输入模块、一影像改变模块、一时变模块及一动态影像输出模块将一输入的动态影像实时改变以产生动画的技术效果。
文档编号H04N7/14GK1856035SQ200510064700
公开日2006年11月1日 申请日期2005年4月20日 优先权日2005年4月20日
发明者邱鸿钧, 李志伟 申请人:甲尚股份有限公司