专利名称：产生动态影像的影像处理方法及其影像获取装置的制作方法
技术领域：
本发明涉及一种影像处理方法，尤其涉及一种在影像获取装置上播放动态影像的影像处理方法。
背景技术：
图形交换格式(Graphics Interchange Format, GIF)是一种点阵形文件格式，仅能以8位元(即256种颜色)来表现彩色的影像。GIF格式图档支持多张影像重复播放，适合将不同照片或图片的画面整合在同一个图档中来播映，达到动态影像的播放效果。在制作GIF格式图档时，一张以24位元所储存的全彩影像必须先转换成以8位元(即256种颜色)储存的彩色影像，才能存成GIF格式图档。其中由24位元全彩影像转换成8位元彩色影像时，可能因采用不同的转换模式，造成转换后的每张影像有色域不连续的情况，进而造成动态影像的播放效果不如预期，因此若动态影像的播放是为了达成某种特效，则须仰赖专业的影像处理技巧。此外，目前GIF格式图档大部分是于计算机上观赏，一般相机并无支持GIF格式图档目前在相机领域上，皆是以连续影像的播放来达到动态的目的，意即以一张一张完整的影像来连续更新画面，进而达到动态影像的播放效果。然而，对于强调影像中大部分物件为静止状态，仅有少部分物件做变化的特殊播放效果来说，以一张一张完整的影像来连续更新画面，不易表达出上述强调局部短暂影像变化的特效。
发明内容
有鉴于此，本发明提供一种产生动态影像的影像处理方法及其影像获取装置，可在具有显示模组的影像获取装置上通过局部更新影像内容，藉以产生强调局部短暂影像变化的特殊播放效果。本发明提出一种产生动态影像的影像处理方法，适用于具有显示模组的影像获取装置。影像处理方法包括下列步骤。首先，连续获取多个影像，这些影像其中之一为参考影像，其余的影像为待处理影像。接着，依据参考影像对待处理影像进行全域移动量估计(global motion estimation)与全域移动量校正(global motion correction),藉以产生多个校正后影像。并且分别在各校正后影像中进行像素点比对，标记出具像素差值变化的局部动作区域，并定义涵盖所有局部动作区域的遮罩(mask)。最后，藉由影像获取装置的显示模组播放参考影像，并依据各校正后影像的遮罩的位置与大小依序更新参考影像的播放内容。在本发明的一实施例中，上述 分别在各该校正后影像中进行像素点比对，标记出具像素差值变化的局部动作区域，并定义涵盖局部动作区域的遮罩的步骤还包括依据影像获取的时间顺序，分别对各校正后影像与其相对应的前一张影像比较每一像素点的像素值之差，藉以产生每一像素点的影像差值。并判断此影像差值是否大于门槛值，若是，则标记此像素点为局部动作区域。然后，圈选出各校正后影像中涵盖所有标记为局部动作区域的一矩形区域，以作为各校正后影像的遮罩。在本发明的一实施例中，上述在圈选出各校正后影像中涵盖所有标记为局部动作区域的矩形区域，以作为各校正后影像的遮罩的步骤之后，还包括对各校正后影像中属于矩形区域的范围内的所有局部动作区域与参考影像中相对应的区域，采用滤波处理法进行色彩校正。并且储存参考影像及进行色彩校正后的各校正后影像的矩形区域的影像内容，以提供给显示模组进行播放。在本发明的一实施例中，上述利用该影像获取装置在一拍摄条件下获取一灰阶图，统计此灰阶图的平均亮度值及标准差，并依据平均亮度值及标准差设定此拍摄条件下的门槛值。在本发明的一实施例中，上述在产生校正后影像的步骤之后还包括利用一动态影像压缩方法分别对各校正后影像进行区域移动量估计，藉以产生各校正后影像的多个区域移动向量。并且对各校正后影像中存在区域移动向量的区域进行每一像素点的像素值比较，藉以标记出具像素差值变化的局部动作区域。在本发明的一实施例中，上述动态影像压缩方法包括H. 264压缩方法、动画专家群组2/4(Moving Picture Experts Group 2/4, MPEG-2/4)压缩方法或动态联合影像专家群组(Motion Joint Photographic Coding Expert Group, MJPEG)压缩方法。本发明另提出一种产生动态影像的影像获取装置，其包括影像获取模组、移动量估计与校正模组、影像比对模组以及显示模组。其中，影像获取模组用以连续获取多个影像，这些影像其中之一为参考影像，其余的影像为多个待处理影像。移动量估计与校正模组耦接至影像获取模组，依据参考影像对待处理影像进行全域移动量估计与全域移动量校正，藉以产生多个校正后影像。影像比对模组耦接至影像获取模组及移动量估计与校正模组，分别对各校正后影像进行比对，标记出具像素差值变化的局部动作区域，并定义涵盖所有局部动作区域的一遮罩。显示模组耦接至影像比对模组，用以播放此参考影像，并依据各校正后影像的遮罩的位置与大小依序更新此参考影像的播放内容。
在本发明的一实施例中，上述影像比对模组依据影像获取的时间顺序分别对各校正后影像的每一像素点与相对应的前一张影像的每一像素点比较像素值之差，藉以产生每一像素点的影像差值。此外，影像比对模组判断此影像差值是否大于门槛值，若是，则影像比对模组标记此像素点为局部动作区域，并且圈选出各校正后影像中涵盖所有标记为局部动作区域的矩形区域，以作为各校正后影像的遮罩。在本发明的一实施例中，上述产生动态影像的影像获取装置还包括滤波处理模组以及储存模组。其中，滤波处理模组耦接至影像比对模组，对各校正后影像中属于矩形区域的范围内的所有局部动作区域与参考影像中相对应的区域进行滤波处理。储存模组耦接至滤波处理模组，用以储存此参考影像并储存进行滤波处理后的各校正后影像的矩形区域的影像内容。在本发明的一实施例中，上述影像比对模组接收影像获取装置在一拍摄条件下所获取的一灰阶图。影像比对模组统计此灰阶图的平均亮度值及标准差，并依据此平均亮度值及标准差设定在此拍摄条件下的门槛值。在本发明的一实施例中，上述产生动态影像的影像获取装置还包括耦接至影像比对模组的压缩模组。压缩模组对各校正后影像进行区域移动量估计，藉以产生各校正后影像的多个区域移动向量。影像比对模组对存在区域移动向量的区域进行每一像素点的像素值比较，藉以标记出具像素差值变化的局部动作区域。在本发明的一实施例中，上述压缩模组为H. 264压缩模组、动画专家群组2/4压缩模组、动态联合影像专家群组压缩模组其中之一。基于上述，本发明所提供的产生动态影像的影像处理方法及其影像获取装置，可在具有显示模组的影像获取装置上藉由先显示第一张完整的参考影像，然后根据事先所记录的局部影像区域内容与位置，可以连续快速地局部更新区域内容，藉以达到强调局部短暂影像变化的动态影像播放效果。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
图1是依照本发明一实施例所显示的产生动态影像的影像获取装置的方框图。
图2是依照本发明一实施例所显示的产生动态影像的影像处理方法的流程图。图3是依照本发明一实施例所显示的参考影像与待处理影像的示意图。图4是依照本发明一实施例所显示的参考影像与校正后影像的矩形区域示意图。图5是依照本发明另一实施例所显示的产生动态影像的影像获取装置的方框图。图6是依照本发明另一实施例所显示的产生动态影像的影像处理方法的流程图。图7是依照本发明又一实施例所显示的产生动态影像的影像获取装置的方框图。附图标记100、500、700 :影像获取装置110:影像获取模组120 :移动量估计与校正模组130:影像比对模组140 :显示模组302 :参考影像304、306、308、310 :待处理影像304’、306’、308’、310’ 校正后影像550 :滤波处理模组560 :储存模组770 :压缩模组A D、a d :矩型区域S210 S240 :产生动态影像的影像处理方法的各步骤S610 S660 :产生动态影像的影像处理方法的各步骤
具体实施例方式图1是依照本发明一实施例所显示的产生动态影像的影像获取装置的方框图。本发明的产生动态影像的影像获取装置例如是一般消费型相机、数码相机、单眼相机或具有影像获取功能的手机、智能型手机等等。请参照图1，产生动态影像的影像获取装置100包括影像获取模组110、移动量估计与校正模组120、影像比对模组130以及显示模组140。其功能分述如下影像获取模组110包括镜头、感光元件以及光圈等。镜头例如是标准镜头、广角镜头及变焦镜头等。感光元件例如是电荷稱合元件(Charge Coupled Device, CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor, CMOS)兀件或其他兀件，镜头与感光元件或其组合在此皆不设限。影像获取模组110用以连续获取多个影像。移动量估计与校正模组120耦接至影像获取模组110，例如可利用重力传感器(G-sensor)或陀螺仪(Gyroscope)先进行全域移动量估计(global motion estimation),再依据全域移动量估计的结果进行全域移动量校正(global motion correction),用以去除因影像获取模组110在拍摄期间的晃动所造成的影像间的整体变化。影像比对模组130耦接至影像获取模组110及移动量估计与校正模组120，分别对所获取的影像进行像素值比对，标记出具像素差值变化的局部动作区域，并定义涵盖所有局部动作区域的一遮罩。显示模组140 f禹接至影像比对模组130,例如是液晶显示器(Liquid CrystalDisplay, LCD)、发光二极管(Light-Emitting Diode, LED)显示器等而可用以连续播放影像。图2是依照本发明一实施例所显示的产生动态影像的影像处理方法的流程图。请参照图2，本实施例的方法适用于图1的装置，以下即搭配图1中的各模组说明本实施例产生动态影像的影像处理方法的详细步骤。首先如步骤S210所示，利用影像获取模组110连续获取多个影像，这些影像其中之一为参考影像，其余的影像为待处理影像。举例来说，图3是依照本发明一实施例所显示的参考影像与待处理影像的示意图。请参照图3，依据影像获取模组110获取时间的顺序，设定第一张获取的影像即为 参考影像302，第二张至第五张获取的影像分别为待处理影像304、306、308、310。为了方便说明本发明，本实施例以获取五张影像为例作为说明，但本发明并不限于此。接着在步骤S220中，移动量估计与校正模组120依据参考影像302对待处理影像304、306、308、310先进行全域移动量估计而产生全域移动向量，再利用全域移动向量进行全域移动量校正，藉以产生多个校正后影像。由于影像获取模组110是针对一被摄主体在短时间内采取快速连续拍摄模式，用以捕捉被摄主体局部些微的变化。连续拍摄的影像可能因影像获取装置100的晃动与被摄主体本身局部的动作，造成连续影像间具有差异。其中，被摄主体局部的动作是要保留的，然影像间整体的几何变形必须去除。因此，本实施例利用移动量估计与校正模组120把待处理影像304、306、308、310相对于参考影像302进行几何校正(registration)，藉以去除影像间的整体变化，而产生相对应的校正后影像304’、306’、308’、310’。接下来如步骤S230所示，影像比对模组130分别对各个校正后影像进行比对，标记出具像素差值变化的局部动作区域，并定义涵盖所有局部动作区域的遮罩(mask)。详言之，影像比对模组130依据影像获取的时间顺序，分别对各校正后影像与其相对应的前一张影像比较每一像素点的像素值之差，藉以产生每一像素点的影像差值。举例来说，影像比对模组130先对校正后影像304’与参考影像302的每一像素点比较像素值之差，如此可产生每一像素点的一影像差值。接着，影像比对模组130判断此影像差值是否大于门槛值(threshold)，若是，则代表此像素点位置的物件可能发生改变，意即被摄主体或影像中的某一物件有动作产生，因此将大于门槛值的像素点位置标记为局部动作区域。在此须说明的是，门槛值的设定可事先利用影像比对模组130接收影像获取模组110在一拍摄条件下所获取的一灰阶图，例如在IS0100的拍摄条件下获取一灰阶图。影像比对模组130统计此灰阶图的平均亮度值及标准差，并依据此平均亮度值及标准差设定一门槛值。因此在不同的拍摄条件下，例如IS0100、IS0200、IS0400、IS0800等，可以设定不同的门槛值。待校正后影像304’中每一像素点皆做完影像差值比较后，即可标记出所有局部动作区域。接着，影像比对模组130例如在校正后影像304’中圈选出涵盖所有标记为局部动作区域的一最小矩形区域，以作为校正后影像304’的一遮罩。其中，遮罩的形状与大小可由使用者依实际需求做设定，在此不限制其形状及尺寸。同理，影像比对模组130分别对校正后影像306’、308’、310’进行上述步骤后，即可分别得到校正后影像306’、308’、310’的一遮罩。图4是依照本发明一实施例所显示的参考影像与校正后影像的矩形区域示意图。请参照图4，在本实施例中假设矩型区域a、b、c、d分别为校正后影像304’、306’、308’、310’的遮罩位置。·最后，如步骤S240所示，产生动态影像的影像获取装置100的显示模组140首先播放参考影像302，接着依据校正后影像304’的遮罩位置(矩型区域a)的影像内容更新参考影像302在矩型区域A的播放内容；接着依据校正后影像306’的遮罩位置(矩型区域b)的影像内容更新参考影像302在矩型区域B的播放内容；紧接着依据校正后影像308’的遮罩位置(矩型区域c)的影像内容更新参考影像302在矩型区域C的播放内容；最后依据校正后影像310’的遮罩位置(矩型区域d)的影像内容更新参考影像302在矩型区域D的播放内容。藉由上述先显示第一张完整的参考影像302，然后根据事先所记录的涵盖所有标记为局部动作区域的遮罩位置，可以连续快速地局部更新显示模组140所播放的影像内容，藉以达到动态影像的播放效果。此外，上述由参考影像302更新至校正后影像310’的遮罩位置的影像内容可视为一次循环播放，使用者还可设定让显示模组140多次重复循环播放，如此可达到强调局部短暂影像变化的动态影像播放效果。以下另举一实施例作为本发明确实能够据以实施的范例。图5是依照本发明另一实施例所显示的产生动态影像的影像获取装置的方框图。请参照图5，产生动态影像的影像获取装置500除了包括影像获取模组110、移动量估计与校正模组120、影像比对模组130以及显示模组140之外，还包括滤波处理模组550以及储存模组560。其中，滤波处理模组550耦接至影像比对模组130。储存模组560耦接至滤波处理模组550以及显示模组140。图6是依照本发明另一实施例所显示的产生动态影像的影像处理方法的流程图。以下将以图6来说明产生动态影像的影像获取装置500的运作方式。请同时参照图5与图6。利用影像获取模组110连续获取多个影像，令其中之一为参考影像，其余的影像为待处理影像(步骤S610)。移动量估计与校正模组120依据参考影像对待处理影像先进行全域移动量估计而产生全域移动向量，再利用全域移动向量进行全域移动量校正，藉以产生多个校正后影像(步骤S620)。影像比对模组130分别对各个校正后影像进行比对，标记出具像素差值变化的局部动作区域，并定义涵盖所有局部动作区域的遮罩(步骤S630)。在步骤S630之后，还包括对各校正后影像中属于矩形区域的范围内的所有局部动作区域与参考影像中相对应的区域，采用滤波处理法进行色彩校正(步骤S640)。搭配图4作辅助说明，由前一实施例可知，校正后影像304’的遮罩位置(矩型区域a)的影像内容会用来更新在参考影像302的相对应区域(矩型区域A)的播放内容。本发明为了突显局部短暂的影像变化，影像色彩的连续亦为一重要考量，因此为了减少局部更新后，遮罩边缘的轮廓、色彩会有不连续的问题产生，可进一步利用滤波处理模组550将校正后影像304’的遮罩位置(矩型区域a)的影像内容的边缘区域与参考影像302进行细微调校。滤波处理模组550例如可采用一双向性滤波(bilateral filter)处理进行校正，以其充分反映出具像素差值变化的局部动作区域的轮廓。同理，滤波处理模组550分别对校正后影像306’、308’、310’进行相同处理。藉由上述校正后，可使各校正后影像的遮罩在进行画面的更新时，减少影像间色彩不连续的问题。接着，储存模组560储存一张完整的参考影像以及经过色彩校正后的各校正后影像的矩形区域的影像内容(步骤S650)，以提供给显示模组140进行播放。相较于目前一般相机必须完整的储存每一张影像来说，本发明更能节省储存空间。最后，显示模组140先播放参考影像，并依据所储存的各校正后影像的矩形区域依序更新参考影像的播放内容(步骤S660)。至于本实施例的其他细部流程已于上述实施例中描述，在此不予赘述。图7是依照本发明又一实施例所显示的产生动态影像的影像获取装置的方框图。请参照图7，与前述实施例不同的是，产生动态影像的影像获取装置700还包括耦接至移动量估计与校正模组120、影像比对模组130、滤波处理模组550以及储存模组560的压缩模组770。压缩模组770例如是H. 26χ压缩模组、动画专家群组2/4压缩模组、动态联合影像专家群组压缩模组等其中之一。在本实施例中压缩模组770主要包括两种功能。其一为接收移动量估计与校正模组120所产生的校正后影像，利用压缩模组770中的区域移动量估计(lo cal motion estimation)功能找出各校正后影像相对于参考影像的区域移动向量，再将此信息传送给影像比对模组130。接着，影像比对模组130再对存在区域移动向量的区块进行每一像素点的像素差值比对。据此，影像比对模组130只需要比对存在区域移动向量的区块中的像素点，而不需要对整张影像的每一像素点进行比对，而可节省整体运算时间。再者，由于储存模组560仅储存一张完整的参考影像以及储存经色彩校正后的各校正后影像的矩形区域。意即，除了第一张参考影像之外，其余后续的影像只需保留所筛选出的局部运动区域，根据所筛选的局部动作区域，进一步定义出最小能涵盖局部运动区域的一遮罩。在一实施例中，可以将遮罩所在的位置以及影像内容以附属信息的方式累进地一并储存于参考影像中，附属信息例如是一中介数据(metadata)格式。在另一实施例中，可事先针对各遮罩的影像内容与前一张影像进行局部影像融合，藉以产生出一张新的影像，依序处理后，可将这些新产生的影像与参考影像一并于压缩模组770进行压缩。据此，压缩后的图档便能方便于各种符合压缩标准的播放器进行播放。综上所述，本发明藉由先显示第一张完整的参考影像，然后根据事先所记录的局部影像区域内容与位置，可以连续快速地局部更新区域内容，可在一般相机上实现达到强调局部短暂影像变化的动态影像播放效果。本发明并且不局限于GIF格式图档的播放，因此能有效解决现有技术所述色域不连续的情况，达到良好的播放效果。再者，相较于目前一般相机必须完整的储存每一张影像以便进行播放动态影像来说，本发明仅需储存一张完整影像，因此更能节省储存空间。 虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域的普通技术人员，当可作些许更动与润饰，而不脱离本发明的精神和范围。
权利要求
1.一种产生动态影像的影像处理方法，适用于具有一显示模组的一影像获取装置，包括连续获取多个影像，该些影像其中之一为一参考影像，其余的该些影像为多个待处理影像；依据该参考影像对该些待处理影像进行一全域移动量估计与一全域移动量校正，藉以产生多个校正后影像；分别在各该校正后影像中进行像素点比对，标记出具像素差值变化的一局部动作区域，并定义涵盖该局部动作区域的一遮罩；以及藉由该影像获取装置的该显示模组播放该参考影像，并依据各该校正后影像的该遮罩的位置与大小依序更新该参考影像的播放内容。
2.根据权利要求1所述的产生动态影像的影像处理方法，其中分别在各该校正后影像中进行像素点比对，标记出具像素差值变化的该局部动作区域，并定义涵盖该局部动作区域的一遮罩的步骤包括各该校正后影像分别依据影像获取的时间顺序与前一张影像比较每一像素点的像素值之差，藉以产生每一像素点的一影像差值；判断该影像差值是否大于一门槛值，若是，标记该像素点为该局部动作区域；以及圈选出各该校正后影像中涵盖所有标记为该局部动作区域的一矩形区域，以作为各该校正后影像的该遮罩。
3.根据权利要求2所述的产生动态影像的影像处理方法，其中在圈选出各该校正后影像中涵盖所有标记为该局部动作区域的该矩形区域，以作为各该校正后影像的该遮罩的步骤之后，还包括对各该校正后影像中属于该矩形区域的范围内的所有该局部动作区域与该参考影像中相对应的区域，采用一滤波处理法进行色彩校正；以及储存该参考影像及进行色彩校正后的各该校正后影像的该矩形区域的影像内容，以提供给该显示模组进行播放。
4.根据权利要求2所述的产生动态影像的影像处理方法，其中利用该影像获取装置在一拍摄条件下获取一灰阶图，统计该灰阶图的一平均亮度值及一标准差，并依据该平均亮度值及该标准差设定该拍摄条件下的该门槛值。
5.根据权利要求1所述的产生动态影像的影像处理方法，其中在产生该些校正后影像的步骤之后还包括利用一动态影像压缩方法分别对各该校正后影像进行一区域移动量估计，藉以产生各该校正后影像的多个区域移动向量；以及对各该校正后影像中存在该些区域移动向量的区域进行每一像素点的像素值比较，藉以标记出具像素差值变化的该局部动作区域。
6.根据权利要求5所述的产生动态影像的影像处理方法，其中该动态影像压缩方法包括H. 264压缩方法、动画专家群组2/4压缩方法或动态联合影像专家群组压缩方法。
7.—种产生动态影像的影像获取装置，包括一影像获取模组，连续获取多个影像，该些影像其中之一为一参考影像，其余的该些影像为多个待处理影像；一移动量估计与校正模组，耦接至该影像获取模组，依据该参考影像对该些待处理影像进行一全域移动量估计与一全域移动量校正，藉以产生多个校正后影像；一影像比对模组，耦接至该影像获取模组与该移动量估计与校正模组，分别对各该校正后影像进行比对，标记具像素差值变化的一局部动作区域，并定义涵盖该局部动作区域的一遮罩；以及一显示模组，耦接至该影像比对模组，显示该参考影像，并依据各该校正后影像的该遮罩的位置与大小依序更新该参考影像的显示内容。
8.根据权利要求7所述的产生动态影像的影像获取装置，其中该影像比对模组依据影像获取的时间顺序分别对各该校正后影像的每一像素点与相对应的前一张影像的每一像素点比较像素值之差，藉以产生每一像素点的一影像差值，该影像比对模组判断该影像差值是否大于一门槛值，若是，该影像比对模组标记该像素点为该局部动作区域，并且圈选出各该校正后影像中涵盖所有标记为该局部动作区域的一矩形区域，以作为各该校正后影像的该遮罩。
9.根据权利要求8所述的产生动态影像的影像获取装置，其中还包括一滤波处理模组，耦接至该影像比对模组，对各该校正后影像中属于该矩形区域的范围内的所有该局部动作区域与该参考影像中相对应的区域进行滤波处理；以及一储存模组，耦接至该滤波处理模组，储存该参考影像并储存进行滤波处理后的各该校正后影像的该矩形区域的影像内容。
10.根据权利要求8所述的产生动态影像的影像获取装置，其中该影像比对模组接收该影像获取装置在一拍摄条件下所获取的一灰阶图，该影像比对模组统计该灰阶图的一平均亮度值及一标准差，并依据该平均亮度值及该标准差设定该拍摄条件下的该门槛值。
11.根据权利要求7所述的产生动态影像的影像获取装置，其中还包括一压缩模组，耦接至该影像比对模组，对各该校正后影像进行一区域移动量估计，藉以产生各该校正后影像的多个区域移动向量，该影像比对模组对存在该些区域移动向量的区域进行每一像素点的像素值比较，藉以标记出具像素差值变化的该局部动作区域。
12.根据权利要求11所述的产生动态影像的影像获取装置，其中该压缩模组为H. 264压缩模组、动画专家群组2/4压缩模组、动态联合影像专家群组压缩模组其中之一。
全文摘要
一种产生动态影像的影像处理方法及其影像获取装置，该影像处理方法适用于具有显示模组的影像获取装置。影像处理方法包括下列步骤。首先，连续获取多个影像，这些影像其中之一为参考影像，其余的影像为待处理影像。接着，依据参考影像对待处理影像进行全域移动量估计与全域移动量校正，藉以产生多个校正后影像。并且分别在各校正后影像中进行像素点比对，标记出具像素差值变化的局部动作区域，并定义涵盖所有局部动作区域的遮罩。最后，藉由影像获取装置的显示模组播放参考影像，并依据各校正后影像的遮罩的位置与大小依序更新参考影像的播放内容。
文档编号H04N7/26GK103051888SQ20111031143
公开日2013年4月17日 申请日期2011年10月14日 优先权日2011年10月14日
发明者李运锦 申请人:华晶科技股份有限公司