专利名称：影像处理方法与装置的制作方法
技术领域：
本发明涉及一种影像处理方法与装置，尤其涉及一种补偿滚动快门所造成影像失真的影像处理方法。
背景技术：
数字相机的影像传感器主要可分为两大类，一种为CXD影像传感器，另一种则为CMOS影像传感器。这两种影像传感器其中一项重要的不同点在于影像传感器的读取机制，(XD影像传感器为同步快门机制,而CMOS影像传感器则为滚动快门(rolling shutter)机制。滚动快门机制指的是CMOS影像传感器每次曝光影像的一列像素，每一列的总曝光时间均相同，但是每一列的曝光起始时间点并不同，影像中每一列的曝光起始时间点具有一定的延迟时间。因此，若使用CMOS影像传感器的数字相机所拍摄的物体与数字相机之间不存在相对移动的情况，则滚动快门机制并不会产生任何问题，若拍摄的物体与数字相机之间存在着相对移动，则会产生影像失真。图l(a)_(e)为滚动快门造成影像失真的示意图。请配合参照图I (a) - (e)，图I (a)-(e)的第一列110代表无失真影像,第二列120代表失真影像,第二列130则代表相对移动的方向，斜线部分为影像的有效区域。若相对移动的方向为水平方向，如图1(a)与图1(b)所示，则数字相机所拍摄出的影像会产生歪斜现象；若相对移动的方向为垂直方向，如图1(c)与图1(d)所示，则影像会产生压缩或拉长的失真现象；若相对移动的方向剧烈变化时，如图1(e)所示，则影像会产生如波浪般的扭曲现象。
发明内容
有鉴于此，本发明提供一种影像处理方法，藉由速度的估测来产生转换矩阵，将失真影像依据转换矩阵进行转换以产生补偿后影像，进而改善影像失真的问题。本发明提供一种影像处理装置，能对影像进行速度估测，藉以产生转换矩阵，并且输出补偿后影像。本发明提出一种影像处理方法，依据获取时间差连续获取多数个原始影像，原始影像的有效区域尺寸为MXN，其中，M为有效区域的长度，N为有效区域的宽度，M及N为正整数。影像处理方法包括将各原始影像规划为K个分区，K为大于等于I的正整数。并计算任二相邻的原始影像的各分区的多数个区块位移量，并依据各分区的区块位移量计算出各分区的全域位移量。且分别依据全域位移量及获取时间差，产生各分区的水平分量速度及垂直分量速度。此外，依据水平分量速度、垂直分量速度、列读取时间及有效区域的宽度，产生对应分区的多数个转换矩阵。再者，针对任二相邻的原始影像其中之一依据转换矩阵进行转换，并藉以产生补偿后影像。在本发明的一实施例中，其中分别针对水平分量速度及垂直分量速度进行平滑化处理，以产生对应分区的多数个平滑水平分量速度及多数个平滑垂直分量速度。
在本发明的一实施例中，其中依据水平分量速度、垂直分量速度、列读取时间及有效区域的宽度，产生对应分区的转换矩阵的步骤包括依据平滑水平分量速度、平滑垂直分量速度、列读取时间及有效区域的宽度，产生对应分区的转换矩阵。在本发明的一实施例中，所述的列读取时间为影像处理装置读取原始影像的有效区域的其中的一列所需的时间。
在本发明的一实施例中，其中还包括依据有效区域的长度及有效区域的宽度，产生缩放矩阵。并且针对补偿后影像利用此缩放矩阵，产生使用者观看影像。在本发明的一实施例中，所述的使用者观看影像的有效区域为M’XN’，其中，M’S使用者观看影像的有效区域的长度，N’为使用者观看影像的有效区域的宽度，M’及N’为正整数。从另一观点来看，本发明提出一种影像处理装置，依据获取时间差连续获取多数个原始影像，原始影像的有效区域尺寸为MXN，其中，M为有效区域的长度，N为有效区域的宽度，M及N为正整数。影像处理装置包括速度估测模块以及补偿器。速度估测模块将各原始影像规划为K个分区，K为大于等于I的正整数。计算任二相邻的原始影像的各分区的多数个区块位移量，并依据各分区的区块位移量计算出各分区的全域位移量。分别依据全域位移量及获取时间差，产生分区的多数个水平分量速度及多数个垂直分量速度。补偿器耦接至速度估测模块，补偿器依据水平分量速度、垂直分量速度、列读取时间及有效区域的宽度，产生对应分区的多数个转换矩阵。并针对任二相邻的原始影像其中之一依据转换矩阵进行转换，并藉以产生补偿后影像。在本发明的一实施例中，所述的影像处理装置还包括平均速度产生器，串接于速度估测模块与补偿器之间，分别针对水平分量速度及垂直分量速度进行平滑化处理，并传送经过平滑化处理后的水平分量速度及垂直分量速度至补偿器。基于上述，因滚动快门所造成的影像产生歪斜、压缩、伸长及扭曲等现象的失真影像，可藉由本发明的区块位移量以及全域位移量的信息来进行速度的估测，并藉以产生转换矩阵，将失真影像依据转换矩阵进行转换以产生补偿后影像，进而改善影像失真的问题。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
图l(a)_(e)为滚动快门造成影像失真的示意图。图2是依照本发明的一实施例所显示的影像处理方法的流程图。图3(a)_(c)是依照本发明的一实施例所显示的影像补偿示意图。图4是依照本发明的一实施例所显示的影像分区示意图。图5是依照本发明的一实施例所显示的影像处理装置的方块图。主要组件符号说明310 330 :有效区域区块BAND_1 BAND_h :分区LM11 LMhd:区块50 :影像处理装置
510 :速度估测模块520 :平均速度产生器530 :补偿器S210 S270 :步骤
具体实施方式
图2是依照本发明的一实施例所显示的影像处理方法的流程图。图3(a)_(c)是依照本发明的一实施例所显示的影像补偿示意图，请配合参照图2与图3。首先可利用具CMOS影像传感器的影像处理装置连续拍摄多张原始影像，原始影像的有效区域尺寸为MXN，其中，M为有效区域的长度，N为有效区域的宽度，M及N为正整数，如图3(a)与图3(b)所示。首先，如步骤S210所示，将各原始影像规划为K个分区，K为大于等于I的正整数。以下分别举K等于I以及K大于I为例作说明。当K等于I时，代表整张原始影像只有一个分区。步骤S220计算任二相邻的原始影像的各分区的多数个区块位移量，并依据各分区的区块位移量计算出各分区的一全域位移量。因此，本领域的普通技术人员都知道，可将原始影像以区块比对等方法计算出二个连续影像之间的多数个区块位移量，并可依据这些区块位移量计算出全域位移量，举例来说，可对多数个区块位移量取众数，也就是先将区块位移量进行统计，选择出现最多次的区块位移量作为全域位移量，或是将所有的区块位移量做平均而得到全域位移量等等。在本实施例中，因为K等于I代表只有一个分区，因此，二个连续影像之间仅计算出一个全域位移量。接下来在步骤S230中，分别依据全域位移量及获取时间差，产生分区的多数个水平分量速度及多数个垂直分量速度。具CMOS影像传感器的影像处理装置会间隔一获取时间差T连续拍摄二个影像，而全域位移量包含了水平分量及垂直分量，因此，利用全域位移量的水平分量与获取时间差T的比值可计算出一个水平分量速度Vx，利用全域位移量的垂直分量与获取时间差T的比值可计算出一个垂直分量速度Vy。接着，依据上述水平分量速度Vx、垂直分量速度vy、列读取时间及有效区域的宽度N，产生一个转换矩阵A(步骤S240)。图3 (a)所示的有效区域区块310代表的是具CMOS影像传感器的影像处理装置因为滚动快门机制所拍摄出原始影像具歪斜现象，此歪斜现象代表了影像处理装置与所拍摄物体之间存在着相对移动。为了补偿此种影像失真现象，以使图3(a)所示的原始影像能还原成如图3 (b)所示的未失真影像，必须找出有效区域区块310与有效区域区块320之间的对应关系。假设有效区域区块310第一个像素点的位置为(Xl，yi)，经过推导，在本实施例中，有效区域区块310与有效区域区块320之间可利用转换矩阵A做转换。其中，转换矩阵A为一个3X3的矩阵，矩阵的元素为水平分量速度Vx、垂直分量速度vy、列读取时间t、有效区域的宽度N以及像素点位置yi的函数，其中，列读取时间t为影像处理装置读取原始影像的有效区域的其中的一列所需的时间。转换矩阵A并可表示为如下所示
aW a\2 “13A = a2l a22 a23
00 I_其中，an= I, a21 = 0, a13 = Vx x y1；a23 ~
—vxz(N-\)Ar , VyT(N-I)12 N | W-I) _i_VyT
I-V ^22= N
权利要求
1.一种影像处理方法，依据一获取时间差连续获取多数个原始影像，所述原始影像的有效区域尺寸为MXN，其中，M为一有效区域的长度，N为一有效区域的宽度，M及N为正整数，包括 将各该原始影像规划为K个分区，K为大于等于I的正整数； 计算任二相邻的原始影像的各该分区的多数个区块位移量，并依据各该分区的所述区块位移量计算出各该分区的一全域位移量； 分别依据所述全域位移量及该获取时间差，产生所述分区的多数个水平分量速度及多数个垂直分量速度； 依据所述水平分量速度、所述垂直分量速度、一列读取时间及该有效区域的宽度，产生对应所述分区的多数个转换矩阵；以及 针对该任二相邻的原始影像其中之一依据所述转换矩阵进行转换，并藉以产生一补偿后影像。
2.根据权利要求I所述的影像处理方法，其中还包括 分别针对所述水平分量速度及所述垂直分量速度进行一平滑化处理，以产生对应所述分区的多数个平滑水平分量速度及多数个平滑垂直分量速度。
3.根据权利要求2所述的影像处理方法，其中依据所述水平分量速度、所述垂直分量速度、该列读取时间及该有效区域的宽度，产生对应所述分区的所述转换矩阵的步骤包括 依据所述平滑水平分量速度、所述平滑垂直分量速度、该列读取时间及该有效区域的宽度，产生对应所述分区的所述转换矩阵。
4.根据权利要求I所述的影像处理方法，其中该列读取时间为影像处理装置读取所述原始影像的有效区域的其中的一列所需的时间。
5.根据权利要求I所述的影像处理方法，其中还包括 依据该有效区域的长度及该有效区域的宽度，产生一缩放矩阵；以及 针对该补偿后影像利用该缩放矩阵，产生一使用者观看影像。
6.根据权利要求5所述的影像处理方法，其中该使用者观看影像的有效区域为M，XN’，其中，M，为该使用者观看影像的有效区域的长度，N’为该使用者观看影像的有效区域的宽度，M’及N’为正整数。
7.一种影像处理装置，依据一获取时间差连续获取多数个原始影像，所述原始影像的有效区域尺寸为MXN，其中，M为一有效区域的长度，N为一有效区域的宽度，M及N为正整数，该影像处理装置包括 一速度估测模块，将各该原始影像规划为K个分区，K为大于等于I的正整数，计算任二相邻的原始影像的各该分区的多数个区块位移量，并依据各该分区的所述区块位移量计算出各该分区的一全域位移量，分别依据所述全域位移量及该获取时间差，产生所述分区的多数个水平分量速度及多数个垂直分量速度；以及 一补偿器，耦接至该速度估测模块，依据所述水平分量速度、所述垂直分量速度、一列读取时间及该有效区域的宽度，该补偿器产生对应所述分区的多数个转换矩阵，并针对该任二相邻的原始影像其中之一依据所述转换矩阵进行转换，并藉以产生一补偿后影像。
8.根据权利要求7所述的影像处理装置，还包括一平均速度产生器，串接于该速度估测模块与该补偿器之间，分别针对所述水平分量速度及所述垂直分量速度进行一平滑化处理，并传送经过该平滑化处理后的所述水平分量速度及所述垂直分量速度至该补偿器。
9.根据权利要求7所述的影像处理装置，其中该补偿器依据该有效区域的长度及该有效区域的宽度，产生一缩放矩阵，并针对该补偿后影像利用该缩放矩阵，产生一使用者观看影像。
10.根据权利要求9所述的影像处理装置，其中该使用者观看影像的有效区域为M，XN’，其中，M，为该使用者观看影像的有效区域的长度，N’为该使用者观看影像的有效区域的宽度，M’及N’为正整数。
全文摘要
本发明提出一种影像处理方法与装置。影像处理方法包括将各原始影像规划为K个分区，K为大于等于1的正整数。计算任二相邻的原始影像的各分区的多数个区块位移量，并依据各分区的区块位移量计算出各分区的全域位移量。且分别依据全域位移量及获取时间差，产生各分区的水平分量速度及垂直分量速度。此外，依据水平分量速度、垂直分量速度、列读取时间及有效区域的宽度，产生对应分区的多数个转换矩阵。再者，针对任二相邻的原始影像其中之一依据转换矩阵进行转换，并藉以产生补偿后影像，进而改善影像失真的问题。
文档编号H04N5/232GK102769717SQ20111017486
公开日2012年11月7日 申请日期2011年6月27日 优先权日2011年5月4日
发明者吴宗达, 周宏隆, 庄哲纶 申请人:华晶科技股份有限公司