数位影像的反扭曲处理方法
【专利摘要】一种数位影像的反扭曲处理方法，包括将第一影像视窗切分多个第一区块；根据这些第一区块的数量与位置将第二影像视窗的欲反扭曲区域划分多个第二区块；以第一区块的一组第一顶点坐标值与对应位置的第二区块的一组第二顶点坐标值进行坐标转换处理，得到坐标转换参数；根据坐标转换参数对第一区块中的每一个坐标值进行坐标转换处理，产生对应于第二区块的推估坐标值；根据推估坐标值从第二影像视窗中取得像素内容值，并将像素内容值运算后写入第一区块的坐标值的像素；重复所有这些第一区块与这些坐标值，直至完成第一影像的像素输出。
【专利说明】数位影像的反扭曲处理方法
【技术领域】
[0001]一种数位影像的处理方法，特別有关于一种数位影像的反扭曲处理方法。
【背景技术】
[0002]随着监控设备的普及化，越来越多人会装设监控设备来保障自身的财产与人身安全。为能无死角的监控，因此有厂商提出可全景(panorama)拍摄的摄影机。而全景摄影机的实现方式可以由多组镜头所接合而成，也可以利用以单一个鱼眼镜头(fisheye lens)而实现。全景拍摄的优点在于可以全方位且无死角的方式观看所拍摄的数位影像。
[0003]而透过全景拍摄的数位影像必然会有画面扭曲的情況。因此使用者难以从扭曲的画面中观看特定区域。所以为能提供使用者方便观看，需要将数位影像进行反扭曲(de-warp)的处理。习知的反扭曲处理是将数位影像的每一像素
[0004](pixel)依序的进行坐标转换，并且于转换中对非整数坐标进行插补(interpolation)处理。而反扭曲的处理需要用到大量的计算，因此以嵌入式系统(embed dedsystem)搭配单芯片(system on a chip, SoC)设计的摄像装置恐难负担反扭曲处理时所
需的运算量。
[0005]若欲即时的对全景拍摄的数位影像进行反扭曲处理，则需要将摄像装置连接于其他具有高效能的计算机装置，如桌上型电脑(PC)等。再由连接的高效能计算机装置对全景拍摄的数位影像进行反扭曲处理。而这些的繁复的影像处理势必会增加监控系统的设置成本，更重要的，会影响系统的可扩充性(scalability)。
【发明内容】
[0006]鉴于以上的问题，本发明在于提供一种数位影像的反扭曲处理方法。
[0007]本发明所提供的数位影像的反扭曲处理方法包括以下步骤:将第一影像视窗切分为多个第一区块；根据这些第一区块的数量与位置将第二影像视窗的欲反扭曲区域划分多个第二区块；以第一区块的一组第一顶点坐标值与所对应位置的第二区块的一组第二顶点坐标值进行坐标转换处理，用以得到坐标转换参数；根据坐标转换参数对第一区块中的每一个坐标值进行坐标转换处理，并产生对应于第二区块的推估坐标值；根据推估坐标值从第二影像视窗中取得像素内容值(如顏色、亮度等)，并将像素内容值运算后(如interpolation)写入第一区块的坐标值的像素；重复所有这些第一区块与这些坐标值，直至完成第一影像的像素输出。
[0008]本发明另提出一种数位影像的反扭曲处理方法包括以下步骤:将第一影像视窗切分为多个第一区块；根据这些第一区块的数量与位置将第二影像视窗划分多个第二区块；以第一区块的一组第一顶点坐标值与所对应位置的第二区块的一组第二顶点坐标值进行坐标转换处理，用以得到坐标转换参数；重复每一第一区块与所对应第二区块的坐标转换处理，并将每一坐标转换参数依序记录于对应表中；将全景影像载入至第二影像视窗，并将全景影像划分成与这些第二区块相同数量的多个第三区块；将对应表的这些坐标转换参数导入并对相应位置的第一区块与第三区块进行坐标转换处理，用以产生第一区块内每一像素坐标对应于第三区块的推估坐标值；根据推估坐标值从第二影像视窗中取得像素内容值，并将像素内容值运算后(如interpolation)写入第一影像视窗中的坐标值的像素。
[0009]本发明所提出的数位影像的反扭曲处理方法可以应用在以全景拍摄装置拍摄时所产生的已扭曲影像的还原处理。本发明的处理方法可以降低反扭曲时的运算量，藉以加快数位影像在还原时的处理速度。
[0010]有关本发明的特征与实施例，兹配合图式作最佳实施例详细说明如下。
【专利附图】
【附图说明】
[0011]图1为本发明的架构示意图；
[0012]图2为本发明的反扭曲处理流程示意图；
[0013]图3A为本发明的第一区块的切分示意图；
[0014]图3B为本发明的第二区块的切分示意图；
[0015]图4A为本发明的仿射变换的坐标转换处理流程示意图；
[0016]图4B为本发明的第一三角形与第二三角形的选择示意图；
[0017]图4C为本发明的透视变换的处理流程示意图；
[0018]图5为本发明的推估坐标值的处理流程示意图；
[0019]图6为本发明的另一实施例的流程示意图。
[0020]其中，附图标记:
[0021]数位影像处理装置100
[0022]影像输入单元110
[0023]处理单元120
[0024]储存单元130
[0025]反扭曲程序131
[0026]对应表132
[0027]第一三角形318
[0028]第三三角形319
[0029]第一影像视窗310
[0030]第一影像311
[0031]第一区块312
[0032]第二影像视窗320
[0033]第二影像321
[0034]第二区块322
[0035]第二三角形328
[0036]第四三角形329
【具体实施方式】
[0037]本发明除了应用于数位影像处理装置100之中，亦可透过计算机(computer)执行数位影像的反扭曲处理。而本说明书中是以数位影像处理装置100作为说明。本发明的数位影像处理装置100包括影像输入单元110、处理单元120与储存单元130。请参考图1所示，其为本发明的架构示意图。
[0038]处理单元120电性连接于影像输入单元110与储存单元130。影像输入单元110用以输入(或拍摄)数位影像。数位影像的种类为静态图像或动态影片。以数位影像处理装置100而言，影像输入单元110可能为感光元件，或其他可以拍摄全景影像的输入介面。本发明的数位影像由全景或鱼眼的方式拍摄，所以所拍摄的影像画面中被摄物与背景会有变形的情況。
[0039]为方便说明本发明的实施方式，因此在本发明中是以第一影像视窗与第二影像视窗作为显示第一影像与第二影像。但第一视窗与第二视窗不限于一定要显示给使用者观看，也可以拿来另做运算而不显示给使用者观看。而第一影像视窗与第二影像视窗的显示范围大小可以相同，也可以依照固定比例进行缩放。举例来说，第一影像视窗与第二影像视窗的大小可以为640*480的像素阵列大小，在本发明中是以第一影像视窗与第二影像视窗为相同解析度作为说明。
[0040]第一影像视窗用以播放已经过反扭曲处理后的第一影像。第二影像视窗为全景拍摄时所得到的数位影像。所以第二影像的被摄物(或背景)可能会有扭曲变形的情況。
[0041]储存单元130用以储存反扭曲程序131与对应表132。对应表132记录第一影像与第二影像间的多组坐标转换参数(其转换过程将于后文详述)。处理单元120根据第一影像与第二影像进行本发明的反扭曲处理。请参考图2所示，其为本发明的反扭曲处理流程示意图。本发明的反扭曲程序131包括以下步骤:
[0042]步骤S210:将第一影像视窗切分为多个第一区块；
[0043]步骤S220:根据这些第一区块的数量与位置将第二影像视窗的欲反扭曲区域划分多个第二区块；
[0044]步骤S230:选择第一区块与相应位置的第二区块；
[0045]步骤S240:以第一区块的一组第一顶点坐标值与所对应位置的第二区块的一组第二顶点坐标值进行坐标转换处理，用以得到坐标转换参数；
[0046]步骤S250:根据坐标转换参数对第一区块中的每一个坐标值进行坐标转换处理，并产生对应于第二区块的推估坐标值；
[0047]步骤S260:根据推估坐标值从第二影像视窗中取得像素内容值，并将像素内容值运算后写入第一区块的坐标值的像素；以及
[0048]步骤S270:重复所有这些第一区块与这些坐标值，直至完成第一影像的像素输出。
[0049]请参考图3A所示。首先，处理单元120将第一影像311的所在第一影像视窗310切分为多个第一区块312。第一影像视窗310的第一影像311为矩形，因此将第一影像311划分为多个更小面积的矩形。
[0050]由于第二影像321为全景影像，所以第二影像321在划分每一个第二区块322时，每一个第二区块322并非都是相同的四边形。此外，每一个第二区块322的四边并不一定是直线。例如:在第二影像321的边缘部分。由于第二影像321的边缘呈现圆弧型，所以切分为第二区块322时，这部分的第二区块322的边缘也是圆弧。而第二区块322的划分根据第一区块312的数量与位置，如图3B所示。[0051]由于第二区块322为第二影像321视窗的一部分，因此第二区块322可以透过第二影像视窗320的坐标系统进一步的界定各像素的坐标值。
[0052]如前文所述，第一区块312为矩形，所以第一区块312具有四个顶点坐标值。在此将第一区块312的各顶点坐标值定义为一组第一顶点坐标值。同理，对于第二区块322而言，也可以从第二影像视窗320中取得相应的一组第二顶点坐标值。接著，处理单元120依序选出第一区块312与相应的第二区块322，并根据下述方式进行坐标转换的处理。
[0053]坐标转换处理的实施例1:仿射变换(affine transform)
[0054]处理单元120以第一区块312的一组第一顶点坐标值与所对应位置的第二区块322的一组第二顶点坐标值进行坐标转换处理。首先，请参考图4A所示，其为本发明的仿射变换的坐标转换处理流程示意图。
[0055]步骤S411:根据第一区块的一组第一顶点坐标值的其中三个顶点坐标值决定第一三角形；
[0056]步骤S412:根据第一三角形的位置从第二区块的一组第二顶点坐标值中决定一第二三角形；以及
[0057]步骤S413:根据第一三角形的各顶点坐标值与相应位置的第二三角形的各顶点坐标值计算坐标转换参数。
[0058]由于第一区块312为矩形，所以可以将第一区块312划分为两个不相互重叠的三角形。在此可任一选择其中之一个三角形，并将其所选的定义为第一三角形318。处理单元120根据第一区块312从第二影像视窗320中取得相应位置上的第二区块322。处理单元120并根据第二区块322的第二顶点坐标值与第一三角形318的位置决定第二三角形328，请参考图4B所示。换句话说，若选择第一区块312的左上方部分为第一三角形318，则处理单元120也会对应的选择第二区块322的左上方部分为第二三角形328。
`[0059]处理单元120根据第一三角形318的各顶点坐标值与相应位置的第二三角形328的各顶点坐标值进行仿射变换。请参考下式I所示，其为仿射变换的计算方式:
【权利要求】
1.一种数位影像的反扭曲处理方法，用以将一第一影像输出于一第一影像视窗中，该第一影像根据一第二影像视窗中的一第二影像的部分区域所输出，其特征在于，该反扭曲处理方法步骤包括: 将该第一影像视窗切分为多个第一区块； 根据该些第一区块的数量与位置将该第二影像视窗划分多个第二区块； 以该第一区块的一组第一顶点坐标值与所对应位置的该第二区块的一组第二顶点坐标值进行一坐标转换参数的运算，用以得到一坐标转换参数； 根据该坐标转换参数对该第一区块中的每一坐标值进行一坐标转换处理，并产生对应该第二区块的一推估坐标值； 根据该推估坐标值从该第二影像视窗中取得一像素内容值，并将该像素内容值写入该第一区块的一坐标值的像素；以及 重复所有该些第一区块与该些坐标值，直至完成该第一影像的像素输出。
2.如权利要求1所述的数位影像的反扭曲处理方法，其特征在于，所述划分该第一区块与该第二区块的步骤后更包括: 将包围该第二区块 的范围定义为一第四区块，比较该第四区块的面积是否超过一门槛值； 若面积未超过该门槛值，则计算该第一区块与该第二区块的该坐标转换参数；以及若面积超过该门槛值，则将该第一区块切割成至少两个子区块，且包围所有的该些子区块范围的面积不超过该门槛值。
3.如权利要求2所述的数位影像的反扭曲处理方法，其特征在于，所述产生该坐标转换参数的步骤包括:以该些子区块进行该坐标转换参数的运算，并产生相应的该坐标转换参数。
4.如权利要求1所述的数位影像的反扭曲处理方法，其特征在于，所述进行该坐标转换参数的运算的步骤包括: 根据该第一区块的该组第一顶点坐标值决定一第一三角形； 根据该第一三角形的位置从该第二区块的该组第二顶点坐标值中决定一第二三角形；以及 将该第一三角形的各顶点坐标值与相应位置的该第二三角形的各顶点坐标值进行仿射变换算式，用以进行该坐标转换参数的运算； 其中，根据如下仿射变换算式进行该坐标转换参数的运算f I厂I XCll a2 a3" '=Y_ yZ」h b2 b'I (Xi，Yi)为该第二三角形的顶点坐标值，(XojYo)为该第一三角形的顶点坐标值，(al，a2, a3, bl, b2, b3)为该坐标转换参数。
5.如权利要求4所述的数位影像的反扭曲处理方法，其特征在于，所述产生该坐标转换参数的步骤包括: 从该第一区块选择一第三三角形，且该第一三角形不重叠于该第三三角形；以及 根据该第三三角形的各顶点坐标值与相应位置的一第四三角形的各顶点坐标值进行仿射变换计算，用以计算该坐标转换参数； 其中，根据如下仿射变换算式计算该坐标转换参数
6.如权利要求1所述的数位影像的反扭曲处理方法，其特征在于，所述产生该坐标转换参数的步骤包括: 根据该第一区块的各顶点坐标值与相应位置的该第二区块的各顶点坐标值计算该坐标转换参数； 其中，根据下式计算该坐标转换参数，
7.如权利要求1所述的数位影像的反扭曲处理方法，其特征在于，所述在取得该像素内容值的步骤包括: 判断该推估坐标值是否为整数； 若该推估坐标值不为整数，根据该推估坐标值取得一上限坐标与一下限坐标； 从该第二影像视窗中取得该上限坐标与该下限坐标的多个像素值； 将该些像素内容值进行加权均值处理，并将该处理后的像素内容值写入该第一影像视窗的该坐标值的像素；以及 若该推估坐标值为整数，则以该推估坐标值查找该第二影像视窗的该像素内容值，并将该像素内容值写入该第一影像视窗的该坐标值的像素。
8.—种数位影像的反扭曲处理方法，用以将一第一影像输出于一第一影像视窗中，该第一影像根据一第二影像视窗中的一第二影像的部分区域所输出，其特征在于，该反扭曲处理方法包括: 将该第一影像视窗切分为多个第一区块；根据该些第一区块的数量与位置将该第二影像视窗划分多个第二区块； 以该第一区块的一组第一顶点坐标值与所对应位置的该第二区块的一组第二顶点坐标值进行一坐标转换参数的处理，用以得到一坐标转换参数； 重复每一该第一区块的该坐标转换处理，并将每一该坐标转换参数依序记录于一对应表中； 将一全景影像载入至该第二影像视窗，并将该全景影像划分成与该些第二区块相同数量的多个第三区块； 将该对应表的该些坐标转换参数导入并对相应位置的该第一区块与该第三区块进行该坐标转换处理，用以产生该第一区块内每一像素坐标对应于该第三区块的一推估坐标值；以及 根据该推估坐标值从该第二影像视窗中取得一像素内容值，并将该像素内容值写入该第一影像视窗中的该坐标值的像素。
9.如权利要求8所述的数位影像的反扭曲处理方法，其特征在于，所述划分该第一区块与该第二区块的步骤后更包括: 将包围该第二区块的范围定义为一第四区块，比较该第四区块的面积是否超过一门槛值； 若面积未超过该门槛值，则计算该第一区块与该第二区块的该坐标转换参数；以及若面积超过该门槛值，则将该第一区块切割成至少两个子区块，且包围所有的该些子区块的面积不超过该门槛值。
10.如权利要求9所述的数位影像的反扭曲处理方法，其特征在于，所述产生该坐标转换参数的步骤包括:以该些子区块进行该坐标转换参数的处理，并产生相应的该坐标转换参数。
11.如权利要求8所述的数位影像的反扭曲处理方法，其特征在于，所述进行该坐标转换参数的处理的步骤包括: 根据该第一区块的该组第一顶点坐标值决定一第一三角形； 根据该第一三角形的位置从该第二区块的该组第二顶点坐标值中决定一第二三角形；以及 用该第一三角形的各顶点坐标值与相应位置的该第二三角形的各顶点坐标值进行仿射变换算式运算，用以进行该坐标转换参数计算； 其中，根据如下仿射变换算式进行该坐标转换参数计算
12.如权利要求8所述的数位影像的反扭曲处理方法，其特征在于，所述产生该坐标转换参数的步骤包括:从该第一区块选择一第三三角形，且该第一三角形不重叠于该第三三角形；以及 根据该第三三角形的各顶点坐标值与相应位置的一第四三角形的各顶点坐标值进行仿射变换算式运算，用以进行该坐标转换参数计算； 其中，根据如下仿射变换算式进行该坐标转换参数计算
13.如权利要求8所述的数位影像的反扭曲处理方法，其特征在于，所述产生该坐标转换参数的步骤包括: 根据该第一区块的各顶点坐标值与相应位置的该第二区块的各顶点坐标值进行该坐标转换参数计算； 其中，根据下式进行该坐标转换参数计算，
14.如权利要求8所述的数位影像的反扭曲处理方法，其特征在于，所述在取得该像素内容值的步骤包括: 判断该推估坐标值是否为整数； 若该推估坐标值不为整数，根据该推估坐标值取得一上限坐标与一下限坐标； 从该第二影像视窗中取得该上限坐标与该下限坐标的多个像素值； 将该些像素内容值进行均值处理，并将处理后的像素内容值写入该第一影像视窗的该坐标值的像素；以及 若该推估坐标值为整数，则以该推估坐标值查找该第二影像视窗的该像素内容值，并将该像素内容值写入该第一影像视窗的该坐标值的像素。
【文档编号】G06T3/00GK103793879SQ201310429402
【公开日】2014年5月14日 申请日期:2013年9月18日 优先权日:2012年10月31日
【发明者】吴仁智 申请人:晶睿通讯股份有限公司