专利名称：修正图像变形的图像处理装置、修正摄影图像变形的摄影装置的制作方法
技术领域：
本发明涉及一种修正图像变形的图像处理装置和一种修正摄影图像变形的摄影装置。
背景技术：
伴随着数码相机的发展以及存储型存储器的低价格化，数码相机已经不仅仅用于风景或人物的摄影，人们还正在考虑使用数码相机拍摄纸面文件或名片等资料，或者拍摄会议中记录的在黑板等中显示的内容，将这些图像在个人计算机等中进行数字存储并进行管理的应用。
使用这样的数码相机斜着拍摄纸张时，纸张的四角形完全变形成梯形。因此，存在一种摄影系统修正该梯形变形。此外，在使用镜头中的宏观照相镜头、广角镜头时，由于这些镜头的特性，纸张的形状完全变形成为如图13所示的桶形。为了获得品质良好的图像，需要对上述扭曲变形进行修正。
人们想到了各种各样作为修正由这样的镜头特性所引起的扭曲变形的扭曲修正方法。例如，通常该变形是在镜头设计时所决定的扭曲变形，因此，有一种方法为预先，根据无扭曲变形的理想图像的像素坐标与具有扭曲变形的图像的像素坐标之间的关系，求取对应于理想图像的像素坐标点的具有扭曲变形的图像的像素坐标的对应点，根据周边像素的值进行插补等处理来求取该像素数据。
但是，该方法即使在图像的切割以及投影修正中，也进行像素插补等处理，因而必须第2次进行插补运算。因此，图像的恶化变大。此外，在由镜头特性而引起的扭曲变形的情况，因为必须对每个像素进行修正，所以用于修正的运算数增多，处理需要时间。
发明内容
本发明鉴于上述现有的课题，在修正图像的变形的图像处理装置中，其特征在于，具有摄影图像获得部，获得包含摄影对象图像的摄影图像，上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像；缩小图像获得部，获得将上述摄影图像的分辨率降低了的缩小图像；变形信息获得部，根据上述缩小图像，获得表示上述摄影对象图像的变形的变形信息；投影参数获得部，根据上述变形信息，获得用于将上述摄影对象图像变换为无变形的理想图像的投影参数；和投影变换部，使用上述投影参数，通过进行上述摄影图像的投影变换，来生成投影变换图像。根据本发明，能够简单地进行梯形变形或扭曲变形等图像变形的修正。此外，在具备摄影功能的摄影装置中，通过对拍摄摄影对象物所得到的摄影图像进行上述的处理，能够得到没有由摄影角度引起的线性变形和由镜头特性引起的扭曲变形等变形的摄影对象图像。
图1为表示涉及本发明本实施方式的数码相机的结构的说明图。
图2为用于说明图1中所示的数码相机的功能的图，(a)为表示扭曲了的摄影图像的图，(b)表示恰似从正面所拍摄的修正后的理想图像。
图3为表示图1中所示的数码相机的结构的方框图。
图4为表示图1中所示的数码相机的摄影处理的流程图。
图5为图2中所示的图像处理装置执行的摄影对象的轮廓获得处理的说明图，(a)表示由于摄影镜头的扭曲像差而变形为桶形的原稿图像，(b)表示进行了扭曲修正的缩小图像，(c)表示边缘2值图像。
图6为霍夫变换的说明图。
图7为对扭曲的直线的霍夫变换的说明图，(a)表示对扭曲的直线的霍夫变换，(b)～(d)分别表示向(a)中所示的s1、s2、s3轴的投影直方图。
图8为在霍夫变换中降低调查角度的方法的说明图。
图9为表示图3中所示的图像处理装置所执行的摄影对象的轮廓获得处理的内容的流程图。
图10为表示图3中所示的图像处理装置所执行的四角形候补选择处理的内容的流程图。
图11为仿射变换的说明图。
图12是表示图3中所示的图像处理装置所执行的根据仿射变换的投影变换处理的内容的流程图。
图13为表示变形的图像的说明图。
具体实施例方式
下面对照附图，对涉及本发明的实施方式的摄影装置进行说明。
此外，在实施方式中将摄影装置作为数码相机进行说明。
涉及本实施方式的数码相机1的结构如图1所示。
涉及本实施方式的数码相机1，将原稿2中所记录的原稿内容作为摄影对象物进行拍摄，根据拍摄得到的如图2(a)所示的拍摄图像，修正作为摄影对象图像的包含原稿2的原稿图像的梯形变形，生成恰似从正面拍摄的如图2(b)所示的理想图像。数码相机1具备摄影镜头部11和液晶监视器12以及快门按钮13。
摄影镜头部11具备对光进行聚光的镜头等，对来自原稿2等的光进行聚光。
液晶监视器12用于显示经摄影镜头部11取入到内部的图像。快门按钮13，在拍摄原稿2时按下。此外，数码相机1除此之外，还具备电源开关、模式开关、图像调整按键等(图中未表示)。
电源开关用于接通、断开电源。模式开关用于设定用于进行拍摄的拍摄模式、用于再生拍摄的图像的再生模式。图像调整按键是在进行图像处理时所操作的按键。
该数码相机1如图3所示，具备光学镜头装置21、图像传感器22、存储器23、显示装置24、图像处理装置25、操作部26、计算机接口部27、外部存储IO装置28以及程序码存储装置29。
光学镜头装置21具备摄影镜头部11及其驱动部，在图像传感器22上使来自原稿2的光聚光进行成像。
图像传感器22是将形成的图像作为数字化图像数据取入的单元，由CCD等构成。图像传感器22由CPU30控制，如果没有按下快门按钮13，生成用于预览的分辨率低的数字图像数据，将该图像数据以每秒30张左右的间隔定期地发送给存储器23。此外，按下快门按钮13时，生成分辨率高的图像数据，将生成的图像数据发送给存储器23。
存储器23暂时存储来自图像传感器22的低分辨率的预览图像、高分辨率的图像数据或图像处理装置25进行图像处理的源图像的数据、处理之后的图像数据。存储器23将暂时存储的图像数据发送给显示装置24或图像处理装置25。
显示装置24具备液晶监视器12，用于在液晶监视器12中显示图像。显示装置24将存储器23暂时存储的低分辨率的预览图像或分辨率高的图像在液晶监视器12中显示。
图像处理装置25用于对暂时存储在存储器23中的图像数据进行图像数据的压缩，图像的梯形变形、扭曲变形的修正，和图像变换等图像处理。
图像处理装置25通过对图2(a)中所示的具有梯形变形的图像实施图像处理，生成如图2(b)所示的让该图像像是从正面拍摄的图像。
图像处理装置25为了修正原稿图像的梯形变形，从变形了的原稿图像中剪切形成原稿图像的轮廓的四角形，进行原稿图像的投影变换。图像处理装置25通过进行这样的图像处理，获取原稿2的所设想的正面图像。
更为具体地，图像处理装置25由CPU30控制，主要进行以下图像处理等。
(1)从摄影图像获得轮廓的处理从摄影图像获得轮廓的处理是指从拍摄所得到的摄影图像中，获得对应原稿2的纸张轮廓的原稿图像的轮廓的处理。
使用光学镜头装置21中的宏观照相镜头或广角镜头等镜头，临近拍摄原稿2时，由于摄影镜头部11的扭曲像差原稿图像完全扭曲为桶形。即使是具有这样的扭曲变形的图像，图像处理装置25也进行扭曲修正，获得正确的原稿图像轮廓。关于从该原稿图像中取得轮廓的处理的详细内容，将在后面进行说明。
(2)图像变换处理(剪切、投影修正)该图像变换处理包括图像的切除、投影修正等。剪切处理是从摄影图像中剪切将作为摄影对象的原稿图像的轮廓(四角形)的处理。
投影修正处理是为了修正原稿图像的梯形变形，使用仿射变换对剪切后的原稿图像进行映射变换的处理。仿射变换广泛地应用于图像的空间变换。此外，图像变换装置25在该投影修正时，进行根据扭曲修正的修正，求取具有扭曲变形的原稿图像的对应点。
(3)图像的鲜明化处理图像的鲜明化处理是对进行了图像变换处理的图像进行亮度放大、色彩修正等，获得视觉辨认度优秀的图像的处理。图像处理装置25为了进行图像的鲜明化处理，从进行了图像变换处理的图像中提取图像效果修正用参数。该图像效果修正用参数是称为亮度直方图的最大值、最小值、峰值、色差直方图的峰值、平均值的在图像效果处理中所必须的变量。图像处理装置25通过将提取的图像效果修正用参数变换为使图像鲜明化的值，来进行图像的鲜明化处理。
(4)图像的压缩图像的压缩处理是压缩进行了鲜明化处理的图像数据的处理。
操作部26为获得电源开关的开、关、快门按钮13的按下等用户的操作信息的部分。操作部26将获得的操作信息发送给CPU30。
计算机接口部27在数码相机1与计算机(图中未显示)连接时，作为USB的存储器寄存器类驱动器进行动作。因此，在计算机与数码相机1相连接时，将存储卡31作为计算机的外部存储装置使用。
外部存储IO装置28在与存储卡31之间进行图像数据等的输入输出。存储卡31存储由外部存储IO装置28提供的图像数据等。
程序码存储装置29用于存储CPU30所执行的程序，由ROM等构成。
CPU30根据存储在程序码存储装置29中的程序控制整个系统。此外，存储器23还被用作CPU30的作业存储器。
在通过按下操作部26的开关、按键，由操作部26发送操作信息时，CPU30根据该操作信息对图像传感器22、存储器23、显示装置24和图像处理装置25等进行控制。
具体的，CPU30根据来自操作部26的操作信息，通过模式开关设定为摄影模式，在半按快门按钮13时，将图像传感器22、存储器23、显示装置24、图像处理装置25等各个部分设定为摄影模式。在该状态下，CPU30将图像传感器22设定为预览模式，如果再按下快门按钮13，则将该图像传感器22设定为读入分辨率高的摄影对象图像的高分辨率模式。此外，CPU30在通过模式开关将模式设定为再生模式时，将上述各个部分设定为再生模式。
另外，在操作部26发送了表示图像调整按键被按下的消息的操作信息之后，CPU30控制图像处理装置25等进行图像调整。
此外，CPU30经由外部存储IO装置28，在存储卡31中存储预览图像、高分辨率的图像的数据，或者从存储卡31读取已存储的图像数据。CPU30在存储卡31中存储例如以JPEG格式压缩的图像数据。
CPU30在存储器23中暂时存储图像数据时，将预览图像、高分辨率的图像数据存储在不同的存储区域中。此外，CPU30在存储卡31中将图像数据分为图像文件进行存储。在将图像数据存储在存储卡31时，也将涉及图像数据的标题信息存储到图像文件的标题信息存储区域中。
然后，对涉及实施方式的数码相机1的动作进行说明。
在用户将数码相机1的电源接通(接入)时，CPU30获得存储在程序码存储装置29中的程序数据。在用户通过模式开关将模式设为摄影模式，按下快门按钮13时，操作部26将该操作信息发送给CPU30。CPU30接收该操作信息，CPU30、图像处理装置25等，根据图4所示的流程图执行摄影处理。
CPU30将图像传感器22设定为预览模式(步骤S11)。
CPU30根据由操作部26发送的操作信息，判断快门按钮13是否已被按下(步骤S12)。
在判断为快门按钮13已被按下时(在步骤S12中是)，CPU30控制图像传感器22从预览模式切换为高分辨率模式(步骤S13)。
CPU30将图像传感器22所生成的高分辨率的摄影对象图像的数据存储在存储器23中的与存储预览图像的存储区域不同的存储区域中(步骤S14)。
CPU30判断图像数据的读入是否已结束(步骤S15)。
在判断为读入还没有结束时(在步骤S15中否)，CPU30继续控制图像传感器22进行图像数据的读入。
在判断为图像数据已经被全部读入，图像发送也已结束时，(在步骤S15中是)，CPU30由该摄影图像(高分辨率图像)生成低分辨率的预览图像，在存储器23的预览图像用存储区域中写入预览图像的数据(步骤S16)。
CPU30控制图像处理装置25，生成摄影图像的压缩数据(步骤S17)。
CPU30将该压缩数据经由外部存储IO装置28存储在存储卡31中(步骤S18)。
然后，图像处理装置25在CPU30的控制之下，根据后述的如图9所示的流程图，从摄影图像获得作为摄影对象的原稿图像的轮廓(步骤S19)。
CPU30判断图像处理装置25是否已获得摄影对象的轮廓(步骤S20)。
在判断为已经取得时(在步骤S20中是)，图像处理装置25根据已获得的摄影对象的轮廓生成投影变换图像(步骤S21)。
在按下操作部26的图像调整按键时，操作部26将该操作信息发送给CPU30。CPU30将来自操作部26的操作信息发送给图像处理装置25，图像处理装置25根据发送的操作信息，进行图像变换的调整处理(步骤S22)。
图像处理装置25提取用于鲜明化处理的图像效果修正用参数(步骤S23)，进行变换图像的鲜明化处理(步骤S24)。
图像处理装置25对进行了鲜明化处理的图像数据进行压缩处理，生成变换图像的压缩数据(步骤S25)。
图像处理装置25将生成的变换图像的压缩数据存储在存储卡31中(步骤S26)。
另一方面，在判断为未能提取摄影对象的轮廓时(在步骤S20中否)，CPU30进行警告处理(步骤S27)。
CPU30等这样来结束摄影处理。此外，只要用户没有进行表示结束摄影处理的按键操作，CPU30等就反复执行该摄影处理。
然后，对图像处理装置25进行的图像处理进行说明。
(1)从摄影图像提取轮廓的处理(图4的步骤S19的处理)图像处理装置25为了从摄影图像中获得摄影对象的轮廓，首先，由拍摄得到的摄影图像生成缩小图像，从生成的缩小图像中获得边缘2值图像。之所以像这样，并不使用摄影对象的图像本身，而是使用将其缩小的缩小图像来获得摄影对象的轮廓，是因为该轮廓的获得精度可以不特别高，但使用缩小图像的方法能够减轻处理复杂度。
摄影图像成为如图5(a)所示，一般因摄影镜头部11的镜头特性而扭曲的图像。图像处理装置25为了提高轮廓提取的检测精度，一边进行如该图5(a)所示的扭曲了的摄影图像的扭曲修正，一边进行摄影图像的缩小，获得如图5(b)所示的进行了扭曲修正的缩小图像。
然后，图像处理装置25根据如图5(b)所示的缩小图像，获得如图5(c)所示的表示摄影对象的轮廓的边缘2值图像。图像处理装置25在像这样进行缩小图像的取得时，还一并进行输入图像的扭曲修正。下面对一边进行该扭曲修正一边取得缩小图像的方法进行说明。
设经由摄影镜头部11输入给图像传感器22的输入图像为P(x，y)，该图像尺寸在x方向为xmax，在y方向为ymax，生成输入图像的1/K的缩小图像Q(m，n)。
设对应输入图像P(x，y)的无扭曲变形的坐标系为(x’，y’)，坐标系(x’，y’)与缩小图像Q(m，n)之间的关系如下面的数学式1所示。
数学式1x’＝m×Ky’＝n×K且，x’对应于缩小亮度图像的坐标Q(x，y)的无扭曲变形时的坐标系的x坐标。
y’对应于缩小亮度图像的坐标Q(x，y)的无扭曲变形时的坐标系的Y坐标在本实施方式中，输入图像P(x，y)与坐标系(x’，y’)通过下面的数学式2表示。
数学式2(x,y)=1-k(r/R)1-k(x′,y′)]]>R=xc2+yc2]]>r＝(x′-xc)2+(y′-yc)2
且，xc图像中心的x坐标yc图像中心的y坐标k由镜头所决定的扭曲变形系数通过将m＝0～xmax/K，n＝0～ymax/K依次代入到该数学式1、数学式2中，获得缩小图像Q。此外，关于缩小图像运算的运算量对于源图像为1/(K^2)。
在获得如图5(c)所示的边缘2值图像的过程中，对图5(b)所示的扭曲修正后的缩小图像，可使用例如称作Roberts滤波器的边缘检测用滤波器。该Roberts滤波器为进行2个4邻域像素的加权，获得2个滤波器Δ1、Δ2，通过进行平均化，检测图像的边缘的滤波器。使用该Roberts滤波器的变换，如下面的数学式3所示。
数学式3Pe(x,y)=(Δ1)2+(Δ2)2]]>Λ1＝1·f(x，y)+0·f(x+1，y)+0·f(x，y-1)-1·f(x+1，y-1)＝f(x，y)-f(x+1，y-1)Λ2＝0·f(x，y)+1·f(x+1，y)-1·f(x，y-1)+0·f(x+1，y-1)＝f(x+1，y)-f(x，y-1)且，Pe(x，y)坐标(x，y)的像素值(变换后)f(x，y)坐标(x，y)的像素值(变换前)将根据该数学式3变换的图像，根据下面的数学式4进行2值化。
数学式4BW(x，y)＝1(Pe(x，y)≥V_thresh)BW(x，y)＝0(Pe(x，y)＜V_thresh)且，BW(x，y)2值边缘图像V_thresh预先设定的阈值此外，阈值V_thresh是预先设定的值，图像处理装置25将该阈值V_thresh存储。
而且，为了从摄影图像中获得摄影对象的轮廓，从所取得的边缘2值图像中，获取形成摄影对象的轮廓的直线。图像处理装置25使用霍夫变换获得该直线。
霍夫变换是将表示如图6(a)所示的直线L的(X，Y)坐标的数据图像，投影到通过图像的中心且倾角为θ的投影面上，在该投影面的ρ轴上生成投影直方图的变换方法。换言之，霍夫变换是将构成如图6(a)所示的X-Y平面上的直线的点，投票到由下面的数学式5所表示的如图6(b)所示的ρ-θ平面上，变换成ρ-θ坐标系的投票数的变换方法。
数学式5ρ＝xcosθ+ysinθ在该直线L如图7(a)所示发生扭曲时，如果在s1轴、s2轴、s3轴上投影，其投影直方图表示如图7(b)～(d)所示的分布。此外，s1、s3轴是以s2轴的角度θ1为基准，以(X，Y)坐标系的原点为中心，分别只倾斜+δ、-δ角度的轴。
如图7(b)～(d)所示，根据原来的直线L，s2轴上的投票数应当达到峰值，但s2轴上的峰值，比s1轴、s3轴上的峰值低。图像处理装置25检测θ+δ或θ-δ的峰值，完全选择了表示错误原稿图像的轮廓的四角形候补。本实施方式中，如前所述，因为在生成缩小图像时进行了扭曲修正，所以不会像图7(a)那样发生扭曲，从而不会提取错误的原稿轮廓。
下面对该原稿图像的四角形候补选择处理的内容进行说明。
在选择原稿图像的四角形候补中，根据通过上述的霍夫变换检测的峰值求取直线，将求出的直线进行组合生成四角形候补。
通过上述的霍夫变换，在各个点的坐标(x，y)中将角度θ从0变换到360°时，同一直线在ρ-θ平面由1个点来表示。因此，能够将投票数多的ρ-θ坐标判断为直线。此时，由于投票数变为直线上的象素数，因此可以将其看成直线的长度。因此，投票数极其少的ρ-θ坐标表示短直线，可以从直线的候补中去除。
进行霍夫变换时，降低调查对象的点、角度θ的个数能够提高处理速度。在使用霍夫变换的方法中，随着调查对象的点、角度θ增多，处理速度就会下降。为了避免该处理速度的下降，在边缘检测时，通过将调查对象的坐标在X、Y轴两个方向上以一定间隔地间隔删除和以一定的间隔地间隔删除数据，来缩小边缘图像。因此，能够减少调查对象。
此外，通过下面的方法能够减小调查角度。
在作为调查对象的边缘图像中，在以图像中心为原点的坐标系中考虑时，由于ρ也变成了负值，因此如果在0°≤θ≤180°的范围内测定角度θ，则ρ就在剩余的180°≤θ≤0°的范围内变为负值。
但是，在摄影对象的中心位于图像中心附近时，实际上所拍摄的摄影对象(四角形)的各个边成为存在于上下左右的情况。此时，相比在0°≤θ≤180°的范围内调查ρ-θ平面上的投票数，如图8(a)以及图8(b)所示，在由下面的数学式6所表示的范围内进行测定的方法更加有效率。
数学式6上下的边45°≤θ＜135°(或225°≤θ＜315°)此时，sinθ0.707→1→0.707，cosθ0.707→0→-0.707左右的边135°≤θ＜225°(或315°≤θ＜45°)此时，sinθ0.707→1→-0.707，cosθ-0.707→-1→-0.707此外，根据ρ值的正负，能够确定边的上下或边的左右。如此，在摄影对象的中心位于图像中心附近时，能够更加高效地选择构成轮廓的边。
如此从通过霍夫变换所检测的直线中，确定形成摄影对象的图像轮廓的四角形的直线。
一般来说，可以将摄影图像中最外边轮廓的四角形确定为摄影对象的轮廓。因此，通过将上下左右边确定为ρ的绝对值|ρ|中最大的|ρ|，能够确定上述的最大的区域。此外，通过按大小顺序来排列|ρ|，该顺序由直线候补的优先顺序决定。
如果选择了四角形的4条直线，然后就能够求取其交点。通过将在ρ-θ系表示的直线变换为(x，y)坐标系的直线，计算出四角形的4条直线垂直相交的xy坐标。
而且，由于得到的坐标为缩小图像的坐标(m，n)，所以如果将该坐标值放大K倍，就与源图像的坐标(x，y)相对应。将这样得到的四角形的4个顶点坐标设为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)。
根据上述的方法，图像处理装置25根据图9所示的流程图执行摄影对象的轮廓获得处理。
图像处理装置25通过将m＝0～xmax/K，n＝0～ymax/K依次代入到上述数学式1、数学式2中，从摄影图像中获得缩小图像Q(步骤S31)。
图像处理装置25使用由数学式3表示的Roberts滤波器进行运算，而且根据数学式4进行缩小图像的2值化获得边缘2值图像(步骤S32)。
图像处理装置25根据数学式5进行已获得的边缘2值图像的霍夫变换，检测形成边缘2值图像的直线(步骤S33)。
图像处理装置25组合已检测的直线，选择四角形候补(步骤S34)。图像处理装置25根据图10所示的流程图执行该四角形候补选择处理。
即，图像处理装置25获得多个在45°≤θ＜135°中的投票多的坐标，作为形成上下边的直线的候补(步骤S41)。
同样，图像处理装置25，获得多个在135°≤θ＜225°中的投票多的坐标，作为形成左右边的直线的候补(步骤S42)。
X轴方向的候补、Y轴方向的候补中ρ值的正负不同，图像处理装置25从大的开始按顺序设置优先级(步骤S43)。
图像处理装置25选择ρ最大的上下左右边作为最优先候补(步骤S44)。
图像处理装置25存储如此选择的四角形候补的顶点坐标(图9的步骤S35)。像这样来选择四角形候补。
(2)图像变换处理(图4的步骤S21的处理)首先，对投影变换进行说明。
如图11所示，在将p(x，y)、P(u，v)分别作为进行剪切和投影修正的投影变换前的源图像和投影变换后的投影变换图像时，通过仿射变换式将源图像p(x，y)与投影变换图像P(u，v)联系起来。此外，图11中，(x，y)表示源图像p(x，y)的像素位置，(u，v)表示投影变换图像P(u，v)的像素位置。
图像处理装置25使通过原稿图像的四角形候补选择处理获取得的原稿图像的四角形候补的顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，与仿射变换的一般式的行列元素相对应，获得仿射参数。
通过下面的数学式7进行从要求取的投影变换图像P(u，v)向源图像p(x，y)的仿射变换。
数学式7x=x′z′=a11u+a21v+a31a13u+a23v+a33]]>y=x′z′=a12u+a22v+a32a13u+a23v+a33]]>数学式7中，仿射参数由下面的数学式8来表示。
数学式8a11＝x1-x0+α·x1a21＝x3-x0+β·x3a31＝x0a12＝y1-y0+α·y1a22＝y3-y0+β·x3a32＝y0a13＝α a23＝β其中，α、β由下面的数学式9来表示。
数学式9α=(x0-x1+x2-x3)·(y3-y2)-(x3-x2)·(y0-y1+y2-y3)(x1-x2)·(y3-y2)-(x3-x2)·(y1-y2)]]>β=(x1-x2)·(y0-y1+y2-y3)-(x0-x1+x2-x3)·(y1-y2)(x1-x2)·(y3-y2)-(x3-x2)·(y1-y2)]]>根据该数学式7～数学式9，能够根据源图像p(x，y)求取投影变换图像P(u，v)。而且，图像处理装置25除了进行剪切以及投影变换处理之外，还进行扭曲修正。下面对该方法进行说明。
在进行扭曲修正时，首先，求取对应于投影变换图像P(u，v)的像素位置的源图像p(x，y)的像素位置。这里，在求取投影变换图像P(u，v)的象素位置时，如图11所示，不采取使用仿射变换Af求取对应于源图像p(x，y)的像素位置(x，y)的投影变换图像P(u，v)的像素位置(u，v)的方法，使用仿射变换Af的逆变换A，求取对应于投影变换图像P(u，v)的像素位置(u，v)的源图像p(x，y)的像素位置(x，y)的方法更方便。
在求取对应于投影变换图像P(u，v)的像素位置(u，v)的源图像p(x，y)的像素位置(x，y)时，使用由数学式8表示的仿射参数。但是，由于该像素位置(x，y)是无扭曲变形的图像的像素位置，换而言之，是已进行了扭曲修正的图像的象素位置，因此，通过计算将源图像p(x，y)置换为图像p1(x’，y’)，将扭曲修正前的图像作为p(x，y)。根据该置换，将数学式7改写为下面的数学式10所示的公式。
数学式10x′=x′′z′′=a11u+a21v+a31a13u+a23v+a33]]>y′=x′′z′′=a12u+a22v+a32a13u+a23v+a33]]>且(x”，y”，z”)无扭曲变形时的图像P的坐标点(x’，y’)无扭曲变形时的图像p的坐标点图像p1(x’，y’)与扭曲修正前的图像p(x，y)通过数学式2的关系式联系起来。因此，能够使用数学式2的关系式，进行对应于在生成缩小图像时已进行的扭曲修正的修正，同时根据图像p1(x’，y’)的各个坐标位置(x’，y’)，求取对应的扭曲修正前的图像p(x，y)的各个坐标位置(x，y)。
此外，如此取得的对应于投影变换图像P(u，v)的各个像素的源图像的对应点p(x，y)的像素值x，y不仅限于整数。因此，作为插补法可以使用双线性法。使用双线性法的插补方法，如下面的数学式11所示，求取与一方图像(图像P)的坐标点(u，v)相对应的源图像的另一方的图像(投影变换图像p)的坐标点(x，y)的像素值以及根据周边4点p(X，Y)、p(X+1，Y)、p(X，Y+1)、p(X+1，Y+1)的像素值，求取另一方图像的坐标点(u，v)的像素值。
数学式11P(u，v)＝(1-kx)*(1-ky)*p(X，Y)+kx*(1-ky)*p(X+1，Y)+(1-kx)*ky*p(X，Y+1)+kx*ky*p(X+1，Y+1)且，将一方的图像的点p的坐标作为p(x，y)
kxx的小数点以下的值kyy的小数点以下的值X整数部(x)Y整数部(y)根据上述方法，图像处理装置25根据图12所示的流程图，执行通过仿射变换的投影变换处理。另外，使表示投影变换图像P(u，v)的像素位置(u，v)的坐标u、v，分别为0≤u≤umax，0≤v≤vmax。
图像处理装置25将投影变换图像P(u，v)的坐标u初始化为0(步骤S51)。
图像处理装置25将投影变换图像P(u，v)的坐标v初始化为0(步骤S52)。
图像处理装置25将投影变换图像P(u，v)的像素位置(u，v)代入数学式10，求取图像p1(x’，y’)的像素位置(x’，y’)(步骤S53)。
图像处理装置25根据数学式2对求得的图像p1的像素位置(x’，y’)进行修正，求取扭曲修正前的图像p(x，y)的像素位置(x，y)(步骤S54)。
图像处理装置25根据投影变换图像P(u，v)与图像p(x，y)，按照数学式11，进行双线性法的插补，求取投影变换图像P(u，v)的像素值(步骤S55)。
图像处理装置25将图像P(u，v)的坐标v加1(步骤S56)。
图像处理装置25将图像P(u，v)的坐标v与最大值vmax进行比较，判断投影变换图像P(u，v)的坐标v是否在最大值vmax以上(步骤S57)。
在判断为坐标v不满最大值vmax时(在步骤S57中否)，图像处理装置25再次执行步骤S53～S56。
通过反复进行步骤S53～S56的处理，在判断为坐标v到达最大值vmax时(在步骤S57中是)，图像处理装置25将投影变换图像P(u，v)的坐标u加1(步骤S58)。
图像处理装置25将坐标u与最大值umax进行比较，判断坐标u是否在最大值umax以上(步骤S59)。
在判断为坐标u不满最大值umax时(在步骤S59中否)，图像处理装置25再次执行步骤S52～S58。
通过反复进行步骤S52～S58的处理，在判断为坐标u到达最大值umax时(在步骤S59中是)，图像处理装置25结束该图像变换处理。
如此，如果能够求取投影变换图像P(u，v)的像素值，则能够根据扭曲修正前的图像p(x，y)求取投影变换图像P(u，v)。
如上所述，根据本实施方式，并不对源图像全体进行扭曲修正，而是在生成用于获得原稿图像的轮廓的缩小图像时，进行扭曲修正。因此，扭曲修正的运算量减少，从而能够缩短运算时间。
例如，在将输入给数码相机1的图像缩小为1/K，生成缩小图像时，其扭曲修正的运算量变为1/(K^2)，变得非常之少。
此外，在执行根据仿射变换的投影变换处理时，通过对应于扭曲修正的修正，求取扭曲修正前的图像p(x，y)与投影变换图像P(u，v)之间的对应关系，所以，能够根据扭曲修正前的图像p(x，y)，正确地求取投影变换图像P(u，v)。
此外，在实施本发明时，考虑了其他各种的方式，并不仅限于上述实施方式。
例如，图像处理装置25可以不缩小数码相机1的输入图像，而是对照显示图像来缩小图像。例如，即使数码相机1的输入图像为400万象素的图像大小，如果用于计算机的显示图像为(1024×768＝80万象素)，则图像处理装置25能够对照用于计算机的显示图像的图像大小，将80万象素的图像缩小为1/K。通过这样，由于扭曲修正是对缩小图像进行的，所以与将400万象素的图像缩小为1/K的情况相比，扭曲修正的运算量，能够进一步降低到约1/5。另外，在拍摄A4(297×210mm)纸时，通常，如果轮廓提取精度为1、2mm的分辨率就足够了。因此，缩小图像即使使用320×240的图像，也足以达到该精度。这种情况下，还能够将运算量降低到1/52。
在本实施方式中，数码相机1中具有图像处理装置25。但是，作为摄影装置，除了数码相机1之外还有计算机，在计算机中具备具有上述功能的图像处理装置25，构成该图像处理装置25使计算机与数码相机相连接。因此，可以在数码相机1中使用通用的装置。
而且，本实施方式的图像处理装置25并不仅限用于摄影装置，也可构成图像处理装置25使在计算机中具备本实施方式的图像处理装置25的功能，即使没有数码相机1，也能够在计算机中存储应当进行扭曲修正、梯形修正的图像，对计算机存储的这些图像进行上述的图像处理。
此外，将用于执行上述处理的程序，存储在软盘、CD-ROM(CompactDick Read-Only Memory)、DVD(Digital Versatile Disk)等计算机可读的存储媒体中进行发布，将其安装在计算机中作为上述单元进行工作，或者执行上述工序。而且，还可以在互联网上的服务器装置所具有的磁盘装置等中存储程序，例如将其加载在载波上，由计算机进行下载。
此外，在本实施方式中，通过仿射变换来修正因拍摄摄影对象物时的拍摄角度而引起的梯形变形或旋转变形等线性变形，但还可以使用仿射变换之外的投影变换，只要是能够修正上述线性变形的投影变换就可以。此外，还可以使用不能够准确地对线性变形进行修正但能够进行近似修正的投影变换。此外，摄影对象物也可以是记录原稿的纸张之外的建筑物，如果是事先知道其实际形状的摄影对象物体，可以适用于即使不是长方形的任意的形状，即使在此时，也可通过比较摄影对象物的实际形状与根据摄影对象图像获得的形状，运算投影参数。另外，即使没有取得摄影对象物的整体形状，也可以根据摄影对象物上的几个点的变形来运算投影参数。
此外，本实施方式中，在缩小摄影图像获得缩小图像时，进行由镜头引起的图像扭曲的修正，但还可以将由镜头特性之外的原因所引起的在拍摄前就事先知道会产生的变形的修正，与缩小处理同时进行。
权利要求
1.一种修正图像的变形的图像处理装置(25)，其特征在于，具有摄影图像获得部(32)(S13～S15)，获得包含摄影对象图像的摄影图像，上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像；以及缩小图像获得部(33)(S19、S31)，获得降低了上述摄影图像的分辨率的缩小图像；以及变形信息取得部(34)(S19、S3～S35)，根据上述缩小图像，获得表示上述摄影对象图像的变形的变形信息；以及投影参数获得部(35)(S21)，根据上述变形信息，获得用于将上述摄影对象图像变换为无变形的理想图像的投影参数；以及投影变换部(36)(S51～S59)，使用上述投影参数，通过进行上述摄影图像的投影变换，生成投影变换图像。
2.根据在权利要求1中记述的图像处理装置，其特征在于上述摄影对象图像的变形包括根据拍摄上述摄影对象物时的拍摄角度所产生的线性变形；上述投影变换是修正上述线性变形的变换。
3.根据在权利要求2中记述的图像处理装置，其特征在于上述摄影对象图像的变形包含根据拍摄上述摄影对象物时使用的镜头的特性而产生的变形；上述变形信息获得部通过对上述缩小图像进行根据上述镜头特性的扭曲修正，获得修正缩小图像，根据该修正缩小图像，获得表示上述摄影对象图像的线性变形的变形信息(S31～S35)。
4.根据在权利要求3中记述的图像处理装置，其特征在于上述变形信息获得部根据上述修正缩小图像获得上述摄影对象图像的形状，根据该摄影对象图像的形状，以及上述摄影对象物的实际形状，获得表示上述摄影对象图像的线性变形的变形信息(S31～S35)。
5.根据在利要求3中记述的图像处理装置，其特征在于上述变形信息获得部在减小上述摄影图像的分辨率取得缩小图像时，与该缩小处理的同时地进行上述扭曲修正，获得上述修正缩小图像(S31)。
6.根据在权利要求4中记述的图像处理装置，其特征在于上述摄影对象物的实际形状为长方形，上述变形信息获得部根据上述修正缩小图像，取得上述摄影对象图像的轮廓，确定该轮廓中的4条直线部分，将由这4条直线部分构成的梯形的形状作为上述变形信息获取(S32～S35，S41～S44)。
7.根据在权利要求6中记述的图像处理装置，其特征在于上述直线部分的确定根据霍夫变换来进行，根据由该霍夫变换所求出的各个直线部分的角度对于上述修正缩小图像的中心对应在哪个方向，来确定分别对应于上述梯形中的上边、下边、左边、右边的直线(S33，S41～S44)。
8.根据在权利要求1中记述的图像处理装置，其特征在于上述投影变换部在从上述摄影图像中剪切上述摄影对象图像的同时，进行上投影射变换(S51～S59)。
9.根据在权利要求1中记述的图像处理装置，其特征在于上述投影变换部对应构成上述投影变换图像的各个像素位置进行上述投影变换，根据上述投影参数，来确定对应于上述投影变换图像上的各个像素位置的上述摄影图像上的位置，将对应于该确定的位置的上述摄影图像上的像素值作为对应于上述投影变换图像上的各个像素位置的像素值采用(S51～S59)。
10.根据在权利要求9中记述的图像处理装置，其特征在于上述投影变换部通过基于多个像素的像素插补，运算对应于上述投影变换图像上的各个像素位置的像素值，上述多个像素接近根据上述投影参数确定的上述摄影图像上的位置(S21)。
11.根据在权利要求9中记述的图像处理装置，其特征在于上述投影变换图像的分辨率比上述摄影图像的分辨率低。
12.根据在权利要求3中记述的图像处理装置，其特征在于上述投影变换部在进行上述投影变换的同时，进行根据上述镜头特性的扭曲修正，生成上述投影变换图像(S54)。
13.根据在权利要求1中记述的图像处理装置，其特征在于上述摄影对象物为纸张，上述摄影对象图像是拍摄上述纸张的记录内容的原稿图像。
14.根据在权利要求1中记述的图像处理装置，其特征在于上述图像处理装置是具备具有规定特性的镜头和通过该镜头拍摄摄影对象物，获得摄影图像的摄像部的摄影装置(1)，将由上述摄像部所拍摄的摄影图像作为上述摄影图像获得部获得的上述摄影图像(S11～S13)，存储上述投影变换部所取得的上述投影变换图像(S26)(31)。
15.一种修正摄影图像的变形的摄影装置(1)，其特征在于，具备具有规定特性的镜头(21)；以及摄像部(22)，通过该镜头拍摄摄影对象物，获得摄影图像；修正缩小图像获得部(33)(S19、S31)，与降低上述摄影图像的分辨率一起，进行根据上述镜头特性的扭曲修正，获得修正缩小图像；以及变形信息获得部(34)(S19、S31～S35)，根据上述修正缩小图像，获得表示拍摄上述摄影对象物时的变形的变形信息；以及变换部(35、36)(S21、S51～S59)，根据上述变形信息将上述摄影图像变换为无变形的理想图像。
16.根据在权利要求15中记述的图像处理装置，其特征在于具备显示上述摄影图像的显示部(24)；上述缩小图像获得部根据上述显示部显示的图像的显示尺寸，缩小上述摄影图像(33)(S19，S21)。
17.根据在权利要求15中记述的图像处理装置，其特征在于具备存储上述投影变换部生成的投影变换图像的存储部(21)(S26)。
18.一种图像处理方法，其特征在于，具有获得包含摄影对象图像的摄影图像的步骤，上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像(S13～S15)；以及获得将上述摄影图像的分辨率降低了的缩小图像的步骤(S19、S31)；以及根据上述缩小图像，获得表示上述摄影对象图像的变形的变形信息的步骤(S19、S3～S35)；以及根据上述变形信息，取得用于将上述摄影对象图像变换为无变形的理想图像的投影参数的步骤(S21)；以及使用上述投影参数，通过进行上述摄影图像的投影变换，来生成投影变换图像的步骤(S51～S59)。
19.一种程序，其特征在于，用于在计算机中执行下述工序获得包含摄影对象图像的摄影图像的工序，上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像(S13～S15)；以及获得将上述摄影图像的分辨率降低了的缩小图像的工序(S19、S31)；以及根据上述缩小图像，获得表示上述摄影对象图像的变形的变形信息的工序(S19、S3～S35)；以及根据上述变形信息，取得用于将上述摄影对象图像变换为无变形的理想图像的投影参数的工序(S21)；以及使用上述投影参数，通过进行上述摄影图像的投影变换，来生成投影变换图像的工序(S51～S59)。
全文摘要
数码相机(1)从拍摄得到的摄影图像中获得包含有原稿(2)的原稿图像。数码相机(1)将该原稿图像缩小，对缩小了的图像进行由镜头特性所引起的扭曲变形的修正。数码相机(1)通过对缩小图像进行扭曲修正，来降低扭曲修正时的运算量，简化扭曲修正。另外，数码相机(1)从修正后的缩小图像中获得边缘2值图像以及根据原稿(2)的轮廓的四角形，剪切原稿，获得缩小前的源图像，获得通过仿射变换而相关联的投影变换图像。数码相机(1)根据投影变换图像的像素位置，通过仿射参数求取源图像的像素位置，而且，使用对缩小图像进行了扭曲修正的关系式，求取扭曲修正前的图像的像素位置。
文档编号H04N101/00GK1671176SQ20051005571
公开日2005年9月21日 申请日期2005年3月18日 优先权日2004年3月19日
发明者樱井敬一, 牧野哲司 申请人:卡西欧计算机株式会社