专利名称：校正输入图象失真的设备与方法
技术领域：
本发明涉及一种输入图象失真的校正方法。
近来，使用上置读取器(overhead reader)(OHR)的单据识别技术的改进成为了财务光学字符阅读器(OCR)业务的一个主要问题。
上置读取器是一种立式图象输入设备，它使用线或区域CCD作为照相机的组成部分，如
图1A所示。与诸如图形扫描仪等传统的接触式图象输入设备相比，上置读取器的优势在于，当使用这种仪器时，用户可以在输入图象的时候插入单据(slip)，或者在观看单据上的表格的时候输入图象，这使得工作非常方便。
然而，与通过扫描仪获得的图象(以下称为“扫描图象”)相比，由OHR获得的图象(以下称为“OHR图象”)在图象质量上有所降低，比如色调变化不均匀、阴影、图象失真等。主要的失真是三维失真。
OHR图象的三维失真可以分为以下三类a)中央褶皱失真失真由单据中央部位的折痕引起。有两种类型的中央褶皱失真凹陷中央褶皱失真和凸起型中央褶皱失真，其中折痕分别是凹陷或凸起的。图1B和1C分别显示了凹陷型中央褶皱失真和凸起型中央褶皱失真的OHR图象的例子。
b)周边失真发生在单据周边的失真。有两种类型的周边失真凹陷型周边失真和凸起型周边失真，其中折痕分别是凸起和是凹陷。图1D和1E分别显示了凹陷型周边失真和凸起型周边失真的OHR图象的例子。
c)小册子失真失真发生在使用小册子的情况下。图1F显示的就是这种小册子失真的例子。
为了在财务OCR业务中使用OHR，就必须要开发一种能克服这些图象中的三维失真的校正方法，这是一个主要问题。
日本专利公开第-150532号阐述了一种带有三维失真的OHR图象的失真校正方法，以便可以得到高清晰度的文件识别。该种校正方法致力于由于将几页纸订于一点所导致的文件所产生的一点固定式失真。为计算一个三维形状，需要从顶部和侧面拍摄多个图象，以用于度量三维失真。
但是，由于这种传统的三维失真校正方法要使用多个的照相机，设备费用很高，并且需要很大的安装空间。
本发明的目的之一是通过只用一张从顶部拍摄的图象进行分析处理，而降低设备成本和安装空间。
在本发明中，通过利用从顶部拍摄的一个图象获得的二维轮廓作为线索，并以纸是矩形作为限制条件，建立一个三维曲面模型，通过利用计算出的三维曲面模型，进行图象的三维失真校正。
根据本发明，一种轮廓提取装置包括一个曲面估算装置和一个失真校正装置。由对一张矩形纸进行照相所获得的图象被作为输入图象。轮廓提取装置从输入的图象中提取纸的轮廓，曲面估算装置以二维轮廓为线索建立纸的三维曲面模型。然后，失真校正装置根据所建立的三维曲面模型校正失真并输出修正后的图形。
通过采用这种方法，输入的图象通过用从图象获得的一个二维轮廓失真作为线索而得到校正。与传统技术相比，只需要一台照相机，减少了设备费用和安装空间。
图片的简要描述图1A显示了一台OHR的外观。
图1B是凹陷型中央褶皱失真的OHR图象的一个例子。
图1C是凸出型中央褶皱失真的OHR图象的例子。
图1D是周边失真的OHR图象(凸出型)。
图1E是周边失真的OHR图象(凹陷型)。
图1F是小册子失真的OHR图象。
图2A是本发明的基本配置。
图2B是本发明第一优选实施例的结构。
图3表示的是如何在轮廓提取装置中计算合适的轮廓。
图4显示了轮廓线、轮廓顶点和样本轮廓点。
图5表示在(上半部的)凹陷型中央褶皱曲面模型中照相机中心、二维轮廓和三维轮廓之间的位置关系。
图6表示的是线性孔斯(Coons)曲面。
图7所示为三维曲面中的曲边坐标系统。
图8所示为凹陷型中央褶皱失真的校正结果。
图9所示是本发明的第二优选实施例的结构。
图10显示轮廓线、轮廓顶点和样本轮廓点。
图11表示在(上半部的)凸起中央褶皱曲面模型中照相机中心、二维轮廓和三维轮廓之间的位置关系。
图12所示为(完整的)凸起中央褶皱曲面模型。
图13所示为凸起型中央褶皱失真的校正结果。
图14所示为不建立曲面的失真校正的结构的情况下的配置。
图15表示的是采用图14的配置的系统。
图16所示为一种信息处理装置的基本配置。
图17表示软件系统等是如何提供的。
优选的具体方案描述参考附图对本发明的优选实施例进行描述。
图2A表示了本发明的基本配置。本装置包括一个轮廓提取装置101、一个曲面估算装置102、以及一个失真校正装置103。当输入对一张矩形纸进行拍照所得的图象时，轮廓提取装置101从输入的图象中提取纸的轮廓，曲面估算装置102以二维轮廓为线索估计出纸的三维曲面模型。然后，失真校正装置103根据估计出的三维曲面模型校正失真并输出失真校正后的图象。
虽然单据的OHR图象上的阴影是由折痕等产生的，但由于阴影动态特性及色调的不均匀变化，人们无法预期能够获得有关阴影的稳定信息。因此，并不建议用阴影的无序变化作为失真校正的线索。所以，在图2A所示的本发明中，失真是用可以相对稳定地获得的单据轮廓为线索进行校正的。在这个方法中，主要要注意单据是矩形的，且图象是以变换的单据轮廓为线索垂直或横向放大或缩小的。这种方法可以称为一种“轮廓成形”(“shape from contour”)法。这种方法的特点，是曲面估算装置102用二维轮廓失真而从一个失真图象建立起三维曲面模型，由于只需要用一个照相机，可以大大降低设备费。此外，由于阴影的无序变化和可以相对稳定提取的单据轮廓失真都可被用作线索，因此可以进行高清晰度的失真校正。
图2B是本发明优选实施例的配置。图2B所示的失真校正方法用于校正因单据中央的折痕引起的多个凹陷型中央褶皱失真。如图1B所示，在凹陷型中央褶皱的OHR图象中，顶部轮廓、底部轮廓和中央褶皱轮廓可以被认为与参考面(如台面)相接触的线段。有时，根据放置单据的方式，左轮廓、右轮廓和中央褶皱轮廓也可以被认为是线段。但是，如果将图象旋转90度，也可以获得与上述同样的情况。因此，校正凹陷型中央褶皱失真的优选实施例，可以通过下面的一个将顶部轮廓、中央褶皱轮廓和底部轮廓看作线段的实例，而得到详细描述。
在图2B中，当输入照相机摄得的一张矩形纸的图象时，轮廓提取装置201从输入的图象提取纸的轮廓，凹陷型中央褶皱估算装置202以凹陷型中央褶皱单据的轮廓失真为线索，估算三维曲面模型。随后，失真校正装置203根据估算出的纸的三维曲面模型校正失真，并输出校正后的图象。
轮廓提取装置201首先把通过边缘提取(如苏贝尔(Sobel)边缘提取)而获得的轮廓指定为候选轮廓象素，并判断各个候选象素是否是构成轮廓的点。轮廓提取装置201不仅提取借助边缘提取而获得的纸轮廓，而且还从边缘提取所获得的纸的轮廓，还可以被用于提取由一张纸即一条直线(纵向或垂直)、一个字符串。
在判断一个提取的候选轮廓象素集合中的目标象素是否构成诸如左轮廓(如图3)的情况中，如果一个具体的象素构成左轮廓，则该象素的左边是一个具有低象素值的象素串，其颜色为背景色，而该象素的右边是具有高象素值的象素串，如白色。因此，如果计算线性过滤器(linear filter)302以及轮廓象素301的积之和(-1，-1，-1，0，1，1，1)得到计算，该积之值变得很大。所以，如果预设一个具体的阈值，则可以认为积之和大于阈值的候选轮廓象素是轮廓象素。用这种方式，通过计算线性过滤器302的积之和与各个候选轮廓象素，并将获得的积之和与阈值进行比较，确定了左轮廓。
类似地，在确定右轮廓时，可以用与左轮廓所用的相反的配置结构的线性过滤器(1，1，1，0，-1，-1，-1)。顶部和底部轮廓也可以用相同的方法来确定。
线性过滤器可以具有随机特异矢量，它纵向或水平对称于中点0。具体地，过滤器可以具有其中n个排列于中点两侧的随机常量k和-k的特异矢量(k，k，…，k，，-k，-k，…，-k)。
如上所述，轮廓提取装置201输出一个二进制轮廓图象，而且，轮廓提取装置201也提取轮廓的顶点和样本轮廓点。由于轮廓线、轮廓顶点和样本轮廓点都与二维图象中的一个轮廓有关，因此，在下文中我们分别称它们为二维轮廓线、二维轮廓顶点和二维样本轮廓点，通过在它们前头分别加上“二维”两字，以便将它们与三维图象中的单据轮廓区分开。图4所示的是基于轮廓提取装置201获得的二维轮廓线、二维轮廓顶点和二维样本轮廓点的二维坐标的表示。
二维轮廓顶点可以通过沿图4所示的顶部轮廓AB或底部轮廓EF的中部的轮廓点开始沿水平方向跟踪轮廓线并搜寻轮廓点而获得，这些轮廓点是其倾角产生突变的点(左上轮廓顶点A、右上轮廓顶点B、左下轮廓顶点E和右下轮廓顶点F)。中央褶皱轮廓(单据中央)的左右顶点根据与矩形ABEF的相对位置而得到提取，矩形ABEF是通过用线段连接轮廓顶点A、B、E和F而形成的。在中央凹陷型褶皱单据的情况下，进入矩形最深的左右轮廓顶点被指定为凹陷的中央褶皱轮廓的顶点(折线左顶点C和折线右顶点D)。
此外，用于分段线性近似以提取左右轮廓线的二维样本轮廓点，可以通过以图4所示的对Y轴预定的相等间隔选择来获得。
在以下的描述中，对每个点、线段、轮廓线等的表达都是基于图4所用的二维坐标系。
接着，描述凹陷型中央褶皱曲面估算装置202。凹陷型中央褶皱曲面估算装置202计算凹陷中央褶皱单据的样本轮廓点的三维坐标，其中假设该点是通过连接所获得的二维样本轮廓点与照相机中点所形成的线段与经过连接两个二维轮廓顶点的一条连线并垂直与参考面的平面的交点；其中照相机的中点是视点(由于使用了立式的架式阅读仪，相机的中点是预先确定了的)。装置202把通过连接计算出的三维样本轮廓点而获得的折线指定为轮廓线，并估算通过使用对轮廓线进行线性插值逼近所得到的曲面，作为失真的单据曲面的三维曲面模型。
凹陷型中央褶皱的曲面可以被水平地分为两个以中央褶皱轮廓为分界线(触及单据中央的参考面的线段)的曲面。下面详细说明的凹陷型中央褶皱曲面估算装置202的工作过程仅限于上半部曲面的过程，对下半部曲面的描述与上半部曲面相同。
图表示的是相机中心、二维轮廓和三维轮廓之间的相互位置关系。图5中所示的符号意思如下x三维矢量X二维矢量x，y，z三维坐标值X，Y二维坐标值L左R右i左轮廓点的下标，i＝0，…，m
j右轮廓点的下标，j＝0，…，n通过透视变换而与二维样本轮廓点相关的三维轮廓上的一个点被称为三维样本轮廓点。假定相机中点和三维样本轮廓点的坐标如图5所示。左轮廓线上的三维样本轮廓点的坐标计算如下。
对应于二维左轮廓线上的二维轮廓样本点的三维左轮廓线上的三维样本轮廓点，可以作为连接相机中心和二维样本轮廓点的线段与通过连接左轮廓顶点A和C的线段AC并垂直于xy平面的交点，而得到计算。
包含线段AC并垂直于xy平面的公式(1)可以表示如下y-Y0L=YmL-Y0lXmL-X0L·(x-X0L)---(1)]]>其中A(X0L，Y0L)，C(XmL，YmL)如果假设三维样本轮廓点是连接相机中心与二维样本轮廓点的线段上按比例(1-t)t内分处的一个点，则下式(2)成立。 但是，在上式中，三维样本轮廓点xiL=(xiL,yiL,ziL)]]>相机中点K(xK，yK，zK)二维样本轮廓点XiL=(XiL,YiL)]]>如果从公式(1)和(2)中解出t，则可得到下式(3)t=(XmL-XiL)(Y0L-YmL)-(YmL-YiL)(X0L-XmL)(xK-XiL)(Y0L-YmL)-(yK-YiL)(X0L-XmL)]]>如果将由公式(3)得到的t代入公式(1)和(2)，则可以计算出左轮廓线上每个三维样本轮廓点的坐标。
用同样方法也可以计算出右轮廓线上的三维样本轮廓点的坐标。
用线段连接三维样本轮廓点所获得的折线，被指定为左右轮廓线，而通过把线性插值逼近应用于这些轮廓线所获得的曲面被指定为失真单据的三维曲面模型。
对于线性插值逼近，可以使用如孔斯(Coons)线性插值法等插值方法。孔斯线性插值的意思是，如果假设有四个三维轮廓的话，则在四个三维轮廓之间的空间中插入线段。使用孔斯线性插值的孔斯线性曲面是一种参数空间曲面，它由一个曲面坐标系(u，w)所定义。如果假设一个曲面被四个曲面P(u，0)，P(u，1)，P(0，w)和P(1，w)所围绕，则在该曲面上的点的坐标Q(u，W)可以用轮廓弯曲表达式由下面的公式(4)来表示(见图6)。由公式(4)所得到的曲面被指定为三维曲面模型。
Q(u，w)＝P(u，0)(1-w)+P(u，1)w+P(0，w)(1-u)+P(1，w)u-P(0，0)(1-u)(1-w)-P(0，1)(1-u)w(4)-P(1，0)u(1-w)-P(1，1)uw虽然描述了作为凹陷型中央褶皱曲面估算装置202中的一个三维轮廓模型的计算方法，其中用散布在三维轮廓线上的点作为三维样本轮廓点，且每个三维样本轮廓点的高度或相应值被用做模型的参数，但用来计算三维轮廓模型的方法并不局限于此。尤其是，例如，对于三维轮廓模型，也可以使用具有变量的曲线模型，如样条曲线(splinecurve)、贝塞尔(Bezier)曲线等。
样条曲线和贝塞尔曲线属于参数空间曲线。通常，参数空间曲线由下面的公式(5)来表示x＝x(t)y＝y(t) (5)z＝z(t)但是在上式中，t是一个变量，(x，y，z)是点在三维空间曲线上的一个点的坐标。
根据公式(5)，样条曲线由下式(6)所表示 类似地，根据公式(5)，贝塞尔曲线可以由下式(7)来表示 不过，在上式中Jin(t)=(in)ti(1-t)n-i,]]>(in)=n!i!(n-i)!.]]>
由于样条曲线和贝塞尔曲线都可以由变量t表示，三维轮廓模型可以用这个变量t作为一个模型参数来计算。
此外，中央褶皱曲面估算装置(或曲面估算装置)可以通过用一张纸而不是轮廓线所提供的有关直线(纵向/水平)、字符串(纵向/水平)的信息而同样的方式估算三维曲面。
下一步描述失真校正装置203。失真校正装置203，通过以轮廓线为坐标轴的曲面坐标系计算输入图象中对应于校正后的图象的每一个象素的位置，并设定输入图象中相应象素的值(二进制、分级或彩色)作为校正后图象的目标象素值，而获得校正后的图象，以此获得以顶部/底部轮廓的长度和左/右轮廓的长度分别作为宽和高的校正后的图象。
在中央褶皱的单据的情况下，顶部和底部轮廓线都是作为连接轮廓顶点的线段而获得。左右轮廓线都作为连接通过凹陷型中央褶皱曲面估算装置202所得到的三维样本轮廓点的折线而获得。中央褶皱轮廓作为连接由凹陷型中央褶皱曲面估算装置202获得的三维样本轮廓点的线段而得到。
中央褶皱单据被水平分割，且失真通过在每个相应的三维曲面建立曲面坐标系统而进行校正。下面描述的是一个上半部三维曲面的失真校正方法，同样的过程也可以应用在下半部曲面。
分别以顶部和左轮廓线作为X轴和Y轴，以左上轮廓顶点(图4中的点A)为原点。以上轮廓线长度与中央褶皱轮廓线长度的平均值作为校正后的图象的宽W，以左轮廓线和右轮廓线长度的平均值作为图象的高H。具体地，宽W和高H分别根据下面的公式(8)和(9)计算W=12(AB+cd)---(8)]]>H=12(Ac+Bd)---(9)]]>
三维坐标通过将左轮廓线上的点L(Y)具有O与高度H之间的一个整数值的与Y相关以对左轮廓线上的Y坐标进行标度而得到计算。L(Y)的三维坐标，沿着代表左轮廓线的连接三维样本轮廓点的折线，从左上轮廓顶点开始，以步长(H/Ac)进行计算。
类似地，三维坐标可以通过将右轮廓线上的点R(Y)用与O与高度H之间的一个整数值相关的而获得。R(Y)的三维坐标沿着代表右轮廓线的连接三维样本轮廓点的折线，从右上轮廓顶点开始，以步长(H/Bd)进行计算。可以认为L(Y)和R(Y)表示了一个曲面坐标系(见图7)。
随后，可以通过用这种方法确定曲面坐标系，计算对应于失真校正后的图象的二维坐标(X，Y)的象素的渐变点G(X，Y)。
对应于校正的二维坐标(X，Y)的点是在三维曲面上具有二维曲面坐标(x，y)的点P。假设点P的三维坐标由下式(10)表示。
xP＝(xP，yP，zP)(10)点P是通过应用线性插值到左轮廓线上的点L(Y)和右轮廓线上的点R(Y)获得的，它也可以表示为按X/W∶(1-X/W)的比例内分线段L(Y)R(Y)所获得的点。因此，点P的三维坐标可以根据下式(11)计算。xp=(xp,yp,zp)=(1-XW)L(Y)+XWR(Y)---(11)]]>由此计算出从相机中点起始并通过点P的直线与参考平面xy的交点的二维坐标。这些坐标可以根据透视转换条件按照公式(12)计算得出。P~=(X~,Y~)=(xPzR-xKzPzK-zP,yPzP-yKzPzK-zP)---(12)]]> 是通过相机中点和P点的直线与参考平面xy的交点。因此，校正后的图象的渐变点G(X，Y)可以根据下式(13)计算得出。G(X,Y)=G~([X~+12],[Y~+12])]]>=G~([xPzK-zKzPzK-zP+12],[yPzK-yKzPzK-zP+12])---(13)]]>然而，在上式中， 表示的是校正前的图象的二维坐标 的象素的渐变值。是高斯符号，表示不超过x的最大整数。
但是，在式(13)中，由于二维坐标是个实数，因此，起始于相机中点并通过点P的直线与参考平面xy的交点的二维坐标通过四舍五入被圆整。
图8表示的是根据上述本发明的第一优选实施方案处理得到的凹陷型中央褶皱型失真的OHR图象的校正结果。图8所示为图1B所示图象的校正结果。用这种方法，根据本发明的第一优选实施方案，凹陷型中央褶皱失真的OHR图象可以成功地得到校正。
图9所示为本发明的第二优选实施方案的配置。图9所示的失真校正方法通常被用于校正由单据中部褶皱引起的多个失真中的凸起型中央褶皱失真。如图1C所示，虽然在凸起型中央褶皱的OHR图象中，单据的顶部/底部轮廓与参考面(如台面)相接触，但与在第一优选实施方案中所解决的凹陷型中央褶皱失真不同，这里的中央褶皱轮廓是凸起而离开参考平面的。左轮廓、右轮廓或中央褶皱轮廓有时被认为是线段。在这种情况下，如果将图象旋转90度，则可以采用同样的描述。因此，下面将通过在以顶部、中央褶皱或底部轮廓线被认为是线段的情况作为一个例子，描述用于校正凸起型中央褶皱失真的第二优选实施方案。
在图9中，当输入拍照一张矩形纸所获得图象时，轮廓提取装置901提取纸的轮廓，凸起型中央褶皱曲面估算装置902用凸起型中央褶皱的单据的轮廓失真为线索估算一个三维曲面模型。然后，失真校正装置903根据纸的三维曲面模型校正失真并输出经校正的失真图象。
用与第一优选实施方案中所述的轮廓提取装置201几乎相同的方式，轮廓提取装置901在边缘提取之后计算提取的边的候选轮廓象素与线性过滤器的积之和，并根据计算的积之和值确定轮廓象素。二维轮廓、二维轮廓顶点及二维样本轮廓点也被提取。
在这个情况中，为了提取中央褶皱轮廓(单据中部)的左/右顶点，最远离矩形的左/右轮廓点作为凸起型中央褶皱轮廓的顶点而被提取，这点与凹陷型中央褶皱的单据的情况不同。
轮廓提取装置901根据图10所示的二维坐标，提取二维轮廓线、二维样本轮廓点和二维轮廓顶点。在下面的描述中，采用了与图10所示的相同的、基于二维坐标的各点、线段、轮廓线等的表达。
接下来，描述凸起型中央褶皱曲面估算装置902。在凸起型中央褶皱曲面估算装置902中，在中部相当于中央褶皱轮廓顶点的高的值被指定为具有上下轮廓的凸起型中央褶皱单据的二维模型参数，高度从参考平面算是零，而在中央褶皱轮廓的中部这个高度是未知的。随后，用模型参数表达带有一个约束条件的一个能量函数，该限制约束条件为上部三维轮廓的长度与下三维轮廓的长度相同且左三维轮廓的长度与右三维轮廓的长度相同。为了最小化和优化这个能量函数，用循环方法等计算出一个最佳模型参数。用算出的这个模型参数，通过计算每个三维样本轮廓点的坐标，建立三维曲面模型。计算模型参数的一种方法如下所述。
由于可以用中央褶皱轮廓(单据中部)作为分界线将凸起型中央褶皱曲面水平分开，因此，凸起型中央褶皱曲面估算装置902的的工作过程可以用向上曲面作为例子详细描述。
图11所示为相机中心、二维轮廓和三维轮廓之间的位置关系。图l1中所用的每个符号的意思与外部字符的第一行相同。通过透视变换与二维样本轮廓点相关的三维轮廓线上的一个点被称为三维样本轮廓点。图11表示的是相机中心和三维样本轮廓点的坐标。
如果假设三维样本轮廓点xil=(xiL,yiL,ziL)]]>相机中心K(xK，yK，zK)二维样本轮廓线XiL=(XiL,YiL)]]>并且如果三维样本轮廓点xiL按比例(1-si)∶si内分连接相机中心K和二维样本轮廓点的线段KXiL，则可以得到下式(14)。 如果假设三维样本轮廓点XjR=(xjR,yjR,zjR)]]>相机中心K(xK，yK，zK)二维样本轮廓线XjR=(XjR,YjR)]]>并且如果三维样本轮廓点xjR按比例(1-tj)∶tj内分连接相机中点K和二维样本轮廓点的线段KXjR，则可以得到下式(15)。 凸起型中央褶皱轮廓上的三维左顶点c和右顶点d的坐标可以分别由下式(16)和(17)表示。如果连接这两个点的线段的内分比得到确定，则在这样的条件下，即每个三维样本轮廓点的坐标都是在连接相机中心K和一个二维样本轮廓点的线段上，并且位于一个包含线段Ac或Bd并垂直于平面xy的平面上，则每个三维样本轮廓点的坐标都可以算出。xmL=(xmL,ymL,zmL)---(16)]]>xnR=(xnR,ynR,znR)---(17)]]>因此可以说，三维左顶点c和右顶点d之间的内分比是单据曲面的三维模型的二维模型参数。
如果按照下面的假设，则对于上面所述的三维样本轮廓线的情况，左轮廓线的相应的内分比可以用根据下式(18)的模型参数来计算。
三维样本轮廓点的内分比si模型参数(三维左顶点的内分比)smsi=αiLsm+βiLχiLsm+δiL---(18)]]>其中，上式中的值αLi，βLi，χLi，和δLi被计算如下αiL=(xK-XmL)(Y0L-YiL)-(X0L-XiL)(yK-YmL)]]>βiL=(Y0L-YiL)Xml-(X0L-XiL)YmL+(X0LYiL-XiLY0L)]]>χil=(xk-Xml)(yk-Yil)-(xk-Xil)(yk-YmL)]]>δiL=(xk-XiL)(Y0L-YmL)-(yk-YiL)(X0L-XmL)]]>类似地，如果按照下面的假设，则对于上面所述的三维样本轮廓线的情况，右轮廓线的相应的内分比可以用根据下式(19)的模型参数来计算。
三维样本轮廓点的内分比tj模型参数(三维右顶点的内分比)tntj=αjRtn+βjRχjRtn+δjR---(19)]]>其中，上式中的值αRi，βRi，χRi，和δRi，计算如下αjR=(xK-XnR)(Y0R-YjR)-(X0R-XjR)(yK-YnR)]]>βjR=(Y0R-YjR)XnR-(X0R-XjR)YnR+(X0RYjR-XjRY0R)]]>χjR=(xk-XnR)(yk-YjR)-(xk-XjR)(yk-YnR)]]>δjR=(xK-XjR)(Y0R-YnR)-(yk-YjR)(X0R-XnR)]]>能量函数E的最小化和最优化表示了一种约束，即三维的上/下轮廓线等长，且三维左/右轮廓线等长，并可以公式化，且可以计算出一个优化的模型参数，例如用后面将要描述的循环方法。
能量函数E由顶部轮廓线AB与凸起型中央褶皱轮廓线cd之间长度的方差以及左轮廓线Ac与右轮廓线Bd之间长度的方差的线性和来确定。能量函数E的值由一个内分比唯一地确定，该内分比是单据曲面的模型参数。因此，能量函数E可以用下式(20)表示。
E(sm，tn)＝k1E1+k2E2＝k1(AB-cd)2+k2(Ac-Bd)2(20)其中，k1和k2是常数(例如k1＝1和k2＝1)。
由于顶部轮廓线(线段AB)与凸起型中央褶皱轮廓线(线段cd)都是线段，因此，它们都可以根据下式(21)和(22)由三维顶点坐标的长度分别计算。AB=(X0L-X0R)2+(Y0L-Y0R)2---(21)]]>cd=(xmL-xnR)2+(ymL-ynR)2+(zmL-znR)2---(22)]]>左轮廓线Ac的长和右轮廓线Bd的长度通过连接三维样本轮廓点的线段长度的各自的和而被逼近。特别地，可以根据下面的公式(23)和(24)分别计算出它们的值。Ac=Σi=0m-1||xi+1L-xiL||=Σi=0m-1(xi+1L-xiL)2+(yi+1L-yiL)2+(zi+1L-ziL)2---(23)]]>Bd=Σj=0n-1||xj+1R-xjR||=Σj=0n-1(xj+1R-xjR)2+(yj+1R-yjR)2+(zj+1R-zjR)2---(24)]]>用于使能量函数E最小化的模型参数可以通过最陡下降法计算。具体地，设定一个近似的初始值并根据下式(25)不断地重复改变模型参数。在这里，ε是一个很小的正数。(tnNEWsnNEW)=(tnOLDsmOLD)-ϵ(∂E∂tn∂E∂sm)---(25)]]>用公式(20)的能量函数的定义将公式(25)展开，可以得到下列公式(26)和(27)∂E∂sm=k1∂E1∂sm+k2∂E2∂sm---(26)]]>∂E∂tn=k1∂E1∂tn+k2∂E2∂tn---(27)]]>其中，每一项表示如下∂E1∂sm=2(cd-AB)·1cd·[(xmL-xnR)(xk-xmL)+(ymL-ynR)(yk-ymL)+(zmL-znR)zK]]]>∂E1∂tn=-2(cd-AB)·1cd·[(xmL-xnR)(xK-xmL)+(ymL-ynR)(yk-ymL)+(zmL-znR)zK]]]>∂E2∂sm=2(Ac-Bd)Σi=0m-1(Xi+1L-xiL)||xi+1L-xiL||·(xK-Xi+1L)dsi+1dsm-(xK-XiL)dsidsm(yk-Yi+1L)dsi+1dsm-(yk-YiL)dsidsmzKdsi+1dsm-zKdsidsm]]>dsidsm=αiLδiL-βiLχiL(χiLsm+δiL)2(i=0,…,m-1),dsmdsm=1(i=m)]]>∂E2∂tn=2(Bd-Ac)Σj=0n-1(xj+1R-xjR)||xj+1R-xjR||·(xK-Xj+1R)dtj+1dtn-(xK-XjR)dtjdtn(yK-Yj+1R)dtj+1dtn(yK-YjR)dtjdtnzKdtj+1dtn-zKdtjdtn]]>dtjdtn=αjR-δjR-βjRχjR(χjRtn+δjR)2(j=0,…,n-1)dtndtn=1(j=n)]]>
以这种方式，可以计算出模型参数，并可以计算出每个三维样本轮廓点的坐标。然后，凸起型中央褶皱曲面估算装置902指定连接获得的三维样本轮廓点的折线作为轮廓线，并估算通过轮廓的线性插值逼近所获得的曲面。对于线性插值逼近，有一种插值方法，如线性孔斯插值等，被用于凹陷型中央褶皱曲面估算装置202的情况。
虽然作为能量函数E，已经可以用公式表示了向上凸起型中央褶皱曲面的能量函数E，而整个曲面的能量函数E也可以用公式表示。用公式表示的整个曲面的能量函数E可以用下式(28)来表示，如图。E(sm，tn)＝k1E1+k2E2+k3E3+k4E4＝k1(AB-cd)2+k2(Ac-Bd)2+k3(EF-cd)2+k4(cE-dF)2(28)其中，k1，k2，k3，k4是常数。
在这种情况下，由于可以解决整个曲面的最佳化问题，与水平分割曲面并计算每个分割曲面的模型参数的例子相比，精度被进一步提高。
接着，在第二种具体实施方案中的失真校正装置903与第一种实施方案中的失真校正装置203相同。具体地，用以轮廓线为坐标轴的曲面坐标系，并设定输入图象中相应的值(二进制、分层或颜色)作为校正后的图象的目标象素值的方法，失真校正装置903通过计算相应于校正后的图象的每一个象素在输入图象上的位置，得到分别以上下轮廓的长度和左右轮廓的长度作为宽和高的校正后的图象。详细介绍见第一种实施方案中的描述。
图13表示的是根据本发明的第二实施方案处理的凸起型中央褶皱失真OHR图象的校正结果。在图13中校正的是图1C所示的图象。用这种方法，凸起型中央褶皱失真OHR图象可以根据本发明的第二种实施方案得到满意的校正。
虽然现在已经详细描述了单据OHR图象的凹陷型或凸起型中央褶皱失真的校正方法，但是其应用并不仅限于这两种情况。特别是这种方法也可以应用于线纹(line-textured)曲面失真。线纹曲面通常是因为纸被扭曲时所产生的曲面。
例如，以在一个单据OHR图象上有作为线纹型曲面的例子的周边凸起型失真(图1D)，所有的三维轮廓都是曲线，因此，虽然在凸起型中央褶皱失真的情况下算出了两个模型参数(本发明的第二方案)，也可以设定更大的模型参数值(如10到20)，也可以用公式表达表示上下轮廓等长及左右轮廓等长的约束的能量函数，且最佳化的问题也可以解决。然后，也可以通过算出的模型参数建立三维曲面模型，输入图象上的失真也可以根据建立的曲面模型进行校正，并且，校正后的图象也可以输出。同样，也可以通过设定更大的模型参数，建立周边凹陷型失真(图1E)和小册子失真(图1F)的三维曲面模型并校正失真。
在每一个优选实施方案的描述中，轮廓提取装置101根据图2A所示的本发明的基本结构提取轮廓，曲面估算装置102利用轮廓失真作为线索建立三维模型，失真校正装置103根据建立的三维曲面模型校正失真并输出经校正的图象。但是，也可以用如图14所示结构校正失真图象，其中，校正装置1402可以利用由轮廓提取装置1401所提取的轮廓失真为线索，校正失真并输出经校正的图象，而不需建立曲面。
轮廓提取装置1401执行与轮廓提取装置101同样的处理。以图15所示的轮廓1501为例可以描述失真校正装置1402。首先，失真校正装置1402，根据顶部轮廓1502、中央褶皱轮廓1503以及提取的轮廓1502(A1)的底部轮廓1503的每个线段，水平地放大或缩小轮廓1501。然后，装置1402用直线逼近图15所示的由短划线所环绕每个部位的弯曲部分(1505-1到1505-8)，并计算直线的倾斜和从倾斜的纵向缩小率。装置1402还根据所需要的缩小度(A2)纵向地放大或缩小经水平地放大或缩小了的轮廓。用这个方法，失真也可以通过二维数据处理被校正，而不需要建立三维曲面模型。
而且，这种失真校正方法也可以使用图16所示的信息处理装置(计算机)执行。图16所示的信息处理装置包括一个CPU(中央处理机)1601，一个存储器1602，一个输入装置1603，一个输出装置1604，一个外部存储器1605，一个介质驱动器装置1606，以及一个网络连接器1607，这些设备都由总线1608彼此相连。
存储器1602包括例如，一个ROM(只读存储器)，一个RAM(随机存取存储器)等，并存储程序及用来处理的数据。CPU 1601通过使用存储器1602进行必要的处理并执行程序。特别地，轮廓提取装置1O1、曲面估算装置102和失真校正装置103都是通过存储器1602中所存的程序而实现的。
诸如单据等图象信息通过输入装置1603(例如一个OHR等)输入到信息处理装置。输出装置1604包括例如显示器、打印机等，其作用是输出处理的结果等。
外部存储器1605包括磁盘、光盘、磁光盘等等。信息处理装置可以在其外部存储器1605存储程序和数据，并根据需要将它们装载入存储器1602使用。
介质驱动器装置1606驱动便携式存储介质1609并存取记录的内容。对于便携式存储介质1609，可以使用任意的计算机可读的存储介质，例如存储卡、软盘、CD-ROM(光盘只读存储器)、光盘、磁光盘等。程序和数据都可以存储在这种便携式存储介质1609中，并根据需要将它们装载入存储器1602使用。
网络连接装置1607通过任意的网(线)与外部设备进行通信，例如LAN(局域网)等，并随着通信发送或接收信息。通过网络连接装置1607，信息处理装置可以从外部设备接收程序和数据，并通过将它们装入存储器1602而使用它们。虽然图16中只用了一套信息处理装置，但是也可以通过使用多台计算机组成的处理装置或通过网络的多套处理装置来实现。
图17表示的是如何提供本发明的信息处理装置所要执行的软件程序等。例如，程序等可以通过下面(a)到(c)三种方法中的任一种提供。
(a)程序等被安装到信息处理装置1701(如计算机等)内，从而被提供。在这种情况下，程序等在装运前就已安装完毕。
(b)程序等被存储到便携式存储介质1609中提供。在这种情况下，存储在便携式存储介质1609中的程序被安装在信息处理装置1701(如计算机等)的外部存储器1605中。
(c)程序等从网络1702上的服务器1703提供。在这种情况下，通常是信息处理装置1701(如计算机等)从服务器1703下载并获得所存储的程序等。
在这种情况下，服务器1703产生传送程序和信息的传送信号，并通过网络1702上的任意传输媒介将信号发送到信息处理装置1701。
如上所述，根据本发明，通过利用由上方拍摄的一个图象(OHR图象)的二维轮廓和纸是矩形的限制条件，可以建立带有三维失真的单据的三维模型，并可以用所获得的三维曲面模型校正图象中的三维失真。用这种方法，由于可以用由一张纸所获得的二维轮廓失真来校正输入的图象，所以只需要一个相机，与传统技术相比，可以减少设备用和安装空间。
权利要求
1.一种失真校正装置，包括一个轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的一个输入图形提取该纸上的规则图形；一个曲面估算装置，用于利用规则图形的失真为线索估算该纸的一个三维曲面模型；并且一个失真校正装置，用于根据该三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
2.一种失真校正装置，包括一个轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的输入图形提取该纸的一个轮廓；一个曲面估算装置，用于利用该轮廓的失真为线索估算该纸的一个三维曲面模型；以及一个失真校正装置，用于根据该三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
3.一种失真校正装置，包括一个轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的输入图形提取写在该纸上的水平和纵向线；一个曲面估算装置，用于利用写在该纸上的水平和纵向线的交叉点处的失真为线索估算该纸的三维曲面模型；以及一个失真校正装置，用于根据三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
4.一种失真校正装置，包括一个轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的输入图形提取写在该纸上的水平和纵向的字符串；一个曲面估算装置，用于利用写在纸上的水平和纵向字符串的交叉点处的失真为线索估算该纸的三维曲面模型；以及一个失真校正装置，用于根据三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
5.一种失真校正装置，包括一个轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的输入图形提取该纸上的轮廓；以及一个失真校正装置，用于利用轮廓的失真为线索校正失真，并输出经校正的图象以作为输出图象。
6.一种失真校正装置，包括一个曲面估算装置，用于获得有关一张矩形纸的轮廓信息，并以从轮廓信息得到的轮廓失真为线索估算该纸的三维曲面模型；以及一个失真校正装置，用于根据三维曲面模型对失真进行校正，并输出经校正的图象以作为输出图象。
7.一种失真校正装置，包括一个轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的输入图形提取该纸上的轮廓；一个曲面估算装置，用于利用轮廓的失真为线索估算该纸的三维曲面模型；以及一个失真校正装置，用于利用轮廓的失真为线索校正失真，并输出经校正的图象以作为输出图象。
8.根据权利要求7的失真校正装置，其中所述的输入和输出图象是黑白二进制图象、渐变图象和彩色图象中的一种。
9.根据权利要求7的失真校正装置，其中所述的轮廓提取装置估算轮廓的相似性，并选择一个更可信的候选轮廓象素作为轮廓象素，这个相似性表示的是在通过对输入图象执行边提取所获得的候选轮廓象素中纸的外部区域的渐变象素串系列与水平或纵向的内部区域中包括一个目标象素的渐变象素串系列之间的比例。
10.根据权利要求7的失真校正装置，其中所述的轮廓提取装置估算轮廓的相似性，并选择一个更可信的候选轮廓象素作为轮廓象素，其中该相似性表示的是通过对输入图象执行边缘提取而获得的候选轮廓象素中在纸的外部区域彩色的象素串系列与水平或纵向地包括一个目标象素的一个内部区域的彩色象素串系列之间的比值。
11.根据权利要求10的失真校正装置，其中所述的轮廓提取装置用一个值作为轮廓的相似性，即这个值通过计算从水平或纵向地包括候选轮廓象素的候选轮廓象素的附近任意提取的一个象素值与适当地设定的固定值矢量的积之和，而获得的。
12.根据权利要求11的失真校正装置，其中所述的轮廓提取装置用这样一个值来作为轮廓的相似性，即这个值通过计算分别水平和纵向地排列的水平对称遮膜片k，k，k，…，k，0，-k，…，-k，-k，-k和纵向对称时标k，k，k，…，k，0，-k，…，-k，-k，-k的积之和，其中包含用k作为以0为中心的正或负常数的候选轮廓象素。
13.根据权利要求7的失真校正装置，其中所述的曲面估算装置用对凹陷型中央褶皱失真进行模型化处理而获得的凹陷型中央褶皱三维曲面模型作为三维曲面模型。
14.根据权利要求7的失真校正装置，其中所述的曲面估算装置用对凸起型中央褶皱失真进行模型化处理而获得的凸起型中央褶皱三维曲面模型作为三维曲面模型。
15.根据权利要求14的失真校正装置，其中所述的曲面估算装置一个三维曲面模型，该模型通过用一个能量函数表示一对水平或纵向的三维轮廓的长度相同这一约束条件，并解决其能量变为极小的一个三维曲面模型的参数计算优化问题，而估算一个三维曲面模型。
16.根据权利要求7的失真校正装置，其中所述的曲面估算装置用对周边凸起型失真进行模型化处理所获得的周边凸起的失真三维曲面模型作为三维曲面模型。
17.根据权利要求7的失真校正装置，其中所述的曲面估算装置用对纸的三维轮廓进行模型化处理所获得的三维轮廓模型上采用线性孔斯插值所得到的曲面模型作为三维曲面模型。
18.根据权利要求17的失真校正装置，其中所述的曲面估算装置用三维轮廓上的点作为三维轮廓模型的不连续的三维样本点，并用相应于每个三维样本点的高的值作为模型参数。
19.根据权利要求17的失真校正装置，其中所述的曲面估算装置用带有参数的曲边模型作为三维轮廓模型。
20.根据权利要求19的失真校正装置，其中所述的曲面估算装置通过用一个能量函数表达一种约束而估算三维曲面模型，这种约束是所有具有相同X或Y坐标的曲面的长度相同，通过解三维曲面模型的参数的优化问题的计算，使其中的能量最小化。
21.根据权利要求17的失真校正装置，其中所述的曲面估算装置用相应于三维轮廓的两个端点的高的值作为三维轮廓模型的模型参数，并包含一条连接两个端点的三维线段的一个三维轮廓上的点的位置都处于的一个纵向平面上的条件来限制一个位置。
22.根据权利要求17的失真校正装置，其中所述的曲面估算装置用一个三维线段作为三维轮廓模型。
23.根据权利要求7的失真校正装置，其中所述的曲面估算装置通过以提取的轮廓为线索经透视转换估算三维轮廓而估算一个三维曲面。
24.根据权利要求7的失真校正装置，其中所述的失真校正装置通过设定一个相应于输入图象中的一个象素的值以作为校正后图象的目标象素值，计算输入图象中的一个位置，该位置对应于用以轮廓为坐标轴的曲边坐标系校正之后的一个图象的各个象素，并获得分别以上下轮廓的长和左右轮廓的长作为宽和高而校正后的图象。
25.一种失真校正方法，包括从一张矩形纸进行拍摄所获得的输入图象上提取附在该纸上的规则图形；以该规则图形的失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
26.一种失真校正方法，包括从对一张矩形纸进行拍摄所获得的一个输入图象上提取该纸的一个轮廓；以该轮廓的失真为线索建立该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
27.一种失真校正方法，包括从对一张矩形纸进行拍摄所获得的一个输入图象上提取写在该纸上的水平或纵向线；以写在该纸上的水平线和垂直线的交叉处的失真为线索建立该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
28.一种失真校正方法，包括从对一张矩形纸进行拍摄所获得的一个输入图象上提取写在该纸上的水平或纵向字符串；用写在该纸上的水平和纵向字符串的交叉处的失真作为线索，建立该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
29.一种失真校正方法，包括从对一张矩形纸进行拍摄所获得的一个输入图象上提取该纸的一个轮廓；并且用轮廓的失真作为线索校正失真，并输出经校正的图象以作为输出图象。
30.一种失真校正方法，包括获取有关一张矩形纸上的轮廓信息并以从轮廓信息获得的轮廓失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
31.一种失真校正方法，包括从对一张矩形纸进行拍摄所获得的输入图象上提取该纸的一个轮廓；用该轮廓的失真估算该纸的一个三维曲面模型；并且以轮廓的失真为线索校正失真，并输出经校正的图象以作为输出图象。
32.一种计算机可读的存储介质，其中记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括从对该纸进行拍摄所获得的图象，该程序可以使计算机执行从输入图象上提取纸上的规则图形；用该规则图形的失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
33.一种计算机可读的存储介质，其上记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括从对该纸进行拍摄所获得的图象，该程序可以使计算机执行从输入图象上提取该纸的一个轮廓；用该轮廓的失真为线索估算该纸的一个三维曲面模型；并且根据三维曲面模型校正失真并输出经校正的图象以作为输出图象。
34.一种计算机可读的存储介质，其上记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括从对该纸进行拍摄所获得的图象，该程序可以使计算机执行从输入图象上提取写在该纸上的水平和纵向线；用写该纸上的水平和纵向线的交点处的失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真，并输出经校正的图象以作为输出图象。
35.一种计算机可读的存储介质，其上记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括从对该纸进行拍摄所获得的图象，该程序可以使计算机执行从输入图象上提取写在该纸上的水平和纵向字符串；用写在该纸上的水平和纵向字符串交叉点处的失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
36.一种计算机可读的存储介质，其上记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括从对该纸进行拍摄所获得的图象，该程序可以使计算机执行从输入图象上提取该纸的一个轮廓；并且输出其中轮廓失真已被校正的一个校正图象。
37.一种计算机可读的存储介质，其上记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括有关该纸的输入轮廓信息，该程序可以使计算机执行以从该轮廓信息得到的轮廓失真为线索，估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
38.一种计算机可读的存储介质，其上记录有可以使计算机校正一张矩形纸的轮廓失真的程序，并包括从对该纸进行拍摄所获得的图象，该程序可以使计算机执行从输入图象上提取该纸的轮廓；以轮廓的失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
39.一种失真校正装置，包括轮廓提取装置，用于从对一张矩形纸进行拍摄所获得的一个输入图象提取附在该纸上的规则图形；曲面估算装置，用于以规则图形的失真为线索估算该纸的一个三维曲面模型；并且失真校正装置，用于根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
40. 用于传送一个程序到一个计算机的一种传播信号，该程序用于校正一张矩形纸的轮廓失真，该失真被包括在从对该纸进行拍摄所获得的一个图象中，该程序可以使计算机执行从输入图象上提取该纸上的规则图形；用该规则图形的失真为线索估算该纸的一个三维曲面模型；并且根据该三维曲面模型校正失真并输出经校正的图象以作为输出图象。
全文摘要
通过使用从顶部拍摄的一张图象的二维轮廓并限定纸为矩形的方法可以建立一个三维曲面模型。然后,根据所获得的三维曲面模型可以校正图象中的三维失真。
文档编号G06T5/00GK1342021SQ0111712
公开日2002年3月27日 申请日期2001年4月26日 优先权日2000年9月4日
发明者藤本克仁, 小原敦子, 直井聪 申请人:富士通株式会社