专利名称：手绘图像扫描装置与方法
技术领域：
本发明总体涉及用于构成原件的扫描电子图像的装置与方法，更具体地涉及在图像捕捉期间容纳不精确转动的扫描装置与方法。
用电子方法构成原件的图像的扫描器是已知的。通常，扫描器所提供的捕捉到的图像是以数字格式存储在存储器中的一个像素数据阵列。无失真的图像要求原件图像到像素数据阵列的忠实映射，为了提高忠实映射的可能性，扫描器在图像捕捉过程中通常包括至少一个施加机械约束的装置。
本技术中已知的四种扫描器为鼓形扫描器、平板扫描器、二维阵列扫描器及手持扫描器。鼓形扫描器将原件附着在以基本上固定速度转动的一个圆柱形鼓的表面上。在鼓的转动中，一个图像传感器在平行于鼓的转动轴的方向上移动。图像传感器的线性位移与原件在鼓上的转动的组合使整个原件得以受到扫描。在成像过程的任何时刻上，可以通过测定鼓的角位置及传感器的平移位置而确定像素数据阵列相对于原件的当前位置。只要原件是适当地附着在鼓上的、鼓的转动是适当地加以控制的、并且将传感器适当地控制在其沿线性路径的位移上，像素数据阵列相对于原件的位置便是固定的。
平板扫描器包括一个沿一条垂直于一个阵列的轴相对于原件移动的线性阵列传感器。从而，可通过跟踪传感器的相对运动而得知传感器的一维位置。垂直方向上传感器的位置是通过寻址一个要测定其亮度的特殊阵列元素而隐合地固定的。在平板扫描器的一个实施例中，原件是放置在一块透明台板上的，而传感器连同一个图像照明源则放置在台板上的原件的反面。只要原件不相对于台板移动，像素数据阵列便相对于要捕捉的图像固定不动。在另一个实施例中，移动原件而不是传感器。这一第二实施例是标准的传真机。精确的纸运送提供图像捕捉过程中的高度位置精确性。
鼓形与平板扫描器的优点中包括容纳至少大到A4或8.5″×11″纸张的文件的能力。再者，某些这种扫描器能在一个单个装置中处理A1纸张。然而，由于需要一台用于控制、数据存储及图像处理的主计算机，这种扫描器通常不是便携式的。
二维阵列扫描器可用在没有机械的编码约束时，并且只要求在曝光时间间隔中保持阵列与原件不动即可。光敏元件的一个二维阵列直接完成将原件的图像映射到一个像素数据阵列中。然而，由于一张8.5″×11″原件的单一的300dpi(点/英寸)映射便需要具有2500×3300元素，即8.25兆像素的一个图像传感器，在大多数应用中这些传感器是价格过高的。
传统的手持扫描器要求用户在原件上移动电光传感器元件的一个线性阵列。运动是用手操纵的。阵列位置信息是用诸如计算机“鼠标器”的操作中所采用的方法确定的。随着一个线性传感器阵列的移动，便感测到与原件接触的轮子、滚珠或滚子的转动，并从转动的机械零件中确定位置信息。通常，与原件接触的机械元件的表面具有高的摩擦系数，诸如橡皮，以便阻止滑动与打滑。一个圆柱形滚子或用一根刚性轴连接的两个轮子可在扫描过程中用于强制一个单一的平移自由度。通常采用一条直边或其它定位器来相对于原件固定扫描方向，及进一步强化由轮子对或滚子提供的平移约束。尽管如此，位置编码器方法通常是容易滑动与打滑的，使得像素数据阵列丧失其与原件上的图像的对应性。
手持扫描器通常直接连接在一台用于图像数据存储、处理及使用的个人计算机上。来自图像传感器的数据速率势必限制扫描速度。扫描器通常用绿色或红色发光二极管向用户提供反馈，来保持所要求的图像分辨率的适当速度。某些手持扫描器采用电磁闸来防止用户在图像上拖动扫描器过快，同时机械阻力随扫描速度的增加而增加。
手持扫描器利用相对小的成像阵列并且通常不能在一遍扫描中处理大于A6的文件。这便需要缝合算法来将一个较大文件的多个行幅连接在一起。行幅缝合是在个人计算机的独立操作中完成的。用手持扫描器来扫描一个多页商业文件或报告是一件乏味的工作，通常得到低质量的结果。
如上所述，通常在手持扫描器中采用某种定位器。在没有定位器时，当手持扫描器移动通过原件时，存在着强加某种转动的趋势。如果在扫描器的移动期间，用户的肘部停靠在一个平表面上，转动可能具有由扫描器与用户的肘部之间的距离所定义的半径。结果，扫描到的电子图像将失真。扫描器的一个行幅期间的其它曲线运动也会产生失真。
所需要的是一种在扫描过程中容纳曲线运动的扫描装置，并且是以低成本方式及原件图像与得出的图像之间的高度对应达到这种容纳。
一种用于构成一个扫描的电子图像的扫描装置与方法，包括采用与图像数据一起采集的导航信息，然后根据导航与图像信息校正图像数据。在优选实施例中，导航信息是通过检测正在受到扫描的原件的内在的与结构相关的性质的至少一个导航传感器采集的。随着图像传感器相对于原件移动，通过监视内在的与结构相关的性质的变化，可以跟踪一个图像传感器沿原件的运动。所监视的内在的与结构相关的性质最好是诸如纸张的纤维等内在的结构特征或原件的其它构成部分。导航也可以是基于斑点的，其中图像传感器沿原件的运动是通过监视采用得到导航信息的相干照度所产生的斑点图形而跟踪的。
这里将“内在的与结构相关的性质”定义为归因于与在原件上形成图像数据和/或系统登记数据无关的因素的原件性质。导航信息可通过响应内在的与结构相关的性质的探测而生成一个位置信号加以构成，诸如斑点信息的位置信号或能够跟踪单个内在的结构特征的一种位置信号。这里将“内在的结构特征”定义为形成原件的工艺特征并且与形成原件上的图像数据和/或系统的定位数据无关的原件特征。例如，如果记录原件的介质为纸制品，有价值的内在结构特征可以是纸纤维。作为另一个实例，图像传感器越过光滑纸原件或普通透明投影胶片的导航可通过跟踪影响反射场的表面纹理变化来确定。通常，内在结构特征是微观的表面纹理特征，诸如在10与40μm之间。
从而，为获得导航信息而设想的方法随领域而变。在最广阔的方法中，对于用来消除扫描装置沿扫描路径的曲线与转动运动的失真人为现象的导航信息的源没有任何限制。因此导航信号可以是以响应原件上的图像数据的检测(例如文本字符的边沿的识别)的位置信号的形式的，然后将位置信号用在图像信号的处理中。范围较窄的第二种方法是在其中响应与内在结构相关的性质的位置信号的检测的一种方法，这种性质诸如确定斑点图形的性质。第三种方法为通过在时间上监视单个内在结构特征(诸如纸纤维)的位置来跟踪扫描装置的导航。这一第三方法是三者中范围最窄的，因为实际上它是第二种方法的从属类型。
在优选实施例中，图像传感器是电光元件的一个线性阵列，而导航方法至少利用导航传感器元件的一个二维阵列。通过将一个独立的二维导航阵列放置在图像传感器的各端，便向扫描器提供了三个运动自由度。如果原件是平面的，两个自由度是平移的并且在原件的平面内互相垂直，而第三自由度则是绕原件的平面的法线的转动。利用两个导航阵列来增进转动跟踪的精确性，各阵列具有比只用一个单一的导航阵列的阵列范围要小。虽然优选实施例中所采用的导航传感器为一个二维阵列，但也可采用线性阵列。再者，正如下面将要更全面地描述的，通过在扫描装置上安装其它的位置跟踪装置，也能方便地得到用于校正图像数据的导航信息，其中包括编码轮与滚珠、计算机鼠标跟踪球、定位网格探测器、加速度计、机械连接、非接触性电磁与静电耦合及延时积分传感器阵列。在许多这种可选实施例中，是以与原件的任何内在与结构相关的性质无关的方式得到用于校正图像数据的导航信息的，由于位置跟踪并不包括图像采集。
导航传感器位于相对于图像传感器的已知位置上。导航传感器最好尽可能靠近成像传感器的端点，以便在移动图像阵列时，导航传感器较少可能越出原件的边线。图像传感器形成一个表示有意义的图像的信号。同时，各导航传感器形成表示原件的内在的与结构相关的性质。扫描装置可以与原件保持接触地在一个随手画出的曲折图形中移动，诸如沿原件向下的交替地从左到右及从右到左移动。每一个边到边的行幅应重叠前一行幅的一部分，以便在扫描过程中或以后，相对于位置对图像进行处理与缝合。图像信号的处理为图像数据的校正，而校正则是基于导航传感器与导航传感器所探测到的内在的与结构相关的性质之间的相对运动的。处理为图像信号的一种“校正”，即为了达到原件与输出图像之间的一致性而根据导航数据配置与修正所获得的图像数据的一种操作。缝合用于连接相继行幅中得到的图像数据。
各导航传感器最好包括一个或多个设计成提供依赖于原件的内在的与结构相关的性质的对比度的光源。发出的光可以是在能见范围内的，但这不是本质的。例如，相对于表面法线具有大入射角的“掠射”光将在纸质原件表面上或附近与纸纤维交互作用，而在纤维中产生增强对比度的阴影。反之如果原件具有一个光滑的表面，诸如照片、粘土胶膜纸或投影透明胶片，法向入射光将在反射场中产生一个具有足够用于导航目的的图像对比特征的图像。诸如滤色镜及一块或多块成像透镜等光学元件能进一步增强内在的与结构相关的特征的检测。
本发明的一个优点在于本扫描装置与方法允许扫描装置有三个运动自由度，同时仍提供高质量图像捕捉。从而，一种便携式袖珍扫描装置得以制成并用在无机械约束中，这与在整个图像捕捉过程中与原件的表面相接触所提供的不同。事实上，在由导航图像的相关性提供图像校正的实施例中，可以消除设备与原件接触的限制。另一个优点在于，由于优选实施例的扫描装置根据内在结构特征的检测形成一个电子图像，因此原件的图像特征之间的大面积“空白区”得以保留，从而在缝合步骤中不致使图像特征移动到靠近在一起。
图1为按照本发明的跟随原件上的一条曲折路径的手持式扫描装置的透视图；图2为图1的扫描装置的成像与导航传感器的后视图；图3为图1的扫描装置的透视图，示出为暴露出成像与导航传感器；图4为用于图3的导航传感器之一的一个照明系统的示意性侧视图；图5为用于提供参照图4描述的照明的一个发光二极管及光学元件的示意性侧视图；图6为图1的扫描装置的图像捕捉操作的概念图；图7为图1的扫描装置的导航处理的一个实施例的操作图；图8为图7中选取的步骤的示意图；图9为用于执行图8的步骤的部件的框图；图10为从图9输出的典型的加位置标签的数据流的一种表示；图11与12为图1的扫描装置的行幅图；图13为可用于达到相继行幅的缝合的定位片的图。
参见图1，其中将一个便携式手持扫描器10示出为已沿一个原件14跟随了一条曲折的路径12。在优选实施例中，原件是一张纸、一片投影透明胶片、或其它任何带有图像的表面，在其上面原件的内在与结构相关的性质产生足够的对比度，在沿曲折的路径导航时提供位置信息。通常，跟踪内在结构特征的位置及用位置信息来校正图像数据，但也将描述其它实施例。扫描装置最好是自我完备的与电池供电的，但也可包含一条到外部电源或计算机或网络的数据端口的连接线。
图1的扫描装置10包括一个图像显示器16。该显示器几乎可以立即提供捕捉到的图像的观察。然而，显示器对于扫描装置的使用不是本质的。
扫描装置10允许三个自由度，其中两个是平移的而一个是转动的。第一自由度为沿原件14的侧向运动(x轴运动)。第二个自由度为沿原件的上下运动(y轴运动)。第三个自由度为带有图像传感器元件的线性阵列相对于原件14的边沿转动的不对直地操作该装置的能力(θ轴运动)。即成像元件的线性阵列可具有不垂直于装置平移方向的迎角。
参见图1-3，扫描装置10的前端18包含一个转动件20，它协助保持原件14与一个成像传感器22之间的正常接触。导航传感器24与26位于成像传感器的两端。由于导航传感器是安装在转动件上的，导航传感器是在相对于成像传感器的固定位置上。
为了物理上的紧凑性，成像传感器阵列最好是一个接触成像器件，但对于紧凑性并不十分重要或者所要求的是一个较小的图像的应用，可采用放大倍率小于一的应用投影光学器件的传感器。在这些应用中，成像传感器22应较小并且更靠近地组装在一起。接触成像器件通常采用以SELFOC商标出售的透镜，这是日本Sheet Glass(镜片)有限公司的联邦注册商标。较不常用的是能采用交错的光源与近端传感器元件阵列来得到接触成像，而无需任何成像透镜。可以使用在扫描应用中采用的传统成像传感器。成像传感器可以是同时包括一个照明源、照明光学器件及图像输送光学器件的一个单元的一部分。
成像传感器示出为分立光敏元件的一个线性阵列。元件的间隔在确定扫描器10的空间分辨率中起作用。例如，一个长度为101.6mm的线性阵列需要1200个传感器元件才能达到分辨率300dpi。传感器可以是一个电荷耦合器件、非晶硅光敏二极管阵列或本技术中已知的任何其它类型的线性阵列传感器。
在成像传感器单元的设计中的关键考虑为速度。成像传感器22最好能以大约每秒10k样本来成像各像素。线性成像阵列通常生成串行数据流，其中将像素值，即电荷，放进一个移位寄存器，然后移出。达到所要求的速度要求非常快的从整个图像阵列出来的串行传输速率或者多个抽头，使得像素值能通过较少的单元移位。这便引入了对数字处理有利的并行性。
速度要求的另一后果在于在原件表面的像素区与采集及输送到各阵列元件的发光的立体角之积必须大到足以在100微秒数量级的积分时间中生成一个可测到的信号。一种供选择的改进是在传感器上增加一个光学元件，用于增加各传感元件对之作出响应的传感器间距的有效部分。由于在阵列矩阵中通常存在未使用的区，这种采光光学器件可提高敏感度。
成像传感器22的一种直接的改型为能够感测彩色图像。互相平行的三个线性阵列，各带有至少一个分别有选择地通过入射光的红、绿与蓝成分的嵌入式滤色器件，会允许彩色成像。另外，也可用红、绿与蓝光源顺序地照明一个具有宽带敏感性的单一阵列。
关于改进成像传感器22的操作的照明，可采用琥珀色波长上的高亮度发光二极管的一个线性阵列。然而，优选照明源与任何光学元件的选择取决于原件的介质。光的波长选择为在扫描原件14的一个给定的区时得到的对比图像数据为最大，同时忽略不计有害的信号。照明光学器件可包含LED拱形透镜或者由以最小量的光损失将照明引导到原件上的一个精密模制的光学元件构成的一个光导管。这种设计能在广范围的角度上提供原件的一个目标区的相对均匀的照明，但为了防止光滑表面反射而封锁法向入射光线。
图1中，曲折路径12示出为具有四个及一小部分行幅，即边到边通过原件14。对于大多数可能的应用有用的成像传感器22具有25.4mm到101.6mm范围内的长度。如果传感器22具有63.5mm的长度，可用四或五个行幅扫描一张A4的纸。如下面将更全面的说明的，行幅中应包含重叠区，以便利用一个缝合过程来产生原件的忠实复制品。
扫描装置10通常至少包含一个导航传感器24或26。在优选实施例中，该装置包含一对导航传感器，这些传感器是在成像传感器22的两个对侧端上的。虽然可以使用光电子元件的一维阵列，但在优选实施例中各导航传感器为一个二维元件阵列。导航传感器24与26用于跟踪扫描装置10相对于原件14的运动。
在优选实施例中，为了生成关于扫描装置10的位置的信息，在导航传感器24与26捕捉关于原件的内在的与结构相关的性质的图像。对于大多数现有技术扫描装置，将内在结构特征认为是噪声。对于图1-3的扫描装置10，这种特征是相对于成像传感器22的噪声，但可用来作为导航传感器24与26生成位置信息的基础。通过探测介质内在的结构变化或形成在介质上的诸如原文等结构变化，能够有用地生成表面纹理的高对比度图像。例如，根据内在结构特征的低谷中的阴影与高峰上的亮斑之间的对比度，可形成图像。这种特征通常是本质上微观的，在普通印刷介质上，通常在10μm与40μm的尺寸之间。作为一种替代，可采用斑点，由于相干光束的镜面反射产生亮与暗区的一个对比图形。对比信息的第三种源为彩色。彩色对比度与表面纹理无关。即使在用可见范围内的光照明没有纹理的表面时，在不同彩色的区域之间也存在彩色对比度，诸如在不同灰度梯度之间。
然而，本发明是设想为用在导航信息与原件的内在的与结构相关的性质无关的应用中的。例如，一个或两个图2中的导航传感器24与26可用于形成原件上的印刷的接连的图像，用接连的图像的相关性来确定图像传感器22沿原件14的位置与朝向。在本实施例中，全体三个传感器22、24与26都成像原件上的原文，但只有来自传感器22的信号用来采集图象数据。来自导航传感器24与26的信号用来采集基于图像的导航信息。
非成像方法也能用来采集与处理x、y与θ位置信息。不幸的是，许多替代装置在紧凑性、使用方便性、速度、运动自由度、功耗、正确性、精确度和/或成本等方面施加了诸多限制。可利用来采集位置信息的一种与成像无关的替代方法是提供一个或多个编码轮来替代导航传感器。然后编码轮在被扫描表面上无滑动地滚动，使扫描装置能沿直线或曲线轨迹航行。编码轮是否在一根公共轴上不是关键问题。轮子可以安装成在旋轴上转动。耦合至监视器转动的编码器可提供可用来计算一个成像传感器相对于一个起始位置与朝向的位置与朝向的输入数据。
另一种不用图像来采集导航信息的方法为采用类似于计算机鼠标器所用的跟踪球。可用一个跟踪球来替代上述各编码轮。可用编码器来得到来自各跟踪球的二维位移信息。在另一种方法中，可用光学或电子(电容性、电阻性或电感性)传感器来替代图2的导航传感器，以便相对于构成在一块下卧的板上的合作(有源或无源)网格或其它参照物来感测位置与朝向，下卧的板又作为正被扫描的原件的支承。
另一种不用图像的采集位置与朝向信息的方法为设置一个加速度计。可采用一个机械惯性导航平台，感测加速度，并积分一次来得到速度或积分两次来得到位置。或者为了得到位置而感测弹簧悬挂的质量的速度并积分一次。在直接感测朝向中可采用陀螺。
又另一种方法可采用各式各样的机械连接中的任何一种来跟踪相对于对正被扫描的介质固定的参照坐标系的位置与朝向。可用耦合成测定机械部件的相对运动的传感器来得到位置与朝向信息。这些传感器可以是相对或绝对类型的，并且可以是基于直接位置与朝向感测的，或者是基于加速度或速度的感测，然后对时间积分一次或两次来得到位置。也能用非接触性遥感来测定扫描装置相对于对被扫描的原件固定的参照坐标系的位置与朝向。这种非接触性感测的实例中包括使用电磁场、波或束(诸如光频或射频上的)；电效应(诸如电容性)；和/或磁效应(诸如电感性)。这些方法可利用标准的或差分全球定位技术并可能利用卫星。这些方法中也可包括传统的导航/测量法，诸如三角测量。它们还可包括机器人技术中所采用的技术，诸如利用成形光束并从这些光束截获运动物体的图像中判读位置。
图2的导航传感器24与26高效地观察原件14的一个移动图像，并生成接连的观察之间的两个平面维度中的位移的指示。如下面将要更全面地说明的，由处理元件在来自导航传感器的像素值上进行操作来确定来自成像传感器22的图像数据的适当映射。这些处理元件在一个特定的像素及其最接近的相邻像素上进行操作，在各像素位置上生成一个相关值的阵列。相关值是基于表面结构的一个当前图像与表示内在结构特征的已知位置的一个存储的图像之间的比较的，其中该存储的图像起位置参照物的作用。然而，在操作输入图像数据以形成输出图像时，也可采用相关处理以外的其它操作。
参见图4与5，导航传感器24是示出为在操作上与照明光学器件关联的。如果原件14是一件纸制器，而导航传感器24要检测的为纸纤维，则在低掠的入射角上引入光线较好。虽然不是本质的，但可使用一个或多个发光二极管(LED)28。作为入射角的余角的掠角30最好在零度与15度的范围内，但这取决于原件14的性质而可以改变。在图5中光源28示出为带有照明光学器件34。光学器件可包括一单一的元件或透镜、滤色镜和/或全息元件的组合来进行适当的准直的与总体上均匀的目标表面的照明。光源28发出的光的波长应选择为增强可利用于导航的空间频率信息。应尽量减小照明域中的固定模式噪声。随着扫描装置在带有吸收或反射油墨或其它标记剂的印刷材料上的前进，可能需要调节光源28的输出来接纳介质的反射率的宽广的动态范围。
图4中，来自光源35的光在照明光学器件36上得到准直，然后由一个分幅束分离器37改道。图4中未示出从LED直接到达与通过束分离器传输的那部分光能。来自束分离器的光能沿表面的法向照射原件14。
图4中还表示了从原件14反射或散射并通过束分离器37供在元件38处受孔径作用与滤色并在元件39处聚焦成图像的光能部分。但未示出从原件到束分离器并从束分离器反射的光能部分。在检测聚焦光线的二维传感器阵列24的视野上，导航成像光学器件的放大倍率必须是恒定的。在许多应用中，导航光学器件的调制传递函数，即光频响应的幅度测定值，必须是在Nyquist频率之前提供衰减的，Nyquist频率是由导航传感器的传感器元件的间距及光学元件的放大倍率确定的。光学元件也应设计成防止背景照明产生噪声。注意，也能采用一个波前分裂束分离器。
入射角的选择取决于原件的材料性质。照明的掠角产生较长的阴影与更明显的对比度，或者在原件的表面不光滑时产生AC信号。然而，随着照明角接近原件的法向，DC信号电平也增加。
在掠角30上照明原件14的目标区，对于原件的表面在微观级上具有高度不均匀性的应用工作得很好。例如，在掠角上引入来自光源28的光，在原件是信纸、卡片、织物或人类皮肤时，提供与内在结构特征相关的数据的高信噪比。反之，在法向入射角上采用不相干光，在需要位置数据来跟踪沿诸如照片、光滑的杂志页面与投影透明胶片等原件的扫描器运动的应用中，可能是较好的。用法向照明、不相干光观察镜面反射区中的原件提供具有丰富纹理内含的图像，以容许基于图像与相关性的导航。原件的表面具有微观的凸凹，使得表面好象瓦片的拼接或网格那样反射光线。一个原件的许多“瓦片”在略为偏离法线的方向上反射光线。包含散射光与镜面反射光的视野从而可以构成这样的模型，似乎该表面是由许多这种瓦片构成的，各瓦片相对于法线不同地有些倾斜。这一模型类似于W.W.Barkas在一篇名为“将低光滑度表面的散射光分析为其镜面反射与漫射分量”的文章中的模型(Proc.Phys.Soc.，卷51，274-292页(1939))。
图4示出用不相干光的光源35的照明，光线沿原件14的表面的法向引入。图5描述在掠角30上的照明。在一个第三实施例中，不提供照明。反之，导航信息是用背景光，即环境光采集的。
在一个第四实施例中，在法向入射角上引入相干照明，以允许基于斑点的导航。扫描装置与原件之间的相对运动可通过监视斑点相对于导航传感器的运动来跟踪。如果采用相干照明而不采用成像光学器件，则通过选择小的照明区及通过在原件的表面与导航传感器24的光测器阵列之间保持相对大的间隔，用相干照明得到的显著斑点单元尺寸大到足以满足Nyquist抽样标准。采用一个束分离器使得入射的照明与检测到的散射两者的方向都接近原件的表面的法向，与图4中所实现的相似。
参见图6，扫描器10示出为在具有压印在原件的表面上的一个块46的原件44上移动的。由于扫描器10在原件表面内不受任何运动学约束，用户具有沿一条曲线路径越过原件的倾向，如同用户的手与前臂绕肘部转动那样。在图6中，扫描器示出为沿一条曲线路径48越过块46。如果扫描装置的下边为接近定义转动半径的肘部的边，则该下边将具有较短的半径。结果，成像传感器的成像元件将相对于通过块46所需的时间与距离而变化。当该装置移动到用虚线示出的第二位置52时，便捕捉了该块的一个失真的图像50。
在没有下述的处理时，捕捉到的图像50将是存储的图像。然而，随着成像传感器捕捉与块46相关的数据，也采集了导航信息。在优选实施例中，一个或多个导航传感器捕捉与原件44的内在结构特征相关的数据。为了确定成像传感器相对于块46的位移，跟踪内在结构特征相对于扫描装置10的运动。这时便可形成一个忠实的捕捉到的图像54。这里将图像54定义为“校正的”图像。
在图7中，示出了导航处理的一个实施例。导航处理是用诸如与内在结构特征相关的数据等导航信息的相关的接连的帧执行的。这种相关性比较接连的帧中内在结构特征的位置来提供一个特定的时刻上与导航传感器的位置相关的信息。然后用导航信息来校正图像数据。图7的处理通常是为各种导航传感器执行的。
在第一步骤56中，采集一个参照帧。事实上，该参照帧是一个开始的帧。在稍后时间上的导航传感器的位置可通过在58在稍后的时间上从导航传感器采集位置数据的一个样本帧而加以确定，然后在60计算参照帧与稍后采集的样本帧之间的相关性。
在56采集初始参照帧可在起动成像过程时进行。例如，可以仅仅将扫描装置放置成与原件接触便触发采集。另外，扫描装置可包括一个起动成像过程与导航过程的起动按钮。也可由各导航器的照明系统的周期性脉冲来进行起动。如果出现了超过一个规定的反射阈值的反射信号，或者出现了指示运动的一个相关信号，便采集参照帧。
虽然是用计算来进行导航处理的，本实施例的概念可参照图7与8描述。一个参照帧62示出为具有一个T形内在结构64的一个图像。参照帧的大小取决于诸如扫描装置的最大扫描速度、结构特征的成像中的占优势的空间频率、以及扫描器的图像分辨率等诸多因素。对于32个像素(N)×64个像素(M)的导航传感器的参照帧的现实大小为24×56个像素。
在一个稍后的时刻(dt)上，导航传感器采集到一个相对于帧62位移了的但仍显示基本上相同的内在结构特征的样本帧。dt的持续时间最好设定为使得T形特征64的相对位移小于在扫描装置的平移速度上的导航传感器的一个像素。对于600dpi上的速度0.45m/sec，可接受的时间间隔为50μs。这里将这一相对位移称作“微步”。
如果在56采集参照帧62与在58采集样本帧66之间扫描装置已经移动了，T形特征的第一与第二图像将是在其中移位了特征的图像。虽然优选实施例中dt是小于容许一个完整像素运动的时间的，但图8的示意图中，特征64被允许向上向右移位了一个像素。只是为了简化图形才假定整个像素的移位。
图8中的元素70表示帧68的像素值顺序地移位到8个最靠近的相邻像素。这便是，步“0”并不包含位移。步“1”为向上向左的对角线位移，步“2”为向上移位，等等。以这一方式，可将像素移位帧与样本帧66组合来产生位置帧的阵列72。指定为“位置0”的位置帧并不包含移位，因此结果只是帧66与68的一种组合。“位置3”具有最小数目的阴影像素，因此是具有最高相关性的帧。根据相关性结果，确定样本帧66中的T形特征64为相对于较早采集的参照帧62中的同一特征的位置的一个对角线向右与向上移位，这隐含扫描装置在时间dt中已向左向下移动了。
虽然也可采用其它相关方法，可接受的方法为一种“方差之和”相关。对于图8的实施例，从元素70的九种偏移可形成九个相关系数(Ck＝C0、C1…C8)，而这些相关系数由下式确定Ck=ΣiΣj(Sij-R(ij)-k)2]]>其中Sij表示在样本帧66的位置ij上导航传感器测定的值，而Rij则表示在k方向上在元素70上移位时在帧68上的导航传感器测定的值，k为元素70上移位的标识符。在图8中，k＝3提供具有最低值的相关系数。
为了逐帧确定特征的位移，采用相关性来找出接连的帧中的相同特征的位置。随着扫描过程的进行，求和或积分这些位移并校正了通过相关光学器件的设计而引入的比例因子，便确定了成像传感器的位移。
如上所述，逐帧的相关性称作“微步”，由于将帧速率选择得充分的高来保证位移不超过一个单一像素的大小。过度抽样能提供亚像素位移精度。参见图7，在64的各次相关性计算之后，便在74作出是否要取徼步的判定。如果需要微步，在76移位参照帧。在这一步骤中，图8的样本帧变成了参照帧而采集一个新的样本帧。然后重复相关性计算。
虽然该过程提供高度的相关匹配，但随着在76将一个样本帧66变成参照帧所指定的每一次相继的移位，将会累积产生的任何误差。为了限制这一“随机走动"误差的增长速率，将一个样本帧存储在一个独立的缓冲存储器中。这一单独存储的样本帧成为以后一系列相关计算的一个新的参照帧。后面的相关性称作“宏步”。
通过采用宏步，能得到越过m个图像帧位移，即m个微步的距离的扫描器位移的更精确的确定。一个宏步中的误差是一次单一相关计算的结果，而m个微步的等值误差则是 倍单个微步中的误差。虽然随着m的增加，m个微步中的平均误差趋向于零，但平均误差的标准差按m增长。因此，只要定义宏步的两个帧不是互相间隔得远到不具有共同图像内含的显著区域，采用具有现实允许的大的m的宏步来减小累积误差的标准差是有利的。
抽样周期dt没有必要是常量。抽样周期可作为前面的测量值的函数来确定。采用可变dt的一种方法是通过将相继的参照帧之间的相对位移保持在一定界限之内来改进位移计算的精确性。例如，上限可以是一个像素的位移，而下限则由导航数据处理中的数值归整考虑来确定。
参见图9，然后可以根据导航数据在成像传感器22上生成的图像信号上加上“位置标记”。在一个实施例中，由执行图7与8的操作的一个导航处理器80接收来自两个导航传感器24与26的像素值。根据计算出的相关性，为第一导航传感器24的当前位置确定坐标(x1、y1)及第二导航传感器26的当前位置的坐标(x2、y2)。导航处理器80还通过一个像素放大器82及一个模数转换器84接收成像传感器22的像素值。虽然图9只示出来自图像传感器22的一个单一分接头及一个A/D转换器84，但是各带一个A/D转换器的多个分接头也在本发明的范围之内。导航传感器的当前位置坐标作为标记加在对应于成像传感器内的像素数目的一行数据的末尾。因此，导航处理器80的输出86为加上位置标记的数据流。图10中数据流的增量88示出为在N个像素单元的两个对端上具有位置坐标单元90、92、94与96，但这样排序不是本质的。
可首先将导航处理器80的输出86上的加上位置标记的数据流存储在允许图像充满在x与y轴上提供连续性的存储单元的图像空间中。结果，图像采集不限于从原件的左上角扫描到右下角。由于各图像像素是与距一个任意起始点的相对(x、y)位移相关联的，图像能在x与y上扩张到图像存储器的全部大小。
成像传感器22是随扫描装置移动通过原件而同步的。这一同步保证传感器的最快移动元件在每一个像素位移上至少抽样一次。如前面参照图6指出的，在图像捕捉中扫描装置10明显弯曲的情况中，成像阵列的一端将平移得比另一端更快，而导致较慢的端上的像素过度抽样。这一情况可通过记录最近的读数(对灰度级)或者通过在图像空间中的一个特定像素位置上以逻辑“或”模式记录(对二进制图像)而得到处理。
下一操作为映射加位置标记的增量。在一个实施例中，用一行连接增量的端点。由于成像传感器22的各像素的距离是固定的，便能计算像素相对于行的物理位置。确定各像素的物理位置的一种方法为Bresenham光栅行技术的一种修正。这一修正是由于成像传感器中的像素阵列是固定的，行循环将固定在相同的数目上。即，通常的Bresenham算法的行循环中的迭代次数为delta-x与delta-y中的较大者，即max(delta-x、delta-y)，但对于修正后的算法，采用沿该阵列的像素数目(N)，照常采用max(delta-x、delta-y)从而循环运行N次。下述程序单元描述该算法/* * * * * * * * * * * * * * * * * * * * * * * *用修正后的Bresenham行抽取算法，利用像素值的N元素阵列的端点的位置对(xa、ya)与(xb、yb)，用get-pixel()加载像素值* * * * * * * * * * * * * * * * * * * * * * * * */
<pre listing-type="program-listing"><![CDATA[delta_x＝xb-xa；delta_y＝yb-ya；inc_x＝(delta_x＞0)-(delta_x＜0)；/*增量为+1或-1*/inc_y＝(delta_y＞0)-(delta_y＜0)；delta_x*＝inc_x；/*取绝对值*/delta_y*＝inc_y；x＝xa；y＝ya；x_err＝0；y_err＝0；for(i＝0；i＜N；i++)(get_pixel(i/2，x/2，y/2)； x_err+＝delta_x； y_err+＝delta_y； if(x_err＞＝N) (x_err-＝N；x+＝inc_x； } if(y_err＞＝N) (y_err-＝N； y+＝inc_y； }}]]></pre>从而，给定了作为N个像素的一个成像传感器的端点的光栅上的两个点(xa、ya)与(xb、yb)，目的为接连地找出在其上读取各像素的光栅上的点(x、y)。这些点构成对连接a与b处的端点的一条直线的最佳逼近。取x与y中之差。从a与b之间的距离的符号上，确定通过该行时x与y将增加还是减小。从x＝xa、y＝ya开始，将两个误差寄存器x_err与y_err设置为零而开始循环。接着用get_pixel()读取(x、y)处的值并将其写到输出光栅。给定一个具有一半导航分辨率的线性图像传感器，对于传感器中的像素数目及输出光栅中的位置采用i/2、x/2、y/2。在对应的误差寄存器中加上delta_x与delta_y，然后测试两个误差寄存器判定它们是否超过N。如果是，从它们中减去N，并用该增量改变x和/或y。如果一个误差寄存器并不超过N，则继续使用x或y的当前值。该过程继续进行直到循环运行N次为止。
下一步为在它们的重叠区内缝合接连的行幅。这必须以识别及校正大多数累积导航误差以及屏蔽一切残留误差的方式来进行。这种“屏蔽”可在白色背景上的黑色印刷区中进行，例如，通过只在白色空格区中缝合，即在具有高于规定的或自适应的阈值的亮度值的区域中。以下各段描述如何识别来自(要丢弃的)重叠区的冗余数据，及如何测定与校正导航误差。
缝合图像行幅的技术在扫描技术中是已知的。这些技术通常需要一对完整的图像行幅，及生成一个定位这两个行幅的单一的全程变换。然而，在本例中，连续的导航数据提供缝合所需的定位信息。由于导航信号有累积误差的趋向，它是通过反馈一个从特征偏移分析中导出的校正信号而连续地得到补正的。
为了缝合两个图像行幅，某一重叠区是必要的，因为导航校正便是通过在这一区内相关特征而计算出的。考虑图11中所描绘的情况，其中行幅#1被返回的扫描行幅#2重新抽样。在时刻T上，到此时已扫描了部分行幅。图12突出这一重叠区108。如图12中所示，在行幅#1的采集期间，沿带有上述标记110、112与114的位置的行幅的下边周期性地标记四边形的图像段(因此称作“定位瓦片”)。在后一遍(行幅#2)上剪裁掉行幅#1的加标记的区以上的“过剩重叠区”108，剪裁掉哪里便是用导航信息确定的。由于得到了行幅#2中各段的长度，在剪裁掉“过剩”部分之后，将来自行幅#1的定位瓦片定位在行幅#2中剩下部分的顶部。如果导航数据是完整的，在标记#1的位置与行幅#2中该瓦片的重新扫描图像的位置之间将不会有偏移。更现实地，自从执行了上次定位以后，将会累积某些导航误差。为了减小总的累积误差，利用这两个瓦片之间的偏移所生成的校正因子来更新未来的与数据关联的导航位置标记。导航数据中的总累积误差便是用这一方法来防止增长得太大，以致在行幅重叠区中引入明显的失真。
由于组合两个行幅#1与#2来生成一个单一的图像，采用一个缓冲器来暂时存储一块原件定位瓦片的复制品直到行幅#2已在其中定位为止。整个定位瓦片可用于这种相关性，但在优选实施例中，在行幅#1的定位瓦片内定位了由灰度级图像的一块矩形瓦片(诸如1.5×15个像素)构成的一个小的高频对比度区(今后称作“特征”)，并将其保存在缓冲器中。当第二次通过这一特征的位置时，所保存的特征位置与行幅#2中同一特征之间的偏移生成一个导航校正信号，即将这两个特征进行紧密对应所需的平移。虽然其它相关方法也能应用，但可接受的一种方法是“方差之和”相关。围绕特征的原来位置定义一个小的搜索区，而相关系数则由下式确定Ck,l=ΣiΣj(Ti,j-Ii+k,j+l)2]]>其中Ti、j表示来自行幅#1的特征的灰度级值，而Ii+k、j+l则表示从行幅#2新采集的特征的灰度级值。下标i与j指定特征内的位置，而k与l则指定提出的平移偏移的大小(限于保持在搜索空间内)。得出的相关阵列中的最小元素表示两个特征之间的偏移。用内插法来找出这一碗形结果中的最小值能得到亚像素位置精度。
定位瓦片内的特征选择为使图像差异最大，因为这样能改进相关法的精度。在一个可能的实施例中，只考虑该区内的位置的一个子集。这些位置116、118、120、122与124在图13中示出为位于沿定位瓦片的主轴126与128(连接定义该区域的对边的中点的线)，并且是在交点及交点与轴的各端点之间的中点上抽样的。对于各位置116、118、120、122与124，用下式计算方差VARk、lSUMk,l=ΣiΣjIk+i,l+j]]>SUM2k,l=ΣiΣj(Ik+i,l+j)2]]>VARk、l＝SUM2k，l/N-(SUMk，l)2/N2为了防止最终代表性图像中的明显失真，缓慢地进行误差估计；随着将线性传感器数据的各新的行加载进存储器，以小的固定步幅修正“位置标记”，直到已计算了全部误差为止。
在优选实施例中，用于图像重构、缝合与图像管理的处理电子电路是包含在定义图1的扫描装置10的外壳内的。因此，扫描到的图像能立即呈现在图像显示器16上。然而，扫描装置可包含存储器以存储加上位置标记的图像数据，但不包含处理与文件管理电子器件与固件。
如参照图3所指出的，最好将导航与成像传感器22、24与26安装在一个转动件20上。在一个实施例中，用至少一个弹性件将转动件连接在外壳的其余部分上，其中弹性件的一端连接在外壳的静止部分上而另一端则连接在转动件上。弹性件起铰链的作用。从而，允许转动部分“悬浮”而不使用摩擦元件。电源、控制与数据信号可通过柔性电缆引导到传感器，这些电缆为了减少电磁干扰而加以屏蔽。也可采用可转动地安装转动件的其它方法。如果去掉转动件而使传感器在外壳上的固定位置上，则在图像捕捉中必须小心勿使扫描装置10过分倾斜。在本实施例中，对照明与光学元件的设计必须给予极大的注意。
虽然已将本发明描述与示范为扫描一个平面原件的，但这不是主要的。事实上，熟悉本技术的人员很容易理解本技术中有多少可用于扫描三维图像。然而，在优选实施例中感兴趣的图像是形成在诸如一张纸、胶片或照片等介质上的，而扫描装置则与该介质接触。
权利要求
1.一种构成扫描的电子图像的方法，其特征在于包括下述步骤相对于具有一个图像的一个原件(14)移动一个扫描装置(10)，所述扫描装置具有一个成像装置(22)用于检测所述图像，所述相对运动定义一条扫描路径(12)；随着所述成像装置沿所述扫描路径移动，捕捉所形成的一序列图像数据(50)；构成表示所述扫描装置沿所述扫描路径的行进的导航信息(56)；以及从所述图像数据中构成一个输出图像(54)，包括消除沿所述扫描路径行进的所述扫描装置的曲线与旋转运动的失真人为现象，所述消除失真人为现象是基于所述导航信息的。
2.权利要求1的方法，其特征在于所述构成导航信息(56)的步骤包括检测所述原件的内在的与结构相关的性质(64)的变化。
3.一种扫描装置，其特征在于包括传感器装置(22)，用于在所述传感器装置与具有图像的一个原件(14)之间相对运动时构成图像信号，所述图像信号是响应所述图像的；导航装置(24与26)，在相对于所述传感器装置的固定位置上，用于在所述扫描过程中，响应检测到的所述原件的内在的与结构相关的性质(64)而构成至少一个位置信号(56)；以及处理器装置(80)，响应所述位置信号，用于根据由所述内在的与结构相关的性质的变化确定的所述导航装置与所述原件之间的相对运动，操作所述图像信号，所述操作是为了增进一个输出图像(54)与所述原件的所述图像之间的对应性而进行的。
4.权利要求3的装置，其特征在于所述导航装置包括一个导航传感器元件的第一二维阵列(24)。
5.权利要求4的装置，其特征在于所述导航装置包括一个导航传感器元件的第二二维阵列(26)，所述第一阵列(24)是与所述第二阵列隔离开的。
6.权利要求3、4或5的装置，其特征在于所述传感器装置(22)与所述导航装置(24与26)是相对于一个接触表面(18)固定的并被带入与所述原件(14)接触，所述装置还包括一个第一光源装置(28)，定位成在相对于所述接触表面的一个锐角(30)上将光线引导到所述原件上。
7.权利要求3、4或5的装置，其特征在于所述传感器装置(22)与所述导航装置(24与26)是相对于一个接触表面(18)固定的并被带入与所述原件(14)接触，所述装置还包括一个第二光源装置(35)，在基本上垂直于所述接触表面的一个角度上将光线引导到所述原件上。
8.权利要求3、4、5、6或7的装置，其特征在于还包括一个可用手操纵的外壳(10)，所述传感器装置(22)与所述导航装置(24与26)连接在所述外壳上。
9.权利要求8的装置，其特征在于所述传感器装置(22)与所述导航装置(24与26)可转动地连接在所述外壳上。
10.权利要求8或9的装置，其特征在于还包括一个图像显示器(16)，连接在所述处理器装置(80)上以构成一个图像，所述图像显示器连接在所述外壳(10)上。
全文摘要
一种构成扫描电子图像的扫描装置与方法，包括一个成像传感器及至少一个导航传感器。在优选实施例中，成像传感器为传感器元件的线性阵列，在各端上带有二维导航传感器阵列。由于来自导航传感器的位置信息允许操作来自成像传感器的图像信号以减少由曲线扫描导致的失真人为现象，该扫描装置具有三个自由度。位置信息源包括印刷物及由上面形成有扫描图像的介质内在的结构相关性质中的变化支配的对比度变化。
文档编号H04N1/047GK1135062SQ96100020
公开日1996年11月6日 申请日期1996年2月26日 优先权日1995年3月2日
发明者R·R·阿伦, D·比尔德, M·T·史密夫, B·J·图林斯 申请人:惠普公司