记录方法和装置的制作方法

专利名称：记录方法和装置的制作方法
技术领域：
本发明涉及一种通过使笔扫过字符序列记录所选择的一序列字符的笔，以及借助于笔记录所选择的序列字符的一种方法。
阅读一篇文章的读者通常希望标记文章的最重要的段落以便在下次读这篇文章时能更容易找到它们，由此避免阅读文章的不相关部分。据知为此可以使用所谓的强光笔。
读者也需要把文章中所选择的部分放在一起形成一个新的文件，该文件能被编辑为一个计算机的文字处理程序。用于将文章输入计算机的一种已知的方法是使用一个扫描仪。有固定式扫描仪和便携式扫描仪。固定式扫描仪常被用于扫描文章的整页，该扫描仪以一个恒定的速度自动地扫过文章。这种形式的扫描仪不适合于扫描在一页文章上所选择的部分。另一方面，一种便携扫描仪可以被用于这种用途。
US5,301,243公开了一种用于在一个基片上从一个字符串中读取字符的便携扫描仪。与基片接触着扫过要被读的字符的扫描仪，具有一个“观看”一小部分基片的光学系统。该光学系统包括一个CCD型的线型传感器，它具有多个排成一排的光感应元件。当扫描仪扫过基片上的字符时，一系列垂直的字符“片断”和它们之间的间隔被记录。该“片断”被存储在扫描仪如数字位图中。接着，OCR软件(OCR=光学字符识别)被用于识别所扫描的字符并将它们以字符编码格式，例如借助于ASCII码存储在存储器中。字符识别可以在位图的字符已被传送的或者一个扫描仪中或者一个外部计算机中被完成。
伴随着便携式扫描仪的应用产生的一个问题是扫描仪必须知道扫描的“片断”之间的距离以便能正确地识别字符。这意味着扫描仪必须以一个恒定的速度扫过字符，这对于手动执行是很难的，否则就要具有一个很准确的测距仪器。
在上面提到的US5,301,243中，距离问题借助于一个轮式机械测距仪器来解决。然而，机械测距仪器包括一个移动部分，就其寿命和制造而言这是一个缺点。此外，测距仪器使得它难于从报纸或类似物品记录信息，如果后者没有被放在一个硬的表面上。另外，测距仪器削弱了观察要被记录的信息物可能性，因为该轮必须支撑要被记录信息的表面并因此使得支撑表面的扫描仪的末端很笨重。
已知的便携式扫描仪的另一个问题是它们实际上必须定向的被固定在一个方向并且自始至终指在同一预定方向。更具体地说，传感器必须指向与笔移动的方向垂直的方向，即，垂直于字符序列。如果当一序列的字符被记录时，扫描仪被固定在另一个方向或绕着它的轴线方向被旋转，扫描仪可能难以识别记录的字符，因为在扫描的“片断”里没有方向信息。这是现有技术的一个严重缺陷，因为不同的个体通常以不同的方式固定扫描仪。具体地说，以右手和左手方式的个体固定扫描仪是有区别的。因而，在扫描仪沿着一条直线移动时一个个体经常改变它的手的位置。当一个人手里拿着一本书或类似的东西并希望记录文章时，这是一个具体的问题。
US4,949,391公开了一种没有测距仪器的光学扫描仪。更具体地说，这个光学扫描仪包括一个二维传感器，它记录扫描仪扫过的文章部分重叠内容的图像。然而，便携式扫描仪实际上只是一个“非智能”记录单元，它记录字符而不翻译它们。而OCR处理在与扫描仪连接的一个计算机中被执行。扫描仪使记录的一个接一个的图像彼此联系以便消除图像里多余信息的列由此它们将需要更小的存储空间。扫描仪只能在由一个轮限定的预定方向移动。
本发明的一个目的是要消除，或至少减少对于便携式扫描仪在现有技术中的上述问题，并具体地要提供能用于记录选择的一序列字符而不用借助于测距仪器及不需要恒定的移动速度的一种方法和一种笔。
在这方面，另外一个目的是要提供这样一种方法和这样一种笔，它能被拿着以不同的方式绕着它的纵轴旋转，并且特别地当选择的一序列字符被记录时也允许笔绕着它的纵轴旋转，记录字符的识别可靠性不会被减少。
该目的借助于用于记录一个选择的字符序列的一种笔和一种方法实现，它分别地具有如下特征一种通过使笔扫过字符序列用于记录一个选择的字符序列的笔，包括一个用于使字符成像的光感应传感器(8)和用于识别成像字符及在笔中以字符编码格式存储它们的一个信号处理单元(20-24)，其特征在于光感应传感器(8)具有一个二维传感器表面，该传感器适合于借助于多个带有部分重叠内容的图像将选择字符序列成像，并且信号处理单元(20-24)适合于垂直地和水平地组合所述多个图像成为一个合成图像，由此获得对于所述笔的不同的移动速度和不同旋转角度的补偿，并且成像字符的识别根据合成图像来实现。
一种借助于笔记录选择的一序列字符的方法，包含的步骤有使笔扫过选择的字符序列并借助于其内容部分重叠的一组图像使所选择的字符序列同步成像，借助于所述笔内的一个信号处理单元垂直地和水平地组合所述多个图像为一个合成图像，由此获得对于所述笔的不同移动速度和不同旋转角度的补偿，在合成图像内识别字符，并且借助于一个预定的字符码格式在笔内存储识别的字符。
如上文所提到的，根据本发明的笔和方法通过将笔扫过字符序列被用于记录选择的一个序列字符。例如，选择的序列可以由从一个更长的文章中选择的一个或几个单词或一个或多个句子组成。字符可以是字母，数字和或其它书写的字符或符号。字符从能被光学性扫描的一张纸或另一种介质上被扫描。
笔包括一个带有二维传感器表面的光感应传感器。在本文中，一个二维传感器表面指的是一种能在互相垂直的二个方向上记录一个以上的像素的传感器表面。传感器最好是CCD型。它能记录灰度或彩色的二维图像。该图像包括多个像素，每个由一个亮度值限定。图像的高度应该是这样的，即在图像里有一个用于要被记录的最大字符的基本空间。图像的宽度可以根据所希望的图像记录频率和可利用的传感器选择。
而且，该笔包括一个应容纳至少一个中央处理单元的信号处理单元，一个存储器，输入/输出电路，和用于执行根据本发明的方法的程序指令。信号处理单元最好包括一个相应的编程微处理器。信号处理单元利用图像的部分重叠内容把记录的图像组合成为一个图像。这种组合在垂直地和水平地两个方向被进行，以便在图像上垂直以及水平方向的信息被利用。因此，在复合图像中没有内容的复制。
当一个图像已被组合时，信号处理单元识别在图像内的字符并将它们以字符编码的格式存储在笔的存储器内。这意味着该笔是单独类型的。然而，它适合于连接到一个外部的计算机上，以便信息能被传送到后者。一个合成的图像最好具有一个预定的最大长度。为了提高速度和减少用于已被记录但还没有组合的图像所需要的存储器，在图像被记录时组合相应地按顺序被执行。由此，组合能被实时完成的事实减少了用于记录的图像所需要的存储器。该组合通常是连续的直到所有记录的图像已经被组合为止。然而，如果达到合成图像预定的最大长度时，它将被中断。换句话说，记录被完成后组合可以被执行，在这种情况下可记录一预定最大数目的图像，它接着被组成一个图像。该笔可以具有一个指示装置用于指示它准备重新开始记录。
通过使用带有二维传感器表面的传感器，借助于该传感器带有部分重叠内容的图像可以被记录，及通过将该图像组合成一幅图像，有可能消除对一个恒定移动速度或提供一个测距仪器的需要。依靠部分重叠的图像内容，图像本身可以含有关于它们的相对位置的信息，即距离信息，并且结果是不需要使用测距仪器记录这个数据。此外，使用者在记录图像时可以持笔在相对于文章放置的任意角度，甚至可以转动笔而不会削弱字符的识别，因为重叠图像包含了指示它们相对位置的方向信息。这大大地增进了用户友好。
更进一步，笔有一个显示器，以便用户能读出记录的字符序列，而不必首先必须把它传送给一台普通的计算机。
如上面所提到的，为了使它尽可能进行组合，必须有一些重叠的记录图像内容。重叠的程序最好大于20％，最好大于50％。
为使记录的图像的对比度足够大及为避免由笔相对于它符序列的移动产生的模糊，要被记录的字符在笔扫过字符序列时最好由光脉冲被照明。照明可以借助于照明装置例如一个发光二极管相应地获得，照明装置被安装在或安装到该装置上。光脉冲的频率应该和记录图像的频率，即用于读取光感应传感器内容的频率，相同并且同步。例如，一个快速的机械快门可以被用来代替脉动照明。然而，这就需要一个更复杂的装置。
在图像被组合时，一个接一个记录的图像根据可能的重叠位置最好被成对检验以确定提供每对内容之间最佳对应的重叠位置。当将成对的图像组合时使用这种方式确定的重叠位置。
当最佳的重叠位置已被确定时，对于每个重叠像素最好确定其亮度值。这个像素亮度值以成对的图像上所考虑的像素的亮度值为基础。用这种方式确定的像素亮度值被用于最终的合成图像。
当整个图像已经被组合时，图像最好被细分为一组每个包括一个字符的子图像。这种细分，它不必须是一种物质的细分而是在整个图像上能被完成的细分，它为实际的字符识别做了准备，每个字符最好被分别地翻译。换句话说，整个单词或部分由此可以被翻译。
通过在合成图像里把像素的亮度值逐行和逐列加起来以便获得一组行的和及一组列的以及通过在获得的行和与列和中识别局部最小值，图像细分为子图像可以被实现。
在合成图像里字符的识别借助于一个神经网络便利地被实现。
相应地，在这个方面，在子图像中每个像素的亮度值被确定并作为一个输入信号输送至神经网络，神经网络适于在所述的子图像中借助于输入信号识别字符。
在识别字符之前，如果需要，合成图像可以被旋转成便图像中的字符呈水平排列。这样便于识别。
根据本发明所述的笔，例如可以被用于学习时记录文章，扫描数值，在只以纸的形式存在的老文件的基础上形成新的文件，及很多其它的用途。
本发明将在下文通过一个实例的方式被描述，这个实例说明本发明如何被实现和使用。本描述参照附图，其中

图1示意地示出了根据本发明的一种强光笔的实施例；图2是在根据本发明的强光笔的一个实施例中电路的框图3是一个流程图且示出了根据本发明方法的一个执行过程；图4a-4e图解说明了根据本发明方法的一个执行过程的一个例子；图5a-5c图解说明了根据本发明方法的一个执行过程的另一个例子；及图6a-6c图解说明了根据本发明方法的一个执行过程的又一个例子。
在根据图1中所示的本发明的笔的实施例中，它具有一个和传统的强光笔形状大致相同的外壳1。外壳1的一个短端有一个窗口2，它被用来支撑或固定在距要被记录的字符的存储介质一个很短的距离，存储介质通常是一纸张。窗口2的宽度根据希望的图像记录频率，希望的最大拖拉速度和可用的传感器被选择。窗口2的高度比要记录的最高的字符稍微要大一些。窗口2与笔的轴线方向形成一个锐角，以便用户被引导以相对于纸张预定的角度握持该笔。此外，窗口略微缩进壳内以便它不会磨损纸张。
壳1主要容纳有一个光学部分3，一个电子部分4和一个电源5。
光学部分3包括一个发光二极管6，一个透镜系统7和一个构成到电子部分4的接口的光感应传感器8。
发光二极管6起到照亮正在窗下的部分存储介质的作用。一个漫射器(diffuser)9被安装在发光二极管6的前面以漫射光线。
透镜系统7的任务是将在窗口2下部分存储介质的图像尽可能准确地投射到光感应传感器8。如果传感器8具有一个比窗口2小的光感应区域，透镜系统7也必须减小图像。熟练的技术人员能够构造一些不同的透镜系统的实现这个目的。
在这个例子中，光感应传感器8包括一个内装有A/D变换器组成的二维的方形CCD单元(CCD=电耦合装置)。这样的传感器在市场上能买到。在这里，传感器8以对于窗口2一个小的角度安装并安装在它自己的印刷电路板11上。
笔的电源由安装在壳内单独的隔室13里的电池12获得。
图2的方框图示意地表示了电子部分4。它包括一个处理器20，它通过总线21的媒介被连接到一个在其中处理器的程序被存储的ROM22，连接到构成处理器的工作存储器和在其中来自传感器的图像以及识别和翻译的字符被存储的读/写存储器23，连接到控制逻辑单元24，以及连接到传感器8和发光二极管6。控制逻辑单元24又被连接到一些外部单元，外部单元包括安装在壳内的一个显示器2，一个用于传送到/来自一台外部计算机的信息的IR收发机26，借助于它用户可以控制该装置的按钮27，发射使用户更容易跟踪文章的一束光束的一个跟踪器发光二极管28和一个指示笔准备记录字符的指示装置29，例如一个发光二极管。到存储器，传感器和外部单元的控制信号在控制逻辑单元24内产生。控制逻辑单元也控制对处理器中断的产生和优先控制。按钮27,IR收发机26，显示器25和跟踪器发光二极管28，及发光二极管6通过处理器在控制逻辑单元内的寄存器上写和读而被访问。按钮27在被启动时会中断处理器20。
笔的工作如下。一位用户握持笔在带有文本的一张纸上他希望开始记录一个字符序列的位置。它按动按钮27以启动笔并让后者扫过他希望记录的文本，以阅读文本同样的方法跟踪文本。跟踪器发光二极管28发射便于跟踪的一个光束。当用户启动笔时，处理20命令发光二极管6开始产生预定步骤25Hz的读取脉冲。由传感器记录的图像以相同的频率存储在读/写存储器23中。然而，以图像形式存储的文本需要大量的存储空间且不能立即通过计算机在比如文字处理程序中被使用。因此，图像上的字符被识别并借助ASCII码被存储。当用户已将笔扫过选择的一序列字符或已经到达该行的尾端，他从纸上提起笔并释放启动按钮，由此处理器20关闭发光二极管6。当选择的字符序列已被记录，用户可以控制笔在显示器25上显示记录的文本或通过IR收发机12的媒介将文本传送到一台外部计算机。直接地在显示器上显示扫描的字符信息的能力已证明是很重要的，因为用户经常要检验扫描的字符是否正确。
在图3的流程图示出了根据本发明方法的一个执行过程。在步骤301，带有重叠内容的图像借助于上文所述的笔被扫描并被存储在读/写存储器23内的当前图像区。作为每个具有从白到黑范围内灰度值的图像，即借助于多个像素，图像被存储。
一旦整个画面被存储在当前图像区内，如果这个图像是可用的，在步骤302，与前面图像的图像组合相应地开始。如果没有前面图像，当前图像直接进入读/写存储器中的行图像区域。
为了确定当前图像是如何和前面的图像组合的以便在图像的内容之间获得最佳的对应，图像之间的每个可能的重叠位置在像素级被检验，并且一个重叠测量被确定如下1)对于每个重叠的像素位置，两个像素的灰度值被相加，如果后者不是白色，其中没有一个像素是白色的像素位置被指定在附加位置。
2)所有附加位置的灰度和被加上。
3)每个像素位置的附近被检查。如果一个重叠像素位置不在一个附加位置的附近并且包括一个白色像素和一个非白色像素位置，那么非白色像素的灰度值从2)中的和中，可以乘以一个常数，被减去。
4)如上文规定的提供最高重叠测量的重叠位置被选择。在所得的合成图像中重叠像素灰度值的中间值被使用。用这种方式，在重叠区内的干扰可以被抑制。组合由此被垂直和水平地进行。组合时，如果检测到在水平行上图像未结束，合成图像被相应地调整以便让它变成水平，例如通过旋转合成图像。
在读/写存储器上的行式图像区内合成图像被逐步地改进。最好行式图像区足够大以存储一个A4行式的普通打字文本。
在步骤303，处理器20的软件将在行式图像存储区内的合成图像细分为每个只含有一个字符的子图像。这是为了建立到要翻译字符的神经网络软件的输入信号。细分通过在合成图像上对于每个像素行和每个像素列把像素的灰度值加起来而实现。通过对于获得的行和及列和研究局部亮度的最低值，在图像上每个字符伸出的范围可以被确定。
如果合成图像含有多于一行的文本，这可能是文本很小，文本的行必须被隔开并且所讨论的行必须在细分成子图像被进行前被选择的情况。使用类似于用于细分成子图像的技术隔离可以被完成。
在步骤304，每个子图像通过子图像被细分为成像素群而被按比例缩小到一个预定的像素格式，每个由其灰度值对应于在该群中包含的像素灰度值的平均值的一个像素所代替。如果需要，类似的缩小比例可以在根据本发明方法的其它步骤之间被进行。而且，字符根据平衡点被对中且灰度值被归一以便每个像素灰度值的平方和给出一个固定值。
接着在步骤305中，在所述的字符序列的合成图像里的每个字符都被翻译。一起构成只含有一个字符的子图像的各像素灰度值做为输入信号被输送到一个神经网络。神经网络的每个输出都代表网络能识别的一个字符。具有最高输出信号的网络的输出被选择且由此选择的字符在步骤306中使用一个预定的字符码格式，例如ASCII码，被存储在用于翻译字符的存储器区内的读/写存储器23里。当字符识别和以字符编码格式存储被完成时，处理器启动指示装置29以通知用户它准备记录一个新的字符序列，步骤307。接着，它返回到步骤301。
上文所述的步骤由处理器20借助于相关单元和合适的软件被执行。熟练的技术人员借助于上述指令可开发这样的软件。字符识别借助于以合适的方式训练的神经网络软件完成。神经网络软件在市场上能得到，例如从美国MA 01760,Natick,Prime Park Way 24号，Mathworks Inc.MATLAB神经网络工具箱中得到。
图4A-4e图解说明了当字符序列“Flygande bckasiner”被扫描时，根据本发明的方法是如何工作的。图4a示出了在一张纸上的文本，它也具有一些小黑点形式的“点状干扰”。图4b显示了借助于传感器被记录的图像。从这个图中可以看到，图像内容部分重叠。字母l在图像No.1中完整地显示而在图像No.2中部分地显示。重叠的程度取决于拖拉速度，即，拖拉装置扫过文本的速度与传感器读出内容的频率有关。图4c显示了整个合成图像看着像什么。注意该图像仍以像素的形式被存储。图4d图解说明了完整图像细分成子图像。图4e表示了被缩小和校正的被用作到神经网络的输入信号的字母。当该方法已经被实现时，文本“Flygande bckasiner”作为ACSII码被存储在笔的读/写存储器中。
在所示例子中，笔在字符序列被记录时保持直线并且一直不旋转。如果笔以一定恒定的角度绕着它的轴线方向保持旋转，图像代之以如图5a中的图像。在这种情况下，图像被组合时获得了一个倾斜的图像，见图5b，它必须被旋转以便使字符序列成为水平，图5c。为了确定要完成多大的旋转，在合成图像里字符的位置在成对的位置被检测。
如果笔在记录时绕着它的轴线方向旋转，图像的倾斜将是不同的。这样的一个例子在图6a中被示出。当图像被组合时，见图6b，得到一个波浪形字符序列。它能通过在多个位置上检测合成图像上字符的位置和通过将不同的片断旋转不同的程度被矫直成一个水平行(见图6c)。
权利要求
1．一种通过使笔扫过字符序列用于记录一个选择的字符序列的笔，包括一个用于使字符成像的光感应传感器(8)和用于识别成像字符及在笔中以字符编码格式存储它们的一个信号处理单元(20-24)，其特征在于光感应传感器(8)具有一个二维传感器表面，该传感器适合于借助于多个带有部分重叠内容的图像将选择字符序列成像，并且信号处理单元(20-24)适合于垂直地和水平地组合所述多个图像成为一个合成图像，由此获得对于所述笔的不同的移动速度和不同旋转角度的补偿，并且成像字符的识别根据合成图像来实现。
2．根据权利要求1所述的笔，进一步包括照明装置(6)，它适合于发射光脉冲用来照明要被记录的字符。
3．根据前面任一权利要求所述的笔，其中信号处理单元(20-24)包括用于识别字符的一个神经网络。
4．根据前面任一权利要求所述的笔，其中信号处理单元适合于将合成图像细分为多个每个只包括一个字符的图像。
5．根据前面任一权利要求所述的笔，进一步包括一个用于指示所述笔准备扫描字符序列的指示装置(29)。
6．根据前面任一权利要求所述的笔，进一步包括用于显示识别字符的一个显示器(25)。
7．一种借助于笔记录选择的一序列字符的方法，包含的步骤有使笔扫过选择的字符序列并借助于其内容部分重叠的一组图像使所选择的字符序列同步成像，借助于所述笔内的一个信号处理单元垂直地和水平地组合所述多个图像为一个合成图像，由此获得对于所述笔的不同移动速度和不同旋转角度的补偿，在合成图像内识别字符，并且借助于一个预定的字符码格式在笔内存储识别的字符。
8．根据权利要求7所述的方法，进一步包括的步骤有，在笔扫过要被记录的字符时用光脉冲为它们照明。
9．根据权利要求7或8所述的方法，其中将多个图像组合的步骤包括根据可能的重叠位置检查一个接一个记录的成对的图像以确定提供与一个接一个记录的每对图像的内容之间最佳对应的重叠位置，用这种方式确定的重叠位置在组合成对图像时被使用。
10．根据权利要求7-9中任意一个所述的方法，其中记录图像的组合被实时地进行。
11．根据权利要求9所述的方法，其中记录的图像由多个像素组成，每个像素由一个亮度值所限定，进一步包括的步骤有在确定最佳重叠位置后组合成对的图像时，对于每个重叠像素，确定一个像素亮度值，最好是一个中间值，像素亮度值以成对的图像中所讨论的像素度值为基础，并且在合成图像里使用以这种方式确定的像素亮度值。
12．根据权利要求7-11中任意一个所述的方法，其中识别字符的步骤包括将合成图像细分为多个每个只包括一个字符的子图像。
13．根据权利要求12所述的方法，其中合成图像包括多个像素，每个像素由一个亮度值所限定，并且其中将合成图像细分为多个子图像的步骤包括在合成图像上逐行和逐列的将像素的亮度值加起来以获得多个行和及列和，以及在获得的所述行和及列和中识别局部最小值以将所述合成图像细分为子图像。
14．根据权利要求12或13所述的一种方法，其中每个子图像包括多个像素，每个像素由一个亮度值被限定，并且其中在记录的图像中识别字符的步骤包括在一个子图像中确定每个像素的亮度值并将它做为一个输入信号提供给一个神经网络，该神经网络适合于在子图像上借助于该输入信号识别字符。
15．根据权利要求7-14中任意一个所述的方法，进一步包括的步骤有，在识别字符之前，旋转合成图像以便在所述图像中的字符形成一个水平行。
全文摘要
一种借助于一种笔以记录选择的一序列字符的方法，其中笔扫过该字符序列，多个其内容部分重叠的图像借助于带有一个二维传感器表面的一个光感应传感器(8)被同步地记录。记录的图像被水平地以及垂直地组合成为一个图像。接着，在合成图像中的字符被识别并借助于预定的字符编码格式被存储在笔中。组合，字符识别及存储借助于一个信号处理单元(20－24)被执行。通过该方法和该笔，获得对于笔的不同移动速度和不同旋转角度的补偿。
文档编号G06K9/34GK1239563SQ9718020
公开日1999年12月22日 申请日期1997年11月3日 优先权日1996年11月1日
发明者克里斯特·法赫拉伊乌斯, 简·尼尔森, 帕特里克·索德尔伦德 申请人:C技术公司