专利名称：移动装置与传送系统的制作方法
技术领域：
本发明的领域诸如移动电话等带有内置图象俘获装置的移动装置由于CPU性能的增加及CCD等的价格降低而广泛普及。通过俘获包含由用户提示的字符串的图象，并使用带有内置图象俘获装置的移动装置识别字符串，已能够从网络抽取与字符串相关的信息。为了从图象选择目标字符串，需要一种使用移动装置上可被直观操作的简单的用户界面的指令方法。
在分辨率与识别率之间总是有一种折衷。当需要高识别率时，需要对输入图象进行处理。就结构来说，移动装置俘获高分辨率图象是困难的。因此，使用由移动装置的照相机俘获的低分辨率图象进行字符识别。
本发明的背景使用来自图象的字符识别结果的信息检索技术在JP-A-331006/2000及JP-A-254622/1998中有述。另外，JP-A-23012/2000描述了使用移动装置的一种翻译器。该发明中，在图象显示器上显示用于向图形用户界面(GUI)施加目标字符行的行部分。然而，线段在长度和位置上是固定的，并只用作为操作者俘获图形的索引，于是需要操作者调节字符行的位置和大小。该先有技术文献没有公开任何用于通过移动装置中低分辨率图象俘获装置俘获图象的字符识别。
JP-A-23012/2000描述了一种装置，该装置在移动电话或移动装置中包含了一种的CCD相机，以便俘获图象而进行字符识别，并具有在语言之间进行翻译的翻译功能，以及基于检索的结果进行检索的检索功能。然而，它没有对操作者提供任何易于从图象选择目标字符行的装置。反之，根据本发明，任何需要时，从输入图象抽取字符行的结果就能呈现给操作者。这使得能够易于确认目标字符行。
此外，在平衡成本和尺寸时，包含在移动装置等中的图象俘获装置很难设计成能够俘获高分辨率图象。如果对低分辨率图象进行识别处理，识别率受到负面的影响，这可能会限制操作者的意图。这种情形下，根据本发明，从俘获的低分辨率图象进行字符行的抽取处理，并然后字符行的图象受到扩展处理。其结果是提高了字符行图象的分辨率，改进了识别率。
本发明的概述本发明的目的是要提供一种移动装置，该装置具有用于在俘获的图象中抽取字符图象嵌入区域的一种装置，其中在俘获的图象变化时字符行嵌入区域被连续抽取，且抽取的字符行嵌入区域随之显示在显示装置上，直到使输入达到确认装置。本发明还具有用于确认字符行确认区域要被处理以供识别的装置，用于通过网络传送识别结果的装置，以及用于通过网络基于识别的结果接收反馈的装置。
本发明的另一目的是要提供进而具有俘获图象分辨率提高装置的移动装置，其中被确认的字符行确认区域受到象素补充，平滑，及二值化。
本发明的另一目的是要提供一种具有移动装置及通过网络连接到该移动装置的传送系统，其中移动装置具有用于通过网络向计算机传送移动装置上获得识别结果或字符行抽取区域的装置，且计算机具有基于传送的识别结果或字符行抽取区域通过网络进行信息搜索，并用于向移动装置传送搜索结果的装置。
附图的简要说明从以下参照附图所考虑的详细说明本发明以上和附加的特性及特征将更为明显，附图中相同的标号指示相同的元件，且其中
图1是使用带有识别功能的移动装置的信息收集的图示；图2是表示根据本发明移动装置的显示内容的图示；图3是表示根据本发明移动装置的其它显示内容的图示；图4是表示本发明的移动装置硬件配置的图示；图5是一流程图，表示本发明网络上的移动装置和计算机内处理流程；图6是字符行抽取的概念图示；图7是字符行抽取的流程图；图8是高分辨率图象生成的概念图示；图9是高分辨率图象生成的流程图；图10是字符行识别的概念图示；图11是字符行识别的流程图；图12表示显示两个或多个字符序列识别结果的一例。
优选实施例的详细说明参照附图对本发明详细说明如下。
图1示出本发明中使用的一种移动装置，且带有字符行的对象图象用作为输入数据。标号101标记移动装置的一例。标号102标记移动装置101上的内容显示器。但是，相机在显示器相对一侧用作为图象俘获装置。标号103标记控制杆，且104标记按钮。内容显示器是触摸板，通过该触摸板操作者能够直接提供指令。使用这种移动装置，如标号105标记的对象上的URL地址和字符行图象被俘获。然后进行字符行嵌入区域的抽取和字符行的识别。然后通过如标号106所标记的无线通信传输数据。使用连接到如标号107所标记的网络的计算机，可在网络上搜索、传输并显示与识别的内容相关的信息。操作者看见显示的内容，并再次提供指令。这样，相关的信息被检索。
图2和3表示本发明的内容的显示的例子。
图2示出一例，其中已经对嵌入在俘获的对象图象中的URL字符行进行了字符识别处理，并基于识别的结果已经检索出对应于该URL的主页。首先，由图象俘获装置俘获的对象显示在由标号201标记的内容显示器上。如202标记的一个记号显示在内容显示器中。该记号可由操作者移动。在位于靠近该记号处对URL字符行上进行字符行矩形抽取处理。每当需要时，由203标记的从抽取所得的矩形条(虚线内)被重新加载，且重新加载的矩形条被重复显示。其结果是，操作者通过操作该装置或移动记号，能够易于选择识别的目标字符行。当所得的矩形轮廓正确地包围了目标字符行时，用户输入确认指令以进行对于矩形条内字符行的字符的识别。此后，识别的结果显示在如204所标记的弹出式窗口中。如果识别的结果正确，操作者输入确认指令。结果是，如205所标记的图示所示，对应于识别结果的在URL处可得的内容从计算机在网络上传输到移动装置。此后，操作者看见显示器上的内容，并选择由206所标记的显示器上的图标。这样，检索到相关的信息。
图3示出一例，其中已经对俘获的对象上的字符行进行了字符识别处理，并已经基于识别的结果搜索了网络上的内容，以便被显示在移动装置上。与图2同样的方式，俘获的内容显示在由301标记的显示器上。这时，最接近由302标记的记号的字符行被抽取。对于来自由303标记的相继显示的字符行矩形条的字符行矩形条，用户输入一确认指令。在识别处理之后，识别结果显示在由304标记的弹出式窗口中。当识别结果正确时，操作者输入一确认指令。之后，识别结果被输入到与网络连接的搜索引擎。然后，移动装置接收获得的搜索结果，并由305标记的图示所示那样显示该结果。然后，操作者看见显示的搜索结果，并在显示器上选择图标以接收其它内容。
图4示出移动装置的硬件配置。该移动装置包括用于执行控制、图象处理及字符识别的CPU(401)，存储器(402)，显示器(403)，用于俘获输入数据的图象俘获装置(404)，用于无线通信的天线(405)，扬声器(406)，话筒(407)，电池(408)，按钮(409)，及内装在其中覆盖在通过总线连接的显示器上的触摸板(410)。
图5示出本发明的总体处理流程。首先，在移动装置中，在步骤501使用图象俘获装置由CCD俘获目标对象的图象。在步骤501被俘获的图象显示在显示器中。然后，如图2和3所示，在步骤502使用最靠近记号字符作为核心进行字符行抽取处理。在步骤503这样获得的抽取的结果以重叠的方式显示在显示器中的内容上的矩形条中。这样，进程返回图象俘获步骤501并之后被重复，直到在步骤504操作者输入确认指令。
在操作者输入确认指令之后，使用显示的矩形条内的本地图象进行图象处理，并对于识别处理输入被处理的数据。通过步骤505对从图象俘获装置俘获的低分辨率输入图象进行分辨率提高处理。在步骤519输入提高了分辨率的本地图象用于字符行识别。然后，在步骤507向操作者呈现字符识别结果，并请求指令。当操作者判断出结果正确时，操作者输入确认指令。被确认的数据通过无线通信传送到与网络连接的计算机。如果操作者判断出不是正确的识别结果，则进程返回步骤501处理由通信俘获装置俘获的另一图象，并重复后继的处理步骤。
在步骤509传送到计算机的字符行由计算机或服务器接收。在步骤510区分字符行是URL地址还是其它字符行。如果字符行是URL地址，则在步骤511通过因特网链接该URL地址的万维网页，并在步骤512传送到移动装置。否则，在步骤513区分字符行是否为电子邮件地址。如果是电子邮件地址，则在步骤512向该装置传送该地址已经插入其地址字段的邮件处理程序。可以使用由Java等写成的应用程序实现邮件处理程序。进而，用于邮件处理的程序可以存储到移动装置以便再次使用。然而，当字符行既不是URL地址又不是电子邮件地址时，在步骤515它被输入到与因特网连接的内容搜索引擎，以便以该字符行作为关键字进行搜索。在步骤516，搜索的结果传送到该装置并呈现给操作者。
在移动装置侧，在步骤517接收内容，并在步骤518，操作者查看内容，以选择所需的内容，通过选择适当的按钮进行邮件处理等。
除了上述通过网络在移动装置和计算机之间数据传送处理共享之外，也可设想其它的活动。例如，在移动装置上选择目标字符行嵌入区域，然后向网络上的计算机传送本地的图象(而不是识别的结果)。然后，由计算机进行图象处理和字符识别。还有可以设想的传送装置用于把本地图象附加到邮件并将其传送。基于作为字符识别处理的结果而获得的多种候选项，根据候选项的顺序可在网络上对内容进行搜索。当使用多个候选项进行搜索，并找到适当的内容时，这些内容被传送到移动装置，并在其上显示。如果基于所有的候选项通过搜索没有找到适当的内容，改变参数以便重复字符识别处理。
使用上述的处理，只是在输入字符行嵌入区域确认指令之后操作者才能够查看所需的内容。然而，即使字符识别结果已经失败，如果存在任何对应的的内容，则显示与操作者所需要的那些不同的内容。
而且，可能对移动装置和计算机之间的传送和接收的服务进行收费。由于这种服务收费，在接收字符串(失败的结果)时，或在本地图象用作为来自移动装置被识别的对象时，或在内容向移动装置侧传送时，管理连接到网络的计算机的公司对操作者因服务而收费。操作者能够在确认字符串识别结果之后接收内容。结果是，保证稳定的服务。
图6示出字符行抽取处理的概念图。首先，标号601标记由移动装置的相机俘获的图象，602是其上描述了目标字符行的一对象。在显示器中心由标号603标记的符号是一记号。用于抽取位于靠近记号的字符行的处理被执行。通过由操作者点击触摸板或按钮，记号的屏上位置能够被移动。然后，输入图象被二值化。然后生成大量黑色象素连接的部件。标号604标记显示各连接部件的外围矩形轮廓的图象。使用连接部件的外围矩形位置信息进行字符行抽取的处理，以便加速处理。然后，选择并以605标记的粗体矩形轮廓指示最靠近记号的连接部件的外围矩形轮廓之一。连接部件用作为字符行抽取的初始状态的“核”。用作为“核”的连接部件不对操作者显示。标号606标记字符行抽取的进展。通过从605标记的核向外把相邻的连接部件结合在一起，形成字符行矩形条。然后，607标记作为向外结合的结果由连接部件组成的字符行矩形。标号608标记由操作者所见到的字符行矩形抽取结果的显示。虚线矩形条是字符行抽取结果。当操作者看见矩形条，且矩形条正确地封闭了目标字符行时，操作者通过按钮输入确认指令。当需要时通过移动该装置或平移记号而改变字符行结果矩形条。
图7示出字符行抽取处理的处理流程。字符行抽取处理以以下的方式实现。首先，在步骤701由图象俘获装置俘获图象。在步骤702使输入的图象二值化，并然后在步骤703进行噪声去除。接下来，在步骤704，从二值图象生成连接部件，并在步骤705选择最接近记号的连接部件作为初始值的“核”。然后在步骤706，在从作为“核”的连接部件起给定的短范围内使连接部件结合在一起以形成一字符行矩形条。然后，输出字符行位置。在步骤707在显示器中动态地显示该矩形条。进程返回到图象俘获步骤701，重复后继的处理步骤，直到用户在步骤708输入确认指令。当用户已经输入确认指令时，字符行位置进到对高分辨率字符行抽取处理。
图8示出高分辨率图象生成的概念图。在为识别处理输入字符行图象之前，作为对象的本地图象受到象素补充以生成高分辨率本地图象，改进识别率。标号801标记在操作者已经对字符行矩形条输入确认指令之后的显示。标号802标记通过对来自基于字符行矩形位置信息在图象俘获时获得的图象的本地图象的修剪而获得的图象。本地图象受到象素补充处理达到较高的分辨率，其结果是由标号803标记的图象。当以这种方式通过象素补充实现分辨率的提高时，每一模糊的线段以阶梯构型出现。这种情形下，对图象进行平滑处理。结果是，如同由804标记的图示那样，降低了噪声，使得模糊的线段的构型也变得平滑了。然后，进行二值化处理以生成高分辨率无噪声的字符模式图象。清晰的构型如805所标记的图示所示。即使使用低分辨率俘获装置，但通过输入高分辨率线条图象供识别处理，能够获得高分辨率的识别结果。
图9示出高分辨率图象生成的处理流程。首先，基于在字符行抽取处理中确定的字符行位置，在步骤901从图象俘获时获得的图象修剪本地图象。在步骤902通过象素补充本地图象受到图象扩展。然后扩展的图象在步骤903受到平滑处理，之后在步骤904被平滑化。结果是，生成高分辨率二值图象。
图10表示字符行识别处理的概念图。标号1001标记已经被输入的字符行图象。标号1002标记对于字符行图象为每一连接部件生成的字符模式候选项。标号1003标记只截取“h”获得的模式，而1004标记组合“ht”获得的模式。通过从这些组合中选择适当的字符模式，并在网络上进行路由搜索，能够获得字符行的识别结果。通过在网络上向字符识别模块输入模式而获得的结果由标号1005标记。需要说明如下正如由1006标记的，对于“h”的模式1003获得“h”的识别结果；而如由1007的标记的，对于两个字符“ht”的组合模式的识别结果是“n”(即“ht”被手为“n”)。这样，对于每一模式的字符识别结果与用于字符识别的模板之间的相似性程度被记录在以分割假设图描绘的网络上。标号1008标记基于字数据库和识别结果之间的相似性程度通过网络进行路由搜索获得的结果，其中每一识别处理的记录已经被收集起来。这个例子中，对于常常作为URL出现的字(http，//，www.co.jp，com，等)的路由基于字数据库被筛选/缩减。对于其它字的每一路由使用识别结果的相似性程度作为索引而被确定。为了获得字数据库，以下的手段应考虑到URL地址是从DNS(域名服务器)获得的，或者当符号牌等用作为对象时，现有的字是使用地理位置信息被筛选/缩减的。通过把确定的路由上的字符串在一起获得的字符行由标号1009标记，这是对字符行图象识别的结果。
图11示出字符行识别的处理流程。首先，在步骤1101对输入的字符行图象生成作为字符模式候选项的组合以便构成网络。然后，在步骤1102，各字符模式候选项受到字符识别，并且使其对应的识别结果和相似性程度相配。接下来在步骤1103，使用先前存储的字数据库进行网络上的路由限制。然后，使用字数据库限制和字符识别结果的相似性程度确定网络上最优路由。从而，获得字符行识别结果。
图12示出两个或多个字符序列识别结果。1201是移动装置的显示屏幕，1202是记号。当矩形对字符行诸如1203“ABCD RPOJECTco.”画出轮廓以进行识别操作时，对由矩形画出轮廓的字符行进行字符序列识别处理。每当在识别操作中引起模糊时，在弹出式框1204中出现两个或多个识别结果的候选项。在图12中，识别结果候选项的数目是三，而正确的回答是候选项1，操作者可以点击候选项1或输入号码“1”而选择候选项1。另外，用户能够简单地以手指或指点物体触摸触摸板。于是，选择了正确的识别结果，然后通过网络被传送到PC。此后，根据选择的字符序列进行处理。
使用上述的方法，能够选择由操作者确认的字符行，并从字符识别的结果获得信息内容。
根据本发明，能够对其上描述了给定的字符行的对象进行拍摄，并使用内置有图象俘获装置的移动装置基于字符行获得信息。进而，当操作者选择给定的字符行时，能够便于操作移动装置。而且进而，即使当使用低分辨率图象俘获装置时，能够通过以虚假的方式生成高分辨率图象，并进行字符识别处理而提高识别率。
本发明的原理、优选实施例及操作方式已经体现在上述说明书中。然而，应受到保护的本发明不限于所公开的特定的实施例。这里所述的实施例只是示例性而不是限制性的。在不背离本发明的精神之下可以通过其它及所采用的等价物作出变形和变化。因而，要强调的是，所有属于如权利要求中定义的本发明的精神和范围的这些变形和变化和等价物均包括在内。
权利要求
1.一种移动装置，包括用于俘获图象的装置；用于显示所俘获的图象的装置；用于自动抽取俘获的图象中字符行嵌入区域的装置；用于确认的装置，确认由抽取装置抽取的字符行嵌入区域是要被处理以供识别；用于识别嵌入在被确认的字符行嵌入区域中的字符行的装置；用于通过网络传送识别结果的装置；以及用于通过网络基于识别结果接收反馈的装置，其中抽取装置从变化的被俘获的图象连续抽取字符行嵌入区域，且显示装置据此显示抽取的字符行嵌入区域，直到确认信号输入到确认装置为止。
2.根据权利要求1的移动装置，其中显示装置显示一记号，抽取装置检测俘获的图象中的模式，并且使用最接近记号的模式之一作为核，用于结合相邻的模式，从而抽取字符行嵌入区域。
3.根据权利要求2的移动装置，其中记号是可移动的。
4.根据权利要求1的移动装置，还包括用于呈现由字符行识别装置识别的多个识别候选项的装置；以及用于选择识别候选项之一的装置。
5.根据权利要求1的移动装置，还包括分辨率提高装置，所述分辨率提高装置使确认的字符行嵌入区域受到象素补充，平滑化，及二值化。
6.根据权利要求2的移动装置，其中每一模式是围绕俘获的图象中一个连接部件的矩形轮廓。
7.一种图象处理和传送系统，包括移动装置和通过网络连接到该移动装置的计算机，移动装置包括用于俘获图象的装置；用于显示所俘获的图象的装置；用于自动抽取俘获的图象中字符行嵌入区域的装置；用于确认的装置，确认由抽取装置抽取的字符行嵌入区域是要被处理以供识别；用于通过网络传送数据的装置；以及用于通过网络基于识别结果接收反馈的装置，其中抽取装置从变化的被俘获的图象连续抽取字符行嵌入区域，且显示装置据此显示抽取的字符行嵌入区域，直到确认信号输入到确认装置为止；计算机包括一装置，用于通过网络基于嵌入到被确认的字符行嵌入区域的字符行搜索信息，并用于向移动装置传送搜索的结果；以及用于识别嵌入在被确认的字符行嵌入区域中的字符行的装置配置在移动装置中或者配置在计算机中。
8.根据权利要求7的图象处理和传送系统，其中计算机还包括一个装置，用于区分识别的结果是URL地址、电子邮件地址还是一个其它字符串，一个装置，用于如果区分的结果是URL地址，则向移动装置传送由URL地址链接的内容；一个装置，用于如果区分的结果是邮件地址，则向移动装置传送用于处理邮件的程序，及一个装置，用于如果区分的结果是所述其它字符串，则启动一搜索程序的以便在网络中基于所述其它字符串搜索信息，并用于向移动装置传送搜索的结果。
9.根据权利要求7的图象处理和传送系统，还包括一装置，用于当移动装置接收从计算机传送的搜索结果时进行收费。
10.根据权利要求1的移动装置，其中显示装置有选择地显示由遥控相机俘获的图象，并通过网络传送到移动装置，显示装置显示被传送的图象；抽取装置在被传送的图象中抽取字符行嵌入区域，及抽取装置从变化的被传送的图象中连续抽取字符行，且显示装置据此显示被抽取的字符行嵌入区域，直到确认信号输入到确认装置为止。
11.根据权利要求7的图象处理和传送系统，其中显示装置有选择地显示由遥控相机俘获的图象，并通过网络传送到移动装置，显示装置显示被传送的图象；抽取装置在被传送的图象中抽取字符行嵌入区域，及抽取装置从变化的被传送的图象中连续抽取字符行嵌入区域，且显示装置据此显示被抽取的字符行嵌入区域，直到确认信号输入到确认装置为止。
12.根据权利要求7的图象处理和传送系统，其中移动装置显示装置显示一记号，抽取装置检测被俘获的图象中的模式，及最靠近该记号的模式之一用作为核，以便结合相邻的模式，从而抽取字符行嵌入区域。
13.根据权利要求12的图象处理和传送系统，其中记号是可移动的。
14.根据权利要求7的图象处理和传送系统，其中移动装置还包括用于呈现由字符行识别装置识别的多个识别候选项的装置；以及用于选择识别候选项之一的装置。
15.根据权利要求7的图象处理和传送系统，其中移动装置还包括分辨率提高装置，所述分辨率提高装置使确认的字符行嵌入区域受到象素补充，平滑化，及二值化。
16.根据权利要求12的图象处理和传送系统，其中每一模式是围绕俘获的图象中一个连接部件的矩形轮廓。
17.一种移动装置，包括用于俘获图象的装置；用于显示所俘获的图象的装置；用于自动抽取俘获的图象中字符行嵌入区域的装置；用于确认的装置，确认由抽取装置抽取的字符行嵌入区域是要被处理以供识别；分辨率提高装置，用于使确认的字符行嵌入区域受到象素补充，平滑化，及二值化；及用于识别嵌入在分辨率被提高的字符行嵌入区域中的字符行的装置。
18.根据权利要求17的移动装置，其中显示装置显示一记号，抽取装置检测被俘获的图象中的模式，及最靠近该记号的模式之一用作为核，以便结合相邻的模式，从而抽取字符行嵌入区域。
19.根据权利要求18的移动装置，其中记号是可移动的。
20.根据权利要求18的移动装置，其中每一模式是围绕俘获的图象中一个连接部件的矩形轮廓。
全文摘要
本发明涉及一种移动装置，其带有内置的图象俘获装置，及字符识别功能，以便呈现随字符识别结果收集的信息。使用该移动装置，需要时可显示字符行抽取进程，并可提高被输入供识别处理的图象的分辨率。据此，操作者能够易于选择目标字符行。此外，该移动装置的字符识别率通过分辨率的提高而被改进。
文档编号G06K9/03GK1407826SQ0213033
公开日2003年4月2日 申请日期2002年8月16日 优先权日2001年9月5日
发明者影广达彦, 关峰伸, 酒匂裕 申请人:株式会社日立制作所