对基于照相机的图像中的字符进行识别和翻译的方法

专利名称：对基于照相机的图像中的字符进行识别和翻译的方法
技术领域：
本发明涉及字符识别，更特别地，涉及对照相机拍摄的图像中所包含的字符进行
识别及与词典相关联地对所识别字符进行翻译的方法。
背景技术：
传统的字符识别通常涉及由扫描仪对纸质文档的内容进行扫描、然后将所扫描的 内容的格式转化为文本文件或电子文档的格式的方法。然而，最近提出了一种识别由便携 式数码设备拍摄的图像中的字符的方法，其中该便携式数码设备上安装有小型数码相机。
传统扫描仪仅限于识别写于纸上的字符。另一方面，其上安装了数码相机的便携 式数码设备能够使用相机进行光学字符识别(OCR)。也就是，使用安装在便携式数码设备上 的相机进行的字符识别方法能够识别出现于各种介质(例如，纪念碑、道路指示牌、菜单和 各种说明性笔记)上的字符。 然而，如上所述，在使用字符识别的相机的过程中，不存在对要识别的字符的限 制。因此，会发生这样的情况不仅由于要识别的字符的多样性而且由于外部因素(例如， 要识别字符周围的光线)而无法识别字符。 图1是示出根据现有技术的用于识别所拍摄的图像中的字符的字符识别方法的 流程图。参见图l，传统字符识别方法100包括在步骤S1，用照相机拍摄包括字符的图 像；在步骤S2，处理所拍摄图像的数据；接口步骤S3 ;在步骤S4，将每个字符标准化；在步 骤S5，提取每个经标准化的字符的特征；在步骤S6，基于每个字符的所提取的特征来识别 字符和单词；以及在步骤S7，提供翻译结果。 更具体地，步骤Sl包括要识别的字符，以及获取表示主题的图像。步骤S2对应于 将所拍摄的图像转换为灰度级图像。所拍摄的图像可以是包含各种色彩的彩色图像。然而， 对于字符识别来说，必须将不必要的色彩从所拍摄的图像中移除以及将所拍摄的图像转换 为灰度级图像。 步骤S3对应于根据用于拍摄图像的照相机的特征及拍摄图像的环境对所拍摄的 图像进行补偿，以便获得适于字符识别的格式。 还有，步骤S4对应于将每个包含于拍摄的图像中的要识别的字符(例如，最起码 的，韩文中的辅音和元音以及英文字母表中的每个字符)转换为具有预定标准的格式的字 符。步骤S5对应于提取每个要识别的字符的特征。 步骤S6对应于基于每个提取字符的特征识别目标字符(即，定义拍摄的字符)。 步骤S7对应于将所识别的字符组合成单词并向用户提供组合结果。 所述传统方法进一步包括用户接口步骤，在所述用户接口步骤中，来自步骤S6的 所识别字符的存储结果数据存储于设备之中，所识别字符或单词被输出到屏幕设备上，接 着与电子数据库(DB)相关联地搜索通过用户的选择装置所选的单词，并在屏幕上再次输 出这些单词。 在上述的传统字符识别方法中，特别地，关于字符图像的识别和词典翻译，能够识别包含于字符图像中的字符和实际识别的字符的用户接口是不方便的。在识别整个字符图 像期间，由于受限的硬件性能和各种噪声的混入，识别率一般较低，在此，用户接口也是不 方便的。

发明内容
因此，提出本发明以解决现有技术中的上述问题，本发明提供了一种用于在能够 识别照相机拍摄的图像中的字符的设备中识别字符的方法，其提高了字符识别的准确性， 并能识别各种字符，并且同时，改善用户接口的便利性。 根据本发明的一方面，提供一种用于对照相机拍摄的图像中的字符进行识别和翻 译的方法。该方法包括识别包含于所拍摄图像中的字符和单词，基于词典中的数据对用户 所选的单词或字符进行翻译，所述词典与所选的单词相关联；向用户提供所识别的字符和 单词，并指示对所选字符或单词的翻译，其对应于用户接口过程，其中识别字符和单词包括 翻译在用户接口过程中所选的字符或单词，并通过用户接口处理向用户提供所翻译的字符 或单词。


参照下列附图的详细说明，本发明的上述及其他示例性特征、方面和优点将更加 明显，其中 图1是图解根据现有技术的识别字符的方法的流程图； 图2是图解根据本发明第一实施例的识别字符的方法的流程图； 图3是图解图2中示出的字符识别步骤的流程图； 图4是图解图3中示出的预处理步骤的流程图； 图5是图解图3中示出的后处理步骤的流程图； 图6A和6B、7A到7D和9A到9C是图解根据本发明的用于识别字符的方法的例证 性示例的说明性视图； 图8是图解根据本发明第二实施例的识别和翻译字符的方法的流程图； 图9A到9C是图解在识别字符图像之后存储的整个识别数据的存储方法的特定示
例的框图； 图10A到10B及11A到11B是图解根据图3中示出的字符识别步骤处理的字符图 像的示例的视图； 图12A到12C是图解根据本发明第二实施例处理的字符图像的示例的视图；
图13A到13D是图解根据向用户提供所选单词的位置信息的方法的字符图像的视 图； 图14是图解验证方法的流程图，该验证方法用于确定用户所选的搜索单词与搜 索的电子词典关键词或词目是否相符； 图15A到15D是特定地图解用户所选的搜索单词的电子词典数据库搜索结果的屏 幕显示示例的视图； 图16是图解根据本发明的第三实施例的用于识别和翻译字符图像的方法的流程 图17是图解用于选择电子词典数据库DB搜索单词的一个方法的示例的流程图；
图18是图解用于选择电子词典数据库DB搜索单词的另一方法的示例的流程图；
图19A到19B和20A到20G是图解用于选择搜索单词的一个方法的示例的视图；
图21A到21D是图解当提供电子词典数据库搜索结果时的在字符图整体识别和部 分识别之间的差异的视图； 图22(a)和图22(b)是图解置于便携式终端中的显示屏上的图像的视图，所述图 像对应于操作电子词典的方法；禾口 图23是图解用于连接图22中示出的置于便携式终端中的电子词典的方法的流程 图。
具体实施例方式
下面，将参考附图详细描述本发明的示例性实施例。在下面的说明中，省略与本发
明相关的公知的功能或根据本发明的配置的详细描述以避免本发明的主题不清。 本发明提供了用于识别包含于拍摄图像中的字符的方法。根据本发明的用于识别
包含于由照相机拍摄的图像中的字符的方法包括字符和单词的识别及翻译步骤和用户接
口步骤。在这里，所述字符和单词的识别及翻译步骤包括识别包含于拍摄图像中的字符和
单词，基于词典中的数据对用户所选的单词进行翻译，该词典与所选单词相关联。所述用户
接口步骤向用户提供在所述字符和单词的识别及翻译步骤中所识别出的字符和单词，并指
示对由用户所选的字符或单词的翻译。所述字符和单词的识别及翻译步骤包括翻译在所
述用户接口步骤中选择的字符或单词，并通过所述用户接口步骤向用户提供经翻译的字符
或单词。 在描述根据本发明的用于识别字符的方法中，该方法可分为两种方法，一种指定 整个拍摄图像作为字符识别的对象，另一种仅指定拍摄图像的部分范围作为字符识别的对 象。如上所述的用户接口步骤包括多个步骤，其需要在字符和单词识别及翻译步骤期间提 供给用户或用户的选择。 图2是图解根据本发明第一实施例的用于识别字符的方法的流程图。图2进一步 图解了本发明的下述实施例在所述实施例中，指定整个所拍摄图像作为字符识别的对象。 参照图2，根据本发明的识别由照相机拍摄的图像中的字符的方法包括字符和单词的识 别步骤和用户接口步骤。在这里，所述字符和单词的识别步骤包括识别包含于所拍摄图像 中的字符和单词，并将所识别单词中的每一个与词典中的数据相比较，该词典与所识别单 词中的每一个相关联。所述用户接口步骤包括向用户提供在字符和单词识别步骤中识别 出的字符和单词，并根据用户的选择指示字符和单词识别步骤。 所述用户接口步骤包括在步骤S201中拍摄图像，在步骤S202中选择拍摄图像的 识别范围以用于识别包含于拍摄图像中的字符，在步骤S203到S205中向用户提供识别或 翻译的结果，在步骤S206中如果用户选择的字符或单词不同于其已经选择的字符或单词 则与用户核对，当用户选择字符或单词时返回至步骤S203到S205，在步骤S207中当用户不 选择字符或单词时确定用户期望返回步骤S201。 当在步骤S202中用户选择整个拍摄图像作为字符识别对象时，执行字符和单词 识别步骤S209。
7
在步骤S209中，字符和单词识别步骤包括识别包含于拍摄图像中的每个字符，在 步骤S210中，从每个所识别出的字符构造单词，并搜索与所构造的单词相关联的数据的词 典，在所述词典中所构造单词的含义，在步骤S211中，通过步骤S203向用户提供被检查的 单词或所识别出的字符(即完成识别或翻译的结果)。 图3是进一步图解图2中示出的步骤S209的流程图。参看图3，字符识别步骤 S209包括在步骤S410中进行预处理以移除对应的字符图像的噪声及二进制化图像，在步 骤S420中分离并规范化单个的单词，在步骤S430提取每个字符的特征；基于特征的字符识 别步骤S440，在所述步骤中比较每个字符的所提取的特征与关于字符的先前存储的特征的 数据，输出最高优先级的信息(通过与先前存储的关于各自字符特征的数据的比较所得到 的最匹配的结果)，后处理步骤S450，用于分离及存储所识别的字符识别结果。
图4是进一步图解图3中示出的步骤S410的流程图。参照图4，预处理步骤S410 包括在步骤S411分析输入图像，在步骤S412在要分析的图像中选择字符区域，在步骤 S413确定是否反转(invert)包含在图像中的字符区域和背景区域的每一个的亮度，反转 字符区域和背景区域的每一个的亮度，在步骤S415将已经过步骤413或414的图像的字符 区域的数据转换成二进制数据，在步骤S416，从所述图像中分离其数据已被转换为二进制 数据的字符区域。 在预处理步骤S410，通过使用在用户接口步骤中拍摄的图像的直方图等来分析图 像，并区分字符区域和背景区域。接着，在预处理步骤S410中执行多个步骤以确定是否基 于色调值(例如，亮度值)反转字符区域和背景区域中的每一个。 图5是表示如图3中所示的后处理步骤S450的流程图。参看图5，后处理步骤S450 包括在步骤S451基于每个字符的所提取的特征分析字符或单词的识别结果，在步骤S452 区分所拍摄图像中的字符区域和背景区域，在步骤S453移除字符区域之外的背景区域，在 步骤S454生成用于报告完成步骤S450的信息。 执行后处理步骤S450以便纠正由于不正确的字符识别或噪声干扰所引起的错 误。因此，后处理步骤S450包括确定所识别出的字符是否包括被错误地识别为字符的非字 符，并纠正该错误。 图6A和6B是图解根据本发明的用于识别字符方法的实施例的说明性视图。图6A 图解在包括触摸屏510的设备中实现字符识别方法的例子。特别地，图6A图解了根据本发 明的字符识别方法的例子，其中整个拍摄图像被指定为字符识别的对象。在图6A的例子 中，未选择的字符501和所选择的字符502都已作为字符识别的对象被处理。将所选择字 符502的识别和翻译结果提供给用户。 虽然通过使用触摸屏510来实现图6A的例子，但用户可以通过使用导航键520等 选择特定的字符或单词中的一个。图6B图解了选择拍摄图像610的部分区域601作为字 符识别对象的另一个例子。将所选择区域601中用户已选的字符或单词的识别结果提供给 用户。 图7A到7D是图解根据本发明的识别字符方法的实施例的示例性视图。图7A到 7D的实施例用于实现指定字符识别对象的范围或实施选择所识别的字符和单词的方法。图 7A到7D中示出的每个例子都通过使用触摸屏来实现，从而能通过使用分离的触摸笔或用 户身体的一部分来实现。图7A示出了在要选择的单词上画斜线701的形式的实施例。如
8图7B所示，用户可以围绕要选择的单词画一条没有预定形状的线702。可选地，如图7C所 示，用户可以围绕要选择的单词画一条方框状的线703。如图7D中所示，用户可以在要选择 的单词下面画一条下划线704。 图9A到9C仍是根据本发明在拍摄图像中识别字符的方法的另一个例子的示例性 视图。在图9A到9C的例子中，仅指定拍摄图像的一部分范围作为字符识别的对象。图9C 仍是屏幕的另一个例子，其整体用于创建翻译结果。 根据本发明，用户可以选择拍摄图像的部分范围或整个范围。进一步地，在选择所
识别的或翻译的字符和单词的过程中可以使用如触摸屏或导航键之类的输入装置。 本发明提供了一种方法，其用于识别包含于拍摄图像中的字符，从所识别的字符
串构造单词，并翻译该单词。在这里，识别照相机拍摄的图像中所包含的字符的方法提供了
接口 其用于识别/翻译拍摄图像中包含的字符和包含字符串的单词，并通过屏幕向用户
提供对应的位置信息，或者与电子词典数据库DB相关联地翻译存在于屏幕上的用户已选
位置的单词，并直观地(instinctively)将结果提供给用户。 图8是表示根据本发明的第二实施例的识别和翻译字符的方法的流程图，图16是 表示根据本发明的第三实施例的识别和翻译字符的方法的流程图。本发明的第二和第三实 施例总计两个特点。 第一，在拍摄的字符图像的识别步骤中，当用户直接选择要被字符识别的区域时， 单个被字符识别的字符或单词的位置区域信息直接显示于提供字符图像的屏幕上。接着， 当用户最终选择要翻译的特定单词的字符串时，通过使用置于便携式终端中的电子词典翻 译对应的单词并直观地将结果提供给用户。 第二，在一些与英语不同的单词之间没有空格的语言(例如汉语或日语)中，包含 于拍摄图像中的字符被字符识别，并通过使用置于电子词典中的数据库DB进行翻译。对于 单词之间没有空格的字符串，有一些隔开和分离单词的技术。 参看图8，下面详细描述根据本发明第二实施例的识别及翻译包含于拍摄的字符 图像中的字符的方法。 在步骤S801，用户拍摄并存储照相机字符图像。在步骤S802，用户选择拍摄图像 中的要识别的区域。在步骤S803，执行对所选区域包含的被识别字符进行字符识别和存储。 在步骤S804，执行被识别的字符串的后处理及电子词典数据库搜索候选单词的构造。在步 骤S805，将被识别的字符和单词作为可选项提供给用户。在步骤S806，用户从步骤S805提 供的可选的字符或单词中选择要翻译的对象。在步骤S807，执行对所选择的字符或单词的 搜索。在步骤S808，执行对所搜索出的字符或单词的验证。在步骤S809，将步骤S808中验 证的字符或单词的翻译结果提供给用户。在步骤S810，执行依靠电子词典操作的连接功能 的选择。在步骤S811，确定是否转到提供翻译结果的屏幕。在步骤S812，如果方法没有转 到提供翻译结果的屏幕，则选择另一个要翻译的单词。在步骤S813，如果步骤S812中没有 选择另一个要翻译的单词，则选择字符图像中另一个要识别的区域；在步骤S814，如果在 步骤S813中没有选择字符图像中的另一个未识别区域，则确定是否识别另一个字符图像， 其中在步骤S809之后，在步骤S810中操作电子词典，通过屏幕向用户提供用户能够直接操 作电子词典的装置，接着，当选择该操作装置时，在屏幕上显示电子词典的操作状态。
在步骤S802，用户直接选择通过包含于便携式终端或类似装置中的屏幕所提供的
9字符图像中的要识别区域，并在通过屏幕提供的字符图像上显示所选区域的位置信息，以 便用户能容易地通过屏幕识别该信息。在步骤S802，通过使用触摸屏或点击装置(例如鼠 标)的拖动，用户能够选择要识别的区域。 在步骤S803，识别在屏幕上显示的字符图像中所包含的字符并存储结果，以便作
为数字字符数据类型存储并输出单个的被识别字符。在这里，识别字符图像中的区域所包
含的字符，其由用户选择，因此增加了字符识别率，降低了识别的必要时间。 在步骤S805，直接在通过屏幕提供的字符图像上提供包含所识别字符的所有单词
的位置信息。在这里，步骤S803中识别的字符和单词与在屏幕上显示的图像重叠，同时屏
幕提供了在识别之前的状态中的字符图像。提供围绕在步骤S803中识别的字符和单词的
彩色方框，以便允许用户选择被识别的字符或单词。还有，当用户选择整个字符图像的一部
分时，如上所述提供由用户选择的区域中所包含的单词或字符上的位置信息。 在步骤S806，用户从步骤S805中提供的可选字符或单词中选择要翻译的对象。在
这里，从通过屏幕提供的字符图像上显示出其位置信息的单词中，用户将距离他所想选择
的位置最近的单词或字符串的位置信息高亮显示，以便将该字符从其他未选择的单词或字
符串中分离出来。换句话说，在步骤S806，计算从单词或字符串的起点到终点的中间点到用
户所选位置的距离，从而确定距离用户所选的位置最近的单词或字符串的位置。还有，位置
信息(用户选择的单词或字符串，或邻近用户所选择的单词或字符串的单词或字符串)被
设置为不同于未选择单词或字符的颜色或宽度，这样，对比于其他邻近的单词或字符串，用
户能够更容易地识别被确定为用户选择的单词或字符串的位置。 在步骤S807，处于用户选择的位置的单词或字符串被设置为搜索词，并与电子词
典的数据库DB相关联地进行搜索，随后检验结果。图23是图解根据本发明的第二实施例的
对字符串进行后处理及与电子词典数据库相关联地构建要搜索的候选单词的方法的流程
图。参看图26，如果应用到步骤S807的对象是如汉语或日语一样的单词之间没有空格的语
言，那么步骤S807可以包括对字符图像进行字符识别并载入所有字符串的存储数据，筛选
出所载入字符串中包含的数字或特殊字符，在筛选处理之后，将字符串与电子词典相比较，
并分离所搜索的词，与电子词典相关联地，从被分离出的单词中查找一些单词，其由用户通
过屏幕直接选择。步骤S807包括基于电子词典搜索包含被识别字符的单词，并对包含于被
搜索单词的列表中的词目(entry word)或关键词进行彼此比较以检验翻译的内容。 图10A到10B和图11A到11B用于图解根据图3的特定实例。 图IOA和10B图解了实际拍摄和识别的字符图像及电子词典数据库的候选搜索词
的位置信息，其被字符图像覆盖并被方框包围。图IIA到IIB是示意性图解图IOA和10B
的处理过程的视图，其中顺序执行对初始识别的单个字符和字符串的后处理以及电子词典
的最后候选搜索词的构建。 图10A示出了显示于屏幕上的字符图像，图10B示出了通过对字符识别进行后处
理所构建的单词的位置信息，其显示于字符图像之上。图IIA示出了从字符图像识别中获
得的单个字符的数据，图11B示出了通过使用单词数据库对被识别的字符进行后处理的状
态，图IIB示出了在移除特定的字符和符号之后完成单词构建的状态。 在步骤S809，对于在用户选择的位置处的电子词典数据库搜索词，在显示于屏幕
上的字符图像上，将词典词目或从电子词典数据库搜索到的关键词及对应的含义直接提供给用户。在这里，以允许向用户显示其他信息的半透明型提供翻译结果。进一步，如果搜索 结果覆盖了先前的搜索结果，通过屏幕以不会覆盖先前搜索结果的方式向用户提供搜索结 果。 根据本实施例的识别及翻译字符图像的方法主要分为以下列方式构建屏幕的显
示用户可以选择性地选择要识别的区域，显示字符识别结果数据信息当中的、在屏幕设备
上显示的被识别字符图像的被识别的相应字符串或单词的相关位置信息；以及用户能直接
将信息与先前信息区分开，并由用户从被区分出的单词中选择单词，在电子词典中搜索所 选择的单词，并直观地将翻译结果提供给用户。 图9A到9C图解了在识别字符图像之后存储的整个识别数据的配置。图9A到9C 顺序地示出了作为字符图像识别的结果的、单个识别的字符、包括单个字符的单个单词、包 括单个单词的单个字符串的结构和包括字符串的块。通常，在英语字符识别的情况下，对于 在单个单词之间有空格的字符串，单词之间的空格也被识别，因此，在输出结果中，用户能 直接识别单个单词。然而，对于其单词之间没有空格的字符串的语言(如汉语或日语)的 字符图像识别，进一步需要分离单个单词的步骤(后面将进一步描述)。使用下面的方法， 解决上述问题。 在第一种方法中，识别字符图像的单个字符，接着，对于以相应国家的语言所写的 字符串的句子，分离单独含义成分的单词(语素分析方法)。 在第二种方法中，识别单个的字符，接着对于所识别的字符串的句子，通过分别使 用对应语言的大规模单词列表数据库，分离单个单词。然而，上述方法进一步需要使用大规 模信息、便携式电话存储器和中央处理器(CPU)，因此严重限制了该方法在当前便携式终端 上的使用。 如图5所示，在执行字符识别的预处理步骤S410包括以下面的方式处理对应的图 像即使当要识别的字符图像中的字符颜色比字符的背景颜色亮时，也能识别字符。在上述 步骤中，虽然字符识别的种类可能有差异，但字符识别器可以在其结构中直接包含上述步 骤。 图12A到12C是图解根据本发明的实施例的根据用户选择电子词典数据搜索词的 方法处理的字符图像的示例的视图。当用户从屏幕上显示它们对应的位置搜索中的候选搜 索词中选择如图12A所示的位置时，对应的候选搜索词作为搜索词被选择，同时被提供给 用户作为来自与电子词典数据库相关联的搜索翻译的结果信息。使用多种技术可以容易地 将所选的搜索词与其他邻近的候选搜索词区分开。在这样的技术中，当用户在从候选搜索 词中选择搜索词的过程中不直接选择对应单词的位置区域时，那么如图12C所示，自动计 算屏幕上最接近用户选择的位置区域的候选搜索词位置(例如，图12B中的方框)，并可选 地示出。 图13A到13D是图解根据向用户提供所选单词的位置信息的方法的字符图像的视 图。 图14是表示用于确定用户选择的搜索词与所选的电子词典关键词或词目是否匹 配的验证方法的流程图。在通过屏幕提供电子词典搜索翻译的结果的处理过程期间，执行 验证方法，以进一步验证用户所选的搜索词和对应的电子词典搜索结果信息(词典词目或 关键词)是否互相匹配。当关于从原始字符图像识别和选择的搜索词的电子词典的输出结果有可能是错误的时，如图14所示的验证方法允许用户直观地验证错误结果。特别地，由 于搜索功能根据不同种类的电子词典而不同地运行，所以用户(其不懂相应的语言)无法 得知所提供的信息是否正确。然而，通过图14中所示的验证方法，可以解决上述问题。
参看图14，用于确定用户选择的搜索词与所搜索的电子词典关键词或词目是否匹 配的验证方法包括第一步骤(S81)，用于在"搜索词(词目，其被查询以搜索电子词典DB) 和具有每个字符的关键词(词典DB中搜索的结果单词)"之间进行比较；第二步骤(S82)， 用于确定搜索词和关键词是否对应；第三步骤(S83)，用于传输结果验证完成信息(搜索词 和关键词是对应的)；及第四步骤(S84)，用于传输结果验证失败信息(如果搜索词与关键 词不对应)。 图15A到15D图解了用户选择的搜索词的电子词典数据库搜索结果的屏幕显示的 实例，其图解了在屏幕上显示整个字符图像或字符图像部分区域的结果的方法。图15A和 15B图解了显示用户选择的搜索词的电子词典数据库搜索结果的屏幕，其中屏幕提供了整 个字符图像或字符图像部分区域的识别结果。在图15A，以半透明的窗口显示从电子词典数 据库搜索得到的词典关键词(或词目，802)，上述词典关键词802的搜索结果803也以附加 的半透明窗口提供给用户。图15B示出了当用户仅仅选择字符图像的一部分区域804时的 屏幕。图15C和15D示出了显示用户选择的搜索词的电子词典DB搜索结果的屏幕，其中图 15C中的结果在屏幕的下部区域显示，在图15D中，结果在屏幕的上部区域显示。
图16是图解根据本发明的第三实施例的识别和翻译字符图像的方法的流程图。 参看图16，根据本发明的第二实施例的识别和翻译由附属于便携终端的照相机拍摄的字符 图像并提供结果的方法包括下列步骤。在步骤S21中，存储所拍摄的图像并在屏幕上显示。 步骤S22包括以其能够选择图像的方式通过屏幕向用户提供照相机拍摄的字符图像。步骤 S23包括识别包含于步骤S22中用户选择的字符图像中的要识别区域中的字符并存储被识 别的单个字符。步骤S24包括在通过屏幕提供的字符图像上选择要翻译的区域。步骤S25 包括对步骤S24选择的区域中所包含的字符串进行后处理，从已经后处理的字符串中所包 含的单个字符构建候选搜索词，并从候选搜索词中选择搜索词。步骤S26包括向用户提供 从电子词典搜索得到的结果，其对应于步骤S25中选择的搜索词。步骤S27包括用户有选择 地操作或结束置于便携式设备中的电子词典。步骤S28到步骤S31分别与图8的步骤S811 到S814相类似。 在步骤S22，用户直接从屏幕设备上显示的字符图像中选择要识别的字符图像区
域，并存储所选的区域，以用户能容易识别区域的方式在屏幕设备上的字符图像上显示所 选区域。在步骤S23，对于与屏幕上显示区域相对应的字符图像区域，识别字符图像中包含 的字符，并存储由字符图像识别得到的字符串上的信息，以便输出或以数字字符数据类型 存储被识别的单个字符。在步骤S24，存储显示于屏幕设备上的字符图像上的用户所选的要 翻译区域的位置信息，并选择一个字符串，其距离对应的位置信息最近且存在于包括先前 识别的/存储的字符信息的位置中。 在步骤S25，对步骤S24中选择的所述那个字符串进行后处理，以筛选出字符串中 包含的除了字符之外的数字或特定符号，接着对于经后处理的字符串，通过使用所述字符 串中包含的单个字符，构建用于搜索电子词典数据库的候选搜索词。接着，从所搜索的候选 搜索词中选择最终的电子词典数据库搜索词。在步骤S26，在显示于屏幕上的字符图像上，
12直接提供从电子词典数据库搜索得到的结果的词典词目或关键词的定义信息，其对应于所
选的电子词典数据库搜索词，在步骤S27中，使用所选的电子词典数据库搜索词作为电子
词典词目或关键词，以便用户可选择地操作或结束置于便携式设备中的电子词典。根据本
发明实施例的方法可以提供与汉语和日语单词的电子词典相关联地进行翻译的有效方法，
还有，在一些有含意的单词之间不存在空格的语言中(例如，朝鲜文的复合名词)，可以向
用户提供对应的复合名词的单个有含意单词的基于电子词典的翻译结果。 在根据本发明的这个实施例中，通过直接使用来自内置于便携式终端或其他类似
设备中的电子词典的信息来区分实际要翻译的搜索词是可能的，通过与电子词典数据库相
关联地搜索用户最终选择的单词获得准确的翻译结果也是可能的。 图17是图解图16的步骤S25的流程图。步骤25可根据两种方法执行。图17对 应于两种方法中的第一种。 步骤S25包括在步骤(d-l)(步骤S41-44)，在对字符串(其位置由用户选择)进 行后处理之后，设置电子词典数据库中可搜索的最大字符串长度，并构建电子词典数据库 候选搜索字符串，其包括具有最大字符串长度数量的字符，字符从对应于用户选择位置的 字符的左边开始；在步骤(d-2)(步骤S45-S46)，与电子词典数据库相关地，搜索作为单词 的电子词典数据库候选搜索字符串，并确定搜索结果是否存在于电子词典数据库中；在步 骤(d-3)(步骤S47)，如果在电子词典数据库中不存在候选搜索字符串，则通过改变候选字 符串的长度和包含于所述串中的字符来更新电子词典数据候选搜索字符串；在步骤(d-4) (步骤S48)，与电子词典数据库相关地，搜索被更新的电子词典数据库候选搜索字符串(假 定其是单词)，当存在假定为单词的字符串的电子词典数据库搜索结果时，完成电子词典数
据库搜索选择，并通过屏幕提供相应的搜索结果。 步骤(d-l)包括在步骤S41，调出包括与屏幕上用户所选择的位置最接近的字符 的识别字符串，在步骤S42，从所识别的字符串中移除数字和特定字符，在步骤S43，设置最 大字符串长度以为电子词典数据库搜索构建第一单词，在步骤S44，构建对应于所设置的最 大字符串长度的电子词典数据库候选搜索字符串。 步骤(d-2)包括在步骤S45，从电子词典数据库中搜索候选搜索字符串(假定其 是单词)，在步骤S46，确定所搜索的单词是否存在于电子词典数据库中。在重复执行步骤 S45到S47之后，在步骤S48，传输关于电子词典数据库搜索词的选择完成的信息。
图19A到19B和图20A到20G是图解对所识别的字符串进行后处理及基于图17A 选择电子词典数据库搜索词的方法的视图。图19A图解屏幕的实例，其中从屏幕上显示的 字符图像中选择要从电子词典数据库中进行搜索的每个字符，图19B图解了屏幕的实例， 其中电子词典数据库搜索词的位置信息被显示于字符图像之上。图20A到20F图解了通过 使用电子词典数据词目在经后处理的字符串上标记单词(word-labeling)的实例，图20G 图解了从被标记的单词中选择用户所选位置区域的单词作为电子词典数据库搜索词的示 例。 图18是图解执行图16中步骤S25的第二方法的流程图。如图18所示的方法不 同于图17所示的方法之处在于它不使用用户选择的特定的单个字符的位置，而是使用包 括单个字符的位置信息的整个对应的字符串。换句话说，对于包括用户所选字符的位置的 整个对应的字符串，通过使用置于便携式终端中的电子词典数据库的词典词目或关键词上的信息，分离构成对应字符串的单词，并从所分离出的单词中选择包含用户第一次选择的
位置区域的单个字符的单词作为电子词典搜索词。特别地，图8中图解的方法包括在步 骤S51，调出包括与屏幕上用户所选择的位置最接近的字符的识别字符串，在步骤S52，从 所识别的字符串中移除数字和特殊字符，在步骤S53，基于从电子词典数据库中搜索得来的 词目，标记第一个到最后一个字符串，在步骤S54，通过将相同值的被标记字符构建为一个 单词来构造连续的单词，在步骤S55，从连续的单词中选择包含用户所选位置信息的单词作 为最终电子词典数据库搜索词，并传输完成信息。 图21A到21D图解了实际照片的例子，其中在显示关于用户所选的搜索词的电子
词典数据库搜索结果的方法中，选择整个字符图像或部分字符图像。图21A图解了识别整
个字符图像时的结果，图21B图解了用户选择部分区域(实线)的结果。 图21C和21D图解了自动垂直调整显示位置的实例，其根据用户所选的用于在屏
幕中搜索翻译的单词的位置来显示翻译结果。 图22(a)和22(b)示出了下述屏幕向其提供了关于在包含字符图像中识别的字
符的电子词典数据搜索词的与词典相关联的翻译结果，图23图解了直接操作置于便携式
终端中的电子词典以获得更加特定的翻译结果信息的方法和实例。图22(a)是在字符图像
上提供翻译结果的实例，图22(b)是从电子词典提供关于单词的特定结果的实例。 图23图解了操作电子词典的过程，该过程包括选择用于操作电子词典的菜单，
存储电子词典数据库搜索词到临时存储器中，将电子词典数据库搜索词传输到电子词典接
口，以及操作电子词典的同时将电子词典数据库搜索词转换为词典关键词。 虽然在此处参考特定示例性实施例示出并描述了本发明，但本领域技术人员可以
理解的是在不脱离本发明精神和范围的情况下，可以做出形式及细节上的各种改变。因
此，本发明的精神和范围不由此处所述的实施例确定，而由附加的权利要求及附加的权利
要求的等价物确定。
权利要求
一种方法，用于识别包含于照相机拍摄的字符图像中的字符串或单词，并通过使用内置的电子词典数据库(DB)将所识别的特定字符串或单词翻译成另一种语言，该方法包括识别拍摄的字符图像中的字符串或单词，其中识别用户选择的字符图像区域中包含的字符串或单词，并对所识别的字符串进行后处理；及执行与电子词典相关联的搜索和翻译，其中与电子词典DB相关联地搜索用户从已被识别和后处理的字符串中包含的单词中选择的字符或单词，并在屏幕设备上显示所搜索到的单词的翻译结果信息；其中识别字符串或单词包括用户接口连接，其中向用户提供关于所选字符图像区域的位置和所识别的字符串单词的位置的信息，接着，翻译用户所选的位置区域中的字符串或单词，及其中执行与电子词典相关联的搜索和翻译是用于与电子词典DB相关联地搜索在用户接口连接步骤中选择的字符或单词，并通过用户接口连接将翻译结果提供给用户。
2. 如权利要求1中的方法，其中用户接口连接包括(a) 在屏幕设备上显示照相机拍摄的字符图像之后，在选择用于字符图像识别的识别 对象区域范围的过程中，在所述屏幕设备上显示的字符图像上，直接显示正被选择或已被 选择的识别区域的位置，以便允许用户直观地验证选择步骤和结果；(b) 在所述字符图像上直接显示所识别单词的相关位置信息，以便从所识别的字符图 像区域的对应字符识别结果中，确定是否识别了用户要翻译的单词；及(c) 在所述屏幕设备上显示的所述字符图像上，直接显示用户从所识别字符图像区域 中包含的多个所识别单词中选择的位置处的单词，及从所述电子词典DB搜索的对应的翻 译信息，其中，所述用户接口连接提供了所述字符图像与所述电子词典DB的连接功能。
3. 如权利要求2中的方法，其中，所述用户接口连接进一步包括(d) 确定是否选择不同于用户第一次选择的字符或单词的另一个字符或单词，然后如 果用户选择了另一个字符或单词，则返回步骤(c);及(e) 如果用户没有选择所识别的字符或单词，则从用户接收确定是否返回步骤(a)的 输入。
4. 如权利要求2中的方法，其中在步骤(a)中，当用户选择整个拍摄图像作为字符识别 区域时，执行字符或单词的识别和翻译。
5. 如权利要求2中的方法，其中对所识别的字符串进行后处理包括 从所识别的字符串中筛选出特定的字符或数字；从所识别的单个字符构建单词，并搜索所构建单词的相关联的词典数据以验证词典含 义；及通过步骤(c)向用户提供所识别的字符或单词。
6. —种方法，用于识别和翻译通过照相机拍摄包括字符的主题而获得的字符图像中包 含的字符串或单词，并通过屏幕设备将结果提供给用户，该方法包括以下步骤(a)提供用户接口连接，其中用户在拍摄的字符图像中直接选择要识别的区域，并能实 时确认所选区域的信息；(b) 识别字符并存储用户选择的区域中包含的所识别的字符；(c) 通过筛选出特定字符或数字，对步骤(b)中所识别出的字符或字符串中的、存在于 包括位于屏幕设备上显示的字符图像中的用户所选择区域处的字符或单词的位置上的字 符串进行后处理，然后通过使用电子词典数据库(DB)中的单词将字符串分成可选择的单 词，并临时存储结果信息；(d) 从步骤(c)中临时存储的单词中，与电子词典DB关联地搜索位于用户第一次选择 的区域中的单词，并验证结果；及(e) 向用户提供步骤(d)中验证的单词的翻译结果。
7. 如权利要求6中的方法，其中通过使用触摸屏或点击设备如鼠标的拖曳来执行步骤(a)。
8. 如权利要求6中的方法，其中步骤(b)包括识别用户选择的区域中所包含的字符， 然后将识别结果存储为单个字符和单个字符的位置信息、包括所述单个字符的单词和所述 单词的位置信息、包括所述单词的行和所述行的位置信息、包括一系列行的块和所述块的 位置信息、以及一系列块和所述一系列块的位置信息。
9. 如权利要求6中的方法，其中步骤(d)包括向用户提供关于字符图像的用户所选 的单词的位置信息，其在提供识别前状态的字符图像的屏幕设备上与围绕相应单词的高亮 标记重叠，及其中，当用户仅仅选择整个字符图像的一部分时，提供用户仅选择的区域的位置信息 中包含的单词或字符的位置信息。
10. 如权利要求6中的方法，其中在步骤(d)，如果用户没有准确地选择实际要翻译的 单词的位置，则计算用户所选位置与所识别单词的位置之间的距离，并与电子词典关联地 翻译距离用户所选位置最近的单词。
11. 如权利要求6中的方法，其中当要翻译的语言在单词之间没有空格时，步骤(c)包括在识别所述字符图像的字符之后，载入所有存储的字符串的数据； 筛选出所载入的字符串中包含的数字或特定字符；将经筛选的字符串与所述电子词典DB相比较，并分离出所搜索的单词；及 从用户通过屏幕设备直接选择的分离出的单词中，与所述电子词典DB相关联地搜索 单词。
12. 如权利要求6中的方法，其中在步骤(e)，以允许向用户显示其他图像信息的半透 明类型提供翻译结果，并且如果该结果与先前的搜索结果重叠，则通过屏幕设备以该结果 与先前的搜索结果不重叠的方式向用户提供搜索结果。
13. 如权利要求6中的方法，进一步包括(f) 在步骤(e)之后操作电子词典DB ;(g) 确定是否从其中电子词典DB运行在步骤(f)中的状态返回提供翻译结果的屏幕设备；(h) 确定是否选择另一个要翻译的单词；(i) 如果步骤(h)中没有选择要翻译的另一个单词，则确定是否选择字符图像中要识 别的另一个区域；(j)如果步骤(i)中没有选择字符图像中另一个未识别的区域，则确定是否识别另一 个字符图像，其中在步骤(f)通过屏幕设备向用户提供用户直接操作电子词典DB的方式，然后当选 择该操作方式时，在屏幕设备上显示电子词典DB的操作状态。
14. 如权利要求6中的方法，其中步骤(d)包括在对用户所选位置处的字符串进行后处理之后，通过与置于便携式终端中的电子词典 DB的词目或关键词相关联地顺序搜索字符串的第一个字符到最后一个字符，然后获得可选 择的候选单词作为最终的电子词典DB搜索词，并分别存储该候选单词；以及从多个存储的候选单词中，选择包括对应于用户第一次选择位置的位置信息的候选单 词，作为最终的电子词典DB搜索词。
15. 如权利要求14中的方法，其中在各个单词之间不具有空格的语言的字符串中，构 建在搜索中使用的电子词典DB搜索词包括选择首先用于搜索电子词典DB的候选字符串的最大长度，同时考虑对应的语言的单 词长度的频率；及当在电子词典DB中不存在电子词典DB搜索词的候选字符串时，通过縮短候选字符串 的长度和相应地减少已包含的字符串中包含的字符的个数，来更新电子词典DB搜索词的 候选字符串。
16. 如权利要求11中的方法，其中该语言是中文和日文中的一种。
17. 如权利要求15中的方法，其中该语言是中文和日文中的一种。
全文摘要
提供了一种用于识别由照相机拍摄的图像及与电子词典相关联地翻译字符的方法。该方法包括从拍摄的字符图像中直接选择要识别的区域并执行字符识别、与词典数据相关联地翻译和识别用户选择的单词的字符，以及在屏幕设备上显示与词典数据相关联的对用户选择的字符或单词的翻译结果信息。该识别包括向用户提供所选的字符图像区域的位置信息和所识别字符串单词的位置信息，然后翻译用户所选的位置区域中的字符串或单词。与电子词典相关联的搜索和翻译是用于与电子词典数据库相关联地搜索所选的字符或单词，并向用户提供翻译结果。
文档编号G06F17/30GK101702154SQ20091021160
公开日2010年5月5日 申请日期2009年7月10日 优先权日2008年7月10日
发明者吴尚昱, 吴润济, 李东昌, 郑熙远, 金尚镐, 金智勋, 金桢林, 金玄水, 黄星泽 申请人:三星电子株式会社