识别字符的方法和装置的制作方法

专利名称：识别字符的方法和装置的制作方法
技术领域：
本发明一般涉及用于识别字符的方法和装置，更具体地，涉及用于使用 照相机识别字符的方法和装置。
背景技术：
随着电子技术的发展，诸如移动通信终端、个人数字助理(PDA)和便 携式游戏设备的便携式终端除了它们的一两个专有功能之外，还已经合并有 各种功能。例如，除通信功能需要的设备之外，移动通信终端也可以包括数 字照相机或音乐文件再现设备，以便为用户提供照相功能或音乐再现功能。 此外，这样增加的设备与其它应用相连接，以便提供各种功能。例如，包括 照相机的便携式终端在与字符识别应用连接时，还可以使用静止图像提供字 符识别的功能。
一般说来，包括照相机的便携式终端产生和存储用于字符识别的静止图 像，然后字符识别应用读取存储的静止图像以便执行字符识别。识别的结果 可以被用于另一个应用。具体地说，字符识别可以用来省去复杂的处理，诸 如用户的字符4建输入。字符识别还可以用来输入那些不能通过包括在使j夷式 终端中的键输入的字符，或者用来输入用户不知道的字符。
但是，传统字符识别方法不能实时地快速地识别连续字，因为用户按下 快门来获取字符的图片，由拍摄的结果获得静止图像，然后执行字符识别处 理。在这点上，如果存在许多要被识别的字符，则需要一种高效快速地执行 字符识别并且提供识别结果的方法。

发明内容
做出本发明以解决至少上述问题和/或缺点并且提供至少下述优点。因 此，本发明的一方面提供一种用于识别字符的方法和装置，当用户使用照相 机识别字符时，该方法和装置实时地快速地识别多个字符并且为用户提供识 别的结果。根据本发明的 一方面，提供了 一种在字符识别装置中识别字符的方法。 根据字符识别请求激活照相机，以及设置预览模式以实时地显示通过照相机 拍摄的一个或多个图像。控制照相机的自动聚焦，以及从预览模式下获得的 图像中获得具有预定水平的清晰度的图像作为用于字符识别的图像。对用于 字符识别的图像进行字符识别处理以便提取识别结果数据。从识别结果数据 中提取出排除了非字符数据的最终的识别字符行。
用于识别字符的方法还可以包括根据字符识别请求激活照相机并且设 置预览模式，该预览模式实时地显示通过照相机拍摄的一个或多个图像；从 用于字符识别的图像中检测字符；以及如果没有字符存在，则获得通过预览 模式首先显示的预览图像，或者如果存在字符，则检测由用户引起的字符识 别装置的运动是否存在。
用于识别字符的方法还可以包括如果字符识别装置的运动存在，则获 得通过预览模式首先显示的预览图像；以及如果没有运动存在，则控制照相 机的自动聚焦，并且从预览模式下获得的图像中获得具有预定水平的清晰度 的图像作为用于字符识别的图像。
用于识别字符的方法还可以包括组合包括最终的识别字符行的字符和 预定的最大数目的字符的第一字，并且使用第一字搜索存储关于各种语言的 字典信息的字典数据库，以便为用户提供相应的字。


通过下面结合附图的详细描述，本发明的上述方面、特征和优点将更加 明显，其中
图1是示出根据本发明的实施例的字符识别装置的结构的图2是示出根据本发明的实施例的字符识别装置的操作方法的流程图3是示出根据本发明的实施例的控制字符识别装 的自动聚焦功能的
过程的流程图4是示出根据本发明的实施例的字典搜索过程的图5是示出才艮据本发明的另 一个实施例的字典搜索过程的图6是示出根据本发明的另 一个实施例的字符识别装置的操作过程的流
程图；图8是示出根据本发明的实施例的确定运动的存在的过程的流程图； 图。 、、、、 -、 具体实施例方式
下面参考附图详细描述本发明的优选实施例。虽然它们在不同的附图
已知的结构或处理的详细描述可以被省略以避免混淆本发明的主题。
参考图l描述本发明的字符识别装置的结构。根据本发明的字符识别装 置可以被安装在诸如移动通信终端或便携式媒体播放机(PMP)的便携式终 端上。如图1所示，字符识别装置包括识别控制单元10、照相4几20、存储 器30、字典数据库40、显示单元60和^:输入单元50。
照相机20根据识别控制单元10的控制，使用固态图像捕获设备等将通 过物镜和取景器接收的对象的模拟图像转换成数字信息，以便将转换后的信 息存储在存储器30中。
显示单元60在识别控制单元10的控制下，将存储在存储器30中的各 种图像和数据信息显示在屏幕上。当照相机功能被激活时，操作照相机20 以便执行预览模式，该预览模式实时地将通过镜头捕获的图像显示在显示单 元60的屏幕上。当在期望的对象被显示在显示单元60的液晶显示器(LCD) 上的状态下用户按下照相按钮时，图像通过照相机20的镜头被捕获，以及 捕获的图像被压缩，以存储在存储器30中。此外，显示单元60显示字符识 别结果、字符识别状态等等。
键输入单元50包括数字键、方向键或对应于字符识别装置的各种功能 的功能键，并且为识别控制单元IO提供与用户按下的键对应的键输入数据。
字典数据库40存储对应于各种语言的字典信息。
存储器30存储用于处理并控制识别控制单元10的程序、参考数据、各 种可更新的数据存储器数据等等，其被提供给识别控制单元10的工作存储 器。此外，存储器30存储由照相机20产生的图像数据。
识别控制单元10控制字符识别装置的各种操作，处理数据，根据本发 明识别字符，使用识别的字符搜索字典数据库40，以及为用户提供搜索结果。
参考图2描述识别控制单元10的操作。图2示出了根据本发明的实施例的识别控制单元10的操作。
参考图2，如果用户请求字符识别，则识别控制单元IO在步骤101激活 照相机20,设置预览模式，以及实时地将通过照相机20拍摄的图像显示在 显示单元60上。识别控制单元IO在屏幕上指示输入起始点。输入起始点有 助于提高字符识别率并且表示用于识别的字符在屏幕上的位置。当预览模式 被设置并且图像被显示在显示单元60上时，用户将照相机20的镜头对准字 符。用户可以调整照相机20的位置以使得字符在输入起始点上。
在上述过程中，照相才几20由用户移动以使得照相才几20和对象字符之间 的距离可能被改变，从而引起聚焦损失以及图像的模糊。模糊是指图像中的 对象的轮廓模糊的现象。在严重模糊的图像中是不可能识别出字符的，因此 必须获得具有一定水平的清晰图像。因此，在本发明中的识别控制单元10 在步骤103中控制自动聚焦，其实时地检测图像输入的模糊并且自动地调整 聚焦。
自动聚焦的控制如图3所示。识别控制单元10在步骤201获得预览图 像并且在步骤203检测模糊。识别控制单元10在步骤205识别预览图像中 是否存在模糊，以及如果存在模糊，则在步骤209执行自动聚焦。但是，如 果不存在冲莫糊，则识别控制单元10在步骤207获得预览图像作为用于字符 识别的图像。
在使用模糊检测方法中，如果当前图像的对象的轮廓不如预定的参考值 清晰，则识别控制单元10确定产生了模糊并且当前图像的焦距是不完全的 (incomplete )。识别控制单元10然后控制照相机20以便执行自动聚焦。如 果根据模糊检测结果，包括在当前图像中的对象的轮廓与预定的参考值一样 清晰或者比预定的参考值更清晰，即具有大于或等于参考值的值的清晰度， 则该图像被获得作为用于识别的图像。因为识别控制单元IO通过自动聚焦 控制有条件地执行自动聚焦，因此它可以快速地获得用于识别的图像。与其 中存储特定的静止图像、读取所存储的静止图像、然后将读取的静止图像用 作用于识别的静止图像的传统字符识别相反，在本发明中，从预览模式中获 得的没有模糊的预览图像用于识别，以便减小字符识别的处理时间。
返回到图2，在步骤105通过上述过程获得用于识别的图像，并且在步 骤107，识别控制单元IO执行字符识别预处理。在字符识别预处理中，识别 控制单元10调整图像的亮度或光强，或者调整轮廓使其清晰，以提高当前获得的用于识别的图像的识别率。然后，识别控制单元IO提取包括字符的
感兴趣区域(ROI)。
识别控制单元10在步骤109使用其中字符识别预处理已经完成的预处 理的图像来识别字符，并且在步骤111执行字符识别后处理。字符识别后处 理是一种字典搜索的预处理，其去掉可能由于错误识别而导致的识别结果。 例如，在识别'Korea XXX，(其中X不是字符，而是不同的语言、符号或 者输入图像中的特殊字符)时，需要提取用于确定从识别结果中准确地识别 出实际字符的字符码(即，作为通过由识别装置识别图像获得的结果的码， 例如ASCII配置)。此外，识别控制单元10考虑识别的字符的各自语言的特 性，以处理它们，使得能够更快速且准确地获得字典搜索结果。
因为韩国语中的字的变换很复杂，因此如果没有进行用于词素分析或变 换的处理，则很难获得准确的字典搜索结果。例如，对于字'sylphic，，字 典一般仅仅包括'sylph，或'sylphid，。即使识别器准确地识别出'sylphic'， 一般字典也不包括字的每一个形式，从而使得搜索期望的字失败。此外，对 于字'outputted，，当在字典中仅仅搜索'output'时，可以获得迅速的结果。 因而，应该应用基于语言的唯一语法规则，以便转换字，从而使得能够进行 快速且准确的字典搜索。此外，如果在从预处理的图像中提取的识别结果数 据中存在不能被识别为数字或语言的数据，则去掉该无效(null)数据。无 效数据的例子包括特定的符号、空格等等，并且无效数据的类型或图案被预 先存储在存储器30中。例如，如果识别的结果是'fan tastic!!'，则特定的 符号" "和"!!"被去掉，以使得该字符被重建为"fantastic"。 通过此过
程，可以获得用于搜索的准确的字符。
返回参考图2,识别控制单元IO在步骤113使用字符识别后处理完成后 的最终识别的字符或字符的组合来搜索字典数据库40，以便在步骤115在显 示单元60上显示字典搜索结果。因此，可以提供被识别为存在于字典中的 字的字符行。
根据本发明的实施例，识別控制单元10将最终识别的字符行组合成为 包括最大数目的字符的第一字，并且使用组合的字搜索字典数据库40。没有 用户的请求，包括在字中的字符的排列顺序就不改变。此外，如果作为字典 数据库40的搜索结果不存在相应的字，则识别控制单元10使用其中从第一 字中去掉一个字符的第二字来搜索字典数据库40。识别控制单元10使用其中连续地去掉一个字符的字来搜索字典数据库40,直到相应的字被找到。继 续字典搜索直到仅有一个字符剩余，即搜索包括一个字符的字，并且每个搜 索结果可以被提供给用户。移动字符的顺序是预定的。此外，去掉字符的顺 序或最大搜索字的字符的最大数目可以由用户设置。
例如，如果识别的字符的数目是4并且搜索字的字符的最大数目被设置 为4，则包括4个字符的字被首先搜索。如果不存在搜索结果，则在逐个减 少字符数的同时执行搜索。也就是说，如果从开始位置起识别结果是'A，、 'B，、 'C，、 'D，并且搜索字的最大字符数是4，则搜索被执行为依次具有 ABCD、 ABC、 AB和A。如果在搜索期间输出搜索结果，则搜索可以被中 断。
如图4所示，如果识别的字符行是"TONE"，则最大字符数是4，并且 被设置以提供每个搜索结果，在第一次搜索301中搜索到"TONE",在第二 次搜索303中搜索到"TON",在第三次搜索305中搜索到"TO",在第四 次搜索307中搜索到"T"。
识别的字或字符附近的其它字或字符可以已存在于识别的结果中。因 此，为了避免再识别相邻的字或字符的处理，可以移动基于该字或字符的左 右键，以使得在当前识别的字符行当中有选择地执行字典搜索。例如，如果 在显示单元60上显示在步骤111中获得的最终识别的字符行的状态下从用 户接收到选择字符行的一部分的键输入，则识别控制单元10可以选择对应 于该键输入的字符并且搜索包括所选择的字符的字。如图5所示，在显示 "RUNWAY"的状态下，用户可以在步骤401通过输入左/右方向键来仅选 择前面部分"RUN"或仅选择后面部分"WAY"。因此，识别控制单元10 对于选择的字执行字典搜索。
返回到图2,如果在步骤117用户请求更详细地查看当前显示的字典搜 索结果，则识别控制单元10进行到步骤119以便提供详细的字典信息。此 外，如果用户请求再识别该字符，则识别控制单元10返回到步骤103以便 重复执行上述步骤。
本发明的前述字符识别过程描述了当用户将字符识别装置放置在要被 识别的字符上时的一系列过程。但是，当用户移动以利用字符识别装置识别 另一个字符时，照相机的自动聚焦和字符识别过程被执行并且非期望的结果 被显示，引起了照相机的自动聚焦控制和识别的不必要的执行。这使得由于功率消耗和计算量而引起照相机的输入图像的帧速率减小，因此当用户带着 照相机一起移动时，发生照相机预览中断现象等。
为了控制前述基本操作顺序，根据图6所示的另 一个实施例，在步骤501 获得预览图像，在步骤503检测字符，以确定字符是否存在于当前输入的图 像中，以便在步骤505根据结果确定字符的存在。如果字符存在，则在步骤 507通过比较当前输入的图像和先前图像来检测运动，以确定用户是否移动 照相机，以便在步骤509确定运动的存在。如果没有运动，即，只有当用户 将照相机放置在要被识别的字符上时，以类似于图2的方式在步骤511、513、 515、 517、 519和521中执行自动聚焦和识别。如果确定没有字符存在或运 动存在，则再次执行获得照相机预览图像的步骤501。
在上述实施例中，提供了确定字符的存在并且还^r测运动的情况。但是， 根据本发明的实施例，可以构想以使得仅确定字符的存在并且然后根据结果 执行自动聚焦和识别过程，或者仅在未检测到运动时执行自动聚焦和识别过 程。
图7示出了用于确定字符的存在的实施例。因为字符具有可识别的尺寸， 因此用于确定字符的存在的边界值可以被设置为基于该尺寸的实验值。此 外，使用表示字符的开始的指示器，其使得用户能够容易地聚焦该字符。基 于该指示器选择其中获得边缘的数目的区域。参考图7，识别控制单元10 在步骤601获得预览图像，在步骤603从预览图像中获得字符检测区域，在 步骤605执行边缘过滤，以及在步骤607计算边缘的数目。此外，如果在步 骤609中边缘的数目大于或等于边界值，则在步骤611确定字符存在。为了 更准确地确定运动，需要确定实际检测的边缘是否为该字符的边缘或另 一个 对象的边缘。但是，如果要被用户识别的对象是文档，则用户将照相机移动 到书的侧面附近，以使得假定用户将照相机放置在文档的侧面附近的情况， 以便于描述本发明的实施例。
图8示出了用于确定运动的特定实施例。由于有必要比较当前图像和先 前图像以确定运动，因此识别控制单元10存储先前的图像帧，以考虑与计 算量相比较的适当的性能。此外，识别控制单元10通过比较存储的先前图 像帧与当前图像帧来计算能够确定运动的值，并且将边界值应用于计算值以 便确定运动的存在。可以通过基于可变的边界值反映适当的实验值来设置边 界值，其中考虑包括在用于确定当前运动的区域中的字符的尺寸。可以增加先前图像帧的数目或反映用于确定运动的值的历史，以用于更准确地确定运 动。
参考图8,识别控制单元10在步骤701获得预览图像，在步骤703获得 字符冲企测区域，在步骤705执行在获得的字符检测区域中的边缘过滤，以及 在步骤707存储过滤处理的图像。边缘过滤对应于图7的步骤605。然后， 识别控制单元10在步骤709比较存储的图像当中的最当前的帧和其前一帧 之间的处理后的图像并且计算图像之间的差，以及在步骤7H计算用于确定 运动的运动确定边界值。其后，识别控制单元10比较计算的差值与该运动 确定边界值。如果该差值小于运动确定边界值，则在步骤715确定没有运动 存在以便执行下一个识别过程。如果差值大于或等于运动确定边界值，则确 定运动已经发生。
图9示出了前述字符区域检测和运动检测的测试结果。可以通过比较运 动差计算的值和运动确定边界值来确定没有运动的时间点。此外，与存在于 当前字符中的边缘的数目成比例地计算运动确定边，，以使得可以更准确 地改变运动确定边界值。字符存在确定值是用于确定当前图像中字符的存在 的值，其是指在没有字符的图中具有值为O的区域，即是指照相机位于字符 附近的空白区域或文档的空格处的情况。因而，通过检测字符和运动的存在 控制识别装置的总流程，可以在照相机位于要被识别的视点或字符上时识别 字符同时保持实时预览。
因而，本发明在照相机的预览屏幕中实时地识别字符以便快速且连续地 为用户提供识别结果。此外，本发明已经建议了提高识别率的错误控制方法 和预处理方法以及使得对于识别的结果能够进行有效字典搜索的后处理方 法。通过本发明的字符识别方法，可以快速地识别字符而不会使得识别率退 化。此外，本发明可以在运动期间检测用户的运动程度并且4丸行字符识别功 能，以使得不浪费识别非期望的字符的不必要的时间，从而提供了快速的字 符识别和字典搜索。
尽管已经参考本发明的特定优选实施例和附图对本发明进行了示出和 描述，但是本领域技术人员应当理解，在不脱离由所附权利要求书所定义的 本发明的精神和范围的情况下，可以对本发明做出形式和细节上的各种修 改。
权利要求
1、一种用于在字符识别装置中识别字符的方法，该方法包括步骤根据字符识别请求激活照相机，以及设置预览模式以实时地显示通过照相机拍摄的一个或多个图像；控制照相机的自动聚焦，以及从预览模式下获得的一个或多个图像中获得具有预定水平的清晰度的用于字符识别的图像；对所述用于字符识别的图像进行字符识别处理以便提取识别结果数据；以及从识别结果数据中提取出排除了非字符数据的最终的识别字符行。
2. 如权利要求l所述的方法，其中所述获得用于字符识别的图像的步骤 包括获得在预览模式中获得的 一个或多个图像； 在该一个或多个图像中获得字符检测区域； 执行边缘过滤以便提取多个边缘；当提取的边缘的数目大于或等于边界值时确定字符存在；以及 当字符存在时，控制照相机的自动聚焦，以及从预览模式下获得的一个 或多个图像中获得具有预定水平的清晰度的用于字符识别的图像。
3. 如权利要求2所述的方法，其中所述控制照相机的自动聚焦的步骤包括识别存在的字符的l仑廓是否与预定水平的清晰度一样清晰； 当存在的字符的轮廓不如预定水平的清晰度一样清晰时，确定在该一个或多个图像中的包括所述存在的字符的图像中存在模糊，并且执行照相机的自动聚焦。
4. 如权利要求l所述的方法，其中所述获得用于字符识别的图像的步骤 包括比较在预览模式下获得的两个或多个帧的 一个或多个图像的每一个以 便检测运动的存在；以及当作为检测的结果没有运动存在时，控制照相机的自动聚焦，以及从预 览模式下获得的一个或多个图像中获得具有预定水平的清晰度的用于字符 识别的图像。
5. 如权利要求4所述的方法，其中所述检测运动的存在的步骤包括 获得在预览模式中获得的 一个或多个图像；在该一个或多个图像中获得字符检测区域；当确定字符存在时，通过对字符检测区域进行边缘过滤来存储边缘过滤 处理的图像；比较存储的图像当中的最当前帧的处理后的图像与前一帧的处理后的图像，并且根据处理后的图像之间的差计算一个值；当计算的值小于运动确定边界值时，确定不存在运动；以及 当计算的值大于或等于运动确定边界值时确定运动存在，并且再执行检测运动的存在的步骤。
6. 如权利要求1所述的方法，还包括组合最终的识别字符行的一个或 多个字符作为具有预定最大字符数的第一字，并且使用第一字搜索存储关于 各种语言的字典信息的字典数据库，以便为用户提供相应的字；以及逐个从 第一字中排除字符并且组合具有最少一个字符的新字，并且使用该各个新字 来搜索字典数据库，以便为用户提供相应的字。
7. 如权利要求6所述的方法，还包括使用具有由用户从第一字或从最 终的识别字符行中选择的一个或多个字符的字来搜索字典数据库，以便为用 户提供相应的字。
8. —种字符识别装置，包括 照相机，其根据字符识别请求被激活；显示单元，用于显示通过照相机拍摄的一个或多个图像；以及 识别控制单元，用于设置预览模式，该预览模式根据字符识别请求实时 地显示通过照相机拍摄的一个或多个图像，该识别控制单元还用于控制照相 机的自动聚焦，从预览模式下获得的一个或多个图像中获得具有预定水平的 清晰度的用于字符识别的图像，对所述用于字符识别的图像进行字符识别处 理以便提取识别结果数据，以及从识别结果数据中推导出排除了非字符数据 的最终的识别字符行。
9. 如权利要求8所述的字符识别装置，其中所述识别控制单元识别存在 的字符的轮廓是否与预定水平的清晰度一样清晰，以及当存在的字符的轮廓 不如预定水平的清晰度一样清晰时，确定在该一个或多个图像中的包括所述 存在的字符的图像中存在模糊，并且执行照相机的自动聚焦。
10. 如权利要求8所述的字符识别装置，其中为了确定字符的存在，所述识别控制单元获得在预览模式中获得的 一个或多个图像，在该一个或多个 图像中获得字符检测区域，执行边缘过滤以便提取边缘的数目，当提取的边 缘的数目大于或等于边界值时确定字符存在，以及当字符存在时控制自动聚焦。
11. 如权利要求8所述的字符识别装置，其中所述识别控制单元比较在 预览模式下获得的两个或多个帧的一个或多个图像的每一个以便检测运动 的存在，以及当检测到运动时控制自动聚焦。
12. 如权利要求11所述的字符识别装置，其中为了检测运动的存在，所 述识别控制单元获得在预览模式中获得的一个或多个图像，在该一个或多个 图像中获得字符检测区域，当确定字符存在时，通过对字符检测区域进行边 缘过滤来存储边缘过滤处理的图像，比较存储的图像当中的最当前帧的处理 后的图像与前一帧的处理后的图像，根据处理后的图像之间的差计算一个 值，当计算的值小于运动确定边界值时，确定不存在运动，以及当计算的值 大于或等于运动确定边界值时确定运动存在，并且再执行检测运动的存在的
13. 如权利要求ll所述的字符识别装置，其中所述识别控制单元组合最 终的识别字符行的一个或多个字符作为具有预定最大字符数的第一字，并且 使用第一字搜索存储关于各种语言的字典信息的字典数据库，以便为用户提 供相应的字，逐个从第一字中排除字符并且组合具有最少一个字符的新字， 并且使用各个新字来搜索字典数据库，以便为用户提供相应的字。
14. 如权利要求13所述的字符识别装置，其中所述识别控制单元使用具 有由用户从最终的识别字符行或从第一字中选择的一个或多个字符的字来 搜索字典数据库，以便为用户提供相应的字。
全文摘要
公开了一种用于使用图像识别字符的方法和装置。根据字符识别请求激活照相机，以及设置预览模式以实时地显示通过照相机拍摄的一个或多个图像。控制照相机的自动聚焦，以及从预览模式下获得的图像中获得具有预定水平的清晰度的用于字符识别的图像。字符识别处理所述用于字符识别的图像以便提取识别结果数据。从识别结果数据中提取出排除了非字符数据的最终的识别字符行。组合第一字使其包括最终的识别字符行的至少一个字符和预定最大数目的字符。并且使用第一字搜索存储关于各种语言的字典信息的字典数据库，以便为用户提供相应的字。
文档编号G06K9/00GK101609505SQ20091014067
公开日2009年12月23日 申请日期2009年6月12日 优先权日2008年6月19日
发明者吴尚昱, 吴润济, 郑熙远, 金尚镐, 金成喆, 金玄水, 黄星泽 申请人:三星电子株式会社