专利名称：便携终端式图像处理系统、便携终端和服务器的制作方法
技术领域：
本发明涉及对包含在用便携终端的摄像机所拍摄的图像中的字符进行翻译的便携终端式图像处理系统、便携终端和服务器。
背景技术：
近年来，装备了摄像机的便携电话的产品化不断盛行。在日本专利申请公开特开平9-138802号公报中就以下系统进行了公开，即对包含在由这样的便携终端的摄像机所拍摄的图像中的字符串进行字符识别，然后对识别结果的文本进行翻译。此方式就是在便携终端内部具有字符识别处理和翻译处理，使用这些处理对由摄像机所拍摄的图像内的字符串进行识别·翻译。但是在此方式中由于便携终端尺寸上的限制，而存在很难进行高级的字符识别处理和翻译处理的问题。
另一方面，在日本专利申请公开特开平10-134004号公报中提出了将由便携终端(便携电话)的摄像机所拍摄的图像一次发送给外部的服务器，然后将在服务器侧对图像内的字符进行了识别·翻译的结果送回便携终端的方式。根据此方式由于在处理性能高的服务器侧进行字符识别和翻译，故可进行高级的处理。下面使用图25对此方式的动作进行说明。
图25是表示与以往的便携终端式图像处理系统有关的处理过程的流程图。此处理过程被分成便携终端中的处理和服务器中的处理两部分。
首先，在便携终端侧，用户使用内置或者连接于便携终端的摄像机拍摄图像。在这里，读取手写在纸面上的笔记或者被打印的文档的一部分(步骤ST1)。关于所读取的图像指定想处理的服务。作为服务例如指定包含于在步骤ST1所拍摄的图像中的字符串的翻译、或者将该字符作为关键字的数据库检索等。在这里，设指定字符串的翻译服务(步骤ST2)。之后，将所拍摄的图像和所指定的服务请求发送给服务器(步骤ST3)。
接着在服务器侧，若接收到来自便携终端的图像和服务请求(步骤ST4)，则启动对接收到的图像进行处理的应用程序(步骤ST5)。通过所启动的应用程序对包含在接收到的图像中的字符串进行识别而得到文本(步骤ST6)。接着，执行在便携终端所指定的服务。在这里，由于指定了翻译服务故对所抽取出的文本进行翻译(步骤ST7)。将翻译的处理结果发送给便携终端(步骤ST8)。
之后，在便携终端侧接收从服务器发送来的处理结果(步骤ST9)。将接收到的处理结果的内容即翻译文显示在便携终端的显示器上(步骤ST10)。
通过以上的处理，就能够得到包含在由便携终端的摄像机所拍摄的图像中的字符串的翻译结果。
如以上所述那样，以往的方式是通过翻译对图像内的字符串进行了字符识别的结果的字符串(文本)，而得到对于图像内的字符串的翻译结果。但是，由便携终端的摄像机所拍摄的图像，与由一般的OCR(字符识别装置)为识别对象的扫描器所读取的图像相比分辨率低，图像的品质差。另外假设在国外用摄像机拍摄以他国语言所写的广告牌中的字符串，翻译成本国语言这样的使用方法，但广告牌的字符串装饰字符较多。对于这样的品质差的图像内的字符串或装饰字符，现状的字符识别处理的性能低，误识别的可能性高。为此，就存在即便原样翻译由字符识别处理所得到的文本，也很难获得正确的结果这样的问题。
另外，在一次翻译多个字符串的情况下，用户就需要反复多次使摄像机的视场移动到想翻译的字符串上按下快门这样的操作，就存在需要费时间这样的问题。进而，由于便携终端的摄像机所拍摄的图像其分辨率低，无法将长字符串或文章收纳在1幅图像内。相对于此，如果将摄像机朝后拉动等以拍摄宽广范围，则长字符串也可收纳在1幅图像中，但表达单个字符的像素数变少，字符识别率降低。为此，就存在可翻译的字符串的长度受到限制这样的问题。
再有，在将便携终端所拍摄的图像发送给服务器的情况下，由于要发送的数据量大，故存在用一般的电话线路在数据发送上花费时间这样的问题。加之在以往的方式中，认为服务器具有的字符识别处理或翻译处理是以一般用语为对象，在此情况下就存在对菜单上所记载的本地料理的名称或在诊断书上所写的病名等专业性较高的用语很难获得充分的字符识别性能和翻译性能这样的问题。另外，除了在国外旅行等中使用这样的系统的情况下，将包含在图像中的他国语言的字符串翻译成本国语言的使用形态，还假设反过来将用本国语言所输入的文本翻译成他国语言的要求。但是在便携终端中就有在文本的输入上花费时间等问题。
此发明就是为了解决上述那样的问题而完成的，目的是获得在进行翻译上便利性高的便携终端式图像处理系统、便携终端和服务器。
发明内容
本发明的第1技术方案提供一种由便携终端和与此便携终端进行数据交换的服务器组成的便携终端式图像处理系统，上述便携终端具备，图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者由上述键输入部所输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备，数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串并生成各自的翻译结果；文本翻译部，生成对应于接收到的上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的上述所指定的处理服务的种类切换控制是由上述图像内字符串识别·翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。
本发明的第2技术方案提供一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，上述便携终端具备，图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由存储在上述图像缓冲器中的图像、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备，数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述图像内字符串识别·翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。
本发明的第3技术方案提供一种由便携终端和与此便携终端进行数据交换的服务器组成的便携终端式图像处理系统，上述便携终端具备，键输入部，输入关键字；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由上述键输入部所输入的关键字、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备，数据接收部，接收从上述便携终端发送的数据；文本翻译部，生成对应于包含在接收到数据中的上述关键字的关联文，翻译所生成的上述关联文后生成上述翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述文本翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。
本发明的第4技术方案提供一种便携终端式图像处理系统，其中服务器的图像内字符串识别·翻译部具有，图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的上述多个字符串识别结果进行了翻译的多个翻译结果。
本发明的第5技术方案提供一种便携终端式图像处理系统，其中服务器的图像内字符串识别·翻译部具有，图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对上述多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的上述字符串识别结果和上述类似字符串而生成多个翻译结果。
本发明的第6技术方案提供一种便携终端式图像处理系统，其中服务器的文本翻译部具有，关联文生成部，基于接收到的关键字参照关联文辞典生成与上述关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的上述多个文章而生成翻译结果。
本发明的第7技术方案提供一种便携终端式图像处理系统，其中便携终端具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续拍摄并存储在图像缓冲器中的各图像以输出给数据发送部；服务器依次生成包含在接收到的上述各图像中的字符串的各翻译结果后将其发送给上述便携终端；上述便携终端的显示部，每当接收上述各翻译结果就进行显示。
本发明的第8技术方案提供一种便携终端式图像处理系统，其中便携终端的发送控制部，对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择上述新拍摄的图像并发送给数据发送部。
本发明的第9技术方案提供一种便携终端式图像处理系统，其中服务器具备图像统合部，合成连续地接收到的多个图像以创建1幅合成图像；图像内字符串识别·翻译部生成对于包含在所创建的上述合成图像中的字符串的翻译结果。
本发明的第10技术方案提供一种便携终端式图像处理系统，其中便携终端具备GPS部，取得该便携终端的当前位置后将其添加到发送给服务器的数据中；上述服务器具备保存了各设施的位置的地图数据；上述服务器的处理控制部，通过基于接收到的上述当前位置参照上述地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的上述设施的专用辞典。
本发明的第11技术方案提供一种便携终端式图像处理系统，其中便携终端的处理指示部，构成为能够由用户来指定专用辞典的种类，并将所指定的上述专用辞典的种类添加到发送给服务器的数据中；上述服务器的处理控制部，基于接收到的上述专用辞典的种类将在该服务器内所用的各种辞典置换成被指定的专用辞典。
本发明的第12技术方案提供一种便携终端式图像处理系统，其中便携终端具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并将其存储在上述图像缓冲器中；将上述前处理后图像发送给服务器以获得翻译结果。
本发明的第13技术方案提供一种便携终端式图像处理系统，其中便携终端构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围上述噪声的噪声除去对象区域；图像前处理部，将上述噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像。
本发明的第14技术方案提供一种与进行翻译处理的服务器进行数据交换的便携终端，具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者所输入的关键字、所指定的上述处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行了识别的识别字符串以及进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果。
本发明的第15技术方案提供一种与进行翻译处理的服务器进行数据交换的便携终端，具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由存储在上述图像缓冲器中的图像、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行了识别的识别字符串以及进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果。
本发明的第16技术方案提供一种与进行翻译处理的服务器进行数据交换的便携终端，具备键输入部，输入关键字；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由所输入的关键字、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果。
本发明的第17技术方案提供一种便携终端，其中具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续拍摄并存储在图像缓冲器中的各图像以输出给数据发送部；显示部，依次显示包含在从服务器依次接收到的上述各图像中的字符串的各翻译结果。
本发明的第18技术方案提供一种便携终端，其中发送控制部，对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择上述新拍摄的图像并输出给数据发送部。
本发明的第19技术方案提供一种便携终端，其中具备GPS部，通过GPS功能取得该便携终端的当前位置后将其添加到发送给服务器的数据中。
本发明的第20技术方案提供一种便携终端，其中处理指示部，构成为能够由用户来指定在服务器内所用的专用辞典的种类，并将所指定的上述专用辞典的种类添加到发送给服务器的数据中。
本发明的第21技术方案提供一种便携终端，其中具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并将其存储在上述图像缓冲器中；将从上述图像缓冲器读出的上述前处理后图像发送给服务器以获得翻译结果。
本发明的第22技术方案提供一种便携终端，其中构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围上述噪声的噪声除去对象区域；图像前处理部，将上述噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像。
本发明的第23技术方案提供一种与便携终端进行数据交换的服务器，具备数据接收部，接收由从上述便携终端发送的图像或者所键输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串并生成各自的翻译结果；文本翻译部，生成对应于上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照上述所指定的处理服务的种类切换控制是由上述图像内字符串识别·翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。
本发明的第24技术方案提供一种与便携终端进行数据交换的服务器，具备数据接收部，接收由从上述便携终端发送的图像、处理服务的指示以及上述便携终端的关联信息组成的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述图像内字符串识别·翻译部动作；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。
本发明的第25技术方案提供一种与便携终端进行数据交换的服务器，具备数据接收部，接收由所键输入的关键字、处理服务的指示以及上述便携终端的关联信息组成的数据；文本翻译部，生成对应于上述关键字的关联文，翻译所生成的上述关联文后生成上述翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述文本翻译部动作；以及结果发送部，基于上述关联信息将由上述文本翻译部所生成的翻译结果发送给上述便携终端。
本发明的第26技术方案提供一种服务器，其中图像内字符串识别·翻译部具有，图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的上述多个字符串识别结果进行了翻译的多个翻译结果。
本发明的第27技术方案提供一种服务器，其中图像内字符串识别·翻译部具有，图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对上述多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的上述字符串识别结果和上述类似字符串而生成多个翻译结果。
本发明的第28技术方案提供一种服务器，其中文本翻译部具有，关联文生成部，基于由键输入部所输入的关键字参照关联文辞典生成与上述关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的上述多个文章而生成翻译结果。
本发明的第29技术方案提供一种服务器，其中具备图像统合部，合成连续地接收到的多个图像以创建1幅合成图像；图像内字符串识别·翻译部生成对于包含在所创建的上述合成图像中的字符串的翻译结果。
本发明的第30技术方案提供一种服务器，其中具备保存了各设施的位置的地图数据；处理控制部，通过基于包含在接收到的数据中的便携终端的当前位置参照上述地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的上述设施的专用辞典。
本发明的第31技术方案提供一种服务器，其中处理控制部，基于包含在接收到的数据中的被指定的专用辞典的种类将在该服务器内所用的各种辞典置换成被指定的专用辞典。
图1是表示根据本发明实施例1的便携终端式翻译系统的结构的框图。
图2是说明有关本发明实施例1的图像的摄像状况的说明图。
图3是表示有关本发明实施例1的图像内字符串识别部的处理过程的流程图。
图4是说明有关本发明实施例1的图像内字符串识别部的动作例的说明图。
图5是说明有关本发明实施例1的包含错误的字符识别处理的例子的说明图。
图6是说明有关本发明实施例1的图像内字符串翻译部的动作例的说明图。
图7是说明有关本发明实施例1的图像内字符串翻译结果生成部的动作例的说明图。
图8是表示有关本发明实施例1的图像内字符串翻译结果的显示例的说明图。
图9是表示有关本发明实施例1的关键字输入的显示例的说明图。
图10是表示有关本发明实施例1的关联文辞典的结构例的说明图。
图11是说明有关本发明实施例1的关联文翻译部的动作例的说明图。
图12是表示有关本发明实施例1的关联文翻译结果的例子的说明图。
图13是表示有关本发明实施例1的关联文翻译结果的显示例的说明图。
图14是表示根据本发明实施例2的便携终端式翻译系统的结构的框图。
图15是表示有关本发明实施例2和实施例3的图像的摄像状况的说明图。
图16是表示有关本发明实施例2和实施例3的连续地进行了拍摄的图像例的说明图。
图17是说明有关本发明实施例2的发送图像控制部的动作的说明图。
图18是表示根据本发明实施例3的便携终端式翻译系统的结构的框图。
图19是说明有关本发明实施例3的图像统合部的动作的说明图。
图20是表示根据本发明实施例4的便携终端式翻译系统的结构的框图。
图21是表示有关本发明实施例4的识别条件指定的例子的说明图。
图22是表示根据本发明实施例5的便携终端式翻译系统的结构的框图。
图23是说明有关本发明实施例5的图像前处理部的动作的说明图。
图24是说明有关本发明实施例5的图像校正处理的说明图。
图25是表示与根据现有技术的便携终端式图像处理系统有关的处理过程的流程图。
具体实施例方式
实施例1图1是表示根据本发明实施例1的便携终端式翻译系统的结构的框图。在图中101是便携终端、102是数据发送部、103是键输入部、104是处理指示部、105是图像摄像部、106是图像缓冲器、107是显示部、108是结果接收部。109是服务器、110是数据接收部、111是结果发送部、112是处理控制部、113是图像内字符串识别·翻译部、119是文本翻译部。在图像内字符串识别·翻译部113中，114是图像内字符串识别部、115是图像内字符串翻译部、117是识别辞典、118是语言辞典、124是第1翻译辞典。在文本翻译部119中，120是关联文生成部、121是关联文翻译部、122是关联文翻译结果生成部、123是关联文辞典、125是第2翻译辞典。
图2是说明图像的摄像状况的说明图，201是文档、202是摄像机视场。图3是表示图像内字符串识别部的处理过程的流程图。图4是说明图像内字符串识别部的动作例的说明图，401是摄像图像、402是前处理后图像、403是抽出字符串、404是切出的字符图案、405字符识别结果。图5是说明包含错误的字符识别处理的例子的说明图，501是切出的字符图案、502是包含错误的字符识别结果。图6是说明图像内字符串翻译部的动作例的说明图，601是字符串识别结果、602是类似字符串、603是对字符串识别结果601进行了翻译的字符串翻译结果、604是类似字符串602的字符串翻译结果。
图7是说明图像内字符串翻译结果生成部的动作例的说明图，701是图像内字符串翻译结果的例子。图8是表示图像内字符串翻译结果的显示例的说明图，801是识别字符串图像、802是图像内字符串翻译结果的图像。图9是表示关键字输入的显示例的说明图，901是关键字输入区、902是翻译按钮显示。图10是表示关联文辞典的结构例的说明图，1001是关联文辞典数据。图11是说明关联文翻译部的动作例的说明图，1101是输入文本、1102是关联文、1103和1104是字符串翻译结果。图12是说明关联文翻译结果生成部的动作例的说明图，1201是关联文翻译结果生成部的输出结果。图13是表示关联文翻译结果的显示例的说明图，1301是翻译结果。
接着对动作进行说明。
此翻译系统由便携终端101和服务器109构成。此便携终端101具备与服务器109收发数据的通信功能，能够对服务器109委托处理，接收并显示其处理结果。此便携终端101和服务器109间的通信，通过用无线收发数据的方式或用红外线通信收发数据的方式或者用有限收发数据的方式来进行。这里，服务器109具有两个服务。一个是对包含在由便携终端的图像摄像部105所拍摄的图像中的字符串进行翻译的服务，以后将其称为图像内字符串识别·翻译服务。另一个是对由便携终端的键输入部103所输入的文本的内容进行翻译的服务，以后将其称为文本翻译服务。
对图像内字符串识别·翻译服务的动作进行说明。
用户通过便携终端101的图像摄像部105对包含字符串的图像进行拍摄。例如，如图2所示那样将便携终端101靠近文档201之前，将摄像机视场202的范围作为1张图像进行拍摄。此图像摄像部105是具备附属于或者连接到便携终端101的具有图像摄像功能的CCD或CMOS传感器等的摄像机，所拍摄的图像是彩色图像或者灰度等级图像。另外，要拍摄的对象是文档的一部分或者广告牌或者通知板等情景中的字符。由图像摄像部105所拍摄的图像被存储在图像缓冲器106中。
接着，处理指示部104指定由服务器109进行的处理服务的种类。此指定由用户从键输入部103进行，或者使用缺省的设定自动地进行。在这里，作为处理服务的种类，指定图像内字符串识别·翻译。若通过处理指示部104指定了处理服务，则数据发送部102将由被存储在图像缓冲器106中的图像、用处理指示部104所指定的处理服务的种类以及有关便携终端101的关联信息(例如，机型代码等)组成的数据发送给服务器109。
在服务器109中，当通过数据接收部110接收到从便携终端101的数据发送部102发送来的数据，就输入到处理控制部112。
处理控制部112依照所指定的处理服务的种类切换以后的处理内容。在这里，由于如上述那样指定了图像内字符串识别·翻译服务，故进行控制以使图像内字符串识别·翻译部113动作。假设在用处理指示部104指定了文本翻译服务的情况下，则进行控制以使文本翻译部119动作。
在图像内字符串识别·翻译部113中，首先图像内字符串识别部114动作，以识别从便携终端101发送来的数据的图像内的字符串。按照图3的处理过程来说明此图像内字符串识别部114的具体动作。
首先对从便携终端101发送来的图像进行前处理(步骤ST21)，创建对图像内的字符串和背景进行了分离的前处理后图像。例如，在从便携终端101发送了图4所示那样的彩色的摄像图像401的情况下，通过对此摄像图像401适用前处理，就得到将背景设成白色、将字符串设成黑色的黑白的前处理图像402。关于这样的前处理的实现方法，在论文“Text extraction from color documents-clustering approachesin three and four dimensions”，T.Perroud，K.Sobottka，H.Bunke，International Conference on Document Analysis and Recognition(2001)中进行了公开。
接着，从前处理后图像进行抽出而得到抽出字符串(步骤ST22)。例如，从图4的前处理后图像402抽取抽出字符串403。在从这样的黑白图像抽出字符串的处理上，使用了已经用以往的OCR所实现的方式。对在步骤ST22中所抽出的抽出字符串的内容进行字符识别(步骤ST23)。作为字符识别的方法，切出构成字符串的1个字符的图案、将所切出的图案与识别辞典117进行比较而变换成字符代码的方法广为人知。这里，通过在将所切出的图案变换成字符代码时，参照语言辞典118，就能够得到在语言上配匹性高的字符识别结果。此方法也是一般的方法。例如，在将本处理适用于图4所示的抽出字符串403的情况下，首先得到逐个字符进行了切出的字符图案404，将这些字符图案404变换成字符代码，由此就得到被文本化的字符识别结果405。
通过以上的处理，就能够得到对于图像内的字符串的字符串识别结果(文本)。不过在作为对象的图像的分辨率低、品质差的情况或者作为识别对象的字符串为修饰字符的情况下，弄错字符识别结果的情况就较多。例如如图5所示那样，有时在切出的字符图案501中发生错误，作为其结果就得到弄错了的字符识别结果503。为了对付此问题，变更处理参数，反复多次步骤ST21～ST23的处理，得到多个字符识别结果(步骤ST24)。例如，通过对图4的抽出字符串403改变处理参数反复两次步骤ST21～ST23的处理，如图6所示那样，作为两个字符串识别结果601就得到“Strategic”和“Stranger”。这样，如果取得多个字符识别结果，则在其中包含正确解答的字符串识别结果的可能性就高。但是，有时在步骤ST24中所得到的多个字符串识别结果中也不包含正确解答。因此，参照语言辞典118，抽出多个与在步骤ST24中所得到的多个字符串识别结果拼写相类似的字符串(步骤ST25)。例如如图6所示那样，从在步骤ST24中所得到的两个字符串识别结果601创建拼写相类似的3个类似字符串602。
图像内字符串识别部114将在步骤ST24中得到的多个字符串识别结果和在步骤ST25中得到的多个类似字符串合在一起输出到图像内字符串翻译部115(步骤ST26)。这样由于输出多个字符串识别结果和对于这些字符串识别结果的多个类似字符串，故在其中包含正确解答的字符串识别结果的可能性就越发增高。以上是图像内字符串识别部114的动作。
接着图像内字符串翻译部115参照保存了翻译所必要的信息的第1翻译辞典124，对由图像内字符串识别部114所得到的多个字符串识别结果进行翻译，得到字符串翻译结果并输出到图像内字符串翻译结果生成部116。此翻译处理，例如如图6所示那样，得到对由图像内字符串识别部114所得到的字符串识别结果601和类似字符串602分别进行了翻译的字符串翻译结果603、604。
图像内字符串翻译结果生成部116，汇总由图像内字符串识别部114所得到的字符串识别结果和类似字符串以及由图像内字符串翻译部115所得到的字符串翻译结果，作为用于对便携终端101发送的数据来创建图像内字符串翻译结果。例如，图7的图像内字符串翻译结果701是对图4所示的摄像图像401所得到的结果。此图像内字符串翻译结果701具有从前处理后图像402所切出的抽出字符串403的位置坐标(例如，包围字符串的外接矩形的左上点x、y坐标和外接矩形的宽w、高h)。此外还具有由图像内字符串识别部114所得到的字符串识别结果和类似字符串以及由图像内字符串翻译部115所得到的字符串翻译结果。
服务器109将由图像内字符串翻译结果生成部116所创建的字符串翻译结果从结果发送部111发送到便携终端101。
这里字符串识别结果和类似字符串以及字符串翻译结果的数据形式是文本或者图像。例如，在便携终端101不具有显示构成字符串识别结果的语言的字符的功能的情况下，就在图像内字符串翻译结果中使用描绘了该字符串识别结果的图像。同样在便携终端101不具有显示构成字符串翻译结果的语言的字符的功能的情况下，就在图像内字符串翻译结果中使用描绘了该字符串翻译结果的图像。这里，便携终端101是否具有显示特定语言的字符的功能的判定，基于从便携终端101持有的数据发送部102发送来的有关便携终端的关联信息(机型代码等)来进行。
接着，在便携终端101中，首先结果接收部108接收从服务器109的结果发送部111发送来的图像内字符串翻译结果。之后，显示部107以存储在图像缓冲器106中的摄像图像和接收到的图像内字符串翻译结果为基础，将包含在摄像图像中的字符串的翻译结果显示在显示部107上。此显示部107是液晶显示器等能够显示字符或图像的显示装置。例如如图8所示那样，在显示部107上显示表示识别出的字符串的识别字符串图像801，同时显示由字符串识别结果、类似字符串以及字符串翻译结果组成的图像内字符串翻译结果的图像802。以上是图像内字符串识别·翻译服务的执行例。
对文本翻译服务的动作进行说明。
在便携终端101中，首先用户通过键输入部103输入想翻译的文本。不过由于在一般的便携终端中在文本的输入上需要时间，故在这里输入与文本的内容相关联的关键字。例如在想翻译“下一班公交车何时出发？”这样的文本的情况下，作为关键字输入“公交车”和“时间”。图9是在便携终端上输入了关键字的例子，所输入的关键字被显示在显示部107上的关键字输入区901中。在输入了关键字以后，若用户操作键输入部103执行显示在显示部107上的翻译按钮显示902，则开始用于翻译的处理。
处理指示部104指定由服务器109进行的处理服务的种类。在这里作为处理服务的种类，指定文本翻译服务。于是，数据发送部102将被输入到关键字输入区901中的关键字、用处理指示部104所指定的处理服务的种类以及有关便携终端101的关联信息(例如，机型代码等)发送给服务器109。
在服务器109中，数据接收部110接收从便携终端101的数据发送部102发送来的数据，并输入到处理控制部112。处理控制部112依照用处理指示部104所指定的处理服务的种类切换以后的处理内容。在这里，由于用处理指示部104指定了文本翻译服务，故进行控制以使文本翻译部119动作。
在文本翻译部119中，首先关联文生成部120动作，以从便携终端101发送来的关键字和关联文辞典123的数据为基础，生成从关键字类推出来的文章(以后称为关联文)。这里关联文辞典123例如具有如图10所示那样的关联文辞典数据1001。此关联文辞典数据保存了许多的关联文及其索引。关联文生成部120比较此索引和从数据发送部102发送来的关键字，从关联文辞典123读出在索引中包含关键字的关联文并输出到关联文翻译部121。例如在关键字为“公交车”和“时间”的情况下，输出关联文辞典数据1001中的关联文No.1“下一班公交车何时出发？”和关联文No.2“乘坐公交车大约要用多长时间？”。
关联文翻译部121使用第2翻译辞典125对从数据发送部102发送来的关键字和用关联文生成部120所得到的关联文进行翻译。例如，对于与图11所示的关键字相应的输入文本1101和关联文1102进行翻译处理，分别得到字符串翻译结果1103、1104后输出到字符串翻译结果生成部122。这样的翻译文本的功能，是在一般的翻译软件中已经被实现的方法。
字符串翻译结果生成部122，汇总从数据发送部102发送来的关键字、用关联文生成部120所得到的关联文以及用关联文翻译部121所得到字符串翻译结果，作为发送给便携终端101的数据创建关联文翻译结果并输出给结果发送部111。作为例子，示出图12的关联文翻译结果1201。在这里将“关键字和关联文”以及它们的“翻译结果”对应起来进行保存。
结果发送部111，将用关联文翻译结果生成部122所创建的关联文翻译结果发送给便携终端101。
这里，翻译结果的数据形式是文本或者图像。例如，在便携终端101不具有显示构成翻译结果的语言的字符的功能的情况下，就在关联文翻译结果中使用描绘了该翻译结果的图像。这里，便携终端101是否具有显示特定语言的字符的功能的判定，基于从便携终端101持有的数据发送部102发送来的有关便携终端的关联信息(机型代码等)来进行。
便携终端101，通过结果接收部108接收关联文翻译结果，并提供给显示部107。显示部107显示接收到的关联文翻译结果的内容。例如如图13所示那样，显示部107显示由文本、关联文以及它们的翻译结果组成的翻译结果1301。以上是文本翻译服务的执行例。
如以上那样，根据此实施例1，就取得以下效果，即实现能够对应对于图像内字符串的翻译和对于所输入的文本的翻译这两者的系统。在图像内字符串识别·翻译服务中，图像内字符串识别部114从图像内的字符串创建多个字符识别结果和多个类似字符串，用图像内字符串翻译部115，创建对于这些多个字符识别结果和多个类似字符串的各自的翻译结果，并将这些多个翻译结果发送给便携终端101以显示在显示部107上，所以就取得以下效果，即对字符识别困难且分辨率低品质差的图像内的字符或修饰字符也能产生正确解答率高的翻译结果。另外，在文本翻译服务中，从用便携终端101所输入的关键字生成多个关联文，并将它们的翻译结果显示在便携终端101的显示部107上，所以就取得以下效果，即能够削减麻烦的文本输入的时间而无需输入想翻译的全部文本，同时能够得到正确解答率高的所请求的文章的翻译结果。
实施例2接着对有关本发明其他实施例的图像内字符串识别·翻译服务进行说明。在上述实施例1的图像内字符串识别·翻译服务中，在用户用便携终端101对1幅图像进行了拍摄后，将该图像发送给服务器109，以获得包含在该图像内的字符串的翻译结果。为此，在一次对许多个字符串进行翻译的情况下，用户就必须反复若干次将摄像机的视场移动到想翻译的字符串上按下快门的操作而需要费时间。只要能够当用户开始摄像、然后按一定的时间间隔自动地进行摄像，依次用服务器109对所拍摄的图像进行翻译，由此半实时地获得翻译结果就可解决此问题。实施例2就实现了它。
使用图14～图17对实施例2进行说明。图中，与实施例1的各图共通的部分附加相同的标记并原则上省略其说明。图14是根据实施例2的便携终端式翻译系统的结构的框图，1401是发送图像控制部。图15是表示连续的图像的摄像状况的说明图，1501是摄像机视场，1502是摄像机视场的移动轨迹。图16是表示连续地进行了拍摄的图像例的图，1601是连续地进行了拍摄的图像。图17是说明发送图像控制部的动作的说明图，1701是分割区域。
接着对动作进行说明。
当在便携终端101中，执行图像内字符串识别·翻译服务时，图像摄像部105对包含字符串的图像进行拍摄。与实施例1不同，图像摄像部105在拍摄了一次图像后，按一定的时间间隔连续地对图像进行拍摄。用图像摄像部105拍摄了图像，每次都存储在图像缓冲器106中。在此图像缓冲器106中能够存储1副以上的图像。接着，发送图像控制部1401首先选择1副存储在图像缓冲器106中的图像，在此阶段是选择最初所拍摄的图像。处理指示部104与实施例1同样指定由服务器109进行的处理服务的种类。在这里，作为处理服务的种类是指定图像内字符串识别·翻译。
数据发送部102将由发送图像控制部1401所选择的图像、由处理指示部104所指定的处理服务的种类以及与便携终端101有关的关联信息(例如，机型代码等)发送给服务器109。
在服务器109中，与实施例1同样，对包含在由数据发送部102所发送的摄像图像中的字符串进行翻译，并将通过该处理所得到的图像内字符串翻译结果发送给便携终端101。之后，与实施例1同样在便携终端101中结果接收部108接收来自服务器109的图像内字符串翻译结果并通过显示部107显示接收到的翻译结果。
接着，在便携终端101中发送图像控制部1401选择存储在图像缓冲器106中的其他图像(紧跟着当前翻译了图像所拍摄的图像)，同样向服务器109请求图像内字符串识别·翻译服务，接受其翻译结果并显示在显示部107上。以后，对存储在图像缓冲器106中的剩余图像同样地依次反复一系列的处理。
在反复上述的一系列的处理之间，为了拍摄全部想翻译的文章，如图15所示那样按照移动轨迹1502使便携终端101的摄像机视场1501移动。其结果得到图16所示那样的11个摄像图像1601。t表示时间，t＝0表示最初所拍摄的图像、t＝10表示最后所拍摄的图像。这些各个摄像图像1601被发送给服务器109，从最初所拍摄的图像开始按顺序依次进行翻译，其各翻译结果被显示在便携终端101的显示部107上。
此外，这里说明了发送图像控制部1401，按所拍摄的顺序选择全部图像，但选择全部图像后向服务器109请求图像内字符串识别·翻译服务，将导致发送的数据量的增加和服务器109的处理量增加。因此，也可以按照别的基准来缩小将选择的图像。例如，发送图像控制部1401对存储在图像缓冲器106中的图像，如图17所示那样创建在纵向与横向上进行了N等分的分割区域1701，求出每个分割区域的亮度。然后，用新拍摄的图像和紧靠其之前拍摄的图像来计算每个分割区域的亮度值之差，在差的合计值为阈值以下的情况下选择新拍摄的图像。由此，就能够仅选择在摄像机的移动停止了的时刻所拍摄的图像，仅将包含用户想翻译的字符串的图像发送给服务器。在图17的例子中，就是选择时间t＝1、t＝5、t＝7、t＝10的摄像图像1601。
如以上那样，根据实施例2，当用户开始摄像、然后按一定的时间间隔自动地进行摄像，在服务器109侧依次翻译所拍摄的图像。由此就取得以下效果，即在一次对许多个字符串进行翻译的情况下，用户就无需反复若干次将摄像机的视场移动到想翻译的字符串上按下快门的操作而能够节省用户的时间，并且能够半实时地获得翻译结果。另外，由于发送图像控制部1401求出所拍摄的图像与紧靠其之前拍摄的图像之间图像的变化量，选择其变化量为阈值以下的图像发送给服务器109，所以就取得以下效果，即能够获得仅对于包含用户想翻译的字符串的图像的翻译结果，且削减数据发送量和服务器109的处理量。
实施例3在上述实施例1和2的图像内字符串识别·翻译服务中，需要在1幅图像内包含想翻译的字符串。但是由于用便携终端101的摄像机所拍摄的图像其分辨率较低，故很难在1幅图像内包含较长的字符串或文章。为此可翻译的字符串的长度就受到限制。只要将拍摄了字符串或文章的片断的多幅图像从便携终端101发送给服务器109，在服务器109侧从这些多幅图像创建1幅大的合成图像并对包含在此合成图像中的字符串进行翻译就可解决这样的问题。实施例3就实现了它。
下面使用图15、图16、图18以及图19对此发明的实施例3进行说明，图中，与实施例1和2的各图共通的部分附加相同的标记并原则上省略其说明。图18是表示根据此发明实施例3的便携终端式翻译系统的结构的框图，1801是图像统合部。图19是说明图像统合部的动作例的说明图，1901是合成图像、1902是对应于合成图像的前处理后图像、1903是抽出字符串、1904是字符串识别结果、1905是类似字符串。
接着对动作进行说明。
在执行图像内字符串识别·翻译服务时，首先在便携终端101中与实施例2同样按一定的时间间隔取得图像，并将这些多个图像存储在图像缓冲器106中。例如，在图15所示那样按照摄像机视场的移动轨迹1502使摄像机视场1501移动的情况下，多个摄像图像1601就被存储在图像缓冲器106中。
接着，处理指示部104指定由服务器109进行的处理服务的种类。这里作为处理服务的种类指定图像内字符串识别·翻译服务，同时作为其执行条件指定“创建合成图像”。此指定从键输入部103由人来进行或者使用缺省的设定自动地进行。由此，数据发送部102将存储在图像缓冲器106中的多个图像、由处理指示部104所指定的处理服务的种类以及执行条件、进而与便携终端101有关的关联信息(例如机型信息等)发送给服务器109。
在服务器109中，首先数据接收部110接收从数据发送部102发送来的数据，处理控制部112依照所指定的处理服务的种类切换以后的处理内容。另外，在指定为图像内字符串识别·翻译服务的情况下，图像统合部1801也动作。图像统合部1801在所指定的处理服务的执行条件中存在“创建合成图像”的指定的情况下，合成接收到的多个图像以创建1幅合成图像。例如，通过合成图16所示的多个摄像图像1601，就得到图19所示的合成图像1901。这些从多个片断的图像创建1幅大的合成图像的处理，已经搭载于市面销售的数字摄像机或图像处理软件，并能够使用这些方式来实现。
下面，以由图像统合部1801所创建的合成图像为对象，图像内字符串识别部114进行动作。在此图像内字符串识别部114中进行与实施例1和2同样的处理。例如图19所示那样，从合成图像1901创建前处理后图像1902，从此前处理后图像1902抽取抽出字符串1903。然后对此抽出字符串1903得到多个字符串识别结果1904和类似字符串1905。接着，图像内字符串翻译部115与实施例1和2同样，生成分别对于由图像内字符串识别部114所得到的多个字符串识别结果和类似字符串的字符串翻译结果。
若得到字符串翻译结果，则图像内字符串翻译结果生成部116创建图像内字符串翻译结果。在实施例1和2中，图像内字符串翻译结果如图7所示那样具有字符串位置坐标、字符串识别结果、类似字符串以及字符串翻译结果。在此实施例3中，从合成图像抽取出的抽出字符串也追加到图像内字符串翻译结果中。之后，与实施例1和2同样，通过结果发送部111将由图像内字符串翻译结果生成部116所创建的图像内字符串翻译结果发送给便携终端101。
在便携终端101中用结果接收部108接收服务器109所发送的图像内字符串翻译结果，给予显示部107来进行显示。作为此显示结果，与图8所示同样，显示从合成图像抽取出的识别字符串图像801，并显示包含字符串识别结果、类似字符串以及字符串翻译结果的图像内字符串翻译结果的图像802。
如上面那样，根据此实施例3，当将拍摄了字符串或文章的片断的多幅图像从便携终端101发送给服务器109，则服务器109统合这些图像以创建1幅大的合成图像，然后识别、抽取并翻译包含在此合成图像中的字符串，所以由此就取得能够翻译不能容纳在摄像机的视场中的长字符串或文章的内容的效果。
实施例4在上述实施例1到3中，服务器具有的字符串识别处理或翻译处理都是以一般用语为对象的。但是，例如在进入国外的餐馆想翻译本地料理名称的情况下，或者在国外的医院想翻译写在诊断书中的病名等情况下，需要对专业性较高的用语进行翻译。在这种情况下，很难获得充分的字符识别性能和翻译性能。对于此问题通过以用户的指定或者从便携终端的GPS(Global Positioning System)功能所得到的用户的当前位置为基础，将字符识别处理或翻译处理中所用的各种辞典置换成恰当的专业用语辞典来进行处理就能够解决。实施例4就实现了它。
下面使用图20和图21对实施例4进行说明。图中与实施例1到3共通的部分附加相同的标记，并原则上省略其说明。图20是表示根据实施例4的便携终端式翻译系统的结构的方框图，2001是GPS部、2002是专用识别辞典、2003是专用语言辞典、2004是第1专用翻译辞典、2005是专用关联文辞典、2006是第2专用翻译辞典、2007是地图数据。图21是表示识别条件指定的例子的说明图，2101是选择画面。
接着对动作进行说明，首先对执行图像内字符串识别·翻译服务的情况进行说明。
这里通过与实施例1到3同样的处理，图像摄像部105拍摄包含字符串的图像后将摄像图像存储在图像缓冲器106中。之后，发送图像控制部1401选择存储在图像缓冲器106中的1幅图像。处理指示部104指定由服务器109进行的处理服务的种类及其执行条件。在这里作为处理服务的种类指定图像内字符串识别·翻译服务。
另外，GPS部2001通过GPS功能从人造卫星所发出的电波取得所持有的便携终端101的当前位置。数据发送部102将由发送图像控制部1401所选择的图像、由处理指示部104所指定的处理服务的种类以及有关便携终端101的信息发送给服务器109。这里作为有关便携终端101的信息，包含关联信息(例如机型代码)和由GPS部2001所取得的便携终端101的当前位置。
在服务器109中，与实施例1到3同样，对包含在由数据发送部102所发送的摄像图像中的字符串进行翻译，将其结果发送给便携终端101。但在此时，处理控制部112基于由GPS部2001所取得的便携终端101的当前位置参照地图数据2007的内容，来确定持有该便携终端的用户现在所处的设施。然后，将图像内字符串识别·翻译部113所用的各种辞典置换成对应于所确定的设施的专用辞典。具体来讲，就是将图1所示的识别辞典117和语言辞典118和第1翻译辞典124分别置换成专用识别辞典2002和专用语言辞典2003和第1专用翻译辞典2004。
这里，在地图数据2007中保存着各种设施的位置信息，能够从由GPS部2001所取得的便携终端101的当前位置得知用户处于哪个设施。从而，处理控制部112选择对应于该设施的专用辞典。例如，当用户处于餐馆的情况下，选择在餐馆中使用概率较高的包含本地料理的菜单等的专用辞典。以后在图像内字符串识别·翻译部113中，使用各专用辞典2002、2003、2004进行与实施例1到3相同的处理。然后，将进行了处理的翻译结果送往便携终端101，用显示部107来进行显示。以上为实施例4中的图像内字符串识别·翻译服务的动作。
接着，说明文本翻译服务的动作。
首先与实施例1同样，用户通过键输入部103输入要翻译的关键字，处理指示部104作为由服务器109进行的处理服务的种类指定文本翻译服务。数据发送部102，将由键输入部103所输入的关键字、由处理指示部104所指定的处理服务的种类以及有关便携终端101的信息(机型代码和由GPS部2001所取得的用户的当前位置)发送给服务器109。
以后，以与实施例1同样的处理来进行翻译处理，将其结果显示在便携终端101的显示部107上。但在由数据发送部102所指定的处理服务的种类为文本翻译服务的情况下，处理控制部112，基于由GPS部2001所取得的便携终端101的当前位置参照地图数据2007的内容，来确定持有便携终端的用户现在所处的设施。然后，将文本翻译部119所用的各种辞典置换成对应于所确定的设施的专用辞典。具体来讲，就是将图1所示的关联文辞典123和第2翻译辞典125分别置换成专用关联文辞典2005和第2专用翻译辞典2006。以上为本实施例中的文本翻译服务的动作。
此外，在上述的动作说明中，处理控制部112基于GPS部2001所得到的用户的当前位置和地图数据2007来选择专用辞典的种类，但也可以取代它从便携终端101直接指定专用辞典的种类。例如，通过处理指示部104，在显示部107上显示图21所示的表示专用辞典的种类的选择画面2101，使用户能够从其中指定希望的专用辞典的种类。然后，在数据发送部102向服务器109请求图像内字符串识别·翻译服务或文本翻译服务时，将通过处理指示部104由用户所指定的专用辞典的种类附加在发送数据中发送给服务器109。由此，处理控制部112选择用户所指定的专用辞典来执行图像内字符串识别·翻译部113或文本翻译部119的处理。
如上面那样，根据此实施例4，由用户来指定或者基于由GPS部2001所得到的便携终端101的当前位置和服务器109持有的地图数据2007来确定用户现在所处的设施，将服务器的字符串识别处理或翻译处理中所用的各种辞典置换成恰当的专用辞典，所用由此就取得使翻译结果的性能提高的效果。
实施例5在从上述实施例1到4的图像内字符串识别·翻译服务中，从便携终端101对服务器109发送由图像摄像部105所拍摄的彩色图像或者灰度等级图像。但是，由于彩色图像或灰度等级其图像数据量大故发送需要时间。通过创建削减了数据大小的图像发送给服务器就能够此问题。实施例5就实现了它。
下面，使用图22到图24对实施例5进行说明。图中，与实施例1到4共通的部分附加相同的标记，并原则上省略其说明。图22是表示根据实施例5的便携终端式翻译系统的结构的方框图，2201是图像前处理部。图23是说明图像前处理部的动作的说明图，2301是摄像图像、2302是前处理后图像。图24是说明图像前处理部中的图像校正处理的说明图，2401是噪声、2402是噪声除去后的前处理后图像、2403是噪声除去对象区域。
接着对动作进行说明。
首先与实施例1到4同样，图像摄像部105拍摄包含字符串的图像，图像缓冲器106存储由图像摄像部105所拍摄的图像。
接着，图像前处理部2201对存储在图像缓冲器106中的图像图像进行图像处理，以削减图像的数据量。此图像处理与包含在服务器109的图像内字符串识别部114的处理过程中前处理(图3的步骤ST21)相同。例如，如图23所示那样，若对存储在图像缓冲器106中的图像2301应用前处理，则得到使字符串部分为黑色背景部分为白色的黑白前处理后图像2302。这样颜色数仅为黑白两色的进行了二值化的图像与由图像摄像部105所拍摄的彩色图像或灰度等级图像相比数据量小。这样削减了数据量的前处理后图像就被存储在图像缓冲器106中。
另外，若在由图像摄像部105所拍摄的图像上含有噪声，则该噪声有时就残留在前处理后的图像中。例如在图24中，噪声2401就残留在前处理后图像2302上为黑色。这样的噪声2401就成为字符识别处理中的误识别的原因。为此，图像前处理部2201就具有用户能够从前处理后图像消除噪声的功能。例如，将前处理后图像显示在显示部107上，用户通过目视对其进行检查。然后在发现了噪声的情况下如图24所示那样指定包围噪声2401的矩形的噪声除去对象区域2403。操作键输入部103来进行此指定。若指定了矩形的噪声除去对象区域2403，则图像前处理部2201将噪声除去对象区域2403内的黑像素变换成白像素，而编辑成没有噪声的前处理后图像2402。
之后，在从便携终端101将图像内字符串识别·翻译服务委托给服务器109时，图像发送部102将存储在图像缓冲器106中的前处理后图像发送给服务器109。以后的处理与实施例1到4相同。但在实施例1到4中由服务器109所进行的前处理已经在便携终端101中进行了，所用在此实施例5的服务器109中跳过前处理。服务器109，接收此前处理后图像，识别所包含的字符串，得到其翻译结果发送给便携终端101。以上为实施例5的动作。
如上面那样根据此实施例5，由便携终端101的图像前处理部2201进行前处理，为了从彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像发送给服务器109，对包含在前处理后图像中的字符串进行翻译，所以就取得以下效果，即能够削减数据量而削减起因于彩色图像或灰度等级图像的发送时间，并且谋求服务器109中的处理时间的缩短化。另外使得当在前处理后图像中包含噪声的情况下，获得除去了噪声的前处理后图像，所以就取得能够去除引起服务器109侧的字符识别处理时的误识别的原因的效果。
对各实施例进行了说明，但这些例子是针对同时持有对于包含在由图像摄像部所拍摄的图像中的字符串的翻译处理，和关于由键输入部所输入的关键字生成关联文对于该关联文的翻译处理的结构。这些翻译处理也可以作为系统分别来进行组成。另外服务器侧具备能够进行两方处理的结构，但便携终端侧有时为发送只进行某一方处理的数据的结构。但在此情况下处理指示部或处理控制部等的功能就进行若干变更。
产业上利用的可能性由于本发明如上述那样进行构成故其构成为由便携终端和与此便携终端进行数据交换的服务器组成，其中便携终端具备，图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给服务器的处理服务的种类；数据发送部，将由存储在图像缓冲器中的图像或者由键输入部所输入的关键字、所指定的处理服务的种类以及便携终端的关联信息组成的数据发送给服务器；结果接收部，接收在服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的翻译结果；服务器具备，数据接收部，接收从便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的图像中的1个字符串抽取多个字符串，翻译抽取出的多个字符串后生成各自的翻译结果；文本翻译部，生成对应于接收到的关键字的关联文，翻译所生成的关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的所指定的处理服务的种类切换控制是由图像内字符串识别·翻译部进行处理还是由文本翻译部进行处理；以及结果发送部，基于关联信息将由图像内字符串识别·翻译部或者文本翻译部所生成的翻译结果发送给便携终端，所以具有以下效果即实现能够对应对于图像内字符串的翻译和对于所输入的文本的翻译两方的系统。另外在图像内字符串识别·翻译的处理中，对字符识别困难、分辨率低、品质差的图像内的字符或装饰字符，通过抽取多个字符串来进行翻译，所以具有可获得正解率高的翻译结果的效果，进而在文本翻译的处理中，由于关键字输入故具有能够削减文本输入的时间而无需输入想翻译的全部文本的效果。
另外由于本发明如上述那样进行构成故其构成为由便携终端和与此便携终端进行数据交换的服务器组成，其中便携终端具备，图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给服务器的处理服务；数据发送部，将由存储在图像缓冲器中的图像、处理服务的指示以及便携终端的关联信息组成的数据发送给服务器；结果接收部，接收在服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的翻译结果；服务器具备，数据接收部，接收从便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的图像中的1个字符串抽取多个字符串，翻译抽取出的多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的处理服务的指示使图像内字符串识别·翻译部动作；以及结果发送部，基于关联信息将所生成的翻译结果发送给便携终端，所以具有以下效果，即便对字符识别困难、分辨率低、品质差的图像内的字符或装饰字符也可获得正解率高的翻译结果。
另外由于本发明如上述那样进行构成故其构成为由便携终端和与此便携终端进行数据交换的服务器组成，其中便携终端具备，键输入部，输入关键字；处理指示部，指示委托给服务器的处理服务；数据发送部，将由键输入部所输入的关键字、处理服务的指示以及便携终端的关联信息组成的数据发送给服务器；结果接收部，接收在服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的翻译结果；服务器具备，数据接收部，接收从便携终端发送的数据；文本翻译部，生成对应于包含在接收到数据中的关键字的关联文，翻译所生成的关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的处理服务的指示使文本翻译部动作；以及结果发送部，基于关联信息将所生成的翻译结果发送给便携终端，所以具有以下效果，由于关键字输入故能够削减麻烦的文本输入的时间而无需输入想翻译的全部文本。
另外由于本发明如上述那样进行构成故其构成为服务器的图像内字符串识别·翻译部具有，图像内字符串识别部，通过改变处理时的参数等以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的多个字符串识别结果进行了翻译的多个翻译结果，所以具有以下效果，即便对字符识别困难、分辨率低、品质差的图像内的字符或装饰字符也可获得正解率高的翻译结果。
另外由于本发明如上述那样进行构成故其构成为服务器的图像内字符串识别·翻译部具有，图像内字符串识别部，通过改变处理时的参数等以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的字符串识别结果和类似字符串而生成多个翻译结果，所以具有以下效果，即便对识别困难、分辨率低、品质差的图像内的字符或装饰字符也可获得正解率非常高的翻译结果。
另外由于本发明如上述那样进行构成故其构成为服务器的文本翻译部具有，关联文生成部，基于接收到的关键字参照关联文辞典生成与关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的多个文章而生成翻译结果，所以具有以下效果，由于关键字输入故能够削减麻烦的文本输入的时间而无需输入想翻译的全部文本，并且能够得到正解率高的所请求的文章的翻译结果。
另外由于本发明如上述那样进行构成故其构成为便携终端具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续拍摄并存储在图像缓冲器中的各图像以输出给数据发送部；服务器依次生成包含在接收到的各图像中的字符串的各翻译结果后将其发送给便携终端；便携终端的显示部，每当接收各翻译结果就进行显示，所以具有以下效果，在一次翻译许多字符串的情况下，用户也不需要反复多次使摄像机的视场移动到想翻译的字符串上按下快门的操作而削减用户的时间，半实时地获得翻译结果。
另外由于本发明如上述那样进行构成故其构成为便携终端的发送控制部，对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择新拍摄的图像并发送给数据发送部，所以具有以下效果，能够从连续的多个图像获得仅对于包含用户想翻译的字符串的图像的翻译结果，另外还削减数据发送量和服务器的处理量。
另外由于本发明如上述那样进行构成故其构成为服务器具备图像统合部，合成连续地接收到的多个图像以创建1幅合成图像；图像内字符串识别·翻译部生成对应于包含在所创建的合成图像中的字符串的翻译结果，所以具有以下效果，能够翻译不能收纳于摄像机的视场中的长字符串或文章的内容。
另外由于本发明如上述那样进行构成故其构成为便携终端具备GPS部，取得该便携终端的当前位置后将其添加到发送给服务器的数据中；服务器具备保存了各设施的位置的地图数据；服务器的处理控制部，通过基于接收到的当前位置参照地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的设施的专用辞典，所以具有以下效果，通过不会使用户意识到地切换成恰当的辞典来进行翻译而使翻译结果的性能提高。
另外由于本发明如上述那样进行构成故其构成为便携终端的处理指示部，构成为能够由用户来指定专用辞典的种类，并将所指定的专用辞典的种类添加在发送给服务器的数据中；服务器的处理控制部，基于接收到的专用辞典的种类将在该服务器内所用的各种辞典置换成被指定的专用辞典，所以具有以下效果，能够对应响应用户请求的翻译而使翻译结果的性能提高。
另外由于本发明如上述那样进行构成故其构成为便携终端具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并存储在图像缓冲器中；将前处理后图像发送给服务器以获得翻译结果，所以就具有以下效果，能够削减数据量而削减起因于彩色图像或灰度等级图像的发送时间，并且谋求服务器中的处理时间的缩短化。
另外由于本发明如上述那样进行构成故其构成为便携终端构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围噪声的噪声除去对象区域；图像前处理部，将噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像，所以就具有以下效果，能够去除引起服务器侧的字符识别处理时的误识别的原因。
另外由于本发明如上述那样进行构成故其构成为一种与进行翻译处理的服务器进行数据交换的便携终端具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给服务器的处理服务的种类；数据发送部，将由存储在图像缓冲器中的图像或者所输入的关键字、所指定的处理服务的种类以及便携终端的关联信息组成的数据发送给服务器；结果接收部，接收在服务器中进行了识别的识别字符串以及进行翻译处理后的翻译结果；以及显示部，显示接收到的翻译结果，所以就具有以下效果，即实现能够对应服务器侧中对于图像内字符串的翻译和对于所输入的文本的翻译的两方服务的便携终端。
另外由于本发明如上述那样进行构成故其构成为一种与进行翻译处理的服务器进行数据交换的便携终端具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给服务器的处理服务；数据发送部，将由存储在图像缓冲器中的图像、处理服务的指示以及便携终端的关联信息组成的数据发送给服务器；结果接收部，接收在服务器中进行了识别的识别字符串以及进行翻译处理后的翻译结果；以及显示部，显示接收到的翻译结果，所以就具有以下效果，即实现请求服务器侧中对于图像内字符串的翻译，并能够接收显示其翻译结果的便携终端。
另外由于本发明如上述那样进行构成故其构成为一种与进行翻译处理的服务器进行数据交换的便携终端具备键输入部，输入关键字；处理指示部，指示委托给服务器的处理服务；数据发送部，将由所输入的关键字、处理服务的指示以及便携终端的关联信息组成的数据发送给服务器；结果接收部，接收在服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的翻译结果，所以就具有以下效果，即实现不需要输入想翻译的全部文本能够对应与输入关键字关联的翻译服务的便携终端。
另外由于本发明如上述那样进行构成故其构成为具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续地进行拍摄并存储在图像缓冲器中的各图像以输出给数据发送部；显示部，依次显示包含在从服务器依次接收到的各图像中的字符串的各翻译结果，所以具有以下效果，即实现在一次翻译许多字符串的情况下，用户也不需要反复多次使摄像机的视场移动到想翻译的字符串上按下快门的操作而削减用户的时间，半实时地获得翻译结果的便携终端。
另外由于本发明如上述那样进行构成故其构成为发送控制部，对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择新拍摄的图像并输出给数据发送部，所以具有以下效果，即实现能够从连续的多个图像获得仅对于包含用户想翻译的字符串的图像的翻译结果，另外还削减数据发送量和服务器的处理量的便携终端。
另外由于本发明如上述那样进行构成故其构成为具备GPS部，通过GPS功能取得该便携终端的当前位置后将其添加到发送给服务器的数据中，所以具有以下效果，即实现适合于不会使用户意识到地在服务器侧根据恰当的辞典来进行翻译的情况的便携终端。
另外由于本发明如上述那样进行构成故其构成为能够由用户来指定在服务器内所用的专用辞典的种类，并将所指定的专用辞典的种类添加在发送给服务器的数据中，所以具有以下效果，即实现适合于在服务器侧根据响应用户请求的恰当的辞典来进行翻译的情况的便携终端。
另外由于本发明如上述那样进行构成故其构成为具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并存储在图像缓冲器中；将从图像缓冲器读出的前处理后图像发送给服务器以获得翻译结果，所以就具有以下效果，即实现能够削减数据量而削减起因于彩色图像或灰度等级图像的发送时间，并且谋求服务器的处理时间的缩短化的便携终端。
另外由于本发明如上述那样进行构成故其构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围噪声的噪声除去对象区域；图像前处理部，将噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像，所以就具有以下效果，即实现能够去除引起服务器侧的字符识别处理时的误识别的原因的便携终端。
另外由于本发明如上述那样进行构成故其构成为一种与便携终端进行数据交换的服务器具备数据接收部，接收由从便携终端发送的由图像或者所键输入的关键字、所指定的处理服务的种类以及便携终端的关联信息组成的数据；图像内字符串识别·翻译部，对包含在接收到的图像中的1个字符串抽取多个字符串，翻译抽取出的多个字符串后生成各自的翻译结果；文本翻译部，生成对应于关键字的关联文，翻译所生成的关联文后生成翻译结果；处理控制部，按照所指定的处理服务的种类切换控制是由图像内字符串识别·翻译部进行处理还是由文本翻译部进行处理；以及结果发送部，基于关联信息将由图像内字符串识别·翻译部或者文本翻译部所生成的翻译结果发送给便携终端，所以具有以下效果即实现能够对应对于图像内字符串的翻译和对于所输入的文本的翻译两方的服务器。另外在图像内字符串识别·翻译的处理中，对字符识别困难、分辨率低、品质差的图像内的字符或装饰字符，通过抽取多个字符串来进行翻译，所以具有可获得正解率高的翻译结果的效果，进而在文本翻译的处理中，由于从接收到的关键字生成关联文，故具有能够得到用户请求的翻译结果而无需取得想翻译的全部文本，且能够减轻在便携终端侧输入时的用户负担的效果。
另外由于本发明如上述那样进行构成故其构成为一种与便携终端进行数据交换的服务器具备数据接收部，接收由从便携终端发送的图像、处理服务的指示以及便携终端的关联信息组成的数据；图像内字符串识别·翻译部，对包含在接收到的图像中的1个字符串抽取多个字符串，翻译抽取出的多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的处理服务的指示使图像内字符串识别·翻译部动作；以及结果发送部，基于关联信息将由图像内字符串识别·翻译部或者文本翻译部所生成的翻译结果发送给便携终端，所以具有以下效果，即实现即便对字符识别困难、分辨率低、品质差的图像内的字符或装饰字符也可获得正解率高的翻译结果的服务器。
另外由于本发明如上述那样进行构成故其构成为一种与便携终端进行数据交换的服务器具备数据接收部，接收由所键输入的关键字、处理服务的指示以及便携终端的关联信息组成的数据；文本翻译部，生成对于关键字的关联文，翻译所生成的关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的处理服务的指示使文本翻译部动作；以及结果发送部，基于关联信息将由文本翻译部所生成的翻译结果发送给便携终端，所以具有以下效果，即由于从接收到的关键字生成关联文故实现即便没有接收到想翻译的全部文本也可得到用户请求的翻译结果的服务器，另外能够减轻在便携终端侧输入时的用户的负担。
另外由于本发明如上述那样进行构成故其构成为图像内字符串识别·翻译部具有，图像内字符串识别部，通过改变处理时的参数等以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的多个字符串识别结果进行了翻译的多个翻译结果，所以具有以下效果，即实现即便对字符识别困难、分辨率低、品质差的图像内的字符或装饰字符也可获得正解率高的翻译结果的服务器。
另外由于本发明如上述那样进行构成故其构成为图像内字符串识别·翻译部具有，图像内字符串识别部，通过改变处理时的参数等以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的字符串识别结果和类似字符串而生成多个翻译结果，所以具有以下效果，即实现即便对识别困难、分辨率低、品质差的图像内的字符或装饰字符也可获得正解率非常高的翻译结果的服务器。
另外由于本发明如上述那样进行构成故其构成为文本翻译部具有，关联文生成部，基于由键输入部所输入的关键字参照关联文辞典生成与关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的多个文章而生成翻译结果，所以具有以下效果，即由于从接收到的关键字生成多个关联文故实现即便没有接收到想翻译的全部文本也可得到对于用户请求正解率非常高的翻译结果的服务器，另外能够减轻在便携终端侧输入时的用户的负担。
另外由于本发明如上述那样进行构成故其构成为具备图像统合部，合成连续地接收到的多个图像以创建1幅合成图像；图像内字符串识别·翻译部生成对于包含在所创建的合成图像中的字符串的翻译结果，所以具有以下效果，即实现能够翻译不能收纳于摄像机的视场中的长字符串或文章的内容的服务器。
另外由于本发明如上述那样进行构成故其构成为具备保存了各设施的位置的地图数据；处理控制部，通过基于包含在接收到的数据中的便携终端的当前位置参照地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的设施的专用辞典，所以具有以下效果，即实现通过不会使用户意识到地切换成恰当的辞典来进行翻译而使翻译结果的性能提高的服务器。
另外由于本发明如上述那样进行构成故其构成为处理控制部，基于包含在接收到的数据中的被指定的专用辞典的种类将在该服务器内所用的各种辞典置换成被指定的专用辞典，所以具有以下效果，即实现能够对应响应用户请求的翻译而使翻译结果的性能提高的服务器。
权利要求
1.一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者由上述键输入部所输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；文本翻译部，生成对应于接收到的上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的上述所指定的处理服务的种类来切换控制是由上述图像内字符串识别·翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。
2.一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由存储在上述图像缓冲器中的图像、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述图像内字符串识别·翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。
3.一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备键输入部，输入关键字；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由上述键输入部所输入的关键字、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备数据接收部，接收从上述便携终端发送的数据；文本翻译部，生成对应于包含在接收到数据中的上述关键字的关联文，翻译所生成的上述关联文后生成上述翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述文本翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。
4.根据权利要求1或2所述的便携终端式图像处理系统，其特征在于，服务器的图像内字符串识别·翻译部具有图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的上述多个字符串识别结果进行翻译后的多个翻译结果。
5.根据权利要求1或2所述的便携终端式图像处理系统，其特征在于，服务器的图像内字符串识别·翻译部具有图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对上述多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的上述字符串识别结果和上述类似字符串而生成多个翻译结果。
6.根据权利要求1或3所述的便携终端式图像处理系统，其特征在于，服务器的文本翻译部具有关联文生成部，基于接收到的关键字参照关联文辞典生成与上述关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的上述多个文章而生成翻译结果。
7.根据权利要求1或2所述的便携终端式图像处理系统，其特征在于便携终端具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续拍摄并存储在图像缓冲器中的各图像后输出给数据发送部；服务器依次生成包含在接收到的上述各图像中的字符串的各翻译结果后将其发送给上述便携终端；上述便携终端的显示部，每当接收上述各翻译结果就进行显示。
8.根据权利要求7所述的便携终端式图像处理系统，其特征在于便携终端的发送控制部，对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择上述新拍摄的图像并发送给数据发送部。
9.根据权利要求7或8所述的便携终端式图像处理系统，其特征在于服务器具备图像统合部，合成连续接收的多个图像以创建1个合成图像；图像内字符串识别·翻译部生成对应于包含在所创建的上述合成图像中的字符串的翻译结果。
10.根据权利要求1～9中任意一项所述的便携终端式图像处理系统，其特征在于便携终端具备GPS部，用于在取得该便携终端的当前位置后将其添加到发送给服务器的数据中；上述服务器具备保存了各设施的位置的地图数据；上述服务器的处理控制部基于接收到的上述当前位置，通过参照上述地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的上述设施的专用辞典。
11.根据权利要求1～9中任意一项所述的便携终端式图像处理系统，其特征在于便携终端的处理指示部构成为能够由用户来指定专用辞典的种类，并将所指定的上述专用辞典的种类添加到发送给服务器的数据中；上述服务器的处理控制部基于接收到的上述专用辞典的种类，将在该服务器内所用的各种辞典置换成被指定的专用辞典。
12.根据权利要求1、3～5、7～11中任意一项所述的便携终端式图像处理系统，其特征在于便携终端具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并将其存储在上述图像缓冲器中；将上述前处理后图像发送给服务器以获得翻译结果。
13.根据权利要求12所述的便携终端式图像处理系统，其特征在于便携终端构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围上述噪声的噪声除去对象区域；图像前处理部，将上述噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像。
14.一种与进行翻译处理的服务器进行数据交换的便携终端，其特征在于具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者所输入的关键字、所指定的上述处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行了识别的识别字符串以及进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果。
15.一种与进行翻译处理的服务器进行数据交换的便携终端，其特征在于具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由存储在上述图像缓冲器中的图像、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行识别的识别字符串以及进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果。
16.一种与进行翻译处理的服务器进行数据交换的便携终端，其特征在于具备键输入部，输入关键字；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由所输入的关键字、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果。
17.根据权利要求14或15所述的便携终端，其特征在于具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续拍摄并存储在图像缓冲器中的各图像以输出给数据发送部；显示部依次显示包含在从服务器依次接收到的上述各图像中的字符串的各翻译结果。
18.根据权利要求17所述的便携终端，其特征在于发送控制部对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择上述新拍摄的图像并输出给数据发送部。
19.根据权利要求14～18中任意一项所述的便携终端，其特征在于具备GPS部，通过GPS功能取得该便携终端的当前位置后将其添加到发送给服务器的数据中。
20.根据权利要求14～18中任意一项所述的便携终端，其特征在于处理指示部构成为能够由用户来指定在服务器内所用的专用辞典的种类，并将所指定的上述专用辞典的种类添加到发送给服务器的数据中。
21.根据权利要求14、15、17～20中任意一项所述的便携终端，其特征在于具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并将其存储在上述图像缓冲器中；将从上述图像缓冲器读出的上述前处理后图像发送给服务器以获得翻译结果。
22.根据权利要求21所述的便携终端，其特征在于构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围上述噪声的噪声除去对象区域；图像前处理部将上述噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像。
23.一种与便携终端进行数据交换的服务器，其特征在于具备数据接收部，接收由从上述便携终端发送的图像或者键输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；文本翻译部，生成对应于上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照上述所指定的处理服务的种类切换控制是由上述图像内字符串识别·翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。
24.一种与便携终端进行数据交换的服务器，其特征在于具备数据接收部，接收由从上述便携终端发送的图像、处理服务的指示以及上述便携终端的关联信息组成的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务指示使上述图像内字符串识别·翻译部动作；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。
25.一种与便携终端进行数据交换的服务器，其特征在于具备数据接收部，接收由键输入的关键字、处理服务的指示以及上述便携终端的关联信息组成的数据；文本翻译部，生成对应于上述关键字的关联文，翻译所生成的上述关联文后生成上述翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述文本翻译部动作；以及结果发送部，基于上述关联信息将由上述文本翻译部所生成的翻译结果发送给上述便携终端。
26.根据权利要求23或24所述的服务器，其特征在于，图像内字符串识别·翻译部具有图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的上述多个字符串识别结果进行翻译后的多个翻译结果。
27.根据权利要求23或24所述的服务器，其特征在于，图像内字符串识别·翻译部具有图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对上述多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的上述字符串识别结果和上述类似字符串而生成多个翻译结果。
28.根据权利要求25所述的服务器，其特征在于，文本翻译部具有关联文生成部，基于由键输入部所输入的关键字参照关联文辞典生成与上述关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的上述多个文章而生成翻译结果。
29.根据权利要求23、24、26以及27中任意一项所述的服务器，其特征在于具备图像统合部，合成连续接收的多个图像以创建1个合成图像；图像内字符串识别·翻译部生成对应于包含在所创建的上述合成图像中的字符串的翻译结果。
30.根据权利要求23～29中任意一项所述的服务器，其特征在于具备保存了各设施的位置的地图数据；处理控制部基于包含在接收到的数据中的便携终端的当前位置，通过参照上述地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的上述设施的专用辞典。
31.根据权利要求23～29中任意一项所述的服务器，其特征在于处理控制部基于包含在接收到的数据中的被指定的专用辞典的种类将在该服务器内所用的各种辞典置换成被指定的专用辞典。
全文摘要
本发明公开一种便携终端式图像处理系统、便携终端和服务器，以便携终端的摄像机所拍摄的图像为基础提供便利性高的翻译功能。为此，发送由便携终端101的摄像机所拍摄的图像或者键输入部103所输入的关键字、处理服务的种类以及便携终端的关联信息组成的数据，在服务器109中，通过图像内字符串识别部114和翻译部115来翻译对包含在接收图像中的1个字符串所抽取出的多个字符串，或者翻译对接收关键字所生成的关联文后将翻译结果发送给便携终端101。
文档编号G06K9/00GK1615478SQ0282711
公开日2005年5月11日 申请日期2002年11月26日 优先权日2001年12月10日
发明者平野敬, 冈田康裕 申请人:三菱电机株式会社