专利名称：手持设备上基于图片进行外文翻译的装置及方法
技术领域：
本发明涉及手持设备领域，特别涉及手持设备的多语言翻译技术领域，具体是指一种手持设备上基于图片进行外文翻译的装置及方法。
背景技术：
现代生活和工作中，手机使用得越来越多，功能也越来越强大，同时随着世界交流的逐渐频繁，外语已经占据了越来越重要的地位，因此语言学习是未来手机的一个重要的发展方向。在语言学习中经常遇到生词需要查询的情况，现有技术中人们通常使用快译通或者文曲星等翻译工具进行手动查询翻译，效率很低，而且不便于携带，虽然现有技术中有一种将翻译字典集成于手机中，但是人们使用手机翻译字典进行查询的通常办法是在手机翻译字典中键入该单词进行查询，这在很多情况下是非常不便的，并且限制了其应用范围，降低了人们的工作效率。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种能够直接将外文文字进行拍摄后识别查询、操作方便快捷、翻译效率较高、识别查询性能稳定可靠、适用范围较为广泛的手持设备上基于图片进行外文翻译的装置及方法。
为了实现上述的目的，本发明的手持设备上基于图片进行外文翻译的装置及方法如下该手持设备上基于图片进行外文翻译的装置，包括手持设备上的触摸显示屏、手写笔和其它功能电路，其主要特点是，所述的装置还包括设置于手持设备外壳上的摄像头、手持设备中的图像灰度化和闭合区域补充处理模块、光学字符识别处理模块和查询查询模块，所述的摄像头依次与所述的图像灰度化和闭合区域补偿处理模块、光学字符识别处理模块和查询翻译模块相连接。
所述的图像灰度化和闭合区域补充处理模块包括图像灰度化处理单元和闭合区域补充处理单元。
该使用上述的装置基于图片进行外文翻译的方法，其主要特点是，所述的方法包括以下步骤(1)系统进行初始化操作；(2)系统根据用户操作，驱动摄像头拍摄需要翻译的外文文字信息并生成图片；(3)系统通过触摸显示屏将图片显示出来；(4)系统根据用户手写笔在触摸显示屏上的操作，选定图片中的一闭合区域，并将该闭合区域信息送至图像灰度化和闭合区域补充处理模块；(5)图像灰度化和闭合区域补充处理模块对该闭合区域信息依次进行灰度化处理操作和闭合区域补充处理操作；(6)系统将处理后的信息送至光学字符识别(OCR)处理模块进行文字字符识别；(7)系统将识别出的文字字符信息送至查询翻译模块进行翻译处理；(8)系统通过触摸显示屏将翻译结果显示出来。
所述的灰度化处理操作包括以下步骤(1)计算所述的闭合区域的外围线所覆盖的各象素点颜色之间的几何空间距离；(2)对上述计算结果进行统计处理，并根据统计处理结果设定背景色的几何重心；(3)计算所有象素点颜色到背景色的几何重心的几何空间距离；(4)将各个象素点所对应的上述距离作为输出的灰度图像中所对应的灰度值。
所述的计算象素点颜色之间的几何空间距离包括以下步骤(1)根据各个象素点的颜色中的红色、绿色、蓝色的强度表示为三维坐标点(R，G，B)；(2)使用以下公式S=(R1-R2)2+(G1-G2)2+(B1-B2)2,]]>或者使用以下公式S＝|R1-R2|+|G1-G2|+|B1-B2|计算出两个象素点之间的几何空间距离S，其中，象素点1的三维坐标为(R1，G1，B1)，象素点2的三维坐标为(R2，G2，B2)。
所述的根据各象素点之间的几何空间距离进行统计处理包括以下步骤(1)根据各个象素点之间的几何空间距离计算象素点的几何重心；(2)如果一象素点与上述几何重心之间的几何空间距离小于系统预设的距离值，则保留该象素点；(3)如果一象素与上述几何重心之间的几何空间距离大于系统预设的距离值，则剔除该象素点；
(4)将上述的几何重心作为结果返回。
所述的闭合区域补充处理操作包括以下步骤(1)确定一包含该闭合区域的规则形状区域；(2)将在该规则形状区域内且在该闭合区域外的象素点的灰度设定为背景色的灰度值。
所述的规则形状区域为矩形区域。
所述的文字字符信息为一外文单词。
所述的查询翻译模块为字典查询功能模块。
采用了该发明的手持设备上基于图片进行外文翻译的装置及方法，由于其能够通过手持设备上自带的相机进行拍照，然后在照片中选取包含待翻译单词的图片区域，对该区域的象素进行处理，并处理后的象素送到OCR处理模块辨识该单词，OCR处理模块辨识该单词后，将辨识结果送到内置词典进行翻译并且将翻译结果显示到显示装置上，从而实现了外文的快捷翻译，不仅用户操作方便快捷，而且翻译效率较高，同时本发明的装置和方法的识别查询性能稳定可靠，适用范围较为广泛，给人们的生活和工作带来了很大的便利。
图1为本发明的手持设备上基于图片进行外文翻译的装置的功能模块组成示意图。
图2为本发明的手持设备上基于图片进行外文翻译的方法的工作流程图。
图3为本发明的手持设备所拍摄的原始外文图片的界面示意图。
图4为用户选取图3中的某个待翻译单词的图片区域的界面示意图。
图5为经过本发明的手持设备辨识查询翻译处理后显示出来的单词解释和用法界面示意图。
具体实施例方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1所示，该手持设备上基于图片进行外文翻译的装置，包括手持设备上的触摸显示屏、手写笔和其它功能电路，其中，所述的装置还包括设置于手持设备外壳上的摄像头、手持设备中的图像灰度化和闭合区域补充处理模块、光学字符识别处理模块和查询翻译模块，所述的图像灰度化和闭合区域补充处理模块包括图像灰度化处理单元和闭合区域补充处理单元，所述的摄像头依次与所述的图像灰度化和闭合区域补偿处理模块、光学字符识别处理模块和查询翻译模块相连接。
再请参阅图2所示，该使用上述的装置基于图片进行外文翻译的方法，包括以下步骤
(1)系统进行初始化操作；(2)系统根据用户操作，驱动摄像头拍摄需要翻译的外文文字信息并生成图片；(3)系统通过触摸显示屏将图片显示出来；(4)系统根据用户手写笔在触摸显示屏上的操作，选定图片中的一闭合区域，并将该闭合区域信息送至图像灰度化和闭合区域补充处理模块；(5)图像灰度化和闭合区域补充处理模块对该闭合区域信息依次进行灰度化处理操作和闭合区域补充处理操作；该灰度化处理操作包括以下步骤(a)计算所述的闭合区域的外围线所覆盖的各象素点颜色之间的几何空间距离，所述的计算象素点颜色之间的几何空间距离包括以下步骤(i)根据各个象素点的颜色中的红色、绿色、蓝色的强度表示为三维坐标点(R，G，B)；(ii)使用以下公式S=(R1-R1)2+(G1-G2)2+(B1-B2)2,]]>或者使用以下公式S＝|R1-R2|+|G1-G2|+|B1-B2|计算出两个象素点之间的几何空间距离S，其中，象素点1的三维坐标为(R1，G1，B1)，象素点2的三维坐标为(R2，G2，B2)；同时，还存在其它各种计算方法来求近似的几何距离，都可以应用在本发明的技术方案中，这样一方面可以减少进行平方和开平方等比较复杂耗时的操作，另一方面可以具有较强的灵活性和适应性，能够自动适应各种不同的环境和场合，获得最佳的处理效果；(b)根据上述计算结果对背景色的几何重心进行统计处理，并根据统计处理结果设定相应背景色的几何重心，该统计处理包括以下步骤(i)根据各个象素点之间的几何空间距离计算象素点的几何重心；(ii)如果一象素点与上述几何重心之间的几何空间距离小于系统预设的距离值，则保留该象素点；(iii)如果一象素与上述几何重心之间的几何空间距离大于系统预设的距离值，则剔除该象素点；(iv)将上述的几何重心作为结果返回；(c)计算所有象素点颜色到背景色的几何重心的几何空间距离；(d)将各个象素点所对应的上述距离作为输出的灰度图像中所对应的灰度值；
所述的闭合区域补充处理操作包括以下步骤(a)确定一包含该闭合区域的规则形状区域，在本实施例中，该规则形状区域为矩形区域，也可以根据情况采用其它规则形状区域；(b)将在该规则形状区域内且在该闭合区域外的象素点的灰度设定为背景色的灰度值；(6)系统将处理后的信息送至光学字符识别(OCR)处理模块进行文字字符识别；(7)系统将识别出的文字字符信息送至查询翻译模块进行翻译处理，所述的文字字符信息为一外文单词，这种情况下，所述的查询翻译模块为字典查询功能模块；同时也可以是一个句子或者段落，此时，所述的查询翻译模块应该是具有句子或者段落智能翻译功能的模块；(8)系统通过触摸显示屏将翻译结果显示出来。
在实际使用当中，再请参阅图2所示，印刷体字符辨识已经达到了很高的辨识率，消费者在阅读外文资料时，经常会碰到生词需要查询，使用手机便可以将该片断拍摄下来。
再请参阅图3所示，接着使用者使用手写笔绘画一个闭合区域，该闭合区域包含需要翻译的字母组合。
此时，由于OCR辨识单元处理的输入需要的灰度图像，并且是矩形区域，而上面得到的闭合区域可能不是矩形，而且其图像可能是彩色的，因此需要经过两个步骤(1)所有的象素转换为灰度图像；(2)闭合区域补充象素点成为矩形区域。
灰度化的处理过程如下彩色由三原色红、绿、蓝按照不同比例构成，如果拍摄到的字体是蓝底红字，在某种红色和蓝色的强度设定下，有可能他们的灰度相同，因此也无法提供给OCR算法进行辨识，故此转灰度算法要预先对图像进行处理。
处理方法如下先根据用户绘画的闭合区域的外围线所覆盖的点，确定背景色。因为外围线覆盖的点绝大部分都是背景色，因此以这些点的作为背景色是合理的。每个象素点可以表示为(R，G，B)三维坐标点，其中R、G、B分别表示其红色、绿色、蓝色的强度。这些象素点之间的几何空间距离定义为S=(R1-R2)2+(G1-G2)2+(B1-B2)2;]]>同时，还存在其它各种定义方法来定义近似的几何距离，如S＝|R1-R2|+|G1-G2|+|B1-B2|等，都可以应用在本发明的技术方案中，这样一方面可以减少进行平方和开平方等比较复杂耗时的操作，另一方面可以具有较强的灵活性和适应性，能够自动适应各种不同的环境和场合，获得最佳的处理效果。
接着对颜色进行统计，绝大部分的象素相互之间的距离很小，而可能有部分象素离开前述象素的几何重心(Rc，Gc，Bc)过远，那么把这些象素剔除。
然后将所有象素到背景色的几何重心之间的距离，这个距离就是输出的灰度图像的灰度。
闭合区域内的图像灰度化之后，补充该图像为一个矩形图像，矩形的大小设定为可以包含该闭合区域。矩形图像内，闭合区域外的象素灰度设定为背景色灰度。
然后将上述的矩形灰度化图像传送到OCR处理模块进行处理，接着将识别出的文字字符信息送至查询翻译模块进行翻译处理。
再请参阅图4所示，在进行过上述处理之后，使用者可以选择显示解释(比如按“OK”)，则可显示详细的单词解释和用法。
采用了上述的手持设备上基于图片进行外文翻译的装置及方法，由于其能够通过手持设备上自带的相机进行拍照，然后在照片中选取包含待翻译单词的图片区域，对该区域的象素进行处理，并处理后的象素送到OCR处理模块辨识该单词，OCR处理模块辨识该单词后，将辨识结果送到内置词典进行翻译并且将翻译结果显示到显示装置上，从而实现了外文的快捷翻译，不仅用户操作方便快捷，而且翻译效率较高，同时本发明的装置和方法的识别查询性能稳定可靠，适用范围较为广泛，给人们的生活和工作带来了很大的便利。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
权利要求
1.一种手持设备上基于图片进行外文翻译的装置，包括手持设备上的触摸显示屏、手写笔和其它功能电路，其特征在于，所述的装置还包括设置于手持设备外壳上的摄像头、手持设备中的图像灰度化和闭合区域补充处理模块、光学字符识别处理模块和查询翻译模块，所述的摄像头依次与所述的图像灰度化和闭合区域补偿处理模块、光学字符识别处理模块和查询翻译模块相连接。
2.根据权利要求1所述的手持设备上基于图片进行外文翻译的装置，其特征在于，所述的图像灰度化和闭合区域补充处理模块包括图像灰度化处理单元和闭合区域补充处理单元。
3.一种使用权利要求1所述的装置基于图片进行外文翻译的方法，其特征在于，所述的方法包括以下步骤(1)系统进行初始化操作；(2)系统根据用户操作，驱动摄像头拍摄需要翻译的外文文字信息并生成图片；(3)系统通过触摸显示屏将图片显示出来；(4)系统根据用户手写笔在触摸显示屏上的操作，选定图片中的一闭合区域，并将该闭合区域信息送至图像灰度化和闭合区域补充处理模块；(5)图像灰度化和闭合区域补充处理模块对该闭合区域信息依次进行灰度化处理操作和闭合区域补充处理操作；(6)系统将处理后的信息送至光学字符识别处理模块进行文字字符识别；(7)系统将识别出的文字字符信息送至查询翻译模块进行翻译处理；(8)系统通过触摸显示屏将翻译结果显示出来。
4.根据权利要求3所述的基于图片进行外文翻译的方法，其特征在于，所述的灰度化处理操作包括以下步骤(1)计算所述的闭合区域的外围线所覆盖的各象素点颜色之间的几何空间距离；(2)根据上述计算结果对背景色的几何重心进行统计处理，并根据统计处理结果设定背景色的几何重心；(3)计算所有象素点颜色到背景色的几何重心的几何空间距离；(4)将各个象素点所对应的上述距离作为输出的灰度图像中所对应的灰度值。
5.根据权利要求4所述的基于图片进行外文翻译的方法，其特征在于，所述的计算象素点颜色之间的几何空间距离包括以下步骤(1)根据各个象素点的颜色中的红色、绿色、蓝色的强度表示为三维坐标点(R，G，B)；(2)使用以下公式S=(R1-R2)2+(G1-G2)2+(B1-B2)2,]]>或者使用以下公式S＝|R1-R2|+|G1-G2|+|B1-B2|计算出两个象素点之间的几何空间距离S，其中，象素点1的三维坐标为(R1，G1，B1)，象素点2的三维坐标为(R2，G2，B2)。
6.根据权利要求5所述的基于图片进行外文翻译的方法，其特征在于，所述的根据各象素点之间的几何空间距离对背景色的几何重心进行统计处理包括以下步骤(1)根据各个象素点之间的几何空间距离计算象素点的几何重心；(2)如果一象素点与上述几何重心之间的几何空间距离小于系统预设的距离值，则保留该象素点；(3)如果一象素与上述几何重心之间的几何空间距离大于系统预设的距离值，则剔除该象素点；(4)将上述的几何重心作为结果返回。
7.根据权利要求3所述的基于图片进行外文翻译的方法，其特征在于，所述的闭合区域补充处理操作包括以下步骤(1)确定一包含该闭合区域的规则形状区域；(2)将在该规则形状区域内且在该闭合区域外的象素点的灰度设定为背景色的灰度值。
8.根据权利要求7所述的基于图片进行外文翻译的方法，其特征在于，所述的规则形状区域为矩形区域。
9.根据权利要求3所述的基于图片进行外文翻译的方法，其特征在于，所述的文字字符信息为一外文单词。
10.根据权利要求3所述的基于图片进行外文翻译的方法，其特征在于，所述的查询翻译模块为字典查询功能模块。
全文摘要
本发明涉及一种手持设备上基于图片进行外文翻译的装置及方法，该装置包括摄像头、图像灰度化和闭合区域补充处理模块、光学字符识别处理模块和查询翻译模块，摄像头依次与图像灰度化和闭合区域补偿处理模块、光学字符识别处理模块和查询翻译模块相连接。该方法包括拍摄需要翻译的外文文字信息图片、选定图片中的一闭合区域、对该闭合区域信息依次进行灰度化处理操作和闭合区域补充处理操作、进行文字字符识别和查询翻译处理、显示翻译结果。采用该种手持设备上基于图片进行外文翻译的装置及方法，用户操作方便快捷，翻译效率较高，同时本发明的装置和方法的识别查询性能稳定可靠，适用范围较为广泛，给人们的生活和工作带来了很大的便利。
文档编号H04Q7/32GK101082956SQ20061002725
公开日2007年12月5日 申请日期2006年6月2日 优先权日2006年6月2日
发明者梁景新, 何代水 申请人:英华达(上海)电子有限公司