专利名称：页面即时翻译系统及页面即时翻译方法
技术领域：
本发明涉及图像处理领域，尤其是ー种包含有图像处理技术的页面即时翻译系统以及页面即时翻译方法。
背景技术：
随着互联网技术应用的普及，人们从互联网上获得的信息量越来越大，由于不同网页上显示的文字往往是多种不同的语言，这样给网页的浏览带来极大的不便，因此需要对页面上不同的语言进行即时翻译，以便浏览者及时了解页面所公告的信息，但现有不少对页面即时翻译的方法都存在不足。现有HTML网页主要由文本加上HTML格式标签构成，格式标签是嵌入在文本内的，如果翻译时直接将源文件根据格式标签分成几个部分,很可能会将完整的内容切割成不完 整的几部分，从而导致无法准确翻译原文。因此，在翻译时需要将整个页面当作ー个整体而不是分成単独的几个部分。现有的页面即时翻译方法是首先分别标记HTML格式标签和文本，分别翻译文本和格式标签，然后翻译系统比较翻译如后的文本以及格式标签，如果格式标签在翻译如后的文本中的位置一致，那么将对应的格式标签设置在翻译前的文本对应的位置，如果不一致，翻译系统需要找出格式标签在翻译后的文本中对应的位置，并添加上必要的格式标签。并且，由于不同的HTML网页由不同的语言编写而成，相同的格式标签通常有不同的表示方法，因此翻译系统需要识别这些不同语言编写的格式标签，并将这些格式标签转换成翻译系统能够输出的格式标签表不方式。由于现在网页开发技术日新月异，每时每刻都有新的格式标签出现在网页源代码之中。并且，已有的格式标签所构成网页的版面也会无时不刻地变化，这就要求网页即时翻译系统能不断地更新网页版面识别模块，这不仅降低了翻译的效率还增加了翻译系统后期维护的难度。因此，随着网页技术的快速发展，很容易导致翻译系统因不能识别网页版面格式而出现翻译出错的情況。公开号为CN101576878A的中国发明专利申请公开了ー种名为“用户勾圈网页即时翻译系统及方法”的发明创造，该翻译系统具有勾圈截屏模块、字符识别模块、双语翻译模块、翻译结果显示模块等。勾圈截屏模块根据使用者的操作截取图像，并由字符识别模块是否所截取图像内的字符，由双语翻译模块对字符进行翻译，最后由翻译结果显示模块将翻译的结果显示出来。该方法通过截取图像的方法来避免对HTML网页源代码中的标签格式进行识别，提高了即时翻译的效率也降低翻译系统后期的维护难度。但是，如何识别所截取图像中包含的字符是翻译系统的难题，对字符识别的精确度往往决定了后续翻译的准确性，因此有需要提供一种能够对图像中的字符有效准确识别的装置和方法
发明内容
本发明的主要目的是提供一种能对图像中的字符进行精确识别的页面即时翻译系统。本发明的另一目的是提供一种翻译准确率较高的页面即时翻译方法。为了实现上述的主要目的，本发明提供的页面即时翻译系统包括用于截取页面中指定区域的图像的图像截取模块、用于获取图像内的字符的字符获取模块、用于对所获取的字符进行识别的字符识别模块、用于将被识别的字符翻译成指定的语言的翻译模块以及用于显示翻译模块输出的翻译结果的显示模块，其中，字符获取模块具有图像识别模块，通过对从图像的中心作出的至少一条射线上的像素灰度值进行统计，判别图像的布局；以及字符区域确定模块，根据图像的顶点的像素顔色确定图像的背景顔色，并对图像的所有像素进行逐行扫描，标记包含有非背景顔色像素的行，对被标记的行进行逐列扫描，标记非背景颜色的像素，将被标记的像素中灰度值大于或等于背景顔色灰度值的像素识别为字符区域。由上述方案可见，字符获取模块获取图像内的字符，通过对图像内的行与列进行·扫描，获取非背景顔色的像素，通过这些像素的集合来获取字符区域以及字符的形状，再由字符识别模块使用诸如光学字符识别技术对获取的字符进行识别，进而完成对字符的识另IJ。这样，翻译系统对字符快速且精确地识别，能够提高翻译系统翻译的准确性。一个优选的方案是，字符获取模块还具有图像分割模块，根据图像识别模块判别的图像的布局将图像分割为ニ个以上的第一子图像。由此可见，对图像划分为多个子图像，并对每一子图像内的字符进行识别，这样有利于翻译系统准确地对字符进行识别。进ー步的方案是，字符获取模块还具有图像区域确定模块，在判断图像多个顶点的像素顔色不一致情况下，以每ー顶点为起始点，将未被合并的与顶点具有连续性的且与相邻像素的灰度值的差值小于阈值的像素合并形成顔色区域，将颜色区域扩充至矩形区域形成第二子图像。可见，通过图像区域确定模块，能够对多个顶点像素顔色不一致的图像划分为多个子图像，这样确保每ー个子图像的背景顔色易于被确定，方便对字符的获取。为实现上述的另一目的，本发明提供的页面即时翻译方法包括图像截取步骤，截取页面中指定区域的图像；字符获取步骤，获取图像内的字符；字符识别步骤，对所获取的字符进行识别；翻译步骤，将被识别的字符翻译成指定的语言；显示步骤，显示翻译模块输出的翻译结果，其中，字符获取步骤包括图像识别步骤，通过对从图像的中心作出的至少ー条射线上的像素灰度值进行统计，判别图像的布局；字符区域确定步骤，根据图像的顶点的像素顔色确定图像的背景顔色，并对图像的所有像素进行逐行扫描，标记包含有非背景颜色像素的行，对被标记的行进行逐列扫描，标记非背景颜色的像素，将被标记的像素中灰度值大于或等于背景顔色灰度值的像素识别为字符区域。由上述方案可见，在字符获取步骤中，通过对图像的布局进行识别并对图像中非背景顔色的像素进行标记，能够方便地获取字符的形状，有利于在字符识别步骤中正确对字符进行识别，从而提高翻译的准确率。一个优选的方案是，执行图像识别步骤后，还执行图像分割步骤，根据图像的布局将图像分割为ニ个以上的第一子图像，字符区域确定步骤中的图像为第一子图像。
由此可见，对于布局不单ー的图像，将其分割形成多个子图像，能够方便对每一子图像进行简单的处理从而获取每一子图像内的字符，有利于字符的快速获取。
图I是本发明页面即时翻译系统实施例的结构框图。图2是本发明页面即时翻译方法实施例的流程图。图3是本发明页面即时翻译方法实施例处理的六种不同情况图像的图示。图4是本发明页面即时翻译方法实施例字符区域确定步骤中确定字符区域的示意图。图5本本发明页面即时翻译方法实施例图像区域确定步骤中确定颜色区域的示 意图。以下结合附图及实施例对本发明作进ー步说明。
具体实施例方式本发明的页面即时翻译系统用于对网页上的文字进行即时翻译，该翻译系统的结构示意图如图I所示。页面即时翻译系统具有图像截取模块11、字符获取模块12、字符识别模块13、翻译模块14以及显示模块15，其中字符获取模块12内设有图像识别模块21、图像分割模块22、图像区域确定模块23以及字符区域确定模块24。当然，翻译系统还包括诸如信息输入模块、设置模块等，用于接收使用者输入的信息以及对页面即时翻译系统的设置信息，并对这些输入的信息以及设置信息进行相应，如执行设置操作等。
图像截取模块11根据使用者的操作从页面上截取指定区域的图像，例如，使用者通过鼠标指针选取了页面上ー个矩形区域内的图像，图像截取模块11将该区域的图像截取下来，以图片的形式进行保存。字符获取模块12将获取的图像中的字符，包括各种语言的文字、字母及符号等，例如获取图像中字符的区域，并对字符的形状进行识别等。字符获取模块12的工作原理以及其内部各个模块的工作流程将在下文详细描述。字符识别模块13应用文字识别技术，如光学字符识别(OCR)技术对字符获取模块12所获取的字符进行识别，并将识别后的文字信息输出至翻译模块14。翻译模块14对字符识别模块13所识别的文字进行翻译，当然，翻译模块14需要调用翻译词库，并根据翻译前语句的语法对文意理解并翻译成指定的语言。翻译结果由显示模块15显示，显示模块15可以在显示界面上生成ー个窗ロ，在窗ロ内同时显示翻译前的文本以及翻译后的文本，当然，也可以根据使用者的设置，仅显示翻译后的文本。显示窗ロ可以根据使用者的设定，悬浮在页面上方或者以其他方式显示。下面结合图2对页面即时翻译系统的工作流程进行说明。页面即时翻译系统工作时，首先根据使用者的选择，对页面上指定区域内的图像进行截取，即执行步骤Si，然后由字符获取模块执行字符获取步骤，获取图像内的字符。在字符获取步骤中，首先由图像识别模块执行图像识别步骤，以图像的中心为起始点，作出多条射线，每一条射线延伸到图像的边界，即执行步骤S2。然后对每一条射线上的所有像素的灰度值进行统计，判断每一条射线上的像素的灰度值是否满足正态分布，即执行步骤S3。对像素的灰度值进行统计吋，首先把每个像素的顔色转换成灰度值，并使用ニ进制数据表示灰度值。如果两个像素的灰度值ニ进制数据高5位相同，则表示两个像素的颜色相似。例如，某个像素的灰度值为249，ニ进制数据为1111001，如果另ー个像素的灰度ニ进制数据也为llllxxx，其中“X”表示ニ进制数据“O”或“I”。这样，可以判断两个像素的顔色相似。如果射线上的所有像素顔色的分类聚合满足统计学的正态分布，表示所截取的图像中仅包含文字，且图像的布局単一，如图3 (a)或图3 (b)所示的，可以执行步骤S5。若不满足正态分布，表示所截取的图像中包含图片，则需要执行步骤S4，对图像进行分割。步骤S4中，图像分割模块对图像执行图像分割步骤，此时图像分割模块查看在垂直方向上与水平方向上的射线上所有像素的灰度值分布情況，并根据灰度值分布情况判断图像的布局。本文所说的布局是指图像中图片块与文字块的分布情况，如图3(c)所示的图
像是上下布局，图片块位于图像的上方，而文字块位于图像的下方。如图3 (d)、图3 Ce),图3 Cf)是左右布局，左侧的图片块内包含有文字，而右侧为文字块，不包含图片。图像分割模块根据图像的布局对图像进行分割，分割成多个子图像，并对每ー个子图像进行处理，获取每ー个子图像内的字符。由于在布局较为复杂的图像中，文字块与图片块之间往往会存在灰度值的突变，因此通过射线上的像素的灰度值变化能够分辨出图像的布局。例如对图(C)所示的图像就分割成上下两个子图像，对于图3 (d)、图3 (e)、图3(f)所示的图像，将分割成左右两个子图像。接着，图像区域确定模块执行图像区域确定步骤，首先执行步骤S5中，判断图像中多个顶点的像素的颜色是否相同。当然，若将图像截取模块所截取的图像分割成多个子图像，步骤S5中的图像就是每ー个子图像，若没有将所截取的图像进行分割，则步骤S5中的图像就是所截取的原始图像。由于图像截取模块截取的图像是矩形的图像，且图像分割模块分割后的图像也是矩形图像，因此图像具有四个顶点，步骤S5中是判断四个顶点像素的颜色是否相同。本文所指的顔色，是用RGB模型表示的像素顔色。若四个顶点像素的颜色相同，则执行步骤S7，若四个顶点的像素颜色不相同，则执行步骤S6。步骤S7是字符区域确定模块执行的字符区域确定步骤，首先根据四个顶点像素的顔色确定图像的背景顔色，背景顔色就是四个顶点像素的顔色。然后对图像进行逐行与逐列的扫描，将非背景顔色的像素扫描并标记。例如，如图4所示，图中标有“*”的像素表示非背景颜色的像素。对图像进行扫描时，首先逐行进行扫描，如设定变量i为0，对每一行进行扫描，若该行不包含有非背景顔色的像素，变量i设定为0，若该行包含有非背景顔色的像素，则将变量i设定为I。如图4中，第I行与第6行不包含非背景顔色的像素，因此第I行与第6行未被标记，而第2行至第5行被标记。然后，对被标记的行进行顺次两行之间的逐列扫描，同时设置变量j为0，若某一列所有像素的顔色均为背景顔色，则变量j设定为0，若该列包含有非背景顔色的像素，则标记该像素，记录该像素的坐标。如图4中，a列、b列不包含非背景颜色像素,变量j均为0，而c列至f列包含非背景顔色像素，变量j为1，同时标记非背景顔色的像素。例如，首先记录了非背景颜色的像素2c的坐标，然后在扫描下一列时记录了像素3d的坐标，像素2c与像素3d即为顺次相邻的两个非背景顔色像素，将顺次相邻的两个非背景颜色像素为顶点，选取ー个矩形的区域，这个区域就是ー个候选的字符区域。经过对所有的行与列进行扫描，将形成多个候选的字符区域，这些候选的字符区域组成候选区域集合。对候选区域集合中的每ー个候选字符区域内的像素进行灰度值计算，将灰度值大于或等于背景顔色对应的灰度值的像素识别为字符区域。这些被识别的字符区域可以由字符识别模块进行光学字符识别，即执行步骤S8。在步骤S5中，若判断图像中的四个顶点像素颜色不相同，则执行步骤S6，由图像区域确定模块对图像区域进行确定，以每一顶点作为起始点对图像内未被合并的具有连续性的且与相邻像素的灰度值的差值小于阈值的像素进行合井。例如，如图5所示，假设像素Ia的顔色与像素6a的颜色不相同，则需要确定多个颜色区域。例如，从顶点像素Ia开始，计算相邻的八个方向上每ー像素的灰度值。本文所指的相邻，是指像素的左上方、正上方、右上方、正左方、正右方、左下方、正下方以及右下方的八个像素，当然，对于顶点像素Ia而言，由于左上方、正上方、右上方、正左方、左下方均没有像素，因此与顶点像素Ia的相邻的仅有正右方的像素lb、正下方的像素2a以及右下方 的像素2b。接着，判断相邻的像素中，像素的灰度值与该像素的灰度值差值是否大于ー个阈值，该阈值可以通过以下方式计算。首先，计算图像的像素灰度均值Ap，像素灰度均值Ap通过以下公式计算
权利要求
1.页面即时翻译系统，包括 图像截取模块，用于截取页面中指定区域的图像； 字符获取模块，用于获取所述图像内的字符； 字符识别模块，用于对所获取的字符进行识别； 翻译模块，用于将被识别的字符翻译成指定的语言； 显示模块，用于显示所述翻译模块输出的翻译结果； 其特征在于 所述字符获取模块具有 图像识别模块，通过对从所述图像的中心作出的至少一条射线上的像素灰度值进行统计，判别所述图像的布局； 字符区域确定模块，根据所述图像的顶点的像素颜色确定所述图像的背景颜色，并对所述图像的所有像素进行逐行扫描，标记包含有非背景颜色像素的行，对被标记的行进行逐列扫描，标记非背景颜色的像素，将被标记的像素中灰度值大于或等于背景颜色灰度值的像素识别为字符区域。
2.根据权利要求I所述的页面即时翻译系统，其特征在于 所述字符获取模块还具有图像分割模块，用于根据所述图像识别模块判别的所述图像的布局将所述图像分割为二个以上的第一子图像。
3.根据权利要求I或2所述的页面即时翻译系统，其特征在于 所述字符获取模块还具有图像区域确定模块，用于在判断所述图像多个顶点的像素颜色不一致情况下，以每一所述顶点为起始点，将未被合并的与所述顶点具有连续性的且与相邻像素的灰度值的差值小于阈值的像素合并形成颜色区域，将所述颜色区域扩充至矩形区域形成第二子图像。
4.根据权利要求3所述的页面即时翻译系统，其特征在于 所述阈值是以像素为中心的特定区域内灰度值大于所述图像的像素灰度均值的灰度值数量与灰度值小于所述图像的像素灰度均值的灰度值数量的均方值。
5.根据权利要求I或2所述的页面即时翻译系统，其特征在于 所述图像识别模块对所述射线的像素灰度值的统计是统计所述像素的灰度值是否满足正态分布。
6.页面即使翻译方法，包括 图像截取步骤，截取页面中指定区域的图像； 字符获取步骤，获取所述图像内的字符； 字符识别步骤，对所获取的字符进行识别； 翻译步骤，将被识别的字符翻译成指定的语言； 显示步骤，显示所述翻译模块输出的翻译结果； 其特征在于 所述字符获取步骤包括 图像识别步骤，通过对从所述图像的中心作出的至少一条射线上的像素灰度值进行统计，判别所述图像的布局； 字符区域确定步骤，根据所述图像的顶点的像素颜色确定所述图像的背景颜色，并对所述图像的所有像素进行逐行扫描，标记包含有非背景颜色像素的行，对被标记的行进行逐列扫描，标记非背景颜色的像素，将被标记的像素中灰度值大于或等于背景颜色灰度值的像素识别为字符区域。
7.根据权利要求6所述的页面即使翻译方法，其特征在于 执行所述图像识别步骤后，还执行图像分割步骤，根据所述图像的布局将所述图像分割为二个以上的第一子图像； 所述字符区域确定步骤中的图像为所述第一子图像。
8.根据权利要求6或7所述的页面即使翻译方法，其特征在于 执行所述字符区域确定步骤前，还执行图像区域确定步骤，判断所述图像的多个顶点的像素颜色是否相同，若不相同，以每一所述顶点为起始点，将未被合并的与所述顶点具有连续性的且与相邻像素的灰度值的差值小于阈值的像素合并形成颜色区域，将所述颜色区域扩充至矩形区域形成第二子图像； 所述字符区域确定步骤中的图像为所述第二子图像。
9.根据权利要求8所述的页面即使翻译方法，其特征在于 所述阈值的计算步骤是计算所述图像的像素灰度均值，并计算以像素为中心的特定区域内灰度值大于所述像素灰度均值的灰度值数量与灰度值小于所述像素灰度均值的灰度值数量的均方值，以所述均方值为所述阈值。
10.根据权利要求6或7所述的页面即使翻译方法，其特征在于 所述图像识别步骤中，对所述射线的像素灰度值的统计是统计所述像素的灰度值是否满足正态分布。
全文摘要
本发明提供一种页面即时翻译系统及页面即时翻译方法，该翻译系统包括图像截取模块、字符获取模块、字符识别模块、翻译模块以及显示模块，其中，字符获取模块具有图像识别模块，通过对从图像的中心作出的至少一条射线上的像素灰度值进行统计，判别图像的布局；以及字符区域确定模块，根据图像的顶点的像素颜色确定图像的背景颜色，并对图像的所有像素进行逐行扫描，标记包含有非背景颜色像素的行，对被标记的行进行逐列扫描，标记非背景颜色的像素，将被标记的像素中灰度值大于或等于背景颜色灰度值的像素识别为字符区域。该方法是应用上述方法对截取的图像内的文字进行反应的方法。本发明能快速的对截图的图像内的文字进行精确的翻译。
文档编号G06F17/30GK102681986SQ201210161919
公开日2012年9月19日 申请日期2012年5月23日 优先权日2012年5月23日
发明者董名垂, 费晓磊 申请人:董名垂, 费晓磊