呈现图像中描绘的文本的翻译的制作方法_5

文档序号:9925310阅读:来源:国知局
选择单个集合场境。当附加信息是相关的使得附加信息应该被一起呈现时,可以选择集成的文本块。例如,将街道标志的翻译一起示出可能更好,使得用户可以将翻译与它的对应的街道标志相匹配。
[0154]为了在单个集合场境和集成集合场境之间选择,可以使用语言模型。例如,可以使用语言模型来确定文本是指菜单上的多个食物项或者文本是指多个街道标志。诸如数字或价格的标识符的存在也可以被用于在单个集合场境和集成集合场境之间选择。如果集合中的每个文本块都包括标识符,则每个文本块可被独立地呈现。因此,可以选择单个集合场境而不是集成集合场境。
[0155]为文本识别附加信息(1310)。附加信息可以包括所选择的文本的语言翻译。例如,用户可以选择用户希望图像描绘的文本将要被翻译成的语言。对于包括货币形式的数量的文本,附加信息可以包括到用户所指定的货币的量的兑换。例如,如果所选择的文本包括日元价格,则附加信息可以包括对应于所述日元价格的美元数量。
[0156]基于所选择的集合呈现场境和/或附加信息的可读性度量,选择用户界面(1312)。每个集合呈现场境可以具有可以被用于为图像中描绘的文本呈现附加信息的一个或多个对应的用户界面。此外,有资格被用于一个集合呈现场境的用户界面可以不同于用于每个其它集合呈现场境的用户界面。
[0157]多个集合场境可以具有在图像之上的覆盖中呈现附加信息的用户界面(例如,类似于图11中的用户界面1130)和/或使用户能够在一个或多个单独的屏幕中浏览用于集合中的每个文本块的附加信息的用户界面(例如,图12中的用户界面1240)。如上面所描述的,每个集合可被单独浏览则每个其他集合在类似用户界面1240的用户界面中。
[0158]单个集合场境还可以包括在图像之上的覆盖中呈现附加信息的用户界面(例如,类似于图11中的用户界面1130)和/或使用户能够在一个或多个单独的屏幕中浏览用于集合中的每个文本块的附加信息的用户界面(例如,图12中的用户界面1240)。在一些实现中,单个集合场境可以对应于自动默认为单独为集合中的每个文本块呈现附加信息的用户界面。例如,如果每个文本块都包括标识符,默认的或优选用户界面可以是单独为每个文本块呈现附加信息并允许用户浏览集合中的每个其他文本块的附加信息的用户界面。
[0159]可以将集成集合场境与同时或在相同屏幕上为包括在集合中的每个文本块呈现附加信息的用户界面(例如,与允许用户浏览无法容纳在屏幕上的信息的用户界面元素)相关联。用于集成集合场境的用户界面可以包括在图像之上的一个或多个覆盖中呈现附加信息的用户界面以及在单独的屏幕上呈现附加信息的用户界面。在覆盖用户界面的示例中,图12中的每个街道标志的翻译可以被呈现在其对应的街道标志之上的覆盖中。以这种方式,用户可以容易地确定哪个翻译对应于哪个街道标志。
[0160]每个集合呈现场境都可以具有用于该场境的优选用户界面。例如,用于多个集合场境和集成集合场境的优选用户界面可以是在图像之上的覆盖中呈现附加信息的用户界面。用于单个集合场境的优选用户界面可以是单独为每个文本块呈现附加信息的用户界面。
[0161]在一些实现中,附加信息的可读性度量被用于选择用于呈现附加信息的用户界面。可读性度量被用于确定是否为所选择的集合呈现场境使用优选用户界面(例如,在图像之上带有覆盖的用户界面)或者使用替选的用户界面(例如,使得用户能够浏览附加信息的用户界面)。例如,如果附加信息相对于优选集合呈现场境的可读性度量满足可读性阈值(例如,通过达到或超过可读性阈值),则可以选择优选用户界面。如果附加信息相对于优选集合呈现场境的可读性度量没有满足可读性阈值(例如,可读性度量小于可读性阈值),则可以选择允许附加信息的更多特征的呈现的替选的用户界面。
[0162]可读性度量可以被用于在独立于优选用户界面的多个用户界面之间选择。例如,可以选择有资格用于所选择的集合呈现场境并导致最高的可读性度量的用户界面。
[0163]使用所选择的用户界面来呈现附加信息(1314)。例如,用户设备可以生成用户界面并在所选择的界面中呈现附加信息。
[0164]地图呈现场境和用户界面
[0165]在一些场境中,基于图像中描绘的文本接收地图或到一个位置的驾驶路线对用户可以是有益的。例如,用户为事件的海报拍照,所述海报包括事件和所述事件的地址。呈现包括带有位置的翻译或地址的翻译的地图的用户界面可以帮助用户识别事件并确定如何到达所述事件。
[0166]当地图用户界面的呈现对用户可能有益时,诸如图1中的翻译器115的翻译器可以选择地图呈现场境。例如,响应于检测到捕捉的图像描绘的一个或多个地址,翻译器115可以选择地图呈现场境。如果用户已经向翻译器115提供了位置信息,用于地图呈现场境的用户界面可以包括对应于所检测的地址和/或用户的当前位置的地图。
[0167]地图呈现场境可以包括单个地址地图场境和多个地址地图场境。响应于在图像中检测到单个地址,可以选择单个地址地图场境。用于单个地址地图场境的用户界面可以包括地图,所述地图示出对应于所述单个地址的位置和/或到所述单个地址的驾驶路线。用户界面还可以呈现地址的语言翻译和/或所述地址所引用的位置或建筑的名称的语言翻译。用于多个地址地图场境的用户界面可以包括控件,所述控件使得用户能够在每个所检测的地址的信息之间进行浏览。例如,用户界面可以使得用户能够在分别示出地图和/或多个地址中特定地址的驾驶路线的卡或屏幕之间进行浏览。每个卡或屏幕还可以呈现地址的语言翻译和/或所述卡或屏幕对应的地址所引用的位置或建筑的名称的语言翻译。地图呈现场境用户界面中所提供的路线指引可以是用户指定的翻译语言。
[0168]图14描绘了用于呈现与被识别为具有地图场境的图像中描绘的文本有关的附加信息的示例用户界面1400A-1400C的屏幕截图。在屏幕截图1400A中,例如响应于对图像捕捉按钮1414的用户选择,图像1412被捕捉并在用户界面1410中被呈现。示例图像1412包括关于事件的信息和事件的地址1416。
[0169]翻译器115可以分析图像1412中的文本以识别地址。例如,翻译器115可以识别图像中的文本并将所识别的文本与已知的地址比较。如果存在匹配,翻译器115可以将文本识别为地址。响应于识别地址1414,可以提供允许用户请求并获取关于所述地址的附加信息的用户界面,诸如到所述地址的地图和/或路线指引。例如,用户界面1430可以如屏幕截图1400B中所示出地被呈现。
[0170]在屏幕截图1400B中,用户界面1430使用地址1414周围的框1432将地址1414突出显示。用户界面1430还提供允许用户查看对应于地址1414的地图的〃 Viewonmap 〃控件1434。响应于对控件1434的选择,用户界面1450可以被呈现为屏幕截图1400C中所示出的。用户界面1450呈现包括地址的位置的地图1454、包括地址的翻译的覆盖1452、识别地址1414的地图1454上的标记1456、和识别地址的文本1458。此外,或替选地,用户界面1450可以呈现事件将要发生的建筑或位置的名称的翻译。
[0171]在一些实现中,响应于识别图像中的地址,可以自动呈现与地址或位置的翻译一起呈现地图或驾驶路线的用户界面。例如,响应于检测到地址1414,在没有用户选择控件1434的情况下,用户界面1450可以被呈现。
[0172]示例用户界面1450还包括浏览控件1458,如果存在图像1412中所识别出的另一个地址,所述浏览控件1458将使得用户能够浏览另一个卡或屏幕。例如,对浏览控件1458的选择可以使得用户设备能够呈现地图以及图像1412中所识别的另一个地址的翻译。
[0173]图15是用于基于为图像所选择的地图呈现场境来呈现关于图像中描绘的文本的附加信息的示例过程1500的流程图。例如,通过诸如图1中的用户设备100和/或翻译器115的数据处理装置,可以实现过程1500的操作。还可以通过存储在计算机存储介质上的指令实现过程1500,其中通过数据处理装置对指令的执行使得所述数据处理装置执行该过程1500的操作。
[0174]接收图像(1502)。例如,用户可以使用诸如智能电话、平板电脑或其他用户设备的用户设备给目标拍照片。标志可以包括对用户来说是外语的文本,其也可以在所接收的图像中被描绘。
[0175]识别所接收的图像中的文本(1504)。可以使用OCR或其他文本识别技术来识别所述文本。在一些实现中,只识别特定语言的文本。例如,用户可以指定特定语言的文本应被翻译为另一种语言,诸如用户理解的语言。在这个示例中,只有特定语言的文本可以在图像中被识别。
[0176]在所识别的文本中识别地址(1506)。例如,可以将所识别的文本与已知的地址比较以确定所识别的文本是否指代地址。如果图像描绘了多个地址,每个地址都可以被识别。
[0177]基于所识别的地址,识别地图呈现场境(1508)。在一些实现中,基于图像中所识别的多个地址来选择地图场境。例如,响应于图像中识别了单个地址可以选择单个地址地图场境,而响应于图像中识别了多于一个地址可以选择多个地址地图场境。
[0178]选择用于呈现关于所识别的地址的附加信息的用户界面。如上面所描述的,如果用户已经提供了到当前位置的访问,用于地图呈现场境的用户界面可以描绘示出对应于地址的位置和/或从用户的当前位置到所述地址的驾驶路线的地图。用于地图呈现场境的用户界面还可以在地图或驾驶路线之上的覆盖中包括所述地址或对应于所述地址的位置的名称的语言翻译。对于单个地址地图场境,用户界面可以包括用于单个地址的地图和/或驾驶路线。对于多个地址场境,用户界面可以包括用于为每个所识别的位置浏览地图和驾驶路线的控件,如上面参照图14所描述的。
[0179]使用所选择的用户界面呈现地址的附加信息(1512)。例如,生成呈现到地址的地图或驾驶路线以及呈现地址或对应于所述地址的位置的名称的翻译的覆盖的用户界面。响应于识别图像中的地址,可以自动呈现该用户界面。在一些实现中,响应于识别图像中的地址,可以呈现用户界面从而允许用户查看地图用户界面。例如,可以生成并呈现类似于图14中的用户界面1430的用户界面。在对"Viewonmap 〃控件1434的选择之后,可以呈现具有地图或驾驶路线的用户界面。
[0180]用于为图像选择呈现场境的示例过程
[0181]如上面所述的,除了在呈现场境的每个类别内(例如,在突出呈现类别或集合呈现类别内)选择呈现场境,翻译器115可以为图像选择呈现场境的类别。例如,响应于接收图像,翻译器115可以确定是否为图像选择突出呈现场境、为图像选择集合呈现场境或为图像选择地图呈现场境。基于图像描绘的文本的布置和/或视觉特征,可以做出该选择。
[0182]基于所选择的呈现场境,翻译器115还可以选择用于呈现关于图像描绘的文本的附加信息的用户界面。如上面所述的,每个呈现场境都可以与一个或多个用户界面相关联并且用于一个呈现场境的用户界面可以不同于用于其他呈现场境的用户界面。例如,用于在覆盖中呈现主要文本块的翻译的用户界面不同于用于单独呈现单个集合场境中每个文本块的翻译的用户界面。
[0183]图16是用于基于为图像所选择的呈现场境来呈现关于图像中描绘的文本的附加信息的示例过程1600的流程图。例如,通过诸如图1中的用户设备100和/或翻译器115的数据处理装置,可以实现过程1600的操作。还可以通过存储在计算机存储介质上的指令实现过程1600,其中通过数据处理装置对指令的执行使得所述数据处理装置执行该过程1600的操作。
[0184]接收图像(1602)。例如,用户可以使用诸如智能电话、平板电脑或其他用户设备的用户设备给目标拍照片。标志可以包括对用户来说是外语的文本,其也可以在所接收的图像中被描绘。
[0185]识别所接收的图像中的文本(1604)。可以使用OCR或其他文本识别技术来识别所述文本。在一些实现中,只识别特定语言的文本。例如,用户可以指定特定语言的文本应被翻译为另一种语言,诸如用户理解的语言。在这个示例中,只有特定语言的文本可以在图像中被识别。
[0186]除了实际的文本,可以识别文本的特征。这些特征可以包括文本的颜色、文本之下的背景的颜色、文本的大小、文本的字体类型、和/或图像内的文本的位置。此外,可以忽略被剪切或者不完整的文本,如上面所描述的。
[0187]基于所识别的文本,识别一个或多个有区别的文本块(1606)。可以评估文本的特征以识别有区别的文本块。例如,与其他文本临近(例如,在阈值距离之内)并具有类似的外观(例如,类似的大小、文本大小和/或背景颜色)的文本块可被视为文本块A的部分。相反地,远离(例如,大于阈值距离)文本块A并且与文本块A的文本具有不同的文本大小、不同的文本颜色和/或不同的背景颜色的文本的另一部分可以被识别为另一个有区别的文本块B。
[0188]基于文本块的布置和/或文本块的视觉特征,为图像选择呈现场境(1608)。基于文本块,可以确定图像是否与呈现场境中的一个很好地匹配。例如,如果图像包括可以被分组在一个或多个集合内的多个文本块,可以选择集合呈现场境。在本示例中,可以分析图像以识别图像中的任意集合,并且如果识别了任意集合,则可识别多个集合。如果没有识别一个集合,则可以评估每个识别的文本块的突出度以确定是否应该为图像选择突出呈现场境。如果文本块中的一个或多个在图像中被主要地描绘,则可以为图像选择突出呈现场境。
[0189]还可以分析所识别的文本块以确定文本块中是否包括地址。如果检测到地址,则可以响应于检测到所述地址而自动识别地图呈现场境。在一些实现中,当文本块中检测到小于阈值数目的地址,可以选择地图呈现场境。例如,图像可以包含许多地址并且集合场境或突出场境会更合适。如果具有地址的文本可以被分组在集合内,则可以选择集合呈现场境。如果地址中的一个相较于其他被描绘为更加突出(例如,地址具有大于阈值量的突出度分值,其大于其他地址的突出度分值),则可以选择突出呈现场境。
[0190]在一些实现中,可以为图像执行上面所描述的过程900、1300和1500中的一个或多个,并且可以基于呈现场境与图像匹配的程度来对每个呈现场境评分。可以接着为图像选择具有最高分值的呈现场境。
[0191]可以基于图像中所识别的多个有区别的文本块来选择呈现场境。例如,如果图像中所识别的文本块的数目超过了文本块的阈值数目,可以选择集合呈现场境并且所述文本块可以被包括在集合中。如果图像中识别出小于阈值数目的文本块,可以选择突出呈现场境。基于所识别的每个文本块的突出度,可以选择突出呈现场境,如上面所描述的。
[0192]基于所选择的突出呈现场境,选择将要对其呈现附加信息的文本(1610)。在一些呈现场境中,只为所识别的文本的部分呈现附加信息。例如,如果选择了主-次文本块,可以识别被识别为主要文本块的文本块的附加信息。因此,可以选择主要的文本块的文本用于呈现附加信息。如果选择了集合呈现场境,则可以识别所识别的集合中的每个文本块。如果选择了地图呈现场境,则可以选择图像中每个识别出的地址用于呈现附加信息。
[0193]为所选择的文本识别附加信息(1612)。附加信息可以包括所选择的文本的语言翻译。例如,用户可以选择用户希望图像描绘的文本将要被翻译成的语言。对于包括货币形式的数量的文本,附加信息可以包括到用户所指定的货币的量的兑换。例如,如果所选择的文本包括日元价格,则附加信息可以包括对应于所述日元价格的美元数量。
[0194]基于所选择的呈现场境和/或附加信息的可读性度量,选择用户界面(1614)。如上面所描述的,每个呈现场境
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1