呈现图像中描绘的文本的翻译的制作方法
【专利说明】
【背景技术】
[0001]诸如智能电话的许多用户设备都装配有用于捕捉图片和数字图像的相机。用户经常在旅行中使用相机捕捉图片并经由多媒体消息或社交网络站点分享图片。用户还可以使用图像来获取关于与目标或位置相关的附加信息。例如，用户可以捕捉地标的图像并使用所述图像作为查询发起互联网搜索。
[0002]当在讲与用户不同的语言的另一个国家旅行时，用户可能希望获取用户遇到的文本的翻译。例如，在另一个国家内旅行时用户可能遇到是以外语的街道标志，或者外语的项的列表。
【发明内容】
[0003]本说明书描述了涉及基于与图像相关联的呈现场(context)呈现与图像中描绘的文本有关的附加信息(例如，文本的语言翻译)的技术。
[0004]通常，本说明书中所描述的主题的一个创新的方面可被具体化在包括以下动作的方法中:接收图像;识别所述图像中描绘的文本;基于所述图像中描绘的所述文本的布置，从呈现场境中为所述图像选择一呈现场境，其中，每个呈现场境对应于图像内文本的特定布置，并且每个呈现场境具有对应的用户界面，所述对应的用户界面用于呈现关于所述图像中描绘的所述文本的附加信息，其中，用于每个呈现场境的用户界面不同于用于其他呈现场境的用户界面；识别对应于所选择的呈现场境的所述用户界面；以及使用所识别的用户界面来为所述图像中描绘的所述文本的至少部分呈现附加信息，所述用户界面在所述图像之上的覆盖中呈现所述附加信息。本方面的其他实施例包括被配置为执行所述方法的所述动作、被编码在计算机存储设备上的对应的系统、装置和计算机程序。
[0005]这些和其他实施例可以分别可选地包括下列特征中的一个或多个。所述附加信息可以包括所识别的文本的至少部分的语言翻译。为所述图像选择所述呈现场境包括识别所述图像中描绘的多个单独的文本块以及基于所述图像中描绘的所述多个单独的文本块，为所述图像选择所述呈现场境。
[0006]为所述图像选择所述呈现场境包括基于所述图像中描绘的所述文本的所述布置，确定所述文本的第一部分相较于所述文本的至少一个其他部分被更突出地呈现；以及响应于所述确定，从所述呈现场境中选择突出场境。
[0007]识别对应于所选择的呈现场境的所述用户界面可以包括识别对应于所述突出场境的突出用户界面。为所述图像中描绘的所述文本的至少部分呈现附加信息可以包括在所述文本的所述第一部分之上的覆盖中呈现所述文本的所述第一部分的语言翻译。
[0008]为所述图像选择所述呈现场境可以包括:确定所述图像中描绘的所述文本包括地址；以及响应于所述确定，从所述呈现场境中选择地图场境。识别对应于所选择的呈现场境的所述用户界面可以包括识别对应于所述地图场境的地图用户界面。为所述图像中描绘的所述文本的至少部分呈现附加信息可以包括在地图的图像内呈现所述地址的语言翻译。
[0009]识别对应于所选择的呈现场境的所述用户界面可以包括识别对应于所述地图场境的地图用户界面。为所述图像中描绘的所述文本的至少部分呈现附加信息可以包括呈现对应于所述地图的图像内的所述地址的标题。所述标题以与呈现所述地图的所述图像的设备相关联的用户的语言被呈现。
[0010]为所述图像选择所述呈现场境可以包括:识别所述图像中描绘的单独的文本块；基于所述单独的文本块的布置以及所述单独的文本块的呈现，确定所述多个单独的文本块属于文本的集合;以及响应于所述确定，从所述呈现场境中选择集合场境。
[0011]识别对应于所选择的呈现场境的所述用户界面可以包括识别对应于所述集合场境的集合用户界面。为所述图像中描绘的所述文本的至少部分呈现附加信息可以包括在所述图像之上的覆盖中呈现每个单独的文本块中描绘的文本的语言翻译。每个语言翻译可以被呈现在语言翻译的对应文本块之上。
[0012]通常，本说明书中所描述的主题的另一个方面可被具体化在包括以下动作的方法中:接收图像;识别所述图像中描绘的文本，所识别的文本在图像中所识别的一个或多个文本块中，每个文本块与图像中的其他文本块不同；从突出场境中为所述图像选择突出呈现场境，其中，每个突出呈现场境对应于在图像内呈现文本的每个文本块的相关突出度，并且每个突出呈现场境具有用于呈现与图像中描绘的所识别的文本有关的附加信息的对应的用户界面，对突出呈现场境的选择是基于在图像中描绘所识别的文本的一个或多个文本块的相关突出度；识别对应于所选择的突出呈现场境的用户界面；以及使用所识别的用户界面，为所述图像中描绘的所述文本的至少部分呈现附加信息，所述用户界面在所述图像之上的覆盖中呈现所述附加信息。本方面的其他实施例包括被配置为执行所述方法的所述动作、被编码在计算机存储设备上的对应的系统、装置和计算机程序。
[0013]这些和其他实施例可以分别可选地包括下列特征中的一个或多个。为所述图像选择所述突出呈现场境可以包括:基于图像内的单个文本块的位置和单个文本块中所包括的文本的大小，确定所述图像中描绘的所述文本包括突出显示的文本的单个文本块;并且响应于所述确定从突出呈现场境中选择单个块场境。单个块场境可以对应于在突出显示的文本的单个文本块之上的覆盖中呈现突出显示的文本的单个文本块中包括的文本的语言翻译的用户界面。
[0014]识别图像中描绘的文本可以包括:识别第一文本块和不同于第一文本块的第二文本块，第一文本块和第二文本块被描绘在图像中。为所述图像选择所述突出呈现场境可以包括:确定第一文本块相较于第二文本块在图像内被显示得更加突出；以及响应于所述确定，从突出呈现场境中选择主-次块场境。主-次块场境可以对应于呈现文本的主要块的语言翻译的用户界面。
[0015]使用所识别的用户界面为所述图像中描绘的所述文本的至少部分呈现附加信息可以包括:在图像之上的覆盖中呈现包括在第一文本块中的文本的语言翻译。覆盖可以位于图像中的第一文本块之上。
[0016]方面可以进一步包括在图像中的第二文本块的描绘处的主-次用户界面中呈现可选择的用户界面元素；以及响应于接收到对可选择的用户界面元素的选择，呈现包括在第二文本块中的文本的语言翻译。
[0017]确定第一文本块相较于第二文本块在图像内被显示得更加突出可以包括:确定包括在第一文本块中的文本大于包括在第二文本块中的文本；以及确定第一文本块相较于第二文本块位于离图像的中心更接近。
[0018]识别图像中描绘的文本可以包括:识别第一文本块和不同于第一文本块的第二文本块。第一文本块和第二文本块可以被描绘在图像中。为所述图像选择所述突出呈现场境可以包括:确定第一文本块与第二文本块在图像内以基本上相等的突出度被显示；以及响应于所述确定，从突出呈现场境中选择同等突出场境。同等突出场境可以对应于呈现了具有基本上相等的突出度的文本的多个块的语言翻译的用户界面。
[0019]使用所述识别的用户界面为所述图像中描绘的所述文本的至少部分呈现附加信息可以包括:在图像之上的第一覆盖中呈现包括在第一文本块中的文本的语言翻译，第一覆盖位于图像中的第一文本块之上；以及在图像之上的第二覆盖中呈现包括在第二文本块中的文本的语言翻译，第二覆盖位于图像中的第二文本块之上。
[0020]确定第一文本块与第二文本块在图像内以基本上相等的突出度被显示可以包括:确定包括在第一文本块中的文本的大小基本上等于包括在第二文本块中的文本的大小。
[0021]通常，本说明书中所描述的主题的另一个方面可被具体化在包括以下动作的方法中:接收图像;识别所述图像中描绘的文本，所识别的文本在图像内描绘的文本块中，每个文本块与图像中其他的文本块不同；从集合呈现场境中为图像选择集合呈现场境，其中每个集合呈现场境对应于图像内的文本块的布置并且每个集合呈现场境具有用于呈现与至少一个文本块有关的附加信息的对应用户界面，对集合呈现场境的选择是基于图像中描绘的文本块的布置;识别对应于所选择的集合呈现场境的用户界面；以及使用所识别的用户界面，呈现与文本块中的至少一个有关的附加信息。本方面的其他实施例可以包括被配置为执行所述方法的所述动作、被编码在计算机存储设备上的对应的系统、装置和计算机程序。
[0022]这些和其他实施例可以分别可选地包括下列特征中的一个或多个。从集合呈现场境中选择所述集合呈现场境可以包括:基于将每个文本块的文本与每个其他文本块的文本的比较，确定文本块中的每个是彼此相关的；以及响应于所述确定而选择单个集合呈现场境。单个集合呈现场境可以具有在图像之上的一个或多个覆盖中呈现每个文本块的语言翻译的对应用户界面。
[0023]从集合呈现场境中选择集合呈现场境可以包括:基于将每个文本块的文本与每个其他文本块的文本的比较，确定文本块中的两个或多个彼此不相关；以及响应于所述确定而选择多个项呈现场境，所述多个项呈现场境具有响应于所述确定而在单独的显示页面中呈现每个文本框的语言翻译的对应用户界面。
[0024]对应用户界面可以包括用于每个文本块的用户界面元素。当特定文本块的用户界面元素被选择时，对应用户界面可以呈现特定文本块的语言翻译。
[0025]从集合呈现场境中选择集合呈现场境可以包括:确定每个文本块的背景颜色与每个其他文本块的背景颜色基本上匹配;基于对背景颜色基本上匹配的确定，确定文本块彼此相关；以及响应于所述确定而选择单个集合呈现场境。单个集合呈现场境可以具有在图像之上的一个或多个覆盖中呈现每个文本块的语言翻译的对应用户界面。
[0026]从集合呈现场境中选择集合呈现场境可以包括:将每个文本块的大小和位置与每个其他文本块的大小和位置比较;基于所述比较来确定文本块相关；以及响应于所述确定而选择单个集合呈现场境。单个集合呈现场境可以具有在图像之上的一个或多个覆盖中呈现每个文本块的语言翻译的对应用户界面。
[0027]确定文本块相关可以包括:确定文本块的大小基本上类似并且每对相邻的文本块与其他每对相邻的文本块在图像内以基本上类似的距离被隔开。
[0028]从集合呈现场境中选择集合呈现场境可以包括:基于第一组文本块的布置，识别第一组类似的文本块;基于第二组文本块的布置，识别第二组类似的文本块，第二组文本块不同于第一组文本块；以及响应于识别第一组和第二组文本块，选择多个集合呈现场境，多个集合呈现场境对应于为第一组类似文本块呈现附加信息的用户界面，其与用于第二组文本块的附加信息分离。
[0029]方面可以进一步包括翻译文本块中的至少一个的文本并至少基于翻译的文本的多个特征确定翻译的文本的可读性度量。可以基于可读性度量选择用户界面。
[0030]方面可以进一步包括确定图像是菜单的图像并确定每个文本块与菜单中的特定项相关联。选择用户界面可以包括选择在特定文本块之上的覆盖中呈现每个特定文本块的翻译的用户界面。
[0031 ]方面可以进一步包括，对于每个文本块:识别对应于文本块的图像中的价格，所述价格以特定货币被呈现;将所述价格转换为不同于特定货币的货币；以及在识别的价格之上或附近的覆盖中呈现转换后的价格。
[0032]可以实现本说明书中所描述的主题的特定实施例，以便实现以下好处中的一个或多个。可以在图像的场境中以更易读的方式呈现图像中描绘的文本的翻译(或与图像中所识别的文本有关的其他信息)。可以基于用于图像的呈现场境动态地选择用于呈现文本的翻译的用户界面，使得翻译以对用户有用的方式被呈现。通过使用可读性度量来选择使得翻译能够以更加可读的形式被呈现的用户界面，改善了翻译的可读性和清楚度。当多个文本块在图像中被识别时，用户界面可以使用户能够快速且简单地在不同文本块的翻译之间导航。
[0033]本说明书中所描述的主题的一个或多个实施例的细节在以下的附图和描述中被阐述。通过说明书、附图和权利要求，本主题的其他特征、方面和优势将变得显而易见。
【附图说明】
[0034]图1是呈现与图像中描绘的文本相关的附加信息的示例用户设备的框图。
[0035]图2描绘了用于捕捉图像并呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0036]图3描绘了用于捕捉呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0037]图4描绘了用于呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0038]图5描绘了用于捕捉图像并呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0039]图6描绘了用于呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0040]图7描绘了用于呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0041]图8描绘了用于呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0042]图9是用于基于为图像选择的突出呈现场境来呈现与图像中描绘的文本相关的附加信息的示例过程的流程图。
[0043]图10描绘了用于呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0044]图11描绘了用于捕捉图像并且呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0045]图12描绘了用于呈现图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0046]图13是用于基于为图像选择的集合呈现场境来呈现与图像中描绘的文本相关的附加信息的示例过程的流程图。
[0047]图14描绘了用于呈现被识别为具有地图场境的图像中描绘的文本的语言翻译的示例用户界面的屏幕截图。
[0048]图15是用于基于为图像选择的地图呈现场境来呈现与图像中描绘的文本相关的附加信息的示例过程的流程图。
[0049]图16是用于基于为图像选择的呈现场境来呈现与图像中描绘的文本相关的附加信息的示例过程的流程图。
[0050]各种附图中相同的参考数字和标号指示相同的元素。
【具体实施方式】
[0051 ] 挺述
[0052]系统可以识别图像中描绘的文本，翻译所述文本，并将所述文本的翻译以对用户有用的方式呈现。然而，当图像描绘了多个不同的文本块时，简单地呈现图像描绘的全部文本的翻译对用户来说可能会令人混淆。例如，图像可以描绘购物中心中几个不同商店的标志。在单个文本块中呈现每个标志的翻译的用户界面可能使用户混淆，因为用户可能不能识别一个商店的名称在哪里结束以及其他商店的名称从哪里开始。而且，自动地呈现所有翻译会导致混乱的显示，这降低了用户体验。
[0053]系统可以基于文本在图像内的布置和/或其他视觉特征确定如何呈现翻译。例如，系统可以在确定什么文本要翻译以及如何呈现翻译的文本时考虑图像描绘的文本的特征，诸如多个文本块之间的接近度、文本块之间的对齐、文本之间的相似性(例如，字体大小、语族、设计样式、颜色、背景色等等)、一个或多个集合中多个文本块的分组和/或文本识别中的置信水平。本文中所描述的这些以及其他特征可以提供对图像的场境以及它的文本的深入理解。例如，文本块关于图像的中心或焦点的相对位置可以指示用户最感兴趣的文本。
[0054]在一些实现中，例如，基于文本在图像内的布置和/或其他视觉特征，系统可以从多个呈现场境中选择呈现场境。多个呈现场境可以包括一个或多个突出呈现场境、一个或多个集合呈现场境和/或一个或多个地图呈现场境。突出呈现场境是在图像内突出描绘一个或多个文本块的场境。例如，单个文本块可以位于图像的中心附近，或者两个类似的突出的文本块可以被放置在离图像的中心类似的距离处。集合呈现场境是在图像中描绘多个有区别的文本块的场境。例如，餐厅菜单的图像可以被归类为集合呈现场境，因为每个菜单项可被视为与图像中描绘的每个其他菜单项相关的单个的文本块。地图呈现场境