基于增强现实的文字翻译及显示方法、装置和电子设备与流程

本申请涉及计算机视觉技术领域，具体而言，本申请涉及一种基于增强现实的文字翻译及显示方法、装置和电子设备。

背景技术：

现有技术中的文本识别翻译技术，通常是通过翻译引擎实现对文本的翻译，具体过程为：用户执行拍照操作得到带有文字的图像，将该图像输入至翻译引擎，翻译引擎对图像中的文字进行翻译得到翻译文本，最后将翻译文本在翻译结果展示区域进行显示。

但是，通过上述方式对图像中的文字进行翻译时，由于整个翻译过程需要分步进行，即先需要用户执行拍照操作得到带有文字的图像，再通过翻译引擎实现对图像中文字的识别翻译，即用户需要通过两个操作步骤才可以得到翻译文本，并且，由于翻译文本是显示在翻译结果展示区域，即翻译文本与图像中的文字是分开显示的，翻译文本脱离图像显示，用户在查看翻译文本时，翻译文本不可以直接与原文本进行准确且直观的一一对应替换。

因此，现有技术中的缺陷是：拍照翻译过程操作较为复杂，便捷度不高，且由于翻译文本脱离图像显示，用户在查看翻译文本时，翻译文本不可以直接与原文本进行准确且直观的一一对应替换，因此显示方式的用户友好度不高。

技术实现要素：

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是翻译文本脱离图像显示，使得翻译文本的显示方式用户友好度较低的技术缺陷。

第一方面，本申请提供一种基于增强现实的文字翻译及显示方法，包括如下步骤：

识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息；

将识别出的文字翻译为目标语种的目标翻译文字；

依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置；

以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息。

在一个实施例中，识别出终端设备的图像采集装置采集到的图像中的文字，具体包括：

通过光学字符识别算法ocr识别出终端设备的图像采集装置采集到的图像中的文字。

在一个实施例中，确定识别出的文字在图像平面坐标系下的位置信息，具体包括：

确定识别出的文字在图像中对应的多个轮廓定位点；

确定多个轮廓定位点在图像平面坐标系下的位置，以作为识别出的文字在图像平面坐标系下的位置信息。

在一个实施例中，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，具体包括：

依据文字在图像平面坐标系下的位置信息，以及已确定的终端设备的姿态信息，通过slam即时定位与地图构建算法确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

在一个实施例中，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置的步骤之前，还包括：

确定识别出的文字的文字颜色；

依据文字颜色，生成与目标翻译文字对应的增强现实显示信息。

在一个实施例中，确定识别出的文字的文字颜色，具体包括：

通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色。

在一个实施例中，通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色，具体包括：

依据图像中像素点的颜色值，通过预定的聚类算法将图像中的颜色聚类区分为两类，并在两类颜色中分别选取第一中心像素点和第二中心像素点；

在图像中选取若干个边缘像素点，将各个边缘像素点的颜色值设为背景颜色；

确定各个边缘像素点到第一中心像素点的多个第一距离，及各个边缘像素点到第二边缘像素点的多个第二距离；

依据多个第一距离和多个第二距离，确定第一中心像素点和第二中心像素点与背景颜色和文字颜色的对应关系。

在一个实施例中，依据多个第一距离和多个第二距离，确定第一中心像素点和第二中心像素点与背景颜色和文字颜色的对应关系，具体包括：

将多个第一距离和多个第二距离分别取平均值，确定第一边缘点距离和第二边缘点距离；

如果第一边缘点距离大于第二边缘点距离，确定第二中心像素点对应的颜色值为背景颜色，第一中心像素点对应的颜色值为文字颜色；否则，确定第一中心像素点对应的颜色值为背景颜色，第一中心像素点对应的颜色值为文字颜色。

第二方面，本申请还提供一种基于增强现实的文字翻译及显示装置，其包括：

图像识别模块，用于识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息；

文字翻译模块，用于将识别出的文字翻译为目标语种的目标翻译文字；

叠加位置确定模块，用于依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置；

显示模块，用于以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息。

第三方面，本申请还提供一种电子设备，包括：处理器、存储器和总线；总线，用于连接处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行上述第一方面的方法。

第四方面，本申请还提供一种存储有计算机可读指令的存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现第一方面的方法。

本申请的优点：识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息；然后将识别出的文字翻译为目标语种的目标翻译文字；进而依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置；以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息；上述整个过程只需要将图像采集装置对准图像中的文字，即可实现对图像中的文字进行即拍即翻，操作过程仅一步即可完成，提高了用户操控的便捷性，另外，由于通过增强现实技术将目标翻译文字的增强现实显示信息显示在图像中文字对应的叠加位置上，使得增强现实显示信息的显示效果更逼真，且基于文字在图像平面坐标系下的位置信息确定了增强现实显示信息在物理三维空间坐标下的叠加位置，在叠加位置处叠加显示增强现实显示信息，使得用户在查看增强现实显示信息时，增强现实显示信息可直接与图像中的文字进行准确且直观的一一对应替换，实现增强现实显示信息与图像中的文字的无缝贴合显示，进而提高了显示方式的用户友好度。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请提供的一种基于增强现实的文字翻译及显示方法的流程示意图；

图2为本申请提供的另一种基于增强现实的文字翻译及显示方法的流程示意图；

图3为本申请提供的又一种基于增强现实的文字翻译及显示方法的流程示意图；

图4为本申请提供的一种基于增强现实的文字翻译及显示装置的结构示意图；

图5为本申请提供的另一种基于增强现实的文字翻译及显示装置的结构示意图；

图6为本申请提供的又一种基于增强现实的文字翻译及显示装置的结构示意图；

图7为本申请提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请涉及的几个名词进行介绍和解释：

“ocr”是opticalcharacterrecognition的缩写，中文含义为光学字符识别，主要是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。

“rgb”是工业界的一种颜色标准，主要是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各种颜色，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广泛的颜色系统之一。

“二值化处理”是指将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。

本申请提供的基于增强现实的文字翻译及显示方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例一

本申请实施例提供了一种基于增强现实的文字翻译及显示方法，如图1所示，该方法包括：

步骤s101，识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息。

其中，通过图像采集装置可实时采集图像，对图像中的文字进行识别；在实际应用场景中，可通过启动移动设备的相机，将图像采集取景框对准图像中的文字，无需进行其他拍摄、摄像的操作，自动识别图像中的文字，同时确定文字在图像平面坐标系下的位置信息，进一步可满足用户在不同场景下进行即拍即翻的需求。

步骤s102，将识别出的文字翻译为目标语种的目标翻译文字。

其中，将识别出的文字翻译为目标语种的目标翻译文字，具体是实现对文字的实时翻译，其具体实现过程是：基于图像中的文字调用翻译引擎，通过翻译引擎对文字进行实时翻译，得到目标翻译文字。其中，翻译引擎是现有技术中的翻译引擎，在翻译时由后台程序直接调用该翻译引擎即可。

其中，目标语种包括各个国家的语言，各种民族的语言，本方案中不限定目标语种的类型。

步骤s103，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

步骤s104，以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息。

其中，在叠加位置处显示目标翻译文字的增强现实显示信息，以使目标翻译文字以增强现实显示信息的形式在图像对应的叠加位置上显示，接上例，通过图像采集装置的取景框对图像中的文字翻译后，在图像对应的物理三维空间坐标系系的叠加位置自动显示目标翻译文字的增强现实显示信息。

由此，本实施例中记载的方案，识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息；然后将识别出的文字翻译为目标语种的目标翻译文字；进而依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置；以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息；上述整个过程只需要将图像采集装置对准图像中的文字，即可实现对图像中的文字进行即拍即翻，操作过程仅一步即可完成，提高了用户操控的便捷性，另外，由于通过增强现实技术将目标翻译文字的增强现实显示信息显示在图像中文字对应的叠加位置上，使得增强现实显示信息的显示效果更逼真，且基于文字在图像平面坐标系下的位置信息确定了增强现实显示信息在物理三维空间坐标下的叠加位置，在叠加位置处叠加显示增强现实显示信息，使得用户在查看增强现实显示信息时，增强现实显示信息可直接与图像中的文字进行准确且直观的一一对应替换，实现增强现实显示信息与图像中的文字的无缝贴合显示，进而提高了显示方式的用户友好度。

实施例二

本申请实施例提供了另一种可能的实现方式，在实施例一的基础上，还包括实施例二所示的方法，其中，步骤s101，识别出终端设备的图像采集装置采集到的图像中的文字，具体包括：

通过光学字符识别算法ocr识别出终端设备的图像采集装置采集到的图像中的文字。

进一步地，通过光学字符识别算法ocr识别出终端设备的图像采集装置采集到的图像中的文字，具体包括：

对图像进行二值化处理；

将二值化处理后的图像分割成多个字块；

提取各个字块的特征信息，并将提取到的特征信息与特征数据库进行匹配，将匹配结果确定为各字块的识别结果；

依据各个字块的位置顺序将各字块的识别结果进行拼接组合，作为图像的文字识别结果。

其中，采用ocr，opticalcharacterrecognition光学字符识别算法识别图像中的文字，主要是通过图像处理和模式识别技术对光学的字符进行识别，其算法简单，识别效率高，因此，基于ocr算法进行文字的识别，可满足本方案中即拍即翻的需求，提高该方法的运行效率。另外，通过ocr算法也可识别出文字在图像平面坐标系下的位置信息，具体过程为：在将二值化处理后的图像分割成多个字块之后，记录每个字块在图像平面坐标系下的位置信息即为文字在图像平面坐标系下的位置信息。

作为本申请的另一实施例，确定识别出的文字在图像平面坐标系下的位置信息，具体包括：

确定识别出的文字在图像中对应的多个轮廓定位点；

确定多个轮廓定位点在图像平面坐标系下的位置，以作为识别出的文字在图像平面坐标系下的位置信息。

进一步地，确定识别出的文字在图像中对应的多个轮廓定位点的方法具体包括：通过定位框确定识别出的文字的轮廓位置，在轮廓位置中随机选择若干标识点作为轮廓定位点；由此，多个轮廓定位点在图像平面坐标系下的位置即可作为识别出的文字在图像平面坐标系下的位置信息。

作为本申请的再一实施例，步骤s103，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，具体包括：

依据文字在图像平面坐标系下的位置信息，以及已确定的终端设备的姿态信息，通过slam即时定位与地图构建算法确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

例如，依据文字在图像平面坐标系下的位置信息，以及已确定的终端设备的姿态信息，通过slam(simultaneouslocalizationandmapping)即时定位与地图构建算法对文字在图像平面坐标系下的位置信息进行追踪定位，得到目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，使得在终端设备的位置和姿态发生变化时，对应改变增强现实显示信息的显示位置和姿态，进一步使得增强现实显示信息的显示效果在终端设备的位置和姿态发生变化时，其增强现实显示信息的显示效果保持不变，进而保证增强现实显示信息的显示效果更加真实。

作为本申请的另一实施例，步骤s103，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置的步骤之前，还包括：

确定识别出的文字的文字颜色；

依据文字颜色，生成与目标翻译文字对应的增强现实显示信息。

基于上述方案，如图2所示，本实施例中基于增强现实的文字翻译及显示方法的方案具体包括以下步骤：

步骤s201，识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息。

步骤s202，将识别出的文字翻译为目标语种的目标翻译文字。

步骤s203，确定识别出的文字的文字颜色。

步骤s204，依据文字颜色，生成与目标翻译文字对应的增强现实显示信息。

步骤s205，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

步骤s206，以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息。

其中，通过图像采集装置采集的图像为rgb图像，将识别出的文字的文字颜色结合目标翻译文字，生成与目标翻译文字对应的增强现实显示信息，使得增强现实显示信息中还包括识别出的文字的文字颜色，从而使得增强现实显示信息的显示效果更加真实；进一步地，基于文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，将增强现实显示信息叠加显示在叠加位置上，使得增强现实显示信息的显示效果更加真实。

作为本申请的另一实施例，步骤s203，确定识别出的文字的文字颜色，具体包括：

通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色。

其中，图像的颜色包括文字颜色和背景颜色，通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色，由于聚类算法简单，则通过聚类算法识别提取颜色信息快速有效。

如果图像中只包括两种颜色，即文字颜色和背景颜色分别为两种纯色。

进一步地，如图3所示，通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色，具体包括：

步骤s301，依据图像中像素点的颜色值，通过预定的聚类算法将图像中的颜色聚类区分为两类，并在两类颜色中分别选取第一中心像素点和第二中心像素点。

步骤s302，在图像中选取若干个边缘像素点，将各个边缘像素点的颜色值设为背景颜色。

步骤s303，确定各个边缘像素点到第一中心像素点的多个第一距离，及各个边缘像素点到第二边缘像素点的多个第二距离。

步骤s304，依据多个第一距离和多个第二距离，确定第一中心像素点和第二中心像素点与背景颜色和文字颜色的对应关系。

更进一步地，步骤s304，依据多个第一距离和多个第二距离，确定第一中心像素点和第二中心像素点与背景颜色和文字颜色的对应关系，具体包括：

将多个第一距离和多个第二距离分别取平均值，确定第一边缘点距离和第二边缘点距离。

如果第一边缘点距离大于第二边缘点距离，确定第二中心像素点对应的颜色值为背景颜色，第一中心像素点对应的颜色值为文字颜色；否则，确定第一中心像素点对应的颜色值为背景颜色，第一中心像素点对应的颜色值为文字颜色。

作为本申请的另一实施例，为了保证图像采集装置在即拍即翻的过程中，终端设备的姿态及位置发生变化后，对应的增强现实显示信息相对于图像的显示效果不受影响，基于上述方案，本实施例提供另一种方案：

在步骤s103，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置步骤之前，该方法还包括：

确定图像中基准点的当前位置。

依据基准点的当前位置，确定基准点的当前位置相对于基准点的初始位置的位置偏移量，基准点的初始位置为确定预设映射规则时在图像中选取的基准点，预设映射规则为基于基准点的初始位置确定得到的图像与增强现实显示信息之间的位置映射关系。

其中，比较基准点的当前位置与基准点的初始位置即判定基准点的初始位置是否发生变化，在具体应用场景中，比如通过终端设备的图像采集装置即时采集图像，对图像中的文字进行翻译并显示时，当终端设备采集图像的采集位置发生变化，即如果基准点的初始位置是t时刻采集的图像中的基准点位置，基准点的当前位置则是t+1时刻采集的图像中的基准点的位置；进一步地，基于基准点的当前位置和基准点的初始位置，确定基准点的当前位置相对于基准点的初始位置的位置偏移量。

依据位置偏移量，生成与目标翻译文字对应的增强现实显示信息。

接上例，如果基准点的当前位置相对于基准点的初始位置偏移量为0，则表示采集图像的位置没发生变化，否则采集图像的位置发生变化；基准点的当前位置相对于基准点的初始位置发生变化，此时生成的增强现实显示信息是对基准点的当前位置所在图像中的文字翻译后的目标翻译文字对应的增强现实显示信息，由此，依据位置偏移量，生成与目标翻译文字对应的增强现实显示信息，可在图像的采集位置发生移动时，即采集图像的角度、位置等发生变化时，使增强现实显示信息的显示效果依据映射规则进行变化，进一步保证增强现实显示信息显示效果的真实性。

进一步地，预设映射规则的确定，具体包括：

确定图像中基准点的初始位置。

依据基准点的初始位置，建立图像与增强现实显示信息之间的位置映射关系。

其中，基准点为图像中的像素点。

其中，映射关系为图像中基准点的初始位置与增强现实显示信息中对应的基准点的位置间的位置变换关系，该变换关系可通过三维像素矩阵表示。

实施例三

本申请提供了一种基于增强现实的文字翻译及显示装置40，如图4所示，该装置可以包括：图像识别模块401、文字翻译模块402、叠加位置确定模块403以及显示模块404，其中，

图像识别模块401，用于识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息。

文字翻译模块402，用于将识别出的文字翻译为目标语种的目标翻译文字。

叠加位置确定模块403，用于依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

显示模块404，用于以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息。

由此，本实施例中记载的方案，识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息；然后将识别出的文字翻译为目标语种的目标翻译文字；进而依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置；以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息；上述整个过程只需要将图像采集装置对准图像中的文字，即可实现对图像中的文字进行即拍即翻，操作过程仅一步即可完成，提高了用户操控的便捷性，另外，由于通过增强现实技术将目标翻译文字的增强现实显示信息显示在图像中文字对应的叠加位置上，使得增强现实显示信息的显示效果更逼真，且基于文字在图像平面坐标系下的位置信息确定了增强现实显示信息在物理三维空间坐标下的叠加位置，在叠加位置处叠加显示增强现实显示信息，使得用户在查看增强现实显示信息时，增强现实显示信息可直接与图像中的文字进行准确且直观的一一对应替换，实现增强现实显示信息与图像中的文字的无缝贴合显示，进而提高了显示方式的用户友好度。

作为本申请的另一实施例，图像识别模块401中，识别出终端设备的图像采集装置采集到的图像中的文字，具体包括：

通过光学字符识别算法ocr识别出终端设备的图像采集装置采集到的图像中的文字。

进一步地，通过光学字符识别算法ocr识别出终端设备的图像采集装置采集到的图像中的文字，具体包括：

对图像进行二值化处理。

将二值化处理后的图像分割成多个字块。

提取各个字块的特征信息，并将提取到的特征信息与特征数据库进行匹配，将匹配结果确定为各字块的识别结果。

依据各个字块的位置顺序将各字块的识别结果进行拼接组合，作为图像的文字识别结果。

其中，采用ocr，opticalcharacterrecognition光学字符识别算法识别图像中的文字，主要是通过图像处理和模式识别技术对光学的字符进行识别，其算法简单，识别效率高，因此，基于ocr算法进行文字的识别，可满足本方案中即拍即翻的需求，提高该方法的运行效率。另外，通过ocr算法也可识别出文字在图像平面坐标系下的位置信息，具体过程为：在将二值化处理后的图像分割成多个字块之后，记录每个字块在图像平面坐标系下的位置信息即为文字在图像平面坐标系下的位置信息。

作为本申请的另一实施例，图像识别模块401中，确定识别出的文字在图像平面坐标系下的位置信息，具体包括：

确定识别出的文字在图像中对应的多个轮廓定位点。

确定多个轮廓定位点在图像平面坐标系下的位置，以作为识别出的文字在图像平面坐标系下的位置信息。

进一步地，确定识别出的文字在图像中对应的多个轮廓定位点的方法具体包括：通过定位框确定识别出的文字的轮廓位置，在轮廓位置中随机选择若干标识点作为轮廓定位点；由此，多个轮廓定位点在图像平面坐标系下的位置即可作为识别出的文字在图像平面坐标系下的位置信息。

作为本申请的再一实施例，叠加位置确定模块403中，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，具体包括：

依据文字在图像平面坐标系下的位置信息，以及已确定的终端设备的姿态信息，通过slam即时定位与地图构建算法确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

例如，依据文字在图像平面坐标系下的位置信息，以及已确定的终端设备的姿态信息，通过slam(simultaneouslocalizationandmapping)即时定位与地图构建算法对文字在图像平面坐标系下的位置信息进行追踪定位，得到目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，使得在终端设备的位置和姿态发生变化时，对应改变增强现实显示信息的显示位置和姿态，进一步使得增强现实显示信息的显示效果在终端设备的位置和姿态发生变化时，其增强现实显示信息的显示效果保持不变，进而保证增强现实显示信息的显示效果更加真实。

作为本申请的另一实施例，叠加位置确定模块403中，依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置的步骤之前，还包括：

确定识别出的文字的文字颜色。

依据文字颜色，生成与目标翻译文字对应的增强现实显示信息。

基于上述方案，如图5所示，本实施例中基于增强现实的文字翻译及显示装置40的方案具体包括：

图像识别模块401，用于识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息。

文字翻译模块402，用于将识别出的文字翻译为目标语种的目标翻译文字。

颜色确定模块501，用于确定识别出的文字的文字颜色。

显示信息生成模块502，用于依据所文字颜色，生成与目标翻译文字对应的增强现实显示信息。

叠加位置确定模块403，用于依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置。

显示模块404，用于以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息。

其中，通过图像采集装置采集的图像为rgb图像，将识别出的文字的文字颜色结合目标翻译文字，生成与目标翻译文字对应的增强现实显示信息，使得增强现实显示信息中还包括识别出的文字的文字颜色，从而使得增强现实显示信息的显示效果更加真实；进一步地，基于文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置，将增强现实显示信息叠加显示在叠加位置上，使得增强现实显示信息的显示效果更加真实。

作为本申请的另一实施例，颜色确定模块501中，确定识别出的文字的文字颜色，具体包括：

通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色。

其中，图像的颜色包括文字颜色和背景颜色，通过预定的聚类算法对图像颜色进行聚类区分，识别并提取图像中的文字颜色和背景颜色，由于聚类算法简单，则通过聚类算法识别提取颜色信息快速有效。

如果图像中只包括两种颜色，即文字颜色和背景颜色分别为两种纯色。

进一步地，如图6所示，颜色确定模块501中，通过预定的聚类算法，识别并提取图像中的文字颜色和背景颜色，具体包括：

中心像素点选择单元5011，用于依据图像中像素点的颜色值，通过预定的聚类算法将图像中的颜色聚类区分为两类，并在两类颜色中分别选取第一中心像素点和第二中心像素点。

预设条件设置单元5012，用于在图像中选取若干个边缘像素点，将各个边缘像素点的颜色值设为背景颜色。

距离确定单元5013，用于确定各个边缘像素点到第一中心像素点的多个第一距离，及各个边缘像素点到第二边缘像素点的多个第二距离。

颜色识别单元5014，依据多个第一距离和多个第二距离，确定第一中心像素点和第二中心像素点与背景颜色和文字颜色的对应关系。

更进一步地，颜色识别单元5014中，依据多个第一距离和多个第二距离，确定第一中心像素点和第二中心像素点与背景颜色和文字颜色的对应关系，具体包括：

将多个第一距离和多个第二距离分别取平均值，确定第一边缘点距离和第二边缘点距离；

如果第一边缘点距离大于第二边缘点距离，确定第二中心像素点对应的颜色值为背景颜色，第一中心像素点对应的颜色值为文字颜色；否则，确定第一中心像素点对应的颜色值为背景颜色，第一中心像素点对应的颜色值为文字颜色。

作为本申请的另一实施例，为了保证图像采集装置在即拍即翻的过程中，终端设备的姿态及位置发生变化后，对应的增强现实显示信息相对于图像的显示效果不受影响，基于上述方案，本实施例提供另一种方案：

在叠加位置确定模块403之前，该装置还包括增强现实显示信息变化单元，具体用于：

确定图像中基准点的当前位置。

依据基准点的当前位置，确定基准点的当前位置相对于基准点的初始位置的位置偏移量，基准点的初始位置为确定预设映射规则时在图像中选取的基准点，预设映射规则为基于基准点的初始位置确定得到的图像与增强现实显示信息之间的位置映射关系。

依据位置偏移量，基于预设映射规则生成与目标翻译文字对应的增强现实显示信息。

进一步地，预设映射规则的确定，具体包括：

确定图像中基准点的初始位置；

依据基准点的初始位置，建立图像与增强现实显示信息之间的位置映射关系。

其中，基准点为图像中的像素点。

其中，映射关系为图像中基准点的初始位置与增强现实显示信息中对应的基准点的位置间的位置变换关系，该变换关系可通过三维像素矩阵表示。

需要说明的是，本实施例的基于增强现实的文字翻译及显示装置40可执行本申请实施例一和实施例二提供的一种基于增强现实的文字翻译及显示方法，其实现原理相类似，此处不再赘述。

实施例四

本申请还提供一种电子设备，如图7所示，图7所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。

其中，处理器2001应用于本申请实施例中，用于实现图4所示的图像识别模块401、文字翻译模块402、叠加位置确定模块403以及显示模块404的功能。

处理器2001可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。

总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是pci总线或eisa总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd-rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现图4所示实施例提供的基于增强现实的文字翻译及显示装置40的动作。

本申请实施例提供了一种电子设备，同时适用于上述方法实施例，且该电子设备具有与上述方法相同的有益效果，在此不再赘述。

本申请实施例提供了一种计算机可读存储介质，该存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现实施例一至实施例二任一实施例所示的方法。

本申请提供的基于增强现实的文字翻译及显示方法、装置和电子设备，与现有技术相比，本申请中的方案有如下优点：识别出终端设备的图像采集装置采集到的图像中的文字，以及确定识别出的文字在图像平面坐标系下的位置信息；然后将识别出的文字翻译为目标语种的目标翻译文字；进而依据文字在图像平面坐标系下的位置信息，确定目标翻译文字的增强现实显示信息对应的物理三维空间坐标系下的叠加位置；以增强现实方式在叠加位置处叠加显示目标翻译文字的增强现实显示信息；上述整个过程只需要将图像采集装置对准图像中的文字，即可实现对图像中的文字进行即拍即翻，操作过程仅一步即可完成，提高了用户操控的便捷性，另外，由于通过增强现实技术将目标翻译文字的增强现实显示信息显示在图像中文字对应的叠加位置上，使得增强现实显示信息的显示效果更逼真，且基于文字在图像平面坐标系下的位置信息确定了增强现实显示信息在物理三维空间坐标下的叠加位置，在叠加位置处叠加显示增强现实显示信息，使得用户在查看增强现实显示信息时，增强现实显示信息可直接与图像中的文字进行准确且直观的一一对应替换，实现增强现实显示信息与图像中的文字的无缝贴合显示，进而提高了显示方式的用户友好度。

本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例。在此不再赘述。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。