基于拍照功能的翻译方法与流程

本发明涉及移动通信领域，具体而言，涉及一种基于拍照功能的翻译方法。

背景技术：

随着智能移动通信的不断发展，智能移动设备，例如智能手机、平板电脑、智能翻译设备等，已经成为了人们手中不可或缺的设备，其无论在工作和生活，都方便着人们的使用。针对智能移动设备的翻译功能，大多数厂商可以将智能移动设备设计为可以通过app语音翻译、拍照翻译等。

目前，智能移动设备，例如智能手机的大多数厂商都没有直接把摄像头和翻译功能结合起来，大多都是通过安装在智能移动设备中的应用程序实现。通过应用程序调用摄像头功能，利用摄像头来进行翻译功能的实现。但是，这些应用程序均是使用了拍照后对照片上的文字识别来进行翻译，然而，这样拍照和翻译结合的智能手机，用户每次都要下载应用程序(例如翻译软件)才能实现翻译功能，而且拍照翻译还会引入不必要的照片文件大量地存储在手机中，使得拍照翻译操作过程变得很复杂，甚至还要等待镜头对焦，浪费时间，而且翻译效率低下。

针对上述的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种基于拍照功能的翻译方法，以至少解决现有技术中必须利用安装在智能移动设备中的应用程序才能实现通过摄像头拍摄翻译，且拍照翻译引入不必要的照片文件大量地存储在手机中，使得拍照翻译操作过程变得很复杂，甚至还要等待镜头对焦，浪费时间，而且翻译效率低下的技术问题。

根据本发明实施例的一个方面，提供了一种基于拍照功能的翻译方法，应用于移动通信装置，包括：在图像拍摄界面提供至少两种候选功能，所述候选功能包括：拍照功能和翻译功能；当检测到执行翻译功能的指令时，获取从所述图像拍摄界面采集到的图像数据；根据所述图像数据提取图像中的文本内容；将所述文本内容翻译为译文文本；将所述译文文本显示在所述图像拍摄界面上。

可选的，所述图像拍摄界面为所述移动通信装置的拍摄界面，所述图像数据为通过所述移动通信装置中拍摄设备实时采集的动态图像数据。

可选的，所述将译文文本显示在所述图像拍摄界面上的步骤包括：将译文文本进行标记并显示在所述图像拍摄界面上。

可选的，在所述图像拍摄界面提供多种候选功能的步骤之前，所述方法还包括：针对所述翻译功能预先设置译文语种。

可选的，在所述将所述文本内容翻译为译文文本的步骤之后，所述方法还包括：阅读所述译文文本。

可选的，所述将所述译文文本显示在所述图像拍摄界面上之后，还包括：当接收到针对所述译文文本的点击之后，显示所述译文文本关联的内容。

可选的，所述译文文本关联的内容包括：所述译文文本的释义，或所述译文文本关联的网页信息。

可选的，跳转到所述译文文本关联的内容的步骤之后，所述方法还包括：处理所述译文文本关联的内容。

可选的，所述处理所述译文文本关联的内容的步骤包括：收藏、分享、发送至其他终端、保存至本地、导出、转换为语音的至少其中一者。

可选的，所述译文文本关联的网页信息包括利用搜索引擎查询译文文本获得的网页信息。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，其中存储有计算机可读程序，当所述计算机可读程序被所述处理器执行时，所述电子设备执行所述的方法。

在本发明实施例中，采用通过图像拍摄界面获取需要翻译的文字信息的方式，通过对文字信息进行提取和翻译并显示在交互界面上，达到了通过手机拍照功能直接对图像数据进行翻译并显示，无需储存照片即可达到实时翻译文本的目的，进而解决了现有技术中必须利用安装在智能移动设备中的应用程序才能实现通过摄像头拍摄翻译，且拍照翻译引入不必要的照片文件大量地存储在手机中，使得拍照翻译操作过程变得很复杂，甚至还要等待镜头对焦，浪费时间，而且翻译效率低下的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据现有技术的手机拍照翻译过程的示意图；

图2是根据现有技术的手机拍照翻译的示意图；

图3是根据本发明实施例的一种基于拍照功能的翻译方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种基于拍照功能的翻译方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是一种智能移动设备的拍照翻译过程的示意图，如图1所示，智能移动设备例如为用户手机，在现有技术中，当用户持手机需要对目标待翻译文本进行翻译的时候，需要对该文本进行拍照，并同时将拍照生成的图像保存到手机本地的存储空间中，之后根据存储的图像进行翻译文本的采集和翻译，并显示给用户以获得翻译结果。在上述过程中，用户为了将待翻译文本进行翻译，必须在应用程序中调用相机的程序，通过手机端进行拍照并存储图像，这样便占用了一部分手机存储空间，当翻译内容较多时，手机的存储空间消耗极大，用户只能通过不断地删除翻译后的无用图片以保证存储空间足够使用，这样便大大降低了用户的体验。

图2是手机拍照翻译的示意图，如图2所示，用户将手机摄像头对准待翻译文本进行拍照，待翻译文本显示在了交互界面上，此时手机会对该图像进行处理，以获取用户所需的翻译文本。结合图1可以看出，目前存在着现有技术中必须利用安装在智能移动设备中的应用程序才能实现通过摄像头拍摄翻译，且拍照翻译引入不必要的照片文件大量地存储在手机中，使得拍照翻译操作过程变得很复杂，甚至还要等待镜头对焦，浪费时间，而且翻译效率低下的技术问题。

为解决这些问题，本发明实施例提出了一种基于拍照功能的翻译方法，应用于移动通信装置，图3是根据本发明实施例的一种基于拍照功能的翻译方法的流程图，如图3所示，该方法包括如下步骤：

步骤s302，在图像拍摄界面提供至少两种候选功能，所述候选功能包括：拍照功能和翻译功能。

具体的，图像拍摄界面可以是用户手机的拍摄功能的人机交互界面，其中，人机交互界面指的是用户手机的可触摸屏幕。在上述用户手机的图像拍摄界面设置有两个可触发的功能按钮，一个触发型按钮是对当前用户手机摄像头获取的影响进行拍照操作，另一个触发型按钮是将当前摄像头所采集到的影像中的待翻译文本翻译为用户所需要的语言。

需要说明的是，图像拍摄界面还可以提供多于两种候选功能，除了拍照功能和翻译功能之外，还可以提供摄像功能、照明功能等，上述各项功能都是通过用户手机的摄像头来实现的。

例如，用户打开的手机中的图像拍摄界面，界面右上侧出现三项功能选项，分别是：拍照、摄像、翻译，当用户需要对眼前的文字进行翻译的时候，则点击翻译按钮，用户的手机随即将执行将摄像头采集到的图像数据中的文本翻译为预设语言的功能，并将相关结果内容显示给用户，满足用户的文字翻译需求。

可选的，在所述图像拍摄界面提供多种候选功能的步骤之前，所述方法还包括：针对所述翻译功能预先设置译文语种。

具体的，在用户需要进行翻译文本之前，需要对翻译文本的语言进行设置，其中包括译文语种，也可以包括原文本语种，即从什么样的语种翻译至什么样的语种。

需要说明的是，预先设置原文本语种可以是采用图像数据采集中的自动识别语种的功能，对需要进行翻译的语种进行采集和识别，以使得用户不用对原始文本的语种进行判断和单独的设置，节省了用户的操作，增加了语种翻译的效率。

例如，用户需要在用户手机中设置目标翻译语种，即译文语种，当用户设置译文语种为英语的时候，用户手机摄像头采集到的图像数据中文本提取结果为“这是什么”，那么用户手机处理器会根据用户所预先设置的译文语种，将“这是什么”翻译为“whatisthis”，并将其作为翻译的最终结果展示给用户。

可选的，将所述文本内容翻译为译文文本的步骤之后，所述方法还可以包括：

阅读所述译文文本。

例如，在一个使用场景中，在将所述文本内容翻译为译文文本的步骤后，手机可以直接利用tts文本转语音技术，对英文文本进行阅读。例如，用户针对“苹果”进行拍摄，手机的拍摄界面显示的译文文本为“apple”，此后，手机利用tts文本转语音技术，直接阅读“apple”这一单词，可以便于用户直接地获取相关信息。

步骤s304，当检测到执行翻译功能的指令时，获取从图像拍摄界面采集到的图像数据。

具体的，当用户需要利用手机进行翻译功能时，用户手机需要通过摄像头获取待翻译的文本，当处理器接收到摄像头采集到的图像数据时，会将图像数据中的文本进行提取，并同时根据既有翻译规则进行翻译至目标语种，并返回至图像拍摄界面供用户使用。

可选的，所述图像拍摄界面为所述移动通信装置的拍摄界面，所述图像数据为通过所述移动通信装置中拍摄设备实时采集的动态图像数据。

具体的，根据本发明实施例所述，图像拍摄界面是用户手机的拍照、摄像等功能界面，用户手机的拍照及摄像功能通过手机主板中电性连接的摄像头进行操作。上述拍照以及摄像功能可以使用户手机中的摄像头获取外界图像，并以图像数据的形式展示与图像拍摄界面，供用户进行操作，所以本发明实施例中的翻译功能通过上述摄像头采集到的图像数据进行处理和翻译。

需要说明的是，动态图像数据指的是无需进行拍照或者录像，仅仅通过手机端的摄像头设备实时地获取外部影像数据即可，在实时获取图像的过程中，处理器会根据摄像头传输至处理器的每一帧图像进行分析，并将该动态图像数据处理后的结果发送至后续步骤中去。

步骤s306，根据图像数据提取图像中的文本内容。

具体的，当通过用户手机的摄像头设备获取到动态实时数据后，处理器会将每一帧图像数据进行处理，并对图像进行文本化处理，使图像中的文本处于可以被处理器进行提取的状态，处理器则将其中文本作为单独的文本信息进行提取，以备后续翻译之用。

例如，当用户手机的处理器接收到一个图像数据时，对该图像数据进行二值化处理，其中二值化处理是将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，首先，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。其次，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像。经过了二值化处理的图像数据会被处理器很快地识别出图像中的文本内容，并将该文本内容进行存储以备翻译之用。

步骤s308，将文本内容翻译为译文文本。

具体的，用户手机在经过处理器对图像文本提取采集之后，会根据既有翻译规则，利用调取本地或者远程的数据库等，对文本内容进行翻译处理，并将翻译处理后的结果返回到图像拍摄界面或者其他显示界面中供用户查看和使用。其中，翻译规则可以是根据提前预装翻译插件，例如根据牛津字典以及相关翻译规则程序代码进行设置，当接收到待翻译的文本时，会根据上述规则对文本进行翻译；翻译规则还可以是通过网络在线翻译功能，将文本内容通过发送至固有地、稳定的翻译地址，并在短时间内得到该地址的响应，完成相关的翻译工作。

步骤s310，将译文文本显示在图像拍摄界面上。

具体的，将译文文本作为翻译的结果显示在用户手机的图像拍摄界面上，以便用户查看翻译结果。

可选的，所述将译文文本显示在所述图像拍摄界面上的步骤包括：将译文文本进行标记并显示在所述图像拍摄界面上。

具体的，用户手机在完成了翻译工作之后，会将译文文本作为输出数据显示在图像拍摄界面上，译文文本的显示方式可以是在原待翻译文本的周围，针对该文本进行标记的方式显示译文文本内容，使得用户直观地看到原待翻译文本的译文文本是什么，增加了用户的体验。

需要说明的是，译文文本的显示还可以是显示在待翻译文本的文本之上，覆盖原始的待翻译文本内容，利用不同颜色的字体使得用户直观看出被翻译的是哪句话，上述覆盖原始文本内容可以是自动消除原始文本，并在原始文本的显示位置显示翻译之后的文本，增加用户直观地体验感受。

例如，当用户持手机对准待翻译文本“我是谁”时，处理器将文本进行提取并翻译，将翻译之后的译文文本显示在图像拍摄界面中原始文本“我是谁”的下方，并以红色字体标出“whoami”，用户看到红色字体后，并根据红色字体所在位置，便能直观地判断出“whoami”为“我是谁”的译文文本。

可选的，所述将所述译文文本显示在所述图像拍摄界面上之后，还包括：当接收到针对所述译文文本的点击之后，显示所述译文文本关联的内容。

具体的，对于已经完成了翻译工作并在图像拍摄界面上显示了译文文本的用户手机，还可以提供让用户对译文文本点击的功能，当用户看到翻译内容后，往往会对相关内容产生一些疑问，此时便需要方便地进行查询或解释。本发明实施例还可以包括如下功能：当用户点击了译文文本时，会相应地显示出译文文本相关的关联内容，以供用户进行进一步地理解和操作。

可选的，所述译文文本关联的内容包括：所述译文文本的释义，或所述译文文本关联的网页信息。

具体的，上述本发明实施例所述当用户点击译文文本时，用户手机会显示译文文本关联的内容，其中，关联的内容可以是针对译文文本的释义，也可以是这对译文文本在网页上搜索到的相关信息数据，

例如，当用户点击译文文本“神经网络模型”时，图像拍摄界面会显示针对“神经网络模型，并关联出机器学习模型的解释：“神经网络模型是以神经元的数学模型为基础来描述的。人工神经网络(artificialneutralnetwork),是对人类大脑系统的一阶特性的一种描述。简单地讲,它是一个数学模型。神经网络模型由网络拓扑.节点特点和学习规则来表示。”。由此可见，通常情况下用户只知道模型的含义，但是并不知道神经网络模型如何解释，因此在上述过程之中，用户不仅仅得到了译文文本“神经网络模型”的内容，还进一步地获得了对译文文本“神经网络模型”更深一层的释义，使得用户理解了什么是神经网络模型，甚至理解神经网络模型有什么用，以便用户后续的处理和使用。

又例如，当用户点击译文文本“神经网络模型”时，图像拍摄界面会显示针对“神经网络模型”的网页信息，由此可见，用户不仅仅获得了译文文本本身的内容，还得知相关内容在网络上的一些信息数据。

需要说明的是，图像拍摄界面对译文文本关联内容的显示，可以是直接显示在译文文本周围，以不同颜色的字体标记出来，也可以是当用户对译文文本进行点击之后，弹出局部小型对话框，单独用于显示译文文本的关联内容，具体采用何种显示方式，需要根据具体应用环境来决定，在此并不进行具体的限定。

可选的，所述译文文本关联的网页信息包括利用搜索引擎查询译文文本获得的网页信息。

具体的，上述实施例中提及的译文文本关联内容可以是网页信息，可以是利用了用户手机上网功能所连接的指定的搜索引擎，例如百度、谷歌等，通过搜索引擎对译文文本关联内容进行搜索，并根据一定的提取规则，摘取对用户有用的网络信息进行反馈，并显示给用户。

需要说明的是，根据一定规则对网络信息进行筛查的选择，可以利用神经网络模型对用户的网络使用习惯进行学习训练，使得从网上摘取的信息对用户产生的价值最大、用处最高。

例如，通过神经网络学习模型，学习用户手机中浏览器的搜索记录，并对搜索记录进行分类处理，提取出用户最常用的搜索类型，在结合了上述搜索类型之后，当需要对译文文本关联内容进行搜索时，则主动地根据用户常用搜索类型进行摘取，以符合用户自身的信息获取习惯，提升用户的体验。

可选的，显示所述译文文本关联的内容的步骤之后，所述方法还包括：处理所述译文文本关联的内容。

可选的，所述处理所述译文文本关联的内容的步骤包括：收藏、分享、发送至其他终端、保存至本地、导出、转换为语音的至少其中一者。

具体的，根据上述实施例，当用户点击了译文文本并得到相关关联内容之后，用户还可以对该关联内容进行操作，例如可以是收藏、分享、发送至其他终端、保存至本地、导出或转换为语音，以便用户直接的对该译文文本及其相关关联内容进行处理和使用。

例如，用户针对“neutralnetwork”进行拍摄，手机的拍摄界面显示的译文文本为“神经网络模型”，针对译文文本关联出的内容为：“神经网络模型是以神经元的数学模型为基础来描述的….”等内容，利用tts文本转语音技术，直接阅读“神经网络模型是以神经元的数学模型为基础来描述的….”等内容，可以便于用户直接地获取相关信息。

需要说明的是，用户对译文文本关联内容的处理选项按钮可以设置在关联内容局部弹窗之上，用于用户点击选择需要进行处理的方式。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，其中存储有计算机可读程序，当所述计算机可读程序被所述处理器执行时，所述电子设备执行所述的方法。

具体的，上述电子设备所执行的方法，可以根据本发明实施例中一种基于拍照功能的翻译方法的描述清楚地得到，此处不再进行赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。