智能眼镜及其控制方法、控制装置与流程

本发明涉及智能穿戴设备技术领域，尤其涉及一种智能眼镜及其控制方法、控制装置。

背景技术：

智能眼镜是指与智能手机类似，具有独立的操作系统，用户可以安装软件、游戏等软件服务商提供的程序，可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频以及与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入的这样一类眼镜的总称。

对于一些经常去国外的用户，经常会出现语言不通的问题。当出现语言不通时，通常采用手机、平板等工具对看到的外语文字进行查询，将其翻译为用户自身所通晓的语言文字。

然而，现有技术中，将看到的外语文字翻译成用户自身所通晓的语言文字的操作过程较为繁琐。

技术实现要素：

本发明解决的技术问题是如何便捷的对语言文字进行翻译。

为解决上述技术问题，本发明实施例提供一种智能眼镜的控制方法，包括：当检测到用户的眼睛注视同一方向的时长超过预设时长时，计算所述用户的视角；获取所述用户的视角所对应的图像；提取所述获取到的图像中的文字；将提取到的文字翻译成目标语言对应的文字；将所述目标语言对应的文字输出。

可选地，所述计算所述用户的视角，包括：根据所述用户的眼睛的瞳孔中心位置、所述用户的眼睛的上/下眼白长度以及所述用户的眼睛的左侧/右侧眼白长度，计算所述用户的视角。

可选地，所述将提取到的文字翻译成目标语言对应的文字，包括：采用本地预设的翻译工具，将所述提取到的文字翻译成目标语言对应的文字。

可选地，所述将提取到的文字翻译成目标语言对应的文字，包括：将所述提取到的文字发送至云端服务器，使得所述云端服务器将所述提取到的文字翻译成目标语言对应的文字；接收所述云端服务器返回的所述目标语言对应的文字。

可选地，采用以下至少一种方式输出所述目标语言对应的文字：采用图像方式输出所述目标语言对应的文字；采用音频方式输出所述目标语言对应的文字。

可选地，所述采用图像方式输出所述目标语言对应的文字，包括：获取所述用户的视角所对应的对象与所述用户的距离；根据所述用户的视角所对应的对象的距离，得到获取所述用户的视角所对应的图像时的焦距；采用图像方式以相同的焦距输出所述目标语言对应的文字。

可选地，在提取所述获取到的图像中的文字之后，还包括：提取所述获取到的图像中的文字对应的关键词；获取所述关键词对应的附加信息；将获取到的所述附加信息以所述目标语言对应的文字输出。

可选地，所述方法还包括：采集输入的语音内容；将采集到的所述语音内容翻译成与所述目标语言对应的内容并输出。

可选地，采用以下至少一种方式输出所述目标语言对应的内容：采用图像方式输出所述目标语言对应的内容；采用音频方式输出所述目标语言对应的内容。

本发明实施例还提供一种智能眼镜控制装置，包括：检测单元，适于检测用户的眼睛的注视方向；计算单元，适于当检测到用户的眼睛注视同一方向的时长超过预设时长时，计算所述用户的视角；获取单元，适于获取所述用户的视角所对应的图像；提取单元，适于提取所述获取到的图像中的文字；翻译单元，适于将提取到的文字翻译成目标语言对应的文字；输出单元，适于将所述目标语言对应的文字输出。

本发明实施例还提供一种智能眼镜，包括：智能眼镜本体、控制器、内侧摄像头及外侧摄像头，其中：所述内侧摄像头，设置在所述智能眼镜本体上，与所述控制器耦接，适于检测用户的眼睛的注视方向；所述控制器，适于当所述内侧摄像头检测到所述用户的眼睛的注视同一方向的时长超过预设时长时，计算所述用户的视角，并生成控制信号发送至所述外侧摄像头，获取所述外侧摄像头采集的图像，提取所述获取到的图像中的文字，以及将所述提取到的文字翻译成目标语言对应的文字并输出；所述外侧摄像头，设置在所述智能眼镜本体上，与所述控制器耦接，适于接收到所述控制信号后开始工作，并根据所述控制信号采集所述用户的视角所对应的图像。

可选地，所述控制器，适于将提取到的文字发送至云端服务器，使得所述云端服务器将所述提取到的文字翻译成目标语言对应的文字；以及接收所述云端服务器发送的所述目标语言对应的文字。

可选地，所述智能眼镜还包括：投影装置；所述投影装置，与所述控制器耦接，适于通过投影输出所述目标语言对应的文字；所述控制器，还适于控制所述投影装置将所述目标语言对应的文字投影输出。

可选地，所述控制器，还适于获取所述外侧摄像头采集所述用户的视角所对应的图像时的焦距；所述投影装置，适于将所述目标语言对应的文字以相同的焦距输出。

可选地，所述智能眼镜还包括：音频输出装置；所述音频输出装置，与所述控制器耦接，适于通过音频方式输出所述目标语言对应的文字；所述控制器，还适于在接收到音频输出控制指令时，控制所述音频输出装置以音频方式将所述目标语言对应的文字输出。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

通过检测用户的眼睛的注视时长及注视方向，获取与用户的视角对应的图像，将图像中的文字翻译成目标语言对应的文字并输出。在获取图像中的文字以及对图像中的文字进行翻译的过程中，用户无须对智能眼镜进行操作，即可将看到的外语文字翻译成目标语言文字，从而可以提高用户对看到的语言文字进行翻译的便捷性。

进一步，由于可以直接将采集到的语音数据翻译成目标语言对应的内容，从而可以解决用户与交流对象交流时语言不通问题。

附图说明

图1是本发明实施例中一种智能眼镜的控制方法的流程图；

图2是本发明实施例中一种智能眼镜控制装置的结构示意图；

图3是本发明实施例中一种智能眼镜的结构示意图。

具体实施方式

对于一些经常去国外的用户，经常会出现语言不通的问题。当出现语言不通时，通常采用手机、平板等工具对看到的外语文字进行查询，将其翻译为用户自身所通晓的语言文字。然而，现有技术中，将看到的外语文字翻译成目标语言文字的操作过程较为繁琐。

在本发明实施例中，通过检测用户的眼睛的注视时长及注视方向，获取与用户的视角对应的图像，将图像中的文字翻译成目标语言对应的文字并输出。在获取图像中的文字以及对图像中的文字进行翻译的过程中，用户无须对智能眼镜进行操作，即可将看到的外语文字翻译成用户自身所通晓的语言文字，从而可以提高用户对看到的语言文字进行翻译的便捷性。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，给出了本发明实施例中的一种智能眼镜的控制方法的流程图，以下通过具体步骤进行详细说明。

在具体实施中，本发明实施例中提供的智能眼镜中可以设置有内侧摄像头、外侧摄像头以及控制器。在本发明一实施例中，内侧摄像头设置在智能眼镜本体的右侧支架上，镜头面向用户眼睛，工作时可以对用户的眼睛进行实时追踪。外侧摄像头设置在智能眼镜本体的右侧支架上，位于右眼镜镜片外侧，镜头面向外界，工作时可以实时采集外界的图像。控制器可以接收内侧摄像头及外侧摄像头采集的图像，并可以对内侧摄像头及外侧摄像头进行控制。

在具体实施中，内侧摄像头也可以设置在智能眼镜的左侧支架上，外侧摄像头也可以设置在智能眼镜的左侧支架上。内侧摄像头与外侧摄像头还可以分别设置在两侧支架上，例如，内侧摄像头设置在智能眼镜的左侧支架上，外侧摄像头设置在智能眼镜的右侧支架上。

步骤S11，当检测到用户的眼睛注视同一方向的时长超过预设时长时，计算所述用户的视角。

在具体实施中，用户可以通过多种方式开启智能眼镜的翻译功能。

例如，用户可以通过语音方式开启智能眼镜的翻译功能。用户通过语音“开启翻译功能”，开启智能眼镜的翻译功能。

又如，用户可以通过预设动作触发开启智能眼镜的翻译功能。如通过画圈的动作，开启智能眼镜的翻译功能；或者通过连续眨眼动作，连续眨两次眼睛，开启智能眼镜的翻译功能。

当智能眼镜的翻译功能开启后，内侧摄像头可以对用户的眼睛实时进行追踪，对用户到的眼睛的运动信息进行捕捉，并且可以将捕捉到的用户的眼睛的运动信息发送至控制器。

控制器接收内侧摄像头发送的用户的眼睛的运动信息后，可以根据接收到的用户的眼睛的运动信息，来获知用户的眼睛的注视方向。当检测到用户的眼睛注视同一方向的时长超过预设时长时，计算用户的视角。

人的眼睛近似球形，位于眼眶内。眼球包括眼球壁、眼内腔和内容物、神经、血管等组织。眼球壁主要分为外层、中层及内层。眼球壁外层由角膜、巩膜组成。眼球壁外层的前1/6为透明的角膜，俗称“眼珠”，其余5/6为白色的巩膜，俗称“眼白”。

在实际应用中，智能眼镜中可以设置有眼睛运动信息采集传感器，通过预设的眼睛运动信息采集传感器来采集用户的眼睛参数，并将采集到的用户的眼睛参数发送至控制器。在本发明实施例中，用户的眼睛参数可以包括：瞳孔的中心位置、上/下眼白长度及左侧/右侧眼白长度。

控制器可以根据传感器发送的用户的眼睛参数：瞳孔的中心位置、上眼白长度以及左侧眼白长度，结合预存储的用户正视时对应的眼睛参数，计算用户的视角。控制器也可以根据瞳孔的中心位置、上眼白长度以及右侧眼白长度，结合预存储的用户正视时对应的眼睛参数，计算用户的视角。控制器还可以根据瞳孔的中心位置、上眼白长度、下眼白长度、左侧眼白长度以及右侧眼白长度，结合预存储的用户正视时对应的眼睛参数，计算用户的视角。需要说明的是，控制器可以根据瞳孔中心的位置，上眼白长度与下眼白长度中的至少一个、以及左侧眼白与右侧眼白中的至少一个，计算用户的视角。

在实际应用中，预设时长可以为2秒，也可以为5秒，还可以为其他设定值。用户可以根据自身需要及实际的应用场景，来设定预设时长。

例如，用户去英国旅游，但是该用户没有英语基础，则该用户可以将预设时长设定为2秒或者更短。又如，用户具有英语基础，可以将预设时长设定为5秒。

步骤S12，获取所述用户的视角所对应的图像。

在具体实施中，当控制器获取到用户的视角后，可以控制外侧摄像头开始工作，并控制外侧摄像头的取景方向为用户的视角对应的方向。

控制器获取到用户的视角后，可以生成用于控制外侧摄像头开始工作的控制信号，并发送至外侧摄像头。外侧摄像头接收到控制信号后开始工作，采集用户的视角对应方向上的图像，并将采集到的图像发送至控制器。

步骤S13，提取所述获取到的图像中的文字。

控制器接收到外侧摄像头发送的图像后，可以对获取到的图像进行处理，从中提取文字。

在实际应用中，控制器将获取到的图像进行二值化处理，所述二值化处理是指设定一个全局的阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群。将大于T的像素群的像素值设定为白色(或者黑色)，小于T的像素群的像素值设定为黑色(或者白色)，然后在二值化图像的连通域中提取文字行，进而可以提取到图像中的文字。

步骤S14，将提取到的文字翻译成目标语言对应的文字。

在具体实施中，当控制器从图像中提取到文字后，可以获知提取到的文字对应的语言类别，之后将提取到的文字翻译成目标语言对应的文字。在具体实施中，控制器可以采用本地预设的翻译工具，将提取到的文字翻译成目标语言对应的文字。控制器也可以在智能眼镜接入网络时，将提取到的文字及生成的翻译指令发送至关联的云端服务器。云端服务器接收到智能眼镜发送的提取到的文字以及翻译指令后，可以根据翻译指令，将提取的文字翻译成目标语言对应的文字。

在本发明一实施例中，用户在开启智能眼镜的翻译功能后，可以预先对源语言类型以及目标语言类型进行设置。比如，将源语言设置为英文，将目标语言设置为中文。

在本发明另一实施例中，用户在开始智能眼镜的翻译功能后，可以将源语言检测模式设置为自动检测，将目标语言类型设置为所需的语言类型。

步骤S15，将所述目标语言对应的文字输出。

在具体实施中，可以采用多种方式输出所述目标语言对应的文字。例如，可以采用图像方式输出所述目标语言对应的文字，也可以采用音频方式输出所述目标语言对应的文字，还可以其他方式输出所述目标语言对应的文字。在采用音频方式输出所述目标语言对应的文字时，可以目标语言对应的文字转换成对应的音频数据输出。

可以理解的是，还可以采用图像与音频的组合方式输出所述目标语言对应的文字。

在具体实施中，获取用户的视角对应的对象与所述用户的距离，并根据所述用户的视角所对应的对象的距离，得到获取所述用户的视角所对应的图像时的焦距。采用图像方式将所述目标语言对应的文字以相同的焦距输出。

在本发明一实施例中，当获取到用户的视角之后，获取至少两张用户的视角对应对象的图像，且每张图像的景深不同。根据获取到的同一对象的不同景深的图像，可以获取到用户距离该对象的距离。根据用户距离该对象的距离以及采集到的图像，可以得到采集该对象时的焦距。将获取到的目标语言对应的文字以图像方式，且采用与获取该对象时相同的焦距输出。根据用户的视角，将输出的图像显示在预设的区域内，以避免输出的目标语言对应的文字距离采集到的物体距离过远或者重合。目标语言对应的文字以图像方式经投影装置投影输出后，用户注视的对象与显示屏显示的目标语言对应的文字处于同一平面，便于用户查看，从而使得用户看到的效果，就像是在注视对象旁边设置有一个显示屏一样，从而提高用户体验。

在具体实施中，在智能眼镜中还可以设置有投影装置。投影装置与控制器耦接，设置在智能眼镜的一侧支架上，可以根据控制器发送的输出信号，将输出的目标语言对应的文字进行投影。用户可以在镜片的对应位置处看到投影装置投影的目标语言对应的文字。投影装置可以将目标语言对应的文字以文本方式进行投影显示，也可以将目标语言以图片的方式进行投影显示。

下面对提取到的文字翻译成目标语言对应的文字的具体流程进行说明。

一位英国用户去中国旅游，在一家餐厅，用户开启智能眼镜的翻译功能，并将目标语言设定为英文。

这位英国用户此时准备点餐，正在阅读菜单，智能眼镜中的控制器检测到用户的眼球的注视同一方向的时长超过5秒，计算用户的视角。然后控制器控制外侧摄像头启动，外侧摄像头启动后，拍摄用户的视角对应方向上的图像，并发送至控制器。

控制器接收到外侧摄像头发送的图像后，提取获取到的图像中的文字，提取到的文字如下：椒盐三文鱼、龙利鱼配烤杏仁片、香蕉叶包鲳鱼及烟熏鳟鱼。从图像中提取到文字后，通过内置的有道词典检测提取到的文字对应的源语言为中文，然后将提取到的文字翻译成目标语言英文所对应的文字。翻译后的英文对应的文字为：Salmon in Salt&Pepper,Sole Filled with Roasted Almond Slice,Pan-fried Pomfret in Banana Leaves,Smoked Trout。

控制器控制投影装置将翻译后的英文对应的文字进行投影，英国用户获取到翻译后英文对应文字后，可以获知菜单中感兴趣的中文菜名所对应的英文释义，可以根据翻译后的菜名进行点餐。

由此可见，通过检测用户的眼睛的注视时长及注视方向，获取与用户的视角对应的图像，将图像中的文字翻译成目标语言对应的文字并输出。在获取图像中的文字以及对图像中的文字进行翻译的过程中，用户无须对智能眼镜进行操作，即可将看到的外语文字翻译成目标语言文字，从而可以提高用户对看到的语言文字进行翻译的便捷性。

在实际应用中，尤其是用户到达一个陌生的地方时，看到一些感兴趣的事物，但是由于自身知识储备的限制，无法获知感兴趣的事物的具体信息。

在本发明实施中，为了提供给用户更多的信息，提升用户的使用体验，在控制器获取到图像中的文字之后，还可以提取图像中的文字对应的关键词。关键词可以为人名、地名、物体名、建筑物名称等名词。

在获取到关键词后，可以从本地数据库中获取与关键词对应的附加信息。也可以从关联的云端服务器获取与关键词对应的附加信息。附加信息可以为与关键词相关联的一些信息。

例如，当关键词为人名时，附加信息可以包括：该人名对应人物的生平、生活、精神、经历及事迹等；当关键词为景点名称时，附加信息可以包括：景点所处位置、景点名称由来、相关典故、景点特色及周边美食等。

在获取到关键词对应的附加信息后，可以将附加信息以目标语言对应的文字输出。在对附加信息以目标语言对应的文字进行输出时，可以采用图像方式输出，还可以采用音频方式输出。可以理解的是，还可以采用图像与音频的组合方式输出。

在具体实施中，控制器还可以采集输入的语音内容，在获取到语音内容后，可以语音内容进行解析处理，获取与语音内容对应的文字内容，然后将获取到的文字内容翻译成目标语言对应的内容。

在控制器获取到翻译后的目标语言对应的内容后，可以将目标语言对应的内容进行输出。目标语言的输出方式有多种，可以采用图像方式输出目标语言对应的内容，也可以采用音频的方式输出目标语言对应的内容，还可以采用图像与音频相结合的方式输出目标语言对应的内容。

在智能眼镜中还可以设置有音频输出接口，用户可以通过耳机、音响或者其他外接设备收听音频方式输出的目标语言对应的内容。在智能眼镜中也可以设置有扬声器，可以通过外音的方式输出目标语言对应的内容，还可以采用骨传导式耳机设备，接收以音频形式输出的目标语言对应的内容。

例如，用户A只精通中文，用户A的客户B只精通英文。用户A开启智能眼镜的翻译功能后，智能眼镜中的控制器采集用户A及客户B的语音内容，采集到用户A的语音内容为“你最喜欢什么运动”，控制器将获取到的语音内容“你最喜欢什么运动”翻译成英文，翻译后的英文对应的内容为“What is your favorite sport”，并通过智能眼镜上设置的扬声器将“What is your favorite sport”以英文输出。

客户B听到“What is your favorite sport”之后，回复的语音内容为“Basketball”。控制器采集到“Basketball”后，将“Basketball”翻译成中文，翻译后的内容为“篮球”，控制器将翻译后的内容为“篮球”通过智能眼镜上的扬声器以中文输出。

通过采集语音内容，并将采集到的语音内容翻译成目标语言对应的内容，可以使得语言不通的两人或多人进行简单的语言交流。从而可以解决用户与交流对象交流时语言不通问题。

参照图2，给出了本发明实施例中的一种智能眼镜控制装置的结构示意图。智能眼镜控制装置20可以包括：检测单元21、计算单元22、获取单元23、提取单元24、翻译单元25及输出单元26。

检测单元21，适于检测用户的眼睛的注视方向；

计算单元22，适于当检测到用户的眼睛注视同一方向的时长超过预设时长时，计算所述用户的视角；

获取单元23，适于获取所述用户的视角所对应的图像；

提取单元24，适于提取所述获取到的图像中的文字；

翻译单元25，适于将提取到的文字翻译成目标语言对应的文字；

输出单元26，适于所述目标语言对应的文字输出。

参照图3，给出了本发明实施例中的一种智能眼镜。智能眼镜30包括智能眼镜本体31、控制器(未示出)、内侧摄像头(未示出)及外侧摄像头32，其中：

所述内侧摄像头，设置在所述智能眼镜本体31上，与所述控制器耦接，适于检测用户的眼睛的注视方向；

在本发明一实施例中，内侧摄像头设置在智能眼镜本体的右侧支架上，镜头朝向用户的眼睛，可以实时跟踪用户的眼睛的运动，以检测用户的眼睛的注视方向。

所述控制器，适于当所述内侧摄像头检测到所述用户的眼睛的注视同一方向的时长超过预设时长时，计算所述用户的视角，并生成控制信号发送至所述外侧摄像头32，获取所述外侧摄像头32采集的图像，提取所述获取到的图像中的文字，以及将所述提取到的文字翻译成目标语言对应的文字并输出；

所述外侧摄像头32，设置在所述智能眼镜本体31上，与所述控制器耦接，适于接收到所述控制信号后开始工作，并根据所述控制信号采集所述用户的视角所对应的图像。

在本发明一实施例中，外侧摄像头32设置在智能眼镜本体31上的右侧支架上，外侧摄像头32的镜头朝向外界，可以采集外界的图像。

在具体实施中，控制器，适于将所述提取到的文字发送至云端服务器，使得所述云端服务器将所述提取到的文字翻译成目标语言对应的文字；以及接收所述云端服务器返回的所述目标语言对应的文字。

在具体实施中，智能眼镜30中还可以设置有投影装置33。投影装置33与所述控制器耦接，适于通过投影输出所述目标语言对应的文字；所述控制器，还适于控制所述投影装置33将所述目标语言对应的文字投影输出。

在具体实施中，所述控制器，还适于获取所述外侧摄像头采集所述用户的视角所对应的图像时的焦距；所述投影装置，适于将所述目标语言对应的文字以相同的焦距输出。

在本发明一实施例中，投影装置33设置在智能眼镜本体31的右侧支架上，可以将目标语言对应的文字投影输出。投影装置33可以包括：照明灯、光导管、偏振光束分离器及硅上液晶面板。控制器将目标语言对应的文字输出至硅上液晶面板。在照明灯照射下，硅上液晶面板上显示的目标语言对应的文字产生的光经光导管传输到偏振光束分离器，用户在观看区域即可以看到输出的目标语言对应的文字。

在具体实施中，智能眼镜30中还可以设置有音频输出装置(未示出)。音频输出装置与所述控制器耦接，适于通过音频方式输出所述目标语言对应的文字；所述控制器，还适于当接收到音频输出控制指令时，控制所述音频输出装置以音频方式将所述目标语言对应的文字输出。

在实际应用中，音频输出装置可以为扬声器、音响、耳机或者其他可以将音频进行输出的装置。

例如，音频输出装置为蓝牙耳机，蓝牙耳机与智能眼镜上均包括蓝牙通信单元，二者之间通过蓝牙通信单元进行通信。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。