即时翻译系统的制作方法

即时翻译系统的制作方法
【专利摘要】本发明揭示一种执行即时语音翻译的方法以及用于执行即时语音翻译的对应耳机计算机，所述方法包含：建立包含第一耳机计算机与第二耳机计算机之间的链路的本地网，其中每个耳机计算机的优选语言设置被更换；将所捕获的第一语言的语音从第一耳机计算机传输到基于网络的语音识别服务以将所述所捕获的语音识别和转录为文本；在所述第一耳机计算机处接收所述文本；通过所述本地网将所述文本广播到至少所述第二耳机计算机；在所述第二耳机计算机处接收所述文本；将所述接收到的文本从所述第二耳机计算机传输到基于网络的文本翻译服务以将所述文本翻译成第二语言的文本；在所述第二耳机计算机处从所述基于网络的文本翻译服务接收所述第二语言的所述文本；以及在所述第二耳机计算机处显示所述经翻译文本。
【专利说明】即时翻译系统
[0001] 相关申请案
[0002] 本申请案主张2012年4月25日提交的第61/638, 419号美国临时申请案以及2012 年6月15日提交的第61/660, 478号美国临时申请案的权益。以上申请案的全部教示以引 用的方式并入本文中。

【背景技术】
[0003] 本申请案涉及人/计算机接口，且更确切地说，涉及一种耳机计算装置，所述耳机 计算装置接受话音命令并且追踪头部运动以向经执行的软件应用程序提供命令输入并且 从所述经执行的软件应用程序接收显示信息。
[0004] 如今在商业和个人生活中，例如笔记本式个人计算机（PC)的移动计算装置、智能 电话以及平板计算装置是用于产生、分析、传送以及使用数据的常用工具。由于随着高速无 线通信技术变得随处可见而更加易于存取数字信息，因此消费者继续乐于接受移动数字生 活方式。移动计算装置的普遍用途包含呈现大量高分辨率计算机图形信息和视频内容，这 些计算机图形信息和视频内容通常无线串流到所述装置。尽管这些装置通常包含显示屏， 但是在此类移动装置中不易复制高分辨率的大型显示器的优选视觉体验，因为此类装置的 物理大小受到限制以促进移动性。前述装置类型的另一缺点是用户接口是依赖于手的，其 通常需要用户键入数据或使用键盘（物理或虚拟的）或触摸屏显示器来作出选择。因此， 消费者现在正寻求一种用以加强或替换依赖于他们的手的移动装置的免提高质量、便携式 彩色显示屏解决方案。


【发明内容】

[0005] 本发明的实施例通过使用不需要用户手动键入的输入的耳机计算机来提供从源 语言或第一语言到目标语言或第二语言的自动即时翻译。耳机计算机采用自动的即时翻译 处理，其中自动的即时翻译过程可以基于当前环境以及预定义的用户语言，例如，默认或优 选的语言设置。因此，用户不需要提供需要翻译的注释或参数输入（话音或键入）；相反地， 在用户提供用以开始所述过程的单次确认之后，即时翻译可以基于当前环境以及预定义的 用户（语言默认或优先权）设置。
[0006] 实例实施例包含执行即时语音翻译的方法，所述方法包含：在至少第一耳机计算 机与第二耳机计算机之间建立包含链路的本地通信网；在第一耳机计算机处捕获第一语言 的语音；将所捕获的第一语言的语音从第一耳机计算机传输到基于网络的语音识别服务以 将所捕获的语音识别和转录为第一语言的文本；在第一耳机计算机处从基于网络的语音识 别服务接收第一语言的文本；通过本地网将第一语言的文本广播到至少第二耳机计算机； 在第二耳机计算机处接收第一语言的文本；将所接收的经广播的第一语言的文本从第二耳 机计算机传输到基于网络的文本翻译服务以将第一语言的文本翻译成第二语言的文本；在 第二耳机计算机处从基于网络的文本翻译服务接收第二语言的文本；以及将第二语言的文 本显示在第二耳机计算机的显示器上。
[0007] 实例实施例可以进一步包含：在第二耳机计算机处根据第二语言的文本合成语音 并且通过第二耳机计算机的音频扬声器呈现经合成的语音；在建立本地通信网之前，分别 将第一语言和第二语言设置为第一耳机计算机和第二耳机计算机的优选操作语言。建立本 地网可以进一步包含广播包含每个耳机计算机的优选操作语言的询问。
[0008] 实例实施例可以进一步包含使用至少话音命令、头部运动命令、手势命令或其组 合选择屏幕上的选项以开始即时语音翻译的方法。本地通信网可以使用蓝牙个人区域网 (PAN)分布。本地通信网可以进一步包含至少一个耳机计算机与至少一个主机装置之间的 通信链路，所述主机装置作为至少一个耳机计算机与基于网络的语音识别服务和基于网络 的文本翻译服务之间的中继器操作。主机装置可以进一步包含用以呈现第二语言的文本的 显示器。主机装置可以进一步包含至少短程无线电和远程无线电，所述主机装置可以利用 至少一个耳机计算机将短程无线电用于包含通信链路的本地通信网并且使用远程无线电 来访问基于网络的语音识别服务和基于网络的文本翻译服务。远程无线电可以是3G蜂窝 无线电，例如，全球移动通信系统（GSM)、分码多工存取（CDMA)或4G长期演进（LTE)无线 电。
[0009] 其他实例实施例包含用以执行即时语音翻译的耳机计算装置，所述装置可以包 含：语音捕获模块，用以捕获第一语言的语音；通信模块，用以利用至少第二耳机计算机建 立包含链路的本地通信网、将所捕获的第一语言的语音传输到基于网络的语音识别服务以 将所捕获的语音识别和转录为第一语言的文本、从基于网络的语音识别服务接收第一语言 的文本，以及通过本地网将第一语言的文本广播到至少第二耳机计算机、从所述至少第二 耳机计算机接收第二语言的文本、将接收到的第二语言的文本传输到基于网络的文本翻译 服务以将第二语言的文本翻译成第一语言的文本，以及从基于网络的文本翻译服务接收第 一语言的文本；以及微显示器，用以显示经翻译的第一语言的文本。
[0010] 实例实施例可以进一步包含：语音合成器，用以合成第一语言的文本；以及音频 扬声器，用以播放经合成的语音、优选的操作语言，在耳机计算机的初始设定期间并且至少 在建立本地通信网之前设置优选的操作语言。
[0011] 通信模块可以广播包含耳机计算机的优选操作语言的询问作为利用至少第二耳 机计算机建立包含链路的本地通信网的一部分。
[0012] 实例实施例可以进一步包含用以开始即时语音翻译的方法的屏幕上的选项，所述 屏幕上的选项通过至少话音命令、头部运动命令、手势命令或其组合选择。通信模块可以使 用蓝牙PAN分布来建立本地通信网。通信模块可以通过本地通信网利用至少一个主机装置 进一步建立通信链路，所述主机装置可以作为耳机计算机与基于网络的语音识别服务和基 于网络的文本翻译服务之间的中继器操作。主机装置可以进一步包含用以呈现第二语言的 文本的显示器。通信模块可以进一步包含至少短程无线电和远程无线电，所述主机装置利 用至少一个耳机计算机将短程无线电用于包含通信链路的本地通信网并且使用远程无线 电来访问基于网络的语音识别服务和基于网络的文本翻译服务。远程无线电可以是3G蜂 窝无线电，例如，GSM、CDMA或4G LTE无线电。
[0013] 其他实例实施例可以包含用于控制耳机计算机的操作的非暂时性计算机程序产 品，所述计算机程序产品包括具有存储于其上的计算机可读指令的计算机可读媒体，当由 处理器加载和执行时，所述计算机可读指令使所述处理器能够在至少第一耳机计算机与第 二耳机计算机之间建立包含链路的本地通信网、在第一耳机计算机处捕获第一语言的语 音、将所捕获的第一语言的语音从第一耳机计算机传输到基于网络的语音识别服务以将所 捕获的语音识别和转录为第一语言的文本、在第一耳机计算机处从基于网络的语音识别服 务接收第一语言的文本、通过本地网将第一语言的文本广播到至少第二耳机计算机、在第 一耳机计算机处从第二耳机计算机接收第二语言的文本、将接收到的第二语言的文本传输 到基于网络的文本翻译服务以将第二语言的文本翻译成第一语言的文本、在第一耳机计算 机处从基于网络的文本翻译服务接收第一语言的文本，以及将第一语言的文本显示在第一 耳机计算机的微显示器上。
[0014] 其他实例实施例可以包含执行即时语音翻译的方法，所述方法包含：在耳机计算 机处检测源语言的语音输入；识别包含自动语言标识的检测到的语音以标识源语言；将语 音转录成源语言的文本；将所述文本翻译成目标语言；将目标语言和/或源语言的文本显 示在耦合到耳机计算机上的微显示器上；根据目标语言的文本合成目标语言的语音；以及 使用耦合到耳机计算机上的音频扬声器播放经合成的语音。
[0015] 其他实例实施例可以包含执行即时语音翻译的方法，所述方法包含：使用耦合到 耳机计算机上的相机检测源语言的文本图像；使用光学字符识别来识别源语言的文本；将 源语言的文本翻译成目标语言的文本；将目标语言的文本显示在耦合到耳机计算机上的微 显示器上；根据目标语言的文本合成目标语言的语音；以及使用耦合到耳机计算机上的音 频扬声器播放经合成的语音。

【专利附图】

【附图说明】
[0016] 以上内容将从本发明的实例实施例的以下更具体描述中显而易见，如附图中所 示，其中相同的参考符号在不同视图中始终指代相同的部分。附图不必按比例绘制，而是强 调展示本发明的实施例。
[0017] 图1和图1A是本发明的实施例中采用的耳机计算机的透视图。
[0018] 图2是本发明的实施例的示意性说明。
[0019] 图3是即时翻译实施例的流程图。
[0020] 图4是另一实施例的示意图。
[0021] 图5A和图5B是图4实施例中的即时翻译的流程图。
[0022] 图6A和图6B是图4实施例的用途的说明。

【具体实施方式】
[0023] 实例实施例的描述如下。
[0024] 图1描绘含有微显示器、本地处理器、用于数据通信的无线收发器的耳机计算机 (HC)(或者称为无线免提视频计算耳机、耳机计算装置或头戴装置（HMD))，所述数据可以 包含音频和/或图形数据（音频和/或图形数据分别可以进一步包含话音和/或视频数 据）。HC可以进一步用一个或多个外围装置集成，此类集成的外围装置的实例包含（但不 限于）麦克风、扬声器、3轴到9轴的自由度定向感测、地理位置接收器（GPS)、大气传感器、 健康状况传感器、数字罗盘（多轴线磁力计）、闪光灯、高度计、压力传感器、各种环境传感 器、个人传感器、能量传感器、光学传感器和/或相机。
[0025] HC可以包含一个或多个微显示器装置，以将信息以图形方式呈现给用户，并且可 以使用输入装置（例如，头部追踪加速计、陀螺仪或一个或多个相机）以及任选的话音命令 来检测移动，例如，头部移动、手运动和/或手势，以通过各种方式对在本地处理器或远程 主机处理器上运行的应用程序提供远程控制。
[0026] 图1中所描绘的实例实施例示出HC 100 (在本文中还称为装置100)，所述HC 100 并入有微显示器（WQVGA或更好）元件1010以及下文描述的其他特征。输入和/或输出装 置，包含一个或多个麦克风；输入以及输出扬声器；地理位置感测；3轴到9轴自由度定向 感测；大气传感器；健康状况传感器；GPS ;数字罗盘；压力传感器；环境传感器；能量传感 器；加速度、位置、海拔、运动、速度或光学传感器；相机（可见光、红外光（IR)、紫外光（UV) 等）；额外的无线电（Bluetooth?、Wi-Fi?、3G或4G LTE蜂窝式、FM等）；辅助照明；测 距仪或类似者，和/或传感器阵列经由一个或多个外围端口嵌入在耳机中和/或附接到所 述装置上以控制HC 100以及其他装置的操作。（Bluetooth是华盛顿柯克兰的蓝牙技术联 盟有限公司的注册商标；Wi-Fi是德克萨斯奥斯汀的Wi-Fi联盟公司的注册商标。）
[0027] 此外，各种电子电路通常位于HC 100的壳体内，包含（如不久将理解）微型计算 机（单核或多核）、一个或多个有线或无线接口和/或光学界面、相关联的存储器和/或存 储装置、各种传感器以及例如"附件插座" 1020的一个或多个外围支架。
[0028] 图1是示出耳机计算机（HC) 100的实例实施例的一些细节的透视图。HC 100大体 上包含框架1000、固夹带1002、后部区1004、扬声器1006、悬臂或臂1008以及微显示器子 组合件1010。
[0029] 图1A图示了 HC 100可以使用的各种方式的实例。HC 100可以用作用于由远程 主机计算装置200 (还称为远程计算装置200)提供的流媒体视频信号的远程显示器。主机 200可以是（例如）膝上型电脑、蜂窝电话、BlackBerry?、iPhone?、基于云的服务器， 或甚至另一 HC 100,或比无线遥控器HC 100具有更小或更大计算复杂性的任何其他计算 装置。主机200可以（例如）通过到因特网120的有线或无线连接210进一步连接到其他 网络。另外，HC 100可以（例如）通过到因特网120的有线或无线连接160进一步连接到 其他网络。HC 100以及主机200彼此连接和/或经由（例如）由蓝牙、Wi-Fi、蜂窝、LTE、 WiMax或其他无线的无线电链路150提供的一个或多个合适的无线连接而连接到其他网 络。（BlackBerry是加拿大安大略省滑铁卢市菲力浦大街295号的移动通讯咨询有限公司 的注册商标；iPhone是加利福尼亚库比蒂诺无限循环路1号的苹果公司的注册商标。）
[0030] HC 100还可以用作主机200的遥控器。例如，HC 100可以使用户能够在由主机 200上的虚拟显示器400界定的大得多的区域内选择视野300。用户通常可以使用头部移 动或手移动或身体姿势或以其他方式（例如，利用如通过HC 100检测到的话音命令）来控 制视野300的位置、广度（例如，X-Y或3D范围）和/或扩大。因此HC 100可以具有专门 的用户输入外围设备以及处理，以（例如）获得和缩放以及控制显示器的视野。
[0031] 此外，电路位于HC 100内，包含（如不久将理解）微型计算机（单核或多核）、一 个或多个无线接口、相关联的存储器或其他存储装置、一个或多个相机（光学传感器）和 /或先前提到的各种传感器。相机、运动传感器和/或位置传感器用于追踪用户的头部在 110、111、112处、手在113处和/或身体在至少第一轴110、111 (水平），但优选地还在第二 轴（垂直）112、第三轴（深度）113、第四轴（间距）、第五轴（摇晃）和第六轴（偏航）中 的运动和/或位置。可以添加三轴磁强计（数字罗盘），从而以完全的9轴自由度位置精确 性提供无线计算耳机或外围装置。
[0032] HC 100还包含至少一个麦克风以及对应的电子设备，例如，存储器或其他存储设 备和/或用于语音识别的可编程处理器。HC 100检测用户的话音，并且通过使用语音识别 技术来导出命令和/或指示。HC 100使用从所述语音识别导出的命令来执行通过所述命令 指示的功能。
[0033] 在一个实例实施例中，两个或两个以上HC 100可以执行从第一 口头人类语言 (即，源语言）到第二口头人类语言（即，目标语言）的即时翻译。此种实例使HC 100的两 个或两个以上用户能够彼此通信，同时每个用户在说不同语言并且与所述用户所交谈的人 保持目光接触。翻译的格式可以包含从第一（源）语言的语音到文本以及第二（目标）语 言的语音，或反之亦然。
[0034] 图2图示了即时翻译的实例实施例，所述即时翻译包含建立一起的两个或两个以 上HC 100之间的通信链路以及每个HC 100与基于云的网络资源401之间的链路。HC 100 可以由微显示器210、一个或多个麦克风（麦克风1以及麦克风2) 220、一个或多个音频扬 声器（扬声器1以及扬声器2) 230、主板101以及无线通信模块208组成，所述主板进一步 由可操作地耦合的处理器205、噪音消除模块（NCS) 225、命令和控制模块250、语音识别捕 获模块255、语音合成模块260组成。HC 100可以进一步由根据本发明的原则启用即时语 音翻译的额外元件组成。
[0035] 此外，在HC 100的一些实施例中，用户可以针对优选的性能定制HC 100的配置 和操作。定制可以包含在建立用于即时翻译会话的本地通信网之前，将第一语言设置为HC 100的优选操作语言。例如，在HC 100上的计算机软件应用程序产品的初始安装和配置期 间，可以设置优选的（或默认）语言。将理解，在一些情况下优选的语言可以是源语言（例 如，当HC 100的用户在说话时），或目标语言（例如，当HC 100接收除了优选的语言之外的 语言的文本）。
[0036] HC 100与基于云的网络资源401之间的通信可以通过将外围主机装置200 (例如， 智能手机）用作无线中继器的各种无线通信方法来启用。在一些实施例中，HC 100可以使 用各种无线通信方法直接与基于云的网络资源401通信，所述无线通信方法例如，Wi-Fi、 3G(GSM、CDMA等）或4G LTE蜂窝或WiFi-Direct。基于云的网络资源401可以包含基于云 的语音识别/指示模块405以及文本翻译模块410。
[0037] 图2图示了即时翻译的实例实施例，所述即时翻译包含建立一起的两个或两个以 上HC 100之间的通信链路以及每个HC 100与基于云的网络资源401之间的链路。可以建 立包含每个HC 100之间的通信链路的本地通信网。使用例如蓝牙个人区域网（PAN)分布 的协议的短程无线电可以用于本地网。指示每个HC 100的优选的（或默认）语言设置的 数据可以包含在讯问消息中。例如，考虑图2的两个HC 100A和HC 100B;HC 100A由讲英 语的人301A(还称为用户）使用并且经配置以留神听（S卩，识别）英语语音，而HC 100B由 讲法语的人301B(还称为用户）使用并且经配置以留神听法语语音。换言之，语音识别捕 获模块255经由软件经配置以识别每个HC 100的相应用户的语音。
[0038] 在由HC 100安装或执行的软件产品应用程序的初始设定期间，用户可以设置优 选的语言，使得优选的语言设置涉及到并且用于自动即时语音翻译而不需要除了在会话之 前确认开始即时翻译会话的请求之外的额外用户输入。
[0039] 此外如图2所图示，每个HC 100A和100B连续地传输短程（即，约100英尺或更 小）网络询问305,例如，蓝牙注册包。此类网络询问使HC 100A和100B能够在装置处于传 输范围内时即时地且自动地形成本地网310,而不需要通过相应用户301A和301B的努力。 询问305传送和提供相应HC 100的标识数据，例如，优选的或默认语言以及其他工作特性。 在标识和形成此种网络310之后，HC 100A察觉到不仅HC 100B在附近，而且HC 100B配置 用于讲法语的用户301B。类似地，在标识和形成此种本地通信网310之后，HC 100B察觉到 HC 100A在附近并且配置用于讲英语的用户301A。此外，每个HC 100(100A以及100B)向 每个用户提供用以允许即时语音翻译会话开始的选项。例如，HC 100可以通过微显示器向 用户呈现用于开始即时翻译会话的屏幕上的选项。用户可以使用话音、头部运动、手势命令 或其一些组合来确认或拒绝即时翻译会话请求。
[0040] 在每个用户301Α和301Β已启用即时语音翻译会话之后，所述会话可以开始。例 如，讲英语的人301Α对着装置100Α讲英语短语。HC 100Α结合麦克风220使用语音识别 捕获模块255以捕获英语语音音频输入。使用无线通信模块208经由网络连接415 (例如， Wi-Fi或4G LTE)将所捕获的语音传输到基于云的语音识别服务405。基于云的语音识别 服务405 (经由连接415)通常在小于几秒钟的时间内将作为书面英语文本的语音音频输入 返回到HC 100A。
[0041] 所返回的书面英语文本随后通过本地网链路310由第一耳机计算机HC 100A传输 到第二耳机计算机HC 100B，所述本地网链路可以是（例如）蓝牙连接。在接收书面英语文 本之后，HC 100B(使用无线通信模块208通过网络连接420)将书面英语文本传输到基于 云的文本翻译服务410,使得所述书面英语文本可以被翻译成书面法语文本。在基于云的文 本翻译服务410完成将接收到的书面英语文本翻译成书面法语文本之后，所述书面法语文 本通过网络连接420返回到HC 100B。在接收书面法语文本之后，HC 100B将所述书面法语 文本显示在其微显示器210上并且语音合成模块260与音频扬声器230结合使用以产生对 应的经合成的法语语音。
[0042] 所属领域的技术人员将认识到，该过程可以被交替，使得法语语音（通过法语用 户301B)被翻译成英语文本和语音（在英语用户301端），因此实现双向翻译服务。所属领 域的技术人员将进一步认识到，上述方法可以扩展成多个HC 100,从而实现群组翻译的音 频广播系统。换言之，例如，讲英语的人301A可以讲英语并且将书面英语文本广播到多个 其他HC 100 (所述HC 100中的每一者可以配置用于不同的语言），从而建立多种语言的即 时翻译系统。每个HC 100接收书面英语文本（例如，源语言文本或第一语言（语言1))并 且根据配置用于视觉显示器和经合成的语音的每个HC的优选（或默认）语言配置将书面 英语文本独立地翻译成不同于第一语言/源语言/一种语言的适当语言（例如，目标语言 或第二语目（或第二语目或更多语目，例如，语目2或3等））。
[0043] 图3是根据本发明的HC 100在即时翻译系统1001中执行的实例程序的流程图。 在开始之后，在1003处HC 100A配置用于在第一语言（语言1)中操作。接下来，在1005 处HC 100A通过（例如）蓝牙注册包的本地网广播询问305。在标识出本地网由至少一个 额外HC(例如，HC 100B)组成之后，HC 100A和HC 100B形成或加入1007本地网，例如，本 地蓝牙网络310。接下来，HC 100A和HC 100B的用户（用户301A和301B)选择在其相应 HC 100上开始即时翻译会话1009。例如，响应于屏幕上的选项，每个用户301A和301B使 用话音、头部运动、手势命令或其任何组合来确认即时翻译会话。
[0044] 在初始软件应用程序产品安装期间，HC 100可以经配置使得第一语言（语言1) 为优选的语言，步骤1003。尽管HC 100在运行，但是可以广播包含优选的语言设置的本地 网询问，步骤1005。当HC 100处于另一（第二）HC 100的范围（短程，例如在100英尺以 下）内时，标识和建立本地通信网，步骤1007。接下来，屏幕上的（和/或音频）提示被呈 现给用户以开始即时翻译会话，步骤1008。
[0045] 下文将从起始与HC 100B的用户的对话的HC 100A的用户的视角进行描述。在 1011处，HC 100A捕获第一语言的话音输入，S卩，由用户301A产生的语音。接下来，步骤 1013通过网络连接（例如，Wi-Fi或4G LTE)将所捕获的语音传输到基于云的语音识别服 务401、405。语音识别服务405将语音转录且识别成第一语言的文本并且将经转录的第一 语言的文本返回到HC 100A。作为响应，HC 100A通过本地网310接收1015并且随后广播 1017作为第一语言的文本数据的经转录文本，此种本地网可以是蓝牙本地网。
[0046] 在1021处，HC 100B随后可以接收经广播的第一语言的文本。接下来，HC 100B将 第一语言的文本传输1023到基于云的翻译服务410,从而被翻译成第二语言的文本。基于 云的翻译服务410将经翻译的第二语言的文本返回到HC 100B (在1025处）。HC 100B随 后将翻译成第二语言的接收到的文本显示1027在微显示器210、1010上并且在HC 100B处 使用音频扬声器230向用户301B合成第二语言的文本的语音1029 (例如，以自动方式地阅 读、叙述、陈述、念出）。
[0047] 所属领域的技术人员将认识到，每个HC 100可以执行上述程序并且所述程序将 交替并且使用户300A和300B能够转换。
[0048] 上述即时翻译系统1001的优点包含以下事实：能够查看输入的文本而不是单独 依赖于仅文本到语言的合成通常是非常有用的。具体来说，在一个人想要在进行中的对话 中参考前述注解的情况下。此外，将微显示器210、1010定位在靠近眼睛的位置中而不阻碍 用户的视野会使用户能够与所述用户正在对话的人保持目光接触，并且因此使用户能够遵 守人际沟通的基本规则-保持目光接触。
[0049] 在其他实施例中，遵循本发明的原则执行从（第一或源）语言到（第二或目标） 语言的即时翻译。即时翻译可以包含即时语音翻译，以多种格式的一种口头人类语言到另 一种口头人类语言的转换包含从语音到语音（STS)、从语音到文本（STT)、从文本到语音 (TTS)和/或从文本到文本（TTT)的翻译。在实例实施例中，语音可以通过可操作地耦合 到HC 100上的一个或多个麦克风检测到并且即时地从原始语言翻译到经翻译语言。经翻 译的语音可以呈现为文本和/或经合成的语音。在另一实例实施例中，含有嵌入文本的图 像可以通过可操作地耦合到HC 100上的一个或多个相机160 (图4)捕获，所述嵌入文本可 以被识别并且即时地从原始语言翻译到经翻译语言。经识别和翻译的文本可以呈现为经合 成的语音和/或文本。
[0050] 所属领域的技术人员应认识到，即时翻译可以进一步启用即时格式转换；将检测 到的话音输入转换成相同语言的文本或将经识别的文本转换成经合成的语音。换言之，实 例实施例可以启用免提即时STT转换，S卩，指示，而另一实例实施例可以启用免提即时TTS 转换，即，读取（念出）经识别文本的经合成语音。
[0051] 图4图示了用于即时语音翻译中的HC 100、外围主机装置200以及基于云的网络 资源505的另一实施例。HC 100可以由微显示器210、一个或多个麦克风（麦克风1和麦 克风2) 220、一个或多个音频扬声器（扬声器1和扬声器2) 230、相机160、主板101以及无 线通信模块208组成，所述主板进一步由可操作地耦接的处理器205、存储器或其他存储设 备（未图示）、噪音消除模块（NCS) 225、命令和控制模块250、语音识别/指示模块255、语 音合成模块260、光学字符识别（OCR)模块165组成。HC 100可以进一步由启用即时语音 翻译的额外元件组成。模块250、255、260、225如上所述。
[0052] 此外，在HC 100的一些实施例中，用户可以针对优选的性能定制HC 100的配置和 操作。HC 100与基于云的网络资源205之间的通信可以通过将外围主机装置200(例如， 智能手机）用作无线中继器的各种无线通信方法来启用。换言之，HC 100可以利用主机 装置200形成包含通信链路的本地通信网。主机装置可以将第一语言或源语言（或第二 语言或目标语言）的文本数据转播到网络服务语音识别模块555 (或文本翻译模块570)。 在一些实施例中，HC 100可以使用各种无线通信方法直接与基于云的网络资源505通信， 所述无线通信方法例如，上文在图2中描述的Wi-Fi、3G(GSM、CDMA等）或4G LTE蜂窝或 WiFi-Direct。基于云的网络资源505可以包含基于云的语音识别/指示模块555、OCR模 块565、语音合成模块560以及文本翻译模块570。
[0053] 在一个实施例中，即时语音翻译可以在HC 100处局部出现。麦克风（麦克风1和 麦克风2) 220接收话音输入，S卩，语音输入。噪音消除模块（NCS) 225可以用于消除背景噪 音，使得可以向本地语音识别模块255提供通过麦克风220接收的话音/语音输入的更准 确表示。NCS 125可以使用任何噪音消除技术，例如，主动噪音消除（ANC)。可以向语音识 别/指示模块255提供经处理或未经处理的（噪音消除方式的）话音/语音输入，所述语音 识别/指示模块随后对数字音频信号执行语音识别，从而将经识别的语音转换成文本。任 选地，经转录的文本可以显示在微显示器210上，从而提供经识别语音的转录。经转录的文 本可以提供到本地翻译模块（未图示）。本地翻译模块可以将经转录文本从一种自然语言 翻译成另一种自然语言，从而产生经翻译的文本。任选地，经翻译文本可以显示在微显示器 210上。经翻译文本可以供应到语音合成模块260并且使用HC 100的一个或多个音频扬声 器230响亮地读出（念出）。主板101上的本地翻译模块或其他模块250、255、260具有每 个用户的默认语言设置并且可以根据默认语言自动地确定目标语言。
[0054] 实例实施例以及定制的配置可以包含设置与不同麦克风220相关联的不同的噪 音水平阈值，使得可以识别和翻译除了 HC 100的用户/佩戴者之外的人所发出的语音（通 常为第二（外国）语）。当HC 100在监听和监视接收到的语音的音频信号时，一些实例实 施例不可以使用任何噪音消除技术来处理接收到的音频信号。当向用户/佩戴者读出/念 出经合成的语音时，一些实例实施例可以使用噪音消除技术，尤其在包含用于用户的每个 耳朵的至少一个音频扬声器230的HC的实例实施例中。
[0055] 在优选实施例中，即时语音翻译可以使用基于云的网络资源505。HC 100可以使 用已知的无线协议（例如，蓝牙或Wi-Fi Direct)经由无线通信模块208与外围主机装置 200 (例如，智能手机）通信。智能手机200可以充当无线中继器，从而启用HC 100与基于 云的网络资源505之间的通信。HC 100的一些实施例可以包含无线通信模块208,所述无 线通信模块包含多个无线电（例如，4G LTE和Wi-Fi)，所述无线电在不需要使用无线中继 装置（例如，主机200)的情况下启用与基于云的网络资源505的通信。
[0056] 麦克风（麦克风1和麦克风2) 220接收一种语言的话音/音频输入，S卩，语音输 入。噪音消除模块（NCS) 225可以用于消除背景噪音，使得可以向本地语音识别模块255提 供通过麦克风220接收的话音/语音输入的更准确表示。NCS 225可以使用任何噪音消除 技术，例如，主动噪音消除（ANC)。向本地语音识别/指示模块255提供一种（源）语言的 经处理或未经处理的话音/语音输入。语音识别模块255对接收到的数字音频输入信号执 行语音识别，从而将经识别语音（源语言）转换成源语言的文本。所得的经识别文本（一 种语言/源语言）被传输到远程基于云的翻译模块570。
[0057] 远程基于云的翻译模块570翻译接收到的源语言文本，从而产生经翻译文本（即， 将文本从一种/源语言翻译到第二/目标语言文本）。基于云的网络服务器505 (例如）通 过主机200中继器将所述经翻译文本传送到HC 100。在所述经翻译文本通过HC 100接收 之后，处理器执行命令以将接收到的目标语言文本显示在微显示器210上。经翻译文本随 后可以供应到语音合成模块260并且使用HC 100的一个或多个音频扬声器230响亮地读 出（念出）。HC 100命令/控制模块250或语音/文本处理模块（STT 255、TTS 260)可以 具有每个用户的默认（或偏好）语言设置。以此方式，来自HC 100的通过主机200转播的 翻译请求基于用户默认（偏好）语言设置自动地设置目标语言。用户不需要插入或以其他 方式输入在HC 100与基于云的网络服务505之间传送的每个翻译请求的目标语言的指示。
[0058] 所属领域的技术人员将认识到，其中其他过程从HC 100中卸载的其他配置也是 可能的。例如，HC 100可以提供各种到基于云的网络资源505的输入，例如，包含话音/语 音输入并且可以向基于云的网络语音识别/指示模块555提供自动指示（用户优选的/默 认的）目标语言，以对数字音频信号执行语音识别，从而将语音转换成相同语言的文本。经 识别文本随后可以由基于云的网络翻译模块570处理以产生经翻译文本（从源语言自动到 默认目标语言）。经翻译文本随后可以被传送回HC 100,其中所述经翻译文本可以作为文 本显不在微显不器210上并且被供应到语音合成模块260并且使用一个或多个扬声器230 以目标语言响亮地读出（念出）。至少从用户不需要在即时翻译请求中输入目标语言的指 示的意义来说，前述内容是自动的。
[0059] 或者，HC 100可以将检测到的语音信号（以及用户目标语言的自动指示）发送到 基于云的语音识别模块555,所述基于云的语音识别模块将经识别语音转换成文本。所述经 识别文本随后可以由基于云的网络翻译模块570处理以在不需要（免于）特定的语言请求 的用户输入的情况下自动地产生目标语言的经翻译文本。所述经翻译文本随后可以由基于 云的网络语音合成模块560使用以产生目标语言的经翻译语音。所述经翻译语音可以被发 送到HC 100,其中在被接收之后，可以使用扬声器230向用户播放所述经翻译语音。
[0060] 下文将结合图4描述启用即时翻译的实例实施例。
[0061] 在实例实施例中，含有嵌入文本的图像可以通过HC 100的相机160来捕获。使用 OCR模块165可以局部出现所述嵌入文本的识别。经识别文本（源语言）随后可以被提供 到本地翻译模块（未图示）以自动地产生（如通过默认语言设置指示的用户偏好的）目标 语言的经翻译文本。所述经翻译文本可以显示在微显示器210上，和/或使用语音合成模 块260和扬声器230向用户陈述。前述内容'自动地'实现意味着用户不需要向即时翻译 处理输入目标语言指示。
[0062] 在优选的实施例中，通过相机160捕获的具有嵌入文本的图像可以经由充当无线 中继器的外围主机装置200 (例如，智能手机200)或直接使用无线通信模块208从HC 100 传输到基于网络的OCR模块565。具有嵌入文本的所捕获图像可以被发送到基于云的网络 服务505,其中可以使用基于云的OCR模块565来执行嵌入文本的识别。经识别文本以及来 自HC 100的目标语言的自动指示（根据用户偏好/默认设置供应）随后可以被提供到基 于云的翻译模块570以产生目标语言的经翻译文本。所述经翻译文本随后可以被发送到HC 100。在HC 100处接收到所述经翻译文本之后，所述经翻译文本可以显示在微显示器210 上，和/或使用本地语音合成模块260转换成语音并且使用扬声器230念出。
[0063] 接下来将结合图5A和5B分别描述即时翻译过程1001AU001B的实例实施例。
[0064] 图5A描绘了本发明的语音到语音（STS)以及语音到文本（STT)的即时翻译的实 例实施方案1001A。图5A中列出的各种功能可以通过机载（即，局部地）HC 100实施或卸 载到其他处理装置（即，远程地），例如，主机200或基于云的网络资源505 (如图4中所 示）。在优选的实施例中，卸载密集型处理（CPU处理）活动以及其他资源密集型操作，使得 HC 100更经济地且更有效地操作。卸载此类处理使HC 100能够通过导出功率消耗成本而 保存电池功率。此外，利用网络资源来执行此类处理使HC 100机载资源能够被重新分配。 [0065] 图5A中描绘的语音到语音（STS)以及语音到文本（STT)的翻译的实例实施方案 1001A以通过麦克风220检测话音输入开始，步骤4201。在检测到话音输入之后，识别包含 在输入内的语音，步骤4203。语音识别可以包含自动语言标识。经识别的语音随后可以被 转录成文本，步骤4205。在所述经识别语音已被转录成文本之后，经转录文本任选地可以在 微显示器210上显示给用户（即，在微显示器210上的指示的转录），步骤4211。接下来， 在步骤4207处所述经转录文本可以被自动地翻译成预选择的语言（预定义目标语言），例 如，用户的优选语言，例如英语。用户不需要将目标语言的指示输入到步骤4207,并且因此 系统1001A执行即时自动翻译。在进行自动翻译（从源语言到用户的默认/目标语言）之 后，在步骤4211处所述经翻译文本任选地可以在微显示器210上显示给用户（即，作为用 户的优选语言的翻译）。并行地在步骤4209处，所述经翻译文本可以合成为语音。在合成 语音之后，在步骤4213处，系统1001A随后可以通过音频扬声器230向用户响亮地读出（念 出）与所述经翻译文本相对应的语音。
[0066] 图5B描绘了文本到语音（TTS)以及文本到文本（TTT)的即时翻译的实例实施方 案1001B。类似于图5A的各种功能，图5B中列出的各种功能可以通过机载HC 100实施或 卸载到其他处理装置，例如，主机装置200或基于云的网络资源505 (如图4中所示）。在优 选的实施例中，关于图5A描述所述优选实施例的益处，密集型CPU处理以及其他资源密集 型的操作被卸载，使得HC 100更经济地且更有效地操作。
[0067] 图5B中所描绘的文本到语音（TTS)以及文本到文本（TTT)的即时翻译的实例实 施方案1001B以接收图像输入（例如，通过相机160)开始，步骤4301。在输入图像之后，使 用例如光学字符识别（OCR)的技术识别嵌入到图像内的文本，步骤4303。在识别嵌入文本 之后，所述嵌入文本任选地可以合成为语音，步骤4307并且随后通过耦合到HC 100上的音 频扬声器230向用户响亮地读出（念出），步骤4311。另外或或者，在步骤4305处经识别 的嵌入文本可以被翻译成预选择的（或预定义目标）语言，例如，用户的优选语言，例如，英 语。用户不需要将目标语言的指示输入到步骤44305,并且因此系统1001B执行即时自动翻 译。在进行自动翻译之后，在步骤4309处所述经翻译文本任选地可以在微显示器210上显 示给用户（即，作为变成用户的优选/目标语言的翻译）。并行地在步骤4307处，所述经翻 译文本可以合成为语音。在合成语音之后，在步骤4311处系统1001B随后可以通过音频扬 声器230向用户响亮地读出（念出）经翻译文本。
[0068] 在许多情形中，系统1001A、1001B STS和/或STT翻译可能是非常有用的。图6A 图示了一个实例，HC 100的用户351或佩戴者可以与仅能够讲外语的人360互动。系统 1001A、1001B通过麦克风220 (在中图4示出）检测并且识别讲外语的人360的语音，例如， 西班牙语音，并且对检测到的西班牙话音输入执行话音识别。经识别语音随后可以被翻译 成多种语言，包含用户（351)的优选或目标语言，例如英语。经翻译语音的文本可以在微显 示器210处提供给用户351。或者或另外，可以使用语音合成技术通过扬声器230向用户 351读出所述经翻译语音。HC 100的实例实施例可以配备有两个扬声器230,除了多个麦 克风220以外，一个用于用户351的每个耳朵以任选地通过主动噪音消除（ANC) 225来提供 噪音消除，使得用户351听不到不必要的环境声音，包含说外语的人360的语音。此类噪音 消除特征225可能是有用的，使得HC100的用户351仅听到经系统翻译的语音（经合成的 4209、4307)并且听不到正在翻译的外语语音（人360的话音）。
[0069] 此外，正在翻译的外语语音也可以作为外语（源）语言或用户需要的另一种语言 的文本（通过微显示器210)显示给用户351。例如，西班牙语音可以被翻译成英语并且作 为英语文本呈现。
[0070] HC 100(系统1001A、B)启用的即时翻译对于学习外语是非常有用的。在这种用 途情况下，'目标'语言是外语（与用户的默认/优选设置语言不同的语言）。例如，佩戴者 351可以决定使系统将他的本土语言（例如，英语）翻译成所需要的外语（目标）语言，例 如，法语。在每天的对话中通过使用即时翻译装置100/系统1001A、B，佩戴者351可以将 英语语音（其话音输入）翻译成法语并且使用ANC 225通过扬声器230仅听到法语。因此 用户351可以将他/她自己沉浸于他/她想学习的（目标）语言中。佩戴者351还可以通 过微显示器210看到经翻译语音的文本以促进书面（目标）语言的学习。通过他们本身或 除了文本之外的图像还可以同时利用音频呈现给用户。
[0071] 在图6A所图示的又另一实例中，HC 100不仅可以以可听见的语音的形式从HC扬 声器230输出经翻译（目标）文本，但是HC 100还可以将所述经翻译（目标）文本输出到 外部装置，例如，智能手机200。例如，用户351可能到达外国并且需要使用HC 100来与外 国出租车司机（例如，在360)沟通。替代于将经翻译（目标）文本从扬声器230输出到微 显示器210或语音，HC 100可以将所述经翻译（目标）文本输出到与驾驶员360相关联的 外围装置200,例如，出租车司机的蜂窝电话。外围装置200可以可操作地耦合到扬声器或 能够显示文本的屏幕上。例如，在最初开始使用时，HC 100可以包含用以询问外部装置的 程序指令，所述外部装置例如，监视器、个人数字助理、笔记本计算机、便携式音乐播放器、 远程扬声器、蜂窝电话、智能手机或具有收发器或接收器并且能够接收数据的无线通信的 任何其他装置。HC 100可以使用已知协议标准（例如，蓝牙）或所属领域中已知的任何其 他无线通信协议与外部装置200配对。
[0072] 图6B描绘了其中TTT翻译有用的实例。例如，用户351在外国旅行并且不理解一 种（源）语言的指示牌350。如先前在图5B中描述，HC 100和系统1001B可以对指示牌 350的相机160图像执行即时TTT翻译。具体地说，系统1001B将输入图像文本即时地/自 动地从一种（源）外语翻译成用户的默认（目标）语言，使得用户351在微显示器210上 具有（用户的目标语言的）经翻译文本。
[0073] 可以使用计算机程序产品配置本发明的其他实例实施例；例如，控制件可以在软 件中进行编程以实施本发明的实例实施例。本发明的其他实例实施例可以包含含有指令的 非暂时性计算机可读媒体，所述指令可以由处理器执行并且当执行时，所述指令使处理器 能够完成本文所描述的方法。应理解，本文所描述的框和流程图中的元件可以以软件、硬 件、固件或未来确定的其他类似实施方案来实施。另外，本文所描述的框和流程图中的元件 可以以任何方式在软件、硬件或固件中组合或分割。如果在软件中实施，那么软件可以用可 以支持本文中所揭示的实例实施例的任何语言写出。软件可以存储在任何形式的计算机可 读媒体中，例如，随机存取存储器（RAM)、只读存储器（ROM)、光盘只读存储器（CD-ROM)等。 在操作中，通用或应用程序特定的处理器以所属领域中很好地理解的方式加载并且执行软 件。应理解，框和流程图可以包含不同地布置或定向或不同地呈现的更多或更少的元件。应 理解，实施方案可以指示图示了本发明的实施例的执行的框、流和/或网络图以及框和流 程图的数目。
[0074] 虽然本发明已经参考其示范实施例进行特定展示和描述，但所属领域的技术人员 应理解，在不脱离由所附权利要求书涵盖的本发明的范围的情况下，可以在其中进行形式 和细节的各种改变。
【权利要求】
1. 一种执行即时语音翻译的方法，所述方法包括： 建立包含至少第一耳机计算机与第二耳机计算机之间的链路的本地通信网； 在所述第一耳机计算机处捕获第一语言的语音； 将所述所捕获的所述第一语言的语音从所述第一耳机计算机传输到基于网络的语音 识别服务以将所述所捕获的语音识别和转录为所述第一语言的文本； 在所述第一耳机计算机处从所述基于网络的语音识别服务接收所述第一语言的所述 文本； 通过所述本地网将所述第一语言的所述文本广播到至少所述第二耳机计算机； 在所述第二耳机计算机处接收所述第一语言的所述文本； 将所述接收到的所述第一语言的经广播文本从所述第二耳机计算机传输到基于网络 的文本翻译服务以将所述第一语言的所述文本翻译成第二语言的文本； 在所述第二耳机计算机处从所述基于网络的文本翻译服务接收所述第二语言的所述 文本；以及 将所述第二语言的所述文本显示在所述第二耳机计算机的显示器上。
2. 根据权利要求1所述的方法，其进一步包含在所述第二耳机计算机处根据所述第二 语言的所述文本来合成语音，并且通过所述第二耳机计算机的音频扬声器呈现所述经合成 文本。
3. 根据权利要求1所述的方法，其进一步包含在建立所述本地通信网之前，分别将所 述第一语言和所述第二语言设置为所述第一耳机计算机和所述第二耳机计算机的优选操 作语目。
4. 根据权利要求3所述的方法，其中所述建立所述本地网进一步包含广播包含每个耳 机计算机的所述优选操作语言的询问。
5. 根据权利要求1所述的方法，其进一步包含使用至少话音命令、头部运动命令、手势 命令或其组合来选择屏幕上的选项，以开始即时语音翻译的方法。
6. 根据权利要求1所述的方法，其中所述本地通信网使用蓝牙个人区域网（PAN)分布。
7. 根据权利要求1所述的方法，其中所述本地通信网进一步包含在至少一个耳机计算 机与至少一个主机装置之间的通信链路，所述主机装置配置为所述至少一个耳机计算机与 所述基于网络的语音识别服务和所述基于网络的文本翻译服务之间的中继器。
8. 根据权利要求7所述的方法，其中所述主机装置进一步包含显示器以呈现所述第二 语言的所述文本。
9. 根据权利要求7所述的方法，其中所述主机装置进一步包含至少短程无线电和远程 无线电，所述主机装置利用所述至少一个耳机计算机将所述短程无线电用于包含所述通信 链路的所述本地通信网，并且使用所述远程无线电来访问所述基于网络的语音识别服务和 所述基于网络的文本翻译服务。
10. 根据权利要求9所述的方法，其中所述远程无线电是全球移动通信系统（GSM)、分 码多工存取（CDMA)或4G长期的演进（LTE)无线电。
11. 一种用以执行即时语音翻译的耳机计算装置，所述装置包括： 语音捕获模块，用以捕获第一语言的语音； 通信模块，用以利用至少第二耳机计算机建立包含链路的本地通信网、将所述所捕获 的所述第一语言的语音传输到基于网络的语音识别服务以将所述所捕获的语音识别和转 录为所述第一语言的文本、从所述基于网络的语音识别服务接收所述第一语言的所述文 本，以及通过所述本地网将所述第一语言的所述文本广播到所述至少第二耳机计算机、从 所述至少第二耳机计算机接收第二语言的文本、将所述接收到的所述第二语言的文本传输 到基于网络的文本翻译服务以将所述第二语言的所述文本翻译成所述第一语言的文本，以 及从所述基于网络的文本翻译服务接收所述第一语言的所述文本；以及 微显示器，用以显示所述第一语言的所述经翻译文本。
12. 根据权利要求11所述的耳机计算装置，其进一步包括语音合成器，用以合成所述 第一语言的所述文本；以及音频扬声器，用以播放所述经合成语音。
13. 根据权利要求11所述的耳机计算装置，其进一步包含优选操作语言，在所述耳机 计算机的初始设定期间并且至少在建立所述本地通信网之前，设置所述优选操作语言。
14. 根据权利要求13所述的耳机计算装置，其中所述通信模块广播包含所述耳机计算 机的所述优选操作语言的询问，作为利用所述至少第二耳机计算机建立包含所述链路的所 述本地通信网的一部分。
15. 根据权利要求11所述的耳机计算装置，其进一步包含屏幕上的选项以开始即时语 音翻译的所述方法，所述屏幕上的选项通过至少话音命令、头部运动命令、手势命令或其组 合选择。
16. 根据权利要求11所述的耳机计算装置，其中所述通信模块使用蓝牙个人区域网 (PAN)分布来建立所述本地通信网。
17. 根据权利要求11所述的耳机计算装置，其中所述通信模块利用至少一个主机装置 通过所述本地通信网来进一步建立通信链路，所述主机装置配置为所述耳机计算机与所述 基于网络的语音识别服务和所述基于网络的文本翻译服务之间的中继器。
18. 根据权利要求17所述的耳机计算装置，其中所述主机装置进一步包含显示器，以 呈现所述第二语言的所述文本。
19. 根据权利要求11所述的耳机计算装置，其中所述通信模块进一步包含至少短程无 线电和远程无线电，所述主机装置利用所述至少一个耳机计算机将所述短程无线电用于包 含所述通信链路的所述本地通信网并且使用所述远程无线电来访问所述基于网络的语音 识别服务和所述基于网络的文本翻译服务。
20. 根据权利要求19所述的耳机计算装置，其中所述远程无线电是全球移动通信系统 (GSM)、分码多工存取（CDMA)或4G长期演进（LTE)无线电。
21. -种用于控制耳机计算机的操作的非暂时性计算机程序产品，所述计算机程序产 品包括具有存储于其上的计算机可读指令的计算机可读媒体，当通过处理器加载和执行 时，所述计算机可读指令使所述处理器能够： 建立包含至少第一耳机计算机与第二耳机计算机之间的链路的本地通信网； 在所述第一耳机计算机处捕获第一语言的语音； 将所述所捕获的所述第一语言的语音从所述第一耳机计算机传输到基于网络的语音 识别服务以将所述所捕获的语音识别和转录为所述第一语言的文本； 在所述第一耳机计算机处从所述基于网络的语音识别服务接收所述第一语言的所述 文本； 通过所述本地网将所述第一语言的所述文本广播到至少所述第二耳机计算机； 在所述第一耳机计算机处从所述第二耳机计算机接收第二语言的文本； 将所述接收到的所述第二语言的文本传输到基于网络的文本翻译服务以将所述第二 语言的所述文本翻译成所述第一语言的文本； 在所述第一耳机计算机处从所述基于网络的文本翻译服务接收所述第一语言的所述 文本；以及 将所述第一语言的所述文本显示在所述第一耳机计算机的微显示器上。
【文档编号】G06F3/16GK104303177SQ201380022177
【公开日】2015年1月21日 申请日期:2013年4月24日 优先权日:2012年4月25日
【发明者】克里斯多福·帕金森, 杰佛瑞·J.·贾寇伯森, 大卫·布鲁斯·菲古森, 史帝芬·A·庞博 申请人:寇平公司