具有语音服务的建筑机械的制作方法

文档序号:18221393发布日期:2019-07-19 23:02阅读:208来源:国知局
具有语音服务的建筑机械的制作方法

本发明涉及移动建筑机械。更具体地,本发明涉及移动建筑机械中的语音控制及其它语音服务。



背景技术:

有很多不同类型的移动机械。这种机械可以包括农业机械、建筑机械、草坪管理机械、林业机械等等。

很多这种机械操作起来相对复杂。因此,要用操作者的双手来执行机械的正常操作功能。如果操作者需要执行另一功能(例如打开机械的某个子系统,等等),操作者通常需要使机械停止,然后打开该子系统,再然后继续操作者先前利用机械进行的那项操作。

另外,一些这种机械在其它机械非常接近的环境下作业。例如,在建筑工地或伐木场,大型建筑机械或林业机械可能在彼此相对非常接近的情况下作业。另外,机械可能在相对狭窄的道路或小路上进出作业场地。

此外,一些这种机械具备可以将某些参数上传到远程服务器环境以供存储和后续分析的功能。另外,这种机械可以将数据上传到不同的远程服务器位置、不同的数据库或者不同的存储资源。因此,当个人(例如管理员)想要查看与多个不同机械相关的信息,或者即使是来自单个机械的信息时,管理员通常必须访问多个不同的数据位置,以便获得所期望的信息。这可能会很麻烦,并且为了对各种数据资源执行搜索并将来自各种数据资源的信息返回,可能导致计算系统产生相对大的计算开销和带宽需求。

仅提供上述的论述用作一般背景信息,并且不旨在用于帮助确定所要求保护的主题的范围。



技术实现要素:

一种移动建筑机械检测语音处理触发。然后,该移动建筑机械基于所检测到的语音处理触发执行语音处理(例如语音识别和自然语言理解、语音合成,等等),以生成语音处理结果。控制信号生成器基于所述语音处理结果生成控制信号。所述控制信号能够用于控制所述移动建筑机械、控制另一移动建筑机械、向远程服务器位置提供信息,或者将来自多个远程服务器位置的信息进行聚合。

提供该发明内容来以简化的形式引入下面在具体实施方式中进一步描述的概念的选择。该发明内容不是旨在确定所要求保护的主题的关键特征或必要特征,也不是旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决在背景技术部分提到的任何或全部缺点的实现方式。

附图说明

图1是移动机械计算系统架构的一个示例的框图。

图2是更详细地示出移动建筑机械的一个示例的框图。

图3a和图3b示出例示了图2中所示的移动建筑机械在使用语音处理的过程中的操作的一个示例的流程图。

图4至图6示出能够用于前图所示的架构中的移动装置的示例。

图7是能够用于前图所示的架构中的计算环境的一个示例的框图。

具体实施方式

图1是计算系统架构100的一个示例的框图。架构100例示性地包括移动机械102-104(移动机械102-104中的每一个具有如下面参照图2更加详细地描述的那样的其自身的计算系统)、远程用户计算系统106、远程服务器计算系统108,并且架构100可以包括其它远程数据源110和其它系统。机械102和104、计算系统106和108以及数据源110都在图1例示的示例中示出为通过网络112进行通信。网络112可以是各种不同类型的网络中的任何一种,例如广域网、局域网、蜂窝通信网络、近场通信网络、或者各种其它网络中的任何一种网络或网络的组合。

移动机械102被示出为生成用于操作者116的交互的操作者接口114。操作者116例示性地通过接口114进行交互,以控制并操纵移动机械102。操作者116还可以通过接口114进行交互以控制并操纵远程服务器计算系统108的部分,并且与移动机械104、远程用户计算系统106和其它远程数据源110进行通信。类似地,移动机械104生成用于操作者120的交互的操作者接口118。操作者120例示性地通过接口118以与操作者116相同的方式与移动机械104进行交互。下面还参照图2更加详细地描述能够被用于操作者接口114和118中的用户接口机制的示例。

在图1中所示的示例中,远程服务器计算系统108例示性地包括一个或更多个处理器或服务器122、数据存储部124、语音处理系统126、管理系统128,并且可以包括其它单元130。处理器或服务器122能够实施对通过网络112的、来自用户的交互和请求进行处理的前端处理。处理器或服务器122还能够实施基于所述请求对数据存储部124执行数据存储操作的后端处理。例如,处理器或服务器122能够执行数据管理操作、数据中心操作、网站操作等等。

另外,前端处理能够提供访问可以由远程服务器计算系统108托管的语音处理系统126的前端。因此,如果例如操作者116在接口114上通过麦克风提供声音命令,则机械102可以将代表所接收到的声音命令的信息发送给远程服务器计算系统108,作为由系统108托管的服务,该远程服务器计算系统108对声音输入进行语音识别和自然理解。然后,系统108可以将结果提供回机械102。

图1中所示的各种操作者或用户、或者其它用户可以通过前端处理再次访问管理系统128。管理系统128例示性地执行数据存储操作,以将信息存储在数据存储部124上,该信息能够被远程用户进行检索、上报、分析或使用。管理系统128可以包括对该数据执行分析的功能,或者管理系统128可以包括执行部分分析(或者不进行分析)而调用其它资源来执行额外的分析的功能,等等。

图1中的单元还能够例示性地访问其它远程数据源110,以存储或检索数据。这些数据源可以包括数据中心、托管数据存储服务、网站、或者其它数据源。

远程用户计算系统106是各种不同类型的计算系统中的任何一种。远程用户计算系统106被示出为生成用于远程用户134的交互的用户接口132。远程用户134例示性地通过用户接口132与远程用户计算系统106进行交互,以便控制并操纵远程用户计算系统106和图1中所示的其它单元的部分。系统106可以包括(多个)处理器或服务器121、语音处理系统123、远程机械控制逻辑部125、人员跟踪逻辑部127、库存跟踪逻辑部129、数据聚合逻辑部131、数据存储部133、通信系统135,并且系统106可以包括各种其它单元137。

在一个示例中,远程用户计算系统106能够使用语音处理系统123或者访问语音处理系统126,使得远程用户134能够使用声音命令,以便通过管理系统128将关于多个不同移动机械102-104的数据进行聚合。数据聚合逻辑部131能够使用管理系统128获得来自数据存储部124或其它远程数据源110的数据,并且将该数据进行聚合,以便生成基于来自远程用户134的针对数据的请求的结果。因此,在一个示例中,远程用户134能够使用声音命令或语音命令以从各种不同的远程数据源获得聚合数据,而无需一次一个地直接访问这些单独的数据源。

同样,如下面更加详细地描述的,远程用户134能够使用语音命令来控制机械102-104(使用远程机械控制逻辑部125)、跟踪人员或库存(使用人员跟踪逻辑部127和库存跟踪逻辑部129)、或者做各种其它事情。

图2示出移动机械102的一个示例的框图,其中机械102是移动建筑机械。在图2所示的示例中,移动建筑机械102包括一个或更多个处理器或服务器136、各种不同的传感器138、数据存储部146、通信系统148、用户接口机制150、控制系统152、可控子系统154,并且移动建筑机械102可以包括各种其它单元156。在更详细地描述移动建筑机械102的整体操作之前,首先将提供移动建筑机械102的单元中的一些单元的简要概述及其操作。

通信系统148例示性地包括使移动建筑机械102上的单元能够与彼此进行通信的一个或更多个系统。这种单元可以包括控制器局域网络(can)总线以及相关联的功能。通信系统148还例示性地包括允许移动建筑机械102与其它机械和其它远程系统进行通信的一个或更多个通信系统。因此,通信系统148可以包括允许移动建筑机械102通过网络112进行通信的通信系统,该网络112本身可以包括上面讨论的各种不同类型的网络中的一个或更多个。

用户接口机制150可以包括音频接口机制158、视觉接口机制160、触觉接口机制162和各种其它接口机制164。音频接口机制158可以包括诸如麦克风、扬声器、铃、音频报警器等的事物。视觉用户接口机制160可以包括诸如发光体、显示面板、触敏显示机制等的事物。视觉用户接口机制160还可以包括具有能够由操作者116进行致动以输入命令的用户可致动显示元件的用户接口显示器。例如,视觉用户接口机制160可以包括可以通过点按装置、通过触敏屏上的触控等进行致动的事物。视觉用户接口机制160可以包括用户可致动按钮、链接、图标等等。

触觉用户接口机制162可以包括通过其它接口机制(例如通过操纵杆、方向盘、踏板等)来提供触觉反馈的单元。触觉用户接口机制162还可以包括其它触觉接口机制。

其它用户接口机制164可以包括各种机制。例如,其它用户接口机制164可以包括诸如方向盘、操纵杆、踏板、联动装置、控制杆、按钮等的事物。

控制系统102例示性地接收各种输入并生成控制信号,控制信号被提供给可控子系统154,以便对这些子系统进行控制。对控制系统102的输入可以是来自一个或更多个传感器138的传感器输入、通过用户接口机制150的用户输入、或者通过其它单元的输入。传感器可以包括各种不同的传感器,例如感测移动建筑机械102的参数(例如,引擎速度、引擎温度、rpm等)的传感器、感测机械102的地理位置的位置传感器(例如gps接收器、航位推算系统等),或者传感器可以包括感测环境特性(例如温度、土壤特性等)的传感器或各种其它传感器。可控子系统154可以是诸如推进子系统、转向子系统的子系统、控制移动建筑机械102上的致动器的致动器子系统、控制不同用户接口机制150的子系统(例如控制视觉机制160、音频机制158等的子系统)。

要注意,如上所述,机械102能够使用远程服务器计算系统108进行语音服务。然而,目前的讨论是针对机械102具有其自身的语音处理功能的示例来进行的,但是这仅仅是一个示例。

为了生成控制信号,控制系统102例示性地包括传感器信号处理逻辑部166、语音处理触发检测器168、语音处理系统170、控制信号生成器172,并且控制系统102可以包括其它单元174。传感器信号处理逻辑部166例示性地从各种传感器138接收传感器信号并且(例如通过执行线性化、滤波、放大等)处理这些信号,并且执行通过控制系统152正在使用的控制算法而确定的任何其它处理,以基于传感器输入对机械102进行控制。

语音处理触发检测器168例示性地检测指示要执行语音处理的一个或更多个触发。例如,触发检测器168可以检测由操作者116通过麦克风输入的声音命令。触发检测器168可以接收传感器信号处理逻辑部166的输出,该输出指示需要在用户接口机制150中通过扬声器发出警报。触发检测器168可以接收输入,该输入指示语音命令正被远程用户(例如图1所示的操作者或远程用户中的一个)接收。一旦触发检测器168检测到语音处理触发,其就将指示该语音处理触发的信号提供给语音处理系统170。

语音处理系统170可以包括语音识别逻辑部176、自然语言理解逻辑部178、语音合成逻辑部180、控制逻辑部181,并且语音处理系统170可以包括各种其它单元182。语音识别逻辑部176例示性地对控制系统152接收到的语音输入执行语音识别。该语音输入可以被操作者116或者被远程操作者或用户接收。语音识别逻辑部176例示性地基于语音输入生成识别结果,并且将该识别结果提供给自然语言理解逻辑部178,该自然语言理解逻辑部178能够生成指示语音输入的语义含义的自然语言理解结果。该信息能够通过控制逻辑部181进行处理,以基于语音输入来确定操作者116的意图。因此,控制逻辑部181能够基于操作者116的语音输入或来自另一操作者的语音输入来实施控制算法,该控制算法用于控制机械102(或机械102的部分)或者图1所示的架构100的其它部分。

在由检测器168检测到的触发是指示语音处理要包括语音合成的输入(例如,使得能够向操作者116输出可听到的口头消息)的情况下,然后语音合成逻辑部180接收指示要合成的语音的信息,并且生成能够被提供到控制逻辑部181的合成结果。然后,控制逻辑部181能够生成对控制信号生成器172的输出,使得控制信号生成器172能够生成控制扬声器向操作者116播放该口头的、可听到的语音合成的控制信号。

无论执行何种类型的语音处理,控制逻辑部181都例示性地生成对控制信号生成器172的输出,使得控制信号生成器172能够基于语音处理结果生成适当的控制信号。这些控制信号可以是对各种事物进行控制的信号。

因此,在一个示例中,控制信号生成器172可以包括车载控制逻辑部184、远程机械控制逻辑部186,并且控制信号生成器172可以包括各种其它单元188。车载控制逻辑部184能够生成控制移动建筑机械102本地的车载单元的控制信号。远程机械控制逻辑部186例示性地生成能够通过通信系统148提供的控制信号,以控制其它远程机械或其它远程计算系统,例如图1中所例示的那些单元。

作为示例,可以是操作者116通过机械102中的麦克风来提供诸如“打开挡风玻璃雨刮器”的声音命令。在这种情况下,触发检测器168例示性地检测到操作者已经提供了需要处理的声音命令或语音命令。语音识别逻辑部176和自然语言理解逻辑部178分别生成能够被提供到控制逻辑部181、指示用户希望将挡风玻璃雨刮器打开的输出。作为响应,控制逻辑部181将指示用户希望将挡风玻璃雨刮器打开的输出提供给控制信号生成器172,该控制信号生成器172本身能够使用车载控制逻辑部184来控制挡风玻璃雨刮器子系统以打开挡风玻璃雨刮器,使得操作者116能够将挡风玻璃雨刮器打开,而无需为了对物理致动器进行致动以打开挡风玻璃雨刮器而暂停机械102的操作。

作为另一示例,可以是触发检测器168检测到指示另一移动机械104离机械102非常近的传感器输入(该传感器输入可能已由传感器信号处理逻辑部166处理)。因此,触发检测器168向语音合成逻辑部180提供输入,该输入指示语音合成逻辑部180要对操作者116生成可听到的口头警告或警报。该信息能够被提供到对控制信号生成器172进行控制的控制逻辑部181以及车载控制逻辑部184,以通过扬声器向操作者116生成可听到的口头消息,指示移动机械104离移动机械102非常近。

进一步地,可以是操作者116提供指示其希望与另一移动机械104、与远程用户106、与远程数据源110、或者与远程服务器计算系统108进行通信的声音或语音输入。在这种情况下,触发检测器168检测到该语音命令,并且语音处理系统170对该语音命令执行期望的语音处理,使得控制逻辑部181能够对控制信号生成器172(和远程机械/系统控制逻辑部186)进行控制,以便使用通信系统148向图1中所示的其它机械或系统或数据源发送适当的控制信号或信息。在一个示例中,远程机械/系统控制逻辑部186例示性地生成所期望的格式的输出,使得该输出能够由通信系统148发送到图1中所示的架构100中的期望终点。

这些仅仅是示例。可以基于其它触发或者以各种不同的方式来执行各种其它语音服务。

图3a和图3b示出更详细地例示了图1中所例示的架构100的操作的一个示例的流程图。图3a和图3b例示了机械102的操作者116使用语音服务的示例。在该示例中,机械102例示性地为移动建筑机械。首先假定机械102被配置为使用机械服务。图3a的流程图中的框190表示了这一点。在一个示例中,操作者116已经向机械102认证了其自身的身份。框192表示了这一点。例如,可以是操作者116输入用户名和密码、个人身份证号码,使用智能卡或其它硬件保护密钥,或者通过其它方式向机械102认证其自身的身份。同样,在一个示例中,可以是操作者116登录到远程服务器计算系统108并且也向该系统认证其自身的身份。例如,可以是管理系统128包含操作者116被授权进行操作的机械的记录。当操作者116向机械102认证其自身的身份时,操作者或机械、或者操作者和机械两者都能够与远程服务器计算系统108进行通信,并且通过管理系统128或者通过另一认证系统来进行认证,以保证操作者116拥有操作机械102的授权或许可。

同样,在一个示例中,机械102能够被配置为以各种不同的方式来使用语音服务。例如,机械102能够被配置为访问远程服务器计算系统108中的语音处理系统126。图3a中框194表示了这一点。通过示例的方式,可以是控制系统152具有客户端或机械端组件,该客户端或机械端组件对通信系统148进行控制以在每当需要执行语音识别(或其它语音服务)时就访问远程服务器计算系统108中的语音处理系统126。通信系统148能够将指示要识别的语音(或者要执行的其它语音服务)的语音信息发送给语音处理系统126,并且通信系统148能够接收语音识别结果。

在另一示例中,如上述参照图2所讨论的,机械102能够配置有其自身的语音处理系统170。框196表示了这一点。在这种情况下,语音处理系统170能够执行由机械102使用的语音处理(例如语音识别、自然语言理解、语音合成,等等)。

在又一示例中,机械102能够被配置用于混合操作。框198表示了这一点。通过示例的方式,语音处理可以被分成不同种类的任务。可以在两个不同的位置执行这些种类的任务。例如,一些种类的任务可以在机械102上由语音处理系统170执行,而其它种类的任务可以在远程服务器计算系统108处由语音处理系统126执行。在机械102上执行一些语音处理任务并且在远程服务器计算系统108处执行其它语音处理任务,有时被称为混合操作。机械102也能够被配置为以各种其它方式来使用语音服务。框200表示了这一点。

在机械102的操作期间的某些时刻,语音处理触发检测器168例示性地检测使用语音服务的触发。框202表示了这一点。可以存在能够用于发起语音服务的各种不同的触发。例如,可以是从操作者116(或者从诸如远程机械的操作者120的操作者)接收到需要进行识别的语音输入。框204表示从操作者接收需要进行识别的语音输入。

另外,可以是来自传感器138的一些传感器信号可以触发语音服务。通过示例的方式,当接近传感器感测到机械102非常接近另一机械(或者在来自地理位置传感器的位置信号表明这一点的情况下)、或者非常接近另一物体而可能发生碰撞时,该传感器信号可以触发语音处理系统120向操作者116播放经合成的消息,该消息警告操作者116其机械接近其它机械或物体。在另一示例中,可以是机械102仅在一定的地理边界内操作。如果传感器138是地理位置传感器,并且其感测到机械102正在接近该边界,或者已经越过该边界,则传感器138可以再次触发语音处理系统120向操作者116播放经合成的消息,该消息指示机械102正在接近或者已经越过该地理边界。传感器还可以指示各种不同的操作参数,例如机械102是否正在期望的范围内操作(例如,如果机械102是平地机,则传感器可以感测到该平地机是否正在期望的平整度水平下操作,等等),传感器可以感测土壤特性(例如土壤湿度)、机械参数或变量,或者各种其它单元。这些感测到的变量可以向传感器信号处理逻辑部166提供输入,该输入使传感器信号处理逻辑部166生成对操作参数、机械设置、机械配置等的建议的更改。该信息能够被输出到语音处理系统170,并且能够向操作者116播放经合成的消息,用于建议针对机械102的设置更改、机械配置更改或另一操作参数更改。机械能够自动地进行控制,以作出这些更改,并且生成语音输出以将更改通知给操作者。这些仅仅是能够触发语音处理服务的传感器输入的示例和能够执行的服务的示例,并且还可以使用各种其它示例。在图3a的流程图中,框206表示了使用传感器输入来触发语音处理服务。

还可以是操作者116通过另一用户接口机制150提供另一输入,并且这可以触发语音服务。框208表示了基于另一操作者输入来触发语音服务。

应理解的是,这些仅仅是如何能够触发语音服务的示例。语音服务还可以通过各种其它方式来触发。框210表示了这一点。

然后,控制系统152基于检测到的触发来执行语音处理。框212表示了这一点。通过使用通信系统148访问远程服务器计算系统108中的远程语音处理系统126,可以做到这一点。框214表示了访问远程语音服务。控制系统152可以使用车载语音处理系统170来执行语音服务。框216表示了这一点。在混合操作中,控制系统152可以使用车载语音处理系统170和远程语音处理系统126两者。框218表示了这一点。还可以使用其它配置或其它架构来进行语音处理。框220表示了这一点。

当(通过远程服务器计算系统108中的语音处理系统126,或者在车载语音处理系统170中)完成语音处理时,获得语音处理结果。该语音处理结果可以是语音识别、自然语言理解、语音合成等的结果。控制逻辑部181使用该结果,以根据控制算法或其它机制或逻辑部来控制信号生成器172生成控制信号。在图3a的流程图中,框222表示了基于语音处理结果生成控制信号。

控制信号生成器172能够使用车载控制逻辑部184来生成对车载可控子系统154进行控制的控制信号。控制信号生成器172能够使用远程机械控制逻辑部186来生成控制信号,该控制信号要被发送到另一机械(例如机械104)、被发送到另一计算系统(例如计算系统106和108中的一个或更多个)或者被发送到远程数据存储部110。控制信号能够用于控制远程机械的操作(例如调整远程机械上的设置、生成远程机械上的警报等等),或者控制远程计算系统或远程数据存储部以执行对这些系统的操作或者将信息存储在该数据存储部中。在图3a的流程图中,框224表示基于控制信号对可控子系统进行控制。

现在将对可以基于语音识别结果生成的车载控制信号和远程控制信号的多个示例进行描述。要理解这些仅仅是示例。如果要执行车载机械控制,如图3b的流程图中的框226和框228所表示,则车载控制逻辑部184能够生成例如语音合成信号并且将该语音合成信号提供给用户接口机制150中的扬声器,使得能够对操作者116播放扬声器消息或口头警报消息。框230表示了这一点。

如果语音处理结果是表示操作者116所说的控制输入的语音识别结果,则车载控制逻辑部184能够生成控制一个或更多个可控子系统154的机械功能的控制信号。框232表示了这一点。例如,操作者116可以说“打开挡风玻璃雨刮器”,或者提供控制可控子系统的另一口头输入。操作者116还能够提供诸如“将平整度水平变为x”、“重复挖掘倾倒操作”的更复杂的输入,或者导致车载控制逻辑部184用来控制一个或更多个可控子系统154的控制信号的各种其它头口输入。

也可以是操作者116已经说出指示要记录的事物(例如可能对机械102造成的损害)的自然语言输入。例如,操作者116可以说“我刚刚听到从变速箱传来一声巨响”。或者另一输入,该输入使触发检测器168触发并且使语音处理系统170执行语音识别并将该信息记录在例如数据存储部146中、或者将该信息发送给远程服务器计算系统108用于存储或进一步分析、或者将该信息发送给其它远程数据存储部110或远程用户计算系统106等。图3b的流程图中的框234表示了记录可能的损害。

操作者116还可以提供指示其它操作参数的口头输入,使得这些操作参数能够被记录下来。框236表示了记录其它操作参数。

图1所示的架构中的操作者中的任一个能够提供调整设置的口头输入。可以在操作者自己的机械上调整设置,或者可以在远程机械上调整设置。通过示例的方式,可以是远程用户134提供调整机械移动102上的设置的口头输入。在这种情况下,架构100中的语音处理系统之一(例如系统123或126)将对该输入进行语音识别和自然语言理解,并且使用控制系统(例如,远程机械控制逻辑部125)来生成控制信号以更改目标机械上的设置。框238表示生成调整设置的控制信号。

可以是操作者116请求信息,例如机械性能信息、燃料消耗信息、或者各种其它类型的信息。在这种情况下,车载控制逻辑部184例示性地生成控制信号来访问可以存储在数据存储部146上的数据,然后控制语音合成逻辑部180将返回所访问数据的口头响应合成。例如,可以是操作者116提出诸如“我目前的燃油效率等级是多少”的口头请求。作为响应,车载控制逻辑部184能够从数据存储部146访问耗油量和其它效率数据,使得能够(例如通过控制逻辑部181或车载控制逻辑部184)计算燃油效率。然后,计算的结果能够被提供给语音合成逻辑部180,语音合成逻辑部180能够将指示操作者的当前燃油效率等级的、对操作者116的口头响应合成。再次,这仅是车载控制逻辑部可以如何对来自操作者116的请求作出响应的一个示例。图3b的流程图中的框240表示了对请求作出响应。

车载控制逻辑部184还能够生成控制路线子系统设置或修改针对机械102的机械路线的控制信号。通过示例的方式,可以是操作者116提供指示新路线的输入。然后,语音处理系统170识别出该命令,并且更改或设置机械路线。框242表示了这一点。

也可以是车载控制逻辑部184使用语音处理来实施地理围栏限定。例如,可以是操作者116提供诸如“当我接近地理围栏的边界时,警告我”的口头输入。然后,当触发检测器168(根据来自位置传感器138的输出)检测到移动机械102的位置,并且(例如通过将当前的位置、前进方向和速度与预定义的地理围栏位置进行比较)确定机械正在接近地理边界时,触发检测器168能够生成语音合成结果,该语音合成结果用诸如“您在离地理围栏100米之内”的口头消息警告操作者116。这是如何基于语音服务使用车载控制逻辑部184来实施地理围栏限定的示例。图3b的流程图中的框244表示了这一点。

车载控制逻辑部184能够基于语音处理结果生成控制信号,以生成机械102的各种其它功能或操作。框246表示了这一点。

在框226中,如果要使用控制信号控制远程机械或系统,则通信系统148将控制信号发送给要进行控制的远程系统或机械。图3b的流程图中的框250表示了这一点。然后,根据控制信号执行远程系统控制(或远程机械控制)。框252表示了这一点。现在将对若干示例进行讨论。可以是将从机械102发送来的控制信号发送以控制移动机械104上的扬声器。通过示例的方式,可以是当机械102和机械104正在彼此很接近的地方操作时,操作者116已经观察到机械104的问题。操作者116可以提供诸如“我正从后面接近你的车辆。请小心。”的口头输入。语音处理系统170能够基于该口头输入生成语音识别结果和自然语言理解结果,并且使用远程机械/系统控制逻辑部186生成通过通信系统148发送的控制信号,以在机械104的扬声器上向操作者120播放警报(或口头消息)。框254表示生成在远程系统或机械上控制扬声器播放消息或警报的控制信号。

操作者116还能够提供口头输入,使得远程用户(例如远程用户134)能够跟踪机械102的地理位置或者能够跟踪与机械102相对应的其它单元。例如,操作者116可以提供诸如“把我目前的位置发送给管理员”或“把我的性能信息发送给管理员”等的口头输入。作为响应,语音处理系统170能够生成与该口头输入相对应的语音识别结果和自然语言理解结果,并且使用远程机械/系统控制逻辑部186来(例如从数据存储部146或其它地方)获得要发送给管理员的信息,并且使用通信系统148将该信息发送给管理员(例如,远程用户计算系统106)。框256表示发送地理或其它跟踪信息。

还能够使用语音处理来跟踪人员。例如,可以是语音处理系统123位于远程用户计算系统106上。在这种情况下,远程用户134可以提供诸如“我所有的操作者都在哪里?”的口头输入。语音处理系统123能够生成语音识别结果,然后人员跟踪逻辑部127能够首先访问管理系统128以确定远程用户134负责哪些特定机械,然后使用通信系统135向这些机械中的每一个发送消息以获得其地理位置。然后,该信息可以由数据聚合逻辑部131进行聚合并且用于向远程用户134生成指示每一个操作者的地理位置的消息。框258表示了这一点。

远程用户134还能够使用语音输入来控制机械102-104的操作。该语音输入能够由语音处理系统123识别。识别结果能够被提供到远程机械控制逻辑部125,该远程机械控制逻辑部125生成控制信号并且使用通信系统135将控制信号发送到目标机械102-104。框255表示了这一点。

在另一示例中,能够使用声音服务来跟踪库存。例如,远程用户134可以提供诸如“今天需要维修多少台机械?”的口头输入。该口头输入由语音处理系统123识别。然后基于识别结果,库存跟踪逻辑部129能够访问针对分配给远程用户134的各种机械的维修记录,以确定它们当中的哪些将需要维修、它们需要什么样的维修、以及在进行维修的过程中可能消耗掉的各种库存项目。这一过程能够通过访问远程服务器计算系统108中的管理系统128完成,或者以其它方式来完成。图3b的流程图中的框260表示使用声音服务来跟踪库存。

同样,远程机械/系统控制逻辑部186能够生成控制信号,以将来自各种不同远程数据源的数据进行聚合,并将该数据呈现给请求操作者或用户。例如,可以是用户134正在提供获得信息的请求。例如,可以是远程用户134向远程用户计算系统106上的语音处理系统123(该语音处理系统123可以与语音处理系统170相似或不同)提供口头输入,该口头输入指示获得多个不同机械的性能信息的期望。该性能信息可以包括存储在多个不同远程机械102-104或数据源上的信息,并且因此远程用户134通常需要执行各种不同的数据采集步骤,以便从这些远程源获得数据。然而,在一个示例中,在远程用户计算系统106上可以包括数据聚合逻辑部131,该数据聚合逻辑部131生成控制信号以控制通信系统将针对相关联数据的请求发送给存在通信系统的全部各种不同的远程数据源。然后,数据聚合逻辑部131能够将该数据进行聚合并将该数据提供给远程用户134。图3b的流程图中的框262表示了这一点。

远程机械/系统控制逻辑部186能够基于声音输入生成控制远程机械或系统的各种其它控制信号。图3b的流程图中的框264表示了这一点。

本讨论提到了处理器和服务器。在一个示例中,处理器和服务器包括具有关联的存储器和定时电路的计算机处理器,关联的存储器和定时电路未单独示出。该处理器和服务器是其所属的系统或装置的功能部件并且由这些系统或装置激活,并且便于实现这些系统中的其它组件或单元的功能。

同样,已经讨论了多个用户接口显示器。该多个用户接口显示器可以采用各种不同的形式并且可以具有设置在其上的各种不同的用户可致动输入机制。例如,用户可致动输入机制可以是文本框、复选框、图标、链接、下拉菜单、搜索框等等。还可以通过各种不同的方式对用户可致动输入机制进行致动。例如,可以使用点按装置(例如跟踪球或鼠标)来对用户可致动输入机制进行致动。可以使用硬件按钮、开关、操纵杆或键盘、拇指开关或拇指垫等来对用户可致动输入机制进行致动。还可以使用虚拟键盘或其它虚拟致动器来对用户可致动输入机制进行致动。另外,在显示用户可致动输入机制的屏幕是触敏屏的情况下,可以使用触控手势对用户可致动输入机制进行致动。同样,在显示用户可致动输入机制的装置具有语音识别组件的情况下,可以使用语音命令对用户可致动输入机制进行致动。

还已经讨论了多个数据存储部。要注意,每个数据存储部都能被分成多个数据存储部。对访问这些数据存储部的系统来说,全部的数据存储部可以是本地的、可以是远程的,或者部分的数据存储部可以是本地的而其余的则是远程的。本文中考虑了全部的这些配置。

同样,附图示出了多个框,每个框都具有相应的功能。要注意,可以使用更少的框,所以通过更少的组件来执行功能。同样,可以使用更多个框,将功能分布在更多组件当中。

还要注意的是,地图107上的信息能够输出到云。

在图1所示的示例中,机械102和104能够与远程服务器架构中的元件进行通信。在该示例中,远程服务器架构500能够提供不需要终端用户知道提供服务的系统的配置或物理位置的计算、软件、数据访问和存储服务。在各种示例中,远程服务器能够通过广域网(例如互联网)使用适当的协议来提供服务。例如,远程服务器能够通过广域网提供应用,并且这些应用能够通过网页浏览器或任何其它计算组件来访问。图1和图2中所示的软件或组件以及相应的数据能够存储在远程位置处的服务器上。远程服务器环境中的计算资源能够在远程数据中心位置进行整合或者被分散。远程服务器基础设施能够通过共享数据中心来提供服务,即使对用户来说这些共享数据中心作为单个访问点出现。因此,能够使用远程服务器架构从位于远程位置的远程服务器提供本文中描述的组件和功能。另选地,能够从常规服务器提供这些组件和功能,或者这些组件和功能能够直接地或通过其它方式安装在客户端装置上。

同样,上面讨论的数据基本上可以存储在任何位置,并由感兴趣的各方间歇地访问或转发给感兴趣的各方。例如,可以使用物理载体代替电磁波载体或者除了电磁波载体之外还使用物理载体。在该示例中,在小区覆盖很差或不存在的情况下,另一移动机械(例如燃料输送卡车)可以具有自动信息收集系统。当机械102、104靠近燃料输送卡车以加油时,系统使用任何类型的专门无线连接自动地从采集器收集信息。然后,随着燃料输送卡车到达存在蜂窝覆盖(或其它无线覆盖)的位置,所收集的信息可以被转发给主网络。例如,燃料输送卡车可以在行驶到为其它机械加油时或者在位于主要燃料存储位置时进入覆盖的位置。本文中考虑了全部的这些架构。进一步地,信息可以存储在机械102、104上直至机械102、104进入覆盖的位置。然后,机械本身能够将信息发送给主网络。

还要注意,图1和图2中的元件或者它们中的部分能够被设置在各种不同的装置上。其中的一些装置包括服务器、台式计算机、笔记本计算机、平板计算机,或者其它移动装置,例如掌上计算机、蜂窝电话、智能电话、多媒体播放器、个人数字助理等等。

图4是本发明的系统(或其部分)能够部署在其中的、可以被用作用户和或客户的手持式装置16的手持式或移动计算装置的一个例示性示例的简化的框图。例如,移动装置能够部署在机械102、104的操作间中用于生成、处理、播放或显示或以其它方式呈现上面讨论的信息。图5至图6是手持式或移动装置的示例。

图4提供了客户端装置16的组件的总体框图,该客户端装置16能够使图1和图2中所示的一些组件运行、与这些组件进行互动,或者两者兼而有之。在装置16中,提供通信链路13,该通信链路13允许手持式装置与其它计算装置进行通信并且在一些实施方式下提供一种例如通过扫描来自动接收信息的通道。通信链路13的示例包括允许通过一个或更多个通信协议(例如用来提供对网络的蜂窝接入的无线服务)、以及提供对网络的本地无线连接的协议来进行通信。

在其它示例中,可以在连接到接口15的可移动安全数字(sd)卡上接收应用。接口15和通信链路13沿着总线19与处理器17(也可以包含来自图1和图2的处理器或服务器)进行通信,总线19同样连接到存储器21和输入/输出(i/o)组件23以及时钟25和定位系统27。

在一个示例中,提供i/o组件23以便于输入和输出操作。针对装置16的各种示例的i/o组件23可以包括诸如按钮、触摸传感器、光学传感器、麦克风、触摸屏、接近传感器、加速度计、方向传感器的输入组件,以及诸如显示装置、扬声器和打印机端口的输出组件。还可以使用其它i/o组件23。

时钟25例示性地包括输出时间和日期的实时时钟组件。时钟25例示性地还能为处理器17提供定时功能。

定位系统27例示性地包括输出装置16的当前地理位置的组件。定位系统27可以包括例如,全球定位系统(gps)接收器、loran系统、航迹推算系统、蜂窝三角测量系统或其它定位系统。定位系统27还可以包括例如,生成所期望的地图、导航路线和其它地理功能的地图软件或导航软件。

存储器21存储操作系统29、网络设置31、应用33、应用配置设置35、数据存储部37、通信驱动程序39以及通信配置设置41。存储器21可以包括所有类型的有形易失性和非易失性计算机可读存储装置。存储器21还可以包括计算机存储介质(如下所述)。存储器21存储计算机可读指令,当由处理器17执行时,所述计算机可读指令使处理器根据所述指令执行计算机实现的步骤或功能。处理器17也可以由其它组件激活,以便于实现它们的功能。

图5示出装置16是平板计算机600的一个示例。在图5中,示出具有用户接口显示屏602的平板计算机600。显示屏602可以是触摸屏或接收来自笔或手写笔的输入的启用笔式接口。显示屏602还可以使用屏上虚拟键盘。当然,显示屏602还可以通过合适的附接机制(例如无线链路或usb端口)附接至键盘或其它用户输入装置。平板计算机600还可以例示性地接收声音输入。

图6示出装置可以是智能电话71。智能电话71具有显示图标或拼贴或其它用户输入机制75的触敏显示器73。用户可以使用用户输入机制75来运行应用、打电话、执行数据传输操作等等。一般来说,智能电话71是建立在移动操作系统上的,并提供比功能型电话更先进的计算能力和连通性。

注意,可以使用其它形式的装置16。

图7是(例如)能够部署图1和图2中的元件或者其一部分的计算环境的一个示例。参照图7,用于实现某些实施方式的示例系统包括计算机810形式的通用计算装置。计算机810的组件可以包括但不限于处理单元820(其可以包括来自前面附图的处理器或服务器)、系统存储器830和将包括该系统存储器在内的各种系统组件连接至处理单元820的系统总线821。系统总线821可以是包括使用各种总线架构中的任何一种的存储器总线或存储器控制器、外围总线和本地总线在内的几种类型的总线结构中的任何一种。可以在图7的相应部分部署参照图1和图2描述的存储器和程序。

计算机820通常包括各种计算机可读介质。计算机可读介质可以是能够由计算机810进行访问的任何可用介质,并且包括易失性和非易失性介质、可移动和不可移动介质。通过示例,而不是限制地,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质与调制数据信号或载波不同,并且不包括调制数据信号或载波。计算机存储介质包括硬件存储介质,该硬件存储介质包括通过任何方法或技术实现的易失性和非易失性、可移动和不可移动介质,用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息。计算机存储介质包括但不限于,ram、rom、eeprom、闪存或其它存储技术、cd-rom、数字通用光盘(dvd)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁性存储装置,或者能够用于存储所期望的信息并且能够由计算机810访问的任何其它介质。通信介质可以在传输机制中具体实现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。术语“调制数据信号”是指这样的信号:以对该信号中的信息进行编码的方式设置或更改该信号的特性中的一个或更多个。

系统存储器830包括诸如只读存储器(rom)831和随机存取存储器(ram)832的易失性和/或非易失性存储器的形式的计算机存储介质。基本输入/输出系统(bios)833通常存储在rom831中,该bios包含例如在启动过程中帮助在计算机810内的元件之间传递信息的基本例程。ram832通常包含可由处理单元820立即访问和/或目前正被处理单元820操作的数据和/或程序模块。通过示例,而不是限制地,图7例示出操作系统834、应用程序835、其它程序模块836和程序数据837。

计算机810还可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅通过示例,图7例示出从不可移动的非易失性磁性介质进行读取或向其进行写入的硬盘驱动器841、非易失性磁盘852、光盘驱动器855和非易失性光盘856。硬盘驱动器841通常通过诸如接口840的不可移动存储器接口与系统总线821连接,并且光盘驱动器855通常通过诸如接口850的可移动存储器接口与系统总线821连接。

另选地,或者另外,能够通过一个或更多个硬件逻辑部组件至少部分地执行本文描述的功能。例如,并且非限制地,可以使用的硬件逻辑部组件的例示的类型包括现场可编程门阵列(fpga)、专用集成电路(例如,asic)、专用标准产品(例如,assp)、片上系统(soc)、复杂可编程逻辑部器件(cpld)等等。

上面所讨论的并且在图7中例示的驱动器及其关联计算机存储介质为计算机810提供计算机可读指令、数据结构、程序模块和其它数据的存储。在图7中,例如,硬盘驱动器841被例示为存储操作系统844、应用程序845、其它程序模块846和程序数据847。要注意,这些组件可以与操作系统834、应用程序835、其它程序模块836和程序数据837相同或不同。

用户可以通过诸如键盘862、麦克风863和指点装置861(诸如鼠标、轨迹球或触控板)的输入装置将命令和信息输入到计算机810中。其它输入装置(未示出)可以包括操纵杆、游戏垫、卫星盘、扫描仪等等。这些输入装置及其它输入装置经常通过与系统总线连接的用户输入接口860与处理单元820连接,但是可以通过其它接口和总线结构进行连接。视觉显示器891或其它类型的显示装置也经由诸如视频接口890的接口与系统总线821连接。除了监视器以外,计算机还可以包括可以通过输出外围接口895连接的诸如扬声器897和打印机896的其它外围输出装置。

计算机810使用与诸如远程计算机880的一个或更多个远程计算机的逻辑部连接(例如局域网-lan、或广域网wan)在网络环境下进行操作。

当在lan网络环境下使用时,计算机810通过网络接口或适配器870与lan871连接。当在wan网络环境下使用时,计算机810通常包括用于通过诸如因特网的wan873建立通信的调制解调器872或其它装置。在网络环境中,程序模块可以存储在远程存储器存储装置中。图7例示了例如远程应用程序885可以位于远程计算机880上。

还应当注意,本文中描述的不同示例能够以不同的方式进行组合。也就是说,一个或更多个示例的部分能够与一个或更多个其它示例的部分组合。所有这些都在本文中有所考虑。

示例1是移动建筑机械,其包括:

操作者接口,该操作者接口接收来自操作者的语音输入;

语音处理系统,该语音处理系统基于所述语音输入来生成语音识别结果;

通信系统;以及

远程控制逻辑部,该远程控制逻辑部基于所述语音识别结果来生成远程机械控制信号,所述通信系统将所述远程机械控制信号发送给远程机械以对所述远程机械进行控制。

示例2是任何或全部的前述示例的移动建筑机械,其中,所述远程控制逻辑部被配置为基于所述语音识别结果来生成指示要在所述远程机械上进行播放的消息的语音信号。

示例3是任何或全部的前述示例的移动建筑机械,其中,所述远程控制逻辑部被配置为基于所述语音识别结果来生成对所述远程机械上的设置进行修改的设置控制信号。

示例4是任何或全部的前述示例的移动建筑机械,其进一步包括:

语音处理触发检测器,该语音处理触发检测器被配置为基于接收到所述语音输入来生成语音处理触发信号,该语音处理触发信号触发所述语音处理系统的操作。

示例5是任何或全部的前述示例的移动建筑机械,其进一步包括:

传感器,该传感器被配置为生成指示感测到的变量的传感器信号,其中,所述语音处理触发检测器被配置为接收所述传感器信号并且基于所述传感器信号来生成所述语音处理触发信号。

示例6是任何或全部的前述示例的移动建筑机械,其进一步包括:

本地控制逻辑部,该本地控制逻辑部被配置为基于所述语音识别结果来生成对所述移动建筑机械进行控制的本地机械控制信号。

示例7是任何或全部的前述示例的移动建筑机械,其中,所述语音处理系统包括:

语音识别逻辑部,该语音识别逻辑部被配置为基于所述语音输入来生成语音识别结果;以及

语音合成逻辑部,该语音合成逻辑部被配置为生成指示经合成的语音的语音合成信号;以及

控制逻辑部,该控制逻辑部被配置为基于所述语音识别结果来运行控制算法,以控制所述远程控制逻辑部生成所述远程机械控制信号并且控制所述本地控制逻辑部生成所述本地机械控制信号。

示例8是任何或全部的前述示例的移动建筑机械,其中,所述传感器包括地理位置传感器,该地理位置传感器被配置为生成指示所述移动建筑机械的地理位置的位置信号作为所述传感器信号,并且其中,所述控制逻辑部被配置为确定所述地理位置是否位于预定义的地理围栏的阈值距离之内。

示例9是任何或全部的前述示例的移动建筑机械,其进一步包括扬声器,其中,如果所述地理位置位于预定义的地理围栏的阈值距离之内,则所述控制逻辑部被配置为控制所述语音合成逻辑部来生成警告消息作为所述语音合成信号,所述本地控制逻辑部被配置为基于所述语音合成信号来生成控制所述扬声器播放所述警告消息的所述本地机械控制信号。

示例10是任何或全部的前述示例的移动建筑机械,其进一步包括数据存储部,其中,所述语音输入包括记录由操作者观察到的信息的日志消息,并且其中,所述本地控制逻辑部被配置为生成控制所述移动建筑机械上的所述数据存储部记录与所述语音输入相对应的所述语音识别结果的所述本地机械控制信号。

示例11是任何或全部的前述示例的移动建筑机械,其进一步包括可控机械设置子系统,其中,所述语音输入包括设置更改命令,并且其中,所述本地控制逻辑部被配置为基于与所述设置更改命令相对应的所述语音识别结果来生成控制所述移动建筑机械上的所述可控机械设置子系统来更改机械设置的所述本地机械控制信号。

示例12是任何或全部的前述示例的移动建筑机械,其进一步包括可控机械功能子系统,其中,所述语音输入包括功能控制命令,并且其中,所述本地控制逻辑部被配置为基于与功能控制命令相对应的所述语音识别结果来生成控制所述移动建筑机械上的所述可控机械功能子系统来更改机械功能的所述本地机械控制信号。

示例13是计算系统,其包括:

语音处理系统,该语音处理系统接收来自用户的语音输入并且生成与所述语音输入相对应的语音处理结果;

机械数据聚合逻辑部,该机械数据聚合逻辑部基于所述语音处理结果生成针对由多个不同的远程移动建筑机械生成并且被存储在多个不同的远程数据存储部中的机械数据的数据请求;

通信系统,该通信系统将所述数据请求发送给所述多个不同的远程数据存储部并且从多个远程数据存储部接收与所述请求相对应的结果,所述机械数据聚合逻辑部将所述结果进行聚合以生成与所述语音输入相对应的经聚合的机械数据;以及

用户接口机制,该用户接口机制为用户呈现所述经聚合的机械数据。

示例14是任何或全部的前述示例的计算系统,其中,所述语音输入是人员跟踪语音输入请求,并且所述计算系统进一步包括:

人员跟踪逻辑部,该人员跟踪逻辑部被配置为标识用户被授权跟踪的远程机械操作者及相应的远程机械,并且生成针对对应的机械中的每一个的跟踪请求,所述通信系统将所述跟踪请求发送给所标识的远程机械中的每一个并且接收指示响应于每个跟踪请求提供了地理位置的远程机械的位置的地理位置,其中,所述机械数据聚合逻辑部基于接收到的地理位置来生成经聚合的位置数据。

示例15是任何或全部的前述示例的计算系统,其中,所述语音输入远程机械控制语音输入,并且所述计算系统进一步包括:

远程机械控制逻辑部,该远程机械控制逻辑部被配置为基于所述远程机械控制语音输入来标识所述用户被授权进行控制的远程机械并且生成针对所标识的远程机械的控制信号,所述通信系统将所述控制信号发送给所标识的远程机械并接收控制结果,该控制结果指示基于所述控制信号对所标识的远程机械执行的控制操作。

示例16是任何或全部的前述示例的计算系统,其中,所述语音输入是远程机械设置调整语音输入,并且其中,所述远程机械控制逻辑部被配置为基于所述远程机械设置调整语音输入来生成针对所标识的远程机械的控制信号,所述通信系统将所述控制信号发送给所标识的远程机械并接收设置调整结果,该设置调整结果指示基于所述控制信号对所标识的远程机械执行的设置调整操作。

示例17是对移动建筑机械进行控制的方法,所述方法包括以下步骤:

检测来自所述移动建筑机械的操作者的语音输入;

基于所述语音输入来生成语音识别结果;

基于所述语音识别结果来生成远程机械控制信号;以及

将所述远程机械控制信号发送给远离所述移动建筑机械的远程机械,以对所述远程机械进行控制。

示例18是任何或全部的前述示例的方法,所述方法进一步包括以下步骤:

基于所述语音识别结果来生成对所述移动建筑机械进行控制的本地机械控制信号。

示例19是任何或全部的前述示例的方法,所述方法进一步包括以下步骤:

检测语音处理触发;

基于检测到的语音触发来生成语音处理触发信号,所述语音处理触发信号触发所述语音识别结果的生成。

示例20是任何或全部的前述示例的方法,其中,生成语音处理触发信号包括以下步骤:

生成指示感测到的变量的传感器信号;以及

基于所述传感器信号生成所述语音处理触发信号。

虽然已经用针对结构特征和/或方法行为的语言对主题进行了描述,应当理解,所附权利要求中限定的主题不一定限于上述的具体特征或行为。而是,上述的具体特征和行为以实现权利要求的示例性方式被公开。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1