用于交通工具的方法和系统与流程

文档序号:19017937发布日期:2019-11-01 20:10阅读:490来源:国知局
用于交通工具的方法和系统与流程

本专利申请是2016年8月19日提交的题为“用于交通工具的数字助理及相关方法”的序列号15/241,376的共同未决专利申请的部分继续申请(cip),通过整体引用将其公开内容并入本文。

本公开内容总体上涉及交通工具,并且更具体地,涉及在交通工具上使用自然语言数字助理。



背景技术:

交通工具例如飞行器、火车、公共汽车、休闲车、轮船及其他类似的交通工具使用各种计算装置以提供各种功能,各种功能包括娱乐、系统控制、内容存储及其他功能。这些计算装置包括硬件(例如,服务器、交换机、网络接口卡、存储适配器、存储装置等)和软件(例如,服务器应用、操作系统、固件、管理应用、应用编程接口(api)等)。

现今的交通工具具有乘客可以利用的专用于特定乘客座椅的个性化功能装备,例如可调座椅、可调环境控制装置、可调照明装置、电话系统、视频和/或音频娱乐系统、工作人员通信系统等。例如,许多商用飞机具有通常被称为“机上娱乐”或“ife”系统的个性化的视频和音频娱乐系统。

作为乘客座椅功能的一个示例,载客交通工具诸如商业航空公司的娱乐系统通常具有安装在每个乘客座椅处的视频显示器。例如,视频显示器可以设置在每个乘客座椅处,例如安装在乘客座椅中的每个座椅处、和/或安装在舱壁上和/或可以从位于隔板处——即,部分的第一行中——的座椅的扶手展开。这些系统中的许多系统使得每个乘客能够从多个视频通道和/或音频通道中进行选择,或者甚至可以从视频库单独地选择视频和播放视频。这些视频显示器还可以提供对游戏、通信应用(例如,电话服务、消息传递等)、因特网浏览及其他计算机应用的访问。有时这样的显示器由于提供计算机应用和进程以及内部地存储数据的能力而被称为智能监视器。

为了操作座椅功能,例如个性化的音频/视频系统,在乘客座椅上或乘客座椅附近提供使得乘客能够控制座椅功能的控制装置。控制装置可以是物理按钮或例如在娱乐系统的视频显示器上显示的屏幕上接口。例如,一些商用飞机娱乐系统具有用于控制阅读灯、激活工作人员呼叫信号以及控制音频/视频娱乐的屏幕上接口。

对于旅客而言,携带具有无线通信能力的个人电子装置(ped)诸如蜂窝电话、智能电话、平板计算机、膝上型计算机及其他便携式电子装置变得相当普遍。这包括乘坐包括公共运载交通工具——例如飞机、客运列车、公共汽车、游轮、观光车(例如轮船、船、公共汽车、汽车等)——的所有类型的交通工具出行的乘客和工作人员。这些个人电子装置中的许多个人电子装置具有执行应用软件程序(“app(应用)”)以执行包括控制其他装置和系统的各种功能的能力。

常规的ife系统缺乏向乘客提供发现内容的有效方式的能力。例如,搜索电影当前需要用户导航到电影页面,然后查找他们想要观看的电影。此外,ife系统通常缺乏使工作人员有效地发现和执行ife系统的控制功能的能力。正在不断努力开发可以改善乘客体验和交通工具提供的客户服务的技术。



技术实现要素:

一种用于交通工具的方法,包括:由处理器可执行的数字助理在交通工具上的装置上接收用于有效通信会话的用户输入;由所述数字助理用语法含义来标记所述用户输入的词语;由神经网络基于经标记的用户输入来生成动作上下文、过滤器上下文和响应上下文;由所述数字助理基于来自所述神经网络的输出将针对所述过滤器上下文的参数的键值对存储在短期存储器处;由所述数字助理在接收到对后续请求的回复以及来自所述神经网络的另一输出之后更新所述短期存储器处的所述键值对;以及由所述数字助理提供对所述回复的响应。

一种用于交通工具的方法,包括:通过至少定义过滤器参数和基于所述过滤器参数的响应上下文来针对与预期用户请求相关联的飞行器上的动作类别训练神经网络;由所述神经网络针对经标记的用户输入来生成基于所述动作类别的动作上下文、过滤器上下文和响应上下文;使用被配置为最近最少使用的存储器的短期存储器来存储与所述过滤器上下文的参数相关联的键值对;由所述神经网络响应于来自用户的后续请求来生成输出;基于来自所述神经网络的所述输出来更新所述短期存储器处的所述键值对;以及提供对所述后续请求的响应。

一种用于交通工具的系统,包括:存储器,所述存储器包括包含机器可执行代码的机器可读介质;以及耦接至所述存储器的处理器模块,所述处理器模块执行所述机器可执行代码以:由处理器可执行的数字助理在交通工具上的装置处接收用于有效通信会话的用户输入;由所述数字助理用语法含义来标记所述用户输入的词语;由神经网络基于经标记的用户输入来生成动作上下文、过滤器上下文和响应上下文;由所述数字助理基于来自所述神经网络的输出将针对所述过滤器上下文的参数的键值对存储在短期存储器处;由所述数字助理在接收到对后续请求的回复以及来自所述神经网络的另一输出之后更新所述短期存储器处的所述键值对;以及由所述数字助理提供对所述回复的响应。

附图说明

现在将参考本文中公开的各个方面的附图来描述本公开内容的各种特征。在附图中,相同的部件可以具有相同的附图标记。所示的方面旨在说明而非限制本公开内容。附图包括如下图:

图1a示出了用于在飞行器上实现本公开内容的各个方面的操作环境的示例;

图1b示出了根据本公开内容的一个方面的非飞行器交通工具类型上的操作环境的示例;

图2示出了根据本公开内容的一个方面使用的内容分配系统的示例;

图3a示出了根据本公开内容的一个方面的用于在交通工具上使用数字助理的系统的示例;

图3b示出了根据本公开内容的一个方面的数字助理的框图;

图4a至图4b示出了根据本公开内容的一个方面的用于使用数字助理的处理流程图;

图5示出了根据本公开内容的一个方面使用的计算系统的框图。

图6a示出了根据本公开内容的一个方面的使用经训练的神经网络的另一系统的示例;

图6b示出了根据本公开内容的一个方面的神经网络的示例;

图6c示出了根据本公开内容的一个方面的用于训练神经网络的处理流程的示例;

图6d至图6e示出了根据本公开内容的一个方面的神经网络训练工具的截图;以及

图7a至图7b示出了根据本公开内容的一个方面的用于使用神经网络的处理流程的示例。

具体实施方式

作为初步说明,在本文中所使用的术语“组件”、“模块”、“系统”等旨在指代计算机相关的实体、软件执行通用处理器、硬件、固件或其组合。例如,组件可以是但不限于是在硬件处理器上运行的进程、硬件处理器、对象、可执行文档、执行线程、程序和/或计算机。

作为说明,在服务器上运行的应用和服务器两者都可以是组件。一个或更多个组件可以驻留在进程和/或执行线程内,并且组件可以被本地化在一个计算机上和/或分布在两个或更多个计算机之间。此外,这些组件可以从存储有各种数据结构的各种计算机可读介质执行。组件可以例如根据具有一个或更多个数据包的信号经由本地进程和/或远程进程进行通信(例如,来自一个组件的数据经由信号与本地系统、分布式系统中的另一组件进行交互,和/或跨网络例如因特网与其他系统进行交互)。

根据所要求保护的主题,计算机可执行组件存储在非暂态计算机/机器可读介质处,该非暂态计算机/机器可读介质包括但不限于asic(专用集成电路)、cd(致密盘)、dvd(数字视频光盘)、rom(只读存储器)、硬盘、eeprom(电可擦除可编程只读存储器)、固态存储器装置或任何其他存储装置。

在一个方面,提供了人工智能机器人(称为数字助理)可以与交通工具例如飞行器上的用户交互的方法和系统。数字助理提供与飞行器上可以获得的内容有关的信息和/或处理动作请求或工作人员请求,或者提供对请求的帮助。数字助理接收可以是文本或语音形式的用户输入。如果输入是语音,则语音至文本模块将语音输入转换为文本输入。

然后,将文本输入提供给自然语言解析器。解析器用语法含义来标记输入短语中的词语,该语法含义被发送至经训练的自然语言解释器,该自然语言解释器将词语和语法转换成机器可读输入。机器可读输入可以是json(java脚本对象符号)结构的形式或任何其他格式。然后,将机器可读输入提供给将输入与用户请求相关联的机器语言处理器。

以下是用于使用本公开内容的数字助理的一些命令的示例:播放哈利波特电影。在本航班上有布拉德·皮特出演的任何电影吗?播放摇滚播放列表。播放艾德·希兰的歌曲。播放艾德·希兰的照片。我想要一杯水。我们还需要多长时间到达我们的目的地?目前的高度是多少?目前的速度是多少?目的地的天气如何?西雅图天气怎么样?列出香水的所有购买项?你有免税的任何电子表吗?打开阅读灯。将家长控制设置为pg。提醒我到达时填写我的i-94。法国的首都是哪里?

在另一方面,提供了用于交通工具的方法和系统。例如,一种方法包括:由处理器可执行的数字助理在交通工具上的装置处或装置上接收用户输入;由数字助理确定用户输入的词语之间的关系;由数字助理使用经训练的数据集来确定基于用户输入的期望动作;以及由数字助理针对用户输入提供响应,其中,响应包括使用交通工具上的另一装置来执行期望动作。

在又一方面,提供了如下方法,其中该方法包括:存储用于训练由飞行器的座椅装置执行的处理器可执行的数字助理的经训练的数据集,其中,经训练的数据集将期望动作与由飞行器上的座椅装置接收的用户请求中的一个或更多个词语相关联;当用户请求是语音命令时,由数字助理将用户请求转换为文本;由数字助理确定用户请求中的词语之间的关系;由数字助理使用经训练的数据集来确定期望动作;以及通过执行期望动作来由数字助理提供响应,其中期望动作涉及使用飞行器上的机上娱乐系统。

在又一方面,提供了用于交通工具的方法和系统。例如,一种方法包括:由处理器可执行的数字助理在交通工具上的装置处接收用于有效通信会话的用户输入;由数字助理用语法含义标记用户输入词语;由神经网络基于经标记的用户输入来生成动作上下文、过滤器上下文和响应上下文;由数字助理基于来自神经网络的输出将针对过滤器上下文的参数的键值对存储在短期存储器处;由数字助理在接收到对后续请求的回复以及来自经训练的神经网络的另一输出之后更新短期存储器处的键值对;以及由数字助理提供对该回复的响应。

在另一方面,提供了如下方法。该方法包括:通过定义至少过滤器参数和基于该过滤器参数的响应上下文来针对与预期用户请求相关联的飞行器上的动作类别训练神经网络;由神经网络针对经标记的用户输入来生成基于动作类别的动作上下文、过滤器上下文和响应上下文;使用被配置为最近最少使用的存储器的短期存储器来存储与过滤器上下文的参数相关联的键值对;由神经网络响应于来自用户的后续请求来生成输出;基于来自神经网络的输出来更新短期存储器处的键值对;以及提供对后续请求的响应。

交通工具信息系统:图1a示出了根据本公开内容的一个方面的可以被配置用于安装在用于使用数字助理的飞行器132上的通用交通工具信息系统100a(也称为系统100a)的示例。当安装在飞行器上时,系统100a可以包括飞行器乘客ife系统,例如系列2000、3000、efx、ex2、exw和/或由本申请的受让人即加利福尼亚州森林湖市(lakeforest,california)的松下航空电子公司(panasonicavionicscorporation)开发和提供的任何其他机上娱乐系统(在不减损松下航空电子公司的任何商标权的情况下)。

系统100a包括与实时内容分配系统104通信的至少一个内容源113和一个或更多个用户(或乘客)接口系统(也可以称为座椅装置/座椅靠背装置)114。内容源113可以包括:安装在飞行器132上的一个或更多个内部内容源例如媒体服务器系统112;可以在飞行器132或分布式内容系统外部的一个或更多个远程(或地面)内容源116。媒体服务器系统112可以被提供为信息系统控制器,用于为系统100a提供整体系统控制功能和/或用于存储观看内容124,包括根据需要下载至飞行器的预编程观看内容和/或内容120。观看内容124可以包括电视节目内容、音乐内容、播客内容、相册内容、有声书内容和/或电影内容,但不限于此。本文中所示出和描述的观看内容不是穷尽的,而是仅出于说明的目的而不是出于限制的目的被提供在本文中。

媒体服务器系统112可以包括一个或更多个常规外围媒体存储系统(未示出)和/或与一个或更多个常规外围媒体存储系统通信,所述一个或更多个常规外围媒体存储系统包括用于存储预编程内容和/或下载内容120的任何合适类型的光学介质装置如数字视频光盘(dvd)系统或致密盘(cd)系统和/或磁介质系统如盒式磁带录像机(vcr)系统、固态驱动器(ssd)系统或硬盘驱动器(hdd)系统。

观看内容124可以包括任何常规类型的音频和/或视频观看内容,例如存储(或延时)的观看内容和/或直播(或实时)的观看内容。根据需要,观看内容124可以包括地理信息。可替代地或另外地,对于娱乐内容如直播卫星电视节目和/或直播卫星无线电节目,观看内容同样可以包括双向通信,例如对因特网118的实时访问和/或远程通信。

在被配置成分配和/或呈现由一个或更多个所选择的内容源113提供的观看内容124时,系统100a可以实时地及以任何常规方式与内容源113进行通信,包括经由有线通信和/或无线通信来进行通信。系统100a和地面内容源116例如可以经由中间通信系统如卫星通信系统122直接和/或间接地进行通信。

系统100a可以从所选择的地面内容源116接收内容120和/或向地面内容源116发送(上传)内容128,该内容128包括导航指令和其他控制指令。根据需要,地面内容源116可以被配置成与其他地面内容源(未示出)进行通信。地面内容源116被示出为提供对因特网118的访问。虽然为了说明的目的被示出和描述为包括卫星通信系统122,但是通信系统可以包括任何常规类型的无线通信系统,诸如蜂窝通信系统(未示出)和/或飞行器地面信息系统(agis)通信系统(未示出)。

为了促进与地面内容源116的通信,系统100a还可以包括用于从远程(或地面)内容源116接收观看内容的天线系统110和收发器系统108。天线系统110优选地被布置在外部,例如飞行器132的机身136的外表面。天线系统110可以从地面内容源116接收观看内容124,并将接收到的由收发器系统108处理的观看内容124提供给系统100a的计算机系统106。根据需要,计算机系统106可以将接收到的观看内容124提供给媒体(或内容)服务器系统112和/或直接提供给包括ped的用户接口114中的一个或更多个。虽然为了说明的目的被示出和描述为单独的系统,但是计算机系统106和媒体服务器系统112可以至少部分地集成。

用户接口系统114可以是与接入点130通信的计算终端。用户接口系统114提供用于观看内容的显示装置。用户接口系统114包括用于连接至接入点130的硬件接口,其中接入点130为用户接口系统提供有线连接和/或无线连接。在至少一个实施方式中,用户接口系统114包括用户下载和安装在ped上以经由接入点130接收和观看内容的软件应用。尽管在交通工具如飞行器132上的有线系统中可能出现带宽限制问题,但是通常交通工具信息系统100a的有线部分被设计成具有足够的带宽以支持交通工具上的所有用户即乘客。

用户接口系统114可以包括用于允许用户(或乘客)与系统100a通信——例如经由控制信号138的交换与系统100a通信——的输入系统(未示出)。例如,输入系统可以允许用户输入用于控制系统100a的操作的一个或更多个用户指令140。说明性的用户指令140可以包括:用于发起与内容源113的通信的指令、用于选择观看内容124以供呈现的指令和/或用于控制对所选择的观看内容124的呈现的指令。如果由于访问观看内容124或由于任何其他原因需要付费,则支付信息同样可以经由输入系统输入。输入系统可以以任何常规方式提供,并且通常包括:触摸屏;用于语音输入的麦克风;一个或更多个开关(或按钮),诸如键盘或小键盘;和/或指点装置,诸如鼠标、轨迹球或触控笔。

在一个方面,用户接口系统114设置在飞行器132的单独乘客座椅处。用户接口系统114可以适用于不同的飞行器和座椅布置,并且本文中描述的适应性方面不限于任何特定的座椅布置或用户接口类型。

图1b示出了在可以包括公共汽车、休闲车的机动车134、船和/或火车或者任何其他类型的载客交通工具(但不限于此)上实现交通工具信息系统100b(可以称为系统100b)的示例。系统100b的各种组件可以类似于上面关于图1a描述的系统100a的组件,并且为简洁起见不再描述。

内容分配系统:图2示出了根据本公开内容的一个方面的用于交通工具信息系统200(类似于100a/100b)的内容分配系统104的示例。内容分配系统104耦接并支持服务器系统112与多个用户接口系统114之间的通信。

内容分配系统104例如可以被提供为常规有线通信网络和/或无线通信网络,包括任意类型的电话网络、局域网(lan)、广域网(wan)、校园区域网(can)、个人区域网(pan)和/或无线局域网(wlan)。示例性的无线局域网包括根据电气和电子工程师协会(ieee)标准802.11的无线保真(wi-fi)网络和/或根据ieee标准802.16的也被称为wimax无线宽带的无线城域网(man)。

在优选地被配置成支持高数据传输速率时,内容分配系统104可以包括具有至少约百兆比特每秒(100mbps)的典型数据传输速率或任何其他传输速率的高速以太网,诸如任意类型的快速以太网(例如100base-x和/或100base-t)通信网络和/或千兆位(例如1000base-x和/或1000base-t)以太网通信网络。为了在无线通信环境中实现高数据传输速率,根据需要可以采用自由空间光学(或激光)技术、毫米波(或微波)技术和/或超宽带(uwb)技术来支持各种系统资源之间的通信。

如图2所示,分配系统104可以被提供为:多个区域分配箱(adb)206、多个地板断开箱(fdb)208和多个座椅电子箱(seb)(和/或视频座椅电子箱(vseb)和/或高级座椅电子箱(pseb))210,其被配置成经由多个有线和/或无线通信连接212实时通信。

分配系统104同样可以包括用于提供分配系统104与服务器系统112之间的接口的交换系统202。交换系统202可以包括常规交换系统例如以太网交换系统,并且被配置成将服务器系统112与区域分配箱206耦接。区域分配箱206中的每一个与交换系统202耦接并与交换系统202通信。另外,分配系统104包括与交换系统202通信连接的一个或更多个无线接入点(wap)(130a至130n),以用于将内容无线分配至包括ped的用户接口系统114。

区域分配箱206中的每一个继而与至少一个地板断开箱208耦接并与其通信。尽管区域分配箱206和相关联的地板断开箱208可以以任何常规配置耦接,但是如图2所示,相关联的地板断开箱208优选地关于中央区域分配箱206以星形网络拓扑布置。每个地板断开箱208与座椅电子箱210的多个菊花链耦接并向其提供服务。座椅电子箱210继而被配置成与用户接口系统114通信。每个座椅电子箱210可以支持用户接口系统114中的一个或更多个。

交通工具信息系统的交换系统202、区域分配箱206、地板断开箱208、座椅电子箱(和/或视频座椅电子箱(vseb)和/或高级座椅电子箱(pseb))210、天线系统110、收发器系统108、内容源113、服务器系统112以及其他系统资源优选地被提供为线路可替换单元(lru)。lru的使用促进对交通工具信息系统200的维护,原因是有缺陷的lru可以简单地从交通工具信息系统200移除并被新的(或不同的)lru替换。此后,有缺陷的lru可以被修理以用于后续安装。有利地,lru的使用可以通过允许对内容分配系统104的系统资源的数目、布置和/或配置的便捷修改来提高配置内容分配系统104的灵活性。内容分配系统104同样可以通过用新的lru替换任何过时的lru而容易地升级。

分配系统104可以包括至少一个fdb内部端口旁路连接214和/或至少一个seb环回连接216。每个fdb内部端口旁路连接214是允许与不同区域分配箱206相关联的地板断开箱208直接通信的通信连接212。每个seb环回连接216是如图2所示的将针对所选择的地板断开箱208的座椅电子箱210中的每个菊花链中的最后一个座椅电子箱210直接耦接的通信连接212。因此,每个seb环回连接216形成与相关地板断开箱208耦接的菊花链式座椅电子箱210之间的环回路径。

值得注意的是,可以在不使用fdb208的情况下实现本公开内容的各个方面。当不使用fdb208时,adb206直接与seb210通信和/或服务器系统112可以直接与seb210或座椅通信。本公开内容的各个方面不限于任何特定的网络配置。

系统300:图3a示出了具有数字助理312的系统300的示例,在本公开内容的一个方面,数字助理312可以在座椅装置326(也可以被称为座椅靠背装置)、机载管理系统344以及/或者与座椅装置326和/或机载管理系统344配对的ped302上执行。机载管理系统344可以类似于上面关于图1a/图1b描述的计算机系统106和/或服务器112。座椅装置326可以是用户接口系统114的一部分或者与上面同样参照图1a/图1b所描述的用户接口系统114接口。值得注意的是,座椅装置326不需要安装在座椅的后部,而是可以由其他结构诸如隔板、壁、座椅扶手等支承。本公开内容的适应性方面不限于座椅装置326的任何特定位置或定向。

在一个方面,座椅装置326包括显示装置330、处理器332、存储器340、通信接口328以及用于存储内容的本地存储装置342。座椅装置326经由输入模块338接收用户输入/请求。输入模块338可以被配置成使用与显示器330一起包括的本地触摸屏、本地虚拟键盘、外部鼠标、外部键盘或任何其他输入装置。本文中描述的各种适应性方面不限于任何特定输入装置。

座椅装置326还可以经由麦克风336接收语音输入/命令。如下面详细描述的,语音命令被提供给数字助理312并被处理。

处理器332经由互连305访问存储器340。处理器332可以是或可以包括一个或更多个可编程通用或专用微处理器、数字信号处理器(dsp)、可编程控制器、专用集成电路(asic)、可编程逻辑器件(pld)等或这样的装置的组合。总线系统305是表示通过合适的桥接器、适配器和/或控制器连接的任何一个或更多个单独的物理总线和/或点对点连接的抽象表示。因此,总线系统305可以包括例如系统总线、外围组件互连(pci)总线、pci快速(pci-express)总线、超传输或工业标准架构(isa)总线、小型计算机系统接口(scsi)总线、通用串行总线(usb)或电气和电子工程师协会(ieee)标准1394总线(有时称为“火线(firewire)”)或任何其他互连类型。

在一个方面,处理器332执行向用户提供机上娱乐和其他选项的ife层334。ife层334提供音频/视频内容以及用于访问内容的控制。ife层334使用通信接口328,以与ped302和/或机载管理系统344接口。通信接口328包括用于与机载管理系统344和/或ped302接口的逻辑和电路系统。在一个方面,通信接口328可以使用无线连接和/或有线连接来进行这样的通信。

在一个方面,ped302可以是移动电话、笔记本、平板计算机、膝上型计算机或任何其他类似的装置。ped302可以包括经由互连/总线访问存储器310以执行所存储的指令的处理器306。处理器306可以是或可以包括一个或更多个可编程通用或专用微处理器、数字信号处理器(dsp)、可编程控制器、专用集成电路(asic)、可编程逻辑器件(pld)等或这样的装置的组合。ped302通常包括用于感测声音并将其转换为用于处理、存储和/或输出的相应电信号(例如用于电话通信的语音输入)、接收用于ped的操作的语音命令、记录音频信息等的麦克风。

ped302包括存储装置316,存储装置316可以是或可以包括用于以非易失性方式存储数据的任何存储介质,诸如一个或更多个基于磁或光学的盘、快闪存储器或固态驱动器。存储装置316可以用于存储在ped302的显示器304上显示的内容。在一个方面,显示器304可以包括用于接收输入命令的触摸屏以及用于接收语音输入的麦克风(未示出)。

存储装置316可以存储可以在存储器310之外执行的数字助理312。在一个方面,数字助理312可以作为可以存储在应用商店(“app商店”)(未示出)的存储装置上的可下载应用被执行,所述应用商店例如苹果公司以商标itunes运营的应用商店、谷歌公司以商标googleplay运营的应用商店或微软公司以商标windowsstore运营的应用商店。可替代地,应用商店可以是由机载管理系统344的提供商诸如制造商或操作交通工具的运营商(例如,商业航空公司、火车运营商、邮轮公司、公交公司(busline)等)操作的网站的网站服务器。

在一个方面,座椅功能控制器318提供:控制娱乐系统以访问音频/视频内容的控制器320;以及用于控制智能监视器(其是座椅装置326的一部分或与座椅装置326接口)的控制器322。其他系统控制器324可以包括:用于控制对乘客座椅的灯进行控制的照明系统的控制器、用于呼叫服务员的服务员呼叫系统的控制器、用于电话系统的控制器、用于订购食品的食品服务的控制器、用于进行座椅调节的控制器等。本文中公开的各个方面不限于任何特定类型的座椅功能。在一个方面,基于用户请求,数字助理312向座椅功能控制器318提供命令以执行所请求的动作,例如开灯或关灯、呼叫服务员、订购食品及其他功能。

在一个方面,座椅功能控制器318与ped通信模块308通信以及与座椅装置326通信。在一个方面,ped通信模块308可以包括用于与不同装置通信的一个或更多个接口,包括wi-fi接口、蓝牙接口、nfc(近场通信)接口等。本文中描述的适应性方面不限于任何特定接口。值得注意的是,尽管为了方便起见,针对ped通信模块308示出了单个块,但是通信模块可以具有不同的接口、卡、逻辑和电路系统以符合不同的通信协议/标准。

在一个方面,机载管理系统344包括服务器345(类似于媒体服务器112和/或计算机系统106)。服务器345包括经由类似于上面详细描述的总线305的总线系统访问存储器350的处理器346。处理器346可以是或可以包括一个或更多个可编程通用或专用微处理器、数字信号处理器(dsp)、可编程控制器、专用集成电路(asic)、可编程逻辑器件(pld)等或这样的装置的组合。

处理器346访问可用于存储数据、应用和程序文件的存储装置348。在一个方面,机载管理系统344保持飞行和乘客数据352,例如到达时间、高度及其他信息以及标识航班的每个乘客、分配给乘客的座椅和可以唯一地标识乘客的任何其他信息的乘客数据。可以响应于用户请求来通过数字助理312检索飞行数据并将飞行数据呈现给用户。

机载管理系统344的系统软件356由处理器346执行以控制服务器345的整体操作。在一个方面,服务器系统345还可以执行数字助理312或其一部分。

在一个方面,服务器345经由通信接口358与ped302和/或座椅装置326通信。通信接口358还可用于从地面接收信息。通信接口358包括用于有线连接和/或无线连接的一个或更多个接口,如上面关于图1a/图1b及图2所述。

图3b示出了本公开内容的一个方面的数字助理312的框图。在一个方面,数字助理312是能够与交通工具例如飞行器上的用户交互的人工智能bot。如下面详细描述的,数字助理312提供关于飞行器上可获得的内容的信息和/或处理动作请求或工作人员请求或者对该请求提供帮助。

数字助理312接收语音输入360或文本输入366。下面提供用户请求/输入中的一些的示例:播放哈利波特电影。在本航班上有布拉德·皮特出演的任何电影吗?播放摇滚播放列表。播放艾德·希兰的歌曲。播放艾德·希兰的照片。我想要一杯水。我们还需要多长时间到达我们的目的地?目前的高度是多少?目前的速度是多少?目的地的天气如何?西雅图天气怎么样?列出香水的所有购买项?你有免税的任何电子表吗?打开阅读灯。将家长控制设置为pg。提醒我到达时填写我的i-94。法国的首都是哪里?当我们到达时提醒我发送用于搭车的文本。

语音输入被提供给语音至文本模块362(可以被称为模块362),该语音至文本模块362将语音输入转换为文本。然后,经转换的文本或文本输入366被提供给自然语言解析器364(也可以称为解析器364)。

解析器364用语法含义标记输入短语中的词语。解析器364将语句逻辑转换成具有语法结构的词语,并且提供对词语及其与给定语句/输入中的其他词语的关系的更好理解。词语关系可以嵌套或并行。如下面详细描述的,嵌套关系包括定义另一词语或前一词语的嵌套词语。

来自解析器364的输出被提供至包括分类器368a和解释器368b的经训练的自然语言解释器368(也可以称为模块368)。模块368将词语和语法翻译成可以呈json(java脚本对象符号)结构的形式的机器可读输入。

模块368从解析器364接收语句和语法符号的分解。模块368确定树层次结构的逻辑、已知的从属词语、动作、名词等。分类器368a尝试基于以数据结构372或其他形式——例如数据库、表等——存储的经训练的数据集对原始语句进行分类。训练被监督以确保数字助理的适当和非冒犯的响应,这与可能导致不可预测和/或可能冒犯的响应的无人监督的训练相反。

经训练的数据集可以用于不同的类别,例如包括标识关于飞行数据的各种动作的元数据的飞行数据类别、用于各种娱乐相关动作——例如电影、音频、播放电影、暂停电影、与移动相关联的控制——的娱乐数据类别以及用于存储与购物相关动作——例如购买、返回、列表——相关联的元数据的购物类别。经训练的数据集还可以包括工作人员指令类别、与飞行器安全性相关联的安全类别等,例如列出和解释可用指令的帮助类别。值得注意的是,随着数字助理312随时间变得更加可靠和准确,经训练的数据集可能会继续发展和变化。例如,可能存在经训练的数据集不能令人满意地解决的涉及外语的用例。为了解决这些情况,经训练的数据集可以包括机上训练,并且包括基于来自终端用户的反馈的修改和添加以进一步提高对请求和指令的响应质量。

模块368的解释器368b开始评估根项目,并且通过组成树(constituenttree)更深入地移动以提供与母词(parentword)更详细的关系。解释器368b向机器语言处理器370(可以称为处理器370)提供动作或信息请求。然后,处理器370对适当的装置例如工作人员装置376或座椅装置374(类似于上面关于图3a描述的326)进行api(应用编程接口)调用以执行请求的动作。

处理流程:图4a示出了根据本公开内容的一个方面的用于使用数字助理312的处理流程400。处理开始于框b402,此时数字助理312安装在座椅装置326、服务器345和/或ped302上。在本文中描述的适应性方面不限制数字助理312的各种组件被执行的情况。例如,可以在座椅装置326上执行模块362,而解析器364、模块368和处理器370可以在其他装置上执行。

一旦数字助理312被初始化,在框b404中接收用户输入。该处理在框b406中确定输入是否是语音请求。在一个方面,麦克风336(参见图3a)接收语音请求。当输入是语音输入时,则在框b408中通过模块362将其转换为文本,并在框b410中将文本提供至解析器364。当输入是经由输入模块338接收到的文本输入时,则该文本被提供至解析器364。

在框b410中,解析器364检查文本并将语句转换成具有语法构造的词语,其提供对词语及其与给定语句/输入中的其他词语的关系的更好理解。词语关系可以嵌套或并行。例如,嵌套关系包括定义另一词语或前一词语的嵌套词语。例如,在短语“播放电影”中,术语电影相对于词语播放被嵌套。另一方面,短语“播放电影或歌曲”中的同属词(siblingword)是电影和歌曲。这意味着歌曲没有定义词语电影,而是采用与词语电影的新路径和/或与词语电影的新关系。解析器364获取短语/语句,并输出语句的机器可读结构,例如:

输入语句“播放布拉德·皮特参演的电影”(playamoviethatbradpittactedin)可以被表示为如下树:

来自解析器364的输出可以是:

如上所示,提供前一词语的更多细节的从属词语具有嵌套关系。

可以基于条件随机字段(crf)或隐藏的马尔可夫模型(hmm)的经训练集(其允许识别和处理来自语句的适当词语)来提取信息。经训练集包括语句、语句的词语、每个词语的词性以及关联的信息标记。可以基于用于信息提取的每个意图的训练集来解析键入或说出语句的人的意图。可替代地,可以通过再用一些其他常用的经训练集来解析意图。

示例如下:

从语句“提醒我在星期六3点用餐”(remindmetogetdinneronsaturdayat3)中可以提取如下信息:

·“用餐”(getdinner)是提醒主题。

·“星期六”(saturday)是日期。在这种情况下,系统将选择最相关的星期六。

·“3”是时间。系统可以基于与当前时间最接近的上午或下午来决定上午及下午。当然,一些训练将包括上午和下午。如下的示例给出关于何时的更多细节。将基于相关时间生成日期和时间的缺失字段。

回到图4a,在框b414中,来自解析器364的输出被提供至模块368,模块368解释输入,并使用机器学习来向处理器370提供指令。模块368从解析器364接收语句和语法符号的机器可读分解。模块368确定树层次结构的逻辑、已知的从属词语、动作、名词等。

分类器368a尝试基于以数据结构372存储的经训练的数据集对原始语句进行分类,经训练的数据集提供一定程度的精度,该精度用于计算响应的置信水平。模块368的解释器368b开始评估根项目,并且通过组成树更深入地移动以提供与母词更详细的关系。

在上面提供的示例中,解释器368b通过评估第一项目而开始,并且检查第一项目的类型。例如,如果类型是动词,那么解释器368b知道涉及动作。接下来,解释器368b评估词语字段,并在该词语被处理前使其通过词干分析器(wordstemmer),以将词语转变成其基本部分。这涵盖如下示例,例如,“播放(play)”例如可以被写成播放(plays)、被播放(played)等。然后,它将使用该词干词语(stemmedword)来过滤接下来预期的内容。解释器368b然后评估子项目以获得关于当前项目的更多细节。作为示例,解释器368b可以使用称为“决策树”和“随机森林”的机器学习算法来提供对期望动作的更准确的表示。尽管可以基于训练集自动地制定决策树,然而树可能的外观的示例在图4b中示出,并且在下面详细描述。

然后,处理器370准备对适当装置的响应。响应可以与乘客服务系统交互,例如激活阅读灯、向工作人员提出请求(例如请求饮料)或设置在抵达前准备自定义文书的提醒。

图4b示出了根据本公开内容的一个方面的使用决策树的示例420。在框b424中,模块368确定是否存在根动词。如果不存在根动词,则数字助理在框b426中执行内容搜索。

如果存在动词,那么在框b428中确定暗含的动作。如果动词在媒体回放列表中,例如“播放”、“列表”等,则暗含的动作可能用于在框b430中进行媒体回放。

如框b432所示,暗含的动作可以涉及购物。这也将取决于动词是否在购物类别中,例如“购买”、“列表”等。

如框b434所示,暗含的动作可以涉及飞行数据。这将取决于动词是否属于飞行数据动词列表,例如“显示”等。

如框b436所示,如果动词在提醒动词列表中,例如“提醒”、“设置”等,则暗含的动作可以是提醒动作。

框b438中所示的其他动作随着系统继续机器学习和发展而发展。

如上所示,决策树可能改变,原因是一些动词可以基于语句中的名词或主题而存在于具有不同意图的多个列表中。例如,词语“列表”可以存在于媒体回放动作、购物和飞行数据动词列表中。名词诸如电影可以进一步描述预期的列表动作。因此,基于熵和信息增益变量,决策树可以变换以提高解释的效率,其中列表可以成为针对某些动作类别的母节点。一旦到达叶节点,数字助理312就知道基于输入所需的动作。

在一个方面,本公开内容涉及用于使用自然语言解析器和解释器处理客户和/或工作人员请求的飞行娱乐应用。上述方法可以用于通过在机载系统或个人电子装置上书写或键入的自然语言的使用来接受飞行系统上的乘客或工作人员的请求。

在一个方面,用户可以经由自然的人类语音或文本机制来请求动作或在航班上可获得的信息。本文中描述的系统和方法使得用户能够请求信息诸如到达时间或关于航班上的电影列表的信息,或者请求动作诸如播放电影或要一杯水等。本文中所描述的各个方面通过提供以下工具来改善乘客体验,该工具将在不需要搜索不同类型的服务的情况下回答任何问题和/或帮助满足请求。

处理系统:图5是示出根据一个方面可以使用的处理系统500的架构的示例的高层级框图。处理系统500可以表示媒体服务器112、计算系统106、wap130、机载管理系统344、座椅装置326或尝试与交通工具计算装置接口的任何用户装置(ped302)。注意,在图5中未示出与本方面无关紧要的特定标准和公知组件。

处理系统500包括耦接至总线系统505的存储器504和一个或更多个处理器502。图5所示的总线系统505是抽象表示,其表示通过合适的桥接器、适配器和/或控制器连接的任何一个或更多个单独的物理总线和/或点对点连接。因此,总线系统505可以包括例如系统总线、外围组件互连(pci)总线、超传输或工业标准架构(isa)总线、小型计算机系统接口(scsi)总线、通用串行总线(usb)或电气和电子工程师协会(ieee)标准1394总线(有时称为“火线”)或任何其他互连类型。

(一个或更多个)处理器502是处理系统500的中央处理单元(cpu),因此控制其整体操作。在某些方面,处理器502通过执行存储在存储器504中的软件来实现控制该整体操作。处理器502可以是或可以包括一个或更多个可编程通用或专用微处理器、数字信号处理器(dsp)、可编程控制器、专用集成电路(asic)、可编程逻辑器件(pld)等或这样的装置的组合。

存储器504表示任何形式的随机存取存储器(ram)、只读存储器(rom)、快闪存储器等或这样的装置的组合。存储器504包括处理系统500的主存储器。指令506可以用于实现上面描述的数字助理312和/或图4a和图4b的处理步骤。

还通过总线系统505连接至处理器502的是一个或更多个内部大容量存储装置510和网络适配器512。内部大容量存储装置510可以是或可以包括用于以非易失性方式存储大量数据的任何常规介质,例如一个或更多个基于磁或光学的盘、快闪存储器或固态驱动器。

网络适配器512向处理系统500提供与远程装置通信的能力(例如,通过网络并且可以是例如以太网适配器等)。

处理系统500还包括耦接至总线系统505的一个或更多个输入/输出(i/o)装置508。i/o装置508可以包括例如显示装置、键盘、鼠标等。i/o装置可以呈具有前述组件中的一个或更多个的手持装置的形式,例如具有真实或虚拟键盘、按钮和/或其他触敏表面的显示器。

系统600:图6示出了根据本公开内容的另一方面的使用人工神经网络(可以称为“ann”或神经网络)604来响应用户请求的数字助理600(也可以称为系统600)的另一示例。系统600可以用于与机上娱乐应用交互以处理客户和/或工作人员请求、购物相关动作以及安全相关操作。系统600使用户能够使用语音和/或文本来请求信息/动作。

在一个方面,系统600使用被配置成作为最近最少使用的(lru)装置操作的短期存储器612,以在接收到来自用户的初始查询之后对用户后续问题做出响应。如下所述,短期存储器612通过记录对用户请求的先前回复使系统600的控制器606能够模拟人类交谈。

在一个方面,系统610包括语音至文本模块362,该语音至文本模块接收语音输入(或用户查询/响应)360并将其转换为文本。然后将该文本提供给上面已详细描述的解析器364。当接收到文本输入366时,该文本输入被直接提供给解析器364。值得注意的是,尽管语音至文本模块362被示出为单独的组件,但是其可以与系统600的控制器106集成。

解析器364检查文本并将语句转换为具有语法结构的词语,其提供对词语及其与给定语句/输入中的其他词语的关系的更好理解。解析器364基于用户输入360的上下文来生成标记的语句(称为“词性标记”或“pos_tags”)。该方面中的上下文指示动作类别,例如,媒体相关动作、购物动作、飞行数据动作、提醒动作或神经网络604被训练以处理的任何其他类型的动作,如下面详细描述的。本公开内容的各种适应性方面不限于任何特定动作类别或上下文。关于响应于用户请求采取任何动作,术语上下文和类别可互换地使用。

来自解析器364的标记被提供给特征提取器模块(可以称为“特征提取器”)602和神经网络604。特征提取器602从标记的语句中提取相关信息并将其提供给控制器606。

在一个方面,短期存储器612将针对每个用户会话的过滤器参数至值映射614a/614n和616a/616n存储为键值对。过滤器参数值映射基于过滤器上下文参数和每个参数的值。在一个方面,短期存储器612被配置成作为lru类型存储器操作,其中针对每个用户会话/交谈保留最近的键值对,下面将详细描述。

将具有任何先前输出上下文的标记输入提供给神经网络604用于评估。在第一次收到到请求的情况下,可能不存在先前的上下文。神经网络604提供动作上下文、过滤器上下文以及至少响应上下文。动作上下文标识动作类别的请求可能需要的动作类型,该动作类别包括:媒体相关动作类别、购物动作类别、飞行数据动作类别、提醒动作类别或任何其他动作类别,如下面详细描述的。过滤器上下文包括应用于动作上下文的过滤器参数。响应上下文提供从动作上下文中提取的信息,然后执行动作以响应请求。

将基于神经网络604的评估的输出提供给控制器606,控制器106包括状态机608和用于处理神经网络604输出的动作管理器610。

控制器606保持一个或更多个数据结构以针对每个用户会话来存储动作上下文618、过滤器上下文620和响应上下文622。动作上下文618与应用编程接口(api)624相关联。过滤器上下文620为api624提供查询参数626。使用响应上下文622生成对请求的响应644。

控制器606使用来自神经网络604的输出来查找用户通信会话的动作上下文。如果动作上下文缺失,则控制器606通知用户它不理解该请求。如果从动作上下文数据结构618中找到动作上下文,则控制器606检查先前动作上下文是否与新动作上下文相匹配。如果不匹配,则清除针对用户会话的短期存储器612中的条目,并且状态机608执行上下文切换,例如,从媒体搜索动作类别至购物动作类别。

控制器606验证并处理来自神经网络604的输出的响应上下文。如果没有响应上下文,则控制器606通知用户它不理解该请求。

控制器606还接收来自神经网络604输出的过滤器参数。控制器606检查过滤器参数值是否存储在短期存储器612处。对于不具有关联值的过滤器参数,控制器606将过滤器参数添加至未决输入队列以询问后续问题。对于未决输入队列中的每个项目,控制器606请求用户提供响应。将用户响应连同过滤器参数同样提供给神经网络604用于处理。

控制器606确定用户是否已取消请求。如果请求未取消,则神经网络604的针对后续的输出被发送至解析器364以用于标记,并且被发送至特征提取器602以提取相关信息。

控制器606还检查用户查询的值是否被回答。如果没有回答,则控制器606会再次询问问题。如果已经回答,则控制器606从未决队列中移除过滤器参数,然后循环返回以检查未决队列中是否还有其他项目。此后,动作管理器610基于动作上下文和过滤器参数向实体(例如,机载管理系统344、工作人员ped、座椅功能控制器318或任何其他装置)发出请求。动作管理器610使用响应上下文来了解要提取什么信息。然后,自然语言生成器646用所请求的信息填充语句并向用户提供响应。

在一个方面,控制器606保持数据结构(可以称为用户会话数据结构)627以追踪与每个用户ped的通信。每个通信会话由标识符(id)628唯一地标识。用户查询630存储在控制器606可访问并且可以与短期存储器612不同的存储器装置中。来自解析器364的标记被存储为632,而来自特征提取器602的特征标记被存储为634。状态机608保持指示会话是否是新的、会话是否需要后续操作或被取消的会话状态636。当前请求的过滤器参数被保持为638,而响应上下文被保持为640。还存储发送至用户装置用于通信会话的响应642。用户会话数据结构627的示例如下。控制器606在下面称为“genie”。

上面使用的json是javascript对象符号的缩写,是对于结构数据可读的格式。构成json对象的两个主要部分是共同构成键/值对的键和值。键是用引号括起来的字符串,值可以是字符串、数字、布尔表达式、数组或对象。键值对遵循其中键后跟冒号和值的特定语法。键/值对以逗号分隔。值得注意的是,json仅作为示例说明,并且适应性方面不限于任何特定数据结构、对象格式或计算机语言。

在一个方面,对于控制器606针对不同动作类别/上下文可以采取的不同动作,控制器606是可扩展的。这是通过定义注册模板函数的实现的动作管理器类而实现的。模板函数描述了如何进行动作上下文请求、如何传递过滤器上下文参数以及如何使用响应上下文从响应中提取信息。来自模板函数的响应包括需要存储在短期存储器612中的内容,以及可能需要针为特定请求返回的内容。这使得系统600能够灵活容易地添加不同的动作上下文、过滤器上下文以分别用于对神经网络604和特征提取器602的训练,然后以最小的努力和实验将训练集成至控制器606。

模板函数的示例被提供如下:

在一个方面,系统600的短期存储器612使得人类与ife系统之间的交谈能够看起来更逼真,即像人类。短期存储器612可被配置为lru存储器,其中过滤器参数至值条目被按优先级向上移动,因为它们被使用以避免被移除。如果短期存储器612的存储器容量达到阈值限制,则在新项目被添加时移除来自短期存储器612的条目。可以基于存储器大小、存储器类型和操作环境来配置阈值限制。

值得注意的是,系统600(即数字助理600)的各种组件可以在一个计算装置上实现或跨多个计算装置分布。例如,与上面详细描述的数字助理312类似,系统600可以实现为由ped302执行的可下载应用。在另一方面,系统600可以由与ped302安全配对的座椅装置326执行。在另一方面,系统600可以由机载管理系统344执行。在另一方面,如上面关于图3a描述的,系统600的各种组件跨ped302、座椅装置326和机载管理系统344分布。本文描述的适应性方面不限于执行系统600的任何特定装置。

神经网络604:图6b示出了根据本公开内容的一个方面的神经网络604的示例。图6c示出了根据本公开内容的一个方面的用于训练神经网络604的过程的示例,而图6d-6e提供了用于训练神经网络604的处理器实现的训练工具的截图。

在一个方面,神经网络604与输入转换器646接口或包括输入转换器646,输入转换器646接收输入语句648(类似于文本输入366,图6a)和来自解析器364的词性标记650。输入被转换成向量,然后被提供给神经网络604。

作为示例,神经网络604包括多个层604a至604c,层604a至604c具有拥有“激活功能”的多个互连“节点”。经由输入层604a将输入向量呈现给神经网络604,输入层604a与使用加权“连接”的系统来执行向量处理的一个或更多个“隐藏层”604b通信。隐藏层604b被链接至生成诸如动作上下文652、过滤器上下文654和响应上下文656的输出的“输出层”604c。响应上下文和过滤器上下文被映射(示出为658)并且循环返回至神经网络输入层604a,被示为先前动作660。

在一个方面,神经网络604使用根据输入模式修改连接的权重的学习规则。学习规则的一个示例是使用误差的反向传播的“delta(德尔塔)规则”。利用delta规则,与利用其他类型的反向传播一样,“学习”是通过输出的前向激活流动和权重调整的反向误差传播而随每个周期或“时期”(即,每当神经网络604被呈现新的输入模式时)发生的监督过程。更简单地说,当神经网络604最初被呈现模式时,它随机地“猜测”该模式可能是什么。当神经网络604被训练时,它会看到它的答案与实际答案的差距,并对其连接权重进行适当的调整。

作为示例,输入(input)可以由下式来表示:

i=f((∑wi*input)

使用s形激活函数的隐藏层节点生成输出。然后输出被用于在训练期间修改输入的权重。

一旦神经网络604被“训练”至令人满意的水平,则它被部署在ife系统内作为系统600的一部分。航空公司不必指定任何训练运行,而是允许神经网络604在正向传播模式下工作。新输入被呈现给输入层604a并且由中间层604b处理,就好像正在进行训练一样,然而,此时输出被保留并且不会发生反向传播。前向传播运行的输出是数据的预测模型,其可用于将来的使用和分析。

图6c示出了用于在计算装置诸如上面关于图5描述的计算系统500处训练神经网络604的过程660的示例。过程660开始于框b662。在框b664中,针对神经网络604创建输入语句648。在框b666中,将过滤器上下文、响应上下文和动作上下文分配给语句。基于过滤器上下文来标记语句词语b668。在图6d和图6e的截图中示出了训练神经网络604的一个示例,现在将在下面详细描述图6d和图6e。

图6d示出了由计算装置诸如图5的处理系统500执行的训练工具的截图。训练工具的可执行代码在诸如存储器504的存储装置之外执行。基于一组操作来执行神经网络604的训练。例如,在框672中,选择预期动作。该示例中的预期动作用于搜索媒体。在框674中设置动作的过滤器参数。在该示例中,参数为“media_search.conent_type”和“media_search.genre”。在框676中选择响应,例如,“media_search.get_title”。在框678中针对预期动作、过滤器和响应添加问题。在该示例中,问题示出为“列出所有恐怖电影”。

训练的结果被发送至服务器。服务器例如机载管理系统344。用于该训练的过滤器字段被指定为“media.genre”和“media.content_type”并示出为682。

图6e示出了继续图6d的示例的用于训练神经网络604的后续问题的使用。基于以上对图6d的描述,框686、框688和框690不需要加以说明。在框b692中,下面问题示出为“喜剧怎么样?”。框694和框696不需要加以说明。部分698示出了来自神经网络604的输出即动作上下文、过滤器上下文和响应上下文的示例。值得注意的是,图6d和图6e的示例仅示出了可以如何针对不同的动作类型和动作上下文来训练神经网络604。这不限于动作上下文“media_search”或任何其他动作上下文。

处理流程:图7a至图7b(也可以称为图7)示出了根据本公开内容的一个方面的用于使用系统600的处理流程700。图7的处理框可以由系统600组件执行,系统600组件可以以软件、硬件或其组合来实现。

在系统600安装在座椅装置326、服务器345和/或ped302上的情况下,并且在神经网络604被针对一个或更多个动作类别/上下文——例如包括媒体播放的机上娱乐,购买产品和服务的购物动作、飞行信息、提醒动作、与工作人员接口以请求服务或任何其他动作上下文类型——训练的情况下,处理700开始于框702。针对基于用于搜索ife系统可访问或由ife系统存储的媒体的“媒体搜索”的动作上下文描述了下面的示例。本公开内容的适应性方面不限于任何特定类型的动作或动作上下文。

用于媒体搜索的过滤器上下文参数可以包括:“media_search.cast、media_search.content_type、media_search.director、media_search.genre、media_search.title、media_search.rating和media_search.year”。如上描述的,在图6d和图6e中示出了用于训练神经网络604的这些过滤器参数中的一些的使用。响应上下文的示例包括:

“media_search.get_cast、media_search.get_content_type、media_search.get_director、media_search.get_genre、media_search.get_title、media_search.get_rating、media_search.get_year。”

动作上下文映射至api(624),而过滤器参数映射至api的查询参数,并且响应上下文映射至针对特定请求的响应。

使用媒体搜索api来响应用户查询的示例如下。假设用户发送请求:“列出由布拉德·皮特执导的电影。”该查询的动作上下文可以是“media_search”,过滤器上下文参数可以是“media_search.director”和“media_search.content_type”,并且响应上下文可以是“media_search.get_title”。如下所述,响应上下文可以与过滤器参数配对(例如,过滤器参数至值映射614a/614n,图6a)用于询问上下文感知的后续问题。例如,如果用户以语句“列出由布拉德·皮特执导的电影”开始,并且随后是后续问题“电影何时发布?”,则响应上下文“media_search.get_title”成为针对下一请求的过滤器参数“media_search.title”。

在框b704中,从用户装置(例如,ped302或座椅装置326)接收用户请求或问题,例如,“导演的电影列表”。该请求可以作为语音命令或文本接收。如果接收到语音命令,则通过语音至文本模块362将语音命令转换为文本。

在框b706中,控制器606确认用户请求。在一个方面,控制器606验证或生成与用户通信的用户会话标识符628。如果会话无效,则拒绝该请求。

如果会话有效,则处理移动至框b708,此时将用户请求提供给解析用户请求并标记用户请求的解析器364。然后在框b710中将经解析的请求提供给特征提取器602和神经网络604。

在框b712中,神经网络604基于其训练处理经标记的语句并向控制器606提供输出。在一个方面,神经网络604输出包括动作上下文、过滤器上下文和响应上下文。例如,关于用户查询“导演的电影列表”,动作上下文可以是“media_search”,过滤器参数可以是“media_search.content_type”和“media_search.director”,而响应上下文可以是“media_search.get_title”。在一个方面,由于如上面参考图6c至图6e所描述的以动作上下文来训练神经网络604,因此以高精度水平生成神经网络604输出。

在框b714中,如果先前上下文可用,则控制器606更新先前上下文。为了更新先前上下文,在框b716中控制器606首先查找动作上下文(例如,media_search)并且确定动作上下文是否由于任何原因而改变了。如图6a中示出并且在上面详细描述的,控制器606通过使用跟踪用户会话的一个或更多个数据结构627来执行该任务。

如果动作上下文已改变,则在框b718中,控制器606清除来自保持数据结构的存储器的任何输入值。该存储器与短期存储器612不同。然后将当前动作上下文设置为最新动作上下文。

在框b720中,控制器606基于前述查询来确定过滤器上下文参数,例如,media_search.content_type和media_search.director。在框b722中,将未决输入设置为过滤器上下文参数值。

在框b724中,控制器606识别响应上下文,例如media_search.title。

在框b726中,控制器606确定动作上下文api(例如,624)是否缺失或者是否需要更多参数。该确定可以基于某些动作上下文可能需要的预先配置的参数。预先配置的参数被预加载并保存在控制器606可访问的存储器装置(未示出)处。在框b728中将缺失的参数添加至当前上下文。

在框b730中,在所有过滤器上下文参数值已被更新的情况下,控制器606从存储器高速缓存(未示出)中检索经标记的语句值并从特征提取器602中检索键值对。

在框b732中,控制器606将键值对(614a/614n)存储在短期存储器612中。前述示例的键值对可以包括:

media_search.content_type(过滤器参数)=movies(电影)(值)

以及,media_search.director(过滤器参数)=null(空)(值)

在框b734中,当适用于对用户请求的任何未决的后续问题/响应时,控制器606识别任何其他缺失的过滤器上下文参数。

在框b736中,控制器606识别是否存在对用户查询的后续问题/响应,例如,“哪个导演”。在框b738中,后续问题随后被发送至用户。在框b740中,接收用户回复并由解析器364对用户回复进行解析。用户响应可以是“布拉德·皮特”或任何其他名字。

在框b742中,解析器364的标记回复同样被发送至神经网络604和特征提取器602。例如,经标记的语句是“布拉德·皮特”,并且上下文可以是“media_search.director”。在类似于上面详细描述的处理框b712的框b744中,神经网络604处理经标记的响应。

在框b746中,如果来自用户的后续请求未被取消,则提取来自用户回复的标记。同样由控制器606提取来自特征提取器602的输出。

在框b748中,在过滤器上下文仍然存在且未被取消的情况下,将回复的键值对存储在短期存储器612中。

在框b750中,动作管理器610处理针对回复的动作请求,并且从由控制器606保持的未决后续响应上下文中移除动作上下文。在框b752中,随后基于上下文处理响应。在框b754中,在自然语言处理器646将响应转换为自然语言之后,将响应提供给用户。

然后,该过程以同一动作上下文或另一动作上下文寻找下一请求。

在一个方面,使用经训练的神经网络,使控制器能够有效地处理用户请求。这改善了与用户装置的通信,并且还为乘客提供了更好的服务。

因此,描述了用于交通工具上的数字助理的方法和系统。注意,遍及本说明书对“一个方面”(或“实施方式”)或“方面”的提及意味着:结合该方面描述的特定特征、结构或特性包括在本公开内容的至少一个方面中。因此,要强调且应当理解的是,在本说明书的各个部分中对“方面”或“一个方面”或“替代方面”的两次或更多次提及不一定都指代同一方面。此外,如本领域普通技术人员将认识到的,所参考的特定特征、结构或特征可以在本公开内容的一个或更多个方面中适当地组合。

尽管以上关于当前被认为是其优选方面的内容描述了本公开内容,但是应当理解,本公开内容不限于上述描述。相对地,本公开内容旨在涵盖在所附权利要求书的精神和范围内的各种修改和等同布置。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1