一种人机交互系统的预处理方法、设备及存储介质与流程

文档序号:15930173发布日期:2018-11-14 01:32阅读:109来源:国知局

本公开涉及智能设备控制技术领域,尤其涉及一种人机交互系统的预处理方法、设备及存储介质。

背景技术

在高速发展的互联网和智能技术的推动下,越来越多的终端设备成为了人机交互的接口。而不同的终端设备,也根据其各自的主要交互任务,采取不同的模态与人交互,例如:语音交互、触摸操作等。

因此,在今天,几乎所有人都生活在一种多模态的交互形式下。而只要通过设计和技术能够更好的融合多模态系统的“情景感知”,就可以增强对用户所处的“交互场景”的理解,从而提供更好的交互体验。

在多模态系统中,语音交互作为一个重要的接口,在近几年越发火热。苹果、微软、谷歌等一线互联网公司均已推出语音交互应用。目前对于语音到文字的转换的技术已经相对成熟,准确率相当可观,但是对于语意的理解却还差强人意。



技术实现要素:

为了解决上述技术问题,本发明实施例中提供了一种人机交互系统的预处理方法、设备及存储介质。

本发明实施例公开了如下技术方案:

第一方面,本申请实施例提供一种人机交互系统的预处理方法,包括:获取待测环境中的感知信息;根据所述感知信息,预测交互场景;匹配与所述交互场景相对应的语料库;设置所述匹配得到的语料库的优先级。

第二方面,本申请实施例提供一种人机交互系统的预处理装置,包括:感知信息获取单元,用于获取待测环境中的感知信息;交互场景预测单元,用于根据所述感知信息,预测交互场景;语料库匹配单元,用于匹配与所述交互场景相对应的语料库;优先级设置单元,用于设置所述匹配得到的语料库的优先级。

第三方面,本申请实施例提供一种人机交互系统的预处理设备,包括:处理器、存储器、网络接口和用户接口;所述处理器、存储器、网络接口和用户接口通过总线系统耦合在一起;所述处理器通过调用所述存储器存储的程序或指令,用于执行如前述人机交互系统的预处理方法的步骤。

第四方面,本申请实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如前述人机交互系统的预处理方法的步骤。

本申请实施例提供的该方法,在人机交互系统工作过程中,在没有收到用户的输入的操作或交互之前,可以在后台对待测环境的感知信息进行检测,并且根据检测到的感知信息对交互场景进行预测。对于预测到的交互场景,可以直接匹配对应的语料库,最后对匹配的语料库的优先级进行设置。进而在后续对用户的输入操作进行识别时,优先使用匹配到的语料库,可以提高人机交互系统的准确性以及灵活性。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种智能家居设备的场景示意图;

图2为本申请实施例提供的一种智能驾驶的场景示意图;

图3是本发明实施例提供的电子设备的结构示意图;

图4为本申请实施例提供的人机交互系统的预处理方法的流程示意图;

图5为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图;

图6为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图;

图7为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图;

图8为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图;

图9为本申请实施例提供的一种人机交互系统的预处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

本申请实施例提供的该人机交互系统的预处理方法,可以用于目前市面上常见的人机交互系统中,例如:智能汽车、智能家居、智能移动终端以及其它具有近距离监测、控制功能的设备中。在这些人机交互系统中,通常都设置有多种不同类型的传感器,用于对人机交互系统所在的环境以及环境中的人进行监测,另外,人机交互系统内通常还设置有处理器,处理器可以根据监测到的数据,执行人机交互系统所具备的一些操作,进而完成对人机交互设备的智能控制。

图1为本申请实施例提供的一种智能家居设备的场景示意图。

图1所示场景为室内场景,图1中包括:路由器100、计算机101、智能手机102、智能电视103、网络摄像头104和智能空调105。其中,智能电视103、网络摄像头104和智能空调105等都属于智能家居设备,当然图1中的智能家居设备仅是本申请的一些举例,本领域技术人员应当知道,除了上述智能家居设备外,室内可通过信号进行控制的设备均属于智能家居设备。

计算机101和智能手机102可以作为控制及数据处理设备,其中,计算机101可以为智能家居数据处理中心,通常为不可移动,且设置在室内固定位置,而智能手机102可以作为一个移动数据处理平台,对智能家居设备进行控制。

路由器100为室内多种智能家居设备的网络中心,所有智能家居设备都可以与路由器100通过wifi信号进行通信。

在图1所示的各个设备中,都可以设置有传感器,其中传感器包括但不局限于:温度传感器、湿度传感器、亮度传感器、麦克风以及图像采集器,此外,在室内场景中,还可以在除上述设备外的其它位置单独设置传感器。当用户在室内场景中时,基于前述所设置的传感器,可以对交互场景进行预测。交互场景是指用户当前可能的交互环境,包括但不局限于:对空调控制场景、对电视控制场景、对摄像头控制场景、对空气过滤器的控制场景以及对冰箱控制场景。

当图1所示的各个设备采集到采集数据后,可以将采集数据通过路由器100发送给计算机101或者智能手机102,在计算机101或者智能手机102可以对采集数据进行数据处理,基于数据处理结果可以对用户所处的交互场景进行预测。

图2为本申请实施例提供的一种智能驾驶的场景示意图。

图2中包括:汽车200、移动终端201和手环202。其中,在汽车200中可设置有车载控制器,车载控制器包括但不局限于:台式计算机、服务器、单片机,其余具有数据处理能力的设备均可作为车载控制器,例如:平板电脑等。

在一些实施例中,车载控制器的数据采集端口还与车辆上设置的其它传感器相连接,包括但不局限于:速度传感器、温度传感器、位置传感器。通过数据采集端口,车载控制器可以采集到车辆自身的运行参数,同时还可以采集车辆周围的环境参数。

车载控制器的信号输出端与车辆的控制系统相连接,所述控制系统包括但不局限于:发动机控制系统、车辆方向控制系统、车辆制动控制系统、动力切换控制系统、灯光控制系统,车载控制器通过生成并发送不同的控制信号,可对车辆的行驶及运行进行控制。

车载控制器可以与移动终端201、手环202之间进行通信,另外,在汽车200内、移动终端201或手环202中均可设置有传感器。当用户在汽车200内或者汽车200所在的场景,诸如停车场或车库,基于前述所设置的传感器,可以对交互场景进行预测。交互场景是指用户当前可能的交互环境,包括但不局限于:导航场景、迷路场景、停车场景以及车灯控制场景。

图3是本申请实施例提供的人机交互系统预处理设备的结构示意图。该人机交互系统预处理设备可以应用于图1中的计算机101或智能手机102中,也可以应用于图2汽车200中的车载控制器或移动终端201中。

图3所示的人机交互系统预处理设备300包括:显示屏306(在一些实施例中,306可以为触摸屏)、至少一个处理器301、至少一个存储器302、至少一个网络接口304和其他用户接口303。电子设备中的各个组件通过总线系统305耦合在一起。可理解,总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统305。

其中,用户接口303可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)或者触感板等。

可以理解,本实施例中的存储器302可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,rom)、可编程只读存储器(programmablerom,prom)、可擦除可编程只读存储器(erasableprom,eprom)、电可擦除可编程只读存储器(electricallyeprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory,ram),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(staticram,sram)、动态随机存取存储器(dynamicram,dram)、同步动态随机存取存储器(synchronousdram,sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram,ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram,esdram)、同步连接动态随机存取存储器(synchlinkdram,sldram)和直接内存总线随机存取存储器(directrambusram,drram)。本文描述的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中,存储器302存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统3021和应用程序3022。

其中,操作系统3021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序3022,包含各种应用程序,例如媒体播放器(mediaplayer)、浏览器(browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序3022中。

在本发明实施例中,处理器301通过调用存储器302存储的程序或指令,具体的,可以是应用程序3022中存储的程序或指令,处理器301用于执行图6实施例所提供的方法步骤,例如包括:获取待测环境中的感知信息;根据所述感知信息,预测交互场景;匹配与所述交互场景相对应的语料库;设置所述匹配得到的语料库的优先级。

上述本发明实施例揭示的方法可以应用于处理器301中,或者由处理器301实现。处理器301可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302,处理器301读取存储器302中的信息,结合其硬件完成上述方法的步骤。

可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspdevice,dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

图4为本申请实施例提供的人机交互系统的预处理方法的流程示意图。

如图4所示,该人机交互系统的预处理方法可以包括以下步骤。

s110,获取待测环境中的感知信息。

在用户所处场景中,可设置有多种类型的传感器,这些传感器的功能以及安装位置等都可以根据需要设置,即可以单独设置,也可以设置在场景中的设备内。如图1中传感器可以设置在智能家居设备中,如图2中传感器可以设置在汽车200中。

传感器采集的数据是为了便于对人机交互系统该进行控制,可以将环境参数作为输入的一部分,以提高最终结果控制的智能性,在本申请实施例中,对环境中的人或者物体进行感知的信息都可以作为感知信息。

在本申请一些实施例中,感知信息为待测环境的自身信息,例如:位置、海拔、温度、湿度,光强度、音量大小等。

在本申请一些实施例中,感知信息为待测环境中一些特定设备的信息,例如:车辆的工作状态、行驶信息,手机的工作状态,摄像头的工作状态等。

在本申请一些实施例中,感知信息可以为待测环境中用户的生理信息,例如:人的身高、体重、呼吸频率、心跳速度、皮肤出汗量等。

在本申请一些实施例中,,感知信息可以为待测环境中用户的一些行为动作,例如:用户的蹲下或跳起等动作,用户的运动方向及速度,用户肢体移动路径以及用户手部操作手势等。

当然,本领域技术人员应当知道,前述对感知信息的描述是基于具体场景进行设定的,随着场景的不同以及变化,感知信息也可以增加或改变,因此不应构成对本申请的限制。

s120,根据所述感知信息,预测交互场景。

待测环境中的任意一个感知信息,均是为了对待测环境的交互场景进行明确。但由于单一类型的感知信息所确定的场景容易出现误差,导致准确性较低,进而需要多个不同类型的感知信息来共同预测。

不同类型的感知信息,可能会存在相互协调的情况,也可能会存在相悖的情况。进而在明确待测环境的场景时,可以利用多种不同类型的感知信息,从多个维度对场景进行明确,以便最终确定的场景准确性较高。

聚焦到利用人的行为对设备进行控制,相应地本申请实施例中所提及的场景也主要是指交互场景。其中,交互场景可以为人为设置或定义得到,也可为机器自学习得到。

在本申请一些实施例中,可以根据人机交互系统的交互性能,预先定义或设置多个不同的交互场景。其中,每种交互场景都可以对应设置一套相对独立的操作方式,例如:相同的操作手势在不同的交互场景中可以表达不同的操作内容,同理,相同的语音输入在不同的交互场景中也可以表达不同的语义。

预先定义或设置多个不同的交互场景,每个交互场景都由传感器采集一种或多种不同感知信息来约束。进而,确定交互场景时,可以利用得到的感知信息对交互场景进行匹配,最终将匹配到的交互场景,确定为预测的交互场景。

在本申请一些实施例中,,在预先设置多种交互场景的情况下,若根据当前的一种或多种感知信息均未匹配到一个对应交互场景,或者,人机交互系统预先未定义的多个不同的交互场景。此时,还可以根据先验知识对本次或历史多次获取到的感知信息进行学习,通过学习可得到一个新的交互场景。

将通过学习得到的交互场景以及与此交互场景对应的感知信息进行存储,经过长时间积累,即可形成一个交互场景数据库。

步骤s130,匹配与所述交互场景相对应的语料库。

语料库包括但不局限于:人机交互系统的工作模式、人机交互系统中控制指令集以及人机交互系统中的语义集。其中,所述语义集用于识别用户语音输入时的语音。

对于人机交互系统的工作模式,是指人机交互系统在工作时,可以根据环境不同在不同的工作模式之间切换,例如:以智能家居控制设备而言,在夏天对空调的控制模式通常为制冷控制,而冬天对空调的控制模式通常为制热控制。但通常不同的工作模式对应的场景不同。

对于人机交互系统中的控制指令集,是指人机交互系统在接收到输入操作后,将该输入操作转换成对应的指令时进行参考,当检测到用户的一个输入操作后,可以通过控制指令集去匹配对应的指令,例如:在夏天晚上的卧室场景内,确定的控制指令集可以为空调的制冷功能对应的指令集,当用户手势为“向上”的手势时,从该控制指令集总匹配到的控制指令可能是温度上升1度;但在客厅电视播放的场景中,确定的控制指令集可以为与电视操作对应的指令集,同样当用户手势为“向上”的手势时,从该与电视操作对应的指令集中匹配的控制指令可能是音量上调1格。

对于人工交互系统的语义集,是专指针对利用语音输入进行控制情况,用户在不同的场景中进行语音输入时,其语义也会不同,例如:在卧室说出“向上”时,可以根据语义分析,得到是对空调的温度升高控制指令,而在客厅说出“向上”时,可以根据语义分析,得到是对电视的音量调高控制指令。

步骤s140,设置所述匹配得到的语料库的优先级。

若匹配得到的语料库仅为一个,相应地,可将该语料库的优先级设置为最高。若匹配得到的语料库为两个或两个以上,在后续使用语料库对用户的输入操作进行识别时,会存在先利用哪一个语料库的问题,为此,在通过场景精确确定出对应的多个语料库后,可对多个语料库的优先级进行设置。

通过设置多个语料库的优先级,在接收到用户的输入操作后,可根据优先级自高至低的顺序依次选择语料库对输入操作进行处理,以提高对用户的输入操作进行处理的准确性。

本申请实施例提供的该方法,在人机交互系统工作过程中,在未收到用户的输入的操作或交互之前,即可在后台对待测环境的感知信息进行检测,并且根据检测到的感知信息对交互场景进行预测,对于预测到的交互场景,可直接匹配对应的语料库,且最后对匹配的语料库的优先级进行设置。因此,在后续对用户的输入操作进行识别处理时,可优先使用匹配到的语料库,进而可提高人机交互系统的处理速度、准确性以及灵活性。

在本申请一些实施例中,在对匹配得到的语料库的优先级进行设置后,在后续的对人机交互系统的控制中,该方法还可以包括以下步骤:

s150,获取用户输入操作信息。

用户输入的操作信息是指可以被人机交互系统所识别的操作对应的信息。在本申请实施例中,操作包括但局限于:可以为语音输入、操作手势、肢体姿态、触摸屏按压或滑动操作、实体按键操控。另外,本领域技术人员应当知道,随着人机交互设备的不同,对应的操作也会随之变化,对此,上述对操作的举例不应构成对本申请的限制。

s160,基于所述语料库的优先级转换所述用户输入操作信息为控制指令。

在本申请实施例中,在对用户输入操作信息进行转换时,按照优先级从高到低的顺序依次选择语料库。

在本申请一个实施例中,若当前用户的操作为语音输入时,可根据语义集对语音进行识别。在另一实施例中,若当前用户的操作为对触摸屏按压或滑动操作时,可根据控制指令集将操作转换为按压或滑动匹配对应的控制指令。在另一实施例中,若当前用户的操作为非语音输入时,还可以根据操作与工作模式的对应关系,将操作信息转换为对应的工作模式。

本申请提供的该方法,在根据场景对语料库进行设置后,在用户使用人机交互系统时,实时检测用户输入的操作信息,基于语料库将用户输入的操作信息转换为相应的控制指令,提高了人机交互系统对用户操作响应的准确性以及及时性。

图5为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图。如图5所示,该方法可以包括以下步骤:

s210,获取待测环境中的感知信息。

s220,根据所述感知信息,预测交互场景。

s230,匹配与所述交互场景相对应的语料库。

s240,判断与所述交互场景相匹配的语料库是否唯一。

对于一些特殊的场景,例如:当用户位于运动的车辆内时,此时对应场景只能为驾驶场景,而跟驾驶场景对应的语料库通常仅仅为对车辆的控制指令集,因此,可以确定与交互场景相匹配的语料库是否唯一。

s250,当与所述交互场景相匹配的语料库唯一时,将所述唯一的语料库的优先级提升为最高。

对于人机交互系统而言,通常预先设置多个语料库,在后续使用语料库对用户的输入操作进行识别时,会存在先利用哪一个语料库的问题,若根据待测环境的感知信息预测得到交互场景所匹配的语料库唯一,进而在该步骤中,可以直接将唯一的语料库的优先级设置为最高。

采用该方法,当用户对该人机交互系统进行操作时,无需在多个语料库中进行选择、挑选,而可优先利用该唯一的语料库进行处理,提高了人机交互系统响应的准确性以及及时性。

图6为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图。如图6所示,该方法可以包括以下步骤:

s310,获取待测环境中的感知信息。

s320,根据所述感知信息,预测交互场景。

s330,匹配与所述交互场景相对应的语料库。

s340,判断与所述交互场景相匹配的语料库是否唯一。

s350,当与所述交互场景相匹配的语料库不唯一时,确定查找到的每个语料库与所述交互场景的关联度。

在本申请一些实施例中,对于每个语料库可以预先设置多个不同的场景标签,进而在该步骤中,可以利用场景标签来确定语料库与交互场景的关联度。本领域普通技术人员可知,关联度可以为任意数值,也可以为多个不同的等级。

s360,按照优先级与所述关联度成正比的方式,设置每个语料库的优先级。

优先级与所述关联度成正比,是指优先级越高,关联度也随之升高,相反,优先级越低,关联度也随之降低。

在本申请实施例中,可以先找到每个语料库与该交互场景的关联度,然后根据关联度设置优先级,在设置优先级时,关联度越大,优先级越高。采用这种优先级设置方式,当用户对该人机交互系统进行操作时,可以从优先级从高到低的顺序,先选择优先级较高的语料库,当选择的高优先级的语料库和场景存在矛盾时,再选择优先级较低的语料库,进而提高人机交互系统响应的准确性以及及时性。

图7为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图。如图7所示,该方法可以包括以下步骤:

s410,获取待测环境中的感知信息。

在对待测环境进行感知时,可以根据待测环境中设置的传感器的类型,来确定需要采集的感知信息。

在本申请实施例中,所述感知信息包括但不局限于:所述待测环境的环境特征参数、所述待测环境中用户的生理特征参数、所述待测环境中用户的行为特征参数、在所述待测环境中的设备特征参数。本领域技术人员应当知道,除上述感知信息外,随着待测环境中的传感器的类型增多,感知信息也可以随之变化,对此不应构成对申请的限制。

s420,获取同一类型的多个特征参数或者不同类型的多个特征参数进行综合分析。

基于一个类型的特征参数在对用户进行分析,通常可能具有一些片面性,即无法准确、全面对用户行为进行分析。为此,还可以将多种不同类型的多个特征参数进行复合分析,以提高对交互场景确认的准确性。

以用户的生理特征参数为例:若用户在驾驶室内活动范围较大、且出汗量较大,单独依据生理特征参数,可能判断驾驶室内温度较大,需要打开空调或开大车窗,但此时用户真实感受可能是由于迷路而较为紧张导致焦躁以及出汗量增加。为此,针对用户在驾驶室内的情况,还需要结果车辆当前位置与导航路线之间的偏差情况,以及车辆行驶路线是否出现重叠等情况,进行综合分析,最终得到的结果准确性才能得到保证。

s430,根据综合分析的结果确定交互场景

s440,匹配与所述交互场景相对应的语料库。

s450,设置所述匹配得到的语料库的优先级。

图8为本申请实施例提供的另一种人机交互系统的预处理方法的流程示意图。如图8所示,该方法可以包括以下步骤:

s510,获取待测环境中的感知信息。

在对待测环境进行感知时,可以根据待测环境中设置的传感器的类型,来确定需要采集的感知信息。

在本申请实施例中,所述感知信息包括但不局限于:所述待测环境的环境特征参数、所述待测环境中用户的生理特征参数、所述待测环境中用户的行为特征参数、在所述待测环境中的设备特征参数。本领域技术人员应当知道,除上述感知信息外,随着待测环境中的传感器的类型增多,感知信息也可以随之变化,对此不应构成对申请的限制。

s520,根据所述环境特征参数确定周围环境。

环境参数包括但局限于:位置数据、海拔数据等,其中,位置数据可以为gps数据,也可以为道路、行政区域名称以及建筑物名称等。周围环境包括但不局限于:室内环境、室外道路环境、室外公园环境、车辆驾驶环境和停车场环境。

s530,根据所述生理特征参数、所述行为特征参数和所述设备特征参数中的至少一种参数确定用户意图。

用户在环境中,可以结合用户的被动信息对用户的意图进行识别,其中,生理特征参数包括但不局限于:心率、脉搏、呼吸频率以及出汗量,例如:当在电影院环境中,心跳加快、呼吸急促以及皮肤出汗,那么可以确定当前拒绝观看的当前的电影,如恐怖片等。

行为特征参数是指用户在进行非主动控制时的一些行为,包括但不局限于:行走速度、运动方式、肢体倾斜度。若行走速度较快,即可确定用户正在赶时间,若运动方式为舞蹈,即可确定用户此时正在练习舞蹈等。

设备特征参数是指用户所携带或用户周围可以与用户关联的传感器检测到的数据,例如:通过眼动仪捕捉用户眼球移动情况,确定用户的视点的轨迹,根据视点的轨迹,可以对用户下一个浏览内容进行预测。

在本申请实施例中,前述仅针对每个参数的独立情况进行描述,在其它实施例中,考虑的场景的复杂性以及多变性,还可以将多种参数进行复合,利用超过两个的特征参数对用户的意图进行精准预测。

s540,基于所述周围环境和所述用户意图预测用户的交互场景。

s550,匹配与所述交互场景相对应的语料库。

s560,设置所述匹配得到的语料库的优先级。

其它步骤可参见前述实施例中,在此不再赘述。

下面结合具体场景,对本申请实施例提供的该人机交互系统的预处理方法,进行详细阐述。

本申请的一些场景中,当人机交互系统监测到车内地图界面处于打开状态时,若监测到用户发出语音指令,且语音指令中携带有地点,同时,眼动传感器会通过捕捉用户当前所注视的地图位置,综上,即可确定此时交互场景为驾驶导航场景。

在驾驶导航场景匹配语料库时,可以以当前位置和目的地中的一个或两个地点同时进行匹配,例如:一种情况下,通过监测用户所注视的目的地,匹配与目的地相对应的周边环境语料库;另一种情况下,根据gps定位,检测当前车辆所处的当前位置。并且将目的地以及当前位置周边的地点名称的语料库优先级提高,进而与用户当前所在地点以及目的地所在地点周围的地点名称的语料库优先级都比较高。

考虑到用户在该驾驶导航场景中,选择和当前所在地点以及目的地所在地点周围地点的可能性最高,例如:在前述驾驶导航场景中,用户如果采用语音输入,可能输入的是“目的地周围的电影院”,由于已经提前将目的地周围的电影院对应的语料库优先级调高,进而可以提高操作匹配的准确性。

本申请的一些场景中,同样是驾驶导航时,通过车辆上的传感器确定车辆处于停车之前的场景,此时,可以将与停车相关的语料库的优先级提高,进而当监测到用户注视导航界面中的目的地时,只需说出“停车”指令,即可控制将车辆停放到目标地点中的车位上。

本申请的一些场景中,为了产品的简洁化或者多功能化,通常会在触摸屏中设置多个隐藏菜单或子菜单。

以语音控制为例,当用户进行语音输入时,通常需要将语音与每个可能的菜单都进行匹配,进而使得语音识别的准确性及及时性较差。

在该语音控制场景中,针对隐藏菜单或子菜单,监测用户是否注视触摸屏上某个图标,当确定注视a图标时,确定为a图标场景,进而可以在后台将与a图标相关的隐藏菜单或子菜单对应的语料库的优先级提升,进而当用户在注视a图标时进行语音输入操作时,可以优先利用a图标相关的隐藏菜单或子菜单对应的语料库进行匹配,例如:车载触摸屏上设置有“空调”、“音响”等多个图标,当用户注视空调图标时,说出“打开”,那么第一时间就可以将空调打开,而非将音响打开,这样可以实现语音识别的准确性和及时性。

同样,当对实体操作键或操作杆也进行了多功能复合,那么同样可以先利用一些感知信息确定匹配的工作模式,然后当用户真正操作该实体操作键或操作杆时,可以直接在预先匹配好的工作模式下进行工作。

本申请的一些场景中,当检测到用户在浏览图片时,例如:浏览地图或照片,结合用户发出的语音指令以及眼动捕捉仪捕捉到用户在屏幕上所注视点的移动幅度,可以预测用户浏览图片时的意图,并且根据该意图匹配对应的语料库,进而当用户发出语音指令时,可以通过直接在语料库中进行匹配,提高用户语音识别的准确性以及及时性。

本申请的一些场景中,当检测到驾驶导航启动时,可以对驾驶员的状态进行监测,例如:驾驶员对路面的眼动频率、视点数量、单个视点的注意力时间,以及驾驶员的心率等,一旦检测到驾驶员对地面的眼动频率增加,并且视点数量增多,同时单个视点的注意力时间变短,以及,驾驶员的心率有上升趋势,那么就可以确定此时的交互场景为迷路场景,进而,在匹配语料库时,优先匹配与路况对应的语义集,因为此时用户最想了解的可能就是路况信息,进而一旦用户进行语音输入,优先利用路况信息对应语义集对语音进行转换,提高对语音识别的准确性。

前述所描述场景,均是针对前述方法实施例提供的一些实现的细节方案,在本申请其它实施例中,本领域技术人员可以根据实施例提供的方法在更多的场景中进行应用,这都属于本申请的保护范围。

图9为本申请实施例提供的一种人机交互系统的预处理装置的结构示意图。图9所示的该人机交互系统预处理装置可以应用于图1中的计算机101或智能手机102中,也可以应用于图2汽车200中的车载控制器或移动终端201中。

如图9所示,该预处理装置可以包括:感知信息获取单元61,用于获取待测环境中的感知信息;在本申请实施例中,所述感知信息包括但不局限于:所述待测环境的环境特征参数、所述待测环境中用户的生理特征参数、所述待测环境中用户的行为特征参数和在所述待测环境中的设备特征参数。交互场景预测单元62,用于根据所述感知信息,预测交互场景;语料库匹配单元63,用于匹配与所述交互场景相对应的语料库;在本申请实施例中,所述语料库包括但不局限于:人机交互系统的工作模式、人机交互系统中控制指令集和人机交互系统中的语义集,其中所述语义集用于识别用户语音输入时的语音。优先级设置单元64,用于设置所述匹配得到的语料库的优先级。

在图9所示实施例的基础上,在本申请另一实施例中,所述优先级设置单元,包括:判断子单元,用于判断与所述交互场景相匹配的语料库是否唯一;优先级提升子单元,用于当与所述交互场景相匹配的语料库唯一时,将所述唯一的语料库的优先级提升为最高。

在前述所示实施例的基础上,在本申请另一实施例中,所述优先级设置单元所述优先级设置单元,包括:关联度确定子单元,用于当与所述交互场景相匹配的语料库不唯一时,确定查找到的每个语料库与所述交互场景的关联度;优先级设置子单元,用于按照优先级与所述关联度成正比的方式,设置每个语料库的优先级。

在前述所示实施例的基础上,在本申请其它实施例中,所述交互场景预测单元,包括:分析子单元,用于获取同一类型的多个特征参数或者不同类型的多个特征参数进行综合分析,所述类型包括:环境特征参数、生理特征参数、行为特征参数和设备特征参数;交互场景确定子单元,根据综合分析的结果确定交互场景。

在图9所示实施例的基础上,在本申请其它实施例中,所述交互场景预测单元,包括:环境确定子单元,用于根据所述环境特征参数确定周围环境;意图确定子单元,用于根据所述生理特征参数、所述行为特征参数和所述设备特征参数中的至少一种参数确定用户意图;交互场景确定子单元,用于基于所述周围环境和所述用户意图预测用户的交互场景。

在图9所示实施例的基础上,在本申请其它实施例中,所述装置进一步包括:操作信息获取单元,用于获取用户输入操作信息;指令转换单元,用于基于所述语料库的优先级转换所述用户输入操作信息为控制指令。

本发明实施例还提出一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行图4-7任一实施例所提供的方法步骤,例如包括:获取待测环境中的感知信息;根据所述感知信息,预测交互场景;匹配与所述交互场景相对应的语料库;设置所述匹配得到的语料库的优先级。

本申请实施例提供人机交互系统的预处理方法,包括:

a1、一种人机交互系统的预处理方法,包括:获取待测环境中的感知信息;根据所述感知信息,预测交互场景;匹配与所述交互场景相对应的语料库;设置所述匹配得到的语料库的优先级。

a2、根据a1所述的方法,所述设置所述匹配得到的语料库的优先级,包括:判断与所述交互场景相匹配的语料库是否唯一;当与所述交互场景相匹配的语料库唯一时,将所述唯一的语料库的优先级提升为最高。

a3、根据a2所述的方法,所述设置所述匹配得到的语料库的优先级,还包括:当与所述交互场景相匹配的语料库不唯一时,确定查找到的每个语料库与所述交互场景的关联度;按照优先级与所述关联度成正比的方式,设置每个语料库的优先级。

a4、根据a2或a3所述的方法,所述语料库包括以下至少一种:人机交互系统的工作模式;人机交互系统中控制指令集;人机交互系统中的语义集,其中所述语义集用于识别用户语音输入时的语音。

a5、根据a1所述的方法,所述感知信息,包括以下至少一项:所述待测环境的环境特征参数;所述待测环境中用户的生理特征参数;所述待测环境中用户的行为特征参数;在所述待测环境中的设备特征参数。

a6、根据a5所述的方法,所述根据所述感知信息,预测交互场景,包括:获取同一类型的多个特征参数或者不同类型的多个特征参数进行综合分析,所述类型包括:环境特征参数、生理特征参数、行为特征参数和设备特征参数;根据综合分析的结果确定交互场景。

a7、根据a5所述的方法,所述根据所述感知信息,预测交互场景,包括:根据所述环境特征参数确定周围环境;根据所述生理特征参数、所述行为特征参数和所述设备特征参数中的至少一种参数确定用户意图;基于所述周围环境和所述用户意图预测用户的交互场景。

a8.根据a1所述的方法,所述方法进一步包括:获取用户输入操作信息;基于所述语料库的优先级转换所述用户输入操作信息为控制指令。

b1、一种人机交互系统的预处理装置,包括:感知信息获取单元,用于获取待测环境中的感知信息;交互场景预测单元,用于根据所述感知信息,预测交互场景;语料库匹配单元,用于匹配与所述交互场景相对应的语料库;优先级设置单元,用于设置所述匹配得到的语料库的优先级。

b2、根据b1所述的装置,所述优先级设置单元,包括:判断子单元,用于判断与所述交互场景相匹配的语料库是否唯一;优先级提升子单元,用于当与所述交互场景相匹配的语料库唯一时,将所述唯一的语料库的优先级提升为最高。

b3、根据b2所述的装置,所述优先级设置单元,包括:关联度确定子单元,用于当与所述交互场景相匹配的语料库不唯一时,确定查找到的每个语料库与所述交互场景的关联度;优先级设置子单元,用于按照优先级与所述关联度成正比的方式,设置每个语料库的优先级。

b4、根据b2或b3所述的装置,所述语料库包括以下至少一种:人机交互系统的工作模式;人机交互系统中控制指令集;人机交互系统中的语义集,其中所述语义集用于识别用户语音输入时的语音。

b5、根据b1所述的装置,所述感知信息,包括以下至少一项:所述待测环境的环境特征参数;所述待测环境中用户的生理特征参数;所述待测环境中用户的行为特征参数;在所述待测环境中的设备特征参数。

b6、根据b5所述的装置,所述交互场景预测单元,包括:分析子单元,用于获取同一类型的多个特征参数或者不同类型的多个特征参数进行综合分析,所述类型包括:环境特征参数、生理特征参数、行为特征参数和设备特征参数;交互场景确定子单元,根据综合分析的结果确定交互场景。

b7、根据b5所述的装置,所述交互场景预测单元,包括:环境确定子单元,用于根据所述环境特征参数确定周围环境;意图确定子单元,用于根据所述生理特征参数、所述行为特征参数和所述设备特征参数中的至少一种参数确定用户意图;交互场景确定子单元,用于基于所述周围环境和所述用户意图预测用户的交互场景。

b8.根据b1所述的装置,所述装置进一步包括:操作信息获取单元,用于获取用户输入操作信息;指令转换单元,用于基于所述语料库的优先级转换所述用户输入操作信息为控制指令。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1