一种可说视窗操控方法、装置及电子设备与流程

1.本公开涉及语音控制领域，具体地，涉及一种可说视窗操控方法、装置及电子设备。


背景技术：

2.可说视窗是指界面上能看到的视图都可以用语音输入的方式来代替用户触摸操作，这样的视图称为可说视窗。
3.面对目前越来越丰富、越来越复杂的座舱娱乐系统，用户在车辆行驶途中，由于双手需要掌控方向盘，在需要操控座舱系统界面功能时，无法通过双手触摸座舱系统屏幕的操作来实现，而方控硬按键功能有限，在很多场景下都无法满足用户需求。
4.为了方便用户控制，语音控制座舱功能应运而生，可说视窗的出现在很大程度上解决了用户在开车过程中，无法通过双手操控座舱界面的痛点。但目前很多语音操控座舱功能只能简单操控某些预设功能，还无法满足用户的使用需求。


技术实现要素：

5.本公开的目的是提供一种可说视窗操控方法、装置及电子设备，用于缓解现有技术中存在很多语音操控座舱功能只能简单操控某些预设功能，还无法满足用户的使用需求的技术问题。
6.为了实现上述目的，本公开第一方面提供一种可说视窗操控方法，所述方法包括：
7.在可说视窗的用户界面可见时，解析对当前可见的用户界面进行操控所需要的热词，并进行热词注册；
8.检测并解析用户通过语音输入的语音指令，并判断所述语音指令是否命中注册的热词；
9.若命中，则执行所述用户界面中相应的事件。
10.可选的，所述方法还包括：在所述用户界面不可见时，将当前注册的热词进行注销。
11.可选的，在注册热词时，将热词通过vrservice提供的接口注册到vrservice的热词集合中；在注销热词时，将热词通过vrservice提供的接口进行注销。
12.可选的，在定义热词时，所述用户界面中的控件元素所包含的热词不存在相同或者词义相近的热词。
13.本公开第二方面提供一种可说视窗操控装置，包括：
14.热词注册模块，用于在可说视窗的用户界面可见时，解析对当前可见的用户界面进行操控所需要的热词，并进行热词注册；
15.热词判断模块，用于检测并解析用户通过语音输入的语音指令，并判断所述语音指令是否命中注册的热词；
16.事件执行模块，用于在命中注册的热词时，执行所述用户界面中相应的事件。
17.本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
18.本公开第四方面提供一种电子设备，包括：
19.存储器，其上存储有计算机程序；
20.处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。
21.本公开实施例中，在可说视窗的用户界面可见时，解析对当前可见的用户界面进行操控所需要的热词，并进行热词注册；检测并解析用户通过语音输入的语音指令，并判断所述语音指令是否命中注册的热词；若命中，则执行所述用户界面的对应事件。本公开实施例中的方案实现灵活，功能集成简单，只需简单的配置就能满足大多数使用场景，从而缓解现有技术中存在很多语音操控座舱功能只能简单操控某些预设功能，还无法满足用户的使用需求的技术问题。
22.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
23.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
24.图1是根据一示例性实施例示出的可说视窗系统的示意图；
25.图2是根据一示例性实施例示出的可说视窗操控方法的流程示意图；
26.图3是根据一示例性实施例示出的另一可说视窗操控方法的流程示意图；
27.图4是根据一示例性实施例示出的可说视窗操控装置的框图；
28.图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
29.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
30.本说明书中，首先对可说视窗系统进行说明，如图1所示，可说视窗系统中包含三个部分：vrcloud(云端)、vrservice(应用)和app(view)。
31.vrcloud，主要负责用户语音识别检索，以及用户语音数据采集。
32.vrservice，主要负责通过网络与vrcloud通信，接受vrcloud识别结果，以及用户语音意图处理和命令分发。
33.app(view)，主要用于界面显示。
34.本公开实施例中，用户通过mic(麦克风microphone的缩写)将语音输入，vrservice解析用户语音输入，并通过vrcloud进行云端校正，分析出用户正确的语音指令；app解析view控制需要的热词(也称为关键词)，并通过vrservice进行热词注册，当vrservice解析到用户语音输入并命中该app中view所注册的热词，则执行view相应的事件，例如点击、滑动等。
35.如图2所示，本公开实施例中的可说视窗操控方法包括以下步骤。
36.步骤201，在可说视窗的用户界面可见时，解析对当前可见的用户界面进行操控所
需要的热词，并进行热词注册。
37.步骤202，检测并解析用户通过语音输入的语音指令，并判断所述语音指令是否命中注册的热词。
38.步骤203，若命中，则执行所述用户界面中相应的事件。
39.本公开实施例中的方案实现灵活，功能集成简单，只需简单的配置就能满足大多数使用场景。
40.接下来，结合图3对本公开实施例中的方案进行说明，该方案包括以下步骤。
41.步骤301，绑定vrservice服务；
42.步骤302，判断是否绑定成功；若绑定成功，则执行步骤303；
43.步骤303，app当前显示界面的热词注册；
44.vrservice需要提供给应用注册热词接口，在注册热词时，可以批量注册热词或者注册单个热词；app开发者需要在用户界面可见时，将热词通过vrservice提供的接口注册到vrservice热词集合中；同时，在用户界面不可见时，将热词通过vrservice提供的接口进行注销。对应的，在注销热词时，可以批量反注册热词或者反注册单个热词。
45.本公开实施例中的方案提供了热词注册接口、注销接口，在需要使用时注册，不需要时注销，很大程度上可以减少热词太多导致的冲突场景以及无用的性能消耗。
46.本公开实施例中，由于语音服务是通过热词进行控件绑定的，所以在定义热词的时候需要保证可见页面中的控件元素所包含的热词不存在相同或者词义相近的热词，使得语音服务能够准确区分用户意图，从而达到用户预期意图。
47.步骤304，检测用户语音输入；
48.在进行语音识别时，依赖现有成熟的语音识别方案已能满足所有用户使用场景，同时需要语音识别引擎具备连续对话功能。
49.步骤305，vrservice解析语音命令；
50.步骤306，判断是否命中app注册的热词；
51.步骤307，执行app中view相应事件；
52.本公开实施例中，根据view类型的不同，需要给不同类型的view定义不同的事件类型，例如开关类型的switch，滑动类型的scroll，以及普通点击类型的click(注：默认为click类型)、列表类型的list等，用于vrservice区分事件类型，从而分发给不同的处理逻辑代理。
53.在执行view事件时，例如点击事件，vrservice回调给到匹配结果的view，并调用view的执行点击操作performclick方法，完成点击按钮的操作。又例如在执行scrollview的滑动事件时，处理匹配用户意图热词的事件，由scrollview执行相应的翻页操作，不同热词分别对应向上翻页、向下翻页或者默认向下翻页。
54.基于同一发明构思，如图4所示，本公开实施例还提供一种可说视窗操控装置400，包括：热词注册模块401，用于在可说视窗的用户界面可见时，解析对当前可见的用户界面进行操控所需要的热词，并进行热词注册；热词判断模块402，用于检测并解析用户通过语音输入的语音指令，并判断所述语音指令是否命中注册的热词；事件执行模块403，用于在命中注册的热词时，执行所述用户界面中相应的事件。
55.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
56.图5是根据一示例性实施例示出的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(i/o)接口504，以及通信组件505中的一者或多者。
57.其中，处理器501用于控制该电子设备500的整体操作，以完成上述的可说视窗操控方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb-iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：wi-fi模块，蓝牙模块，nfc模块等等。
58.在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述可说视窗操控方法。
59.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的可说视窗操控方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的可说视窗操控方法。
60.在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的可说视窗操控方法的代码部分。
61.以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
62.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
63.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。