语音连续识别方法、装置及智能开关面板与流程

1.本技术涉及智能家居技术领域，例如涉及一种语音连续识别方法、装置及智能开关面板。


背景技术：

2.随着智能家居产业的快递发展，大量的智能网络设备结点被部署到住宅中(常见的如灯带、传感器、门锁等)，智能开关面板是指利用控制板和电子元器件的组合及编程，以实现电路智能开关控制各智能末端节点控制的单元设备，是家庭本地节点设备控制的入口。
3.智能开关面板带屏，且语音交互功能是一个高频应用场景，作为智能家居场景的快捷交互入口，需通过声音检测设备检测环境中的语音信号，这将导致主处理器不能够进入到低功耗(休眠)状态。
4.为解决系统功耗与vad检测之间的矛盾，通常采用以下两种方法：1、外挂一个专用于语音检测的语音激活检测(voice activation detection，vad)芯片，该芯片是一颗专用的微控制单元(microcontroller unit，mcu)芯片，有自己的中央处理器(central processing unit，cpu)/随机存取存储器(random access memory，ram)/闪存(flash)/音频(audio)子系统；2、使用软件提取环境语音信息做判定；利用智能开关面板系统上的audio模块来拾取信号，使用主控上的cpu/ram资源作本地运算。
5.在实现本技术实施例的过程中，发现相关技术中至少存在如下问题：
6.由于86面板(智能开关面板型号)的尺寸限制及语音识别需要实时连续检测语音信号，系统无法休眠导致目前市面上的采用软解算法方案的产品面板功耗及温度过高，用户体验不佳。


技术实现要素：

7.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
8.本技术实施例提供了一种语音连续识别方法、装置及智能开关面板，以降低语音连续识别过程中的能耗，进而提高了用户的使用体验。
9.在一些实施例中，语音连续识别方法包括：
10.处理器的风险执行环境(rich execution environment，ree)申请缓存，所述ree所有进程冻结，使所述ree进入休眠；所述处理器的可信执行环境(trusted execution environment，tee)响应于smc中断，执行vad检测例程；其中，所述ree和所述tee为通过trustzone划分的；所述tee读取所述声音采集设备的语音数据；在所述语音数据为非环境噪音的情况下，所述tee将所述语音数据缓存至所述ree申请的缓存；所述tee调用smc中断，唤醒内核(kernel)；所述kernel执行返回(resume)操作；所述ree调用应用程序在已申请的
缓存中读取所述语音数据，并解析以获得解析结果。
11.可选地，在所述ree进入休眠之前，所述语音连续识别方法还包括：降低所述处理器的运行频率，降低内存的运行频率。
12.可选地，在唤醒kernel之后，所述语音连续识别方法还包括：提高所述处理的运行频率，提高所述内存的运行频率。
13.在一些实施例中，语音连续识别方法包括：处理器的ree冻结所有进程；响应于smc中断，所述处理器的tee执行vad检测例程；其中，所述ree和所述tee为通过trustzone划分的；tee读取所述声音采集设备检测到的声音数据；在所述声音数据为非环境噪音的情况下，所述tee解析所述声音数据，并获得解析结果；所述tee调用smc中断，唤醒kernel；所述kernel执行resume操作；所述ree调用应用程序读取所述声音数据的解析结果。
14.可选地，在tee执行vad检测例程的同时，语音连续识别的方法还包括：实时监听唤醒源中断；在监听到唤源中断的情况下，所述tee执行smc中断，唤醒kernel；所述kernel执行resume操作；所述ree调用相关应用程序执行所述源中断。
15.可选地，在所述tee读取所述声音采集设备检测到的声音数据之前，语音连续识别的方法还包括：所述tee配置所述语音检测设备的相关参数；或者，所述ree配置所述语音检测设备的相关参数。
16.可选地，所述语音检测设备配置有硬件开关；所述tee配置所述语音检测设备的相关参数，包括：连通所述硬件开关；所述ree配置所述语音检测设备的相关参数，包括：连通所述硬件开关。
17.可选地，在ree执行vad检测例程后，语音连续识别方法还包括：调整gatei/dcache，提高所述vad检测例程的检测性能。
18.可选地，在所述ree冻结所有进程之前，语音连续识别方法还包括：所述kernel执行暂停(suspend)进程。
19.在一些实施例中，语音连续识别装置包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行前述实施例提供的语音连续识别方法。
20.在一些实施例中，智能开关面板包括前述实施例提供的语音连续识别装置。
21.本技术实施例提供的语音连续识别方法、装置及智能开关面板，可以实现以下技术效果：
22.在处理器的利用trustzone划分的两个部分中，ree的能耗较高，tee的能耗较低，本技术利用tee执行vad检测例程，实现语音连续检测的功能，并且在tee执行vad检测例程的过程中，ree休眠，降低了系统能耗，提高了用户使用体验。
23.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
24.一个或一个以上实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件视为类似的元件，并且其中：
25.图1是本技术实施例提供的一种语音连续识别方法的流程示意图；
26.图2是本技术实施例提供的一种语音连续识别方法的流程示意图；
27.图3是本技术实施例提供的一种语音连续识别方法的流程示意图；
28.图4是本技术实施例提供的一种语音连续识别方法的流程示意图；
29.图5是本技术实施例提供的一种语音连续识别装置的示意图。
具体实施方式
30.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
31.本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
32.除非另有说明，术语“多个”表示两个以上。
33.本技术实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
34.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
35.图1是本技术实施例提供的一种语音连续识别方法的流程示意图。
36.结合图1所示，语音连续识别方法包括：
37.s101、处理器的ree申请缓存，ree所有进程冻结，使ree进入休眠。
38.ree冻结所有线程，有利于降低处理器能耗。
39.可选地，在ree冻结所有进程之前，该语音连续识别方法还包括以下步骤：kernel执行suspend进程。执行suspend进程以使ree进入休眠。
40.可选地，在ree进入休眠之前，语音连续识别方法还包括：降低处理器的运行频率，降低内存的运行频率。降低了处理器能耗。
41.可选地，在ree进入休眠之前，语音连续识别方法还包括：外围vcc下电。降低了处理器能耗。
42.之后psci/smc陷入到tee。
43.s102、处理器的tee响应于smc中断，执行vad检测例程。
44.其中，ree和tee为通过trustzone划分的。
45.可选地，在ree执行vad检测例程后，语音连续检测的方法还包括如下步骤：调整gatei/dcache，提高vad检测例程的检测性能，例如响应时间等，使vad检测例程的性能达到外置vad检测的程度，例如tee的vad检测例程的响应时间小于或等于外置vad检测例程的响应时间，这样维持甚至提高用户的使用体验。
46.s103、tee读取声音采集设备的语音数据。
47.可选地，在tee读取声音采集设备检测到的声音数据之前，语音连续识别方法还包括：tee配置语音检测设备的相关参数；或者，ree配置语音检测设备的相关参数。
48.进一步地，语音检测设备配置有硬件开关；tee配置语音检测设备的相关参数，包
括：连通硬件开关；ree配置语音检测设备的相关参数，包括：连通硬件开关。这样，可在硬件层面提高系统的安全性。
49.s104、在语音数据为非环境噪音的情况下，tee将语音数据缓存至ree申请的缓存。
50.在该步骤中，可利用其他现有技术判断语音数据是否为环境噪音，本技术实施例在此不做赘述。
51.s105、tee调用smc中断，唤醒kernel。
52.此时ree退出休眠状态。
53.在唤醒kernel之后，语音连续识别方法还包括以下步骤：提高处理的运行频率，提高内存的运行频率。以使ree以较快的速度读取并解析语音数据以获得解析结果。
54.s106、kernel执行resume操作。
55.s107、ree调用应用程序在已申请的缓存中读取语音数据，并解析以获得解析结果。
56.在处理器的利用trustzone划分的两个部分中，ree的能耗较高，tee的能耗较低，本技术利用tee执行vad检测例程，实现语音连续检测的功能，并且在tee执行vad检测例程的过程中，ree休眠，降低了系统能耗。
57.图2是本技术实施例提供的一种语音连续识别方法的流程示意图。
58.结合图2所示，语音连续识别方法包括：
59.s201、kernel执行suspend进程。
60.s202、ree配置语音检测设备的相关参数。
61.s203、ree申请缓存。
62.s204、ree所有进程冻结，外围vcc下电，降低处理器和内存的运行频率。
63.s205、ree休眠。
64.s206、响应smc中断，tee执行vad检测例程。
65.s207、调整gatei/dcache，提高vad检测例程的检测性能。
66.s208、tee读取声音采集设备的语音数据。
67.s209、判断语音数据是否为环境噪音；若是，则执行s208；否则执行s210。
68.s210、tee将语音数据缓存至ree申请的缓存。
69.s211、tee调用smc中断，唤醒kernel。
70.s212、kernel执行resume操作。
71.s213、ree调用应用程序在已申请的缓存中读取语音数据，并解析以获得解析结果。
72.图3是本技术实施例提供的一种语音连续识别方法的流程示意图。
73.结合图3所示，语音连续识别方法包括：
74.s301、处理器的ree冻结所有进程。
75.可选地，在ree冻结所有进程之前，该语音连续识别方法还包括以下步骤：kernel执行suspend进程。执行suspend进程以使ree进入休眠。
76.可选地，在ree进入休眠之前，语音连续识别方法还包括：外围vcc下电。降低了处理器能耗。
77.之后psci/smc陷入到tee。
78.s302、响应于smc中断，处理器的tee执行vad检测例程。
79.其中，ree和tee为通过trustzone划分的。
80.可选地，在ree执行vad检测例程后，语音连续检测的方法还包括如下步骤：调整gatei/dcache，提高vad检测例程的检测性能，例如响应时间等，使vad检测例程的性能达到外置vad检测的程度，例如tee的vad检测例程的响应时间小于或等于外置vad检测例程的响应时间，这样维持甚至提高用户的使用体验。
81.s303、tee读取声音采集设备检测到的声音数据。
82.可选地，在tee读取声音采集设备检测到的声音数据之前，语音连续识别方法还包括：tee配置语音检测设备的相关参数；或者，ree配置语音检测设备的相关参数。
83.进一步地，语音检测设备配置有硬件开关；tee配置语音检测设备的相关参数，包括：连通硬件开关；ree配置语音检测设备的相关参数，包括：连通硬件开关。这样，可在硬件层面提高系统的安全性。
84.s304、在声音数据为非环境噪音的情况下，tee解析声音数据，并获得解析结果。
85.在该步骤中，可利用其他现有技术判断语音数据是否为环境噪音，本技术实施例在此不做赘述。
86.在tee获得解析结果后，缓存该解析结果。
87.s305、tee调用smc中断，唤醒kernel。
88.此时ree退出休眠状态。
89.s306、kernel执行resume操作。
90.s307、ree调用应用程序读取声音数据的解析结果。
91.在处理器的利用trustzone划分的两个部分中，ree的能耗较高，tee的能耗较低，本技术利用tee执行vad检测例程，实现语音连续检测的功能，并且在tee执行vad检测例程的过程中，ree休眠，降低了系统能耗。
92.另外，在tee执行vad检测例程的同时，语音连续识别方法还包括：实时监听唤醒源中断；在监听到唤源中断的情况下，tee执行smc中断，唤醒kernel；kernel执行resume操作；ree调用相关应用程序执行源中断。以使ree可随时响应并处理器其他工况。
93.图4是本技术实施例提供的一种语音连续识别方法的流程示意图。
94.结合图4所示，语音连续识别方法包括：
95.s401、kernel执行suspend进程。
96.s402、ree配置语音检测设备的相关参数。
97.s403、ree所有进程冻结，外围vcc下电。
98.s404、ree休眠。
99.s405、响应smc中断，tee执行vad检测例程。
100.s406、调整gatei/dcache，提高vad检测例程的检测性能。
101.s407、tee读取声音采集设备的语音数据。
102.s408、判断语音数据是否为环境噪音；若是，则执行s407；否则执行s409。
103.s409、tee解析声音数据，并获得解析结果。
104.s410、tee调用smc中断，唤醒kernel。
105.s411、kernel执行resume操作。
106.s412、ree调用应用程序读取声音数据的解析结果，或者，调用相关应用程序处理唤醒源中断。
107.s413、判断是否出现唤醒源中断；若是，则执行s410；否则继续执行s405。
108.在一些实施例中，语音连续识别装置包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行前述实施例提供的语音连续识别方法。
109.图5是本技术实施例提供的一种语音连续识别装置的示意图。结合图5所示，语音连续识别装置包括：
110.处理器(processor)51和存储器(memory)52，还可以包括通信接口(communication interface)53和总线54。其中，处理器51、通信接口53、存储器52可以通过总线54完成相互间的通信。通信接口53可以用于信息传输。处理器51可以调用存储器52中的逻辑指令，以执行前述实施例提供的语音连续识别方法。
111.此外，上述的存储器52中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
112.存储器52作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本技术实施例中的方法对应的程序指令/模块。处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。
113.存储器52可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器。
114.本技术实施例提供了一种智能开关面板，包含前述实施例提供的语音连续识别装置。
115.本技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行前述实施例提供的语音连续识别方法。
116.本技术实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行前述实施例提供的语音连续识别方法。
117.上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
118.本技术实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或一个以上指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术实施例中方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机读取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
119.以上描述和附图充分地示出了本技术的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本技术中
使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
120.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
121.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本技术实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
122.附图中的流程图和框图显示了根据本技术实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。