数据处理方法、装置、电子设备及计算机存储介质与流程

文档序号:27823957发布日期:2021-12-07 19:18阅读:99来源:国知局
数据处理方法、装置、电子设备及计算机存储介质与流程

1.本技术涉及电子信息技术领域,尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。


背景技术:

2.为了使电子设备具有更强大的运算能力,更快的处理速度,很多电子设备都使用多核处理器,电子设备要进行的运算都在多核处理器上实现。这样的涉及架构逻辑简单,容易实现,多核处理器能够并行处理数据,提高了运算能力。但是,在一些场景下,多核处理器对于主处理器要求较高,需要比较强的计算能力,导致电子设备的硬件成本较高。


技术实现要素:

3.有鉴于此,本技术实施例提供一种应用于多处理器系统的数据处理方案,以解决上述部分或全部问题。
4.根据本技术实施例的第一方面,提供了一种应用于多处理器系统的数据处理方法,应用于具有至少一语音数字信号处理器与至少一主控制器的多处理器系统,所述数据处理方法包括:如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
5.根据本技术实施例的第二方面,提供了一种应用于多处理器系统的数据处理方法,应用于具有至少一视频信号处理器与至少一主控制器的多处理器系统,所述数据处理方法包括:如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
6.根据本技术实施例的第三方面,提供了一种应用于多处理器系统的数据处理方法,应用于具有至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器的多处理器系统,所述数据处理方法包括:如待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
7.根据本技术实施例的第四方面,提供了一种应用于多处理器系统的数据处理装置,应用于具有至少一语音数字信号处理器与至少一主控制器的多处理器系统,所述数据处理装置包括:第一处理模块,用于如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;第二处理模块,用于如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
8.根据本技术实施例的第五方面,提供了一种应用于多处理器系统的数据处理装置,应用于具有至少一视频信号处理器与至少一主控制器的多处理器系统,所述数据处理装置包括:第三处理模块,用于如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;第四处理模块,用于如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
9.根据本技术实施例的第六方面,提供了一种应用于多处理器系统的数据处理装置,应用于具有至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器的多处理器系统,所述数据处理装置包括:第五处理模块,用于如待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;第六处理模块,用于如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;第七处理模块,用于如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
10.根据本技术实施例的第七方面,提供了一种物联网设备,包括多处理器系统,所述多处理器系统具有至少一语音数字信号处理器与至少一主控制器,如物联网设备的待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;如物联网设备的待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
11.根据本技术实施例的第八方面,提供了一种物联网设备,所述物联网设备包括多处理器系统,所述多处理器系统具有至少一视频信号处理器与至少一主控制器,如物联网设备的待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如物联网设备的待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
12.根据本技术实施例的第九方面,提供了一种物联网设备,包括多处理器系统,所述多处理器系统具有至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器,如物联网设备的待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;如物联网设备的待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如物联网设备的待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
13.根据本技术实施例的第十方面,提供了一种智能音箱,包括至少一语音数字信号处理器与至少一主控制器,如智能音箱的待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如智能音箱的待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
14.根据本技术实施例的第十一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面所述的数据处理方法对应的操作。
15.根据本技术实施例的第十二方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的数据处理方法。
16.根据本技术实施例提供的方案,通过如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行语音数据计算处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的语音数据处理转移至语音数字信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
18.图1为根据本技术提供的一种网络架构的示意图;
19.图2a为根据本技术实施例一的一种多处理器系统的框架示意图;
20.图2b为本技术实施例一提供的一种应用于多处理器系统的数据处理方法流程图;
21.图2c为本技术实施例一提供的一种场景示意图;
22.图3a为本技术实施例二提供的一种应用于多处理器系统的数据处理方法流程图;
23.图3b为本技术实施例三提供的一种场景示意图;
24.图4a为本技术实施例三提供的一种应用于多处理器系统的数据处理方法流程图;
25.图4b为本技术实施例三提供一种场景示意图;
26.图5为本技术实施例四提供的一种应用上述方法的多处理器系统的框架示意图;
27.图6为本技术实施例五提供的一种应用上述方法的多处理器系统的框架示意图;
28.图7a为根据本技术实施例六的一种多处理器系统的框架示意图;
29.图7b为本技术实施例六提供的一种应用于多处理器系统的数据处理方法流程图;
30.图7c为本技术实施例六提供的一种场景示意图;
31.图8a为根据本技术实施例七的一种多处理器系统的框架示意图;
32.图8b为本技术实施例七提供的一种应用于多处理器系统的数据处理方法流程图;
33.图8c为本技术实施例七提供的一种场景示意图;
34.图9为本技术实施例八的一种应用于多处理器系统的数据处理装置的结构框图;
35.图10为本技术实施例九的一种应用于多处理器系统的数据处理装置的结构框图;
36.图11为本技术实施例十的一种应用于多处理器系统的数据处理装置的结构框图;
37.图12为根据本技术的一种电子设备的结构示意图。
具体实施方式
38.为了使本领域的人员更好地理解本技术实施例中的技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术实施例一部分实施例,而不是全部的实施例。基于本技术实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本技术实施例保护的范围。
39.下面结合本技术实施例附图进一步说明本技术实施例具体实现。
40.图1为本技术的一个实施例的数据处理方法所使用的网络架构的示意图。如图1所示,用户20可以通过人机交互界面11对电子设备10进行控制,当然,也可以通过语音等对电子设备10进行控制。电子设备10可以为嵌入式设备或物联网设备等。
41.所述电子设备10可以包括多个处理器,例如图1中的处理器1、处理器2,多个处理器可以相同,也可以不同,此外,还可以包括通信接口12、音频采集模块13。
42.应理解,音频采集模块13可以采集用户的语音数据。音频采集模块可以包括麦克风,麦克风具体可以包括一个独立的麦克风,或者多个麦克风组成的麦克风阵列。
43.应理解,通信接口12可以将对用户20输入至电子设备10的语音数据发送到服务端40进行语音识别。上述的语音数据仅仅为示例性的,用户20针对电子设备10的操作指令还
可以为其他形式的消息。例如,诸如指纹识别的生物特征信息指令等。上述的服务端40具有的语音识别功能仅仅为示例性的,例如,服务端40还可以包括对上述的生物特征信息进行识别的识别服务器。相应地,服务端40还包括存储装置41。存储装置41可以存储诸如语音识别样本、生物特征信息识别样本等。还应理解,用户20在人机交互界面输入的操作指令还可以经由电子设备10本地进行识别而做出响应。例如,上述的操作指令可以包括但不限于手势指令、触控指令、流设备输入指令、姿态指令、远程控制指令等。
44.上述的服务端40可以通过诸如互联网的网络30与电子设备10进行通信,以便进行控制消息的传输或数据的传输。本技术实施例对此不作限定。上述的网络30仅仅为示例性的,可替代地,网络30还可以为诸如移动网络或其他异构网络,来替代上述的互联网。在一些实施例中,服务端40可以绕过上述网络30与电子设备进行端到端的通信,或者经由其他网络与电子设备进行通信。
45.应理解,上述仅仅为示例性的,本技术实施例对此不作限定。下面将具体说明和描述本技术实施例的各种实现方式,应理解,本技术实施例的数据处理方法可以适用于上述的网络架构,也可以适用于其他的网络架构。
46.通常,为了使电子设备具有更强大的运算能力,电子设备中,例如智能音箱中,可以包含多个处理器(或者多核处理器)。例如,一个电子设备中可以包含多个中央处理器(central processing unit,cpu),组成一个多处理器系统,多个中央处理器中包括一个用于统筹管理的主处理器,但是,这对于主处理器要求很高,尤其需要较高的计算能力,导致电子设备的硬件成本较高。
47.为了降低硬件成本,本技术中,提供了一种具有至少一语音数字信号处理器与至少一主控制器的多处理器系统。
48.实施例一
49.如图2a所示,图2a为本技术实施例一提供的一种多处理器系统的框架示意图,图2a中示出了至少一个主控制器和至少一个语音数字信号处理器,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理。
50.由于语音数字信号处理器处理语音数据的运算速度高于主控制器处理语音数据的运算速度,因此,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行语音数据计算处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的语音数据处理转移至了语音数字信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
51.上述图2a所示的多处理器系统只是示例性示意,并不代表本技术局限于此。
52.结合上述图2a所示的多处理器系统,本技术实施例一提供一种应用于多处理器系统的数据处理方法,该方法应用于具有至少一语音数字信号处理器与至少一主控制器的多处理器系统,具体的,可以应用于如图2a所示的多处理器系统。
53.下面通过具体的方法步骤,对本技术的方案进行说明。
54.图2b为本技术实施例一提供的一种应用于多处理器系统的数据处理方法流程图,
如图2b所示,该方法包括以下步骤:
55.步骤201、如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理。
56.待处理任务可以为等待多处理器系统进行处理的任务,待处理任务可以由语音数字信号处理器或者主处理器生成,也可以由电子设备的其他模块生成。待处理任务可以例如,进行语音交互控制、语音播放控制、物联网(internet of things,iot)控制、语音降噪处理、唤醒操作、回声抵消处理、语音活动检测(voice activity detection,vad)等的任务,本实施例对此不进行限定。
57.本技术中待处理任务可以包括两类,分别为本步骤中的语音数据处理和后续步骤中的逻辑处理,并不代表本技术局限于此,待处理任务也可以包括其他类型的任务,本技术对此并不进行限定。
58.本步骤中,语音数据处理可以例如语音降噪处理、唤醒操作、回声抵消处理、语音活动检测等,当然,这并不代表本技术局限于此。
59.在具体进行划分时,可以将涉及浮点型数据的处理确定为语音数据处理,或者,可以将对语音本身进行的处理确定为语音数据处理(例如,处理的对象为一段音频本身,而并非音频的标识、音频的名称等),这并不代表本技术局限于此,本技术中,也可以通过其他方法确定语音数据处理。
60.当确定为待处理任务为语音数据处理后,由语音数字信号处理器进行语音数据计算处理,具体可以包括:按照待处理任务的处理请求中的参数,确定对应的算法,并通过确定的算法进行语音数据计算处理。
61.语音数字信号处理器可以为适用于处理语音数据的处理器,例如数字信号处理器(digital signal processor,dsp)等。dsp可以接收模拟信号,转换为0或1的数字信号,再对数字信号进行修改、删除或强化等处理,为了尽量避免失真,语音数据一般为模拟信号,因此dsp是一种较为适合处理语音数据的处理器,当然,这并不代表本技术局限于此。
62.语音数据可以包括采集到的语音数据、待播放的音频数据等。
63.步骤202、如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
64.逻辑处理可以例如语音交互控制、语音播放控制、物联网(internet of things,iot)控制等,当然,这并不代表本技术局限于此。
65.在具体进行划分时,可以将涉及逻辑判断或者统筹控制的处理确定为逻辑处理,或者,可以将除对语音本身进行的处理之外的处理确定为逻辑处理,当然,这并不代表本技术局限于此,本技术中,也可以通过其他方法确定语音数据处理。
66.当确定为待处理任务为逻辑处理后,由主控制器进行逻辑控制处理,具体可以包括:按照待处理任务的处理请求中的参数,由主处理器执行对应的逻辑判断,或者由主处理器进行对应的控制操作,例如控制扬声器播放语音数据等。
67.本技术中,主控制器可以包括arm处理器、cpu处理器等。
68.下面结合具体的使用场景,对本技术的方案进行说明。
69.参见图2c,获取待处理任务后,可以确定待处理任务是否为语音数据处理或者逻辑处理;如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
70.例如以智能音箱为例,对上述数据处理过程进行说明。智能音箱中可以包括主处理器和语音数字信号处理器,用户可以向智能音箱输入的语音数据可以为“打开卧室的灯”,智能音箱中的主控制器确定有语音数据的输入后,可以生成语音活动检测任务。主处理器判断语音活动检测任务为语音数据处理,则可以由语音数字信号处理器进行语音活动检测。语音数字信号处理器可以告知主处理器的语音活动检测结果。
71.主处理器接收到语音活动检测结果后,判断需要与用户进行交互,则可以生成语音交互控制任务,主处理器判断语音交互控制任务为逻辑处理,则可以由主处理器进行语音交互控制对应的逻辑控制处理。
72.本技术实施例提供的方案,由于语音数字信号处理器处理语音数据的运算速度高于主控制器处理语音数据的运算速度,因此,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行语音数据计算处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的语音数据处理转移至了语音数字信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
73.本实施例的方法可以由任意适当的具有数据处理能力的电子设备执行,包括但不限于:物联网设备、嵌入式设备、智能设备、服务器、移动终端(如手机、pad等)和pc机等。所述智能设备括但不限于智能交通设备、智能家居设备、公共安全设备等。上述的智能家居设备包括但不限于智能空调、智能灯泡、智能桌椅、智能电视、智能音箱、智能仪器、智能摄像头、智能窗户传感器、智能门铃、智能探测器、其他智能安全设备等。本技术实施例对此不做限定。
74.实施例二
75.图3a为本技术实施例二提供的一种应用于多处理器系统的数据处理方法流程图,若所述语音数据处理包括唤醒操作,则如图3所示,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理可以包括以下步骤:
76.步骤301、令所述主控制器进入休眠状态。
77.主控制器进入休眠状态,是指主控制器关闭其上的一切不必要的硬件以求节省电量。
78.一般情况下,若由主控制器进行语音数据处理,则主控制器需要时刻保持对唤醒操作的监听,例如时刻保持对麦克风输入的监听,来确定是否用户语音输入了唤醒词“hi,**”。由此,导致主控制器不能进入休眠状态,使得主控制器的耗电量高。
79.本技术中,语音数据处理包括唤醒操作,即由语音数字信号处理器保持监听,并在监听到唤醒词后进行对应的唤醒操作。由此,无需主控制器进行监听,使得可以令主控制器进行休眠状态。
80.步骤302、当待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒。
81.由于一般情况下语音数字信号处理器的耗电量小于主控制器的耗电量,因此,令主控制器进入休眠,并当待处理任务为唤醒操作时,可以由所述语音数字信号处理器对所述主控制器进行唤醒,使得主控制器退出休眠状态。
82.例如,语音数字信号处理器可以监听麦克风,来获取采集的用户的音频,之后可以进行语音识别,确定用户的音频中是否包括唤醒词,例如“hi”等,若包括,则确定待处理任务为唤醒操作,并唤醒主处理器。
83.步骤303、令所述主控制器进行逻辑控制处理。
84.主控制器被唤醒后,可以执行逻辑控制处理。例如,主控制器被唤醒后,控制扬声器向用户播放“你好,请问需要什么服务”,使得用户得知唤醒词被识别,并可以通过主控制器进行语音交互。
85.另外需要说明的是,若多处理器系统中还包括其他的处理器,例如视频信号处理器等,则,可以令其他的处理器也处于休眠状态,并由主控制器对其他的处理器进行唤醒。
86.图3b为本技术实施例三提供的一种场景示意图。如图3b所示,以智能音箱为例,用户向智能音箱的麦克风输入语音;语音数字信号处理器监听到麦克风的输入后,确定进行唤醒操作,然后可以唤醒主控制器;主控制器可以被唤醒后,可以开始进行逻辑控制处理。
87.本技术提供的方案,由于如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理,且所述语音数据处理包括唤醒操作,由此,可以令主控制器进入休眠状态,并由语音数字信号处理器执行唤醒操作来唤醒主控制器,然后令主控制器逻辑控制处理,由于一般情况下语音数字信号处理器的耗电量小于主控制器的耗电量,因此,通过本实施例提供的方案,可以进一步降低整个多处理器系统保持低功耗运行状态时的功耗。
88.实施例三
89.图4a为本技术实施例三提供的一种应用于多处理器系统的数据处理方法流程图,本技术中,语音数字信号处理器可以建立用于存储待处理数据的循环数据池,则如图4a所示,如待处理任务为语音数据处理,所述数据处理方法可以包括:
90.步骤401、令所述主控制器进入休眠状态。
91.本步骤的具体实现详见上述步骤301,在此不在赘述。
92.步骤402、如待处理任务为唤醒操作,则所述语音数字信号处理器对所述主控制器进行唤醒,并建立循环数据池,将待处理数据保存至所述循环数据池中。
93.具体对主控制器进行唤醒的方法可参考相关技术,在此不再赘述。
94.循环数据池主要用于存放数据。本技术中,建立循环数据池具体可以为:分配一个存储空间作为数据池,并允许存储空间可以供主控制器和语音数字信号处理器共享,存储空间可以用于存储进行语音识别处理过程中所需的数据。由于数据库中的数据可被语音数字信号处理器或者主控制器进行循环读取,因此,将建立的数据池称为循环数据池。若多处理器系统中还包括其他的处理器,例如视频信号处理器等,则,其他的处理器也可以读取循环数据池中的数据。
95.本步骤中,建立循环数据池后,可以将唤醒操作对应的数据作为待处理数据保存至所述循环数据池中。
96.例如,用户输入的语音为“hi,**,可以帮我搜一下最近的新歌吗?”,则,语音数字信号处理器可以确定出用户输入的音频中的“hi,**”与预存的唤醒词的音频相匹配,由此,可以对所述主控制器进行唤醒,并建立循环数据池,并将用户输入的音频作为待处理数据保存至循环数据池中。当然,并不代表本技术局限于此。
97.在其他处理过程中,例如,语音交互的过程、歌曲播放过程、物联网控制过程等,也可以由语音数字信号处理器获取待处理数据并保存至循环数据池中。
98.步骤403、令所述主控制器进行逻辑控制处理。
99.主控制器被唤醒后,可以执行逻辑控制处理。例如,主控制器被唤醒后,控制扬声器向用户播放“你好,请问需要什么服务”,使得用户得知唤醒词被识别,并可以通过主控制器进行语音交互。
100.此外,令所述主控制器进行逻辑控制处理还可以包括:令主处理器判断是否进行语音识别。
101.例如,若将“hi,**,可以帮我搜一下最近的新歌吗?”保存至了循环数据池中。主处理器可以读取保存的待处理数据,并根据待处理数据的属性信息,例如语音时长等,判断是否进行语音识别。一般情况下,唤醒词的音频对应的时长可能为2s-3s,若待处理数据的语音时长为10s,则主处理器可以确定需要进行语音识别。当然,并不代表本技术局限于此。
102.步骤404、如所述主控制器确定进行语音识别处理,则由所述语音数字信号处理器读取所述循环数据池中的待处理数据,进行语音识别处理。
103.语音数字信号处理器读取循环数据池中的待处理数据后,可以直接基于读取的数据进行语音识别处理;或者,语音数字信号处理器读取循环数据池中的待处理数据后,可以将唤醒词对应的内容从待处理数据去除,然后根据剩余的待处理数据进行语音识别处理。当然,并不代表本技术局限于此。
104.例如,针对“hi,**,可以帮我搜一下最近的新歌吗?”的语音数据,语音数字信号处理器确定其部分与唤醒词“hi,**”的音频相匹配,并据此唤醒了主处理器。如所述主控制器确定进行语音识别处理,则语音数字信号处理器可以将待处理数据中已确定的与唤醒词“hi,**”的音频相匹配的部分去除,并根据剩余的待处理数据进行语音识别,得到“搜最近的新歌”的识别结果。然后,可以将识别结果发送至主处理器,以令主处理器执行与“搜最近的新歌”对应的逻辑控制处理,例如生成“时间为一个星期内、新歌”的搜索请求,并控制网络通信模块将搜索请求发送至服务器。
105.进行语音识别后,可以清空循环数据池中的待处理数据。
106.步骤405、如所述主控制器确定不进行语音识别处理,则清空所述循环数据池中的待处理数据。
107.本技术中,若主控制器确定不进行语音识别处理,则可以确定待处理数据可被删除,则可以清空所述循环数据池中的待处理数据。
108.示例的,可以由语音数字信号处理器清空所述循环数据池中的待处理数据,并告知主处理器;或者,可以由主处理器清空所述循环数据池中的待处理数据并告知语音数字信号处理器以及其他。主处理器和语音数字信号处理器之间的通信可以为进程间通信(inter-process communication,ipc)。当然,并不代表本技术局限于此。
109.另外需要说明的是,在具体实现时,上述步骤404和步骤405两者可以仅存在一个,或者两者同时存在。
110.图4b为本技术实施例三提供一种场景示意图。如图4b所示,仍然以智能音箱为例,用户向智能音箱的麦克风输入语音;语音数字信号处理器监听到麦克风的输入后,确定进行唤醒操作。
111.然后语音数字信号处理器向主控制器发送唤醒请求,以唤醒主控制器;以及,可以建立循环数据池,并将用户输入的语音数据存储至循环数据池中。
112.主控制器可以被唤醒后,可以读取循环数据池中存储的语音数据,并进行对应的逻辑控制处理。逻辑控制处理可以例如,控制扬声器播放“有什么可以帮你”。
113.本技术提供的方案,由于如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理,且所述语音数据处理包括唤醒操作,由此,可以令主控制器进入休眠状态,并由语音数字信号处理器执行唤醒操作来唤醒主控制器,然后令主控制器逻辑控制处理,由于一般情况下语音数字信号处理器的耗电量小于主控制器的耗电量,因此,通过本实施例提供的方案,可以进一步降低整个多处理器系统保持低功耗运行状态时的功耗;并且,在进行唤醒操作后,可以由语音数字信号处理器建立循环数据池,并将待处理数据保存至循环数据池中,使得主处理器可以直接读取循环数据池中的数据,并根据读取的数据进行逻辑控制处理,无需使得语音数字信号处理器将待处理数据发送至主处理器,节省了处理时间,且提高了处理效率。
114.实施例四
115.图5为本技术实施例四提供的一种应用上述方法的多处理器系统的框架示意图,本技术中,多处理器系统中的包括的语音数据处理与所述逻辑处理中至少其一的算法接口被封装成独立线程,如图5所示,多处理器系统包括至少一语音数字信号处理器与至少一主控制器,语音数字信号处理器中包括语音数据处理的算法封装的独立线程,主控制器中包括逻辑处理的算法封装的独立线程,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理。
116.语音数据处理与所述逻辑处理中至少其一的算法接口被封装成独立线程后,可以直接调用独立线程,实现算法接口的调用,使得算法接口较为独立,使得语音数字信号处理器和\或主处理器与其他硬件的兼容性较高,从而可以方便将语音数字信号处理器和\或主处理器移植至其他处理器系统中,例如,可以将语音数字信号处理器移植至通常使用的多处理器系统中。
117.本实施例中,语音数据处理的算法接口被封装成语音数字信号处理器的独立线程。具体进行封装的方法可参考相关技术,在此不再赘述。
118.例如,语音数据处理的算法具体可以包括以下至少之一:用于唤醒处理的算法、用于处理语音信号的算法、用于进行端点检测(vad检测)的算法。对应的,如图5所示,被封装成独立线程的算法接口可以包括以下至少之一:用于唤醒主处理器的算法接口(与wakeup process对应)、用于处理语音信号的算法接口(与signal process对应)、用于进行vad检测的算法接口(与vad process对应)。当然,这并不代表本技术局限于此。
119.本实施例中,逻辑处理的算法接口被封装成主处理器的独立线程。具体进行封装的方法可参考相关技术,在此不再赘述。
120.例如,逻辑处理的算法具体可以包括以下至少之一:用于进行语音交互控制的算法、用于进行语音播放控制的算法、用于进行物联网(internet of things,iot)控制的算法;对应的,被封装成独立线程的算法接口可以包括以下至少之一:用于进行语音交互控制的算法接口、用于进行语音播放控制的算法接口、用于进行物联网(internet of things,
iot)控制的算法接口。当然,这并不代表本技术局限于此。
121.此外,语音数字信号处理器和\或主处理器中还可以包括其他接口,例如消息接口等,本实施例对此不进行限定。
122.示例的,在进行语音数据计算处理的过程中,可能需要语音数字信号处理器与主控制器之间进行通信(或者说数据交换、数据传输),为此,本技术实施例中,所述至少一语音数字信号处理器与至少一主控制器之间通过标准消息交互接口进行通信。由此,可以实现语音数字信号处理器与主处理器之间的通信,并且,由于使用了标准消息交互接口,使得语音数字信号处理器和\或主处理器与其他硬件的兼容性较高,从而可以方便将语音数字信号处理器和\或主处理器移植至其他处理器系统中,例如,可以将语音数字信号处理器移植至通常使用的多处理器系统中。
123.示例的,本技术实施例中,所述至少一语音数字信号处理器和所述至少一主控制器独立进行适配以进行平台移植的升级扩展。由于独立进行适配,可以降低或避免至少一语音数字信号处理器和所述至少一主控制器之间的相互依赖,进而使得语音数字信号处理器和\或主处理器与其他硬件的兼容性较高,从而可以方便将语音数字信号处理器和\或主处理器移植至其他处理器系统中,例如,可以将语音数字信号处理器移植至通常使用的多处理器系统中。
124.本技术提供的方案,通过将语音数据处理与所述逻辑处理中至少其一的算法接口封装成独立线程,可以使得语音数字信号处理器和\或主处理器与其他硬件的兼容性较高;通过采用标准消息交互接口进行通信,可以进一步提高语音数字信号处理器和\或主处理器的兼容性;另外,所述至少一语音数字信号处理器和所述至少一主控制器独立进行适配以进行平台移植的升级扩展,也可以提高语音数字信号处理器和\或主处理器的兼容性。本技术实施例提供的多处理器系统中的语音数字信号处理器和\或主处理器移植至其他处理器系统中。
125.实施例五
126.图6为本技术实施例五提供的一种应用上述方法的多处理器系统的框架示意图,图6中主处理器以演进型risc处理器(英文advanced risc machines,arm)为例,其中,risc指的是精简指令集计算机(reduced instruction set computing,risc),语音数字信号处理器以hifi4处理器为例,图6中示出了1个arm处理器和1个hifi4处理器的框架,当然,也可以有多个arm处理器和多个hifi4处理器,本技术对此不做限制。图6以智能音箱为例,并不代表本技术局限于此。图6所示的内核框架可以应用于各种电子设备,例如,智能音箱、平板电脑、智能手机等。
127.其中,arm处理器为主处理器,用于进行逻辑处理,具体可以用于进行语音交互控制、音乐播放控制、物联网(internet of things,iot)控制等逻辑模块。
128.hifi4处理器,用于进行语音数据处理,具体可以用于进行唤醒操作、回声抵消处理、语音活动检测(voice activity detection,vad)等。
129.示例的,hifi4处理器具有以下特点:
130.1、以72位累加器的方式支持每个周期进行4个32x32位乘累加(multiplier accumulators,macs),在如快速傅立叶变换(fast fourier transform,fft)和有限脉冲响应(finite impulse response,fir)等计算密集型函数中具有较高的运算性能;
131.2、支持每周期8个32x16位macs;
132.3、四级超长指令字(very long instruction word,vliw)体系结构支持每个周期2个64位的取值操作;
133.4、支持向量浮点单元(vector floating-point unit),支持最多每周期4个电气和电子工程协会(institute of electrical and electronics engineers,ieee)标准的单精度浮点(single-precision ieee floating-point)macs。
134.因此,hifi4处理器对语音数据处理的运算速度比较高,能过够提高语音数据运算的速度和效率。而且,hifi4处理器的待机功耗低于arm微处理器(也可以称为arm处理器),在待机状态时,可以令arm微处理器进入休眠状态,并通过hifi4处理器进行监听,从而减小了待机状态下的整体功耗。
135.本实施例中,arm处理器的算法接口和hifi4处理器的算法接口可以被封装成独立线程。
136.对于hifi4处理器,封装的线程包括信号处理线程signal process、唤醒算法线程wakeup process或语音活动检测线程vad process,分别与hifi4处理器的语音数据计算模块对应。
137.对于arm处理器,被封装成的独立线程可以包括语音交互线程、语音启停判定线程、语音活动检测判定线程。当然,对于arm处理器,还可以包括其他线程,例如唤醒事件线程、语音活动检测探测线程、或引擎配置线程、hifi4信息接收线程、向hifi4处理器发送信息的线程。
138.hifi4处理器通过信号处理线程、唤醒算法线程或语音活动检测线程将采集到的数据写入共享存储器,并且生成对应的通知信息(例如信号处理完成、唤醒通知、语音活动检测结果等),通过mailbox1向arm处理器发送通知信息。
139.arm处理器通过mailbox2接收hifi4处理器发送的通知信息,hifi4信息接收线程hifi4 message process将通过mailbox2接收的通知信息转入相应的处理接收数据的线程进行处理。
140.hifi4信息接收线程对应的处理接收数据的线程包括语音交互线程、唤醒线程、语音活动检测探测线程。其中,语音交互线程用于处理语音交互;唤醒线程用于处理唤醒时间;语音活动检测探测线程用于处理语音活动检测。处理接收数据的线程可以从循环数据池对应的共享存储空间(share memory)中读取通知信息对应的数据,读取后即可进行处理,并可以根据处理结果进行逻辑控制处理。
141.arm处理器进行的逻辑控制处理具体可以为进行结果判定。arm处理器中用于结果判定的线程可以包括语音活动检测判定线程vad en/disable、语音启停判定线程speech start/stop或引擎配置线程engine configration等,其中,语音活动检测判定线程用于判定语音活动检测的结果(enable或disable),语音启停判定线程用于判定语音启停的结果(start或stop),引擎配置线程用于确定引擎配置的结果。用于结果判定的线程将判定结果转入向hifi4处理器发送信息的线程send message process to hifi4,再通过mailbox2传输至hifi4处理器;且用于结果判定的线程可以将具体的判定结果写入循环数据池对应的共享存储空间(share memory),以供hifi4读取。
142.arm处理器和hifi4处理器之间通过进程间通讯(inter-process communication,
ipc)进行通讯。处理器间的通讯方式有多种,包括共享存储器方式、消息传递方式、共享文件方式等。
143.另外,本技术中,arm处理器和hifi4处理器之间可以通过标准消息交互接口进行通信。
144.另外,arm处理器和hifi4处理器中可以采用两个完全独立的系统,可以独立进行适配(例如升级等)以进行平台移植的升级扩展。
145.本技术实施例提供的方案,可以降低对主处理器的计算能力的要求,增加选择范围,从而可以按照用户的需求,增加性能或降低成本,并可以方便地进行移植。
146.实施例六
147.如图7a所示,图7a为本技术实施例六提供的一种多处理器系统的框架示意图,图7a中示出了至少一视频信号处理器与至少一主控制器,如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
148.由于视频信号处理器处理视频数据的运算速度高于主控制器处理视频数据的运算速度,因此,如待处理任务为视频数据处理,则由视频数字信号处理器进行视频处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行视频处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的视频处理转移至了视频信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
149.上述图7a所示的多处理器系统只是示例性示意,并不代表本技术局限于此。
150.结合上述图7a所示的多处理器系统,本技术实施例六提供一种应用于多处理器系统的数据处理方法,该方法应用于具有至少一视频信号处理器与至少一主控制器的多处理器系统,具体的,可以应用于如图7a所示的多处理器系统。
151.下面通过具体的方法步骤,对本技术的方案进行说明。
152.图7b为本技术实施例六提供的一种应用于多处理器系统的数据处理方法流程图,如图7b所示,该方法包括以下步骤:
153.步骤701、如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理。
154.待处理任务可以为等待多处理器系统进行处理的任务,待处理任务可以由视频信号处理器或者主处理器生成,也可以由电子设备的其他模块生成。待处理任务可以例如,进行视频播放控制、物联网(internet of things,iot)控制、视频编解码等任务,本实施例对此不进行限定。
155.本技术中待处理任务可以包括两类,分别为本步骤中的视频数据处理和后续步骤中的逻辑处理,并不代表本技术局限于此,待处理任务也可以包括其他类型的任务,本技术对此并不进行限定。
156.本步骤中,视频数据处理可以例如视频解码、视频编码、视频内容识别等,当然,这并不代表本技术局限于此。
157.在具体进行划分时,可以将涉及处理视频图像或者编解码视频数据的处理确定为视频数据处理,这并不代表本技术局限于此,本技术中,也可以通过其他方法确定视频数据
处理。
158.当确定为待处理任务为视频数据处理后,由视频信号处理器进行视频处理,具体可以包括:按照待处理任务的处理请求中的参数,确定对应的算法,并通过确定的算法进行视频处理。
159.视频数据可以包括服务器等发送的视频数据、通过摄像头采集到的视频数据等。
160.步骤702、如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
161.逻辑处理可以例如视频播放控制、物联网(internet of things,iot)控制等,当然,这并不代表本技术局限于此。
162.在具体进行划分时,可以将涉及逻辑判断或者统筹控制的处理确定为逻辑处理,当然,这并不代表本技术局限于此。
163.当确定为待处理任务为逻辑处理后,由主控制器进行逻辑控制处理,具体可以包括:按照待处理任务的处理请求中的参数,由主处理器执行对应的逻辑判断,或者由主处理器进行对应的控制操作,例如显示屏播放视频数据等。
164.本技术中,主控制器可以包括arm处理器、cpu处理器等。
165.下面结合具体的使用场景,对本技术的方案进行说明。
166.参见图7c,获取待处理任务后,可以确定待处理任务是否为视频数据处理或者逻辑处理;如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
167.例如以智能电视为例,对上述数据处理过程进行说明。智能电视中可以包括主处理器和视频信号处理器,智能电视可以接收摄像头采集的视频数据,智能电视中的主控制器确定有视频数据的输入后,可以生成调整视频图像颜色的任务。主处理器生成调整视频图像颜色的任务后,可以由视频信号处理器进行对视频数据进行调色处理,例如将视频数据调整为黑白等,视频信号处理器可以告知主处理器的处理结果,并可以由主控制器控制显示屏播放处理后的视频数据,完成视频播放任务。
168.本技术实施例提供的方案,由于视频信号处理器处理视频数据的运算速度高于主控制器处理视频数据的运算速度,因此,如待处理任务为视频数据处理,则由视频信号处理器进行视频数据计算处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行视频数据计算处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的视频数据处理转移至了视频信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
169.本实施例的方法可以由任意适当的具有数据处理能力的电子设备执行,包括但不限于:物联网设备、嵌入式设备、智能设备、服务器、移动终端(如手机、pad等)和pc机等。所述智能设备括但不限于智能交通设备、智能家居设备、公共安全设备等。上述的智能家居设备包括但不限于智能空调、智能灯泡、智能桌椅、智能电视、智能音箱、智能仪器、智能摄像头、智能窗户传感器、智能门铃、智能探测器、其他智能安全设备等。本技术实施例对此不做限定。
170.实施例七
171.如图8a所示,图8a为本技术实施例一提供的一种多处理器系统的框架示意图,图
8a中示出了至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器,如待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
172.由于语音数字信号处理器处理语音数据的运算速度高于主控制器处理语音数据的运算速度,而视频信号处理器处理视频数据的运算速度高于主控制器处理视频数据的运算速度,因此,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务为视频数据处理,则由视频信号处理器进行视频处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行语音数据计算处理以及视频处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的语音数据处理转移至了语音数字信号处理器,原主要由主处理器进行的视频数据处理转移至了视频信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
173.上述图8a所示的多处理器系统只是示例性示意,并不代表本技术局限于此。
174.结合上述图8a所示的多处理器系统,本技术实施例七提供一种应用于多处理器系统的数据处理方法,该方法应用于具有至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器的多处理器系统,具体的,可以应用于如图8a所示的多处理器系统。
175.下面通过具体的方法步骤,对本技术的方案进行说明。
176.图8b为本技术实施例一提供的一种应用于多处理器系统的数据处理方法流程图,如图8b所示,该方法包括以下步骤:
177.步骤801、如待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理。
178.待处理任务的生成方法可参考上述实施例,本实施例不再赘述。
179.本技术中待处理任务可以包括三类,分别为本步骤中的语音数据处理和后续步骤中视频数据处理以及逻辑处理,并不代表本技术局限于此,待处理任务也可以包括其他类型的任务,本技术对此并不进行限定。具体待处理任务的划分方法可参考上述实施例,在此不再赘述。
180.另外,具体进行语音数据计算处理的过程也可参考上述实施例,在此不再赘述。
181.步骤802、如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理。
182.具体进行视频处理的方法可参考上述实施例,在此不再赘述。
183.步骤803、如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
184.具体进行逻辑处理的方法可参考上述实施例,在此不再赘述。
185.下面结合具体的使用场景,对本技术的方案进行说明。
186.参见图8c,获取待处理任务后,可以确定待处理任务是否为语音数据处理、视频数据处理或者逻辑处理;如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务为视频数据处理,则由视频信号处理器进行视频处理;如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
187.本技术实施例提供的方案,由于语音数字信号处理器处理语音数据的运算速度高
于主控制器处理语音数据的运算速度,而视频信号处理器处理视频数据的运算速度高于主控制器处理视频数据的运算速度,因此,如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如待处理任务为视频数据处理,则由视频信号处理器进行视频处理;如待处理任务数据为逻辑处理,则由主控制器进行逻辑控制处理,与通常采用的多处理器的方案相比,可以尽量减少或避免由主控制器进行语音数据计算处理以及视频处理,进而提高处理效率;另外,与通常采用的多处理器的方案相比,可以将原主要由主处理器进行的语音数据处理转移至了语音数字信号处理器,原主要由主处理器进行的视频数据处理转移至了视频信号处理器,可以降低对主处理器的计算能力的要求,从而降低成本。
188.本实施例的方法可以由任意适当的具有数据处理能力的电子设备执行,包括但不限于:物联网设备、嵌入式设备、智能设备、服务器、移动终端(如手机、pad等)和pc机等。所述智能设备括但不限于智能交通设备、智能家居设备、公共安全设备等。上述的智能家居设备包括但不限于智能空调、智能灯泡、智能桌椅、智能电视、智能音箱、智能仪器、智能摄像头、智能窗户传感器、智能门铃、智能探测器、其他智能安全设备等。本技术实施例对此不做限定。
189.实施例八
190.参照图9,示出了根据本技术实施例八的一种应用于多处理器系统的数据处理装置的结构框图。
191.本实施例的数据处理装置包括:应用于具有至少一语音数字信号处理器与至少一主控制器的多处理器系统,所述数据处理装置包括:
192.第一处理模块901,用于如待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;
193.第二处理模块902,用于如待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
194.示例的,若所述语音数据处理包括唤醒操作,则第一处理模块901用于令所述主控制器进入休眠状态;当待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒;令所述主控制器进行逻辑控制处理。
195.示例的,所述第一处理模块901用于在如待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒时,如待处理任务为唤醒操作,则所述语音数字信号处理器对所述主控制器进行唤醒,并建立循环数据池,将待处理数据保存至所述循环数据池中;所述装置还包括第三处理模块,用于在所述令所述主控制器进行逻辑控制处理之后,如所述主控制器确定进行语音识别处理,则由所述语音数字信号处理器读取所述循环数据池中的待处理数据,进行语音识别处理。
196.示例的,所述第一处理模块901还用于在如待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒时,如所述主控制器确定不进行语音识别处理,则清空所述循环数据池中的待处理数据。
197.示例的,所述语音数据处理与所述逻辑处理中至少其一的算法接口被封装成独立线程。
198.示例的,所述至少一语音数字信号处理器与至少一主控制器之间通过标准消息交互接口进行通信。
199.示例的,所述至少一语音数字信号处理器和所述至少一主控制器独立进行适配以进行平台移植的升级扩展。
200.本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
201.实施例九
202.参照图10,示出了根据本技术实施例九的一种应用于多处理器系统的数据处理装置的结构框图,应用于具有至少一视频信号处理器与至少一主控制器的多处理器系统。
203.本实施例的数据处理装置包括:
204.第三处理模块1001,用于如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;
205.第四处理模块1002,用于如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
206.本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
207.实施例十
208.参照图11,示出了根据本技术实施例十的一种应用于多处理器系统的数据处理装置的结构框图,应用于具有至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器的多处理器系统。
209.所述数据处理装置包括:
210.第五处理模块1101,用于如待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;
211.第六处理模块1102,用于如待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;
212.第七处理模块1103,用于如待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
213.本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
214.实施例十一
215.本技术实施例还提供一种物联网设备,包括多处理器系统,所述多处理器系统具有至少一语音数字信号处理器与至少一主控制器,如物联网设备的待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;如物联网设备的待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
216.示例的,本技术任意实施例中,若所述语音数据处理包括唤醒操作,则所述如待处理数据为语音数据处理,则由语音数字信号处理器进行语音数据计算处理包括:
217.所述主控制器进入休眠状态;
218.当待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤
醒;
219.所述主控制器进行逻辑控制处理。
220.示例的,本技术任意实施例中,所述如待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒包括:
221.如待处理任务为唤醒操作,则所述语音数字信号处理器对所述主控制器进行唤醒,并建立循环数据池,将待处理数据保存至所述循环数据池中;
222.如所述主控制器确定进行语音识别处理,则由所述语音数字信号处理器读取所述循环数据池中的待处理数据,进行语音识别处理。
223.示例的,本技术任意实施例中,所述如待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒还包括:
224.如所述主控制器确定不进行语音识别处理,则清空所述循环数据池中的待处理数据。
225.示例的,本技术任意实施例中,所述语音数据处理与所述逻辑处理中至少其一的算法接口被封装成独立线程。
226.示例的,本技术任意实施例中,所述至少一语音数字信号处理器与至少一主控制器之间通过标准消息交互接口进行通信。
227.示例的,本技术任意实施例中,所述至少一语音数字信号处理器和所述至少一主控制器独立进行适配以进行平台移植的升级扩展。
228.本实施例的物联网设备能够实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
229.实施例十二
230.本技术实施例还提供一种物联网设备,所述物联网设备包括多处理器系统,所述多处理器系统具有至少一视频信号处理器与至少一主控制器,如物联网设备的待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如物联网设备的待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
231.本技术实施例中,所述物联网设备还包括显示屏:如所述物联网设备的待处理任务为解码视频数据,则由所述视频信号处理器对所述视频数据进行解码;如所述物联网设备的待处理任务为播放视频数据,则由所述主控制器控制所述显示屏播放解码后的视频数据。
232.本实施例的物联网设备能够实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
233.实施例十三
234.本技术实施例还提供一种物联网设备,包括多处理器系统,所述多处理器系统具有至少一语音数字信号处理器、至少一视频信号处理器与至少一主控制器,如物联网设备的待处理任务为语音数据处理,则由所述语音数字信号处理器进行语音数据计算处理;如物联网设备的待处理任务为视频数据处理,则由所述视频信号处理器进行视频处理;如物联网设备的待处理任务为逻辑处理,则由所述主控制器进行逻辑控制处理。
235.本技术实施例中,所述物联网设备还包括显示屏:如所述物联网设备的待处理任务为解码视频数据,则由所述视频信号处理器对所述视频数据进行解码;如所述物联网设备的待处理任务为播放视频数据,则由所述主控制器控制所述显示屏播放解码后的视频数据。
236.本实施例的物联网设备能够实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
237.实施例十四
238.本技术实施例还提供一种智能音箱。本技术具体实施例并不对智能音箱的具体实现做限定。
239.本实施例提供的智能音箱包括至少一语音数字信号处理器与至少一主控制器,如智能音箱的待处理任务为语音数据处理,则由语音数字信号处理器进行语音数据计算处理;如智能音箱的待处理任务为逻辑处理,则由主控制器进行逻辑控制处理。
240.示例的,本技术任意实施例中,若所述语音数据处理包括唤醒操作,则所述如待处理数据为语音数据处理,则由语音数字信号处理器进行语音数据计算处理包括:
241.所述主控制器进入休眠状态;
242.当待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒;
243.所述主控制器进行逻辑控制处理。
244.示例的,本技术任意实施例中,所述如待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒包括:
245.如待处理任务为唤醒操作,则所述语音数字信号处理器对所述主控制器进行唤醒,并建立循环数据池,将待处理数据保存至所述循环数据池中;
246.如所述主控制器确定进行语音识别处理,则由所述语音数字信号处理器读取所述循环数据池中的待处理数据,进行语音识别处理。
247.示例的,本技术任意实施例中,所述如待处理任务为唤醒操作,则由所述语音数字信号处理器对所述主控制器进行唤醒还包括:
248.如所述主控制器确定不进行语音识别处理,则清空所述循环数据池中的待处理数据。
249.示例的,本技术任意实施例中,所述语音数据处理与所述逻辑处理中至少其一的算法接口被封装成独立线程。
250.示例的,本技术任意实施例中,所述至少一语音数字信号处理器与至少一主控制器之间通过标准消息交互接口进行通信。
251.示例的,本技术任意实施例中,所述至少一语音数字信号处理器和所述至少一主控制器独立进行适配以进行平台移植的升级扩展。
252.本实施例的音箱能够实现前述多个方法实施例中相应的数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
253.实施例十五
254.参照图12,示出了根据本技术实施例八的一种电子设备的结构示意图,本技术具体实施例并不对电子设备的具体实现做限定。
255.如图12所示,该电子设备可以包括:处理器(processor)1202、通信接口(communications interface)1204、存储器(memory)1206、以及通信总线1208。
256.其中:
257.处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。
258.通信接口1204,用于与其它电子设备如终端设备或服务器进行通信。
259.处理器1202,用于执行程序1210,具体可以执行上述数据处理方法实施例中的相关步骤。
260.具体地,程序1210可以包括程序代码,该程序代码包括计算机操作指令。
261.处理器1202可能是中央处理器cpu,或者是特定集成电路asic(application specific integrated circuit),或者是被配置成实施本技术实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个cpu;也可以是不同类型的处理器,如一个或多个cpu以及一个或多个asic。
262.存储器1206,用于存放程序1210。存储器1206可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
263.程序1210具体可以用于使得处理器1202执行前述实施例提供的数据处理方法。
264.程序1210中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
265.需要指出,根据实施的需要,可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本技术实施例的目的。
266.上述根据本技术实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,ram、rom、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的数据处理方法。此外,当通用计算机访问用于实现在此示出的数据处理方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的数据处理方法的专用计算机。
267.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出
本技术实施例的范围。
268.以上实施方式仅用于说明本技术实施例,而并非对本技术实施例的限制,有关技术领域的普通技术人员,在不脱离本技术实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本技术实施例的范畴,本技术实施例的专利保护范围应由权利要求限定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1