音频处理方法、装置、电子设备及存储介质与流程

1.本公开涉及通信技术领域，尤其涉及一种音频处理方法、装置、电子设备及存储介质。


背景技术：

2.以智能电视、平板电脑、个人计算机为代表的影音娱乐设备往往以扬声器为载体进行影音播放任务。在影音节目中，有超过一半的节目以语音为主要声源。在日常家庭环境中，通过扬声器播放的影音节目不可避免的受到环境噪声干扰，其中最主要的干扰源为家电噪声，而语音声源极易被家电噪声掩蔽，用户难以在噪声环境中有效获取节目声音信息。目前的降噪技术中，认定造成周围环境中的所有声音均属于噪声，无法区分以家电噪声为代表的真正干扰源，这种不区分场景的降噪方案会导致对语音声源的误调整，降低了用户体验。


技术实现要素：

3.本公开提供一种音频处理方法、装置、电子设备及存储介质。
4.根据本公开第一方面实施例，提供一种音频处理方法，所述方法包括：
5.获取环境中的声音，得到第一环境音，所述第一环境音至少包括：第一音频回声，其中，所述第一音频回声指的是第一音频被所述扬声器播放后被麦克风采集到的声音信号；
6.根据第一音频参考音去除所述第一环境音中的第一音频回声，得到第二环境音，其中，所述第一音频参考音指的是所述第一音频在未被所述扬声器播放时的音频源数据；
7.若所述第二环境音不包含语音声且包含机械声，则对待播放的第二音频进行处理，得到第三音频；
8.将所述第三音频发送给所述扬声器，以由所述扬声器播放所述第三音频。
9.在一些实施例中，根据如下步骤确定所述第二环境音是否包含语音声或机械声；
10.确定所述第二环境音是否包含所述语音声；
11.若所述第二环境音不包含所述语音声，则确定所述第二环境音是否包含机械声。
12.在一些实施例中，根据如下步骤确定所述第二环境音是否包含语音声：
13.确定预设时间段内的所述第二环境音中多个音频帧的声音能量；
14.根据在所述预设时间段内，所述第二环境音中多个音频帧的声音能量的波动，确定所述第二环境音中是否包含所述语音声。
15.在一些实施例中，所述确定预设时间段内的所述第二环境音的声音能量，包括：
16.确定在所述预设时间段内的最大帧能量和最小帧能量；其中，所述最大帧能量为所述预设时间段包括的多个音频帧中声音能量最大的音频帧；所述最小帧能量为所述预设时间段包括的多个音频帧中声音能量最小的音频帧：
17.所述根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第
二环境音中是否包含所述语音声，包括：
18.确定所述最大帧能量和所述最小帧能量的比值；
19.若所述比值大于或等于第一阈值，确定所述第二环境音中包含所述语音声。
20.在一些实施例中，所述根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第二环境音中是否包含所述语音声，包括：
21.若所述预设时间段内包括的多个音频帧中最小帧能量小于第二阈值，确定所述第二环境音中包含所述语音声。
22.在一些实施例中，根据如下步骤确定所述第二环境音是否包括机械声：
23.根据在第一子时间段和第二子时间段内的所述第二环境音，确定在所述第一子时间段和所述第二子时间段内的音频帧的相关度；其中，所述第一子时间段的最大值小于所述第二子时间段的最大值；
24.若所述相关度大于相关度阈值，确定所述第二环境音包含所述机械声。
25.在一些实施例中，所述第一子时间段和所述第二子时间段在时域上部分重合且部分错开。
26.在一些实施例中，根据如下步骤确定所述第二环境音是否包括机械声：
27.分别确定在预设时间段内多个音频帧的声音能量比值的均值和标准差；其中，所述音频帧的声音能量比值为：第一频域中，所述第二环境音的音频帧的声音能量与第二频域中，所述第二环境音的音频帧的声音能量的比值；其中，所述第一频域为：从所述第二频域中去掉预设频域后剩余的频域，且所述第一频域频率的最小值大于所述预设频域频率的最大值；
28.若所述均值大于均值阈值且所述标准差小于差值阈值，确定所述第二环境音中包含所述机械声。
29.在一些实施例中，所述若第二环境音不包含语音声且包含机械声，则对待播放的第二音频进行处理得到第三音频，包括：
30.获取待播放的第二音频；
31.获取所述第二环境音的先验信息；
32.根据所述第二环境音的先验信息，对所述第二音频中包含的语音部分进行增强处理，得到所述第三音频。
33.在一些实施例中，所述第二环境音的先验信息包括以下至少之一：
34.第一频域中所述第二环境音的频域信号；
35.第二频域中所述第一音频参考音的频域信号；
36.第二频域中所述第二环境音的频域信号；
37.第一频域中所述第二环境音的多个音频帧的声音能量；
38.第二频域中所述第二环境音的多个音频帧的声音能量；
39.第二频域中所述第一音频参考音的多个音频帧的声音能量
40.其中，所述第一频域为：从所述第二频域中去掉预设频域后剩余的频域，且所述第一频域频率的最小值大于所述预设频域频率的最大值。
41.在一些实施例中，所述方法，还包括：
42.确定在单位时间内，所述第二环境音中多个音频帧的声音能量；
43.确定在所述单位时间内，所述第一音频参考音的声音能量；
44.若所述第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系，确定所述第二环境音是否包含所述语音声或所述机械声。
45.根据本公开第一方面实施例，提供一种音频处理装置，所述装置包括：
46.获取模块，用于获取环境中的声音，得到第一环境音，所述第一环境音至少包括：第一音频回声，其中，所述第一音频回声指的是第一音频被所述扬声器播放后被麦克风采集到的声音信号；
47.第一处理模块，用于根据第一音频参考音去除所述第一环境音中的第一音频回声，得到第二环境音，其中，所述第一音频参考音指的是所述第一音频在未被所述扬声器播放时的音频源数据；
48.第二处理模块，用于在所述第二环境音不包含语音声且包含机械声时，对待播放的第二音频进行处理，得到第三音频；
49.第三处理模块，将所述第三音频发送给扬声器，以由所述扬声器播放所述第三音频。
50.在一些实施例中，所述装置，还包括：
51.第一确定模块，用于确定所述第二环境音是否包含所述语音声
52.若所述第二环境音不包含所述语音声，则确定所述第二环境音是否包含机械声。
53.在一些实施例中，所述装置，还包括：
54.第二确定模块，用于确定预设时间段内的所述第二环境音中多个音频帧的声音能量；
55.第三确定模块，用于根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第二环境音中是否包含所述语音声。
56.在一些实施例中，所述第二确定模块，还用于：
57.确定在所述预设时间段内的最大帧能量和最小帧能量；其中，所述最大帧能量为所述预设时间段包括的多个音频帧中声音能量最大的音频帧；所述最小帧能量为所述预设时间段包括的多个音频帧中声音能量最小的音频帧；
58.所述第三确定模块，还用于：
59.确定所述最大帧能量和所述最小帧能量的比值；
60.若所述比值大于或等于第一阈值，确定所述第二环境音中包含所述语音声。
61.在一些实施例中，所述第三确定模块，还用于：
62.若所述预设时间段内包括的多个音频帧中最小帧能量小于第二阈值，确定所述第二环境音中包含所述语音声。
63.在一些实施例中，所述装置，还包括：
64.第四确定模块，用于根据在第一子时间段和第二子时间段内采集的所述第二环境音，确定在所述第一子时间段和所述第二子时间段内的音频帧的相关度；其中，所述第一子时间段的最大值小于所述第二子时间段的最大值，所述第一子时间段和所述第二子时间段均位于所述预设时间段内；
65.若所述相关度大于相关度阈值，确定所述第二环境音包含所述机械声。
66.在一些实施例中，所述装置，还包括：
67.第五确定模块，用于分别确定在所述预设时间段内多个音频帧的声音能量比值的均值和标准差；其中，所述音频帧的声音能量比值为：在第一频域中，所述第二环境音的音频帧的声音能量与在第二频域中，所述第二环境音的音频帧的声音能量的比值；其中，所述第一频域为：从所述第二频域中去掉预设频域后剩余的频域，且所述第一频域频率的最小值大于所述预设频域频率的最大值；
68.若所述均值大于均值阈值且所述标准差小于差值阈值，确定所述第二环境音中包含所述机械声。
69.在一些实施例中，所述第二处理模块，还用于：
70.获取待播放的第二音频；
71.获取所述第二环境音的先验信息；
72.根据所述第二环境音的先验信息，对所述第二音频中包含的语音部分进行增强处理，得到所述第三音频。
73.在一些实施例中，所述装置，还包括：
74.第六确定模块，用于确定在单位时间内，所述第二环境音中多个音频帧的声音能量；
75.确定在所述单位时间内，所述第一音频参考音的声音能量；
76.若所述第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系，确定所述第二环境音是否包含所述语音声或所述机械声。
77.根据本公开第三方面实施例，提供了一种电子设备，包括：
78.处理器；
79.用于存储处理器可执行指令的存储器；
80.其中，所述处理器被配置为：实现时执行第一方面实施例所述的方法步骤。
81.根据本公开第四方面实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现第一方面实施例所述的方法步骤。
82.本公开的实施例提供的技术方案可以包括以下有益效果：
83.由上述实施例可知，本公开实施例通过在第二环境音不包含语音声且包含机械声时才对第二音频数据进行调整，使电子设备对于第二环境音中不同声音具有区分作用，将机械声区分出来作为干扰源，而不是将第二环境音中的所有声音均作为干扰源，例如，不会将第二环境音中的语音声作为干扰源。这种处理声音的方式有效降低了对第二音频的误调整现象，提高了对第二音频处理的准确性，改善了用户的听觉体验。
84.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
85.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
86.图1是根据一示例性实施例示出的音频处理方法的流程示意图之一；
87.图2是根据一示例性实施例示出的音频处理方法的流程示意图之二；
88.图3是根据一示例性实施例示出的音频处理装置的结构示意图之一；
89.图4是根据一示例性实施例示出的音频处理装置的结构示意图之二；
90.图5是根据一示例性实施例示出的用于音频处理的装置的组成结构框图。
具体实施方式
91.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
92.本公开第一方面实施例，提供了一种音频处理方法，如图1所示，所述方法包括：
93.步骤s110、获取环境中的声音，得到第一环境音，所述第一环境音至少包括：第一音频回声，其中，所述第一音频回声指的是第一音频被扬声器播放后被麦克风采集到的声音信号；
94.步骤s120、根据第一音频参考音去除所述第一环境音中的第一音频回声，得到第二环境音，其中，所述第一音频参考音指的是所述第一音频在未被所述扬声器播放时的音频源数据；
95.步骤s130、若所述第二环境音不包含语音声且包含机械声，则对待播放的第二音频进行处理，得到第三音频；
96.步骤s130、将所述第三音频发送给扬声器，以由所述扬声器播放所述第三音频。
97.步骤s110和步骤s120中，电子设备包括但不限于：电视、手机、平板电脑、笔记本电脑、音箱或可穿戴设备等具有音频播放功能的设备。
98.第一环境音包括机械声和非机械声，机械声包括家电设备或其他设备在运作时发出的声音。例如：机械声可以是吹风机、打蛋器、洗衣机声或扫地机器人等家电运作时发出的声音。或者，机械声为汽车鸣笛声、切菜剁肉声、装修时电钻声或其他会影响用户收听音频的噪声。非机械声指机械声以外的其他声音，例如：非机械声包括但不限于：语音声、第一音频回声或物体掉落产生的偶然性声音等。其中，语音声可以是人的说话声或猫狗等宠物的叫声等。
99.从第一环境音中去除第一音频回声后得到的第二环境音，减少了第一音频回声的干扰，更便于后续从第二环境音中区分出语音声和机械声，也有利于进一步提高对第二音频的处理的准确性。
100.非限制地，可通过傅立叶变换(short-time fourier transform，stft)去除所述第一环境音中的第一音频回声。
101.步骤s130中，通过确定第二环境音中声音的类别，在第二环境音中不包含语音声且包含机械声时，对待播放的第二音频进行处理，得到第三音频。这种方式不仅使电子设备对于第二环境音中的干扰源(即噪声)强度自适应调整，还对第二环境音中不同声音具有区分作用，将机械声区分出来作为干扰源，而不是将第二环境音中的所有声音均作为干扰源，有效降低了对第二音频的误调整现象。
102.例如：不将语音声作为干扰源，则用户说话的声音不会被误作为干扰源，进而不会导致对第二音频的处理。在此场景下，用户可以正常交谈，减少了扬声器播放的声音与用户
的语音声形成能量竞争关系，提高了对第二音频处理的准确性，改善了用户的听觉体验。
103.不同的声音具有不同的特性，通过对不同声音的特性分析可以区分第二环境音中不同声音的重量，进而确定环境音中是否包括语音声或机械声。
104.例如：相对于机械声而言，语音声具有稀疏性(亦称间歇性)，在时域内声音能量波动性较大，若第二环境音具有这种特性，可以确定第二环境音中包含语音声，若第二环境音不具有这种特性，可以确定第二环境音中不包包含语音声。同样地，机械声具有连续性，在时域内声音能量波动较小，若第二环境音具有这种特性，可以确定第二环境音中包括机械声，若第二环境音不具有这种特性，可以确定第二环境音中不包含机械声。
105.在一些实施例中，所述第二音频和第一音频是同一个音频的不同的帧，第一音频是在先帧，第二音频是在后帧。
106.在一些实施例中，所述对待播放的第二音频进行处理，包括：
107.对第二音频的音量进行调大处理。
108.在一些实施例中，所述对待播放的第二音频进行处理，还包括：
109.对第二音频的音量按照第一调节量进行调大处理。第一调节音量可以是五个音量度或十个音量度。如此，在第二环境音包含机械声的情况下，按照固定的第一调节量对音量进行调大，可以使得播放的第三音频能够更加清楚地被用户识别的同时，无需对电子设备进行音量调节量的计算，减少了电子设备的计算资源。
110.在另一些实施例中，所述对第二音频的音量进行调大处理，包括：
111.根据机械声的音量，确定第二音频的第二调节量，得到第三音频的音量。
112.可以理解的是，第二调节量与机械声的音量成正比。如此，可以保证在机械声的音量增大时，同样增大调节量，以确保电子设备在具有机械声场景下播放的音频能够被用户识别到，提高对第二音频调整的效果。
113.除了调节音量之外，还可以调节电子设备播放的第二音频或第三音频的播放速度。
114.在一些实施例中，所述对待播放的第二音频进行处理，可以包括：
115.对所述第二音频进行减慢处理，得到所述第三音频。
116.如此，在第二环境音中不包含语音声且包含机械声的场景下，通过减慢电子设备的播放速度，可以使电子设备在包括机械声场景下减慢播放，减少因为机械声的存在对用户正在观看或收听的音频的干扰的播放量。
117.在其他一些可选实施例中，所述方法，还包括：
118.若所述第二环境音中包含所述语音声或不包含所述机械声，不对所述第二音频进行处理；
119.将所述第二音频发送给扬声器，以由所述扬声器播放所述第二音频。
120.在实际应用中，若第二环境音中包含语音声或短时抖动性声音时，可以不对第二音频进行处理。其中，短时抖动性声音包括但不限于：掉落的物体产生的声音。
121.本公开实施例中，不将人的说话声等语音声作为干扰源，从而电子设备播放的声音与语音声不会形成竞争关系，不会妨碍用户的正常交流。例如：如果不对第二环境音进行区分，电子设备播放第二音频的过程中，语音声也会被认为是干扰源，若此时用户交流产生语音声，也会触发对第二音频的处理，影响用户交流。而本公开实施例不将语音声作为干扰
源，语音声不会触发对第二音频的调整，进一步提高了用户体验。
122.在其他一些可选实施例中，根据如下步骤确定所述第二环境音是否包含语音声或机械声；
123.确定所述第二环境音是否包含所述语音声；
124.若所述第二环境音不包含所述语音声，则确定所述第二环境音是否包含机械声。
125.在实际应用中，先判断是否包含语音声再判断是否包含机械声，相对于同时判断语音声和机械声，在保证处理效率的同时，节约了运算量。有利于在运算资源较小的电子设备上使用。
126.在其他一些可选实施例中，根据如下步骤确定所述第二环境音是否包含语音声：
127.确定预设时间段内的所述第二环境音中多个音频帧的声音能量；
128.根据在所述预设时间段内，所述第二环境音中多个音频帧的声音能量的波动，确定所述第二环境音中是否包含所述语音声。
129.若根据第二环境音的声音能量在预设时间内的分布较为不均匀，确定第二环境音中包括具有声音能量抖动特征的语音声，因为出现声音能量抖动等是语音声稀疏性的具体表现，此时，可以继续对第二环境音进行监测，无需对第二音频进行处理。
130.预设时间段可以是1秒、2秒、3秒、4秒或5秒，但并不限于此。
131.在其他一些可选实施例中，所述确定预设时间段内的所述第二环境音的声音能量，，包括：
132.确定在所述预设时间段内的最大帧能量和最小帧能量；其中，所述最大帧能量为所述预设时间段包括的多个音频帧中声音能量最大的音频帧；所述最小帧能量为所述预设时间段包括的多个音频帧中声音能量最小的音频帧：
133.所述根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第二环境音中是否包含所述语音声，包括：
134.确定所述最大帧能量和所述最小帧能量的比值；
135.若所述比值大于或等于第一阈值，确定所述第二环境音中包含所述语音声。
136.本公开实施例中，根据预设时间段内的最大帧能量和最小帧能量，确定预设时间段内采集声音中第二环境音的声音能量的波动。这种计算过程无需庞大的深度学习模型带来的延迟和计算复杂度，计算过程复杂度低、实时性好，可行性高，无需云端的支持，甚至可以离线进行。
137.非限制地，所述第一预设条件包括：最大帧能量和所述最小帧能量的比值大于或等于第一阈值。
138.第一阈值为预设值，亦称为静默阈值。
139.在一具体示例中，预设时间段用[μ,η]表示，其中，μ表示预设时间段内第一帧音频帧，η表示预设时间段内最后一帧音频帧。用δ表示第一阈值。用表示声音能量。对应最大帧能量，对应最小帧能量。若比值满足以下关系式：
[0140]
[0141]
表示声音能量出现了抖动性，可以确定第二环境音中包括语音声。
[0142]
为了区分不同的应用场景，可进一步将第一阈值划分为δ1～δ2，即δ可以是δ1，也可以是δ2，也可以是δ1～δ2中间的任意值。其中，δ2＞δ1。若第二环境音中主要为语音声，此时，可认为第二环境音中无干扰源，语音声的稀疏性更加明显，此时，比值满足以下关系式：
[0143][0144]
若第二环境音中均有较强的机械声和语音声，则比值满足以下关系式：
[0145][0146]
此时，语音声的稀疏性不明显，人说话间歇的能量空白会被噪声填补，最大帧能量和最小帧能量的差异变小。在这个场景中，既可以确定第二环境音中不包括语音声，若进一步确认第二环境音中包含机械声，对第二音频进行处理。或者，也可以确定第二环境音中包含语音声，不对第二音频进行处理，播放第二音频。
[0147]
若第二环境音中中无语音声，或语音声较小，且第二环境音中主要为机械声时，由于机械声对语音声的影响较大，甚至无法确定有语音声的稀疏性特性，此时比值满足以下关系式：
[0148][0149]
在这个场景中，确定第二环境音中不包含语音声。
[0150]
在其他一些可选实施例中，所述根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第二环境音中是否包含所述语音声，包括：
[0151]
若所述预设时间段内包括的多个音频帧中最小帧能量小于第二阈值，确定所述环境音中不包括所述机械噪音。
[0152]
第二阈值可以是预设阈值，第二阈值亦称为静默阈值。
[0153]
若预设时间段内某一音频帧的能量小于第二阈值时，则认为出现了间歇性静默的特征，不符合机械声的特性，此时，可以认为第二环境音中包含语音声但不包含机械声。不对第二音频进行处理，继续对电子设备进行监测。
[0154]
在一些实施例中，所述根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第二环境音中是否包含所述语音声，包括：
[0155]
确定在所述预设时间段内的最大帧能量和最小帧能量；其中，所述最大帧能量为所述预设时间段包括的多个音频帧中声音能量最大的音频帧；所述最小帧能量为所述预设时间段包括的多个音频帧中声音能量最大的音频帧：
[0156]
若最小帧能量小于第二阈值，初步确定所述环境音中包含所述语音声；
[0157]
若所述最大帧能量和所述最小帧能量的比值大于或等于第一阈值，确定所述第二环境音中包含所述语音声。
[0158]
确定所述最大帧能量和所述最小帧能量的比值与第一阈值关系的同时，也确定最小帧能量与第二阈值的关系，若最大帧能量和所述最小帧能量的比值大于第一阈值，且最小帧能量小于第二阈值，此时再确定第二环境音包含语音声。这种方式进一步提高了对第二环境音中语音声的检测准确度。
[0159]
在其他一些可选实施例中，根据如下步骤确定所述第二环境音是否包括机械声：：
[0160]
根据在第一子时间段和第二子时间段内采集的所述第二环境音，确定在所述第一子时间段和所述第二子时间段内的音频帧的相关度；其中，所述第一子时间段的最大值小于所述第二子时间段的最大值，所述第一子时间段和所述第二子时间段均位于所述预设时间段内；
[0161]
若所述相关度大于相关度阈值，确定所述第二环境音包含所述机械声。
[0162]
确认不同时间段内环境音信息的相关度，可以排除短时抖动性噪声，提高对机械声的判断准确率。短时抖动性声音由于偶发性较强，可以不对该类声音进行处理，忽略该声音的存在。短时抖动性声音可以是：掉落的物体产生的声音等。
[0163]
不同时间段内第二环境音相关度大于相关度阈值时，表明第二环境音中包括连续性较好的机械声。若相关度小于相关度阈值，表明第二环境音中不包括连续性较好的机械声，此时，可继续对电子设备进行监测，无需对第二音频进行处理。
[0164]
在其他一些可选实施例中，所述第一子时间段和所述第二子时间段在时域上部分重合且部分错开。
[0165]
相对而言，第一子时间段和第二子时间段在时域上部分重合时，即第一子时间段和第二子时间包括一定的重叠帧，重叠帧可有效降低计算过程的误差，有利于调高计算准确率。
[0166]
在一具体示例中，预设时间段仍用[μ,η]表示。用ε表示相关度阈值。取μ至η区间中的若干帧组成数据块x1和x2，x1和x2满足如下关系式：
[0167][0168][0169][0170]
其中为预设参数，参数设置因电子设备而异，可表示第一子时间段，表示第二子时间段，其中，和包括一定的重叠帧。本示例中，示例性地确定预设时间段为2秒，为2秒预设时间段内第0.5～1.5秒对应的帧信号，取为2秒预设时间段内第1～2秒对应的帧信号。关于x1和x2的阈值判定关系式为：
[0171]
r(x1,x2)＞ε
ꢀꢀꢀ
(11)
[0172]
其中r(x1,x2)表示计算x1和x2的皮尔逊相关系数。
[0173]
在其他一些可选实施例中，根据如下步骤确定所述第二环境音是否包括机械声：
[0174]
分别确定在所述预设时间段内多个音频帧的声音能量比值的均值和标准差；其中，所述音频帧的声音能量比值为：第一频域中，所述第二环境音的音频帧的声音能量与第二频域中，所述第二环境音的音频帧的声音能量的比值；其中，所述第一频域为：从所述第
二频域中去掉预设频域后剩余的频域，且所述第一频域频率的最小值大于所述预设频域频率的最大值；
[0175]
若所述均值大于均值阈值且所述标准差小于差值阈值，确定所述第二环境音中包含所述机械声。
[0176]
一般地，消除扬声器产生的回声后也难免会有噪声残余，即在预设频域内采集的采集音频信息为噪声残余对应的音频信息，这类音频信息实用价值较低，去除后有利于减少计算资源，提高计算效率。
[0177]
在第一频域内的音频帧一般为在第二频域中，去除第二环境音中噪声残余后的音频帧，其中，噪声残余的频域为预设频域。噪声残余对应的音频信息往往缺乏实用价值。预设频域可以指2.5khz以下频段对应的音频信息。但不限于此。
[0178]
音频帧的声音能量比值的均值用于去掉一些集中在低频的噪声残余，音频帧声音能量比值的标准差用于去掉与机械声具有类似的不规则抖动音源(不属于机械声)。
[0179]
在一些实施例中，所述确定所述第二环境音是否包括机械声，包括：
[0180]
根据所述预设时间段内后半段时间内的所述第二环境音，确定在所述预设时间段内，多个音频帧声音能量比值的均值和标准差；
[0181]
若所述均值大于均值阈值且所述标准差小于差值阈值，确定所述环境音中包含所述机械声。
[0182]
只计算预设时间段中后半段时间内的第二环境音能够进一步提高计算的准确率。因为，预设时间段中前半段时间内的音频帧更容易出现不规律抖动的声音，这部分声音可以不作为机械声，比如电器刚打开的瞬间，弃用前半段时间的音频帧信息能够更好的抑制偶然性误差。
[0183]
例如：预设时间段用[μ,η]表示，预设时间段内后半段时间为：
[0184]
在一些实施例中，所述预设时间段内后半段时间为所述第二子时间段。
[0185]
在一具体示例中，用mean(
·
)表示均值，用std(
·
)表示标准差，表示在第一频域内采集的第二环境音的音频帧的声音能量，e
sig
(i)表示在第二频域内采集的第二环境音的音频帧的声音能量。在时间段内，确定多个音频帧声音能量比值的均值和标准差是否满足以下关系式：
[0186][0187][0188]
若满足，表明第二环境音的声音能量分布均匀，声音能量波动较小，第二环境音中包括机械声特性；若不满足上述双重约束，则继续对电子设备进行检测，不对第二音频进行处理。
[0189]
在其他一些可选实施例中，所述若第二环境音不包含语音声且包含机械声，则对待播放的第二音频进行处理得到第三音频，包括：
[0190]
获取待播放的第二音频；
[0191]
获取所述第二环境音的先验信息；
[0192]
根据所述第二环境音的先验信息，对所述第二音频中包含的语音部分进行增强处理，得到所述第三音频。
[0193]
根据第二环境音对第二音频进行整理，使第二音频仅依据机械声进行增强，提高了对第二音频的处理准确性。
[0194]
在其他一些可选实施例中，所述第二环境音的先验信息包括以下至少之一：
[0195]
第一频域中所述第二环境音的频域信号(本公开中用表示)；
[0196]
第二频域中所述第一音频参考音的频域信号(本公开中用ref(i,k)表示)；
[0197]
第二频域中所述第二环境音的频域信号(本公开中用sig(i,k)表示)；
[0198]
第一频域中所述第二环境音的多个音频帧的声音能量(本公开中用表示)；
[0199]
第二频域中所述第二环境音的多个音频帧的声音能量(本公开中用e
sig
(i)表示)；
[0200]
第二频域中所述第一音频参考音的多个音频帧的声音能量(本公开中用e
ref
(i)表示)；
[0201]
其中，所述第一频域为：从所述第二频域中去掉预设频域后剩余的频域，且所述第一频域频率的最小值大于所述预设频域频率的最大值。
[0202]
根据先验信息，可以利用增强算法，对第二音频进行增强，得到第三音频。增强算法包括但不限于动态范围压缩算法。
[0203]
在其他一些可选实施例中，所述方法，还包括：
[0204]
根据在单位时间内，所述第二环境音中多个音频帧的声音能量；
[0205]
确定在所述单位时间内，所述第一音频参考音的声音能量；
[0206]
若所述第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系，确定所述第二环境音是否包含所述语音声或所述机械声。
[0207]
单位时间可以是1秒、2秒、3秒或4秒等。但不限于此。
[0208]
在第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系时，表明第二环境音中存在音量较大的声音，有可能需要对第二音频进行整理。
[0209]
若单位时间内第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量不满足预设关系，表明第二环境音的音量较小，即使第二环境音中不包含语音声且包含机械声，也无需对第二音频进行整理。因此，在单第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系的前提下，才能进一步确定第二环境音是否包含语音声或机械声。
[0210]
非限制地，预设关系包括以下算式：
[0211][0212]
其中，上式中α1、α2、β1、β2为预设参数，因电子设备而异；d为预设常数项，例如d＝0.001；θ和表示单位时间内第一帧音频帧和最后一帧音频帧的序号，单位区间引可以表示为e
ref
(i)为第一音频参考音的声音能量。
[0213]
在一些实施例中，如图2所示，麦克风10和扬声器20为电子设备的对应硬件，流媒体数据为播放源内容(即第一音频数据)，噪声检测步骤涉及算法过程，其中噪声检测步骤s200含有三个算法步骤，分别为噪声能量检测步骤s230，语音声判决步骤s240和机械声判决步骤s250。这噪声检测过程的具体工作步骤包括：
[0214]
步骤s210、麦克风采集。该步骤包括步骤s110中，通过所述麦克风采集环境中的声音，得到第一环境音。具体地，电子设备在工作时，麦克风会实时采集环境中的声音；
[0215]
步骤s220、回声消除。该步骤包括：根据第一音频参考音去除所述第一环境音中的第一音频回声，得到第二环境音。
[0216]
具体地，麦克风采集的第一环境音和第一音频参考音经过分帧、加窗等预处理后，再通过消除第一音频回声，进行扬声器回声的消除；由于回声消除技术需要经过短时傅立叶变换(short-time fourier transform，stft)在频域中处理，为提高运算效率，回声消除处理后的stft频域数据可直接交付给后续噪声能量检测步骤，回声消除处理后的stft频域数据可以逐帧交付数据。由于回声消除技术难以去除所有的回声，stft数据中不可避免的存在噪声残余，噪声残余往往集中在2.5khz以下频域部分，相应谱线缺乏实用价值，为了提升算法效率，只计算采集音频信息中各音频帧2.5khz以上频段的谱线对应的信息，得到第一频域中的第二环境音。在第一频域中，根据第二环境音的频域信号确认第二环境音中多个音频帧的声音能量、并根据第二频域中(即未去除2.5khz以上频段的谱线对应的信息)，第一音频参考音确认第一音频参考音的声音能量；
[0217]
步骤s230、噪声能量检测。该步骤包括：
[0218]
确定在单位时间内，所述第二环境音中多个音频帧的声音能量；
[0219]
确定在所述单位时间内，所述第一音频参考音的声音能量；
[0220]
若所述第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系，确定所述第二环境音是否包含所述语音声或所述机械声
[0221]
具体地，累积音频帧的数据至1秒后(预设参数，可改变)。根据第一音频参考音的声音能量，对第二环境音的声音能量实施动态阈值检测，第二环境音的声音能量超过阈值，则确定第二环境因中有强声源，并进行后续语音声判决步骤，若未达到动态阈值，则继续对电子设备进行检测，以达到监听的效果，不对第二音频进行处理。其中，若单位时间内第二环境音的声音能量与第一音频参考音的声音能量满足预设关系，确定第二环境音的声音能量超过阈值，否则，确定第二环境音的声音能量未达到动态阈值。
[0222]
步骤s240、语音声判决。具体地，在时域上连续采集的音频帧累积数据至2秒时，首先进行语音间歇检测，即2秒内存在某一音频帧的声音能量小于第二阈值时，认为这一段音
频信息符合语音的稀疏性，确定为语音声并终止流程返回至步骤230继续监听；若所有音频帧的声音能量均大于第二阈值，则进行语音能量抖动检测，即2秒内最大帧能量和最小帧能量之比与第一阈值比较，若大于第一阈值则说明符合在时域内声音能量波动较大的特性，确定为语音声并终止流程返回至步骤s230继续监听，若小于第一阈值则继续进行后续步骤；
[0223]
步骤s250、机械声判决。具体地，计算2秒时间段内第0.5～1.5秒和第1～2秒内2.5khz以上频谱谱线对应的音频帧相关度，若相关度小于相关度阈值，则确定为短时抖动性噪声，第二环境音中不包括机械声，此时终止流程返回至步骤s230继续监听。若相关度大于相关度阈值，则确定可能为相关度较强的机械声，并继续进行后续计算。继续计算2.5khz以上谱线对应的各音频帧的声音能量与未去除2.5khz以下谱线对应的各音频帧的声音能量比值，统计2秒内各音频帧声音能量比值的均值和标准差，当均值大于均值阈值、标准差小于差值阈值时确定为机械声，并提供相应的先验数据用于后续步骤中对第一音频数据的调整。若均值小于均值阈值、标准差大于差值阈值，说明环境音包括偶然性高相关性噪声，不包括机械声，终止流程返回至步骤s230继续监听；
[0224]
步骤s260：语音感知增强，即对第二音频进行处理，得到第三音频。根据所使用算法的不同，除了需要流媒体数据之外，可能还需要麦克风采集数据等先验信息，该部分可以根据实际技术路线调整输出的第二音频数据。
[0225]
在一些实施例中，音频处理方法包括：
[0226]
回声消除及去除噪声残余，其中，回声消除包括：去除第一音频回声及噪声残余。具体地，去除第一音频回声包括：根据第一音频参考音去除所述第一环境音中的第一音频回声，得到第二频域中的第二环境音。去除噪声残余，包括：从第二频域的所述第二环境音中去除预设频域的第二环境音，得到第一频域中的第二环境音。
[0227]
电子设备的麦克风采集的采集音频信息以mic(n)表示，扬声器参考音信息以ref(n)，其中n表示某一音频帧内的第n个采样点，音频帧的帧长为n，常见音频信号采样率为8000hz、16000hz、44100hz或48000hz等，本公开以广泛使用的16000hz为例，并对mic(n)和ref(n)重叠分帧加窗得到帧信号；其中窗函数以win(n)表示，可选用常见的汉宁窗、汉明窗等任意一种；重叠比例可以根据实际情况选择，常见重叠比例为25％、50％或75％等，本示例以50％为例，即每个音频帧的时域偏移为n/2；以i表示音频帧的序号，可得到麦克风采集音频信息和扬声器参考音经过重叠分帧预处理的音频帧信号表达式为：
[0228][0229][0230]
以n＝256为例，用如下关系式(3)来表达回声消除过程：
[0231]
sig(i,k)＝γ(mic(i,n),ref(i,n),k),0≤k＜k
ꢀꢀꢀꢀ
(3)
[0232]
其中γ表示回声消除过程，sig(i,k)表示回声消除处理后的频域信号，k代表第i帧信号中第k个频点，一个音频帧信号总共有k个频点，即stft长度为k，k必须满足k≥n的约束；本示例以k＝256为例。
[0233]
由于回声消除后噪声残余的干扰，音频帧信号低频部分数据往往失真严重，后续
sig(i,k)只使用2.5khz以上的频点，因本示例选择了k＝256，即后续只使用40≤k＜128的数据(考虑傅里叶频谱对称性)，并以表示，其中本文取r＝40。sig(i,k)对应的声音能量记为e
sig
(i)、对应的声音能量记为扬声器参考音ref(i,k)(采用频域表达式)对应的声音能量e
ref
(i)可分别表示为：
[0234][0235][0236][0237]
噪声能量检测。首先，当环境音信息的声音能量和麦克风的参考音信息的声音能量e
ref
(i)满足式(7)动态阈值关系式时，即环境音信息的声音能量在动态阈值之上，继续后续计算，。
[0238][0239]
上式中，α1、α2、β1、β2为预设参数，因电子设备而异；d为预设常数项，通常取d＝0.001；θ和表示当前区间第一帧音频帧和最后一帧音频帧的序号，单位时间段可以表示为单位时间段长度可根据设备情况相应调整。在本示例条件下，取单位时间段长1秒，即当不满足上式时，将重复式(1)～式(7)的过程，以达到监听的效果，也可称之为监听模式。
[0240]
确定第二环境音中是否包含机械声。语音声判决的计算区间，即预设时间段可与单位时间段不一致，预设时间段第一帧音频帧和最后一帧音频帧的序号以μ和η表示，预设时间段可以表示为[μ,η]。当语音声判决一次所使用的区间大于前一步噪声能量检测时，继续积累若干帧数据后再计算。在本文示例中，取预设时间段时长2秒，即η＝μ+248。在该阶段，首先进行静默检测，判定关系式为：
[0241][0242]
其中γ为预设静默阈值，即第二阈值，若当前计算区间中某一帧能量小于γ，则认为出现了语音间歇性静默的特征，确定当前声源为语音声，属于伪噪声源，不符合机械声的特性，返回监听模式；γ的预设值因电子设备而异。当min(
·
)不小于γ时，继续下一步的最大能量差异判定，最大能量差异判定关系式为：
[0243][0244]
其中δ为预设静默阈值，即第一阈值。若当前区间最大帧能量和最小帧能量的比值大于δ，则认为出现了在时域内声音能量抖动特性，确定第二环境音中包含语音声，属于伪噪声源，不符合机械声的特性，第二环境音中不包括机械声，返回监听模式；δ的预设值因电子设备而异。当比值不符合式(9)关系式时，说明第二环境音中不包含语音声，继续后续步骤。
[0245]
接下来进行相关性度量，取μ至η区间中的若干帧组成数据块x1和x2，x1和x2满足如下关系式：
[0246][0247]
其中为预设参数，参数设置因电子设备而异，和包括一定的重叠帧，重叠帧可有效降低stft块效应带来的数学计算误差。本示例取为2秒计算区间内第0.5～1.5秒对应的帧信号，取为2秒计算区间内第1～2秒对应的帧信号。关于x1和x2的阈值判定关系式为：
[0248]
r(x1,x2)＞ε
ꢀꢀꢀꢀ
(11)
[0249]
其中r(x1,x2)表示计算x1和x2的皮尔逊相关系数；当相关系数(亦称为相关度)大于预设的相关度阈值ε时，则认为符合机械声具备持续相关性的特点，并继续后续步骤，若相关度不大于相关度阈值ε，则要求则返回至监听模式。当满足式(11)条件后，统计[μ,η]预设时间段后半段时间内各音频帧中高频能量占比(即音频帧的声音能量比值)的均值mean(
·
)和标准差std(
·
)是否满足如下阈值判定关系式：
[0250][0251]
其中均值阈值φ和标准差阈值为预设参数，它们因电子设备而异。若满足上述均值和标准差的双重约束，说明音频频谱能量分布均匀，声音能量波动较小，具备典型的机械声特性；若不满足上述双重约束，则返回值监听模式音频帧的声音能量比值的均值用于去掉一些频段集中在低频的其他声音，音频帧的声音能量比值的标准差用于去掉类似于机械声的不规则抖动音源；式(12)只计算[μ,η]区间中后半段时间内音频帧是因为前半段时间内音频帧会出现不规律抖动的概率更大，比如电器刚打开的瞬间，弃用前半段时间内音频帧能够更好地减少了偶然性误差。
[0252]
调整第二音频，得到第三音频。确定第二环境音中包含机械声后，可以根据感知增
强算法的需求，提供sig(i,k)、ref(i,k)、e
sig
(i)、e
ref
(i)等一系列先验信息。
[0253]
根据本公开实施例的第二方面，如图3所示，提供了一种语音处理装置，所述装置300包括：
[0254]
获取模块310，用于获取环境中的声音，得到第一环境音，所述第一环境音至少包括：第一音频回声，其中，所述第一音频回声指的是第一音频被所述扬声器播放后被麦克风采集到的声音信号；
[0255]
第一处理模块320，用于根据第一音频参考音去除所述第一环境音中的第一音频回声，得到第二环境音，其中，所述第一音频参考音指的是所述第一音频在未被所述扬声器播放时的音频源数据；
[0256]
第二处理模块330，用于在所述第二环境音不包含语音声且包含机械声时，对待播放的第二音频进行处理，得到第三音频；
[0257]
第三处理模块340，将所述第三音频发送给扬声器，以由所述扬声器播放所述第三音频。
[0258]
在一些实施例中，所述装置，还包括：
[0259]
第一确定模块，用于确定所述第二环境音是否包含所述语音声
[0260]
若所述第二环境音不包含所述语音声，则确定所述第二环境音是否包含机械声。
[0261]
在一些实施例中，所述装置，还包括：
[0262]
第二确定模块，用于确定预设时间段内的所述第二环境音中多个音频帧的声音能量；
[0263]
第三确定模块，用于根据在所述预设时间段内，所述第二环境音的声音能量的波动，确定所述第二环境音中是否包含所述语音声。
[0264]
在一些实施例中，所述第二确定模块，还用于：
[0265]
确定在所述预设时间段内的最大帧能量和最小帧能量；其中，所述最大帧能量为所述预设时间段包括的多个音频帧中声音能量最大的音频帧；所述最小帧能量为所述预设时间段包括的多个音频帧中声音能量最小的音频帧；
[0266]
所述第三确定模块，还用于：
[0267]
确定所述最大帧能量和所述最小帧能量的比值；
[0268]
若所述比值大于或等于第一阈值，确定所述第二环境音中包含所述语音声。
[0269]
在一些实施例中，所述第三确定模块，还用于：
[0270]
若所述预设时间段内包括的多个音频帧中最小帧能量小于第二阈值，确定所述第二环境音中包含所述语音声。
[0271]
在一些实施例中，所述装置，还包括：
[0272]
第四确定模块，用于根据在第一子时间段和第二子时间段内采集的所述第二环境音，确定在所述第一子时间段和所述第二子时间段内的音频帧的相关度；其中，所述第一子时间段的最大值小于所述第二子时间段的最大值，所述第一子时间段和所述第二子时间段均位于所述预设时间段内；
[0273]
第三确定模块，用于若所述相关度大于相关度阈值，确定所述第二环境音包含所
述机械声。
[0274]
在一些实施例中，所述第装置，还包括：
[0275]
第五确定模块，用于分别确定在所述预设时间段内多个音频帧的声音能量比值的均值和标准差；其中，所述音频帧的声音能量比值为：在第一频域中，所述第二环境音的音频帧的声音能量与在第二频域中，所述第二环境音的音频帧的声音能量的比值；其中，所述第一频域为：从所述第二频域中去掉预设频域后剩余的频域，且所述第一频域频率的最小值大于所述预设频域频率的最大值；
[0276]
若所述均值大于均值阈值且所述标准差小于差值阈值，确定所述第二环境音中包含所述机械声。
[0277]
在一些实施例中，所述第二处理模块，还用于：
[0278]
获取待播放的第二音频；
[0279]
获取所述第二环境音的先验信息；
[0280]
根据所述第二环境音的先验信息，对所述第二音频中包含的语音部分进行增强处理，得到所述第三音频。
[0281]
在一些实施例中，所述装置，还包括：
[0282]
第六确定模块，用于确定在单位时间内，所述第二环境音中多个音频帧的声音能量；
[0283]
确定在所述单位时间内，所述第一音频参考音的声音能量；
[0284]
若所述第二环境音的多个音频帧的声音能量与所述第一音频参考音的声音能量满足预设关系，确定所述第二环境音是否包含所述语音声或所述机械声。
[0285]
如图4所示，电子设备亦称为多媒体终端。第二音频或第三音频为电子设备播放的音频内容。机械声具体为家电声。电子设备11的麦克风实时采集环境中的声音，通过噪声检测模块12实时噪声检测，若检测到属于干扰源的家电声15，则通知语音感知增强模块13开启增强功能，对第二音频数据进行处理，并提供必要的先验信息给增强模块。语音感知增强模块13中的增强算法包括但不限于如动态范围压缩算法。调整第一音频数据，得到第三音频后，播放第三音频，用户14会明显感受到播放的音频更加清晰。若不调整第二音频，家电噪声11会让用户难以听清电子设备播放的音频内容。
[0286]
根据本公开第三方面实施例他，提供了一种电子设备，包括：
[0287]
处理器；
[0288]
用于存储处理器可执行指令的存储器；
[0289]
其中，所述处理器被配置为：实现时执行第一方面实施例所述的方法步骤。
[0290]
根据本公开第三方面实施例他，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现第一方面实施例所述的方法步骤。
[0291]
在示例性实施例中，音频处理装置中的多个模块等可以被一个或多个中央处理器(cpu，central processing unit)、图形处理器(gpu，graphics processing unit)、基带处理器(bp，baseband processor)、应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，
field-programmable gate array)、通用处理器、控制器、微控制器(mcu，micro controller unit)、微处理器(microprocessor)、或其他电子元件实现，用于执行前述方法。
[0292]
图5是根据一示例性实施例示出的一种用于音频处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0293]
参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0294]
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0295]
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0296]
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
[0297]
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0298]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0299]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0300]
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述
组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0301]
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，4g或5g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0302]
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0303]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0304]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
[0305]
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0306]
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0307]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0308]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。