一种主麦克风的切换方法、装置、设备及可读存储介质与流程

1.本申请涉及信号处理技术领域，尤其涉及一种主麦克风的切换方法、装置、设备及可读存储介质。


背景技术：

2.随着5g网络越来越普及，网络视频会议需求越来越大。在网络视频会议中，视频会议终端和电话会议终端通常配合麦克风扬声器一体式设备一起使用。麦克风扬声器一体式设备如图1所示，具有多个麦克风和一个扬声器。麦克风扬声器一体式设备的功能是接收声音，把接收的声音通过扬声器播放，并通过麦克风采集本地的说话声音。传统的主麦克风的切换方案是：计算出各麦克风拾取信号强度的均方根值，并进行相互比较后选择出候选主麦克风，并将候选主麦克风切换为主麦克风。但这种方法，主麦克风切换时不考虑扬声器是否在播放音频数据，从而容易导致选择回声信号最强的麦克风作为主麦克风，且不考虑麦克风的噪声，容易导致选择的主麦克风是噪声最大的麦克风。


技术实现要素：

3.本发明实施例通过提供一种主麦克风的切换方法、装置、设备及可读存储介质，用以解决现有的主麦克风切换方法容易导致选择回声信号最强的麦克风作为主麦克风和/或容易导致选择的主麦克风是噪声最大的麦克风的技术问题。
4.为了解决上述问题，第一方面，本发明实施例提供了一种主麦克风的切换方法，包括：采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量；将第一音频数据和各第二音频数据进行预处理，得到对应的第一频域数据和各第二频域数据；计算第一频域数据的第一频域能量和各第二频域数据的第二频域能量；当第一频域能量小于第一预设阈值，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风；确定当前主麦克风与候选主麦克风不相同时，将候选主麦克风切换为主麦克风。
5.可选地，采集用于扬声器播放的音频数据时，采集的音频数据的帧数为1帧；采集通过各麦克风采集到的音频数据时，采集的音频数据的帧数为1帧。
6.可选地，获取各麦克风对应的噪声频域能量，包括：对于每个麦克风：若该麦克风已采集的音频数据的帧数量大于等于预设数量，则确定已采集的帧中最近的预设数量的帧，并将最近的预设数量的每帧音频数据进行预处理，得到对应的第三频域数据，并计算第三频域数据的第三频域能量，将其中最小的第三频域能量作为该麦克风对应的噪声频域能量。
7.可选地，当第一频域能量小于第一预设阈值，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风，包括：当第一频域能量小于第一预设阈值，且至少存在一个第二频域能量大于第二预设阈值时，根据各麦克风对应的噪声
频域能量和第二频域能量计算各麦克风对应的信噪比；选择信噪比最大的麦克风作为一个候选主麦克风；或当第一频域能量小于第一预设阈值，且每个第二频域能量均小于第二预设阈值，选择噪声频域能量最小的麦克风作为一个候选主麦克风。
8.可选地，在确定当前主麦克风与候选主麦克风不相同之后，且在将候选主麦克风切换为主麦克风之前，主麦克风的切换方法还包括：将候选主麦克风对应的计数更新为当前计数加一；若更新后的计数达到阈值，则将候选主麦克风切换为主麦克风；若更新后的计数小于阈值，则返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤。
9.可选地，在将候选主麦克风切换为主麦克风之后，主麦克风的切换方法还包括：重置主麦克风以外的各候选主麦克风对应的计数，并返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤。
10.可选地，主麦克风的切换方法还包括：当第一频域能量大于第一预设阈值时，重置已选择的各候选主麦克风对应的计数，并返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤。
11.第二方面，本发明实施例还提供了一种主麦克风的切换装置，包括：获取单元，用于采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量；预处理单元，用于将第一音频数据和各第二音频数据进行预处理，得到对应的第一频域数据和各第二频域数据；第一计算单元，用于计算第一频域数据对应的第一频域能量和各第二频域数据对应的第二频域能量；第二计算单元，用于当第一频域能量小于第一预设阈值，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风；切换单元，用于确定当前主麦克风与候选主麦克风不相同时，将候选主麦克风切换为主麦克风。
12.第三方面，本发明实施例提供了一种麦克风扬声器一体设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行如第一方面或第一方面任意实施方式中的主麦克风的切换方法。
13.第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如第一方面或第一方面任意实施方式中的主麦克风的切换方法。
14.本发明实施例提供的主麦克风的切换方法、装置、设备及可读存储介质，由于扬声器播放音频数据时的播放声音能够被各麦克风采集到，通过计算扬声器对应的第一频域能量，并在第一频域能量小于第一预设阈值的情况下，即扬声器未播放音频数据的状态下，进行候选主麦克风的选择，可避免选择的候选主麦克风是回声信号最强的麦克风，进而避免切换后的主麦克风是回声信号最强的麦克风；并且通过获取各麦克风对应的噪声频域能量，计算各麦克风对应的第二频域能量，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风，从而可以实现在麦克风处于不同的状态下选择
出一个候选主麦克风，使得选择出的一个候选主麦克风的声音质量最高，且可避免选择的候选主麦克风是噪声最大的麦克风，进而避免切换后的主麦克风是噪声最大的麦克风。
15.上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
16.图1为本发明实施例中麦克风扬声器一体设备的结构示意图；图2为本发明实施例中一种主麦克风的切换方法的流程示意图；图3为本发明实施例中一种主麦克风的切换装置的结构示意图；图4为本发明实施例中另一麦克风扬声器一体设备的硬件结构示意图。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.本发明实施例提供了一种主麦克风的切换方法，应用于如图1所示的麦克风扬声器一体设备。麦克风扬声器一体设备包括多个麦克风11及一个扬声器12。图1中仅示例性的示出了4个麦克风，但并不以此为限，在本发明实施例中，对麦克风扬声器一体设备的麦克风的个数不做限制。主麦克风的切换方法如图2所示，包括：s101.采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量。
19.具体地，扬声器12用于播放远端发送过来的音频数据。麦克风11用于采集本地的音频数据。各麦克风11采集到的音频数据包括本地说话声音和/或扬声器播放音频数据时的播放声音（回声）。麦克风11可以为指向性麦克风。在本发明实施例中，对于如图1所示的麦克风扬声器一体设备，可以使用四个指向角度为90
°
~100
°
的指向麦克风负责四个方向的拾音，四个指向麦克风间距90
°
形成方阵，四个指向麦克风覆盖360
°
全向拾音。指向性麦克风的指向性为8子型。采用8子型的结构，可对扬声器12方向（180
°
~270
°
方向）的声音进行抑制，且抑制的分贝将大于10db，从而可以提升麦克风的信回比（麦克风11采集到的本地说话声音的分贝与麦克风11采集到的扬声器12中正在播放的声音的分贝的比值）。采集用于扬声器12播放的音频数据，是在扬声器12播放该音频数据的时刻或播放该音频数据之前采集的。采集通过各麦克风11采集到的音频数据，是在各麦克风11采集到音频数据的时刻或采集到音频数据之后采集的。各麦克风对应的噪声频域能量用于表征各麦克风对应的噪声的大小。各麦克风对应的噪声频域能量可通过对当前时刻之前最近的一段时长内各麦克风采集到的音频数据进行分析、计算得到。
20.s102.将第一音频数据和各第二音频数据进行预处理，得到对应的第一频域数据和各第二频域数据；具体地，对第一音频数据和各第二音频数据进行预处理的方法可以包
括：先对第一音频数据和各第二音频数据进行加窗、再进行快速傅里叶变换及自适应滤波处理，转换成对应的第一频域数据和各第二频域数据。
21.s103.计算第一频域数据的第一频域能量和各第二频域数据的第二频域能量；具体地，可以将第一频域数据中各频率对应的幅值的平方进行累加，得到第一频域数据的第一频域能量。对于每一个第二频域数据，将第二频域数据中各频率对应的幅值的平方进行累加，得到第二频域数据的第二频域能量。第一频域能量可用于区分扬声器12是处于播放音频数据状态还是静音状态。第二频域能量可用于区分麦克风11是处于采集音频数据状态还是静音状态。
22.s104.当第一频域能量小于第一预设阈值，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风；具体地，第一预设阈值可通过经验获得。当第一频域能量小于第一预设阈值，表明扬声器12处于静音状态。当扬声器12处于静音状态，此时，通过各麦克风11对应的第二频域能量可以判断各麦克风11是处于采集音频数据状态还是处于静音状态，通过各麦克风11对应的噪声频域能量可以确定各麦克风11的噪声的大小，以及通过各麦克风11对应的第二频域能量与噪声频域能量的比值可以确定各麦克风11对应的信噪比。从而可以根据各麦克风的状态、各麦克风的噪声的大小以及各麦克风的信噪比从各麦克风11中确定一个选择出一个候选主麦克风。
23.在本发明实施例中，在第一频域能量小于第一预设阈值的情况下选择出一个候选主麦克风，可以确保选择出的该候选主麦克风是在扬声器12处于静音状态下选择出来的，可以避免选择能够接收到最强的回声的一路麦克风（即回声信号最强的一路麦克风）作为候选主麦克风，进而避免选择回声信号最强的一路麦克风作为主麦克风。
24.s105.确定当前主麦克风与候选主麦克风不相同时，将候选主麦克风切换为主麦克风。
25.本发明实施例提供的主麦克风的切换方法，由于扬声器播放音频数据时的播放声音能够被各麦克风采集到，通过计算扬声器对应的第一频域能量，并在第一频域能量小于第一预设阈值的情况下，即扬声器未播放音频数据的状态下，进行候选主麦克风的选择，可避免选择的候选主麦克风是回声信号最强的麦克风，进而避免切换后的主麦克风是回声信号最强的麦克风；并且通过获取各麦克风对应的噪声频域能量，计算各麦克风对应的第二频域能量，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风，从而可以实现在麦克风处于不同的状态下选择出一个候选主麦克风，使得选择出的一个候选主麦克风的声音质量最高，且可避免选择的候选主麦克风是噪声最大的麦克风，进而避免切换后的主麦克风是噪声最大的麦克风。
26.在一个可选的实施例中，为了提高主麦克风的切换灵敏度采集用于扬声器播放的音频数据时，采集的音频数据帧数为1帧。采集通过各麦克风采集到的音频数据时，采集的音频数据的帧数也为1帧。也即第一音频数据/第二音频数据为1帧。优选地，一帧的时长为10ms。
27.在一个可选的实施例中，步骤s101中，获取各麦克风对应的噪声频域能量的步骤可以包括：对于每个麦克风：若该麦克风已采集的音频数据的帧数量大于等于预设数量，则确定已采集的帧中最近的预设数量的帧，并将最近的预设数量的每帧音频数据进行预处理，得到对应的第三频域数据，并计算第三频域数据的第三频域能量，将其中最小的第三频
域能量作为该麦克风对应的噪声频域能量。
28.具体地，由于在采集用于扬声器播放的音频数据和采集通过各麦克风采集到的音频数据时，采集的音频数据均为1帧，从而计算到的各第二频域数据的频域能量为对应的1帧音频数据的能量。因此，各麦克风对应的噪声频域能量也可以对应的1帧音频数据的能量。对于每一个麦克风11 ，噪声频域能量可以在该麦克风已采集的音频数据的帧数量大于等于预设数量时，通过从最近的预设数量帧的每帧音频数据对应的第三频域能量中，选择其中最小的第三频域能量作为该麦克风对应的噪声频域能量。
29.本发明实施例中，在获取各麦克风对应的噪声频域能量时，由于前期各麦克风可能不稳定，通过对该麦克风已采集的音频数据的帧数量进行统计，在该麦克风已采集的音频数据的帧数量大于等于预设数量，才采集每个麦克风对应的噪声频域能量，可以使得主麦克风在切换时，是在各麦克风已采集的音频数据的帧数量大于等于预设数量之后进行的，也即在各麦克风稳定之后进行的，可以保证主麦克风切换时的精度。并且，通过从最近的预设数量帧的每帧音频数据对应的第三频域能量中，选择其中最小的第三频域能量作为该麦克风对应的噪声频域能量，从而可以获得较准确的噪声频域能量。
30.在一个可选的实施例中，步骤s104，当第一频域能量小于第一预设阈值，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风，可以包括：当第一频域能量小于第一预设阈值，且至少存在一个第二频域能量大于第二预设阈值时，根据各麦克风对应的噪声频域能量和第二频域能量计算各麦克风对应的信噪比；选择信噪比最大的麦克风作为一个候选主麦克风；或当第一频域能量小于第一预设阈值，且每个第二频域能量均小于第二预设阈值，选择噪声频域能量最小的麦克风作为一个候选主麦克风。
31.具体地，当第一频域能量小于第一预设阈值时，说明扬声器12处于静音状态。当至少存在一个第二频域能量大于第二预设阈值时，说明至少有一个麦克风11采集到了本地的说话声，说明本地存在说话声，则可以进行各麦克风11的信噪比判断，选择信噪比最大的麦克风11作为一个候选主麦克风。信噪比的计算公式为：snr= ps/ pn，snr 为信噪比，ps为第二频域能量， pn为噪声频域能量。
32.当每个第二频域能量均小于第二预设阈值，说明各麦克风11均未采集到本地的说话声，说明本地不存在说话，则可以进行各麦克风11的噪声大小的比较，即各麦克风噪声频域能量的大小的比较，选择噪声频域能量最小的麦克风11作为一个候选主麦克风。
33.本发明实施例中，当第一频域能量小于第一预设阈值，且至少存在一个第二频域能量大于第二预设阈值时，根据各麦克风对应的噪声频域能量和第二频域能量计算各麦克风对应的信噪比；选择信噪比最大的麦克风作为一个候选主麦克风，则选择的候选主麦克风的声音质量最高；当第一频域能量小于第一预设阈值，且每个第二频域能量均小于第二预设阈值，选择噪声频域能量最小的麦克风作为一个候选主麦克风，则选择的候选主麦克风的噪声最小，可以避免选择噪声最大的麦克风。
34.在一个可选的实施例中，步骤s105中，在确定当前主麦克风与候选主麦克风不相同之后，且在将候选主麦克风切换为主麦克风之前，主麦克风的切换方法还包括：将候选主麦克风对应的计数更新为当前计数加一；若更新后的计数达到阈值，则将候选主麦克风切换为主麦克风；若更新后的计数小于阈值，则返回执行采集用于扬声器播放的音频数据，得
到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤。
35.具体地，可以通过对候选主麦克风进行计数的方式来进行主麦克风的切换。也即，在每次选择了一个候选主麦克风后，并确定当前主麦克风与该候选主麦克风不相同之后，将每次选择的候选主麦克风对应的计数更新为当前计数加一，如果当前选择的候选主麦克风更新后的计数达到阈值，则将当前选择的候选主麦克风切换为主麦克风。如果当前选择的候选主麦克风更新后的计数小于阈值，则返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤，继续从各麦克风中选择出一个候选主麦克风。
36.在本发明实施例中，在确定当前主麦克风与候选主麦克风不相同之后，且在将候选主麦克风切换为主麦克风之前，通过对候选主麦克风进行计数的方式来进行主麦克风的切换，可以实现对主麦克风切换时的抖动处理，避免主麦克风的频繁切换。
37.在一个可选的实施例中，在步骤s105之后，主麦克风的切换方法还包括：重置主麦克风以外的各候选主麦克风对应的计数，并返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤。
38.具体地，在各候选主麦克风中选择了主麦克风之后，由于主麦克风以为的各候选主麦克风的对应的计数依然存在，为了防止主麦克风的频繁切换，则应该重置主麦克风以外的各候选主麦克风对应的计数，使得主麦克风以外的各候选主麦克风对应的计数归零。并返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤，从而可以继续从各麦克风中选择出一个候选主麦克风，实现主麦克风的下一次切换。
39.在一个可选的实施例中，主麦克风的切换方法还包括：当第一频域能量大于第一预设阈值时，重置已选择的各候选主麦克风对应的计数，并返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤。
40.具体地，当第一频域能量大于第一预设阈值时，说明扬声器12正在播放音频数据，处于播放状态，则为了防止选择出的候选主麦克风是接收到回声最强的麦克风11，也即回声信号最强的麦克风11，此时，不选择一个候选主麦克风，并重置已选择的各候选主麦克风对应的计数。并返回执行采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量的步骤，从而可以继续从各麦克风中选择出一个候选主麦克风，实现主麦克风的下一次切换。
41.本发明实施例还提供了一种主麦克风的切换装置，如图3所示，包括：获取单元21，用于采集用于扬声器播放的音频数据，得到第一音频数据，采集通过各麦克风采集到的音频数据，得到各麦克风对应的第二音频数据，并获取各麦克风对应的噪声频域能量；具体的实施方式详见上述方法实施例步骤s101的描述，在此不再赘述。
42.预处理单元22，用于将第一音频数据和各第二音频数据进行预处理，得到对应的第一频域数据和各第二频域数据；具体的实施方式详见上述方法实施例步骤s102的描述，在此不再赘述。
43.第一计算单元23，用于计算第一频域数据对应的第一频域能量和各第二频域数据对应的第二频域能量；具体的实施方式详见上述方法实施例步骤s103的描述，在此不再赘述。
44.第二计算单元24，用于当第一频域能量小于第一预设阈值，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风；具体的实施方式详见上述方法实施例步骤s104的描述，在此不再赘述。
45.切换单元25，用于确定当前主麦克风与候选主麦克风不相同时，将候选主麦克风切换为主麦克风。具体的实施方式详见上述方法实施例步骤s105的描述，在此不再赘述。
46.本发明实施例提供的主麦克风的切换装置，由于扬声器播放音频数据时的播放声音能够被各麦克风采集到，通过计算扬声器对应的第一频域能量，并在第一频域能量小于第一预设阈值的情况下，即扬声器未播放音频数据的状态下，进行候选主麦克风的选择，可避免选择的候选主麦克风是回声信号最强的麦克风，进而避免切换后的主麦克风是回声信号最强的麦克风；并且通过获取各麦克风对应的噪声频域能量，计算各麦克风对应的第二频域能量，根据各麦克风对应的噪声频域能量及第二频域能量从各麦克风中选择出一个候选主麦克风，从而可以实现在麦克风处于不同的状态下选择出一个候选主麦克风，使得选择出的一个候选主麦克风的声音质量最高，且可避免选择的候选主麦克风是噪声最大的麦克风，进而避免切换后的主麦克风是噪声最大的麦克风。
47.基于与前述实施例中一种主麦克风的切换方法同样的发明构思，本发明还提供一种麦克风扬声器一体设备，如图4所示，包括：处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图4中以通过总线连接为例进行说明。
48.处理器31可以为中央处理器（central processing unit，cpu）。处理器31还可以为其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field
‑
programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
49.存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的主麦克风的切换方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的主麦克风的切换方法。
50.存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
51.上述的一个或者多个模块存储在存储器32中，当被处理器31执行时，执行如图2所示实施例中的主麦克风的切换方法。
52.上述麦克风扬声器一体设备具体细节可以对应参阅图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
53.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（read
‑
only memory，rom）、随机存储记忆体（random access memory，ram）、快闪存储器（flash memory）、硬盘（hard disk drive，缩写：hdd）或固态硬盘（solid
‑
state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
54.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd
‑
rom、光学存储器等）上实施的计算机程序产品的形式。
55.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
56.这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
57.这些计算机程序指令也可装载到计算机或其他可编程信息处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
58.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。