回声消除方法、装置、计算机设备和存储介质与流程

1.本技术涉及语音信号处理技术领域，特别是涉及一种回声消除方法、装置、计算机设备和存储介质。


背景技术：

2.随着语音信号处理技术的发展，出现了回声消除技术，回声消除技术可以应用在许多领域中，目前回声消除技术最新的应用领域是手机等移动终端和windows平台，比如可以用于网络直播、视频会议，voip软件电话等。在相关技术中，进行回声消除时需要两个音频信号传给回声消除算法，分别是回声处理信号和参考信号，而且这两个音频信号必须非常同步。
3.但是，目前的手机等移动终端和windows这类平台使用的系统主要为android、linux及windows等，而这些系统是非实时的系统，使得采集到的回声处理信号和参考信号的延时不一致，因此在进行回声消除的过程中，因为失同步的关系，就无法进行回声消除了，甚至会破坏采集到的回声处理信号，使回声处理信号难以分辨。此外，这些系统中设备使用的音频处理芯片的种类繁多，各种各样的音频芯片输出的音频信号也会进一步加剧同步问题的复杂性。因此，目前急需一种回声消除方法。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够消除回声的回声消除方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种回声消除方法。所述方法包括：
6.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
7.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
8.基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
9.在其中一个实施例中，对待处理信号进行滤波，获取回声处理信号，包括：
10.滤除待处理信号中预设频率范围之外的音频信号，其中，预设频率范围为20hz至20khz。
11.在其中一个实施例中，基于回声处理信号对所述参考信号进行同步，包括：
12.提取回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号；
13.根据参考信号对应的时段，确定第一参考时刻集合，根据同步比较信号对应的时段，确定第二参考时刻集合；
14.根据参考信号在所述第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在所述第二参考时刻集合中每一第二参考时刻上信号量的频率分
布，确定回声处理信号与所述参考信号之间的时间差；
15.根据时间差，调整参考信号的起始时间点与结束时间点。
16.在其中一个实施例中，根据参考信号在所述第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在所述第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与所述参考信号之间的时间差，包括：
17.从第一参考时刻集合中选取任一第一参考时刻并作为第一目标参考时刻，根据参考信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一参考频率点；
18.从第二参考时刻集合中选取未被选取过的第二参考时刻并作为比较时刻，根据同步比较信号在所述比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第二参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
19.根据第一目标参考时刻及第二目标参考时刻，确定回声处理信号与参考信号之间的时间差。
20.在其中一个实施例中，第一预设数量与第二预设数量相同且均不小于2；对于第一预设数量个第一参考频率点中任一第一参考频率点，在第二预设数量个第二参考频率点中均存在频率值相同的第二参考频率点；相应地，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，包括：
21.将频率值相同的第一参考频率点及第二参考频率点组成参考频率点组，计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值；
22.判断每一参考频率点组对应的幅值比值是否处于预设范围，获取幅值比值处于预设范围的参考频率点组的总数量；
23.若总数量不小于预设阈值，则确定第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件。
24.在其中一个实施例中，基于回声消除算法及所述同步参考信号，对回声处理信号进行回声消除之前，包括：
25.根据满足匹配条件情况下的的幅值比值，调整所述同步参考信号的幅值。
26.第二方面，本技术还提供了一种回声消除装置。所述装置包括：
27.第一获取模块，用于对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
28.同步模块，用于将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
29.回声消除模块，用于基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
30.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
31.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
32.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
33.基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
34.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
35.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
36.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
37.基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
38.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
39.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
40.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
41.基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
42.上述回声消除方法、装置、计算机设备、存储介质和计算机程序产品，对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。相较于相关技术中直接将回声处理信号减去参考信号得到回声消除信号，由于对参考信号进行了同步处理，消除了时间差，可以避免回声处理信号被破坏，从而解决了非实时系统中回声消除的同步问题，并消除回声，进而提高了输出的人声的清晰度。
附图说明
43.图1为一个实施例中回声消除方法的应用环境图；
44.图2为一个实施例中回声消除方法的流程示意图；
45.图3为一个实施例中回声消除装置的结构框图；
46.图4为另一个实施例中回声消除装置的分层架构示意图；
47.图5为一个实施例中计算机设备的内部结构图。
具体实施方式
48.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
49.目前的手机等移动终端和windows这类平台使用的系统主要为android、linux及windows等，而这些系统是非实时的系统，使得采集到的回声处理信号和参考信号的延时不一致，因此在进行回声消除的过程中，因为失同步的关系，就无法进行回声消除了，甚至会破坏采集到的回声处理信号，使回声处理信号难以分辨。此外，这些系统中设备使用的音频处理芯片的种类繁多，各种各样的音频芯片输出的音频信号也会进一步加剧同步问题的复杂性。因此，目前急需一种回声消除方法。
50.本技术实施例提供的回声消除方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上，也可以放在云上或其他网络服务器上。其中，终端101用于获取待处理信号及参考信号，并将待处理信号及参考信号传输至服务器102，服务器102对待处理信号及参考信号进行处理。
51.其中，终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
52.在一个实施例中，如图2所示，提供了一种回声消除方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：
53.201、对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
54.202、将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
55.203、基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
56.在上述步骤201中，音频设备是指可以输出音频的设备，不同应用场景下的音频设备可以不同，比如网络直播情景下，音频设备可以是播放某个音乐播放器的音乐的声卡；又比如在视频会议情景下，音频设备可以是输出人声的传声器，本发明实施例对此不作具体限定。
57.扬声器是指可以放大声音的设备，对于扬声器的种类，本发明实施例对此不作具体限定。此外，基于应用场合的不同，扬声器可以和音频设备可以组合在一起以一种设备的方式出现，这种设备可以在播放音频信号的同时，又对音频信号进行放大。滤波是指将音频信号中特定波段频率滤除的操作。
58.具体地，麦克风在采集人发出的声音的同时，也会采集音频设备经过放大器输出的音频信号，此时麦克风采集的声音就不值是纯粹的人声了，可能会包括其他设备产生的音频信号，在对麦克风采集的待处理信号进行处理之前，会对对其进行一个预处理，这个预处理过程就是对待处理信号进行滤波。滤波的目的是先滤除掉对后续处理过程中影响不大
的音频信号，得到回声处理信号。
59.在上述步骤202中，同步是为了指将参考信号的时间与回声处理信号的时间调整为到一个共同的时间上，具体地，需要根据实际需求确定以哪一种信号的时间作为同步时间，另外一种信号的时间就需要与该信号的时间为标准进行同步。在本实施例中，参考信号与的回声处理信号在传输的过程中，两者的传输路径的并不相同，因此，到达可以进行回声消除的设备的时间点也不同。为了使参考信号与回声处理信号的在被处理时的时间保持同步，因此，需要对参考信号进行同步。
60.在上述步骤203中，按照通讯回声产生的原因来看，回声可以分为两种，分别是声学回声和线路回声，在本实施例中，处理的回声是声学回声，声学回声是指在免提、会议、直播或其他应用场景中，扬声器的声音反馈到麦克风引起的，回声消除算法需要实现的就是把这些回声消除掉。常见的回声消除算法有lsm(log structured merge trees)算法、nlms(normalized lms)算法及nsaf(normalized sub-band adaptive filter)算法等，对于回声消除算法，本发明实施例对其不做具体限定。根据实际的应用，回声消除算法的选择可能不同。
61.由上述内容可以得知，在对回声处理信号进行回声消除时，需要确保回声处理信号与参考信号在时间上同步，使得回声算法不会损坏回声处理信号，使得输出人声比较清晰，不带有其他的干扰。
62.本发明实施例提供的方法，通过对参考信号进行了同步处理，消除了时间差，可以避免回声处理信号被破坏，从而解决了非实时系统中回声消除的同步问题，并消除回声，进而提高了输出的人声的清晰度。
63.结合上述实施例的内容，在一个实施例中，对待处理信号进行滤波，获取回声处理信号，包括：
64.滤除待处理信号中预设频率范围之外的音频信号，其中，预设频率范围为20hz至20khz。
65.具体地，待处理信号主要是由人声信号及扬声器输出的信号构成，但是麦克风在采集些信号的同时也有可能采集到其他信号，而且人耳的听力的频率范围在20hz至20khz，因此，先对待处理信号进行滤波，滤除跟本实施例无关的其他频率段的音频信号，得到回声处理信号，可以使后面进行回声处理时具有针对性。对于滤波方式的选择，本发明实施例对其不作具体限定，包括但不限于：切贝雪夫响应滤波、巴特沃斯响应及贝塞尔响应等。
66.本发明实施例提供的方法，通过对待处理信号进行滤波，滤除跟本实施例无关的其他频率范围的音频信号，可以使回声处理信号在进行回声处理前先除去一部分的干扰信号，可以避免多余的信号对同步过程产生干扰以及提高最后输出的人声的清晰度。
67.结合上述实施例的内容，在一个实施例中，基于回声处理信号对参考信号进行同步，包括：
68.301、提取回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号；
69.302、根据参考信号对应的时段，确定第一参考时刻集合，根据同步比较信号对应的时段，确定第二参考时刻集合；
70.303、根据参考信号在第一参考时刻集合中每一第一参考时刻上信号量的频率分
布，以及同步比较信号在第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与参考信号之间的时间差；
71.304、根据时间差，调整参考信号的起始时间点与结束时间点。
72.在上述步骤301中，由于人发出的声音的频率范围在20hz至4khz之间，即最终输出的频率信号的频率应该在20hz至4khz之间，而音频设备输出的参考信号不包含本实施例中需要获取的声音信号，因此，在利用回声处理信号对参考信号进行同步时，只需要提取出回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号。
73.在上述步骤302中，由于参考信号和回声处理信号经过的路径不同，使得两个信号到达回声消除设备的时间也会不一致，造成失同步的情况出现，通常情况下参考信号会比回声处理信号先到达回声消除设备，因此，需要调整参考信号的时间，使其与回声处理信号的时间达到同步。
74.其中，第一参考时刻集合指的是从参考信号对应的时间段中选择出多个不相同的时刻组成的集合。第二参考时刻集合指的是从同步比较信号对应的时段中选择出多个不相同的时刻组成的集合。
75.在上述步骤303中，时间差指的是参考信号早于或晚于回声处理信号到达回声消除设备的一段时间，参考信号会根据该时间差调整参考信号的起始时间与结束时间，使其与回声处理信号的起始时间与结束时间保持一致。
76.本发明实施例提供的方法，通过确定回声处理信号与参考信号之间的时间差，从而可以调整参考信号的起始时间点与结束时间点，使参考信号与回声处理信号在时间上保持同步，进而实现回声消除。
77.结合上述实施例的内容，在一个实施例中，根据参考信号在第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与参考信号之间的时间差，包括：
78.401、从第一参考时刻集合中选取任一第一参考时刻并作为第一目标参考时刻，根据参考信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一参考频率点；
79.402、从第二参考时刻集合中选取未被选取过的第二参考时刻并作为比较时刻，根据同步比较信号在比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第二参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
80.403、根据第一目标参考时刻及第二目标参考时刻，确定回声处理信号与参考信号之间的时间差。
81.此外，确定时间差的方法并不只有上述步骤401至403描述的一种方式，还可以以回声处理信号作为对照组判断参考信号与回声处理信号之间的时间差。实施过程为：
82.从第二参考时刻集合中选取任一第二参考时刻并作为第一目标参考时刻，根据同步比较信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一
参考频率点；
83.从第一参考时刻集合中选取未被选取过的第一参考时刻并作为比较时刻，根据参考信号在比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第一参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
84.根据时间差，调整参考信号的起始时间点与结束时间点。
85.本发明实施例提供的方法，通过确定第一目标参考时刻及第二目标参考时刻，从而可以确定回声处理信号与参考信号之间的时间差，进而可以将参考信号的时间调整至与回声处理信号的时间同步。
86.结合上述实施例的内容，在一个实施例中，第一预设数量与第二预设数量相同且均不小于2；对于第一预设数量个第一参考频率点中任一第一参考频率点，在第二预设数量个第二参考频率点中均存在频率值相同的第二参考频率点；相应地，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，包括：
87.501、将频率值相同的第一参考频率点及第二参考频率点组成参考频率点组
，
计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值；
88.502、判断每一参考频率点组对应的幅值比值是否处于预设范围，获取幅值比值处于预设范围的参考频率点组的总数量；
89.503、若总数量不小于预设阈值，则确定第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件。
90.在上述步骤501中，频率值相同指的是确定了第一参考频率点后，第二参考频率点也与之一一对应并相同，并且第一参考频率点与第二参考频率点中相同的频率点为一组参考频率点组，并分别计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值。比如，第一参考频率点确定为5khz、10khz及15khz，三个频率点5khz、10khz及15khz各自对应的幅值分别为a、b及c。第二参考频率点也应该为5khz、10khz及15khz，三个三个频率点5khz、10khz及15khz对应的幅值分别为d、e及f。第一参考频率点与第二参考频率点的5khz为一组参考频率点组，第一参考频率点与第二参考频率点的10khz为另外一组参考频率点组，以此类推，可以组成3组参考频率点组。3组参考频率点组的幅值比值分别为a/d、b/e、c/f。
91.在上述步骤502中，本实施例不对预设范围作具体限定，预设范围可以随着实际中测试的需求作相应调整。具体地，每一组参考频率点组对应的幅值比值可以不相等，但是需要判断每一组参考频率点组对应的幅值比值是否处在预设范围内。
92.在上述步骤503中，预设阈值应当不大于与参考频率点组的数量，比如设置的参考频率点组为5组，则预设阈值可以为5或4。本发明实施不对预设阈值作具体限定，预设阈值可以随着实际中测试的需求作相应调整。
93.本发明实施例提供的方法，通过判断每一参考频率点组对应的幅值比值是否处于预设范围，从而可以确定处于预设范围的参考频率点组的总数量，进而以此判断第一预设
数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件。
94.结合上述实施例的内容，在一个实施例中，基于回声消除算法及同步参考信号，对回声处理信号进行回声消除之前，包括：
95.根据满足匹配条件的的幅值比值，调整同步参考信号的幅值。
96.具体地，基于回声消除算法及同步参考信号，对回声处理信号进行回声消除之前，还需要根据满足匹配条件的幅值比值，以该幅值比值对同步参考信号的幅值进行放大或缩小。
97.本发明实施例提供的方法，通过对同步参考信号的幅值进行调整，可以使基于回声消除算法及同步参考信号对回声处理信号进行回声消除后，得到的人声更加清晰，没有多余的干扰信号。
98.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
99.需要说明的是，上述阐述的技术方案在实际实施过程中可以作为独立实施例来实施，也可以彼此之间进行组合并作为组合实施例实施。另外，在对上述本发明实施例内容进行阐述时，仅基于方便阐述的思路，按照相应顺序对不同实施例进行阐述，如按照数据流流向的顺序，而并非是对不同实施例之间的执行顺序进行限定，也不是对实施例内部步骤的执行顺序进行限定。相应地，在实际实施过程中，若需要实施本发明提供的多个实施例，则不一定需要按照本发明阐述实施例时所提供的执行顺序，而是可以根据需求安排不同实施例之间的执行顺序。
100.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的回声消除方法的回声消除装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个回声消除装置实施例中的具体限定可以参见上文中对于回声消除方法的限定，在此不再赘述。
101.结合上述实施例的内容，在一个实施例中，如图3所示，提供了一种回声消除装置，包括：第一获取模块311、同步模块312、回声消除模块313及幅度调整模块314，其中：
102.第一获取模块311，用于对待处理信号滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
103.同步模块312，用于将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
104.回声消除模块313，用于基于回声消除算法及同步参考信号，对回声处理信号进行回声消除，输出经过回声消除的人声；
105.幅度调整模块314，用于根据满足匹配条件的幅值比值，调整同步参考信号的幅值。
106.在一个实施例中，第一获取模块311，包括：
107.滤波子模块3111，用于滤除待处理信号中预设频率范围之外的音频信号，其中，预设频率范围为20hz至20khz。
108.音频设备3112，用于输出音频信号至扬声器和同步模块312；
109.扬声器3113，用于对音频设备输出的音频信号进行放大；
110.麦克风3114，用于采集人发出的声音和扬声器输出的音频信号。
111.在一个实施例中，所述回声消除装置，还包括：
112.在一个实施例中，同步模块312，包括：
113.提取子模块，用于提取回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号；
114.第一确定子模块，用于根据参考信号对应的时段，确定第一参考时刻集合，根据同步比较信号对应的时段，确定第二参考时刻集合；
115.第一确定子模块，用于根据参考信号在第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与参考信号之间的时间差；
116.调整模块，用于根据时间差，调整参考信号的起始时间点与结束时间点。
117.在一个实施例中，第一确定子模块，包括：
118.第一确定单元，用于从第一参考时刻集合中选取任一第一参考时刻并作为第一目标参考时刻，根据参考信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一参考频率点；
119.判断单元，用于从第二参考时刻集合中选取未被选取过的第二参考时刻并作为比较时刻，根据同步比较信号在比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第二参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
120.第二确定单元，用于根据第一目标参考时刻及第二目标参考时刻，确定回声处理信号与参考信号之间的时间差。
121.在一个实施例中，判断单元，包括：
122.计算子单元，用于将频率值相同的第一参考频率点及第二参考频率点组成参考频率点组，计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值；
123.判断子单元，用于判断每一参考频率点组对应的幅值比值是否处于预设范围，获取幅值比值处于预设范围的参考频率点组的总数量；
124.确定子单元，用于若总数量不小于预设阈值，则确定第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件。
125.在一个实施例中，回声消除装置还可以用分层架构进行描述，如图4示，包括：应用层、服务器层、声音子系统层、驱动层以及物理层，其中应用层包括能够播放音频的客户端。这些音频客户端可以通过音频流连接到音频服务器。服务器层可以是软件并管理对音频芯
片、mic、speaker之类的音频设备的使用和访问。服务器层可以作为接收器和音频处理的后台进程运行。声音子系统层包括实现音频采样、滤波的软件。驱动程序层可以包括音频驱动程序。
126.上述回声消除装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
127.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储音频信号数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种回声消除方法。
128.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
129.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
130.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
131.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
132.基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
133.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
134.滤除待处理信号中预设频率范围之外的音频信号，其中，预设频率范围为20hz至20khz。
135.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
136.提取回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号；
137.根据参考信号对应的时段，确定第一参考时刻集合，根据同步比较信号对应的时段，确定第二参考时刻集合；
138.根据参考信号在第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与参考信号之间的时间差；
139.根据时间差，调整参考信号的起始时间点与结束时间点。
140.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
141.从第一参考时刻集合中选取任一第一参考时刻并作为第一目标参考时刻，根据参考信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一参考频率点；
142.从第二参考时刻集合中选取未被选取过的第二参考时刻并作为比较时刻，根据同步比较信号在比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第二参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
143.根据第一目标参考时刻及第二目标参考时刻，确定回声处理信号与参考信号之间的时间差。
144.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
145.将频率值相同的第一参考频率点及第二参考频率点组成参考频率点组，计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值；
146.判断每一参考频率点组对应的幅值比值是否处于预设范围，获取幅值比值处于预设范围的参考频率点组的总数量；
147.若总数量不小于预设阈值，则确定第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件。
148.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
149.根据满足匹配条件的幅值比值，调整同步参考信号的幅值。
150.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
151.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
152.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
153.基于回声消除算法及同步参考信号，对回声处理信号进行回声消除。
154.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
155.滤除待处理信号中预设频率范围之外的音频信号，其中，预设频率范围为20hz至20khz。
156.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
157.提取回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号；
158.根据参考信号对应的时段，确定第一参考时刻集合，根据同步比较信号对应的时段，确定第二参考时刻集合；
159.根据参考信号在第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与参考信号之间的时间差；
160.根据时间差，调整参考信号的起始时间点与结束时间点。
161.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
162.从第一参考时刻集合中选取任一第一参考时刻并作为第一目标参考时刻，根据参
考信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一参考频率点；
163.从第二参考时刻集合中选取未被选取过的第二参考时刻并作为比较时刻，根据同步比较信号在比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第二参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
164.根据第一目标参考时刻及第二目标参考时刻，确定回声处理信号与参考信号之间的时间差。
165.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
166.将频率值相同的第一参考频率点及第二参考频率点组成参考频率点组，计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值；
167.判断每一参考频率点组对应的幅值比值是否处于预设范围，获取幅值比值处于预设范围的参考频率点组的总数量；
168.若总数量不小于预设阈值，则确定第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件。
169.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
170.根据满足匹配条件的幅值比值，调整同步参考信号的幅值。
171.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
172.对待处理信号进行滤波，获取回声处理信号，其中，待处理信号是音频设备向扬声器输出的音频信号经过扬声器进行播放后所产生的声音及人发出的声音同时被麦克风采集后所得到的；
173.将音频设备向扬声器输出的音频信号作为参考信号，基于回声处理信号对参考信号进行同步，得到同步参考信号；
174.基于回声消除算法及所述同步参考信号，对回声处理信号进行回声消除。
175.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
176.滤除待处理信号中预设频率范围之外的音频信号，其中，预设频率范围为20hz至20khz。
177.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
178.提取回声处理信号中频率范围为4khz至20khz的音频信号，作为同步比较信号；
179.根据参考信号对应的时段，确定第一参考时刻集合，根据同步比较信号对应的时段，确定第二参考时刻集合；
180.根据参考信号在第一参考时刻集合中每一第一参考时刻上信号量的频率分布，以及同步比较信号在第二参考时刻集合中每一第二参考时刻上信号量的频率分布，确定回声处理信号与参考信号之间的时间差；
181.根据时间差，调整参考信号的起始时间点与结束时间点。
182.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
183.从第一参考时刻集合中选取任一第一参考时刻并作为第一目标参考时刻，根据参考信号在第一目标参考时刻上信号量的频率分布，确定第一目标参考时刻对应的第一参考频率点；
184.从第二参考时刻集合中选取未被选取过的第二参考时刻并作为比较时刻，根据同步比较信号在所述比较时刻上信号量的频率分布以及第一目标参考时刻对应的第一预设数量个第一参考频率点，确定比较时刻对应的第二预设数量个第二参考频率点，判断第一预设数量个第一参考频率点与所述第二预设数量个第二参考频率点之间是否满足匹配条件，若不满足，则重复上述选取第二参考时刻、确定比较时刻对应的第二参考频率点以及判断的过程，直至第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件，将满足匹配条件时对应选取的第二参考时刻，作为第二目标参考时刻；
185.根据第一目标参考时刻及所述第二目标参考时刻，确定回声处理信号与参考信号之间的时间差。
186.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
187.将频率值相同的第一参考频率点及第二参考频率点组成参考频率点组，计算每一参考频率点组中第一参考频率点与第二参考频率点之间的幅值比值；
188.判断每一参考频率点组对应的幅值比值是否处于预设范围，获取幅值比值处于预设范围的参考频率点组的总数量；
189.若总数量不小于预设阈值，则确定第一预设数量个第一参考频率点与第二预设数量个第二参考频率点之间满足匹配条件。
190.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
191.根据满足匹配条件的幅值比值，调整同步参考信号的幅值。
192.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
193.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形
处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
194.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
195.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。