基于云桌面利用语音识别技术进行声音延时测试方法与流程

本发明涉及语音测试领域，具体涉及一种基于云桌面利用语音识别技术进行声音延时测试方法。

背景技术：

1、随着云计算的快速发展，多数行业内企业上云提速，中国云桌面产品普及率逐渐升高，云桌面产品在各场景渗透率不断提升，用户规模也在逐步壮大。

2、可是行业内云桌面产品使用体验也是参差不齐，音频效果不尽人意，跟缺乏云桌面音频相关的测评工具息息相关。一方面搭建完备的音/视频测评实验室和购买相应的设备，代价昂贵；另外一方面对测试人员的要求也极高，部署麻烦。

3、音频的时延跟用户体验息息相关，低延时，响应实时作为衡量云桌面音频的基本要求。

4、中国发明专利“自适应调整音频延迟的方法及电子设备”(专利号：cn115102931a)提供了一种自适应调整音频延迟的方法及电子设备，该方法包括：将音频帧放入音频缓冲队列；实时调整音频延迟阈值；根据调整后的音频延迟阈值，调整所述音频缓冲队列被划分成的多个音频变速区间；根据所述音频缓冲队列的当前长度与所述多个音频变速区间的关系，对所述音频缓冲队列中的音频帧进行变速播放处理。根据实施例的技术方案可提升弱网等环境下的音频质量和稳定性。该发明通过音频缓冲和变速播放的方式解决音频卡顿，并不能应用于音频时延的测评的技术领域。

5、中国发明专利“音视频同步方法、装置、设备及存储介质”(专利号：cn114710687a)提供了音视频同步方法、装置、设备及存储介质，应用于客户端，所述客户端与云端进行通信连接，所述方法包括：客户端接收云端发送的音视频数据包的音视频信息以及音视频同步信息，根据音视频同步信息触发同步逻辑；根据触发后的同步逻辑获取音视频渲染延迟信息，并根据音视频渲染延迟信息和音视频信息得到音视频数据包的相对延迟信息；根据音视频数据包的相对延迟信息得到音频目标延迟信息和视频目标延迟信息，以便客户端基于音频目标延迟信息和视频目标延迟信息调整缓存大小进行音视频同步。通过将所接收的信息作为输入计算得到音视频同步所需的相对延迟信息，不需要依赖ntp/rtp时间校准，以及可对于不同的办公场景动态进行开启关闭。该发明提供了一个音频时延的一个技术方向，其通过音视频延迟差解决音视频同步。

技术实现思路

1、本发明的主要目的是提供一种基于云桌面利用语音识别技术进行声音延时测试方法，通过巧妙利用现有条件，利用软件的使用方法对当前部署环境下的云桌面进行音频时延指标的测评，具备操作简单，部署方便，测量结果准确的特点。

2、为了完成上述目的，本发明提供了一种基于云桌面利用语音识别技术进行声音延时测试方法，包括以下步骤：

3、s100：在云桌面服务端处配置音频环路；

4、s200：在云桌面客户端的麦克风处写入具有多个特征语音的音频数据，然后上传入云桌面服务端，音频数据通过云桌面服务端的音频环路播放出来，最终通过云桌面客户端的喇叭处输出；

5、s300：分别抓取云桌面客户端的音频上行数据和通过喇叭处输出的音频下行数据，并进行保存；

6、s400：分别对音频上行数据和音频下行数据进行语音特征提取；

7、s500：根据步骤s400中提取的语音特征，将音频上行数据的特征语音与音频下行数据中的特征语音进行一一匹配，根据不同的音频位置计算出时延结果；

8、s600：将步骤s200-s400循环运行，实现对音频时延指标的长时间监控，并将监控后的测量结果进行图形化显示。

9、优选的，在步骤s400中，包括以下步骤：

10、s410：通过vad算法检测出音频上行数据和音频下行数据中的有效的特征语音；

11、s420：通过mfcc语音特征提取方法对步骤s410检测出的音频上行数据和音频下行数据中的有效的特征语音进行提取；

12、s430：将提取结果与预先设置的特征语音库中特征语音通过dtw算法进行特征匹配，从而识别并提取出正确的特征语音；

13、s440：输出步骤s430中提取出的特征语音。

14、优选的，在步骤s500中，延时计算方法如下：

15、rtt＝(▲t1+▲t2+▲t3……▲tn)/n，n为自然数，其中：

16、rtt：表示音频数据在网络往返时间；

17、▲tn表示音频上行数据中与音频下行数据中相同的特征语音之间的时间差。

18、优选的，在步骤s100中，音频环路是通过以下步骤实现的：

19、s110安装安装pulseaudio控制面板，

20、sudo apt install pavucontrol；

21、s120：配置loopback，

22、pactl load-module module-loopback latency_msec＝1；

23、s130:取消loopback，

24、pactl unload-module$(pactl list short modules|awk'$2＝＝"module-loopback"{print$1}'-)。

25、本发明的有益效果为：

26、(1)解决云桌面环境音频时延(rtt)测量困难，不方便的难题；

27、(2)部署简单：唯一的部署就是在云桌面服务端开启音频回路功能；

28、(3)操作简单：往麦克风写入音频数据，以及对客户端麦克风和外放处的音频抓取，音频时延指标的计算全自动化；

29、(4)测量结果精准，可视化界面效果好。

技术特征：

1.基于云桌面利用语音识别技术进行声音延时测试方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于云桌面利用语音识别技术进行声音延时测试方法，其特征在于，在步骤s400中，包括以下步骤：

3.根据权利要求1所述的基于云桌面利用语音识别技术进行声音延时测试方法，其特征在于，在步骤s500中，延时计算方法如下：

4.根据权利要求1所述的基于云桌面利用语音识别技术进行声音延时测试方法，其特征在于，在步骤s100中，音频环路是通过以下步骤实现的：

技术总结
本发明涉及一种基于云桌面利用语音识别技术进行声音延时测试方法，包括以下步骤：S100：在云桌面服务端处配置音频环路；S200：在云桌面客户端的麦克风处写入具有多个特征语音的音频数据，并上传入云桌面服务端，音频数据通过音频环路播放出来，由喇叭处输出；S300：分别抓取云桌面客户端的音频上行数据和通过喇叭处输出的音频下行数据，并进行保存；S400：分别对音频上行数据和音频下行数据进行语音特征提取；S500：根据步骤S400中提取的语音特征，将音频上行数据的特征语音与音频下行数据中的特征语音进行一一匹配，根据不同的音频位置计算出时延结果；S600：将步骤S200‑S400循环运行，实现对音频时延指标的长时间监控，并将监控后的测量结果进行图形化显示。

技术研发人员：喻军,谢明,孙立明,张铎
受保护的技术使用者：麒麟软件有限公司
技术研发日：
技术公布日：2024/4/7