言语功能评估装置、电子设备和存储介质

本公开涉及语音处理领域，尤其涉及一种言语功能评估装置、电子设备和存储介质。

背景技术：

1、帕金森病是一种进展性的神经退行性疾病，严重影响患者的生活质量，但目前尚无治愈手段。构音障碍在帕金森病患者中的发生率约为90%，语言和构音障碍的声学特征在各种神经障碍中有质的差异，这可能为检测早期疾病特异性变化提供一种手段，有助于监测疾病进展。声音和言语的特征改变最终导致患者的言语可懂度的恶化，但其评估方式复杂，专业性强、主管差异大，评估费时费力。在帕金森病患者的言语障碍中，如何准确高效界的评估言语可懂度的变化，进而达到早期筛查帕金森患者，监测疾病进展，对于帕金森病的治疗至关重要。

技术实现思路

1、有鉴于此，本公开提出了一种言语功能评估装置、电子设备和存储介质，旨在提供一种能够评估用户言语功能的装置。

2、根据本公开的第一方面，提供了一种言语功能评估装置，所述装置包括：

3、发音提示模块，用于向用户显示和/或播报预设的至少一种用于提示用户发音的发音范式，每种所述发音范式对应一种发音特征；

4、语音采集模块，用于采集所述用户基于所述至少一种发音范式产生的对应语音样本；

5、特征提取模块，用于根据每种所述发音范式对应的语言样本进行特征提取，得到至少一种发音特征；

6、言语功能评估模块，用于基于所述至少一种发音特征评估所述用户的言语功能。

7、在一种可选的实现方式中，所述发音范式包括：

8、元音/a/,/i/,/u/、/pa-ta-ka/及/pa/快速重复发音、元音交替/i-u/和朗读预设语料中的至少一种。

9、在一种可选的实现方式中，所述发音特征包括发音轮替节律、共振峰转换特征、音调及响度特征、声道运动特征和韵律及语速特征中的至少一种。

10、在一种可选的实现方式中，所述元音/a/,/i/,/u/与所述声道运动特征对应，所述/pa-ta-ka/及/pa/快速重复发音与所述发音轮替节律对应，所述元音交替/i-u/与所述共振峰转换特征对应，所述朗读预设语料与所述韵律以及语速特征对应，所述元音/a/与所述音调及响度特征对应。

11、在一种可选的实现方式中，所述特征提取模块，进一步用于：

12、对所述/pa-ta-ka/及/pa/快速重复发音对应的语音样本进行预处理后，提取波形文件对应的采样频率和语音样本时长；

13、基于所述采样频率和所述语音样本时长计算得到发音轮替节律。

14、在一种可选的实现方式中，所述特征提取模块，进一步用于：

15、对所述元音交替/i-u/对应的语音样本进行预处理后，确定波形文件对应的第二共振峰的起止和波峰位置；

16、根据所述第二共振峰的起止和波峰位置确定对应的共振峰转换特征。

17、在一种可选的实现方式中，所述特征提取模块，进一步用于：

18、对所述元音/a/对应的语音样本进行预处理后，确定波形文件对应的基频和振幅信息；

19、根据所述基频和振幅信息确定音调及响度特征。

20、在一种可选的实现方式中，所述特征提取模块，进一步用于：

21、分别对所述元音/a/,/i/,/u/对应的语音样本进行预处理，并提取对应的波形文件中的第一共振峰和第二共振峰；

22、根据每个所述波形文件的第一共振峰和第二共振峰分别作为横纵坐标绘制封闭的三角形图像；

23、计算所述三角形图像的面积得到声道运动特征。

24、在一种可选的实现方式中，所述特征提取模块，进一步用于：

25、对所述发音范式为朗读预设语料对应的语言样本进行预处理，并提取对应的波形文件中的基频以及振幅特征；

26、基于所述基频以及振幅特征计算所述韵律以及语速特征。

27、在一种可选的实现方式中，所述言语功能评估模块，进一步用于：

28、将所述至少一种发音特征输入训练得到的帕金森诊断模型，得到对应的第一预测结果，所述第一预测结果用于表征所述用户是否患有帕金森。

29、在一种可选的实现方式中，所述帕金森诊断模型的训练过程包括：

30、确定包括多个具有第一标注数据的样本发音特征的第一训练集，所述第一标注数据包括正常和帕金森患者，根据对应样本发音特征的发音者确定；

31、根据所述第一训练集训练预设的分类模型，得到所述帕金森诊断模型。

32、在一种可选的实现方式中，所述言语功能评估模块，进一步用于：

33、将所述至少一种发音特征输入训练得到的言语可懂度模型，得到对应的第二预测结果，所述第二预测结果用于表征所述用户言语的可懂程度。

34、在一种可选的实现方式中，所述言语可懂度模型的训练过程包括：

35、确定包括多个具有第二标注数据的样本发音特征的第二训练集，所述第二标注数据包括可懂程度；

36、根据所述第二训练集训练预设的分类模型，得到所述言语可懂度模型。

37、根据本公开的第二方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

38、根据本公开的第三方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

39、根据本公开的第四方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

40、在本公开实施例中，言语功能评估装置可以向用户显示和/或播报预设的至少一种用于提示用户发音的发音范式，每种发音范式对应一种发音特征。并采集用户基于至少一种发音范式产生的对应语音样本，根据每种发音范式对应的语言样本进行特征提取得到至少一种发音特征，以基于发音特征评估用户的言语功能。本公开通过至少一种发音范式指导用户发声并提取相应的发音特征，基于多个不同维度的发音特征共同评估用户的言语功能，提高了评估结果的准确性。

41、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

技术特征：

1.一种言语功能评估装置，其特征在于，所述装置包括：

2.根据权利要求1所述的装置，其特征在于，所述发音范式包括：

3.根据权利要求2所述的装置，其特征在于，所述发音特征包括发音轮替节律、共振峰转换特征、音调及响度特征、声道运动特征和韵律及语速特征中的至少一种。

4.根据权利要求3所述的装置，其特征在于，所述元音/a/,/i/,/u/与所述声道运动特征对应，所述/pa-ta-ka/及/pa/快速重复发音与所述发音轮替节律对应，所述元音交替/i-u/与所述共振峰转换特征对应，所述朗读预设语料与所述韵律以及语速特征对应，所述元音/a/与所述音调及响度特征对应。

5.根据权利要求4所述的装置，其特征在于，所述特征提取模块，进一步用于：

6.根据权利要求4或5所述的装置，其特征在于，所述特征提取模块，进一步用于：

7.根据权利要求4所述的装置，其特征在于，所述特征提取模块，进一步用于：

8.根据权利要求4所述的装置，其特征在于，所述特征提取模块，进一步用于：

9.根据权利要求4所述的装置，其特征在于，所述特征提取模块，进一步用于：

10.根据权利要求3所述的装置，其特征在于，所述言语功能评估模块，进一步用于：

11.根据权利要求10所述的装置，其特征在于，所述帕金森诊断模型的训练过程包括：

12.根据权利要求3所述的装置，其特征在于，所述言语功能评估模块，进一步用于：

13.根据权利要求12所述的装置，其特征在于，所述言语可懂度模型的训练过程包括：

14.一种电子设备，其特征在于，包括：

15.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至13中任意一项所述的装置。

技术总结
本公开涉及语音处理领域，尤其涉及一种言语功能评估装置、电子设备和存储介质，言语功能评估装置可以向用户显示和/或播报预设的至少一种用于提示用户发音的发音范式，每种发音范式对应一种发音特征。并采集用户基于至少一种发音范式产生的对应语音样本，根据每种发音范式对应的语言样本进行特征提取得到至少一种发音特征，以基于发音特征评估用户的言语功能。本公开通过至少一种发音范式指导用户发声并提取相应的发音特征，基于多个不同维度的发音特征共同评估用户的言语功能，提高了评估结果的准确性。

技术研发人员：张建国,刁玉,赵宝田,解虎涛,王艳雯
受保护的技术使用者：首都医科大学附属北京天坛医院
技术研发日：
技术公布日：2024/1/16