实时通话中呼吸情况的辅助判断方法和系统与流程

1.本技术涉及智慧医疗技术领域，特别涉及一种实时通话中呼吸情况的辅助判断方法和系统。


背景技术：

2.呼吸是一个人生命的象征，作为一个为了维持生命特征不可避免的生理活动，呼吸的重要性不言而喻。但长久以来，在语音信号处理中，由于呼吸的声音具有能量低、频率低的特点，研究者们大都关注于有声语音部分，而呼吸音往往被看作是微不足道的一个部分甚至是噪声来进行处理。然而，作为与有声语音信号具有明显差异的一种声音信号，呼吸音本身也可反映出十分丰富的信息。近来，已有越来越多的研究者开始对呼吸音本身所包含的信息进行分析和研究。
3.通过判断病患的呼吸音是否正常来决定后续的治疗方案是急诊治疗中的重要手段，当病患入院前，对患者的呼吸情况做出准确判断为后续的治疗提供重要依据，现有的远程呼吸情况检测大多在病患端需设置特定的设备进行声音的收集，仅适用于部分特定人群，不具备普遍性。


技术实现要素：

4.(一)发明目的
5.鉴于上述问题，本技术提供一种在病患端不存在附加设备的情况下，急救端通过即时通话获取病患端的语音信号，并对所述语音信号进行处理获取病患的呼吸音，进而判断病患的呼吸音是否属于异常呼吸音的技术，本技术提供的技术方案不需要在病患端设置附加设备，只需要进行即时通话即可，更加便利，适用范围较广，且对异常呼吸的判断更精准，为急救端及时精准的提供病患端的实际呼吸情况，有效提高病患的救治率。
6.本技术公开了以下技术方案。
7.(二)技术方案
8.作为本技术的第一方面，本技术公开了一种实时通话中呼吸情况的辅助判断方法，包括：
9.基于实时通话获取病患端的语音信号；
10.对所述语音信号进行预处理生成第一语音信号；
11.对所述第一语音信号进行特征提取获取第一呼吸音；
12.通过声纹识别判断所述第一呼吸音是否为异常呼吸音。
13.在一种可能的实施方式中，所述对所述语音信号进行预处理生成第一语音信号，包括：
14.对所述语音信号进行分帧处理生成等时长声音帧；
15.基于离散傅里叶变换获取所述等时长声音帧的短时谱；
16.基于所述短时谱、预设的噪音频谱和过减因子生成所述语音信号的第一降噪语音
频谱；
17.对所述第一降噪语音频谱执行逆傅里叶变换生成第一语音信号。
18.在一种可能的实施方式中，所述对所述第一语音信号进行特征提取获取第一呼吸音，包括：
19.构建呼吸音特征提取模型；
20.基于所述呼吸音特征提取模型获取模糊边界呼吸音；
21.利用波谷定位法定位所述模糊边界呼吸音的起止点，生成第一呼吸音。
22.在一种可能的实施方式中，所述通过声纹识别判断所述第一呼吸音是否为异常呼吸音，包括：
23.提取所述第一呼吸音的呼吸频率和呼吸特点；
24.基于所述第一呼吸音的呼吸频率和呼吸特点与预设的异常呼吸模板进行相似度匹配；
25.当相似度超过预设的阈值时则判断为异常呼吸音。
26.在一种可能的实施方式中，在所述基于实时通话获取病患端的语音信号之前，还包括：
27.基于实时通话进行多轮智能语音对话初步获取病患的呼吸情况。
28.作为本技术的第二方面，本技术还公开了一种实时通话中呼吸情况的辅助判断系统，包括：
29.语音信号获取模块，用于基于实时通话获取病患端的语音信号；
30.第一信号生成模块，用于对所述语音信号进行预处理生成第一语音信号；
31.呼吸音获取模块，用于对所述第一语音信号进行特征提取获取第一呼吸音；
32.异常判断模块，用于通过声纹识别判断所述第一呼吸音是否为异常呼吸音。
33.在一种可能的实施方式中，所述第一信号生成模块，包括：
34.分帧子模块，用于对所述语音信号进行分帧处理生成等时长声音帧；
35.短时谱获取子模块，用于基于离散傅里叶变换获取所述等时长声音帧的短时谱；
36.降噪子模块，用于基于所述短时谱、预设的噪音频谱和过减因子生成所述语音信号的第一降噪语音频谱；
37.第一信号生成子模块，用于对所述第一降噪语音频谱执行逆傅里叶变换生成第一语音信号。
38.在一种可能的实施方式中，所述呼吸音获取模块，包括：
39.模型构建子模块，用于构建呼吸音特征提取模型；
40.模糊呼吸音子模块，用于基于所述呼吸音特征提取模型获取模糊边界呼吸音；
41.呼吸音获取子模块，用于利用波谷定位法定位所述模糊边界呼吸音的起止点，生成第一呼吸音。
42.在一种可能的实施方式中，所述异常判断模块，包括：
43.提取子模块，用于提取所述第一呼吸音的呼吸频率和呼吸特点；
44.匹配子模块，用于基于所述第一呼吸音的呼吸频率和呼吸特点与预设的异常呼吸模板进行相似度匹配；
45.判断子模块，用于当相似度超过预设的阈值时则判断为异常呼吸音。
46.在一种可能的实施方式中，在所述语音信号获取模块之前，还包括：
47.初步情况获取模块，用于基于实时通话进行多轮智能语音对话初步获取病患的呼吸情况。
48.(三)有益效果
49.本技术公开的一种实时通话中呼吸情况的辅助判断方法和系统，在病患端不存在附加设备的情况下，急救端通过即时通话获取病患端的语音信号，并对所述语音信号进行处理获取病患的呼吸音，进而判断病患的呼吸音是否属于异常呼吸音的技术，本技术提供的技术方案具有如下有益效果：不需要在病患端设置附加设备，只需要进行即时通话即可，更加便利，适用范围较广，且对异常呼吸的判断更精准，为急救端及时精准的提供了病患端的实际呼吸情况，有效提高了病患的救治率。
附图说明
50.以下参考附图描述的实施例是示例性的，旨在用于解释和说明本技术，而不能理解为对本技术的保护范围的限制。
51.图1是本技术公开的实时通话中呼吸情况的辅助判断方法的流程图；
52.图2是本技术公开的实时通话中呼吸情况的辅助判断系统的结构框图。
具体实施方式
53.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。
54.需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
55.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制。
56.下面参考图1详细描述本技术公开的实时通话中呼吸情况的辅助判断方法实施例，如图1所示，本实施例公开的方法主要包括有一下步骤s100至步骤s400。
57.步骤s100，基于实时通话获取病患端的语音信号。
58.具体的，所述实时通话是病患端和急救端进行的实时通话，可以通过手机、固定电话等形式，其中病患端进行通话的主体可以是病患本人或者替病患进行呼救的第二呼救者，所述语音信号为通过病患端收录的，包括环境杂音、病患本人的语言信号、病患本人的呼吸音、第二呼救者的语音信号和第二呼救者的呼吸音等。
59.在一个实施例中，在步骤s100之前，还包括：基于实时通话进行多轮智能语音对话初步获取病患的呼吸情况。
60.具体的，实时通话接通之前，根据病患端的实际情况，通过多轮智能语音对话，初步获取病患的呼吸情况。
61.例如：当第二呼救人与急救端进行通话时，急救端会向第二呼救人确定患者的呼吸情况，通过多轮对话的形式，急救端的调度员通过询问记录特定问题的方式，存储的数据通过特定逻辑规则协助调度判断伤病者呼吸情况，问询的内容包括但不限于：
62.(1)听：口鼻处是否有呼吸音；
63.(2)看：看胸腹部是否有呼吸的起伏；
64.(3)感觉：可把手放在口鼻处感觉是否有气流进出。
65.通过记录的内容初步判断病患的呼吸情况，初步判断的呼吸情况包括呼吸正常或呼吸不正常。
66.步骤s200，对所述语音信号进行预处理生成第一语音信号。
67.具体的，获取的病患端的语音信号包括：环境杂音、病患本人的语言信号、病患本人的呼吸音、第二呼救者的语音信号和第二呼救者的呼吸音等，判断病患的呼吸情况时需获取病患的呼吸音，首先对语音信号进行预处理。
68.进一步的，步骤s200还包括：步骤s210至步骤s240
69.步骤210，对所述语音信号进行分帧处理生成等时长声音帧,。
70.具体的，首先对语音信号的声音帧进行分帧处理，获取时长相等的声音帧，优选的，每个所述声音帧的时长为10ms。
71.步骤220，基于离散傅里叶变换获取所述等时长声音帧的短时谱。
72.具体的，获取等时长的声音帧后，逐帧进行离散傅里叶变换，获取等时长声音帧的短时谱。
73.步骤230，基于所述短时谱、预设的噪音频谱和过减因子生成所述语音信号的第一降噪语音频谱。
74.具体的，本技术采用优化的谱减法进行噪声的降低，引用过减因子和谱下限参数，选取输入的语音信号的前几帧的频谱作为预设的噪音频谱，将所述短时谱的幅值平方，减掉所述预设的噪音频谱和过减因子的乘积，获取语音信号的第一降噪语音频谱。
75.步骤240，对所述第一降噪语音频谱执行逆傅里叶变换生成第一语音信号。
76.具体的，将所述第一降噪语音频谱进行开方，然后执行逆傅里叶变换，获取降噪后的语音信号，即所述第一语音信号。
77.步骤s300，对所述第一语音信号进行特征提取获取第一呼吸音。、
78.具体的，患端的语音信号包括：环境杂音、病患本人的语言信号、病患本人的呼吸音、第二呼救者的语音信号和第二呼救者的呼吸音等，判断病患的呼吸情况时需获取病患的呼吸音，对语音信号进行预处理降噪后获取第一语音信号，需要从所述第一语音信号中提取第一呼吸音，即病患的呼吸音。
79.进一步的，步骤s300包括步骤s310至步骤s330。
80.步骤s310、构建呼吸音特征提取模型。
81.具体的，步骤s310包括以下步骤：
82.步骤s311、选取异常呼吸样本，对所述异常呼吸样本进行无交叠分帧处理生成第一样本；
83.步骤s312、将所述第一样本划分为交叠的呼吸子帧生成第二样本；
84.步骤s313、计算所述第二样本的mfcc向量，进而获取矩阵a；
85.步骤s314、对所述矩阵a进行平均处理生成矩阵b；
86.步骤s315、计算所述呼吸音特征提取知识图谱的方差矩阵c；
87.步骤s316、对所述矩阵b进行奇异值分解，获取奇异值向量d；
88.步骤s317、基于上述矩阵b、方差矩阵c和奇异值向量d构建所述呼吸音特征提取模型。
89.步骤s320、基于所述呼吸音特征提取模型获取模糊边界呼吸音。
90.具体的，基于上述构建的呼吸音特征提取模型进行模糊边界呼吸音的提取，模型采取逐帧判断的方式，除了基于mfcc特征矩阵的相似度之外，zcr和ste也作为辅助特征帮助进行判断，只有当一个声音帧同时满足了模型的输出为异常以及zcr和ste这三个阈值上的要求时，才能认为该声音帧是一个呼吸音。但此时获取的呼吸音的边界时模糊的，需要进一步确定其边界。
91.步骤s330、利用波谷定位法定位所述模糊边界呼吸音的起止点，生成第一呼吸音。
92.具体的，步骤s330还包括：
93.步骤s331、使用一个中值滤波器对呼吸音序列进行平滑操作。
94.具体的，经过呼吸音检测可以得到大致的呼吸部分的声音信号，呼吸帧检测最终得出的时01序列，连续的“0”元素表示有声语音片段，连续的“1”元素则代表着呼吸音片段。
95.利用中值滤波器矫正在一长串连续的0元素中间偶然出现的1元素以及在一长串连续的1元素中间偶然出现的0元素。
96.步骤s332、提取原始通话的能量包络，利用均值滤波器对其进行平滑处理。
97.步骤s333：在呼吸音片段对应原始通话的能量包络中进行波谷检测，进而确定左边界和右边界。
98.具体的，波谷检测存在三种情况，每种情况的具体标记方式如下：
99.1)大于等于两个波谷：将最靠近呼吸音片段左边界的波谷标记为呼吸音的左边界，将最靠近呼吸音片段右边界的波谷标记为呼吸音的右边界；
100.2)没有波谷：分别从呼吸音片段的左边界和右边界向外进行检测，左边最靠近呼吸音片段左边界的波谷标记为呼吸音的左边界；右边最靠近呼吸音片段右边界的波谷标记为呼吸音的右边界；
101.3)一个波谷：将这个波谷标记为呼吸音的左边界，然后从候选区域的右边界向外进行检测，检测到右边最靠近呼吸音右边界的波谷标记为呼吸音的右边界；如果从呼吸音的右边界向外无法检测到波谷，则将呼吸音中的这个波谷标记为呼吸的右边界，然后从呼吸音的左边界向外进行检测，检测到左边最靠近呼吸音左边界的波谷标记为呼吸的左边界。
102.步骤s400，通过声纹识别判断所述第一呼吸音是否为异常呼吸音。
103.具体的，步骤s400包括以下步骤：
104.步骤s410、提取所述第一呼吸音的呼吸频率和呼吸特点。
105.获取呼吸音的准确边界后，提取所述第一呼吸音的呼吸频率和呼吸特点，其中呼吸频率为呼吸音的间隔时间，呼吸特点包括吸气吐气时长、呼吸音的大小等。
106.步骤s420、基于所述第一呼吸音的呼吸频率和呼吸特点与预设的异常呼吸模板进行相似度匹配。
107.具体的，预设有异常呼吸模板，将上述呼吸频率和呼吸特点与所述呼吸模板进行相似度匹配，获取相似度。
108.步骤s430、当相似度超过预设的阈值时则判断为异常呼吸音。
109.具体的，基于预设的阈值，当所述相似度超过阈值时则判断为异常呼吸音，反之则为正常呼吸音。
110.进而，当识别判断病患的呼吸音为所述异常呼吸音的情形下，则将该识别结果自动记载至实时通话的相关接听记录，从而在后续的急诊治疗中相关医护人员能够参考该接听记录中关于异常呼吸音的识别结果，作为后续的治疗提供重要依据。
111.下面参考图2，基于同一发明构思，本技术还提供了实时通话中呼吸情况的辅助判断系统的实施例，包括：
112.语音信号获取模块1，用于基于实时通话获取病患端的语音信号。
113.具体的，所述实时通话是病患端和急救端进行的实时通话，可以通过手机、固定电话等形式，其中病患端进行通话的主体可以是病患本人或者替病患进行呼救的第二呼救者，所述语音信号为通过病患端收录的，包括环境杂音、病患本人的语言信号、病患本人的呼吸音、第二呼救者的语音信号和第二呼救者的呼吸音等。
114.在一个实施例中，语音信号获取模块1之前，还包括：
115.初步情况获取模块5，用于基于实时通话进行多轮智能语音对话初步获取病患的呼吸情况。
116.具体的，实时通话接通之前，根据病患端的实际情况，通过多轮智能语音对话，初步获取病患的呼吸情况。
117.例如：当第二呼救人与急救端进行通话时，急救端会向第二呼救人确定患者的呼吸情况，通过多轮对话的形式，急救端的调度员通过询问记录特定问题的方式，存储的数据通过特定逻辑规则协助调度判断伤病者呼吸情况，问询的内容包括但不限于：
118.(1)听：口鼻处是否有呼吸音；
119.(2)看：看胸腹部是否有呼吸的起伏；
120.(3)感觉：可把手放在口鼻处感觉是否有气流进出。
121.通过记录的内容初步判断病患的呼吸情况，初步判断的呼吸情况包括呼吸正常或呼吸不正常。
122.第一信号生成模块2，用于对所述语音信号进行预处理生成第一语音信号。
123.具体的，获取的病患端的语音信号包括：环境杂音、病患本人的语言信号、病患本人的呼吸音、第二呼救者的语音信号和第二呼救者的呼吸音等，判断病患的呼吸情况时需获取病患的呼吸音，首先对语音信号进行预处理。
124.进一步的，第一信号生成模块2包括：
125.分帧子模块21，用于对所述语音信号进行分帧处理生成等时长声音帧。
126.具体的，首先对语音信号的声音帧进行分帧处理，获取时长相等的声音帧，优选的，所述声音帧为10ms。
127.短时谱获取子模块22，用于基于离散傅里叶变换获取所述等时长声音帧的短时
谱。
128.具体的，获取等时长的声音帧后，逐帧进行离散傅里叶变换，获取等时长声音帧的短时谱。
129.降噪子模块23，用于基于所述短时谱、预设的噪音频谱和过减因子生成所述语音信号的第一降噪语音频谱。
130.具体的，本技术采用优化的谱减法进行噪声的降低，引用过减因子和谱下限参数，选取输入的语音信号的前几帧的频谱作为预设的噪音频谱，将所述短时谱的幅值平方，减掉所述预设的噪音频谱和过减因子的乘积，获取语音信号的第一降噪语音频谱。
131.第一信号生成子模块24，用于对所述第一降噪语音频谱执行逆傅里叶变换生成第一语音信号。
132.具体的，将所述第一降噪语音频谱进行开方，然后执行逆傅里叶变换，获取降噪后的语音信号，即所述第一语音信号。
133.呼吸音获取模块3，用于对所述第一语音信号进行特征提取获取第一呼吸音。
134.具体的，患端的语音信号包括：环境杂音、病患本人的语言信号、病患本人的呼吸音、第二呼救者的语音信号和第二呼救者的呼吸音等，判断病患的呼吸情况时需获取病患的呼吸音，对语音信号进行预处理降噪后获取第一语音信号，需要从所述第一语音信号中提取第一呼吸音，即病患的呼吸音。
135.进一步的，呼吸音获取模块3包括：
136.模型构建子模块31，用于构建呼吸音特征提取模型。
137.具体的，模型构建子模块31由以下步骤组成：
138.(1)选取异常呼吸样本，对所述异常呼吸样本进行无交叠分帧处理生成第一样本；
139.(2)将所述第一样本划分为交叠的呼吸子帧生成第二样本；
140.(3)计算所述第二样本的mfcc向量，进而获取矩阵a；
141.(4)对所述矩阵a进行平均处理生成矩阵b；
142.(5)计算所述呼吸音特征提取知识图谱的方差矩阵c；
143.(6)对所述矩阵b进行奇异值分解，获取奇异值向量d；
144.(7)基于上述矩阵b、方差矩阵c和奇异值向量d构建所述呼吸音特征提取模型。
145.模糊呼吸音子模块32，用于基于所述呼吸音特征提取模型获取模糊边界呼吸音。
146.具体的，基于上述构建的呼吸音特征提取模型进行模糊边界呼吸音的提取，模型采取逐帧判断的方式，除了基于mfcc特征矩阵的相似度之外，zcr和ste也作为辅助特征帮助进行判断，只有当一个声音帧同时满足了模型的输出为异常以及zcr和ste这三个阈值上的要求时，才能认为该声音帧是一个呼吸音。但此时获取的呼吸音的边界时模糊的，需要进一步确定其边界。
147.呼吸音获取子模块33，用于利用波谷定位法定位所述模糊边界呼吸音的起止点，生成第一呼吸音。
148.具体的，呼吸音获取子模块33包括：
149.(1)使用一个中值滤波器对呼吸音序列进行平滑操作。
150.具体的，经过呼吸音检测可以得到大致的呼吸部分的声音信号，呼吸帧检测最终得出的时01序列，连续的“0”元素表示有声语音片段，连续的“1”元素则代表着呼吸音片段。
151.利用中值滤波器矫正在一长串连续的0元素中间偶然出现的1元素以及在一长串连续的1元素中间偶然出现的0元素。
152.(2)提取原始通话的能量包络，利用均值滤波器对其进行平滑处理。
153.(3)在呼吸音片段对应原始通话的能量包络中进行波谷检测，进而确定左边界和右边界。
154.具体的，波谷检测存在三种情况，每种情况的具体标记方式如下：
155.1)大于等于两个波谷：将最靠近呼吸音片段左边界的波谷标记为呼吸音的左边界，将最靠近呼吸音片段右边界的波谷标记为呼吸音的右边界；
156.2)没有波谷：分别从呼吸音片段的左边界和右边界向外进行检测，左边最靠近呼吸音片段左边界的波谷标记为呼吸音的左边界；右边最靠近呼吸音片段右边界的波谷标记为呼吸音的右边界；
157.3)一个波谷：将这个波谷标记为呼吸音的左边界，然后从候选区域的右边界向外进行检测，检测到右边最靠近呼吸音右边界的波谷标记为呼吸音的右边界；如果从呼吸音的右边界向外无法检测到波谷，则将呼吸音中的这个波谷标记为呼吸的右边界，然后从呼吸音的左边界向外进行检测，检测到左边最靠近呼吸音左边界的波谷标记为呼吸的左边界。
158.异常判断模块4，用于通过声纹识别判断所述第一呼吸音是否为异常呼吸音。
159.具体的，所述异常判断模块4，包括：
160.提取子模块41，用于提取所述第一呼吸音的呼吸频率和呼吸特点；
161.具体的，获取呼吸音的准确边界后，提取所述第一呼吸音的呼吸频率和呼吸特点，其中呼吸频率为呼吸音的间隔时间，呼吸特点包括吸气吐气时长、呼吸音的大小等。
162.匹配子模块42，用于基于所述第一呼吸音的呼吸频率和呼吸特点与预设的异常呼吸模板进行相似度匹配。
163.具体的，具体的，预设有异常呼吸模板，将上述呼吸频率和呼吸特点与所述呼吸模板进行相似度匹配，获取相似度。
164.判断子模块43，用于当相似度超过预设的阈值时则判断为异常呼吸音。
165.具体的，基于预设的阈值，当所述相似度超过阈值时则判断为异常呼吸音，反之则为正常呼吸音。
166.进而，当判断子模块43识别判断病患的呼吸音为所述异常呼吸音的情形下，则将该识别结果自动记载至实时通话的相关接听记录，从而在后续的急诊治疗中相关医护人员能够参考该接听记录中关于异常呼吸音的识别结果，作为后续的治疗提供重要依据。
167.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。