一种辅助发声方法及装置与流程

本发明涉及辅助发声，尤其涉及一种辅助发声方法及装置。

背景技术：

1、聋哑人发声方法主要为手语发声或借助辅助发声设备。大多数人认为手语是聋哑人与社会沟通的最好方式，有 90%的聋哑学生以及 80%的聋哑成年人不同程度的对《中国手语》进行了学习。但由于手语推广力度不够，手语翻译标准无法满足聋哑人群体需求，手语翻译质量无法满足聋哑人群体需求。由此，手语并不能完全满足聋哑人的发声需求，尤其在健全人与聋哑人之间不能有效的解决沟通障碍问题。各国学者在健全人与聋哑人之间的沟通问题上，大多选择了使用辅助发声设备解决这一问题。

2、目前辅助发声设备的技术路线主要有以下几种：

3、基于计算机视觉与图像处理算法的语音发声装置：该装置从单一方向或多方向使用摄像机采集用户手语手势图像，获取用户肢体信息。将聋哑人手势图像与手势库匹配后判断用户表达语义，获得的语音信息发送至发声设备。

4、基于数据手套技术的语音发声装置：数据手套中装有多种运动传感器，分布手指及手腕关节处，通过测量关节弯曲度、压力变化等信息，判断用户手语手势动作，将动作信息转换为文字信息，发送至语音发声装置发声。

5、基于加速度传感器的语音发声装置：通过测量运动加速度，直观反映手部在三维空间上的运动状态，根据运动状态可获得物体运动轨迹信息。通过测量重力加速度分量信息，搭建聋哑人语音发声装置。加速度传感器体积较小，可有效的节省设备空间。

6、基于表面肌电（surface electromyography，semg）信号的语音发声装置：采集用户手部 semg 信号，采用分类算法识别 semg 信号。该技术是由 semg 控制发展演变为semg 发声，用户在进行手语表达的同时，手部表面会产生相应的 semg 信号变化，只要肌肉健全则可进行发声。不同的手势动作需要使用的肌肉群不同，产生不同的 semg 信号组合，从而识别用户表达语句，将识别到的信息发送至发声装置从而实现发声。

7、电子喉和人工喉：利用电子震荡或电磁振动发出基音的装置，产生基音后再通过构音器官唇、舌、腭等的运动及共鸣器官的参与使声音成为可以识别的语言。

8、通过调查发现，现有的辅助发声技术发出的声音与真声差别较大，容易快速识别出假声，影响了用户体验；另外，基于现有辅助发声技术开发的产品特别是获取手势动作或声音源的采集结构，其结构复杂导致产品价格较高。

技术实现思路

1、本发明的目的在于提供一种辅助发声方法及装置，以解决现有的辅助发声技术及设备发出的声音与真声差别较大、成本高的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本发明提供了以下技术方案：

3、本发明提供的一种辅助发声方法，包括如下步骤：

4、s100、获取用户的声带振动信号；s200、对获取的所述声带振动信号进行处理，得到声带振动特征信号；s300、通过训练的对抗网络将所述声带振动特征信号生成音频采样信号；s400、将生成的所述音频采样信号转化为声音且输出所述声音。

5、进一步地，所述对抗网络包括第一对抗网络，用于将输入的所述声带振动特征信号生成所述音频采样信号，包括如下步骤：

6、给定时长和采样率，对输入的所述声带振动特征信号进行线性采样；对采样的所述声带振动特征信号依次按照上采样、填充、卷积的顺序重复处理第一预设次数，得到所述音频采样信号。

7、进一步地，所述对抗网络还包括第二对抗网络，用于将输入的真实声音信号与生成的所述音频采样信号进行对抗识别，包括如下步骤：

8、将输入的所述真实声音信号与生成的所述音频采样信号分别进行卷积处理；将卷积处理的所述真实声音信号与所述音频采样信号分别按照相位延迟、卷积的顺序重复处理第二预设次数；将重复处理后的所述真实声音信号与所述音频采样信号分别进行线性组合；将线性组合的所述真实声音信号与所述音频采样信号进行比对，输出比对结果。

9、进一步地，步骤s300中，对所述对抗网络的训练包括如下步骤：

10、s310、从真实声音信号样本中采集m个真实样本；从音频采样信号样本中采集m个样本，将其输入所述第一对抗网络，生成m个生成样本；初始化所述第一对抗网络、第二对抗网络，固定初始化后的第一对抗网络；训练k次所述第二对抗网络，直到所述第二对抗网络能够判别出所述真实样本和所述生成样本；s320、更新所述第一对抗网络的参数，使得所述第一对抗网络的生成样本逐步接近真实样本；s330、重复步骤s320，直到满足设定条件。

11、进一步地，步骤s320中，通过减小学习率来更新所述第一对抗网络的参数。

12、进一步地，步骤s330中，满足设定条件为：所述第二对抗网络对所述真实样本和所述生成样本的判别错误率均等于或者小于设定的阈值。

13、作为本发明的另一方面，还提供了一种辅助发声装置，应用于上文所述的一种辅助发声方法，包括依次连接的声带振动信号采集模块、声带振动特征提取模块、音频生成模块以及声音输出模块；所述音频生成模块包括所述对抗网络。

14、优选的，所述声带振动信号采集模块为惯性测量单元，用于获取用户颈部的加速度振动信号。

15、优选的，所述惯性测量单元为微机电系统器件。

16、优选的，所述音频生成模块部署在arm中。

17、实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

18、本发明通过获取用户的声带振动信号将其转化为声带振动特征信号，采用对抗网络将声带振动特征信号转化成仿真的音频采样信号，并实时播放至扬声器，以此实现辅助发声。本发明提供的辅助发声方法及装置能够使仿真的声音非常真实，提升了现有发声产品的用户体验，而且大幅降低了成本。

技术特征：

1.一种辅助发声方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种辅助发声方法，其特征在于，所述对抗网络包括第一对抗网络，用于将输入的所述声带振动特征信号生成所述音频采样信号，包括如下步骤：

3.根据权利要求2所述的一种辅助发声方法，其特征在于，所述对抗网络还包括第二对抗网络，用于将输入的真实声音信号与生成的所述音频采样信号进行对抗识别，包括如下步骤：

4.根据权利要求3所述的一种辅助发声方法，其特征在于，步骤s300中，对所述对抗网络的训练包括如下步骤：

5.根据权利要求4所述的一种辅助发声方法，其特征在于，步骤s320中，通过减小学习率来更新所述第一对抗网络的参数。

6.根据权利要求4所述的一种辅助发声方法，其特征在于，步骤s330中，满足设定条件为：所述第二对抗网络对所述真实样本和所述生成样本的判别错误率均等于或者小于设定的阈值。

7.一种辅助发声装置，其特征在于，应用于权利要求1-6任一项所述的一种辅助发声方法，包括依次连接的声带振动信号采集模块、声带振动特征提取模块、音频生成模块以及声音输出模块；

8.根据权利要求7所述的一种辅助发声装置，其特征在于，所述声带振动信号采集模块为惯性测量单元，用于获取用户颈部的加速度振动信号。

9.根据权利要求8所述的一种辅助发声装置，其特征在于，所述惯性测量单元为微机电系统器件。

10.根据权利要求7所述的一种辅助发声装置，其特征在于，所述音频生成模块部署在arm中。

技术总结
本发明公开了一种辅助发声方法及装置，涉及辅助发声技术领域，解决了现有的辅助发声技术及设备发出的声音与真声差别大、成本高的技术问题。本发明的方法包括：获取用户的声带振动信号；对获取的所述声带振动信号进行处理，得到声带振动特征信号；通过训练的对抗网络将所述声带振动特征信号生成音频采样信号；将生成的所述音频采样信号转化为声音且输出所述声音。本方法能够使辅助发生非常真实，提升了现有发声装置的用户体验。

技术研发人员：赵希敏,郑宏钊,杨晓风
受保护的技术使用者：深圳市九天睿芯科技有限公司
技术研发日：
技术公布日：2024/1/12