本发明属于人工智能与语音识别交叉，具体涉及基于多模态融合的智能拾音与语音识别系统。
背景技术：
1、随着人工智能发展，语音交互已成为智能设备核心交互方式，凭借自然便捷优势，在消费电子、工业控制、公共服务等领域需求持续增长。但实际场景中，复杂环境干扰、多声源重叠、用户特征差异等问题，导致传统语音识别系统性能大幅下降，难以满足高鲁棒性、高准确率需求，成为制约智能语音技术普及的关键瓶颈。现有技术的不足具体如下：
2、语音信号采集与声源处理技术局限：拾音节点设计单一，多数采用单麦克风或简单线性阵列，缺乏分布式部署能力，无法覆盖复杂空间，导致目标说话人远离设备或多声源场景下，语音信号衰减、干扰占比升高，有效语音提取困难；传统声源定位与分离技术在非平稳噪声、多声源重叠场景下，定位易偏差、分离效果差，后续识别模型输入信噪比过低。
3、噪声抑制技术缺乏动态适应性：传统降噪依赖“噪声平稳”假设与固定噪声谱估计，面对非平稳噪声时，易出现噪声残留或语音细节丢失、失真；降噪参数多人工预设或仅支持有限场景切换，无法按实时噪声类型、强度动态调整，通用性与适应性极差。
4、单一模态识别鲁棒性缺陷与跨模态融合不足：仅依赖语音模态，受噪声、口音、传输损耗影响时识别率骤降；少数多模态系统仅采用特征简单拼接或固定权重加权，无法挖掘模态内在关联，难以利用多模态互补性，甚至因冗余信息干扰导致融合效果劣于单模态。
5、上下文理解与智能交互能力欠缺：多数系统仅利用短期上下文，忽略中期会话主题与长期用户偏好，难消解识别歧义；意图识别依赖关键词匹配，未结合领域知识图谱与历史交互习惯，难识别复杂意图；响应多基于固定模板，无法按实时上下文、用户意图动态生成，交互效率低、体验差。
6、因此，本发明提出一种基于多模态融合的智能拾音与语音识别系统。
技术实现思路
1、为了克服上述现有技术存在的缺点与不足，本发明采用如下技术方案：
2、基于多模态融合的智能拾音与语音识别系统，包括主控制模块、多个分布式部署的拾音节点、通信模块以及多模态融合引擎；
3、主控制模块部署于具备较强计算能力的设备，内部包含多模态数据协调器、识别结果融合器以及系统参数优化器，用于多模态数据的协同处理、识别结果的综合决策和系统参数的全局优化；
4、每个拾音节点包括阵列麦克风、辅助传感器组和本地预处理单元，阵列麦克风用于采集空间不同位置的语音信号以支持声源定位与波束形成，辅助传感器组包括红外传感器、振动传感器和环境噪声传感器，分别用于检测说话人位置与活动状态、采集固体传导声音、分析噪声特征，本地预处理单元用于对采集的原始信号进行放大、滤波、a/d转换和压缩；
5、通信模块采用有线或无线通信技术，在拾音节点与主控制模块之间传输多模态数据和控制指令；
6、多模态融合引擎包括声源定位与分离引擎、环境自适应降噪引擎、跨模态特征融合引擎和动态上下文理解引擎，用于对多模态信息进行深度融合以提升语音识别的鲁棒性和准确率。
7、优选地，声源定位与分离引擎配置为：
8、接收阵列麦克风的多通道语音信号，先对各通道信号进行采样率统一、直流偏移去除和能量归一化的预处理；再采用广义互相关算法计算不同麦克风之间的信号时延；基于麦克风阵列的几何结构和估计的时延，通过最大似然估计法计算声源的空间坐标；根据定位结果采用自适应波束形成算法构建空间滤波器，增强目标方向的语音信号并抑制其他方向的干扰；对于多个重叠声源，采用基于深度神经网络的独立分量分析方法进一步分离，得到分离后的各声源信号。
9、优选地，环境自适应降噪引擎配置为：
10、通过辅助传感器组和语音活动检测技术实时分析环境噪声的统计特性，当检测到纯噪声段时更新噪声功率谱估计；
11、采用改进的谱减法对带噪语音进行初步降噪；利用基于注意力机制的编解码器网络进一步优化降噪效果，编解码器网络的编码器通过卷积层和lstm层提取带噪语音的时频特征，注意力层自动学习不同频率和时间点的关注度以重点保留语音特征，解码器将编码特征映射回语音频谱生成降噪后的语音，且网络训练以对数谱距离损失和结构相似性指数损失的加权和为目标；
12、根据环境噪声类型和强度动态调整降噪参数；
13、采用谱平滑和相位重构技术进行语音增强后处理。
14、优选地，跨模态特征融合引擎配置为：
15、提取多模态特征，包括从预处理后的语音信号中提取梅尔频率倒谱系数、感知线性预测和梅尔谱图的语音特征，从红外传感器数据中提取说话人位置与活动状态的视觉特征，从环境传感器中提取噪声类型、强度、温度的环境特征，以及从历史交互中提取用户习惯、对话主题的上下文特征；
16、对不同模态的特征进行时间对齐和尺度标准化；对每个模态的特征采用自注意力机制进行增强；
17、采用交叉注意力机制学习不同模态特征之间的关联；
18、将各模态特征视为图节点构建模态间关联图，通过图神经网络进行深度融合；
19、最后通过门控机制动态调整各模态特征的贡献度以得到最终融合特征。
20、优选地，动态上下文理解引擎配置为：
21、构建包含短期上下文、中期上下文和长期上下文的多层级上下文模型，其中短期上下文为最近3-5轮对话内容，中期上下文为当前会话的主题和目标，长期上下文为用户的历史偏好、习惯和背景知识；
22、采用预训练语言模型将语音识别结果和上下文信息转换为向量表示；
23、通过计算候选识别结果与上下文的语义相似度，检测并消解识别歧义；
24、基于融合了上下文的语义表示识别用户的真实意图；
25、利用领域知识图谱对识别结果进行语义扩展和校正；
26、根据识别结果、用户意图和上下文信息生成合适的系统响应；将当前交互信息整合到上下文模型中并通过滑动窗口机制管理上下文长度。
27、优选地，主控制模块中的多模态数据协调器负责接收并整合来自不同拾音节点的多模态数据，管理数据传输时序以确保各模态数据在时间维度上的一致性；识别结果融合器对来自不同识别引擎的结果进行加权融合，基于置信度评估选择最优识别结果并处理识别歧义与冲突；系统参数优化器根据环境特征、用户特征和识别性能指标，动态调整拾音灵敏度、降噪强度、识别模型参数以实现最佳识别效果。
28、优选地，通信模块适配不同应用场景，可采用有线以太网、wi-fi、蓝牙或低功耗广域网技术，传输内容包括多模态采集数据、识别结果、控制指令及参数配置信息。
29、优选地，在语音识别阶段，主控制模块将跨模态融合特征输入ctc或注意力机制型识别模型以获取初步识别结果；经动态上下文理解引擎校正后，由识别结果融合器输出最优识别结果；系统参数优化器通过分析识别准确率、置信度指标，更新降噪模型和识别模型的参数，并保存用户交互历史和偏好以优化后续交互。
30、优选地，具备较强计算能力的设备为智能音箱、边缘计算设备或云端服务器。
31、综上所述，由于采用了上述技术方案，本发明的有益效果是：
32、1、本发明通过声源定位与分离引擎和环境自适应降噪引擎，实现动态噪声抑制与多声源分离。系统在非平稳噪声、重叠语音场景下仍能精准定位声源方位，有效分离目标语音与干扰声源，解决传统单模态系统在复杂环境中的“采集困难-噪声干扰”双重困境，提升语音信号纯净度与可识别性。
33、2、本发明通过跨模态特征融合引擎采用自注意力+交叉注意力+图神经网络的三层融合架构，实现语音、视觉、环境及上下文特征的深度融合。通过模态内增强与跨模态关联建模，系统在口音变化、方言混合、噪声干扰等复杂场景下识别准确率提升，有效克服单一模态信息局限，增强技术方案的泛化能力与鲁棒性。
34、3、本发明通过动态上下文理解引擎构建短期-中期-长期三级上下文模型，结合预训练语言模型与领域知识图谱，实现识别歧义消解、意图精准识别及响应动态生成。通过语义相似度计算与滑动窗口上下文管理，系统在多轮对话中可动态校正识别误差，理解用户真实意图，生成符合场景需求的系统响应，提升智能交互的流畅度、准确性与用户体验，满足从消费级智能音箱到工业级语音控制的全场景需求。