技术特征：
1.一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，包括：获取待分析音频数据和待分析视频数据；提取所述待分析音频数据的时域特征和频域特征，根据所述时域特征和所述频域特征识别得到鸣笛声的音频片段；根据所述鸣笛声的音频片段确定鸣笛的声源方向；根据所述待分析视频数据确定鸣笛车辆位置；根据所述声源方向和所述鸣笛车辆位置，确定鸣笛车辆信息。2.根据权利要求1所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述获取待分析音频数据和待分析视频数据，包括：采用线性麦克风阵列从道路交通环境中采集原始音频数据，并通过小波阈值去噪算法去除所述原始音频数据中的交通环境噪声，得到所述待分析音频数据；采用摄像头采集待分析视频数据。3.根据权利要求2所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述通过小波阈值去噪算法去除所述原始音频数据中的交通环境噪声，得到所述待分析音频数据，包括：通过小波阈值去噪算法对所述原始音频数据进行降噪处理；在完成所述降噪处理后，对所述原始音频数据进行分帧和加窗处理，并对处理后的音频数据进行归一化处理，得到所述待分析音频数据。4.根据权利要求1所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述提取所述待分析音频数据的时域特征和频域特征，包括：在时间域中，计算所述待分析音频数据的短时过零率和短时能量，确定所述时域特征；在频谱域中，计算所述待分析音频数据的基于傅里叶变换的梅尔频率倒谱系数特征和基于小波变换的梅尔频率倒谱系数特征，确定所述频域特征；将所述频域特征中基于傅里叶变换的梅尔频率倒谱系数特征与所述时域特征中的短时过零率进行拼接，得到第一张量；将所述频域特征中基于小波变换的梅尔频率倒谱系数特征与所述时域特征中的短时能量进行拼接，得到第二张量；将所述第一张量和所述第二张量进行拼接，得到融合后的音频时频域特征。5.根据权利要求4所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述根据所述时域特征和所述频域特征识别得到鸣笛声的音频片段，包括：通过修改resnet50网络的网络参数和网络结构，构建目标深度神经网络；其中，所述网络参数包括输入尺寸、中间层数量或输出尺寸；所述目标深度神经网络的输入尺寸与所述音频时频域特征的尺寸适配；将音频分成多个子片段，将每个子片段输入所述目标深度神经网络，得到各个子片段被判断为鸣笛声的判定概率；根据所述判定概率确定鸣笛声出现的时间。6.根据权利要求1所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述根据所述鸣笛声的音频片段确定鸣笛的声源方向，包括：获取线性麦克风阵列的各个麦克风之间的距离参数以及实时环境声速；采用基于二次相关的时延估计方法计算得到声音传播的时延信息；
根据所述距离参数、所述实时环境声速以及所述时延信息，计算所述声源方向的估计结果；采用可控波束形成算法对所述声源方向的估计结果进行范围扫描，得到目标声源方向。7.根据权利要求6所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述采用基于二次相关的时延估计方法计算得到声音传播的时延信息，包括：对采集到的第一源信号和第二源信号进行相关性处理，得到自相关序列和互相关序列；将所述自相关序列和所述互相关序列视为关于时间的序列，对所述自相关序列和所述互相关序列再次进行互相关处理，得到二次相关结果；对所述二次相关结果进行广义加权处理，得到功率谱，并对所述功率谱进行反傅里叶变换处理后，找到所述二次相关结果中最大值对应的时间点，确定为声音传播的时延估计结果。8.根据权利要求6所述的一种基于音视频耦合的鸣笛车辆定位方法，其特征在于，所述采用可控波束形成算法对所述声源方向的估计结果进行范围扫描，得到目标声源方向，包括：根据接收到的快拍信号估计自相关矩阵；计算所述自相关矩阵的逆矩阵；根据线性麦克风阵列的集合形状构建相应的导向矢量；使角度按照设定的步进，在以所述声源方向的估计结果为中心的角度范围内扫描，计算capon波束形成法的功率谱；对所述capon波束形成法的功率谱进行谱峰搜索，找出峰值点对应角度，作为目标声源方向。9.一种基于音视频耦合的鸣笛车辆定位系统，其特征在于，包括：第一模块，用于获取待分析音频数据和待分析视频数据；第二模块，用于提取所述待分析音频数据的时域特征和频域特征，根据所述时域特征和所述频域特征识别得到鸣笛声的音频片段；根据所述鸣笛声的音频片段确定鸣笛的声源方向；第三模块，用于根据所述待分析视频数据确定鸣笛车辆位置；第四模块，用于根据所述声源方向和所述鸣笛车辆位置，确定鸣笛车辆信息。10.一种电子设备，其特征在于，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如权利要求1至8中任一项所述的方法。
技术总结
本发明公开了一种基于音视频耦合的鸣笛车辆定位方法及系统，方法包括：首先获取待分析音频数据和待分析视频数据；接着提取所述待分析音频数据的时域特征和频域特征，根据所述时域特征和所述频域特征识别得到鸣笛声的音频片段；根据所述鸣笛声的音频片段确定鸣笛的声源方向；然后根据所述待分析视频数据确定鸣笛车辆位置；最后根据所述声源方向和所述鸣笛车辆位置，确定鸣笛车辆信息。本发明的成本低、计算量小且准确率高,可广泛应用于计算机技术领域。领域。领域。
技术研发人员：蔡铭 王梓润 施一川 叶碧宇 陈燕菲 谭景俊
受保护的技术使用者：中山大学
技术研发日：2022.11.18
技术公布日：2023/3/21