一种基于FPGA的隧道声音事件预警系统

本发明属于fpga硬件加速器，具体涉及一种隧道声音采集、基于fpga进行声音特征提取及分类、预警告知的系统。

背景技术：

1、隧道铁路限界异物入侵具有突发性、不可预测性，若不能及时报警，会严重影响列车行车安全，对其进行监测并及时预警非常有必要，目前用于隧道铁路限界异物入侵预警的方法包括如视频成像法、光纤光栅法、红外扫描成像法、激光雷达监测法、和微震传感器阵列监测法等。

2、光纤光栅法虽可以实现对隧道震动事件的实时准确监测，但考虑到成本及功耗问题，该方法不能被广泛应用于山区铁路的长期健康监测系统中；微震监测法则因为定位精度问题难以推广，且一般用于监测岩体破裂产生的震动或其他物体的震动，不能监测其它周界入侵事件；视频成像法被天气等原因影响太大，雨天、雪天、雾天等均会使得该方法严重降低甚至失去监测能力，因此该方法不能被广泛应用。

技术实现思路

1、本发明的目的在于针对现有技术中隧道周界入侵事件预警类型单一，预警系统资源消耗过大、延时较高等问题，提出一种基于fpga的隧道声音事件预警系统，可识别包括不同类型落石、行人入侵、动物入侵、车辆入侵等多种隧道铁路限界异物入侵事件，并及时预警。为了达到上述目的，本发明采用的技术方案为：

2、一种基于fpga的隧道声音事件预警系统，硬件平台包括声音传感器、单片机、fpga芯片、flash芯片、预警信息显示终端构成，

3、其连接方式为：所述单片机通过2-wire总线与声音传感器相连，所述单片机通过串口或者iic总线与所述fpga芯片相连，所述单片机通过无线通信与所述预警信息显示终端相连；所述fpga芯片与所述flash芯片通过spi总线相连；

4、功能模块包括：用于隧道声音采集和传输隧道声音采集传输模块、用于隧道声音特征提取的隧道声音特征提取模块、用于对隧道声音进行事件分类的稀疏卷积神经网络模块，用于预警的隧道预警模块；

5、所述卷积神经网络模块包括：第一普通卷积层、第二普通卷积层、第一稀疏卷积层、第一稀疏全连接层、第二稀疏全连接层、relu6激活模块、池化模块、softmax分类器；

6、所述第一普通卷积层以所述隧道声音特征提取模块输出的大小为93*86的特征图作为输入，以大小为6*6*5的卷积核进行卷积运算，然后进行relu6激活，2*2最大值池化，得到6*44*41的第一特征图；再经过所述第二普通卷积层，卷积核形状为16*5*6，随后经过relu6激活，4*4最大值池化，得到形状为16*10*9的第二特征图；再经过所述第一稀疏卷积层，卷积核形状为120*6*6，随后经过relu 6激活，得到大小为2400的第三特征图；再经过所述第一稀疏全连接层，得到大小为64的第四特征图；再经过所述第二稀疏全连接层，得到大小为分类数的第五特征图；再经过所述softmax分类器，得到概率最大的分类类型索引。

7、进一步的，所述隧道声音特征提取模块包括：

8、用于去除声音传感器信号的部分高频噪声的滤波模块；

9、用于将所述滤波模块传输过来的数据进行预加重，增加其高频部分的能量，并去除随机噪声的预加重模块；

10、用于将连续的声音信号分成多个短时数据帧的分帧模块；

11、用于提供平稳信号的加窗模块；

12、用于对所述加窗模块的输出进行fft、将时域信号转换到频域信号的fft及取模平方模块；

13、用于mel滤波计算和缓存的mel滤波器模块；

14、用于将所述mel滤波器模块输出的mel声谱图的能量数据映射到设定区间的能量压缩模块。

15、进一步的，所述预加重模块包含有加法器、触发器和乘法器；

16、所述加窗模块包含有乘法器、计数器、窗函数系数rom ip核；

17、所述fft及取模平方模块包含有地址计算模块、旋转系数rom ip核、蝶形运算单元、乘法器；

18、所述mel滤波器模块包含有mel滤波器组rom ip核、fft缓存模块、mel滤波计算模块。

19、进一步的，普通卷积层中包括：输入数据ram ip核和输出数据ram ip核、通道选择模块、模型参数rom ip核、跳过零值卷积计算模块、填充单元；

20、所述relu6激活模块包含有0/6比较器、二选一选择器、四选一选择器；所述池化模块包含有逻辑门电路、比较器和选择器；

21、所述softmax分类器包含有分类计数器、比较器、或门以及选择器；

22、所述稀疏卷积层包括：稀疏参数处理模块，mac模块；所述稀疏参数处理模块，包含有稀疏通道rom ip核，稀疏卷积权重rom ip核；所述mac模块包含有跳过零值模块、卷积计算模块、零值输出通道直接赋值模块。

23、进一步的，所述滤波模块为二阶20-180hz的巴特沃斯带通滤波器。

24、进一步的，所述单片机集成用于发送预警信息到所述预警信息显示终端的无线通信模块。

25、进一步的，所述功能模块初始化配置流程包括如下步骤：隧道声音数据预采集、卷积网络训练、模型参数16位定点数量化、模型参数导入到所述fpga芯片。

26、进一步的，所述能量压缩模块用于将所述mel滤波器模块输出的mel声谱图的能量数据映射到-6到6之间，计算公式为：其中，num为帧数，sm表示第m个mel声谱能量值，abs(si)表示mel声谱能量值si的绝对值。

27、与现有技术相比，本发明的有益效果是：

28、低功耗、低时延：本发明设计的一种基于fpga的隧道声音事件预警系统，与cpu和gpu相比，功耗更低，响应迅速、延时低。

29、便携性：脱离传统cnn网络依赖电脑等设备的要求，将本系统在fpga上实现之后，可以携带本发明随时随地对当前环境声音进行分类。

30、识别多种隧道声音事件，除了能自动监测隧道落石，还能监测其它周界入侵事件，包括行人入侵、动物入侵、载具入侵。对于不同的隧道环境，只需训练对应的数据，并对cnn模型进行参数调整，以适应不同的隧道声音应用场景。

31、本发明设计的稀疏卷积计算模块能实现模型剪枝率达到80％以上的同时，分类准确率精度损失较小，可大大减少fpga资源消耗，并减少运行时间。

技术特征：

1.一种基于fpga的隧道声音事件预警系统，其特征在于，硬件平台包括声音传感器、单片机、fpga芯片、flash芯片、预警信息显示终端构成，

2.根据权利要求1所述的基于fpga的隧道声音事件预警系统，其特征在于：所述隧道声音特征提取模块包括：

3.根据权利要求2所述的基于fpga的隧道声音事件预警系统，其特征在于：

4.根据权利要求1所述的基于fpga的隧道声音事件预警系统，其特征在于：

5.根据权利要求2所述的基于fpga的隧道声音事件预警系统，其特征在于：所述滤波模块为二阶20-180hz的巴特沃斯带通滤波器。

6.根据权利要求1所述的基于fpga的隧道声音事件预警系统，其特征在于：所述单片机集成用于发送预警信息到所述预警信息显示终端的无线通信模块。

7.根据权利要求1所述的基于fpga的隧道声音事件预警系统，其特征在于：所述功能模块初始化配置流程包括如下步骤：隧道声音数据预采集、卷积网络训练、模型参数16位定点数量化、模型参数导入到所述fpga芯片。

8.根据权利要求1所述的基于fpga的隧道声音事件预警系统，其特征在于：所述能量压缩模块用于将所述mel滤波器模块输出的mel声谱图的能量数据映射到-6到6之间，计算公式为：其中，num为帧数，sm表示第m个mel声谱能量值，abs(si)表示mel声谱能量值si的绝对值。

技术总结
一种基于FPGA的隧道声音事件预警系统，属于FPGA硬件加速器技术领域。技术方案：硬件平台包括声音传感器、单片机、FPGA芯片、FLASH芯片、预警信息显示终端构成；单片机通过2‑wire总线与声音传感器相连，单片机通过串口或者IIC总线与FPGA芯片相连，单片机通过无线通信与预警信息显示终端相连；FPGA芯片与FLASH芯片通过SPI总线相连。有益效果：功耗更低，响应迅速、延时低；方便携带，能识别多种隧道声音事件，除了能自动监测隧道落石，还能监测其它周界入侵事件；通过训练不同隧道环境的数据，并对CNN模型进行参数调整，以适应不同的隧道声音应用场景；稀疏卷积计算模块能实现模型剪枝率达到80％以上的同时，分类准确率精度损失较小，可大大减少FPGA资源消耗，并减少运行时间。

技术研发人员：张建伟,廖炳灿
受保护的技术使用者：大连理工大学
技术研发日：
技术公布日：2024/5/10