一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统

本发明涉及数字信号检测与处理，尤其涉及一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统。

背景技术：

1、随着科技的不断发展，固定电话已逐渐普及到我们生活的方方面面，成为现代社会人们沟通的主流方式之一。与此同时，音频数据存储技术也向着低成本、高便捷的方向不断完善，越来越多的人选择将固定电话通话内容录音保存，以备不时之需。然而，随着音频编辑软件的普及，任何录音都面临着可能被篡改的风险。在一些关键场合，例如司法鉴定，对录音进行篡改取证变得至关重要。篡改取证的主要目标是判断音频是否经历了插入、删除等修改，以确保音频信息的完整性、真实性和可靠性。因此针对上述需求，可使用电网频率进行固话篡改取证。

2、电网频率(electric network frequency,enf)，即交流电的传输频率，常见于由交流电网供电的设备中，其频率的标称值通常由所在地区决定，一般情况下，我国电网频率的标称值为50hz，欧美国家的电网频率的标称值为60hz。但由于现实复杂情况，电网频率往往会受到多种因素干扰，需要所在地区的电力控制部门进行实时监测并不断调节，因此，电网频率的大小不会保持不变，而是在标称值附近波动。由于电网频率的实际调整是时时刻刻都在发生的且该调整是随机的，因此电网频率信号具有连续且随机的特性。同时电网频率还具有同一电网一致性以及可被录音设备捕获等特点。因此，电网频率可作为天然时间戳，用于篡改取证领域。

3、目前，基于电网频率的固话篡改取证系统正处于发展初期阶段。受录音设备的限制，常见的市面上录音设备对50hz以下的频率进行截断，不予记录。因此，通常选择二次谐波100hz作为电网频率的基频。目前的方法大多基于此频率进行篡改取证检测。然而，在特定情况下，二次谐波容易受到干扰，使得仅仅依赖二次谐波在多种情境中难以取得理想效果，未能充分利用频谱信息。与此同时，现有的篡改取证系统的主要功能为判断音频文件是否被修改，但对于的修改类型却无法进行具体判断。

技术实现思路

1、本发明提供了一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统，用以解决或者至少部分解决现有技术中篡改取证精确度不高的技术问题。

2、为了解决上述技术问题，本发明第一方面提供了一种基于多谐波协同误差检测的固话篡改取证方法，包括：

3、s1：对待检测的固话录音进行预处理；

4、s2：对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；

5、s3：读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；

6、s4：对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；

7、s5：构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；

8、s6：对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。

9、在一种实施方式中，步骤s1包括：

10、对待检测的固话录音进行降采样，然后进行梳状滤波，得到预处理后的录音数据。

11、在一种实施方式中，步骤s2包括：

12、s2.1：对预处理后的固话录音音频数据sdown做短时傅里叶变换，得到音频数据对应的时频域序列x(k,n)，其中k表示短时傅里叶变换的第k帧，n表示短时傅里叶变换的第n个频点；

13、s2.2：对时频域序列进行截断，获得多谐波子序列，具体公式为：

14、

15、其中xm(k,n′)表示m次谐波子序列，n′表示截取后stft的第n′个频点，fdown为电网频率最低安全频率，fup为电网频率最高安全频率，fs表示降采样后的音频的采样频率，n表示stft频点的总个数；

16、s2.3：使用二次插值法估计stft每帧的enf值，根据stft每帧的enf值得到每个谐波的电网频率信号序列。

17、在一种实施方式中，s2.3包括：

18、s2.3.1：对于stft的第k帧，首先找到xm(k,n′)中第k帧中最大频点坐标nmax，接着找到最大频点左右两侧的频点坐标nl、nr，并通过下式计算频率补偿值：

19、

20、其中δ为频率补偿值，re(·)表示取复数的实部；

21、s2.3.2：根据下式计算第l帧的enf值：

22、

23、其中em[k]表示由m次谐波子序列xm(k,n′)估计出的第k帧的enf信号值；

24、s2.3.3：对每一帧重复上述步骤s2.3.1～s2.3.2的操作得到每个谐波的电网频率信号序列。

25、在一种实施方式中，步骤s3包括：

26、s3.1：读取用户输入的录音开始时间tb和结束时间te，从电网频率数据库中截取相应时间段内参考信号的时域信号；

27、s3.2：将参考信号的时域信号进行stft变化与二次插值获得参考信号；

28、s3.3：采用下列公式分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵：

29、

30、其中hm表示m次谐波绝对误差矩阵，em[k]表示m次谐波的电网频率信号，y[l]表示参考信号，k0为em[k]的长度，l0为y[l]的长度，l表示参考信号的第l帧，l的取值范围为0～l0，k表示m次谐波的第k帧，k的取值范围为0～k0，y[0]表示参考信号第0帧的电网频率值，y[k0]表示表示参考信号第k0帧的电网频率值，y[l0-k0]表示参考信号第l0-k0帧的电网频率值，em[0]表示m次谐波第0帧的电网频率值，em[k0-1]表示m次谐波第k0-1帧的电网频率值。

31、在一种实施方式中，步骤s4包括：

32、s4.1：采用下列公式对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合：

33、

34、其中ho为融合后的矩阵，hm表示2-7次谐波绝对误差矩阵；

35、s4.2：根据矩阵ho生成热力图，将其作为绝对误差图p。

36、在一种实施方式中，步骤s5中的神经网络，下采样卷积模块由2个1×1卷积层、1个3×3卷积层、3个正则化层、2个relu激励函数层构成，扩展卷积模块的输入包括正常顺序输入和跳步输入，将这两个输入连接到2个1×1卷积层，然后相加得到输出；残差上采样模块将输入连接到1个3×3卷积层，经过卷积层后与输入相加，并再次连接一个3×3卷积层，获得对应的输出；输出恢复模块，由2个3×3卷积层和一个1×1卷积层组成，其中第一个3×3卷积层为扩展卷积。

37、在一种实施方式中，分析结果包括含有线段信息的绝对误差图p′，以及一组线段簇{lα|(xαs,yαs),(xαe,yαe)}，其中lα表示线段α，(xαs,yαs)为线段α起点的坐标，(xαe,yαe)为线段α终点的坐标，步骤s6包括：

38、判断线段簇中的线段是否满足下列条件，如果满足，则去除该线段，

39、|yαe-yαs|>ε

40、其中yαs为线段α起点纵坐标，yαe为线段α终点纵坐标，ε为噪声控制参数；

41、对去除噪声后的误差图中的线段进行数量与位置上的分析，若线段数量为一条则说明无篡改，输出录音开始时的时间戳；若数量为两条则说明存在篡改，并进一步对这两条线段进行位置分析，若一条线段的中点与另一条线段的起点横坐标值相同则为删除类型的篡改，若不相同有缺口则为插入类型的篡改，且从左往右数第一条线段的终点横坐标为篡改点。

42、基于同样的发明构思，本发明第二方面提供了一种基于多谐波协同误差检测的固话篡改取证装置，包括：

43、预处理模块，用于对待检测的固话录音进行预处理；

44、变换与插值模块，用于对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；

45、多谐波误差计算模块，用于读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；

46、多谐波协同融合模块，用于对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；

47、绝对误差图分析模块，用于构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；

48、检测模块，用于对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。

49、基于同样的发明构思，本发明第三方面提供了一种基于多谐波协同误差检测的固话篡改取证系统，包括第二方面所述的基于多谐波协同误差检测的固话篡改取证装置，还包括固话通话模块、通话记录模块以及电网频率参考信号数据库，其中，固话通话模块用于支持固话通话功能，通话记录模块用于将固话通话内容进行记录，将音频信号进行保存并传输至基于多谐波协同误差检测的固话篡改取证装置，电网频率参考信号数据库用于保存参考信号。

50、相对于现有技术，本发明的优点和有益的技术效果如下：

51、本发明提出了一种基于多谐波协同误差检测的固话篡改取证方法，对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合生成绝对误差图用于后续的分析与检测，即采用了多谐波协同融合判别，充分利用频谱信息，扩大了固话取证的适用范围，从而提高了篡改取证的精确度。同时，使用绝对误差图进行篡改取证检测与分析，不仅能够检测出是否被篡改，还能对常见的篡改类型进行判断与定位。此外，还利用绝对误差图检测分析神经网络，提高了对绝对误差图的分析精度与分析效率。