一种基于dwt和dct的数字语音取证和篡改恢复方法
【专利摘要】本发明公开了一种基于DWT和DCT的数字语音取证和篡改恢复方法，首先将语音信号A分为I帧，每帧分为三段。采用基于DWT和DCT的方法，对语音信号进行压缩，得到用于篡改恢复的信号，并对各帧的压缩信号置乱操作。然后，将帧号映射为整数序列并分别嵌入到前两段信号中，置乱后的压缩信号嵌入到第三段中。本发明在对数字语音内容真实性进行取证的同时，可以对重构被攻击的内容，实现篡改恢复。
【专利说明】
一种基于DWT和DCT的数字语音取证和篡改恢复方法
技术领域
[0001] 本发明属于语音信号处理，尤其是恢复被篡改的数字语音信号的压缩方法。生成 用于恢复的信号；同时将帧号和压缩信号嵌入。帧号作为各帧的标识用于篡改定位，压缩信 号用于重构被攻击的内容。基于此，提出了数字语音取证和篡改恢复方法，提高数字语音的 可信度和公众认可度。
【背景技术】
[0002] 语音信号作为最早被数字化的信号之一，广泛应用于电话通讯、和广播播报等方 面，成为信息传输和交流的主要载体。语音信号常表示重要的内容或指令，会引起攻击者的 兴趣而被攻击。攻击后信号表达的内容和原始信号会有较大的区别。若接收者服从了被攻 击信号的指令，将会带来严重的后果。而对于时效性很强的内容而言，重构被攻击的内容， 是信号接收者迫切需要解决的问题。于是，对被攻击语音信号的篡改恢复，不仅具有一定的 研究意义，更具有很强的实用价值。
[0003] 文献"Authentication and recovery algorithm for speech signal based on digital watermarking"（Liu Zhenghui,Zhang Fan,Wang Jing,ffang Hongxia,Huang Jiwu,Signal Processing. Vol ? 123,no ? 1 ,pp ? 157-166)给出了一种基于DCT的数字语音篡 改恢复方法。将帧号和部分DCT低频系数嵌入到语音信号中，帧号来进行篡改定位，DCT系数 用来近似重构被攻击的信号。该方法虽然能够对被攻击的内容进行篡改恢复，但恢复的信 号和原始信号相比，虽能够识别原始信号所要表达的语义，却引入了较多的噪声。文献 "Authenticity examination of compressed audio recordings using detection of multiple compression and encoders'identification"（Korycki R,Forensic Science International .Vol ? 238，pp. 33-46,2014)针对压缩信号提出了一种音频内容取证算法。该 方法通过训练大量的样本得到MDCT系数的统计特征和其它压缩信号的参数特征，来对音频 内容进行取证。实验结果表明该方法提高了水印系统的鲁棒性。然而，一方面，该方法对音 频信号的取证需要大量的实验样本，且实验室结果对训练样本具有一定的依赖性;另一方 面，该方法对攻击的内容不具有篡改恢复的能力。这些都限制了该方法在某些场合的应用。 为此，研究可恢复的数字语音取证技术不仅具有一定的研究意义和实用价值，在提高数字 语音信号的可靠性和公众认可度的同时，也为推断攻击者的意图提供了有益参考。
[0004] 由本专利申请提出者提出的中国专利申请号2015106086547的《一种基于DCT的语 音篡改恢复方法》对改善现有技术做出了努力，但该方法的压缩信号仅由DCT低频系数生 成。在重构过程中，仅能重构原始信号的近似内容。和原始信号相比，重构信号缺失了高频 部分，引入了较多的噪声。本发明提供了一种基于DWT和DCT的数字语音取证和篡改恢复算 法，压缩信号由DWT的近似分量和残差信号幅度较大的DCT系数构成。信号恢复过程中，一方 面通过DWT的近似分量来重构原始信号的近似内容；另一方面，由DCT系数重构信号的高频 部分，使重构的信号更接近原始信号。本发明弥补了先前专利（中国专利申请号 2015106086547)无法恢复高频信号的不足，是对先前申请的补充。
【发明内容】
[0005] 本发明的目的在于提供一种基于DWT和DCT的数字语音取证和篡改恢复方法，该方 法在对恶意攻击进行篡改定位的同时，通过重构被攻击的内容来实现篡改恢复，以此来提 高数字语音信号的真实可靠性和公众认可度，也为推断攻击者的意图提供有益参考。为实 现这样的目的，本发明给出了基于DWT和DCT的数字语音压缩方法，用压缩信号来重构被攻 击的内容，设计了一种可篡改恢复的数字语音取证方法。
[0006] 本发明具体手段为：一种基于DWT和DCT的数字语音取证和篡改恢复方法，用于对 数字语音信号的恶意攻击进行精确地篡改定位并重构定位到的被攻击的内容;首先将语音 信号A分为I帧，每帧分为三段;采用基于DWT和DCT的方法将各帧信号压缩，并对压缩后的信 号置乱操作;然后，采用分块的方法将帧号嵌入到各帧的前两段信号中，并将该帧对应的置 乱后的压缩信号嵌入到第三段信号中；包括如下具体步骤：
[0007] (1)分帧、分段:将原始信号A分为I帧，第;1帧记为Ai;然后，将Ai分成三段，分别记为 Ali、A2i和A3i;其中，Ali和A2i的长记为Ni，A3i的长记为N2;
[0008] (2)信号压缩:首先对仏进行重采样操作，重采样的采样频率f"小于原始信号采样 频率f，重采样后的信号记为A' 1;对# :进行DWT，得到的近似分量作为压缩信号的一部分，记 为Cli，Cli的长度记为M;将细节分量置零，进行逆DWT，生成的信号记为IA^;然后，计算Ei = # rlA':，并对Ei进行DCT，按DCT系数幅值从大到小的顺序重新排列；记录幅值大于第M/2个 值的系数，记为C2i，对应的位置记为C3i; Ci = Cli U C2i U C3i即为生成的压缩信号；
[0009] (3)嵌入帧号和压缩信号：将第i帧帧号映射为整数序列，分别嵌入到第i帧第1段 和第2段中；然后将各帧生成的压缩信号置乱，置乱后第i帧对应的压缩信号记为C'1;将(/: 嵌入到第i帧第三段中，嵌入后的信号记为WA;
[0010] (4)内容取证:将待检测的含水印语音信号WA分为I帧，第i帧记为WAi，并将每帧分 为三段，分别记为WAli、WA2i和WA3i;从WAli和WA2i中提取帧号，若相等，则表明该帧是真实 的，否则，表明该帧存在被恶意攻击的部分；
[0011] (5)篡改恢复:检测到某一帧被攻击之后，移动样本点并验证下一帧的内容，直到 找到下一个能够通过认证的语音帧;提取前后两帧的帧号，两帧号之差即为被攻击的内容； 而后，找到被攻击内容对应压缩信号的嵌入位置，并提取压缩信号来重构被攻击的内容，进 行篡改恢复。
[0012] 与现有的语音内容取证算法相比，本发明在对被攻击内容篡改定位的同时，分两 步对被攻击的信号进行重构。第一步，由DWT的近似分量来重构被攻击内容对应的近似信 号;第二步，对于原始信号和近似信号之前的残差信号，则由DCT系数来重构;近似信号和残 差信号之和便得到重构信号。该方法重构的信号更接近原始信号的质量，提高了语音取证 结果的可信度，更有利于在日常生活中推广和应用。
【附图说明】
[0013] 图1压缩信号生成过程框图。
[0014] 图2帧号和水印嵌入过程框图。
[0015]图3内容取证过程框图。
[0016] 图4长度为1024的语音信号。
[0017] 图5结合DWT和DCT系数的方法重构的信号。
[0018]图6基于DCT系数的方法重构的语音信号。
[0019]图7 DWT和DCT系数方法重构信号的噪声。
[0020]图8 DCT系数方法重构信号的噪声。
[0021]图9含水印语音信号。
[0022]图10插入攻击后的含水印语音信号。
[0023]图11删除攻击后的含水印语音信号。
[0024]图12替换攻击后的含水印语音信号。
[0025]图13插入攻击的篡改定位结果。
[0026]图14删除攻击的篡改定位结果。
[0027]图15替换攻击的篡改定位结果。
[0028]图16插入攻击的篡改恢复结果。
[0029]图17删除攻击的篡改恢复结果。
[0030]图18替换攻击的篡改恢复结果。
[0031] 图19量化列表。
[0032]图20样本值的分块列表。
[0033]图21样本值分块列表举例。
[0034]图22不同类型含水印语音信号的0DG值和SDG值列表。
【具体实施方式】
[0035]以下结合附图对本发明的技术方案作进一步描述。
[0036] 1、信号压缩：
[0037] (1)将原始语音信号A={ai，l<l<L}分为I帧，第i帧记为Ai。
[0038] (2)对A进行下采样操作，下采样的采样频率f"小于原始信号的采样频率f。下采样 后的信号记为A'，长度为1/，!/ =L ? f'/f。并将A'分为I帧，第i帧记为A^。
[0039] (3)对f i进行D-阶DWT，近似分量记为C1 i，C1 i即为压缩信号的第一部分，长度为M。 [0040] (4)将第（3)步DWT后所得的细节分量置零，然后进行D-阶逆DWT，得到的信号记为 If i。记残差信号为EhEi:# i-IA' i〇
[0041] (5)对残差信号Ei进行DCT，所得系数按照幅值从大到小顺序进行排列。前M/2个系 数记为C2i，对应的位置记为C3i。
[0042] CFChUCSiUCSi即是第1帧&压缩后的信号。信号压缩过程如图1所示。
[0043] 2、嵌入帧号和压缩信号：
[0044] (1)将Ai分为三段，分别记为Ali、A2i和A3i;Ali和A2i的长度记为NhA3i长度记为N2。
[0045] (2)将第i帧帧号i映射为整数序列￥1={71，72，~，5^}，￥ 1作为第1帧的标识，各元素 可由式(1)得到。
[0046] i=yi ? 10N_1+y2l0N_2+---+yN (1)
[0047] 将71嵌入到Ali的前3个样本点(ah，al2和al3)为例，来介绍帧号的嵌入方法。
[0048] ?Esm=sign(alm)，^B.::=Ll_Q.， al?|」mo:mKm<3<^r^alm^:0，Sm=〇dlI^alm< 0，Sm- 1〇
[0049] @由式（2)计算￥ = ：1；'(81，82,83,21，22,23)，
[0050] f (si,S2,S3,zi,Z2,Z3) = [(S1+S2+S3+Z1) X 1+Z2X2+Z3X3]modl0 (2)
[0051 ] 如果yi = V，Zm不做任何量化;如果yi辛V，按照图19所示的方法量化z 1，Z2或Z3，其中 Z'm表示量化后的值。
[0052] 采用①和②的方法，将整数序列Yi={yi，y2,…，yN}分别嵌入到Ali和A2i中。
[0053] (3)对压缩信号采用混沌地址索引的方法进行置乱操作。混沌序列由 Logistic混纯映射生成，如式(3)，其中xo为混纯序列初值。
[0054] xi+i=lixi( 1-xi),3.5699^；li^；4 (3)
[0055] 记X= {xi | i = l ,2,…，1}，将Xi(Ki<P)按照升序排列，如式(4)，其中h(i)表示升 序排列后混沌序列的地址索引。
[0056] xh(i) = ascend(xi) (4)
[0057] 置乱后的信号记为：1，(/ i = Ch(i)。若记ci表不i的第一个系数，下面以将ci嵌入 至ljA3i中前6个样本(ah，al2,……，al 6)为例来介绍嵌入方法。
[0058] ①将c 1分成6部分，分别记为Q1 =啦小、），ef =='1加丨」.，右卜^10.如J c,4 = | 刚.|」mod! 0, c卜[1 ()0(叫e, | j mod 1 () ' 彳=L100 0(). Ici I」
[0059]②按照图20的方法将a 1 i，a 12，……，a 16分成6块，分别记为出，，……，B6，图21给 出了对6个样本点进行分块的实例。
[0060] ③计算Bi中6个数之和，记为T。如果0<ci，并且Tmod2=l，量化L|l〇吟|」，[_| 10'咕|」 或Ul0_?33l」（如UlO.Al^LllO?吨|」+1)，使T mod2 = 0;如果C1<0,并且Tmod2 = 0,量化 UlOwSj，[]10_?32|」或0〇、〇33|」，使Tmod2 = l;对于其它情况，Bi中的值不做任何修改。以 此方法，将 < 嵌入在也中。
[0061] ④由（2)式计算1=/(次，皮，巧,<成，皮），如果cf = r，B2中的值保持不变;如果 4，按照图19中的方法量化劣，劣或劣，使cf =7。以此方法，将<嵌入在B冲。
[0062] 依据第①步到第④步方法，将嵌入到。帧号和水印嵌入过程框图如图2所 不。
[0063] 3、内容认证：
[0064] (1)将待检测含水印语音信号W分为不重叠的I帧，第i帧记为Wi;并将Wi分为三段， 分别记为Wli、W2i和W3i。
[0065] (2)从Wli和W2i中提取帧号，分别记为Y' i = {y' :2，…，y' "和 if = 丨，…，X}.根据⑵式，/ 1可以从Wl i的前3个样本wl 1，wl 2和W13中提取，/ 1 = f (匕^^^^^^乂山按照该方法河以分别得到^和丫八
[0066] (3)如果乂 ，1彡n彡N，则表明第i帧的内容是真实;否则，表明第i帧的内容被 恶意攻击。内容认证过程框图如图3所示。
[0067] 4、篡改恢复：
[0068]篡改恢复分三步进行，分别为被攻击位置的定位，压缩信号的提取和信号的重构。
[0069] (1)被攻击位置的定位
[0070] 假设从第1帧到第i帧的内容是真实的，第i帧之后的内容不能通过验证。移动样 本，搜索找到下一个能够通过认证的语音帧。提取该帧的帧号，记为V，第i帧和第V帧之间 的内容即是被攻击的部分。
[0071] (2)压缩信号的提取
[0072] 根据式(4)的置乱方法，找到被攻击内容对应的压缩信号的嵌入位置。假设嵌入在 第i帧中，下面给出从第i帧中提取压缩信号并重构被攻击内容的方法。
[0073] 如第3部分(内容认证)所示，W3i表示第i帧Wi的第三段内容。记『3,=卜 3,32，… 从W3i中提取的压缩信号记为Gi = {gi，g2,…，g2M}。以从W3i的前6个样本中(w3i，w3i，…，w36) 提取gi为例，来介绍提取方法。
[0074] ①采用图20的方法将W3i的前6个样本w3i，w3i，…，w36分成6块，记为出，B2，……，B 6
[0075] ②第一块Bi中6个值之和记为T，如果Tmod2 = 0,则sign(gi) = 1;如果Tmod2 = l，则 sign(gi)=-l〇
[0076] ③选取第二块出的6个值，结合(2)式，计算g;=/(5;,皮，皮，劣，處笔)。
[0077] ④按照步骤③中的方法，分别从其它块中提取g/，迅1，沿4和私5。
[0078]⑤由式（5)构造系数gl，
(5)
[0080]依照上面的方法，提取压缩信号Gi= {gl，g2，…，g2M}。
[0081 ] (3)信号的重构
[0082]①将提取的压缩信号Gi = {gl，g2，…，g2M}分为三部分，分别为Gli = {gl，g2，…，gM}， G2i = { gM+l，g2，…，g3M/2 }和G3i = { g3M/2+l，g2，…，g2M}。
[0083]②将Gli作为D-阶DWT的近似分量，并将其它细节分量置零，进行D-阶逆DWT，得到 的信号记为Ri。
[0084]③构造长为1/的0值序列，同时将位于G3i位置上的值用G2i代替。然后对该序列进 行逆DCT，得到的信号记为R2。
[0085]④对信号R1+R2进行重采样操作，采样频率为f，得到的信号即为重构的信号。用重 构的信号替换被攻击的内容，完成篡改恢复。
[0086] 本发明方法的效果可以通过以下的性能分析验证：
[0087] 1、不可听性
[0088]选取200段采样率为44.1kHz，6比特量化的单声道WAVE格式语音信号作为测试样 本，共5类(各40段），分别记为1'1，了2，了3，了4和了5。其中1'1、了2、了3和了4是由录音笔在不同环境 下录制的信号，分别是安静的房间、讨论会现场、火车站和空旷的野外。T5是随机从样本库 中选取的信号。各参数的取值为1 = 81920，1 = 20 4 = 44100，1 = 11025,0 = 3小=4，沁=12， 吣=4072^〇 = 0.68 4 = 3.9728。图22给出了5类测试信号统计平均后的006值和306值。其中 0DG值由PEAQ系统测试所得，SDG值由12位听众现场打分所得。由图22所给结果可以看出，本 方法具有较好的不可听性。
[0089] 2、信号压缩和重构性能
[0090]随机截取一段1024个样本点的语音信号，然后分别用不同的方法对该信号进行重 构。截取的语音信号如图4所示。图5给出了结合DWT和DCT系数的方法重构的信号，图6给出 了基于DCT的方法重构的信号，图7和图8给出了两种不同方法重构信号带来的噪声。通过计 算两段噪声信号的能量（图7和8)可以看出，基于本方法重构信号的能量损失更小，说明本 方法重构的语音信号更接近原始信号。
[0091] 3、篡改恢复
[0092]对如图9所示的含水印语音信号进行插入、删除和替换攻击。攻击后的信号分别如 图10、图11和图12所示，对不同类型攻击信号的篡改定位结果如图13,图14和图15所示，对 应的篡改恢复信号如图16,图17和图18所示。篡改定位结果中，TL(i) = 0表示对应的帧是真 实的。从含水印信号和篡改恢复信号的对比可得，本算法能够对恶意攻击进行篡改。
【主权项】
1. 一种基于DWT和DCT的数字语音取证和篡改恢复方法，用于对数字语音信号的恶意攻 击进行精确地篡改定位并重构定位到的被攻击的内容;首先将语音信号A分为I帧，每帧分 为三段;采用基于DWT和DCT的方法将各帧信号压缩，并对压缩后的信号置乱操作;然后，采 用分块的方法将帧号嵌入到各帧的前两段信号中，并将该帧对应的置乱后的压缩信号嵌入 到第三段信号中；包括如下具体步骤： (1) 分帧、分段:将原始信号A分为I帧，第i帧记为Ai;然后，将Ai分成三段，分别记为Ali、 A2i和A3i;其中，Ali和A2i的长记为Ni，A3i的长记为N2; (2) 信号压缩:首先对六1进行重采样操作，重采样的采样频率f'小于原始信号采样频率 f，重采样后的信号记为A'^对六^进行DWT，得到的近似分量作为压缩信号的一部分，记为 Cli，Cli的长度记为M;将细节分量置零，进行逆DWT，生成的信号记为ΙΑ\;然后，计算Ei = A 'i-IA' i，并对E1进行DCT，按DCT系数幅值从大到小的顺序重新排列;记录幅值大于第Μ/2个 值的系数，记为C2i，对应的位置记为C3i; Ci = Cli U C2i U C3i即为生成的压缩信号； (3) 嵌入帧号和压缩信号:将第i帧帧号映射为整数序列，分别嵌入到第i帧第1段和第2 段中；然后将各帧生成的压缩信号置乱，置乱后第i帧对应的压缩信号记为C 1;将(^ i嵌入到 第i帧第三段中，嵌入后的信号记为WA; (4) 内容取证:将待检测的含水印语音信号WA分为I帧，第i帧记为WAi，并将每帧分为三 段，分别记为WAli、WA2i和WA3i;从WAl i和WA2i中提取帧号，若相等，则表明该帧是真实的，否 贝IJ，表明该帧存在被恶意攻击的部分； (5) 篡改恢复:检测到某一帧被攻击之后，移动样本点并验证下一帧的内容，直到找到 下一个能够通过认证的语音帧；提取前后两帧的帧号，两帧号之差即为被攻击的内容；而 后，找到被攻击内容对应压缩信号的嵌入位置，并提取压缩信号来重构被攻击的内容，进行 篡改恢复。
【文档编号】G10L19/018GK105895109SQ201610304912
【公开日】2016年8月24日
【申请日】2016年5月10日
【发明人】刘正辉, 李然, 祁传达, 刘宏兵
【申请人】信阳师范学院