，次优预测模式的概率分布，次优预测模式用Sub_opt_Mn(n = 0, 1，2, "14)表示， 然后选取次优预测模式出现概率在50%以上的四个模式，用Sub_opt_M。，SubjpLM1, Sub_ opt_M2，Sub_opt_M3表不，然后将 Sub_opt_M。，Sut^opi^Mp Sub_opt_M2，Sub_opt_M3与当前 最优预测模式BesLM j构成一个集合S A= 0, 1，2,…34)，由于最优预测模式Best_M j有 35种可选值，因此Sub_opt_M。，Subjpi^M1, Sub_opt_M2，Sub_opt_M3与当前最优预测模式 BesLM j构成的集合也存在35个，根据集合的运算规则，将这35个集合中的任意4个集合 之间进行相与得到共同元素，如果任意4个集合之间进行相与后得到的集合中的预测模式 达到4个时，就将此4个具有相近预测效果的预测模式N a(a = 0, 1，2, 3)划分为一个预测模 式组Classb= {N。，N1, N2, N3}，最后根据预测模式相关性将35种帧内预测模式分为11个预 测模式组，其中预测模式组用Class b= {N。，N1, N2, N3}表示，b = 1，2, 3……11 ;N。，N1, N2, N3 为预测模式组中4个预测效果相近的预测模式编号； 步骤1-6、将步骤1-4中得到的最优预测模式Bes^,,对照步骤1-5中得到的预测模式 组，确定该最优预测模式Best_Mj所在的预测模式分组Class b= {N。，N1, N2, N3}，即式Best_ MjG Classb= (N01N11N21N3I ； 步骤1-7、依次读取二进制音频数据流Au1，其中I < i < L，L表示二进制音频数据流 长度，读取的规则为：首先读取3比特音频数据，然后根据读取音频信息的长度标志位flag 值的变换读取2比特或3比特音频数据，当flag = 0时读取2比特音频数据用F1表示，当 f lag = 1时读取3比特音频数据用M1表示，当最后剩下二进制音频数据长度等于1时，即音 频只剩下单比特数据，将读取位置向前移动1位后停止读取，然后输出一个音频读取结束 标志fin = 0并将其传给解码端；当剩下音频数据长度Len = 0时，停止读取二进制音频数 据，此时所有二进制音频数据读取完毕；本步骤中提及的读取音频信息的长度标志位flag 值取值为〇或1 ;当所有二进制音频数据读取完毕后，将读取音频信息的长度标志位flag 值顺序发送给接收端；在后续对二进制音频数据进行嵌入时，按照前述读取顺序，一组一组 依次嵌入； 步骤1-8、建立待嵌音频信息与预测模式之间的映射规则，进而根据映射规则判断当前 待嵌音频信息与最优预测模式BesH,是否匹配，如果匹配则不对预测模式进行修改，然后 利用最优预测模式Bes^,将当前待嵌音频信息嵌入进当前预测单元；否则，用预测模式组 Classb= {N。，N1, N2, N3}中满足映射规则的次优预测模式替换当前最优预测模式BesLMj, 然后利用替代后的次优预测模式将当前待嵌音频信息嵌入进当前预测单元； 步骤1-9、按照步骤1-4到步骤1-8的方式，将待嵌音频信息依次嵌入进分割后包含当 前4X4预测单元的一个8X8编码单元中其余三个连续的4X4预测单元中； 步骤1-10、判断已经嵌入过音频信息的4个连续的4X4预测单元的率失真代价值总和 J(CU4)与包含该4个连续4X4块的一个8X8编码单元的率失真代价值J(CU3)进行比较， 如果J(CU 4) <J(CU3)，则保留嵌入的四组音频信息，否则不保留，在下一个分割成四个连续的 4X4预测单元的编码单元内重新嵌入前述四组音频信息； 步骤1-11、读取下一个4X4预测单元，并将读取的第m+1预测单元作为当前预测单元， 然后返回步骤1-4继续执行，直至当前编码帧中的所有预测单元处理完毕； 步骤1-12、将原始HEVC视频的下一帧待编码的帧作为当前编码帧，然后返回步骤1-2 继续执行，当读取到音频数据结尾时，如果余下单比特数据，则根据预测模式的奇偶对应关 系进行映射，当结尾数据为0时，预测模式为偶模式，则将结尾数据0直接嵌入；预测模式为 奇模式，则选取预测模式组Class b中为偶的次优预测模式替换，然后利用替代后的次优预 测模式将结尾数据〇嵌入进当前编码帧；当结尾数据为1时，预测模式为奇模式，则将结尾 数据1直接嵌入，预测模式为偶模式，则选取预测模式组Class b中为奇的次优预测模式替 换，然后利用替代后的次优预测模式将结尾数据1嵌入进当前编码帧，此时所有音频信息 全部嵌入完毕。2. 根据权利要求1所述的音频信息嵌入方法，其特征在于：所述步骤1-7中在读取二 进制音频数据流过程中，读取音频信息的长度标志位flag值由以下方式获得： 步骤l-7-a、首先读取长度3比特的音频信息，然后将这3比特的音频信息转换成十进 制数值，判断这个十进制数值是否大于十进制数值（011) 1(]，如果大于，下一个读取音频信息 的长度标志位flag值赋值为0,并进入步骤l-7-b ;否则，下一个读取音频信息的长度标志 位flag值赋值为1，并进入步骤l-7-c ; 步骤l-7-b、读入2bit比特的音频信息，然后将下一个读取音频信息的长度标志位 flag值赋值为1，然后进入步骤l-7-c ; 步骤l-7-c、读入3bit比特的音频信息，然后将这3比特的音频信息转换成十进制数 值，判断这个十进制数值是否大于十进制数值（011) 1(]，如果大于，下一个读取音频信息的长 度标志位flag值赋值为0,否则，下一个读取音频信息的长度标志位flag值赋值为1。3. 根据权利要求1所述的音频信息嵌入方法，其特征在于：所述步骤1-8中，建立待嵌 音频信息与预测模式之间的映射规则方式为： 当读取的音频信息长度为2时，2比特长度的音频信息可建立的信息分组为=F1 = {00,01，10, 11}，然后进RF1^N1 映射，即建立 00 -NQ、01 - N1UO^N2Ul ―队的音频信 息和预测模式映射关系； 当读取音频信息长度为3时，3比特长度的音频信息可建立的信息分组为=M1 = {000,001,010,011};进行 M1^ N1 映射，SP建立 000 - N〇、001 - NpOlO - N2、011 - N3的 音频信息和预测模式映射关系。4. 一种基于HEVC的音频信息信息提取和重构方法，其特征在于：发送端采用如权利要 求1所述音频信息嵌入方法将音频信息嵌入进ffiVC视频码流中，而在解码端，则利用HEVC 标准解码器对其接收的含有音频信息的HEVC视频码流进行解码，具体方法为： 步骤2-1、对当前解码帧进行帧内预测解码时，将含有音频信息的HEVC视频码流中解 码得到的第k个预测单元定义为当前预测单元，其中I < k < N，k的初始值为1，N表示含 音频信息的ffiVC视频码流中包含的预测单元的总个数； 步骤2-2、判断当前预测单元的尺寸是否为4X4,如果是，解码当前块，执行步骤2-3 ; 否则，不对当前预测单元进行音频信息提取，然后执行步骤2-4 ; 步骤2-3、读取当前4X4块的预测模式和读取音频信息的长度标志位flag值，对照预 测模式和音频信息之间的映射规则提取音频信息，当读取音频信息的长度标志位flag = 〇时，根据映射关系N。一 00、Nr 01、N 2- 10、N 3- 11，判断当前预测模式N派对应的音 频信息，并提取该音频信息组；当读取音频信息的长度标志位flag = 1时，根据映射关系 N。一 000、N广001、N 2- 010、N 3- 011，判断当前预测模式N #对应的音频信息，并提取 该音频信息组；然后令k = k+1，再执行步骤2-4 ; 步骤2-4、读取下一个预测单元，然后返回执行步骤2-2,当音频信息只剩下单比特数 据时，根据结尾数据奇偶对应关系进行提取，如果当前预测模式队为偶模式，则提取音频信 息为〇,否则，提取音频信息为1，此时所有音频信息全部提取出来； 步骤2-5、将提取的音频信息按照先后顺序进行组合得二进制音频数据流，然后将该二 进制音频数据流转化成压缩编码音频文件，最后再将压缩编码音频文件通过音频解码器重 构成音频信号。
【专利摘要】本发明涉及一种基于HEVC的音频信息嵌入方法及提取和重构方法，在音频信息嵌入部分通过分HEVC编解码结构，在帧内预测编码过程中，选取纹理复杂度较高的4×4的预测单元，利用拉格朗日率失真模型选取最优预测模式，并根据相邻预测模式相关性，在最优预测模式确定的前提下，将具有相近预测效果的4个预测模式分为1组，建立预测模式组与变长码组之间的动态双映射关系，根据待嵌入的音频信息长度变化，改变标志位，对应调制预测模式，完成音频2比特或3比特信息的嵌入，大大提升了嵌入音频信息的容量。在提取和重构过程中，只需根据双映射关系对码流中的预测模式解码即可，实现了音频信息完整无误的嵌入和提取，很好的保证了音、视频的主客观质量。
【IPC分类】H04N19/122, H04N19/109, H04N19/19, H04N19/96, H04N19/176, H04N19/46, H04N19/147
【公开号】CN105049871
【申请号】CN201510409325
【发明人】王晓东, 徐辉, 王让定, 蒋刚毅, 章联军, 叶庆卫, 周宇, 汪朝林, 王含章, 陈超
【申请人】宁波大学
【公开日】2015年11月11日
【申请日】2015年7月13日