专利名称：一种基于插入宏块亮度特殊值标记视频帧图像序号的方法
技术领域：
本发明涉及一种标记视频帧图像序号的方法，尤其是涉及一种基于插入宏块亮度特殊值标记视频帧图像序号的方法。
背景技术：
在视频图像有参考质量评价方法中，需要使用原始参考图像和传输解码播放图像来计算两者差异，获得具体客观质量评价指标。客观质量评价具有操作简单、成本低、易于实现特点，它已经成为视频图像质量评价研究的重点。目前，在视频图像有参考评价方法中，广泛采用均方误差MSE、峰值信噪比PSNR和结构相似SSIM等方法。而这些方法都需要使用原始参考帧图像和传输解码后的播放图像来计算相关参数。这些在有关视频图像有参考质量评价方法中的均有论述，由于经过网络传输和解码播放，解码视频某一帧的数据对应哪一帧视频图像作为其参考需要有一种方法来计算和确定，对于实时传输视频应用可能会出现丢帧、跳帧和静帧等现象，为了确定这种图像序号对应关系，有效进行有参考客观质量评价，视频帧号的标记对视频图像有参考质量评价是十分必要的。目前视频帧号标识法主要是语义标识法。语义标识法就是利用各种编码国际标准所规定的视频流中的语义来标识帧号。语义标识帧号分为直接标识帧号和间接标识帧号， H. 263 中的TR(Temporal Reference)属于直接标识帧号,MPEG-4 中的 time_code, modulo_ time_base, vopjimejncrement属于间接标识帧号。将这些语义作为视频流的头部信息同视频数据一起编码，而解码之后这些语义就会被丢掉而无法获得，因此从输出视频流中式无法得到帧号的，必须先对系统内部的编码视频流解码获取这些语义信息之后才能得到帧号。语义标识法虽然能精确地标识视频帧号，但由于它需要得到视频流头部被编码的语义信息，因此就要求测试方具有对待测的视频流进行解码的权限，而这个条件在很多情况下都难以满足，大多数情况下，对视频流进行测试时，被测视频其内部程序是保密的，无法得到视频流头部被编码的的语义信息。此时，语义标识法就不适用。
发明内容
本发明主要是解决现有技术所存在的语义标识法虽然能精确地标识视频帧号，但由于它需要得到视频流头部被编码的语义信息，因此就要求测试方具有对待测的视频流进行解码的权限，而这个条件在很多情况下都难以满足，大多数情况下，对视频流进行测试时，被测视频其内部程序是保密的，无法得到视频流头部被编码的的语义信息等的技术问题；提供了一种方法简单、执行效率高，适用于实时视屏通信应用模式下的视频质量有参考质量评价，可有效应用到web视频、视频会议、视频点播、p2p视频播放等视频业务质量有参考评价当中的一种基于插入宏块亮度特殊值标记视频帧图像序号的方法。本发明的上述技术问题主要是通过下述技术方案得以解决的
一种基于插入宏块亮度特殊值标记视频帧图像序号的方法，其特征在于，包括以下步骤
步骤1，在YUV420格式的参考视频序列的各帧亮度分量中，以16x16宏块为单位对整个亮度分量数据的空间排列进行划分，并按照由左至右和由上至下的顺序对各划分后的每个单位宏块进行编号；
步骤2，对参考视频序列的各帧图像，按照时间顺序从前至后用自然数给出各帧的序
号；
步骤3，从完成步骤2的参考视频序列中选取编号1、2、3、4的4个单位宏块宏块，即视频序列图像中上方第一行最左边的连续4个宏块，将其亮度值依据4进制数字编码值替代其值，即用每帧图像的帧序号所表示的亮度，代替原来的亮度值。帧序号与亮度的对应关系为，0，1，2，3依次对应亮度值的0，85，170，255 ；
步骤4，将已经完成步骤3后的参考视频序列由媒体终端的视频压缩后，经过数据通信网络实时传输，最后在网络另一端用视频解码器解码输出YUV420格式的视频数据，并保存为文件；
步骤5，根据视频图像空间分辨率提取步骤4中的保存文件的每帧视频数据，利用解码图像的尺寸，即空间分辨率，将一段连续的视频文件，提取成一帧一帧的视频数据，按照 YUV420的视频格式，每帧视频数据长度为宽度X高度X 1.5；
步骤6，计算每帧视频数据中前4个编号宏块16x16亮度值的平均值； 步骤7，利用42、127、212三个阈值把0-255范围内的数值划分为4段空间，观察各宏块亮度平均值落入那段空间，对应给出0、1、2、3数字编码值；所述0-255范围为亮度值的范围 0 255，亮度值(Γ255的范围被42、127、212分为4段空间，分别为0 41、42 127、128 211、 212 255，这四段亮度值范围分别对应0、1、2、3四个数字编码，根据各宏块的亮度平均值落入的空间0 41或42 127或128 211或212 255，对应出相应的数字编码0或1或2或3 ； 步骤8，经过编码、传输和解码的视频数据根据每帧视频数据的前四个宏块的数字编码值的组合，确定该帧视频的原始图像序号；即所述四个单位宏块的数字编码从左至右排列， 得到一个四位的四进制数，将该四进制数转换为十进制数，就是该帧视频的原始帧序号。步骤9，将接收到的各帧图像序号，找到原始参考视频对应图像序号的数据。在上述的一种基于插入宏块亮度特殊值标记视频帧图像序号的方法，所述步骤2 中，完成各帧图像的排序后，将帧序号用4位4进制数字编码表示，总共256帧序号，并将4 进制数字编码0、1、2、3分别用0、85、170、255替代。因此，本发明具有如下优点方法简单、执行效率高，适用于实时视屏通信应用模式下的视频质量有参考质量评价，可有效应用到web视频、视频会议、视频点播、p2p视频播放等视频业务质量有参考评价当中。
图1为有参考图像质量客观评价过程示意图2视频序列的头部加入4个宏块的亮度信息的示意图。
具体实施例方式下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例图1为有参考图像质量客观评价过程示意图，通过计算原始参考图像和传输解码播放图像两者差异，获得具体客观质量评价指标，首先要确定这种图像序号对应关系，为有效进行有参考客观质量评价做准备。本实施例中视频样本来自JVT和VQEG国际标准组织提供的实验序列。包括以下步骤
步骤1，在YUV420格式的参考视频序列的各帧亮度分量中，以16x16宏块为单位对整个亮度分量数据的空间排列进行划分，并按照由左至右和由上至下的顺序对各划分后的每个单位宏块进行编号；
步骤2，对参考视频序列的各帧图像，按照时间顺序从前至后用自然数给出各帧的序号；完成各帧图像的排序后，将帧序号用4位4进制数字编码表示，总共256帧序号，并将4 进制数字编码0、1、2、3分别用0、85、170、255替代；
步骤3，从完成步骤2的参考视频序列中选取编号1、2、3、4的4个单位宏块宏块，即视频序列图像中上方第一行最左边的连续4个宏块，将其亮度值依据4进制数字编码值替代其值，即用每帧图像的帧序号所表示的亮度，代替原来的亮度值。帧序号与亮度的对应关系为，0，1，2，3依次对应亮度值的0，85，170，255 ；
考虑到压缩和传输引起的视频失真影响，以及在尽量占用较少数据的前提下，不改变原始视频内容特征，步骤1至步骤3完成了向原始视频数据中插入帧号标识信息，即对这些序列的头部加入特殊编码信息——4个宏块(16X16piXelS)的亮度信息，每个宏块内亮度值取值分别为0、85、170、255组成的四个值的集合，总共可以表示256帧编号信息，编号的示意图如图2中传输之前的视频帧所示。步骤4，将已经完成步骤3后的参考视频序列由媒体终端的视频压缩后，经过数据通信网络实时传输，最后在网络另一端用视频解码器解码输出YUV420格式的视频数据，并保存为文件；
步骤5，根据视频图像空间分辨率提取步骤4中的保存文件的每帧视频数据，利用解码图像的尺寸，即空间分辨率，将一段连续的视频文件，提取成一帧一帧的视频数据，按照 YUV420的视频格式，每帧视频数据长度为宽度X高度X 1.5；
步骤6，计算每帧视频数据中前4个编号宏块16x16亮度值的平均值； 步骤7，利用42、127、212三个阈值把0-255范围内的数值划分为4段空间，观察各宏块亮度平均值落入那段空间，对应给出0、1、2、3数字编码值；所述0-255范围为亮度值的范围 0 255，亮度值(Γ255的范围被42、127、212分为4段空间，分别为0 41、42 127、128 211、 212 255，这四段亮度值范围分别对应0、1、2、3四个数字编码，根据各宏块的亮度平均值落入的空间0 41或42 127或128 211或212 255，对应出相应的数字编码0或1或2或3 ； 步骤8，经过编码、传输和解码的视频数据根据每帧视频数据的前四个宏块的数字编码值的组合，确定该帧视频的原始图像序号；即所述四个单位宏块的数字编码从左至右排列， 得到一个四位的四进制数，将该四进制数转换为十进制数，就是该帧视频的原始帧序号。步骤9，将接收到的各帧图像序号，找到原始参考视频对应图像序号的数据。步骤4至步骤9完成了通过解码图像中标识信息的提取，计算对应帧号，即经过编码和传输后引起的图像失真，会改变插入的特殊编码信息即亮度均值，但是由于特殊亮度值，在0-255之间只均勻的取了四个值，并且这四个值之间的差异很大，在经过编码量化失真、解码滤波处理以及一般的传输失真情况下，不会改变特殊亮度取值特性，因此可以对解码图像的特殊编号信息进行提取，计算判断帧号，实现参考帧序号的计算。如图2中，经过视频解码后的图像，其中各宏块亮度平均值落入0-42，43-126，127-212，213-255中的区间，就对应给出0、1、2、3数字编码值，因为区间范围很大，而宏块的亮度取值变化不大，视频帧的序号对应正确率极高，基本为1。 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
权利要求
1.一种基于插入宏块亮度特殊值标记视频帧图像序号的方法，其特征在于，包括以下步骤步骤1，在YUV420格式的参考视频序列的各帧亮度分量中，以16x16宏块为单位对整个亮度分量数据的空间排列进行划分，并按照由左至右和由上至下的顺序对各划分后的每个单位宏块进行编号；步骤2，对参考视频序列的各帧图像，按照时间顺序从前至后用自然数给出各帧的序号；步骤3，从完成步骤2的参考视频序列中选取编号1、2、3、4的4个单位宏块宏块，即视频序列图像中上方第一行最左边的连续4个宏块，将其亮度值依据4进制数字编码值替代其值，即用每帧图像的帧序号所表示的亮度，代替原来的亮度值，帧序号与亮度的对应关系为，0，1，2，3依次对应亮度值的0，85，170，255 ；步骤4，将已经完成步骤3后的参考视频序列由媒体终端的视频压缩后，经过数据通信网络实时传输，最后在网络另一端用视频解码器解码输出YUV420格式的视频数据，并保存为文件；步骤5，根据视频图像空间分辨率提取步骤4中的保存文件的每帧视频数据，利用解码图像的尺寸，即空间分辨率，将一段连续的视频文件，提取成一帧一帧的视频数据，按照 YUV420的视频格式，每帧视频数据长度为宽度X高度X 1.5；步骤6，计算每帧视频数据中前4个编号宏块16x16亮度值的平均值； 步骤7，利用42、127、212三个阈值把0-255范围内的数值划分为4段空间，观察各宏块亮度平均值落入那段空间，对应给出0、1、2、3数字编码值；所述0-255范围为亮度值的范围 0 255，亮度值(Γ255的范围被42、127、212分为4段空间，分别为0 41、42 127、128 211、 212 255，这四段亮度值范围分别对应0、1、2、3四个数字编码，根据各宏块的亮度平均值落入的空间0 41或42 127或128 211或212 255，对应出相应的数字编码0或1或2或3 ； 步骤8，经过编码、传输和解码的视频数据根据每帧视频数据的前四个宏块的数字编码值的组合，确定该帧视频的原始图像序号；即所述四个单位宏块的数字编码从左至右排列， 得到一个四位的四进制数，将该四进制数转换为十进制数，就是该帧视频的原始帧序号； 步骤9，将接收到的各帧图像序号，找到原始参考视频对应图像序号的数据。
2.根据权利要求1所述的一种基于插入宏块亮度特殊值标记视频帧图像序号的方法， 其特征在于，所述步骤2中，完成各帧图像的排序后，将帧序号用4位4进制数字编码表示， 总共256帧序号，并将4进制数字编码0、1、2、3分别用0、85、170、255替代。
全文摘要
本发明涉及一种基于插入宏块亮度特殊值标记视频帧图像序号的方法。本发明通过在视频各帧图像的头部加入特殊编码信息——4个宏块(16x16pixels)的亮度信息，每个宏块内亮度值取值分别为0、85、170、255组成的四个值的集合，总共可以表示256帧编号信息，然后对解码图像的特殊编号信息进行提取，计算判断帧号，实现参考帧序号的计算。因此，本发明具有如下优点方法简单、执行效率高，适用于实时视屏通信应用模式下的视频质量有参考质量评价，可有效应用到web视频、视频会议、视频点播、p2p视频播放等视频业务质量有参考评价当中。
文档编号H04N7/26GK102256130SQ20111021137
公开日2011年11月23日 申请日期2011年7月27日 优先权日2011年7月27日
发明者吴礼华, 张新晨, 方圆, 江昊, 王莹 申请人:武汉大学