专利名称：全自动多媒体素材缺陷检测及质量分析方法
技术领域：
本发明涉及多媒体技术，尤其涉及模拟影视素材缺陷检测与恢复及数字化存储技术。
背景技术：
电影技术产生于19世纪末，成熟于20世纪并发展至今；广播电视技术出现稍晚， 大约在产生于二战后期，并发展至今。早期的电影、电视、唱片等媒体都是存储在诸如电影胶片、录像带、模拟唱盘等模拟存储介质上。存储在这些模拟介质上的媒体素材随着时间的推移及使用次数的增多，逐渐老化、破损，从而导致质量下降。其突出的特点表现为各种各样的媒体素材缺陷的产生，例如由于录像带损伤或玷污引起的视频帧完全或各种各样的部分帧内容缺失、录像带老化引起的帧内容质量下降(如划痕、帧滚动、颜色不正常)等。20世纪80年代以来，计算机及数字媒体技术进入了高速发展阶段。由于数字存储技术具备存储容量大、使用方便、信息不易丢失等特点，很多媒体素材的存储逐渐由模拟过渡到采用数字存储介质。到了今天几乎所有的媒体都是存储在数字设备上。但是，大量早期原生模拟媒体素材，随着时间的推移，其历史价值越来越重要，同时又面临着随着时间的推移及保护措施的不利，造成质量下降甚至有不可恢复再生的风险。根据权威部门研究报告，欧洲有几百万小时的模拟媒体素材面临此种危机，我国做为一个大国，同样面临这样的问题。目前大量早期影视作品、纪录片，作为历史的一部分，弥足珍贵。及时抢救这些资料，尽快利用先进的计算机及数字技术存储、恢复这些资料，是广播电影电视行业当今面临的重要课题。另一方面，由于历史的积累，这种有待于抢救保存的早期模拟媒体素材数量及其庞大(以百万小时计)，利用人工检测并恢复的方法耗时耗资巨大。因此，一个全自动多媒体素材缺陷检测、恢复及数字化存储系统亟待出现。
发明内容
本发明目的是为了及时抢救保护历史上留存下来大量的、珍贵的模拟媒体素材， 利用高科技数字手段自动地对其质量进行预分析，检测其中各类视频缺陷并提供视频(包括信噪比、带宽、有效区、平均值等)、音频低层质量信息(包括信噪比、带宽、平均值等)，为进一步恢复、重建、压缩编码等后处理工作预备必要的信息，故此，提出一种全自动多媒体素材缺陷检测及质量分析方法。本发明要解决的第一个技术问题是分析现存各种制式模拟媒体素材在长期存储后，由于环境变化、存储介质老化、破损等原因，造成的各类型视频内容的缺陷，并建立一套完善的视频缺陷模型。本发明要解决的第二个技术问题是根据建立好的模拟视频缺陷模型，提出一套有效的检测方法进行实时检测。本发明要解决的第三个技术问题提供一套全自动视频音频基本质量信息分析算法。为此，本发明提供的全自动多媒体素材缺陷检测与质量分析方法包括第1、媒体素材缺陷模型集的建立；第2、媒体素材质量分析指标集的建立；第3、媒体素材缺陷的检测；第4、媒体素材质量分析；第5、保存媒体素材缺陷的检测与质量分析结果。其中，第1步所述的媒体素材缺陷模型集包括第11、失效帧缺陷模型，该模型的视频帧内容完全缺失，由一些杂乱无章的信号所替代；第1. 2、I型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，非受损行信息完全保留，并且损伤的行与行间无特殊相关性；第1. 3、11型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域内行间信息几乎相同，行间相关度极强；第1. 4、III型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域的行内信息规律性向右偏移，由此在受损区域左边形成一无信号的黑色三角形；第1. 5、IV型行失效帧缺陷模型，该模型的视频缺陷特点为整帧左移，在整帧右边留一无信号黑色区域，同时缺陷以“行”为单位，受损行信息部分缺失，并且受损区域相对整帧平行右移，同时受损行左部亦有一无信号黑色区域；第1. 6、划痕型缺陷模型，该模型的视频缺陷特点为整帧信息未完全丢失，但视频图像上增加位置固定或变化的横向划痕状内容；第1. 7、帧间滚动型缺陷模型，该模型的视频缺陷的特点为，一帧内同时显示相邻两帧的部分图像，并且两帧间分割部分随时间滚动向上或向下运动，时间持续在0. 5秒到数秒之间；第1. 8、颜色失真型缺陷模型，该模型的视频缺陷的显著特征为某一以“行”为单位的区域颜色异常，其原因在于该制式信号部分相位信息缺失。第2步所述的媒体素材质量分析指标集包括第2. 1、视频信号帧平均值及有效区域检测；第2. 2、视频信号带宽；第2. 3、视频信号信噪比；第2. 4、音频信号帧平均值；第2. 5、音频信号带宽；第2. 6、音频信号信噪比。第3步所述的媒体素材缺陷的检测算法是第3. 1、失效帧缺陷模型检测算法，利用帧间相关信息，检测出帧内失效点集合，然后根据失效点的分布及密度，判断该帧是否为失效帧；第3. 2、1型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，考察帧间、行间相关信息，并结合行间运动补偿，最终检测判断出该类缺陷的失效行；第3. 3、II型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号， 其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，依据帧内行间相关性信息，结合帧间相关性信息，检测出帧内缺陷候选行，最后从检测出失效行开始，上下搜索，采用区域增长的方法检测出该帧内所有缺陷区域；第3. 4、III型行失效帧缺陷模型检测算法，利用行间相关性及帧间相关性信息， 检测出候选行；由于此类缺陷具备行间位移的特点，在计算行间相关性时，候选行在相邻士行内进行搜索，计算两行之间的相关性最大值作为行间相关性；该候选行具备行内高相关性和帧间低相关性的特点；然后根据候选行的区域分布、相关度，确定该类缺陷的存在区域；第3. 5、IV型行失效帧缺陷模型检测算法，通过检测帧内左边黑色特征区域，将图像分割出缺陷候选区，即左边检测出黑色区域的行的集合；然后利用候选区的帧间直方图比对，确定该类缺陷的存在区域；第3. 6、划痕型缺陷模型检测算法，在帧内检测出宽度小于4个像素的线形物体， 并二值化做为模板；然后在此模板基础上，利用Hough变换，检测出横向线形物体，过滤掉其余方向的线形物体；最后，利用形态学开-闭算子进行运动补偿，从检测出横向线形物体集中过滤掉由于帧内物体运动造成的线，留下由于缺陷产生的线；最后利用中值滤波方法过滤掉孤立的像素点，留下划痕缺陷存在的位置；第3. 7、帧间滚动型缺陷模型检测算法，利用帧内行间相关性，检测出前后两帧相连接的部分；然后在连续的帧组中跟踪检测这部分的位置，直到该部分消失为止，从而得到帧滚动的位置及其滚动的帧片段；第3. 8、颜色失真型缺陷模型检测算法，将2维图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量，然后在此基础上，以“行”为单位，根据帧间相关性， 检测颜色异常的区域。第4步所述媒体素材质量分析方法是第4. 1、视频信号帧平均值及有效区域检测方法，帧内像素灰度值直方图，以其 5%像素值为判决阈值，考察横向及纵向边界区，如果该行或列所以像素值都小于该阈值， 则判断为无信号的边缘区，剩余区域为有效区；在有效区内计算像素灰度平均值，即为视频信号平均值；第4. 2、视频信号带宽估算方法，首先利用FFT按行计算功率谱，然后将帧内各行功率谱求平均；根据帧内平均功率谱得到该帧图像的带宽带宽低频点设为0，高频点定义为使平均功率谱达到95%的频率的下限值；第4. 3、视频信号信噪比估算方法，首先将图像帧利用Daubechies小波进行多尺度分解；根据分解后的小波系数综合采用两种途径进行噪声估计一种采用噪声奇异点的方法，即考察相同像素点的不同尺度小波分解系数的相互关系来确定奇异点；另一种利用阈值判断的方法，即根据前面帧估计的噪声方差作为阈值参数，考察小波分解后的系数；结合两种噪声估计的结果，采用其组合信息，估计噪声能量，最后计算出视频信号的信噪比；第4. 4、音频信号帧平均值计算方法，音频信号平均值定义为对应某视频帧的音频片段的幅度的平均值；
第4. 5、音频信号带宽估算方法，音频信号带宽计算基于FFT变换，将音频片段FFT 变换后功率谱5% 95%之间的频率定义为该音频片段的带宽；第4. 6、音频信号信噪比估算方法，首先假定音频带宽以外(高频部分)为噪声带宽，然后利用音频带宽信息，音频功率谱计算出噪声功率谱，从而计算出音频信噪比。本发明的优点和积极效果本发明采用先进的计算机视频分析技术，实时、自动地检测各类视频缺陷，同时提供视频质量分析信息，为后端视频恢复、压缩、存储提供必要的信息。由于历史积累出海量的模拟媒体素材，使用人工方式进行检测效率低下，费时费力，采用本发明解决方案，可以节约大量成本及社会资源。
图1示出本发明的系统架构图；图2示出本发明的媒体分析子系统架构3示出本发明关于视频缺陷检测系统架构图4示出本发明关于失效帧缺陷模型、检测结果及检测方法图5示出本发明关于行缺陷I型的模型、检测结果及检测方法图6示出本发明关于行缺陷II型的模型、检测结果及检测方法图7示出本发明关于行缺陷III型的模型、检测结果及检测方法图8示出本发明关于行缺陷IV型的模型、检测结果及检测方法图9示出本发明关于划痕型缺陷模型、检测结果及检测方法图10示出本发明关于帧间滚动型缺陷模型、检测结果及检测方法图11示出本发明关于颜色失真型缺陷模型、检测结果及检测方法图12示出本发明关于视频信噪比计算方法图13示出本发明关于音频信噪比计算方法
具体实施例方式一、本发明提供的全自动多媒体素材缺陷检测与质量分析方法包括第1、媒体素材缺陷模型集的建立；第2、媒体素材质量分析指标集的建立；第3、媒体素材缺陷的检测；第4、媒体素材质量分析；第5、保存媒体素材缺陷的检测与质量分析结果。在本发明实施软件中，模拟视频采集后转化为分辨率为352x288视频帧图像，所有算法针对于此分辨率视频处理。1、媒体素材缺陷模型集包括 失效帧模型。该类型缺陷模型及检测结果由图4示出。由图可见，该类缺陷全帧容完全缺失，由一些杂乱无章的信号所替代。 各类行失效帧模型包括，
■ I型行失效帧模型。该类型缺陷模型及检测结果由图5示出。由图可见，该类型缺陷以“行”为单位，受损行信息完全缺失，非受损行信息完全保留，并且损伤行行间无相关性。■ II型行失效帧模型。该类型缺陷模型、检测结果由图6示出。由图可见，该类型缺陷以“行”为单位，受损行信息完全缺失，并且受损区域行间信息几乎相同，行间相关度极强。■ III型行失效帧模型。该类型缺陷模型及检测结果由图7示出。由图可见，该类型缺陷以“行”为单位，受损行信息完全缺失，并且受损区域行内信息规律性向右偏移，由此在受损区域左边形成一无信号的黑色三角形。■ IV型失效帧模型。该类型缺陷模型及检测结果由图8示出。由图可见，该类缺陷特点为，整帧左移，在帧右边留言一无信号黑色区域，同时缺陷以“行”为单位，受损行信息部分缺失，并且受损区域平行右移，同时受损行左部亦有一无信号黑色区域。 划痕型缺陷模型及其检测。该类缺陷模型及检测结果由图9示出。由图可见， 该类缺陷特点为，整帧信息未丢失，但视频图像上增加固定或动态的横向划痕状内容。 帧间滚动型缺陷模型及其检测。该类缺陷模型及检测结果由图10示出。由图可见，该类缺陷的特点为，由于某种时基信息错误或丢失，造成一帧内同时显示相邻两帧的部分图像，并且两帧间分割部分随时间滚动向上(或向下)运动，时间持续有0. 5秒到数秒不等。 颜色失真型缺陷模型及其检测。该类缺陷模型及检测结果由图11示出。该类缺陷一般出现在SCEMA制式的视频中，其原因在于该制式信号某类相位的缺失。由图可见， 其特征为某一以“行”为单位的区域颜色异常(通常为紫色)。2、媒体素材质量分析指标集包括 视频信号帧平均值及有效区域检测；眷视频信号带宽； 视频信号信噪比；眷音频信号帧平均值；眷音频信号带宽； 音频信号信噪比。3、媒体素材缺陷的检测，包括 失效帧缺陷检测算法。该类型缺陷检测方法框图由图4示出。检测方法为■首先利用帧间相关信息，检测出帧内失效点集合。为此，定义失效点模板为，这里，t为时间信息，(i，j)为坐标，χ为帧内像素灰度值■然后根据失效点的分布及密度，判断失效帧是否存在。将整个帧分割为2&12个子区域(每个子区域大小为12x16)。如果相同行中含失效点的子区域超过该行子区域数的80%，定义该子区域行为失效子区域行；如果这样的失效子区域行数超过所有子区域行数50%，则判断该帧是否为失效帧 各类行失效帧缺陷检测算法，包括，
1-X-1I5Kj-χ-1)) >150
0 else
■ I型行失效帧缺陷检测。该类型缺陷检测方法框图由图5示出。检测方法为 首先将被检测帧灰度图像转换为1维信号(每行像素灰度值累加)
权利要求
1.全自动多媒体素材缺陷检测与质量分析方法，其特征在于该方法包括 第1、媒体素材缺陷模型集的建立；第2、媒体素材质量分析指标集的建立； 第3、媒体素材缺陷的检测； 第4、媒体素材质量分析； 第5、保存媒体素材缺陷的检测与质量分析结果。
2.根据权利要求1所述的方法，其特征在于第1步所述的媒体素材缺陷模型集包括 第1. 1、失效帧缺陷模型，该模型的视频帧内容完全缺失，由一些杂乱无章的信号所替代；第1. 2、I型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，非受损行信息完全保留，并且损伤的行与行间无特殊相关性；第1.3、II型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域内行间信息相关度极强；第1. 4、III型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域的行内信息规律性向右偏移，由此在受损区域左边形成一无信号的黑色三角形；第1. 5、IV型行失效帧缺陷模型，该模型的视频缺陷特点为整帧左移，在整帧右边留一无信号黑色区域，同时缺陷以“行”为单位，受损行信息部分缺失，并且受损区域相对于全帧区域平行右移，同时受损行左部亦有一无信号黑色区域；第1. 6、划痕型缺陷模型，该模型的视频缺陷特点为整帧信息未完全丢失，但视频图像上增加位置固定或变化的横向划痕状内容；第1. 7、帧间滚动型缺陷模型，该模型的视频缺陷的特点为，一帧内同时显示相邻两帧的部分图像，并且两帧间分割部分随时间滚动向上或向下运动，时间持续在0. 5秒到数秒之间；第1. 8、颜色失真型缺陷模型，该模型的视频缺陷的显著特征为某一以“行”为单位的区域颜色异常，其原因在于该制式信号部分相位信息缺失。
3.根据权利要求1所述的方法，其特征在于第2步所述的媒体素材质量分析指标集包括第2. 1、视频信号帧平均值及有效区域检测； 第2. 2、视频信号带宽； 第2. 3、视频信号信噪比； 第2. 4、音频信号帧平均值； 第2. 5、音频信号带宽； 第2. 6、音频信号信噪比。
4.根据权利要求2所述的方法，其特征在于第3步所述的媒体素材缺陷的检测算法是第3. 1、失效帧缺陷模型检测算法，利用帧间相关信息，检测出帧内失效点集合；然后根据失效点的分布及密度，判断该帧是否为失效帧；第3. 2、I型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，考察帧间、行间相关信息，并结合行间运动补偿，最终检测判断出该类缺陷的失效行；第3. 3、II型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，依据帧内行间相关性信息，结合帧间相关性信息，检测出帧内缺陷候选行；最后从检测出失效行开始，上下搜索，采用区域增长的方法检测出该帧内所有缺陷区域；第3. 4、III型行失效帧缺陷模型检测算法，利用行间相关性及帧间相关性信息，检测出候选行；由于此类缺陷具备行间位移的特点，在计算行间相关性时，候选行在其相邻士5行区间进行搜索，计算两行之间的相关性最大值作为行间相关性；该候选行具备行内高相关性和帧间低相关性的特点；然后根据候选行的区域分布、相关度，确定该类缺陷的存在区域；第3. 5、IV型行失效帧缺陷模型检测算法，通过检测帧内左边黑色特征区域，将图像分割出缺陷候选区，即左边检测出黑色区域的行的集合；然后利用候选区的帧间直方图比对， 确定该类缺陷的存在区域；第3. 6、划痕型缺陷模型检测算法，在帧内检测出宽度小于4个像素的线形物体，并二值化做为模板；然后在此模板基础上，利用Hough变换，检测出横向线形物体，过滤掉其余方向的线形物体；最后，利用形态学开-闭算子进行运动补偿，从检测出横向线形物体集中过滤掉由于帧内物体运动造成的线，留下由于缺陷产生的线；最后利用中值滤波方法过滤掉孤立的像素点，留下划痕缺陷存在的位置；第3. 7、帧间滚动型缺陷模型检测算法，利用帧内行间相关性，检测出前后两帧相连接的部分；然后在连续的帧组中跟踪检测这部分的位置，直到该部分消失为止，从而得到帧滚动的位置及其滚动的帧片段；第3. 8、颜色失真型缺陷模型检测算法，将2维图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此基础上，以“行”为单位，根据帧间相关性，检测颜色异常的区域。
5.根据权利要求3所述的方法，其特征在于第4步所述媒体素材质量分析方法是 第4. 1、视频信号帧平均值及有效区域检测方法，帧内像素灰度值直方图，以其5%像素值为判决阈值，考察横向及纵向边界区，如果该行或列所以像素值都小于该阈值，则判断为无信号的边缘区，剩余区域为有效区；在有效区内计算像素灰度平均值，即为视频信号平均值；第4. 2、视频信号带宽估算方法，首先利用FFT按行计算功率谱，然后将帧内各行功率谱求平均；根据帧内平均功率谱得到该帧图像的带宽带宽低频点设为0，高频点定义为使平均功率谱达到95%的频率的下限值；第4. 3、视频信号信噪比估算方法，首先将图像帧利用Daubechies小波进行多尺度分解；根据分解后的小波系数综合采用两种途径进行噪声估计一种采用噪声奇异点的方法，即考察相同像素点的不同尺度小波分解系数的相互关系来确定奇异点；另一种利用阈值判断的方法，即根据前面帧估计的噪声方差作为阈值参数，考察小波分解后的系数；结合两种噪声估计的结果，采用其组合信息，估计噪声能量，最后计算出视频信号的信噪比； 第4. 4、音频信号帧平均值计算方法，音频信号平均值定义为对应某视频帧的音频片段的幅度的平均值第4. 5、音频信号带宽估算方法，音频信号带宽计算基于FFT变换，将音频片段fft 后功率谱5% 95%之间的频率定义为该音频片段的带宽；、第4. 6、音频信号信噪比估算方法，首先假定音频带宽以外的高频部分为噪声带宽然后利用首频带宽信息，音频功率谱计算出噪声功率谱，从而计算出音频信噪比。
全文摘要
全自动多媒体素材缺陷检测及质量分析方法。包括媒体素材缺陷模型集的建立；媒体素材质量分析指标集的建立；媒体素材缺陷的检测；媒体素材质量分析；媒体素材缺陷的检测与质量分析结果保存。在本发明方法基础上实现的软件可在现有主流计算机上达到实时处理的效果，可用于历史上多年积累下来的海量模拟媒体素材的数字化恢复及存储系统的预处理中。该方法为模拟素材的恢复提供实时、全自动的缺陷检测(包括缺陷类型、帧号、时间戳/片段信息、缺陷位置等)及媒体压缩存储所需必要的低层质量信息(包括视频音频信噪比、视频音频带宽、视频音频平均值等)，在此信息基础上，可手工或自动地进行媒体素材的恢复修补、视频音频压缩及数字化存储等任务。
文档编号H04N5/262GK102227127SQ20111016730
公开日2011年10月26日 申请日期2011年6月21日 优先权日2011年6月21日
发明者蔡靖 申请人:天津理工大学