一种分布式技审的方法
【专利摘要】本发明涉及一种分布式技审的方法，所述的方法包括：接收技审文件；文件切分；分段技审；报告合并；“文件切分的步骤”包括如下子步骤：确定分段个数；寻找视频技审的最长时长；寻找音频技审最长时长；转换为帧单位的时长；获取重合长度；确定分段长度；文件分段。本发明所述的方法将本地资源的GPU计算能力通过任务分段的方式充分利用起来。在充分考虑技审的特点和要求的情况下，设立分段的重合区域，保证分段不影响技审质量。与传统的技审方法相比，本发明所述方法充分利用了本地的计算资源，将传统方法中无法利用的计算能力整合到系统方法中，将传统方法中单服务器资源的利益扩展到本地更多的资源，达到快速高效的任务执行目的。
【专利说明】一种分布式技审的方法
【技术领域】
[0001]本发明涉及一种分布式技审的方法，电子数字处理的方法，是一种对数字视频文件进行检验处理的方法。
【背景技术】
[0002]随着电视台业务量的增加，数码化节目技审的效率往往无法满足节目备播的要求，特别是编码格式和视频质量的技术审查，需要耗费大量的硬件资源，在节目制作不合格被打回重做或修改时，节目完成修改又重新进行技术审查，当前的技审效率无法保证节目高效的通过技审，从而影响节目备播的进度，导致节目无法在规定的时间播出。
【发明内容】
[0003]为了克服现有技术的问题，本发明提出了一种分布式技审的方法。所述的方法使用分布技审的方式，将耗时较多的编码格式和视频质量的审查分片审查，多线程进行审查，提高技审的工作效率。
[0004]本发明的目的是这样实现的:一种分布式技审的方法，所述的方法使用的系统包括:设置服务器或服务器集群或云服务器中的技审文件接收单元、分段单元、设有多线程的视频内容检测引擎和编解码格式检测引擎的技审单元、带有技术结果队列的报告合并单元，所述的方法的步骤如下:
接收技审文件的步骤:用于技审文件接收单元接收要求技术审查的源文件；
文件切分的步骤:用于分段单元对源文件进行切分，形成多个分段文件；
分段技审的步骤:用于技审单元分别对各个分段文件进行编码格式审查和视频质量审查，形成各个分段的检测报告；
报告合并的步骤:用于报告合并单元对各个分段的检测报告进行合并，形成整个技审文件的检测报告；
所述的“文件切分的步骤”包括如下子步骤:
确定分段个数的子步骤:用于按照切片策略确定分段个数，分段策略包括按文件长度进行分段或按照技审节点的空闲个数确定分段个数；
寻找视频技审的最长时长的子步骤:用于遍历所有视频技审项中的时长阈值参数，得到视频技审最大时长；
寻找音频技审最长时长的子步骤:用于遍历所有音频技审项中的时长阈值参数，得到音频技审最大时长；
转换为帧单位的时长的子步骤:用于根据视频制式，将以秒为单位的音频时长转换为帧单位的时长；
获取重合长度的子步骤:用于取视频技审最大时长和以帧为单位的音频时长中的最大值作为以帧为单位的重合长度；
确定分段长度的子步骤:用于根据分段个数、重合长度、视频文件总长度，确定每个分段的长度，其入点和出点均以帧为单位；
文件分段的子步骤:用于根据分段的长度将技审文件分段。
[0005]进一步的，所述的“分段技审的步骤”包括如下子步骤:
解码的子步骤:用于按照入点和出点的位置对分段文件解码，解码为无压缩的视频数据；
并行技审的子步骤:用于技审节点启动不同的线程分别调用视频内容检测引擎和编解码格式检测引擎对无压缩的视音频数据进行检测。
[0006]进一步的，所述的“报告合并步骤”中包括如下子步骤:
储存第一个检测结果的子步骤:用于将第一个分段中的检测结果加入技审结果队列；顺序检测下一分段的子步骤:用于遍历下一个分段中的首个检测结果，如果技审结果队列中最后一个检测结果的入出点区间包含该检测结果的入出点区间，则继续扫描该段中的下个检测结果，直到其入出点区间不包含技审队列中最后一个检测结果的入出点区间，形成最终技审结果队列；
判断区间是否相交的子步骤:用于判断前后两个区间是否相交，如果“是”则将最终技审队列中最后一个检测结果区间修正为这两个区间的并；如果“否”则将该检测结果和该分段中后面所有该技审项的检测结果加入到最终技审结果队列中；
判断是否已经合并了所有分段结果的子步骤:用于在将分段的所有检测结果加入最终技审结果队列后，判断是否是已经合并了所有分段结果，如果“否”则回到“顺序检测下一分段的子步骤”，如果“是”则结束合并，输出检测报告。
[0007]本发明产生的有益效果是:本发明所述的方法将本地资源的GPU计算能力通过任务分段的方式充分利用起来。在充分考虑技审的特点和要求的情况下，设立分段的重合区域，保证分段不影响技审质量。与传统的技审方法相比，本发明所述方法充分利用了本地的计算资源，将传统方法中无法利用的计算能力整合到系统方法中，将传统方法中单服务器资源的利益扩展到本地更多的资源，达到快速高效的任务执行目的。
【专利附图】
【附图说明】
[0008]下面结合附图和实施例对本发明作进一步说明。
[0009]图1是本发明的实施例一所述方法所述使用的系统示意图；
图2是本发明的实施例一所述方法的流程图；
图3是本发明的实施例一所述方法中分段逻辑示意图；
图4是本发明的实施例三所述方法的“报告合并步骤”流程示意图。
【具体实施方式】
[0010]实施例一:
本实施例是一种分布式技审的方法，所述的方法使用的系统包括:设置在服务器或服务器集群或云服务器中的技审文件接收单元、分段单元、设有多线程的视频内容检测引擎和编解码格式检测引擎的技审单元、带有技审结果队列的报告合并单元，如图1所示。
[0011]本实施例所述方法所述使用的系统可以用灵活的方式实现，可实现为包含多个技审节点集群的一套服务器，也可以将各个软件模块部署到云计算平台中实现云自动技审。如果是服务器会部署在电视台、网络电视台等用户机房环境中；如果是云自动技审，则通过私有云或者公有云方式提供技审服务，可以部署在用户私有云环境中，或者部署到公有云平台上。本实施例所述方法所使用的系统具备很大的伸缩性，分片云自动技审节点可以从几个节点到几百个节点不等，可以充分利用云资源，提高技审的效率。
[0012]完整的分布式技审的报告内容=文件格式检测+编解码格式检测+视音频内容检测的结果。其中，文件格式检测因为效率非常高(双至强E5-2600平台的处理效率为10倍速以上)，再加上文件格式检测还有文件跳转的问题，故不进行分布式技审，只进行整段的检测。编解码格式检测和视音频内容检测执行分段处理。
[0013]本实施例所述的方法的具体步骤如下，流程图如图2所示:
接收技审文件的步骤:用于技审文件接收单元接收要求技术审查的源文件。源文件由请求技审的系统发出，这些请求技审的系统可以是存储视频文件的系统或制作视频文件的系统，或者是由卫星或网络等传输的各种视频文件。
[0014]文件切分的步骤:用于分段单元对源文件进行切分，形成多个分段文件。文件切分必须充分考虑技审的特点，防止漏检。
[0015]文件切分的分段原则是根据技审参数进行最合理的分段，既不存在冗余分段，也不会产生漏检，以保证并行技审的高效性和技审结果的正确性。文件切分要按照视频内容检测和编解码格式检测两方面的要求进行切分。首先视频内容检测引擎按照既定的切片策略获知切片的个数，切片策略包括按文件指定长度进行切片或按照技审节点的空闲个数确定切片。
[0016]由于很多检测项是前后相关的，比如静音的检测是要静音延续时间超过一定阀值才会告警，需要考虑重叠区以保证分片逻辑处理准确，视频内容检测引擎会计算出每一个分段的入点和出点信息。
[0017]重叠区的长度要求主要考虑视频技审项目中的时长阈值参数，这些时长阈值，包括:连续多少帧被检测为黑场的黑场检测的时间阀值、连续多少帧被检测为静帧的静帧检测的时间阀值、连续多少帧以内的不相关帧算作夹帧的夹帧检测的时间阀值、连续多少帧被检测为YUV超标的YUV超标检测的时间阀值、连续多少帧被检测为亮度超标的亮度超标检测的时间阀值等。同时还有考虑音频技审中的时长阈值，包括:连续多长时间被检测为静音的静音检测的时间阀值、连续多长时间被检测为音频反相的音频反相检测的时间阀值、连续多长时间被检测为真峰值超标的真峰值超标检测的时间阀值、连续多长时间被检测为响度超标的响度超标检测的时间阀值等。由于音频时长阈值都是以秒作为单位的，而视频时长阈值都是以帧作为单位，为了照顾视频的技审，因此，还要将以秒作为时长的单位换算成以帧作为时长单位，以便对比。再将最长的视频时长阈值参数与最长的音频时长阈值参数对比，取其最大这作用重叠区的长度。
[0018]“文件切分的步骤”包括如下子步骤:
确定分段个数的子步骤:用于按照切片策略确定分段个数，分段策略包括按文件长度进行分段或按照技审节点的空闲个数确定分段个数。
[0019]寻找视频技审的最长时长的子步骤:用于遍历所有视频技审项中的时长阈值参数，得到视频技审最大时长。
[0020]寻找音频技审最长时长的子步骤:用于遍历所有音频技审项中的时长阈值参数，得到音频技审最大时长。
[0021]转换为帧单位的时长的子步骤:用于根据视频制式，将以秒为单位的音频时长转换为帧单位的时长。
[0022]获取重合长度的子步骤:用于取视频技审最大时长和以帧为单位的音频时长中的最大值作为以帧为单位的重合长度。
[0023]确定分段长度的子步骤:用于根据分段个数、重合长度、视频文件总长度，确定每个分段的长度，其入点和出点均以帧为单位。
[0024]文件分段的子步骤:用于根据分段的长度将技审文件分段。分段的内容包括两部分:编解码格式检测(分段文件编解码检测)+视音频内容检测(分段文件视音频内容检测)。
[0025]视音频内容检测的分段一方面需要按照分段策略获知切片的个数，分段策略包括按文件指定长度进行分段或按照分段节点的空闲个数确定分段数。另一方面需要考虑由于很多检测项是前后相关的，比如静音的检测是要静音延续时间超过一定阀值才会告警，分段逻辑处理不好就会造成漏判，为此需要设计图3所示的分段逻辑，重点就是要有重叠区。方法是统计所有技审项的时长参数，取最大时长作为分段的最小重合长度，根据分段参数和重合长度完成分段划分(见前面几个步骤过程)。
[0026]编解码格式检测的分段，需要在视音频内容检测的分段完成的基础上，要对MPEG2IBP GOP 对齐。
[0027]分段技审的步骤:用于技审单元分别对各个分段文件进行编码格式审查和视频质量审查，形成各个分段的检测报告。分段技术首先技审节点按照入出点的位置对被检测文件解码，解码为无压缩的视音频数据。技审节点启动不同的线程分别调用视频内容检测引擎和编解码格式检测引擎对无压缩的视音频数据进行检测。
[0028]报告合并的步骤:用于报告合并单元对各个分段的检测报告进行合并，形成整个技审文件的检测报告。合并时，需要按顺序对每个检测结果进行去重与合并处理。利用多线程技术，对所有技审检测项，按顺序遍历每段的检测结果，形成检测报告。
[0029]分布式技审拼接合并的过程就是按顺序对每个检测结果进行去重\合并处理的过程。获取到每个检测段的检测结果，并进行统计。之后报告去重，最后报告合并。
[0030]另外，分布式技审时，帧检测对于重叠区不会重复处理，可进一步提高效率，也减少了帧检测结果合并时的去重工作。
[0031]本实施例所述的分布式技审可以实现多计算节点并行处理，按照计算节点数，基本可以达到线性递增。不执行分布式处理的自动技审任务和执行分布式处理的自动技审任务得到的自动技审报告要完全一致，保证数据的客观准确，也有利于数据信息的交换共享和统计分析。
[0032]实施例二:
本是实施例一的改进，是实施例一关于“分段技审的步骤”的细化。本实施例所述的“分段技审的步骤”包括如下子步骤:
解码的子步骤:用于按照入点和出点的位置对分段文件解码，解码为无压缩的视频数据。由于文件已经分段，本步骤可以利用多个线程对各个分段进行同时解码，加快解码速度。
[0033]并行技审的子步骤:用于技审节点启动不同的线程分别调用视频内容检测引擎和编解码格式检测引擎对无压缩的视音频数据进行检测。技审通过分析被检测素材的每一帧视频和音频数据，并将解析出的数据与相关标准进行计算对比，从而确定被检素材中是否含有各种视音频问题，并在认为有问题的地方打标记点记录，供人工复检使用。
[0034]技审内容包括:视音频内容检测和编解码格式检测。对于视频内容检测可以调用多个线程同时检测的主要内容包括:黑场、彩条、蓝底、绿底、静帧、台标、Y/U/V超标、R/G/B超标、幅型、花屏检测等。音频方面主要包括:静音、破音、VU、电平、立体声相位、响度超标等检测。另外，通过调整技审参数的检测范围，调整检测的策略，能够准确定位节目文件存在的视、音频问题。
[0035]实施例三:
本实施例是上述实施例的改进，上述实施例关于“报告合并步骤”的细化，如图4所示。本实施例所述的“报告合并步骤”中包括如下子步骤:
储存第一个检测结果的子步骤:用于将第一个分段中的检测结果加入技审结果队列。在合并的过程中技审结果队列的数据会动态变化，直到合并完成后变成了最终技审结果队列。
[0036]顺序检测下一分段的子步骤:用于遍历下一个分段中的首个检测结果，如果技审结果队列中最后一个检测结果的入出点区间包含该检测结果的入出点区间，则继续扫描该段中的下个检测结果，直到其入出点区间不包含技审队列中最后一个检测结果的入出点区间，形成最终技审结果队列。本子步骤为报告去重，去重原则:前后两段的技审结果的入出点区间是否存在包含关系，如果存在，则删除子区间。
[0037]判断区间是否相交的子步骤:用于判断前后两个区间是否相交，如果“是”则将最终技审队列中最后一个检测结果区间修正为这两个区间的并，如果“否”则将该检测结果和该分段中后面所有该技审项的检测结果加入到最终技审结果队列中。本子步骤为报告合并，合并原则:前后两段的技审结果的入出点区间是否存在相交不包含关键，如果存在，则将两个区间合并。
[0038]判断是否已经合并了所有分段结果的子步骤:用于在将分段的所有检测结果加入最终技审结果队列后，判断是否是已经合并了所有分段结果，如果“否”则回到“顺序检测下一分段的子步骤”，如果“是”则结束合并，输出检测报告。
[0039]完整的技审报告内容=文件格式检测检测结果+合并后完整的文件编解码检测结果+合并后完整的文件视音频内容检测结果。技审报告完成后写入数据库中，同时反馈给请求技审的发起方。
[0040]最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案(比如分段长度的计算、重叠长度的计算、步骤的先后顺序等)进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。
【权利要求】
1.一种分布式技审的方法，所述的方法使用的系统包括:设置在服务器或服务器集群或云服务器中的技审文件接收单元、分段单元、设有多线程的视频内容检测引擎和编解码格式检测引擎的技审单元、带有技术结果队列的报告合并单元，所述的方法的步骤如下: 接收技审文件的步骤:用于技审文件接收单元接收要求技术审查的源文件； 文件切分的步骤:用于分段单元对源文件进行切分，形成多个分段文件； 分段技审的步骤:用于技审单元分别对各个分段文件进行编码格式审查和视频质量审查，形成各个分段的检测报告； 报告合并的步骤:用于报告合并单元对各个分段的检测报告进行合并，形成整个技审文件的检测报告； 其特征在于，所述的“文件切分的步骤”包括如下子步骤: 确定分段个数的子步骤:用于按照切片策略确定分段个数，分段策略包括按文件长度进行分段或按照技审节点的空闲个数确定分段个数； 寻找视频技审的最长时长的子步骤:用于遍历所有视频技审项中的时长阈值参数，得到视频技审最大时长； 寻找音频技审最长时长的子步骤:用于遍历所有音频技审项中的时长阈值参数，得到音频技审最大时长； 转换为帧单位的时长的子步骤:用于根据视频制式，将以秒为单位的音频时长转换为帧单位的时长； 获取重合长度的子步骤:用于取视频技审最大时长和以帧为单位的音频时长中的最大值作为以帧为单位的重合长度； 确定分段长度的子步骤:用于根据分段个数、重合长度、视频文件总长度，确定每个分段的长度，其入点和出点均以帧为单位； 文件分段的子步骤:用于根据分段的长度将技审文件分段。
2.根据权利要求1所述的方法，其特征在于，所述的“分段技审的步骤”包括如下子步骤: 解码的子步骤:用于按照入点和出点的位置对分段文件解码，解码为无压缩的视频数据； 并行技审的子步骤:用于技审节点启动不同的线程分别调用视频内容检测引擎和编解码格式检测引擎对无压缩的视音频数据进行检测。
3.根据权利要求1或2所述的方法，其特征在于，所述的“报告合并步骤”中包括如下子步骤:储存第一个检测结果的子步骤:用于将第一个分段中的检测结果加入技审结果队列；顺序检测下一分段的子步骤:用于遍历下一个分段中的首个检测结果，如果技审结果队列中最后一个检测结果的入出点区间包含该检测结果的入出点区间，则继续扫描该段中的下个检测结果，直到其入出点区间不包含技审队列中最后一个检测结果的入出点区间，形成最终技审结果队列； 判断区间是否相交的子步骤:用于判断前后两个区间是否相交，如果“是”则将最终技审队列中最后一个检测结果区间修正为这两个区间的并；如果“否”则将该检测结果和该分段中后面所有该技审项的检测结果加入到最终技审结果队列中； 判断是否已经合并了所有分段结果的子步骤:用于在将分段的所有检测结果加入最终技审结果队列后，判断是否是已经合并了所有分段结果，如果“否”则回到“顺序检测下一分段的子步骤”，如果“是”则结束合并，输出检测报告。
【文档编号】H04N5/262GK104410799SQ201410811306
【公开日】2015年3月11日 申请日期:2014年12月24日 优先权日:2014年12月24日
【发明者】李永葆, 曾国卿, 王彦彬, 韩利明, 杜伟, 张二丽, 张 浩, 郭志芳, 胡海琴, 王兵 申请人:北京中科大洋信息技术有限公司