一种适用于网络化智能化数字媒体的节目合成系统及方法

专利名称：一种适用于网络化智能化数字媒体的节目合成系统及方法
技术领域：
本发明涉及一种适用于网络化智能化数字媒体的节目合成系统及方法，是一种计算机网络应用系统及方法，是一种数字媒体内容的处理系统及方法。
背景技术：
传统的线性编辑方式，进行电视节目制作需要使用的大量的录像机，但是随着IT技术的发展，节目制作系统逐渐从基于磁带的线性编辑系统发展到基于磁盘的非线性编辑系统。但是非线性编辑系统，合成 的媒体文件，无法实现素材的方便共享及协同工作，因此，结合网络技术的非线性编辑网络系统快速发展起来，随之网络化的节目制作系统成为非线性编辑网络系统的关键部分，在节目制作效率上和节目制作播出实效上发挥了重要的作用。对于提供电视节目的电视台来说，节目制作是其电视业务中的关键部分，随着电视节目制作业务的多样化，不同电视台制作模式呈现多元化，对于节目合成，提供了更高的要求。现有的节目合成，没有真正意义上的专用合成系统，合成只是非线性编辑系统的一部分功能。由于不是独立的系统，所以节目合成与非线性编辑系统其它工作使用同一硬件资源，这就产生了硬件资源竞争的现象。节目合成本身往往是一项复杂的工作，需要较多的硬件资源，加上硬件资源的不足，使节目合成更加费时。现有节目合成方式往往耗费整个节目制作周期一半的时间，制作成本相对高。在时效性很高的新闻节目中，有时希望看到某些实时新闻的精彩集锦，现有节目制作合成系统通常的做法，是将收录机器上赛事完整的视音频素材传输到演播室中，由演播室的非线性编辑系统完成精彩集锦的编辑。由于精彩部分只占整个收录素材的一小部分，因此，被传输到演播室的收录素材中很大一部分是起不到作用的。这样就大大浪费了文件传输的时间，不但降低了节目制作的效率，还浪费了大量的网络资源。对于实时性要求比较高的现场直播节目，演播室要求快速地编辑获取的节目素材，收录系统收录的文件经过非线性编辑之后，要经过节目合成为素材，提供给演播室播出，传统的节目合成的效率比大约为I :1.5，也就是说，制作一个节目需要这个节目时间长度一倍半的时间长度进行合成，严重的影响了播出的实时性。同时，现有的节目合成方式，都是高标清分开合成的，对于现行高标清混合制作的业务模式中，需要分别进行高清节目合成和标清节目合成，资源浪费严重。

发明内容
为解决现有技术的问题，本发明提出一种适用于网络化智能化数字媒体的节目合成系统及方法。所述系统及方法设置了多台合成服务器，实现了多线程多设备并行合成，大大提高了合成的效率，同时还提高了系统安全性能。本发明的目的是这样实现的一种适用于网络化智能化数字媒体的节目合成系统，包括通过网络相互连接的磁盘阵列、管理服务器、多个合成服务器、拼接服务器、数据库服务器，所述的磁盘列阵中设有故事板数据库、素材数据库、合成数据库、拼接记录数据库、拼接完成数据库；所述的管理服务器中设有智能分析引擎、服务单元、任务监控单元、文件管理单元，所述的智能分析引擎包含有任务类型分析装置、合成类型分析装置、任务拆分装置，故事板结构智能分析装置；所述的合成服务器中设有解码器、叠加渲染器、编码器、文件合成输出器；所述的拼接服务器中设有解封装装置、转码拼接装置、封装装置。一种使用上述系统的数字媒体的节目合成方法，所述的方法的步骤如下
接收的步骤用于所述管理服务器接收带有故事板的工程文件信息；所述的工程文件信息主要由各个非线性编辑站点编辑的带有故事板结构的文件信息；
提取素材的步骤用于所述的文件管理单元根据工程文件信息在素材数据库中提取相应的素材信息；
有效性判断的步骤用于所述的智能分析引擎对提取的素材信息进行有效性判断，如果素材无效则结束合成任务，如果素材有效则进入下一步骤； 高标清判断的步骤用于所述的任务类型分析装置对工程文件的结构类型进行分析，划分出是标清任务，还是高清任务，如果是高清任务则以下步骤均以高清任务进行，如果是标清任务则以下步骤以标清任务进行；
合成类型分析的步骤用于所述的合成类型分析装置对工程文件的内容和长度进行分析，以确定拆分方式；
故事板结构分析的步骤；用于所述的故事板结构智能分析装置对故事板进行分析，以确定拆分工程文件的合理性；
任务拆分的步骤用于所述的任务拆分装置根据合成类型分析装置对工程文件长度以及工程文件结构进行的分析，确定拆分方法，并对工程文件进行拆分，并记录被拆分工程文件的元数据信息，入点、出点以及文件长度，并记录在拼接记录数据库；
分配合成任务的步骤用于所述的任务监控单元将拆分的工程文件根据各个所述合成服务器的当前工作情况分配给各个合成服务器，所述的服务单元根据拆分任务的需求在故事板数据库中提取相应的故事板信息，在素材数据库中提取相应的素材信息提供给相应的合成服务器；
合成的步骤用于所述的合成服务器对所述的素材根据故事板进行合成，合成完成后将合成的工程子文件存入磁盘阵列，并将合成的工程子文件信息存入合成数据库中；
合成完成的步骤用于所述的任务监控单元收到所有工程子文件已经全部合成完成的信息后，将所有工程子文件信息从合成数据库中取出，并通知任务监控单元，将相应的工程子文件的信息送至拼接服务器中；
拼接的步骤用于所述的拼接服务器收到所有工程子文件信息后，对各个工程子文件按照故事板进行拼接，待子任务全部合成完成之后，拼接服务器从拼接记录数据库中读取每个子任务的元数据信息，对工程子文件的封装格式进行解封装，然后首尾相接，重新构造目标文件的元数据信息，并记录到拼接记录数据库中；
完成的步骤用于所述的拼接服务器将所有工程子文件拼接完成，形成节目文件，并将节目文件存入磁盘阵列，并将节目文件信息存入拼接完成数据库，完成节目文件制作，所述的服务单元根据需要将节目文件输出至播出系统、审片系统、媒资系统。本发明产生的有益效果是本发明设置合成服务器集群，将单条复杂的合成任务拆分为多个子任务，并控制合成服务器集群同时合成各个子任务，形成中间工程子文件，最后拼接为最终目标节目文件，从而显著提高合成效率。本发明所述的系统的智能分析引擎通过判断合成任务，符合条件的任务自动启用分布式合成功能，反之，使用整体合成。智能分析引擎还可以根据故事板的复杂度，按照一定的故事板长度和配置的服务器数量，进行智能拆分。由于设置了任务类型分析装置，对任务进行高标清类型的辨别，并支持高标清智能切换，根据合成目标对各个服务器的工作制式进行自动切换，保证合成的质量。由于有多个合成服务器，实现了设备冗余，提高了系统安全性能。


下面结合附图和实施例对本发明作进一步说明。图I是本发明实施例一所述系统的系统框 图2是本发明实施例二所述方法的流程 图3是本发明实施例二所述拆分的示意图。
具体实施例方式实施例一
本实施例是一种适用于网络化智能化数字媒体的节目合成系统，如图I所示。本实施例包括通过网络相互连接的磁盘阵列、数据库服务器、管理服务器、多个合成服务器(图中显示为4个，实际可以有更多)、拼接服务器，数据库服务器，所述的磁盘列阵中设有故事板数据库、素材数据库、合成数据库、拼接记录数据库、拼接完成数据库；所述的管理服务器中设有智能分析引擎、服务单元、任务监控单元、文件管理单元，所述的智能分析引擎包含有任务类型分析装置、合成类型分析装置、任务拆分装置，故事板结构智能分析装置；所述的合成服务器中设有解码器、叠加渲染器、编码器、文件合成输出器；所述的拼接服务器中设有解封装装置、转码拼接装置、封装装置。本实施例所述系统从整体架构上，分为数据层、中间层、网络层、应用层等几个部分。数据层包括数据库服务器和磁盘列阵，承担整个系统的所有元数据存储管理和负责整个系统的合成中间工程子文件、合成最终目标节目文件的存储。中间层主要包括管理服务器，管理服务器中设置智能分析引擎、服务单元、任务监控单元、文件管理单元等几个部分。服务单元提供所述系统与外部的制作系统的接口服务，从而实现合成任务的提交、相关系统任务完成状态通知。智能分析引擎是本实施例所述系统的核心，完成对任务类型、合成类型、任务拆分、故事板结构的智能分析与任务分配。任务监控单元的作用是对整个任务过程进行监控管理与配置。文件管理单元按照指定时间间隔对合成工程子文件进行清理，提高存储阵列的利用率。应用层分为合成服务器和拼接服务器。合成服务器根据故事板对素材进行合成，形成工程子文件，而拼接服务器将合成工程子文件进行拼接，形成最终的目标节目文件。本实施例设置多个合成服务器的主要目的在于使合成多线程多服务器进行。因为在合成过程中，渲染需要大量的计算，这样就需要许多的硬件资源，因此，渲染是提高合成速度的瓶颈。本实施例采取多个合成服务器的方式，增加线程，客观上使渲染这种需要较多资源的计算分配到多台服务器中，有效的提高了渲染的计算速度。多台合成服务器的另一个好处是设备冗余，增强了系统的鲁棒性。例如当某条任务或子任务在一个合成服务器上执行出错时，所述系统会自动将此条任务交给另一台合成服务器执行；如果更换合成服务器执行成功，系统就可以对外提供成品节目文件；如果再次失败，系统会再次更换合成服务器执行此任务，直到尝试N次后(N数值可设置)，系统会停止执行此任务，并将任务标记为错误以及注明原因；如果失败的任务是某条任务的子任务，除了停止当前任务标记错误外，还会将此主任务的所有子任务停止执行，并将主任务标记为错误以及注明原因，并通知相应的制作系统。所述的任务监控单元可以对合成和拼接过程进行监控，一旦出现问题则进行调整，并将记录合成服务器执行任务的连续失败次数，当某台合成服务器连续N次执行不同任务失败后，任务监控单元会自动命令该合成服务器重新启动；若重启后依然连续N次执行不同任务失败后，任务监控单元会将此合成服务器标记为“故障”，不再接收任务，直到管理人员进行维护处理后，将故障状态取消才会再次开始接收任务；若合成服务器重启后任务执行成功，则清除连续失败计数。(N的数值可根据需要设定)。另外，任务监控单元可以完成对任务执行的优先级的调整，在电视节目制作过程中，有时出现紧急的任务需要优先合成，以满足及时播出的任务，保证电视节目的即时性、有效性，此时可以手动修改合成任务的优先级。(任务优先级可以根据需要设定，默认为50) 本实施例述的文件管理单元可以对合成阶段产生的工程文件、工程子文件、电视节目文件等进行管理，用户可以根据自行实际需要，设定文件的保存周期、删除策略，以一个固定时间间隔为周期，对不必要的文件进行删除。实施例二
本实施例是一种使用实施例一所述系统的数字媒体的节目合成方法。节目合成指的是将多个视频素材结合在一起形成一个完整的电视节目文件。例如将多个画面放在一个画面中演播，当然，这只是一种最简单的节目合成。节目合成首先需要一个类似于电影分镜头剧本的故事板文件，这个故事板文件对将要合成的电视节目的整体思路有一个十分清晰的描述。故事板文件来自于电视节目非线性编辑系统，是一个数字化的文件。故事板文件中包含了将要合成的电视节目的内容、长度等各种参数，以及各种合成该电视节目所需素材的各个参数，同时还有这些素材如何结合，结合的方式等合成所需要的各个参数。现有技术合成电视节目文件的做法是在非线性编辑系统中按照故事板所规定的时间顺序，一帧一帧的提取各个素材中的画面进行合成处理，最终形成整个节目文件。本实施例所述的方法突破了现有单一线性合成的思路，采用多线程多服务器的制作合成。将一个完整的电视节目拆分为多段，同时在多个合成服务器中对多个分段进行合成处理，当各个分段合成完成后，再在一个专门的拼接服务器中将多个分段进行拼接，形成完整的电视节目文件。在本实施例中“工程文件”指的是由电视节目非线性编辑系统在节目编辑和合成过程中使用的，包含节目所使用的素材以及针对素材施加的特技、叠加的字幕信息，以及节目的高标清参数、编码格式、文件格式、内容时长等信息的数据文件，其中也包括了故事板等制作电视节目的参数和信息。“工程子文件”指的是经过分段合成后形成的电视节目的不同段落，有时也称为“合成中间文件”，“电视节目”表示的是线性的、未经过压缩视频节目；而“电视节目文件”则是经过编码压缩，带有文件特征的视频节目文件。本实施例的主要思路是首先根据故事板对素材进行分析，根据分析的结果制定拆分方案，根据拆分方案将整个需要合成的电视节目文件进行分段拆分，这一过程完全智能化。这一过程不但可以判断素材的有效性，还能判断素材是高清还是标清的，并根据高标清的判断结果指挥后面的合成工作，以此实现高标清的兼容。然后同时进行各个分段的合成作业。所有分段合成完成后则将各个分段进行拼接，形成完整的电视节目文件。由于智能化的分析和多线程合成处理，本实施例所述方法的合成效率非常高。本实施例所述方法的具体步骤如下
接收的步骤用于所述管理服务器接收带有故事板的工程文件信息，所述的工程文件信息主要由各个非线性编辑站点编辑的带有故事板结构的文件信息组成。文件信息包括故事板引用的素材文件信息、素材元数据信息、特技文件信息、字幕文件信息等相关信息。提取素材的步骤用于所述的文件管理单元根据工程文件在素材数据库中提取相应的素材信息。所述的素材信息包括素材的文件信息、素材的存储路径信息、文件编码信息等元数据信息。文件管理单元根据素材数据库中记录的素材路径，找到相应的数据文件， 本实施例所使用的系统在使用过程跟非编系统的磁盘阵列共用一个存储。在工程文件的创建过程中，将素材文件的元数据信息和数据文件信息导入素材数据库中，并将工程文件所包含的素材信息以及各种参数记录在故事板数据库中，工程文件合成过程中，根据故事板数据库记录的素材信息，直接对素材进行合成。有效性判断的步骤用于所述的智能分析引擎根据工程文件信息，对引用的素材文件进行提取和判断。素材的有效性是指智能分析引擎能否对该素材具有读写权限以及该素材是否在线等问题进行判断。如果智能分析引擎，不能对该素材进行读写操作，则为不可用；如果智能分析引擎，不能访问数据库中记录的素材路径，则认为该素材为离线素材，也为不可用。对工程文件引用的素材文件进行有效性判断，如果素材无效，则结束此次合成任务，对无效的素材做标记，并将相应的无效素材信息反馈给任务提交者，同时通知非编站点，结束此次合成任务，如果素材有效则进入下一步骤。高标清判断的步骤用于所述的任务类型分析装置对工程文件的结构类型进行分析，根据工程文件记录的目标文件信息、目标文件合成的格式，划分出是标清任务，还是高清任务。如果目标合成文件格式为高清，则判定为高清任务，则以下步骤均以高清任务进行；如果目标合成文件格式为标清，则判定为标清任务，则以下步骤以标清任务进行。在电视由标清向高清过度的阶段，高标清视频混合制作已成为必然趋势。在高标清混合制作模式下，对节目合成也提出了更高的要求，本步骤可以同时兼容这两者制作模式。本步骤根据工程文件记录的目标文件信息的要求进行高标清制式的智能切换，收到任务时，将任务分为高清和标清任务，根据合成任务的高标清类型自动将合成服务器及其相关的设备的工作制式自动切换为高清或者标清。高标清智能切换的实现模式如下
根据业务需求可配置出标清、高清等多种合成参数模板。电视节目制作系统，将制作完成的工程文件在提交任务时，根据需要选择不同的高标清参数模板，将任务分为高清任务或者标清任务，合成服务器按照参数模板对任务进行合成。电视节目在高清制作和标清制作时，有相应的系统高标清标识，本实施例所使用的系统中根据提交任务时选择的高标清参数模板，判断高标清任务，添加高标清任务。随着电视技术的发展，高清任务在播出质量、清晰度上有了更好的表现，但高清任务在合成效率上低于标清任务。高清任务需要更高的CPU和GPU指标。如果是高清制作下，提交高清任务，为了达到制作模式与合成执行的高度一致，首先，判断合成服务器的制作模式，如果是标清模式，需要将标清模式切换为高清模式。其次，对高清制作下的工程文件进行分析，如果工程文件中有标清素材，系统会自动将其进行上变换，之后，执行合成任务。如果是高清制作下，提交标清任务，为了达到制作模式与合成执行的高度一致，首先，判断合成服务器的制作模式，如果是高清模式，需要将标清模式切换为标清模式。其次，对高清制作下的工程文件进行分析，如果工程文件中有高清素材，系统自动将其进行下变换，之后，执行合成任务。同理，标清制作下，提交高清任务的情况和标清制作下，提交标清任务的情况，其处理方法与之类似。合成类型分析的步骤用于所述的合成类型分析装置对工程文件的内容和长度进行分析，判断是否需要启动分布式合成，如果不需要分布式合成，则进行整体合成，如果需要分布式合成，则进一步确定拆分方式。本实施例本着兼容多种业务形态的原则即可支持对合成任务的分拆进行分布式 (多线程)合成,也可支持对合成任务不分拆,进行整体合成。实际上合成服务器集群各服务器使用相同的合成软件，一个任务是否进行分拆是由系统中的智能拆分引擎进行判断的。判断的原则有两个一个是根据结合业务类型以及制作特点，确认是否需要启用分布式合成，如果不启用分布式合成，则该系统内的合成站点均为合成服务器群，每个任务由一个合成服务器完成，即只支持整体合成；另一个是在启用分布式合成的模式下，合成任务的长度是否达到了分布式合成启用的最低长度，如果达到最小长度，在进行分布式合成，否者执行整体合成任务，以上模式均可以通过参数配置灵活完成。故事板结构分析的步骤用于所述的故事板结构智能分析装置对故事板进行分析，以确定拆分工程文件的合理性。每个故事板结构，因具体情况而异，其复杂性成离散型分布，那么，需要根据故事板的结构类型、素材、字幕、特效的分布情况，计算复杂度，将不同的时间段标记不同的复杂度，然后进行智能拆分，以达到最大效率。任务拆分的步骤用于所述的任务拆分装置根据合成类型分析装置对工程文件长度以及工程文件结构进行的分析，确定拆分方法，并对工程文件进行拆分，并记录被拆分工程文件的元数据信息，入点、出点以及文件长度，并记录在拼接记录数据库。拆分可以使用三种基本形式按合成服务器数量拆分、定长时间拆分或智能拆分，可以按照不同的需要进行选择。按合成服务器数据拆分
根据节目制作类型，在常见的剧集类节目制作中，每天的任务量在100 300条，且每条时间线比较长的情况下，本步骤将按照合成服务器数量(准确的说是空闲合成服务器的数量，因为所述系统可以同时执行多个合成任务，各个合成任务可以交叉进行)进行任务拆分，使合成服务器的使用效率达到最大化，从而达到任务执行的最大化，在最短时间内共同完成节目合成任务，缩短节目合成环节的时间。为了到最高效率，目前工程文件分拆的基本规则是将工程文件切分成等长的η段(N代表所述系统中分布式合成服务器集群的数量，η=Ν-1)。切分成η段的原因是，故事板的音频部分是不可分拆的，需要作为一个单独的子任务进行合成，使用一个单独的音频合成服务器，因此可以用作视频合成的服务器数量为η=Ν-1。
在实际在拆分一个工程文件的时候，首先要分析工程文件什么地方是不可切分的，然后根据分拆的基本原则，将工程文件拆分为等长的n段，每段长度作为此次分拆的默认分拆长度，进行分拆，如果拆分后的拆分点在不可分拆的地方，任务拆分装置会将分拆点向“近”的一方移动(所谓“近”是指生成工程子文件的长度和标准工程子文件的长度误差小)。如果不可拆分的部分的长度超过了默认拆分长度的时候，则将不可拆分的部分作为一个子任务。如果单独一块不可拆分部分的长度超过了 2倍的默认分拆长度，则认为工程文件不可分拆，自动进行整体合成。定长时间拆分
根据节目制作类型，在常见的广告类节目制作中，每天的任务量在100 150条，且每条时间线相对短的情况下，所述系统将按照定时长进行任务拆分，使之任务的执行效率达到最大化，同一时间接收的任务量最大化，在最短时间内共同完成更多节目合成任务，缩短节目合成环节的时间。工程文件分拆也可以按照设定的标准时间段来分拆。采用这种分拆方式，所述系统会自动从工程文件的入点开始按照设定的时间进行等长分拆，最后一个分拆段是一个小于设定时长的分拆段。采用定长分拆时，实际分拆一个工程文件的时候，首先分析工程文件什么地方是不可切分的，然后根据设点的标准时间段进行工程文件的分拆，如果按照标准时间段分拆的分拆点在不可分拆的地方，则将分拆点向“近”的一方移动(所谓“近”是指生工程子文件的长度和标准子文件的长度误差小)，不可分拆的后续部分继续按照定长分拆。如果不可分拆的部分的长度超过了设定分拆长度的时候，则将不可分拆的部分作为一个子任务，不可分拆的后续部分继续按照定长分拆。如果单独一块不可分拆部分的长度超过了 2倍的设定分拆长度，则认为工程文件不可分拆，自动进行整体合成。智能拆分
根据节目制作类型，每天的任务量在200 500条，时间线时长不定的情况下，通常会采用智能拆分。本步骤结合合成服务器的状态，根据时间线的实际复杂度进行判断比较，对于时间线较长优于定时拆分时，本步骤按照服务器数量进行任务拆分，使之服务器的使用效率达到最大化。如果每条时间线相对短，本步骤将按照定时长进行任务拆分，使之任务的执行效率达到最大化，从而达到任务执行的最大化，在最短时间内共同完成节目合成任务，缩短节目合成环节的时间。采用智能拆分时，实际分拆一个工程文件时，首先要分析工程文件，根据工程文件使用的素材类型、特技类型、叠加的字幕类型，判断出最小拆分单位(本实例中最小拆分单位可以是一个GOP长度，也可以是不可拆分特技长度)对文件进行分析，分析工程文件上使用的素材类型、特技、字幕等文件，并设定相应的复杂度值；然后向后移动一个最小拆分单位，分析其复杂度，如果复杂度小于或者接近，再继续向前移动一个最小拆分单位，分析其复杂度，判断这两个最小拆分单位的复杂度，如果大于前一个复杂度，则向后半个最小拆分单位，然后判断其复杂度，以此类推，将工程文件划分为不同复杂度的切片，如果默认的分拆点在不可分拆的地方，则将分拆点向“近”的一方移动(所谓“近”是指生工程子文件的长度和标准子文件的长度误差小)，不可分拆的后续部分继续按照定长分拆。如果不可分拆的部分的长度超过了设定分拆长度的时候，则将不可分拆的部分作为一个子任务，不可分拆的后续部分继续按照定长分拆。如果单独一块不可分拆部分的长度超过了 2倍的设定分拆长度，则认为工程文件不可分拆，自动进行整体合成。最后根据合成服务器的状态，将不同复杂度的分配给执行能力不同的服务器，使之任务在同一时间完成，最后进入下一步骤。分配合成任务的步骤用于所述的任务监控单元将拆分的工程文件根据各个所述合成服务器的当前工作情况分配给各个合成服务器，所述的服务单元根据拆分任务的需求在故事板数据库中提取相应的故事板信息，在素材数据库中提取相应的素材信息提供给相应的合成服务器。同时任务监控单元可以根据业务的实际需求将任务的优先级提高，优先执行，以满足紧急任务的要求，如果任务优先级提高，需待当前任务执行完毕后，下一条执行该任务。例如有一个工程文件包含了四段素材(素材I、素材2、素材3、素材4)，如图3所示的故事板，最终将合成一段20分钟的电视节目，当前有5个空闲的合成服务器(合成服务器A、合成服务器B、合成服务器C、合成服务器D、合成服务器E)，则将一段20分钟的工程文件拆分5段，每段4分钟工程子文件。分配任务的时候，将素材I信息和素材3信息送
入合成服务器A中,将素材1、2、3、4信息送入合成服务器B、C、D、中,将素材1、2、4信息送入合成服务器E中。合成服务器A负责1-4分钟工程子文件的素材1、3合成；合成服务器B负责4-8分钟工程子文件的素材1、2、3、4合成；合成服务器C负责8_12分钟工程子文件的素材1、2、3、4合成；合成服务器D负责12-16分钟工程子文件的素材1、2、3、4合成；合成服务器E负责16-20分钟工程子文件的素材1、2、4合成。合成的步骤用于所述的合成服务器对所述的素材根据故事板进行合成，合成完成后将合成的工程子文件存入磁盘阵列，并将合成的工程子文件信息存入合成数据库中。合成指将非线性的故事板存储结构输出为线性的视音频文件或素材的过程。在合成的过程中，先对故事板上每一帧对应的各个轨道的视频、音频等进行解码，然后按照叠加关系进行渲染得到最终的画面效果，再对最终画面进行编码，编码完成后将结果输出到合成的目标文件；重复上述的工作将整个故事板逐帧输出到工程子文件，即为故事板的合成。合成完成的步骤用于所述的任务监控单元收到所有工程子文件已经全部合成完成的信息后，将所有工程子文件信息从合成数据库中取出，并通知任务监控单元，将相应的工程子文件的信息送至拼接服务器中。各个合成服务器进行合成的速度和时间是不一样的，所以有的合成服务器先完成合成，有的合成服务器后完成合成。一个工程文件的所有工程子文件都合成完成，才能算是合成完成。拼接的步骤用于所述的拼接服务器收到所有工程子文件信息后，对各个工程子文件按照故事板进行拼接，待子任务全部合成完成之后，拼接服务器从拼接记录数据库中读取每个子任务的元数据信息，对工程子文件的封装格式进行解封装，然后首尾相接，重新构造目标文件的元数据信息，并记录到拼接记录数据库中。如果目标文件是多个不同格式，即目标文件应用于多个系统，如播出系统、审片系统、媒资系统，根据不同系统要求，一次拼接成多个文件。拼接的速度主要受任务长度的的影响，也会受到工程子文件的文件格式和节目文件的文件格式的影响，同时由于是对视频图像一帧一帧的进行解码和封装，因此对服务器的硬件性能有很高的要求，以保证CPU和GPU性能满足要求。拼接过程是将各个工程子文件中的视频图像封装为最终的电视节目的过程，如果主任务的长度越长，就会消耗更多的CPU和GPU资源，系统在合成和拼接过程中，会自动选择最优的文件封装格式，其中avi和mxf这样的文件封装格式的解封装、封装方式最优，拼接执行时间为最佳，最快为文件拷贝的时间，从而保证以最少的系统开销，最快的合成、拼接，完成媒体文件的节目合成。如果待拼接的工程子文件和目标文件视音频编码格式相同，拼接只需要依次对工程子文件进行解封装。这里只解封装，不做视频和音频的编解码，合成阶段就需要按照最终格式进行编码；拆分阶段解决GOP和不可拆分问题，所以这里只需要文件拷贝和文件头尾元数据的生成即可。如果待拼接的工程子文件和目标文件视音频编码格式不同，拼接需要依次对工程子文件进行视音频编解码，将工程子文件转码成目标文件视音频编码格式，在转码过程中，同时对工程子文件进行封装，最终形成最终的节目文件。为了将合成效率达到最优，在工程子文件合成的过程中，系统会智能选择与目标格式相同的编解码格式或接近的编解码格式，以便使拼接过程中转码效率的达到最优。、如果目标格式为多种格式，即目标文件要求合成多个不同视音频编码格式或者不同码率的节目文件，以满足不同系统的应用的要求，系统会智能选择一种最优的编解码格式，等待所有的工程子文件全部合成之后压缩转码后封装为不同要求的节目文件，从而满足不同系统的需求。完成的步骤用于所述的拼接服务器将所有工程子文件拼接完成，形成多个节目文件，并将节目文件存入磁盘阵列，并将节目文件信息存入拼接完成数据库，完成节目文件制作，所述的服务单元根据需要将不同节目文件输出至播出系统、审片系统、媒资系统、等各个多媒体系统。至此，分布式合成节目合成完成，实现将标清制作网络系统、高清制作网络系统工程文件，合成为节目文件的所有过程，合成后的节目文件将通过网络推送到审片环节、播出环节以及多媒体播出等，完成节目播出。实施例三
本实施例是实施例二的改进，是实施例二中关于任务拆分步骤的细化，本实施例所述的任务拆分的步骤中所述的拆分方法是定长时间拆分、根据合成服务器数量拆分或智能拆分中的一种。智能拆分的实现方式智能分析引擎接收到非编提交的合成任务，且素材有效性检测通过之后，具备分布式合成条件的情况下，智能分析引擎就工程文件的结构特性进行智能分析，对非编编辑时，应用到的特技类型、音频、视频、字幕文件进行扫描归类，对其拆分复杂度进行评估，将复杂度相近的工程文件划分为一组，对划分为一组的工程文件部分进行再次拆分，判断是否满足最小拆分单位，如果未达到最小拆分单位，该组则不进行再次拆分，将该组生成一个子任务，并分配给合成服务器，如果拆分的子任务段，满足最小拆分单位，则对其进行拆分，根据最小拆分单位，将任务划分为不同的切片，然后对其进行分析，做动态调整，如果切片文件不在一个GOP组内，其对其进行智能调整，向前调整一个GOP组或向后调整各G0P，从而达到任务拆分的高可拆分和高可用性。不可拆分原则，切分片段必须在一个GOP组内，且必须有一个完整的GOP组；特技的入和出不拆分，必须在一个切片内。实施例四
本实施例是实施例二的改进，是实施例二关于合成步骤的细化。本实施例所述的合成的步骤中合成的过程包括以下子步骤
解码的子步骤用于所述的解码器对故事板上每一帧对应的各个轨道的视频、音频、字幕、特技进行解码；
叠加渲染的子步骤用于所述的叠加渲染装置按照故事板规定的叠加关系进行渲染得到最终的画面效果；
编码的子步骤用于所述的编码器对最终画面图像序列进行编码；
输出的子步骤所述的文件合成输出装置将编码完成后的图像序列按顺序进行封装，形成完整的工程子文件。实施例五
本实施例是实施例二的改进，是实施例二关于拼接的步骤的细化。本实施例所述的拼 接的步骤中的拼接过程包括以下子步骤
解封装的子步骤用于所述的解封装装置对所述的工程子文件进行解封装；
转码拼接的子步骤用于所述的转码拼接装置对各个工程子文件进行转码，实现各个工程子文件之间的拼接，形成完整、连续的节目；
封装的子步骤用于所述的封装装置将完整的节目进行文件封装，形成完整的节目文件。最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案(比如智能分析引擎的布置位置、各个装置的连接方式、步骤的前后顺序等)进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。
权利要求
1.一种适用于网络化智能化数字媒体的节目合成系统，包括通过网络相互连接的磁盘阵列、管理服务器、多个合成服务器、拼接服务器、数据库服务器，其特征在于，所述的磁盘列阵中设有故事板数据库、素材数据库、合成数据库、拼接记录数据库、拼接完成数据库；所述的管理服务器中设有智能分析引擎、服务单元、任务监控单元、文件管理单元，所述的智能分析引擎包含有任务类型分析装置、合成类型分析装置、任务拆分装置，故事板结构智能分析装置；所述的合成服务器中设有解码器、叠加渲染器、编码器、文件合成输出器；所述的拼接服务器中设有解封装装置、转码拼接装置、封装装置。
2.一种使用权利要求I所述系统的数字媒体的节目合成方法，其特征在于所述的方法的步骤如下 接收的步骤用于所述管理服务器接收带有故事板的工程文件信息，所述的工程文件信息主要由各个非线性编辑站点编辑的带有故事板结构的文件信息组成； 提取素材的步骤用于所述的文件管理单元根据工程文件在素材数据库中提取相应的素材信息； 有效性判断的步骤用于所述的智能分析引擎对提取的素材信息进行有效性判断，如果素材无效则结束合成任务，如果素材有效则进入下一步骤； 高标清判断的步骤用于所述的任务类型分析装置对工程文件的结构类型进行分析，划分出是标清任务，还是高清任务，如果是高清任务则以下步骤均以高清任务进行，如果是标清任务则以下步骤以标清任务进行； 合成类型分析的步骤用于所述的合成类型分析装置对工程文件的内容和长度进行分析，以确定拆分方式； 故事板结构分析的步骤；用于所述的故事板结构智能分析装置对故事板进行分析，以确定拆分工程文件的合理性； 任务拆分的步骤用于所述的任务拆分装置根据合成类型分析装置对工程文件长度以及工程文件结构进行的分析，确定拆分方法，并对工程文件进行拆分，并记录被拆分工程文件的元数据信息，入点、出点以及文件长度，并记录在拼接记录数据库； 分配合成任务的步骤用于所述的任务监控单元将拆分的工程文件根据各个所述合成服务器的当前工作情况分配给各个合成服务器，所述的服务单元根据拆分任务的需求在故事板数据库中提取相应的故事板信息，在素材数据库中提取相应的素材信息提供给相应的合成服务器； 合成的步骤用于所述的合成服务器对所述的素材根据故事板进行合成，合成完成后将合成的工程子文件存入磁盘阵列，并将合成的工程子文件信息存入合成数据库中； 合成完成的步骤用于所述的任务监控单元收到所有工程子文件已经全部合成完成的信息后，将所有工程子文件信息从合成数据库中取出，并通知任务监控单元，将相应的工程子文件的信息送至拼接服务器中； 拼接的步骤用于所述的拼接服务器收到所有工程子文件信息后，对各个工程子文件按照故事板进行拼接，待子任务全部合成完成之后，拼接服务器从拼接记录数据库中读取每个子任务的元数据信息，对工程子文件的封装格式进行解封装，然后首尾相接，重新构造目标文件的元数据信息，并记录到拼接记录数据库中； 完成的步骤用于所述的拼接服务器将所有工程子文件拼接完成，形成多个节目文件，并将节目文件存入磁盘阵列，并将节目文件信息存入拼接完成数据库，完成节目文件制作，所述的服务单元根据需要将不同节目文件输出至播出系统、审片系统、媒资系统。
3.根据权利要求2所述的方法，其特征在于，所述的任务拆分的步骤中所述的拆分方法是根据合成服务器数量拆分、定长时间拆分或智能拆分中的一种。
4.根据权利要求2所述的方法，其特征在于，所述的合成的步骤中合成的过程包括以下子步骤 解码的子步骤用于所述的解码器对故事板上每一帧对应的各个轨道的视频、音频进行解码； 叠加渲染的子步骤用于所述的叠加渲染装置按照故事板规定的叠加关系进行渲染得到最终的画面效果； 编码的子步骤用于所述的编码器对最终画面图像序列进行编码； 输出的子步骤所述的文件合成输出装置将编码完成后的图像序列按顺序进行封装，形成完整的工程子文件。
5.根据权利要求2所述的方法，其特征在于，所述的拼接的步骤中的拼接过程包括以下子步骤 解封装的子步骤用于所述的解封装装置对所述的工程子文件进行解封装； 转码拼接的子步骤用于所述的转码拼接装置对各个工程子文件进行转码，实现各个工程子文件之间的拼接，形成完整、连续的节目； 封装的子步骤用于所述的封装装置将完整的节目进行文件封装，形成完整的节目文件。
全文摘要
本发明涉及一种适用于网络化智能化数字媒体的节目合成系统及方法，包括通过网络相互连接的磁盘阵列、管理服务器、多个合成服务器、拼接服务器，所述的磁盘阵列中设有故事板数据库、素材数据库、合成数据库、拼接记录数据库、拼接完成数据库；管理服务器中设有智能分析引擎、服务单元、任务监控单元、文件管理单元。本发明所述系统的智能分析引擎还可以根据故事板的复杂度，按照一定的故事板长度和配置的服务器数量，进行拆分。由于设置了任务类型分析装置，对任务进行高标清的辨别，并支持高标清智能切换，根据合成目标对各个服务器的工作制式进行自动切换，保证合成的质量。由于有多个合成服务器，实现了设备冗余，提高了系统安全性能。
文档编号H04N21/85GK102984465SQ20121055634
公开日2013年3月20日 申请日期2012年12月20日 优先权日2012年12月20日
发明者付海昆, 马成龙, 李友, 李明, 温雷霆 申请人:北京中科大洋科技发展股份有限公司