一种基于全链路IP化超高清制播系统的辅助信息叠加方法与流程

本发明涉及音视频处理相关技术领域，尤其是指一种基于全链路ip化超高清制播系统的辅助信息叠加方法。

背景技术：

随着超高清4k技术不断完善，全球都把超高清4k发展纳入发展规划，并制定了发展时间表、路线图。我国也在积极推动4k技术在广电领域的实际应用，部分有条件的广电和新媒体已在不同领域应用和规划搭建超高清4k视频系统。

基于超高清4k视频系统集成目前还无法完全互联互通，不过在4k视频采集端的摄像机已经相对成熟。并且显示终端方面，随着视频技术应用的快速发展，相关产业的升级换代，不少电视机厂家，都在积极推动超高清终端进入家庭，拉动消费升级，这些都对4k推广具有积极影响，同时，高清素材和影视剧的不断增多，也必将推动4k产业全面发展。

在今后4k转播车视频集成中，如还采用传统基带级联，3g四线级联将产生大量耗材，增加系统集成复杂程度，同样，矩阵系统也将变得巨大，线路繁杂。而4k视音频采用ip级联方式，与以往基带级联最大不同是，将众多连线用矩阵分配方式交由ip交换机来完成，网线、光纤解决问题更加简便，减少线材使用量，支持统一调控,系统集成度高。

另一个方面，原有的st2022协议对4k编码没有明确定义，在smpte支持者内对4k编解码方案有不同选择，各厂商解决方案并不相同，不同技术方案设备在ip域无法实现互通互联。而在st2022之后推出的st2110是目前4k编码方案基本上是大家普遍认可的编码标准。这一标准具有大宽带、无阻碍、无压缩和单独路由的特点，获得大多数厂商支持。

基础的硬件设备已经趋向成熟，基于st2110通用的4k超高清协议也已经被大多数厂商支持，搭建支持4k超高清视频制作系统，从硬件和技术层面已经不再困难，但是如何把全链路生产制作到终端播放的整个生态系统搭建完善，并形成统一的行业规范是我们如今研究的重点。

技术实现要素：

本发明是为了克服现有技术中存在上述的不足，提供了一种实现全链路媒体素材互联互通的基于全链路ip化超高清制播系统的辅助信息叠加方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于全链路ip化超高清制播系统的辅助信息叠加方法，根据制作播出的不同分为2个阶段，一个是媒体素材制作成节目的阶段称之为制作域，另一个是将制作完成的节目分发到用户终端的阶段称之为播出域，具体包括如下步骤：

(1)在制作域中采集阶段，使用符合st2110协议超高清采集软硬件设备从采集阶段实现超高清素材ip化后，基于st2110协议支持视频，音频，辅助信息的分流采集、编辑和推送，实现了不同种类素材进行针对性业务处理的机制，也解决了经过不同处理后ip化的素材在最终所有媒体素材整合的内容同步问题；

(2)在制作域的媒体封装转码阶段，基于st2110协议通过不同途径处理的媒体素材中携带对应各自媒体素材相关的辅助信息，基于这些辅助信息在媒体素材自身的制作环节外，通过媒体封装编码操作将辅助信息提取后，重新基于h.26x中sei的描述，再次叠加到输出的视频文件或者视频流中；

(3)在播出域的视频流分发阶段，携带有辅助信息的媒体视频流根据不同业务场景和终端设备，将媒体视频流转码成不同码率、不同分辨率、不同视频格式的多种格式视频流，并推送到分发服务器中；

(4)在播出域的终端播放阶段，不同的终端设备获取到视频流分发阶段中推送对应当前终端设备的视频流，通过视频流中携带的辅助信息并结合当前终端设备的用户行为标记，调用大数据服务器进行二次请求，并在终端设备播放视频流的同时，将符合当前用户的相关信息精准的推送到当前终端。

本方法就是运用基于st2110协议的基础硬件设备，实现从采集到制作播出全链路ip化的制播方法，并在此基础上，从采集到制作播出全链路中，基于叠加辅助信息的方式，实现了全链路的媒体素材的互联互通。

作为优选，在步骤(1)中，基于st2110协议对辅助信息使用符合st291-1ancillarydata定义的数据结构，并根据实际应用的需要制定使用规范对素材标识内容信息，支持多语种音频、动态广告、新闻通稿的素材整合，在原有直播流信号的基础上，叠加辅助信息标识不同类型的媒体素材。

作为优选，在步骤(3)中，在播出域的视频流分发阶段，在解析辅助信息的同时，会依据辅助信息相关信息对准备转码分发的视频文件或者视频流进行对应的处理，并更新对应的辅助信息到分发的视频流中。

作为优选，在步骤(4)中，在播出域的终端播放阶段中，通过辅助信息中的节目关联信息呈现节目相关的信息在播放终端。

作为优选，在步骤(1)中，针对在多视角直播的制作域采集阶段，多视角采集的视频素材中通过辅助信息的方式，除了基本的媒体信息以外，针对当前节目的内容、机位角度相关信息叠加到辅助信息中，基于辅助信息的标识，对同源的这一组视频素材根据节目内容进行关联。

作为优选，在步骤(2)中，针对在多视角直播的制作域媒体封装转码阶段，基于辅助信息中的同源素材，在每一路输出的辅助信息中叠加同源的其他视角节目的相关信息，将所有不同视角的直播流进行关联。

作为优选，在步骤(4)中，针对在多视角直播的播出域终端播放阶段，当用户对其他视角中的画面感兴趣，通过选择其他视角画面无缝切换到对应的视角继续以新选择的视角观看节目，具体为：在用户选择新视角的播放时，播放终端根据节目关联信息的内容获取对应视角的相关请求链接信息，并对分发服务器发送请求，从分发服务获取对应视角的节目视频流，通过关联内容中标识的时序，无缝的将当前节目画面切换到新选择的视角的画面。

本发明的有益效果是：运用基于st2110协议的基础硬件设备，实现从采集到制作播出全链路ip化的制播方法，并在此基础上，从采集到制作播出全链路中，基于叠加辅助信息的方式，实现了全链路的媒体素材的互联互通。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所述的实施例中，一种基于全链路ip化超高清制播系统的辅助信息叠加方法，根据制作播出的不同分为2个阶段，一个是媒体素材制作成节目的阶段称之为制作域，另一个是将制作完成的节目分发到用户终端的阶段称之为播出域，具体包括如下步骤：

(1)在制作域中采集阶段，使用符合st2110协议超高清采集软硬件设备从采集阶段实现超高清素材ip化后，基于st2110协议支持视频，音频，辅助信息的分流采集、编辑和推送，实现了不同种类素材进行针对性业务处理的机制，也解决了经过不同处理后ip化的素材在最终所有媒体素材整合的内容同步问题；基于st2110协议对辅助信息使用符合st291-1ancillarydata定义的数据结构，并根据实际应用的需要制定使用规范对素材标识内容信息，支持多语种音频、动态广告、新闻通稿的素材整合，在原有直播流信号的基础上，叠加辅助信息标识不同类型的媒体素材。

arcvideoancillarydata定义

在st2110协议推出之前，sdi本身就已经基于业务的需求，在sdi信号里面可以叠加vanc和hanc数据，这些anc的数据，支持自定义的一些数据结构，便于sdi中携带需要的辅助信息，在此基础之上，st2110-40针对辅助信息做了兼容的支持，也就是说，在原有sdi中添加辅助信息的方式，在现有基于st2110的ip化链路中，原生得到了支持，在使用st2110相关软硬件替换原有sdi3g级联方式的架构，对于辅助信息的添加，不会造成任何影响。基于前端采集设备对4k超高清的支持，已经st2110协议中对4k超高清的支持，使制作域中，通过辅助信息方式，不存在任何的技术难度，非常利于本系统的进一步推广普及。

(2)在制作域的媒体封装转码阶段，基于st2110协议通过不同途径处理的媒体素材中携带对应各自媒体素材相关的辅助信息，基于这些辅助信息在媒体素材自身的制作环节外，通过媒体封装编码操作将辅助信息提取后，重新基于h.26x中sei的描述，再次叠加到输出的视频文件或者视频流中；sei附加增强信息(supplementalenhancementinformation)包含了视频画面定时等信息，它的数据结构定义如下：

(3)在播出域的视频流分发阶段，携带有辅助信息的媒体视频流根据不同业务场景和终端设备，将媒体视频流转码成不同码率、不同分辨率、不同视频格式的多种格式视频流，并推送到分发服务器中；在播出域的视频流分发阶段，在解析辅助信息的同时，会依据辅助信息相关信息对准备转码分发的视频文件或者视频流进行对应的处理，并更新对应的辅助信息到分发的视频流中。

(4)在播出域的终端播放阶段，不同的终端设备获取到视频流分发阶段中推送对应当前终端设备的视频流，通过视频流中携带的辅助信息并结合当前终端设备的用户行为标记，调用大数据服务器进行二次请求，并在终端设备播放视频流的同时，将符合当前用户的相关信息精准的推送到当前终端；在播出域的终端播放阶段中，通过辅助信息中的节目关联信息呈现节目相关的信息在播放终端。

辅助信息叠加系统在多视角直播场景的应用如下：

在多视角直播的制作域采集阶段，多视角采集的视频素材中通过辅助信息的方式，除了基本的媒体信息以外，针对当前节目的内容、机位角度相关信息叠加到辅助信息中，基于辅助信息的标识，对同源的这一组视频素材根据节目内容进行关联。

在多视角直播的制作域媒体封装转码阶段，基于辅助信息中的同源素材，在每一路输出的辅助信息中叠加同源的其他视角节目的相关信息，将所有不同视角的直播流进行关联。

在多视角直播的播出域终端播放阶段，当用户对其他视角中的画面感兴趣，通过选择其他视角画面无缝切换到对应的视角继续以新选择的视角观看节目，具体为：在用户选择新视角的播放时，播放终端根据节目关联信息的内容获取对应视角的相关请求链接信息，并对分发服务器发送请求，从分发服务获取对应视角的节目视频流，通过关联内容中标识的时序，无缝的将当前节目画面切换到新选择的视角的画面。

本方法就是运用基于st2110协议的基础硬件设备，实现从采集到制作播出全链路ip化的制播方法，并在此基础上，从采集到制作播出全链路中，基于叠加辅助信息的方式，实现了全链路的媒体素材的互联互通。