基于元数据控制的互动电视收看效果增强系统的实现方法

基于元数据控制的互动电视收看效果增强系统的实现方法
【专利摘要】本发明涉及一种基于元数据控制的互动电视收看效果增强系统的实现方法，构建了可扩展的元数据动态驱动模型，对效果增强的时间位置、支持设备类型、动作响应方式、数据提供者这些关键信息定义为规范化的元数据，并允许对这些元数据在运营过程中进行动态扩展，通过观看者所使用的播放设备向效果增强设备传递这些参数，来动态控制效果增强设备的工作状态，除了提供基于影视内容场景所关联的灯光、音效、内嵌广告、物品介绍之外，还允许对用户在观看过程中实时输入的评论、剧情分支控制等关联信息进行动态发布，实现同一个影视内容在不同环境下可普遍适用的效果增强，构建具备规范性、互联互通性、可扩展性的互动电视收看效果增强系统。
【专利说明】
基于元数据控制的互动电视收看效果増强系统的实现方法
技术领域
[0001]本发明涉及一种智能电视技术，特别涉及一种基于元数据控制的互动电视收看效果增强系统的实现方法。
【背景技术】
[0002]互动电视业务需要通过用户端的数字电视机顶盒来实现，包括用户收看直播节目、使用点播业务、浏览各类互动应用等功能，提供的是常规的看视频、听伴音的业务。随着信息技术的发展，开始出现了效果增强类的设备，比如环境光、环幕背景墙、全景环绕音响、运动位移、气象模拟等，相关设备已经广泛运用在4D影院、IMAX影院等高质量的影视播放环境中。
[0003]随着智能电视操作系统概念的提出，新一代的智能电视操作系统机顶盒终端也随之出现，由于使用了高性能的处理器，其除了支持传统的视频节目的收看之外，对互动电视应用有更好的支持，同时也额外增加了 IP、WiF1、蓝牙、ZigBee等多种互联手段，由此具备了与效果增强设备进行互联，在家庭、企事业、公共场所构建小型效果增强系统的可能性。
[0004]随着物联网的发展，开始出现了效果增强类的设备，比如环境光、背景墙、全景环绕音响等，但受限于内容节目源较少，无法在收看普通的影视节目时发挥作用。由于这些设备所采用的标准不统一，工作机制、处理协议、适用场景也不尽相同，而且现有的互动电视节目也没有进行适配方式的规范化，因此导致此类设备的导致设备互通性较差，使得系统构建成本较高，进一步限制了大规模推广，无法在用户收视环境中实现影院级的效果增强。导致实际搭建影院级的效果增强环境时存在很多难题。

【发明内容】

[0005]本发明是针对的现在互动电视收看效果增强存在问题，提出了一种基于元数据控制的互动电视收看效果增强系统的实现方法，构建了可扩展的元数据动态驱动模型，对效果增强的时间位置、支持设备类型、动作响应方式、数据提供者这些关键信息定义为规范化的元数据，并允许对这些元数据在运营过程中进行动态扩展，通过观看者所使用的播放设备向效果增强设备传递这些参数，来动态控制效果增强设备的工作状态，除了提供基于影视内容场景所关联的灯光、音效、内嵌广告、物品介绍之外，还允许对用户在观看过程中实时输入的评论、剧情分支控制等关联信息进行动态发布，实现同一个影视内容在不同环境下可普遍适用的效果增强，构建具备规范性、互联互通性、可扩展性的互动电视收看效果增强系统。
[0006]本发明的技术方案为:一种基于元数据控制的互动电视收看效果增强系统的实现方法，具体包括如下步骤:
I)在影视节目中增加用于控制效果增强类设备的元数据信息，包括效果增强动作在影片中的时间位置、响应该效果的设备类型信息、增强效果响应动作的方式信息、增强效果响应动作的幅度控制信息； 2)播放设备根据使用者选择的节目，主动获得该影视节目用于控制效果增强类设备的元数据信息；
3)播放设备每次开机时必须主动查找同一个网络下的效果增强类设备，播放设备作为执行效果增强动作的控制中心，上接有带有控制效果增强类设备元数据信息的影视节目的服务器，下接效果增强类设备，形成服务器-客户端的主-从互联设备结构;而效果增强类设备每次开机也必须主动查找播放设备并进行网络连接，加入到主-从互联的设备管理结构中，实现播放设备与效果增强类设备之间的自动注册和适配，播放设备根据当前所连接的效果增强类设备的类型和能力，自动将效果增强元数据按其在播放影视节目中出现的先后顺序转发给效果增强类设备；
4)效果增强类设备侦听由播放设备转发的元数据内容，当效果增强类设备收到播放设备元数据时，效果增强类设备根据播放设备控制指令进行相应的响应。
[0007]所述播放设备随时向维护效果增强元数据的服务器提交增加效果增强元数据的申请，服务器审核后，在影视节目中增加新的增强效果。
[0008]所述与播放设备连接的效果增强类设备，按照元数据标准执行效果增强动作:具体执行时，由效果增强类设备对接收到的效果增强控制元数据mdata_list数据节点进行解析，判断是否属于该设备所应该执行的动作;如果是则按照该节点的数据进行执行，即在该事件指定的时间参数time_stamp上，由该效果增强设备relate_device参数进行响应，其执行的动作为relate_act1n参数所规定的方式，所执行的效果量根据relate_data参数决定，由此通过统一的元数据定义，实现效果增强数据的规范性。
[0009]所述效果增强控制元数据mdata_liSt数据节点，针对同一个影视节目，在其元数据中有多个此类数据节点重复出现，用来描述不同的信息，
其中mdata_id参数表示效果增强元数据的编号，每条动作分配一个元数据编号，即使定义成同时开始执行的2个效果动作，在元数据中也被定义成2个元数据编号进行管理的。
[0010]本发明的有益效果在于:本发明基于元数据控制的互动电视收看效果增强系统的实现方法，构建具备规划化、互联互通性、可扩展性的互动电视收看效果增强系统，使得用户在收看具备效果增强的影视节目时，可以与效果增强类设备进行无缝连接，获得影院级的收视体验；同时允许实现用户间的社交互动，更好的挖掘影视节目的内容价值，促进优秀影视节目的传播。
【附图说明】
[0011]图1为本发明实现的基于元数据控制的互动电视收看效果增强系统的原理图。
【具体实施方式】
[0012]本发明提出了采用元数据动态驱动的方式，通过影视节目效果增强参数传递、控制效果增强设备的方法，实现收视效果增强系统的规范性、互联互通性、可扩展性。
[0013]在整个系统中，定义一套描述效果增强控制参数的元数据规范，除了描述影视内容相关信息外，还控制效果增强类设备的运行。元数据的制作和维护可以分开由不同的机构进行，在影视内容制作过程中，可以生成内容场景所关联的灯光、音效、内嵌广告、物品介绍等各类元数据;而在影视节目的网络传播过程中，广大观众也可以提交各自的评论信息、剧情分支控制信息等。在用户收视环境中，各类播放设备(如智能电视操作系统机顶盒终端)在收看这个影视节目时，也会根据这些元数据中提供的设备信息，搜索当前可用的效果增强设备，并且根据设备类型向其传送指定的元数据内容。而对于效果增强类设备，在其打开电源时，会自动在播放设备上进行设备注册，并侦听由播放设备转发的元数据内容；当收到元数据时，该设备根据控制指令进行相应的响应。这样就完成了一个影视节目在收看时的效果增强功能。
[0014]在本发明中，收看效果增强有如下种类定义:
1)环境光效果，指观看场地内的环境灯光随影视节目的剧情变化而进行亮度、色度变化的效果，也包括通过多个发光器件的明、暗变化效果；
2)环绕声效果，指观看场地内的多个立体声音箱根据影视节目内容提供环绕立体声的覆盖效果，包括常见的5.1声道环绕立体声、7.1声道环绕立体声、ATOMS全景声；
3)环幕背景墙，指在观看场地内的屏幕被布置在以场地中心为圆点的一个圆形弧线上，所有屏幕拼接后形成180度半圆或直至360度完整圆形，在四周环绕的屏幕上播放，使观看者被360度的视频画面和多路立体声所包围，从而产生一种不寻常的现场感受；
4)运动位移效果，指观看场地内的座位具有运动功能，可随影视节目的剧情变化进行上下、左右、BU后移动；
5)现场气象模拟效果，指观看场地内布设了喷水、喷雾、吹风、气味装置，可随影视节目的剧情变化，模拟自然环境中的风、雨、雾、味等效果；
6)影视内容链接效果，指在观看过程中，针对影视节目中出现的各类人物、物品、场景、内嵌广告等，都可以通过技术手段附加额外的描述链接，以便按照观看者要求，在指定的屏幕上调出相应的信息介绍网页，为观看者提供辅助指导;对于此类型效果，一般采用主屏幕或者手机、平板电脑作为显示终端；
7)弹幕效果，指在观看影视节目过程中，在屏幕上将其他观看者提供的评论信息在屏幕上进行短暂显示，类似烟花燃放时天空中出现的五颜六色的光芒；
在本发明中，所采用的元数据(Metadata)是信息系统的常用术语，是指关于信息资源或数据的一种结构化的数据，是对信息资源的结构化的描述，其作用是描述信息资源或数据本身的特征和属性，规定数字化信息的组织，以识别资源、评价资源、追踪资源在使用过程中的变化，其具有定位、发现、证明、评估、选择等功能。因此常规上将元数据视作为关于数据的数据，或用于描述数据本身的结构化数据。
[0015]通常元数据由多层次的结构组成，主要包括:
(1)内容结构(ContentStructure)，对该元数据的构成元素及其定义标准进行描述，包括描述性元素、技术性元素、管理性元素、结构性元素，如编码语言等参数；
(2)句法结构(SyntaxStructure),定义元数据结构以及如何描述这种结构，例如元素的分区分段组织、元素选取使用规则、元素描述方法、元素结构描述方法、结构语句描述语曰寺；
(3)语义结构(SemanticStructure)，定义元数据元素的具体描述方法，例如描述元素时所采用的标准、数据格式等；
元数据标准(Metadata Standards)就是将描述某类资源的具体对象时所有规则的集入口 ο
[0016]本发明的关键之处在于，针对基于元数据控制的互动电视收看效果增强系统，通过使用业界通行的XML语言(extensible Markup Language，可扩展标记语言)，定义了一套包括描述效果增强控制参数的元数据标准，详细列举该影视节目的生产来源、剧情介绍、男女演员、导演、片长、海报、分级、票房业绩、获奖历史、花絮介绍、幕后故事、剧照、影评等常规影视节目信息外，还增加了用于控制效果增强设备的数据信息，包括效果增强动作在影片中的时间位置(就是节目播放到多长时间出现这个效果)、可以响应该效果的设备类型信息、增强效果响应动作的方式信息、增强效果响应动作的幅度控制信息。
[0017]由此，在使用者观看这类影视节目时，播放设备(如智能电视操作系统机顶盒终端)会根据使用者选择的节目，主动获得该影视节目的效果增强元数据，并根据当前所连接的效果增强设备的类型和能力，自动将这些效果增强元数据按其在影视节目中出现的先后顺序转发给效果增强设备。当效果增强设备接收到这些效果增强元数据后，即根据元数据中所包含的规则，进行灯光、伴音、运动位移、气象模拟、弹幕等动作，完成影视节目的收看效果增强。
[0018]基于XML语言的灵活扩展能力，本发明允许对该效果增强元数据进行动态扩充，从时间上包括在生产制作、内容分发、节目播放的过程中和过程后，从参与者角度上包括了内容拍摄者、内容制作者、内容销售者、网络运营机构、最终观众，可以针对不同的用户类型和使用场景，随时向维护此元数据的服务器提交增加效果增强元数据的申请，服务器通过自动或人工审核后，可以被立刻投入使用，达到随时在影视节目中增加新的增强效果的目的。
[0019]为配合效果增强设备能随时响应影视节目播放过程中的这些元数据，本发明规定每次播放设备(如智能电视操作系统机顶盒终端)开机时必须主动查找同一个网络下的效果增强设备，播放设备作为执行效果增强动作的控制中心，上接有影视节目的服务器，下接效果增强类设备，以形成服务器-客户端的主-从互联设备结构;而效果增强设备每次开机也必须主动查找播放设备并进行网络连接，加入到主-从互联的设备管理结构中，实现设备间的自动注册和适配；由此使用者不需要对效果增强设备进行手动配置，达到这类设备即插即用、按需使用的可管理目的。
[0020]根据前述文字，在本发明中，针对节目播放、效果增强控制、设备识别等多个过程，为影视节目建立了描述影视内容信息的元数据标准，其中涉及到效果增强相关部分，具体包括如下内容:
{
video_name,//影视节目名称
video_id,//影视节目编号
video_length,//影视节目时长
{
mdata_list()， //影视节目效果增强元数据
}
}
其中mdata_list()数据节点即为本发明所定义的效果增强控制元数据，针对同一个影视节目，在其元数据中可以有多个此类数据节点重复出现，以描述不同的信息，其数据结构如下: {
mdata—id， time_stamp， relate_device， relate—act1n， relate_data， mdata—contributor， mdata—mtime
}
其中mdata_id参数表示效果增强元数据的编号。在一个影视节目中，会有成千上万条效果增强的动作，这样每条动作都需要分配一个元数据编号。在本元数据标准中，即使2个效果动作是定义成同时开始执行的，在元数据中也是被定义成2个元数据编号进行管理的。这样一方面能把不同展现效果的数据进行有效区分，另外也便于对这些数据的检索和处理；
time_Stamp参数表示某个效果增强动作在节目中出现的时间位置，也就是控制节目播放到某个时刻就会出现某种预期的效果增强动作。根据影视节目每秒钟24帧到120帧画面的情况，要求此参数精确到毫秒；
relattdevice参数表示执行效果增强的设备类型(或子类型)，也就是表示该条效果增强数据所能运行的设备类型，用来指明是在灯光装置上、环绕音箱上、运动位移设备还是气象模拟设备上执行此指令；
relate_act1n参数表示效果增强的动作执行方式，需要与relate_device参数进行联动，用于具体规定此条增强效果的执行方法；目前效果增强动作包括了灯光、伴音、运动位移、气象模拟、弹幕等动作，未来可随着新的效果增强设备和方法的出现而不断扩充；
relate_data参数表示效果增强的动作执行数据，需要与relate_device参数、relate_act1n参数联动，其具体规定了执行此条效果增强元数据的程度。比如对于运动位移效果，此数据可用于表示座位在水平、垂直方向上运行的角度(将每个平面定义成360度，则方向信息也在角度参数传递过程中一起体现了)；对于气象模拟效果中的模拟喷雾效果，此参数可用于表示喷雾器距离观众之间距离的长/宽/高数据、喷雾口相对观众在水平和垂直方向上的角度、喷雾效果的水量大小(也就是模拟一般的雾/小雨/大雨不同厂家)、喷雾效果的持续时间。这样此元数据标准在具体应用时，通过此参数实现对效果增强动作的精确控制；mdata_contributor参数表示效果增强元数据的创建者，用于及时联系该创建者进行数据维护。比如该条元数据可以支持新的效果增强设备，则可以快速找到创建者，以便进行数据更新工作；
mdata_mtime参数表示效果增强元数据的维护时间，用于进行系统自动化更新和控制之用。比如对某条效果增强元数据修改其表现效果后，系统可以通知保存该元数据的所有服务器、终端设备进行更新，确保使用者观看到的是最新的增强效果。
[0021 ]在本发明中，针对同一种类的收看效果增强，还支持进一步细分为子类型，以便可以针对不同能力的效果增强设备进行精细控制。比如针对环境光效果，可以再分为RGB三基色色带、发光二极管阵列、天花板投射灯阵列等，这样可以针对不同的场地和效果增强设备的能力进行自动适配，提供从基本到高级的不同展示效果。
[0022]这样用户在收看该影视内容时，只要在收看环境中有相应的效果增强设备，就可以根据最近更新的元数据内容，来展示各类收视增强效果。同时在用户侧的播放设备中，针对接收到的效果增强元数据进行类型识别，当发现没有该类型的效果增强设备时，就自动过滤该类型的元数据内容。
[0023]在本发明中，要求观看者使用的播放设备，必须具备双向网络通道，以便访问影视节目发布服务器、影视节目元数据服务器，如果是采用点播方式，还需要实时访问流媒体服务器;该播放设备必须支持本发明中定义的效果增强元数据标准，每隔一秒钟访问一次影视节目元数据服务器，以便在播放影视节目过程中，随时接收和解析与该节目相关的效果增强元数据内容，并根据要求转发到效果增强设备上;该播放设备必须支持与效果增强设备的互联，所采用的网络连接方式可以是WiF1、Zigbee、蓝牙中的任何一种，但所传输的数据必须是本发明所定义的效果增强元数据;该播放设备必须支持与效果增强设备之间的连接保持功能，可以采用定期心跳检测方式，或者使用TCP长连接方式，以使播放设备及时获得效果增强设备的工作状态，以确认是否能成功转发相应的效果增强数据;要求单台播放设备必须支持与多个效果增强设备进行互联。
[0024]在本发明中，要求与播放设备连接的效果增强设备能支持此元数据标准，即效果增强设备自行标记其所属类型、支持的效果增强展现能力，并且在开机后，自动查找同一个网络环境下的播放设备后进行连接，建立以播放设备为服务器端、效果增强设备为客户端的主-从互联的设备管理结构，即完成效果增强设备的自动注册动作;要求效果增强设备必须支持与播放设备之间的连接保持功能，以便及时获得与该效果增强设备匹配的效果增强元数据内容。
[0025]在本发明中，要求与播放设备连接的效果增强设备，按照此元数据标准执行效果增强动作。具体执行时，由效果增强设备对接收到的mdata_list数据节点进行解析，判断是否属于该设备所应该执行的动作。如果是则按照该节点的数据进行执行，即在该事件指定的时间参数time_Stamp上(就是影视节目播放到了该事件的时候，针对某个效果增强时间，这个时间参数固定不变)，由该效果增强设备relate_deViCe参数进行响应，其执行的动作为relate_act1n参数所规定的方式(如运动位移、座位摇晃、灯光变化、气象模拟等)，所执行的效果量根据relate_data参数决定(如座位移动距离、摇晃的方向/角度、模拟喷雾的高度/角度/时长/水量等)，由此通过统一的元数据定义，实现效果增强数据的规范性。
[0026]因此基于该方法，具体运行流程如图1所示基于元数据控制的互动电视收看效果增强系统的原理图，其主要的工作流程如下:
1、影视节目制作时，由内容制作者、内容分发者制作的影视节目效果元数据也同步完成制作。同时在影视节目发布服务器上也更新此节目的状态，标识此节目有影视节目效果增强元数据。
[0027]2、观看者在准备观看这个影视节目时，首先需要打开播放设备(如智能电视操作系统机顶盒终端等)，此时播放设备会主动轮询同一个网络内是否有效果增强设备，并与其实现服务器-客户端方式的互联。当有新的效果增强设备开启后，也需要轮询这个网络内是否有播放设备作为设备管理结构的服务器，如果有则在播放设备上自动进行该效果增强设备的注册。
[0028]3、观看者在播放设备上接收这个影视节目，可以由电视台通过传统的广播方式播出，也可以由观看者(例如附图1中的观看者甲)主动发起点播。
[0029]4、观看者开始播放此节目时，播放设备自动连接影视节目发布服务器，查询该节目是否有效果增强元数据，如果有则得到具体的效果增强元数据的链接访问方式。
[0030]5、观看者所使用的播放设备按照每秒更新一次的方式，从影视节目元数据服务器定期接收此节目的效果增强元数据。
[0031]6、观看者所用的播放设备，接收、解析此效果增强元数据的内容，并自动查询当前所连接的各类效果增强设备的类型(如灯光、声效、座位移动等)，向这些效果增强设备转发相应的效果增强元数据，由效果增强设备根据元数据标准规定的方法进行展示。
[0032]7、所有观看者可以在收看过程中，提交自定义的效果增强元数据。如附图1中所示的观看者1、观看者2、观看者3，都可以提交自己感兴趣的自定义效果增强元数据。当通过审核后，就自动加入到影视节目效果增强元数据中。由于观看者所用的播放设备每秒钟至少与影视节目元数据服务器同步一次，因此当其他观看者成功提交了自定义的效果增强元数据后，在观看者甲的播放设备上，就能自动获取到这些新的元数据内容，并用来控制各类效果增强设备的展示效果。
【主权项】
1.一种基于元数据控制的互动电视收看效果增强系统的实现方法，其特征在于，具体包括如下步骤: 1)在影视节目中增加用于控制效果增强类设备的元数据信息，包括效果增强动作在影片中的时间位置、响应该效果的设备类型信息、增强效果响应动作的方式信息、增强效果响应动作的幅度控制信息； 2)播放设备根据使用者选择的节目，主动获得该影视节目用于控制效果增强类设备的元数据信息； 3)播放设备每次开机时必须主动查找同一个网络下的效果增强类设备，播放设备作为执行效果增强动作的控制中心，上接有带有控制效果增强类设备元数据信息的影视节目的服务器，下接效果增强类设备，形成服务器-客户端的主-从互联设备结构;而效果增强类设备每次开机也必须主动查找播放设备并进行网络连接，加入到主-从互联的设备管理结构中，实现播放设备与效果增强类设备之间的自动注册和适配，播放设备根据当前所连接的效果增强类设备的类型和能力，自动将效果增强元数据按其在播放影视节目中出现的先后顺序转发给效果增强类设备； 4)效果增强类设备侦听由播放设备转发的元数据内容，当效果增强类设备收到播放设备元数据时，效果增强类设备根据播放设备控制指令进行相应的响应。2.根据权利要求1所述基于元数据控制的互动电视收看效果增强系统的实现方法，其特征在于，所述播放设备随时向维护效果增强元数据的服务器提交增加效果增强元数据的申请，服务器审核后，在影视节目中增加新的增强效果。3.根据权利要求1所述基于元数据控制的互动电视收看效果增强系统的实现方法，其特征在于，所述与播放设备连接的效果增强类设备，按照元数据标准执行效果增强动作:具体执行时，由效果增强类设备对接收到的效果增强控制元数据mdata_list数据节点进行解析，判断是否属于该设备所应该执行的动作;如果是则按照该节点的数据进行执行，即在该事件指定的时间参数time_stamp上，由该效果增强设备relate_device参数进行响应，其执行的动作为relate_act1n参数所规定的方式，所执行的效果量根据relate_data参数决定，由此通过统一的元数据定义，实现效果增强数据的规范性。4.根据权利要求3所述基于元数据控制的互动电视收看效果增强系统的实现方法，其特征在于，所述效果增强控制元数据mdata_list数据节点，针对同一个影视节目，在其元数据中有多个此类数据节点重复出现，用来描述不同的信息， 其中mdata_id参数表示效果增强元数据的编号，每条动作分配一个元数据编号，即使定义成同时开始执行的2个效果动作，在元数据中也被定义成2个元数据编号进行管理的。
【文档编号】H04N21/443GK106028065SQ201610454658
【公开日】2016年10月12日
【申请日】2016年6月22日
【发明人】万乾荣, 王明敏, 宋旭翃, 吴坚, 邓勇, 杨启程, 朱允斌, 陈宝霞, 冯浩桪, 杨广辉, 周美英, 项芳, 李卫强
【申请人】东方有线网络有限公司, 上海下代广播电视网应用实验室有限公司, 上海下一代广播电视网应用实验室有限公司