一种基于IPTV业务的VR全景视频播放方法和系统与流程

本发明涉及iptv，特别是涉及一种基于iptv业务的vr全景视频播放方法和系统。

背景技术：

1、iptv(交互式网络电视)全景多媒体业务是指通过使用全景播放技术及iptv终端，为用户提供360度的全景视频、图片、音频、文字等多媒体内容服务。用户通过人机交互，可在虚拟环境中获得视觉感知、听觉感知与身临其境的体验。

2、随着iptv业务智能化技术发展及视频多样化发展，将vr全景视频融入iptv业务系统已成为必然趋势。目前iptv业务平台已部署包括iptv业务导航、iptv媒体交付和iptv内容运营三个部分。iptv业务导航为iptv终端提供epg(electronic program guide，电子节目指南)页面，部分提供播控ui和统一的按键处理功能。但所提供的epg页面为2d页面，非360度全景页面。iptv媒体交付提供流媒体视频内容，但目前全景视频的内容提供也是基于现有iptv媒体交付。iptv媒体交付在提供视频内容时，无法区分视频内容是全景视频还是非全景视频。

3、如何基于现有iptv系统结合iptv终端能力来实现基于iptv业务的vr全景多媒体业务服务能力，是本领域要解决的重要核心问题。这些问题包括：第一，iptv业务导航需要能实现用户对iptv终端显示的全景视频内容可进行上、下、左、右360度角度切换统一控制，可进行快进快退暂停播放状态统一控制，放大缩小观看的统一控制，是本领域要求解决的核心问题。第二，需要实现iptv业务导航中2d页面包括epg和播控ui能正常平面显示、iptv媒体交付获取的全景视频内容能建模渲染成3d球体且与iptv业务导航2d平面显示不冲突的功能。第三，由于iptv全景视频当前处于发展初期，iptv业务导航不具备统一控制能力，所以还需要实现兼容iptv全景视频发展过程中，iptv业务导航不具备统一控制时期，可通过iptv终端本地的全景播放应用从iptv媒体交付获取视频，由本地的全景播放应用实现对视频渲染、播控及ui显示；也可以兼容后期iptv业务导航发展成熟后，支持iptv全景视频统一控制能力。

4、现有技术：现有iptv业务导航有epg、播控ui、页面上具备部分遥控操作逻辑，可以建立普通平面播放器并对其进行操控。但平面播放器不具备360度视角切换、视角缩放功能，iptv业务导航也不具备操作vr全景播放器能力。iptv媒体交付具备传输视频内容数据的功能，但无法区分是平面视频还是360度全景视频，所以无法告知iptv终端视频特征，进一步的iptv终端无法知晓是否需要对视频进行球体渲染，也无法对视频进行视角切换和视角缩放。

5、现有技术存在问题1：无法实现基于现有iptv业务导航，通知iptv终端播放全景视频，并对全景视频实现操控(旋转、缩放、播控)且与遥控普通视频的操控逻辑不冲突的功能。例如按左右按键，普通视频对应的功能是快进快退，但全景视频对应的功能是旋转角度。

6、现有技术存在问题2：若iptv业务导航只传递全景视频的url(uniform resourcelocator，统一资源定位符)地址，则播控逻辑全部只能由iptv终端实现，无法达到统一导航，统一按键处理逻辑，统一ui的目的。这样会导致用户在操作不同视频时，操作逻辑均不一样。用户在用不同厂家终端时，操作逻辑不一样，显示内容也不一样。

7、有鉴于此，如何克服现有技术所存在的缺陷，如何基于现有iptv平台结合iptv终端能力来实现iptv支持vr全景多媒体业务服务能力，是本技术领域待解决的难题。

技术实现思路

1、针对现有技术中的缺陷或改进需求：第一，需要建立支持iptv业务导航对iptv终端(机顶盒)显示的内容可进行上、下、左、右360度角度切换统一控制，可进行快进快退暂停播放状态统一控制，放大缩小观看的统一控制的iptv终端全景媒体处理系统。第二，需要实现全景视频内容能建模渲染成3d球体的功能且与iptv业务导航2d平面显示不冲突。第三，需要兼容iptv全景视频发展过程中，iptv业务导航不具备统一控制时期，可通过iptv终端本地的全景播放应用从iptv媒体交付获取视频，由本地的全景播放应用实现对视频渲染、播控及ui显示的功能；也可以兼容后期iptv业务导航发展成熟后，支持iptv全景视频统一控制的能力。针对上述需求，本发明提供一种基于iptv业务的vr全景视频播放方法和系统，来实现上述需求。

2、本发明实施例采用如下技术方案：

3、第一方面，本发明提供了一种基于iptv业务的vr全景视频播放方法，包括两种启动iptv终端全景媒体处理系统的方式：

4、由iptv业务导航主导，通过api调用来决定执行改变视角还是改变播放状态的动作；iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航；和/或：

5、通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。

6、进一步的，所述启动iptv终端全景媒体处理系统，由iptv业务导航主导，通过api调用时，具体包括：

7、浏览器子系统解析并对vr全景播放器对象初始化，包括初始化vr全景播放器对象的api具备的vr全景特征能力；所述api具备的vr全景特征能力包括视频播放状态控制能力以及视角改变功能；

8、获取3d球形模型以及2d视频数据并将2d视频数据的输出帧贴图到3d球形模型；

9、触发按键事件时，浏览器子系统根据按键事件调用对应的vr全景特征能力，并进行对应的ui显示；

10、将ui显示的2d显示层与3d球形模型的3d显示层合成显示。

11、进一步的，所述获取3d球形模型以及2d视频数据并将2d视频数据的输出帧贴图到3d球形模型具体包括：

12、浏览器子系统调用媒体控制模块，将3d球形模型与3d显示层绑定，结合vr全景播放器对象，并提供vr全景特征能力；

13、vr全景播放器对象通过iptv业务导航传入的vr全景视频地址url参数与流媒体子系统对接，获取2d视频数据；

14、将vr全景播放器对象解码的2d视频数据的输出帧贴图到3d球形模型。

15、进一步的，所述触发按键事件时，浏览器子系统根据按键事件调用对应的vr全景特征能力，并进行对应的ui显示具体包括：

16、当触发按键事件时，浏览器子系统判断vr全景播放器对象的视角控制使能状态是否为使能；

17、若不是使能则通过iptv业务导航调用视频播放状态控制能力接口，并显示对应的播控ui；若是使能则进一步判断vr全景播放器对象的视角控制属性是否为iptv业务导航控制；

18、若是为iptv业务导航控制，则通过iptv业务导航根据按键事件调用对应的视角改变功能，并显示对应ui；若不是为iptv业务导航控制，则浏览器子系统通过改造内核中的按键处理逻辑，避免将按键事件发送给iptv业务导航，浏览器子系统自己调用视角改变功能，并将视角改变后的当前状态通过消息回调发送给iptv业务导航，以使iptv业务导航根据浏览器子系统发送的视角改变后的当前状态显示对应ui。

19、进一步的，所述启动iptv终端全景媒体处理系统，通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导时，具体包括：

20、当iptv业务导航通过action启动vr全景视频播放时，增加vr全景视频地址url参数标识此视频为全景视频；浏览器子系统解析action并获取vr全景视频地址url参数；浏览器子系统启动iptv终端的本地全景视频播放应用，并传入vr全景视频地址url参数；

21、本地全景视频播放应用调用ui显示模块，根据获取的vr全景视频地址url参数得到对应的ui显示；

22、本地全景视频播放应用获取3d球形模型并将其3d显示层与ui显示的2d显示层合成显示；

23、将按键事件传递给本地全景视频播放应用处理，若有视角改变则重新获取ui显示的2d显示层以及3d球形模型的3d显示层并合成显示。

24、进一步的，所述本地全景视频播放应用获取3d球形模型并将其3d显示层与ui显示的2d显示层合成显示具体包括：

25、本地全景视频播放应用调用媒体控制模块，将3d球形模型与3d显示层绑定，并提供vr全景特征能力；

26、调用2d播放器，通过iptv业务导航传入的vr全景视频地址url参数与流媒体子系统对接；

27、将2d播放器的输出帧贴图到3d球形模型后，将ui显示的2d显示层与3d球形模型的3d显示层合成显示。

28、进一步的，iptv业务平台下发直播列表时，增加参数标识直播节目是否为全景视频；iptv终端的直播播放接口被调用时，判断即将播放的直播是否为全景视频，如果是，则启动全景显示和全景播放，并且捕捉遥控器方向键，实现变换全景显示的视角；

29、在全景播放过程中，进行操作暂停播放、倍速播放、定位播放或者切换回直播状态时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示；当iptv终端的离开直播接口被调用时，退出全景显示。

30、进一步的，iptv业务平台下发点播节目地址时，增加参数标识点播节目是否为全景视频；iptv终端的点播播放接口被调用时，判断即将播放的点播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器的方向键，实现变换全景显示的视角；

31、在全景播放过程中，进行操作暂停播放、倍速播放、定位播放时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示，当iptv终端的离开点播接口被调用时，退出全景显示。

32、进一步的，还包括静态图像浏览功能：全景视频暂停播放或者浏览静态图像时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能，以使用户任意角度转动暂停的视频画面或静态图像，全方位观看视频画面或静态图像任意角度的内容。

33、第二方面，本发明还提供一种基于iptv业务的vr全景视频播放系统，用来实现如第一方面所述的方法，该系统包括iptv业务平台和iptv终端；所述iptv业务平台包括iptv内容运营、iptv业务导航、iptv媒体交付；所述iptv终端包括iptv终端全景媒体处理系统、显示设备、外部设备；所述iptv终端全景媒体处理系统包括浏览器子系统和流媒体子系统，其中，所述流媒体子系统提供vr全景特征能力，与iptv媒体交付进行交互，通过流媒体协议获取视频内容；所述浏览器子系统负责解析iptv业务导航对于vr全景内容播放的控制指令，负责接收按键事件，并根据iptv业务导航的要求对流媒体子系统进行vr全景内容的播放控制，以实现对媒体播放事件的响应；所述iptv终端全景媒体处理系统的启动方式包括：

34、由iptv业务导航主导，通过api调用：iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航，由iptv业务导航决定执行改变视角还是改变播放状态的动作；和/或：

35、通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。

36、进一步的，所述流媒体子系统包括vr全景视频控制模块，所述vr全景视频控制模块创造有一个vr全景播放器对象，并提供一套包含vr全景特征能力的api，此套api的vr全景特征能力包括视频播放状态控制能力以及视角改变功能，其中，所述视频播放状态控制能力包括暂停播放、倍速播放、定位播放、恢复直播状态；所述视角改变功能包括视角方向变换能力、视角远近变换能力。

37、与现有技术相比，本发明的有益效果在于：

38、1、iptv终端全景媒体处理系统根据iptv业务导航调用的扩展js接口(也即api)，决定是否启动iptv全景播放应用。当iptv业务导航选择调用iptv全景播放的api时，iptv终端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播放对外的api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示。js扩展vr全景播放器对象，是由iptv业务导航新建的对象，iptv的vr全景业务通过调用vr全景播放器对象的方法实现。可支持运营商对vr全景业务统一操控逻辑、统一显示ui的方案。方便vr全景业务统一快速部署。

39、2、当启动本地全景视频播放应用时，本地全景视频播放应用调用播放接口，调用3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面。可兼容action方式：通过扩展js对象下发启动本地全景视频播放应用的action启动，按键处理交由本地全景视频播放应用。1、2两种方案兼容共存，满足运营商建设发展vr全景视频的起步阶段及成熟阶段的差异化实现方案。

40、3、vr全景视频控制模块、视频协议及数据处理模块对于两种启动方式(即iptv业务导航调用全景播放的api和本地全景视频播放应用)而言为共享状态。

41、4、浏览器子系统通过改造内核中的按键处理逻辑，避免将按键事件发送给iptv业务导航，通过定制化改造浏览器子系统的按键处理逻辑，简化了iptv业务导航处理方向键的逻辑改造工作。