一种基于电视机的多媒体内容交互系统和方法与流程

本发明涉及一种多媒体内容，尤其涉及一种多媒体内容的交互系统和方法。

背景技术：

1、传统智能设备播放的内容是一种纯视频形式，并且内容是从服务器到客户端的单向信息传播。而随着超高清多媒体的普及和发展，视频的内容和形式不仅得到了大幅度的提高和扩展，并且交互的形式也越发需要从单向传播转换成可以进行交互式的传播。比如在直播一个大型体育活动中，如果仅仅提供直播画面，那显然已经不能满足用户的需求了。用户除了需要观看到视频中的比赛内容，还需要获得赛事情况，或者其关注的参赛运动员情况。如何让用户体验直播时的人机互动，及时获取所需要的信息，是当前面临的新的技术需求与挑战。

技术实现思路

1、针对目前电视机直播时不能智能地人机交互的问题，本发明提供一种基于电视机的多媒体内容交互系统和方法。

2、本发明解决技术问题所采用的技术方案为：

3、一种基于电视机的多媒体内容交互系统，用于与电视机进行直播互动，该交互系统包括：

4、智能设备，用于输入操作指令，并基于smt传输协议将所述操作指令传输至多媒体服务器；

5、多媒体服务器，与至少一个摄像设备通过socket接口进行长连接，用于根据操作指令控制摄像设备，使得摄像设备采集该操作指令下的第一音视频数据；或者所述多媒体服务器从网络端获取用于渲染视频的第二音视频数据；并将电视机的直播内容与所述第一音视频数据和/或第二音视频数据进行合成，将合成后的多媒体内容传输至机顶盒；

6、机顶盒，用于将合成后的多媒体内容按照预设的显示格式在电视机上显示。

7、优选地，在信令中增加asset_abilities，用于指示所述智能设备可对摄像设备执行的操作，所述asset_abilities包括：

8、asset_abilities_length：用于指示可控制的摄像设备的个数；

9、asset_resolution_info：用于指示摄像设备的分辨率；

10、asset_pitch_info：用于指示摄像设备的俯仰角转角信息；

11、asset_yaw_info：用于指示摄像设备的偏航角转角信息；

12、asset_roll_info：用于指示摄像设备的翻滚角转角信息。

13、优选地，所述多媒体服务器包括：

14、消息接收模块，与智能设备连接，用于接收智能设备发送的操作指令；

15、消息处理模块，与所述消息接收模块连接，用于将所述操作指令解析为能够控制摄像设备操作的信令；

16、设备控制模块，与所述消息处理模块连接，用于根据所述信令来控制摄像设备的工作；

17、数据获取模块，与所述设备控制模块和机顶盒连接，用于获取电视机的直播内容，以及摄像设备采集的第一音视频数据和/或用于渲染视频的第二音视频数据；

18、数据合成模块，与所述数据获取模块连接，用于将所述直播内容与所述第一音视频数据和/或第二音视频数据进行合成，输出多个视频的合集。

19、优选地，操作指令包括：

20、视频角度切换指令，用于请求切换摄像头设备的拍摄角度；和/或

21、视频清晰度切换指令，用于调整摄像头设备所采集的视频的清晰度；和/或

22、视频布局调整指令，用于调整合成后的多媒体内容的显示格式；和/或

23、视频同步指令，用于同时延后或提前播放所采集的第一音视频数据和/或第二音视频数据。

24、优选地，所述合成方法包括：

25、确定的步骤，根据第一音视频数据确定显示视频的个数、每个视频的显示面积，以及每个视频左侧顶点的位置坐标；

26、合成的步骤，按照预设的显示格式叠加显示所述直播内容和视频的合集。

27、优选地，所述操作指令包括调整摄像设备的机位、调转角度、放大倍数、高度等控制信息。

28、一种基于电视机的多媒体内容交互方法，用于与电视机进行直播互动，所述交互方法应用于多媒体内容交互系统，所述交互系统包括：

29、智能设备，用于输入操作指令，并基于smt传输协议将所述操作指令传输至多媒体服务器；

30、多媒体服务器，与至少一个摄像设备通过socket接口进行长连接,用于根据操作指令控制摄像设备,使得摄像设备采集该操作指令下的第一音视频数据；或者所述多媒体服务器从网络端获取用于渲染视频的第二音视频数据；并将电视机的直播内容与所述第一音视频数据和/或第二音视频数据进行合成，将合成后的多媒体内容传输至机顶盒；

31、机顶盒，用于将合成后的多媒体内容按照预设的显示格式在电视机上显示。

32、优选地，在信令中增加asset_abilities，用于指示所述智能设备可对摄像设备执行的操作，所述asset_abilities包括：

33、asset_abilities_length：用于指示可控制的摄像设备的个数；

34、asset_resolution_info：用于指示摄像设备的分辨率；

35、asset_pitch_info：用于指示摄像设备的俯仰角转角信息；

36、asset_yaw_info：用于指示摄像设备的偏航角转角信息；

37、asset_roll_info：用于指示摄像设备的翻滚角转角信息。

38、优选地，所述多媒体服务器包括：

39、消息接收模块，与智能设备连接，用于接收智能设备发送的操作指令；

40、消息处理模块，与所述消息接收模块连接，用于将所述操作指令解析为能够控制摄像设备操作的信令；

41、设备控制模块，与所述消息处理模块连接，用于根据所述信令来控制摄像设备的工作；

42、数据获取模块，与所述设备控制模块和机顶盒连接，用于获取电视机的直播内容，以及摄像设备采集的第一音视频数据和/或用于渲染视频的第二音视频数据；

43、数据合成模块，与所述数据获取模块连接，用于将所述直播内容与所述第一音视频数据和/或第二音视频数据进行合成，输出多个视频的合集。

44、优选地，操作指令包括：

45、视频角度切换指令，用于请求切换摄像头设备的拍摄角度；和/或

46、视频清晰度切换指令，用于调整摄像头设备所采集的视频的清晰度；和/或

47、视频布局调整指令，用于调整合成后的多媒体内容的显示格式；和/或

48、视频同步指令，用于同时延后或提前播放所采集的第一音视频数据和/或第二音视频数据。

49、本发明的有益效果：本方案是为在多媒体服务器与智能播放终端间提供一种高效，易于扩展的交互通信方法，为用户提供个性化的、高质量可互动的视听媒体服务。视频媒体内容的时变动态特征，用户间的个性化互动要求，媒体的网络化、智能化应用整合可为用户提供泛在化全新体验。

技术特征：

1.一种基于电视机的多媒体内容交互系统，用于与电视机进行直播互动，其特征在于，该交互系统包括：

2.根据权利要求1所述的基于电视机的多媒体内容交互系统，其特征在于，在信令中增加asset_abilities，用于指示所述智能设备可对摄像设备执行的操作，所述asset_abilities包括：

3.根据权利要求1所述的基于电视机的多媒体内容交互系统，其特征在于，所述多媒体服务器包括：

4.根据权利要求1或2所述的基于电视机的多媒体内容交互系统，其特征在于，操作指令包括：

5.根据权利要求1所述的基于电视机的多媒体内容交互系统，其特征在于，所述合成方法包括：

6.根据权利要求1或2所述的基于电视机的多媒体内容交互系统，其特征在于，所述操作指令包括调整摄像设备的机位、调转角度、放大倍数、高度等控制信息。

7.一种基于电视机的多媒体内容交互方法，用于与电视机进行直播互动，所述交互方法应用于多媒体内容交互系统，其特征在于，所述交互系统包括：

8.根据权利要求7所述的基于电视机的多媒体内容交互方法，其特征在于，在信令中增加asset_abilities，用于指示所述智能设备可对摄像设备执行的操作，所述asset_abilities包括：

9.根据权利要求7所述的基于电视机的多媒体内容交互方法，其特征在于，所述多媒体服务器包括：

10.根据权利要求7所述的基于电视机的多媒体内容交互方法，其特征在于，操作指令包括：

技术总结
本发明涉及一种基于电视机的多媒体内容交互系统和方法，用于与电视机进行直播互动，该交互系统包括：智能设备，用于输入操作指令，并基于SMT传输协议将操作指令传输至多媒体服务器；多媒体服务器，与至少一个摄像设备通过Socket接口进行长连接，用于根据操作指令控制摄像设备，使得摄像设备采集该操作指令下的第一音视频数据；或者多媒体服务器从网络端获取用于渲染视频的第二音视频数据；并将电视机的直播内容与第一音视频数据和/或第二音视频数据进行合成，将合成后的多媒体内容传输至机顶盒；机顶盒，用于将合成后的多媒体内容按照预设的显示格式在电视机上显示。本发明提供了一种多媒体内容的交互通信方法，可为用户提供个性化的、高质量可互动的视听媒体服务。

技术研发人员：李明昊,姚天赐,李婧怡,裴开俊,刘永强,项立任,吕羡羡
受保护的技术使用者：上海数字电视国家工程研究中心有限公司
技术研发日：
技术公布日：2024/3/12