远程呈现端点的能力交互方法及装置、数据流的制作方法

文档序号:8000321阅读:185来源:国知局
远程呈现端点的能力交互方法及装置、数据流的制作方法
【专利摘要】本发明公开了一种远程呈现端点的能力交互方法及装置、数据流,该方法包括:第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,能力交互的消息中携带有远程呈现端点能力集,远程呈现端点能力集包括:远程呈现端点对称能力集;第一远程呈现端点根据能力交互的结果打开第一远程呈现端点和第二远程呈现端点之间的逻辑通道。通过本发明,实现了远程呈现终端的能力交互,提高了用户体验度。
【专利说明】远程呈现端点的能力交互方法及装置、数据流

【技术领域】
[0001] 本发明涉及通信领域,具体而言,涉及一种远程呈现端点的能力交互方法及装置、 数据流。

【背景技术】
[0002] 目前基于H. 323的视频会议类产品中,采用H. 245进行能力协商的时候,只能对传 统的视频会议类端点能力进行协商,无法对远程呈现端点的能力进行协商。具体表现在能 力交互时,只能对传统视频会议端点的编解码能力进行交互,无法对远程呈现端点新增的 媒体流接收以及发送能力进行交互。打开逻辑通道时,也只能对逻辑通道的编解码属性进 行指定,无法对逻辑通道的媒体流属性,编解码属性,复用属性,以及这些远程呈现端点能 力属性之间的绑定关系进行指定。
[0003] 针对相关技术中的协商方法无法对远程呈现端点的能力集进行协商的问题,目前 尚未提出有效的解决方案。


【发明内容】

[0004] 本发明提供了一种远端呈现端点的能力交互方法及装置、数据流,以至少解决上 述问题。
[0005] 根据本发明的一个方面,提供了一种远端呈现端点的能力交互方法,包括:
[0006] 第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,所述能力交互 的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:远程呈现端点对称
[0007] 所述第一远程呈现端点根据所述能力交互的结果打开所述第一远程呈现端点和 所述第二远程呈现端点之间的逻辑通道。
[0008] 优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
[0009] 所述消息中携带的所述远程呈现端点能力集为所述远程呈现终端对称能力集,所 述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一 能力集交互请求中携带有所述第一远程呈现端点的第一对称能力集;
[0010] 所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其 中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集;
[0011] 所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求,其 中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和 所述第二远程呈现端点的能力确定的,所述第一逻辑通道请求用于请求所述第二远程呈现 端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
[0012] 所述第一远程呈现端点向第二远程呈现端点发送第二逻辑通道请求,其中,所述 第一远程呈现端点根据接收到的所述第二对称能力集和所述第一远程呈现端点的能力,确 定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求所述第一远程呈现端点打开 所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
[0013] 优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
[0014] 所述远程呈现端点能力集为所述远程呈现终端对称能力集,所述第一远程呈现端 点向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中 携带有所述第一远程呈现端点的第一对称能力集;
[0015] 所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求,其 中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和 所述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求所述第二远程 呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
[0016] 所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其 中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集;
[0017] 所述第一远程呈现端点向第二远程呈现端点发送第四逻辑通道请求,其中,所述 第一远程呈现端点根据接收到的所述第二对称能力集和所述第一远程呈现端点的发送能 力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求所述第一远程呈现端点 打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
[0018] 优选地,在所述第一远程呈现端点向第二远程呈现端点发送第二逻辑通道请求之 后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第二逻 辑通道请求对应的响应消息;
[0019] 在所述第一远程呈现端点向第二远程呈现端点发送第四逻辑通道请求之后,还包 括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请 求对应的响应消息。
[0020] 优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通 道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第一逻辑 通道请求对应的响应消息;
[0021] 在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求 之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第三逻辑通道请 求对应的响应消息。
[0022] 优选地,所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请 求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第 一能力集交互请求的响应消息;
[0023] 在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之 后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能 力集交互请求的响应消息。
[0024] 优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互 请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二 能力集交互请求的响应消息;
[0025] 在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之 后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集 交互请求的响应消息。
[0026] 优选地,远程呈现端点能力集,其中所述远程呈现端点能力集包括:远程呈现端点 对称能力集,所述远程呈现端点对称能力集包括:捕获渲染参数,所述捕获渲染参数包括: 通用参数、视频参数和/或音频参数。
[0027] 优选地,所述通用参数包括媒体捕获渲染内容、场景描述、场景切换策略、通用空 间信息和/或通用编码信息;所述媒体捕获渲染内容表示媒体捕获和/或渲染的用途;所 述场景描述用于提供整体场景的描述;
[0028] 优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体 切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切 换全部的捕获渲染,以保证捕获渲染一起来自同一个端点场所,所述部分切换策略用于指 示不同的捕获渲染可以在不同的时间切换,并且来自相同的和/或不同的远程呈现端点。
[0029] 优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区 域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的 刻度的种类。
[0030] 优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或 全部的每秒最大宏块数,其中,所述全部最大带宽用于指示捕获渲染端点发送和/或接收 到的预设类型的全部码流每秒最大数量的比特率;所述全部的每秒最大像素数用于表示由 端点发送和/或接收到的编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大 宏块数表示由端点发送和/或接收到的全部视频码流每秒最大宏块数。
[0031] 优选地,所述视频参数包括:视频捕获渲染数量、视频捕获渲染空间信息和/或视 频捕获渲染编码信息;所述视频捕获渲染数量用于表示视频捕获和/或渲染的数量。
[0032] 优选地,所述视频捕获渲染空间信息包括捕获渲染区域、捕获渲染点和/或捕获 渲染线上的点,其中,所述捕获渲染区域用于表示该视频捕获渲染在整体捕获和/或渲染 场景中的所处的空间位置;所述捕获渲染点,用于指示在捕获和/或渲染场景中,视频捕获 和/或渲染的位置;所述捕获渲染线上的点,描述了捕获和/或渲染设备光轴上的第二个点 的空间位置,且第一个点为捕获和/或渲染点。
[0033] 优选地,所述视频捕获渲染编码信息,包括最大视频带宽、每秒最大像素数、最大 视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带 宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一 视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位 的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的 最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
[0034] 优选地,所述音频参数包括音频捕获渲染数量、音频捕获渲染空间信息和/或音 频捕获渲染编码信息;所述音频捕获渲染数量用于指示音频捕获渲染的数量。
[0035] 优选地,所述音频捕获渲染空间信息包括:捕获渲染区域和/或捕获渲染点,其 中,所述捕获渲染区域,用于表示音频捕获和/或渲染在整体捕获和/或渲染场景所处的空 间位置;所述捕获渲染点,用于表示在捕获和/或渲染场景中,音频捕获和/或渲染的位置。
[0036] 优选地,所述音频捕获渲染编码信息包括:音频信道格式和/或最大音频带宽;所 述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示涉及单一音频编 码的每秒最大比特数。
[0037] 根据本发明的另一方面,提供了一种远端呈现端点的能力交互装置,包括:交互模 块,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程 呈现端点能力集,所述远程呈现端点能力集包括:远程呈现端点对称能力集;处理模块,用 于根据所述能力交互的结果打开所述第二远程呈现端点之间的逻辑通道。
[0038] 优选地,所述交互模块包括:
[0039] 第一发送模块,用于向所述第二远程呈现端点发送第一能力集交互请求,其中,所 述第一能力集交互请求中携带有所述远程呈现端点的第一对称能力集;
[0040] 第一接收模块,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,所 述第二能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集;
[0041] 第二接收模块,用于接收所述第二远程呈现端点发送的第一逻辑通道请求,其中, 所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和所 述第二远程呈现端点的能力确定的,所述第一逻辑通道请求用于请求所述远程呈现端点打 开所述第二远程呈现端点到所述远程呈现端点之间的前向逻辑通道;
[0042] 第二发送模块,用于向第二远程呈现端点发送第二逻辑通道请求,其中,所述第一 远程呈现端点根据接收到的所述第二对称能力集和所述远程呈现端点的能力,确定第二逻 辑通道请求,其中,所述第二逻辑通道请求用于请求所述第二远程呈现端点打开所述远程 呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
[0043] 优选地,所述交互模块包括:
[0044] 第三发送模块,用于向所述第二远程呈现端点发送第三能力集交互请求,其中,所 述第三能力集交互请求中携带有所述远程呈现端点的第一对称能力集;
[0045] 第三接收模块,用于接收所述第二远程呈现端点发送的第三逻辑通道请求,其中, 所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和所 述第二远程呈现端点的能力确定的,所述第三逻辑通道请求用于请求所述远程呈现端点打 开所述第二远程呈现端点到所述远程呈现端点之间的前向逻辑通道;
[0046] 第四接收模块,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,所 述第四能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集;
[0047] 第四发送模块,用于向第二远程呈现端点发送第四逻辑通道请求,其中,所述第一 远程呈现端点根据接收到的所述第二对称能力集和所述远程呈现端点的能力,确定第四逻 辑通道请求,其中,所述第四逻辑通道请求用于请求所述第二远程呈现端点打开所述远程 呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
[0048] 优选地,还包括:
[0049] 第五接收模块,用于在第二发送模块确定所述第二逻辑通道请求之后,接收所述 第二远程呈现端点发送的对应于所述第二逻辑通道请求对应的响应消息;或
[0050] 第六接收模块,用于在第四发送模块向第二远程呈现端点发送所述第四逻辑通道 请求之后,接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请求对应的响应消 息。
[0051] 优选地,还包括:
[0052] 第五发送模块,用于第二接收模块接收所述第二远程呈现端点发送的第一逻辑通 道请求之后,向所述第二远程呈现端点发送所述第一逻辑通道请求对应的响应消息;
[0053] 第六发送模块,用于第三接收模块接收所述第二远程呈现端点发送的第三逻辑通 道请求之后,向所述第二远程呈现端点发送所述第三逻辑通道请求对应的响应消息。
[0054] 优选地,还包括:
[0055] 第五接收模块,用于第一发送模块向所述第二远程呈现端点发送第一能力集交互 请求之后,接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求的响应消 息;
[0056] 第六接收模块,用于第三发送模块向所述第二远程呈现端点发送第三能力集交互 请求之后,接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求的响应消 息。
[0057] 优选地,还包括:
[0058] 第七发送模块,用于在第一接收模块接收第二远程呈现端点发送的第二能力集交 互请求之后,向所述第二远程呈现端点发送对应于所述第二能力集交互请求的响应消息;
[0059] 第八发送模块,用于在第四接收模块接收第二远程呈现端点发送的第四能力集交 互请求之后,向所述第二远程呈现端点发送对应于所述第四能力集交互请求的响应消息。
[0060] 根据本发明的又一方面,还提供了一种数据流,包括:远程呈现端点能力集,其中 所述远程呈现端点能力集包括:对称能力集,所述对称能力集包括:捕获渲染参数,所述捕 获渲染参数包括:通用参数、视频参数和/或音频参数。
[0061] 优选地,所述通用参数包括媒体捕获渲染内容、场景描述、场景切换策略、通用空 间信息和/或通用编码信息;所述媒体捕获渲染内容表示媒体捕获和/或渲染的用途;所 述场景描述用于提供整体场景的描述;
[0062] 优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体 切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切 换全部的捕获渲染,以保证捕获渲染一起来自同一个端点场所,所述部分切换策略用于指 示不同的捕获渲染可以在不同的时间切换,并且来自相同的和/或不同的远程呈现端点。 [0063] 优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区 域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的 刻度的种类。
[0064] 优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或 全部的每秒最大宏块数,其中,所述全部最大带宽用于指示捕获渲染端点发送和/或接收 到的预设类型的全部码流每秒最大数量的比特率;所述全部的每秒最大像素数用于表示由 端点发送和/或接收到的编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大 宏块数表示由端点发送和/或接收到的全部视频码流每秒最大宏块数。
[0065] 优选地,所述视频参数包括:视频捕获渲染数量、视频捕获渲染空间信息和/或视 频捕获渲染编码信息;所述视频捕获渲染数量用于表示视频捕获和/或渲染的数量。
[0066] 优选地,所述视频捕获渲染空间信息包括捕获渲染区域、捕获渲染点和/或捕获 渲染线上的点,其中,所述捕获渲染区域用于表示该视频捕获渲染在整体捕获和/或渲染 场景中的所处的空间位置;所述捕获渲染点,用于指示在捕获和/或渲染场景中,视频捕获 和/或渲染的位置;所述捕获渲染线上的点,描述了捕获和/或渲染设备光轴上的第二个点 的空间位置,且第一个点为捕获和/或渲染点。
[0067] 优选地,所述视频捕获渲染编码信息,包括最大视频带宽、每秒最大像素数、最大 视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带 宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一 视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位 的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的 最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
[0068] 优选地,所述音频参数包括音频捕获渲染数量、音频捕获渲染空间信息和/或音 频捕获渲染编码信息;所述音频捕获渲染数量用于指示音频捕获渲染的数量。
[0069] 优选地,所述音频捕获渲染空间信息包括:捕获渲染区域和/或捕获渲染点,其 中,所述捕获渲染区域,用于表示音频捕获和/或渲染在整体捕获和/或渲染场景所处的空 间位置;所述捕获渲染点,用于表示在捕获和/或渲染场景中,音频捕获和/或渲染的位置。
[0070] 优选地,所述音频捕获渲染编码信息包括:音频信道格式和/或最大音频带宽;所 述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示涉及单一音频编 码的每秒最大比特数。
[0071] 通过本发明,实现了远程呈现终端的能力交互,提高了用户体验度。

【专利附图】

【附图说明】
[0072] 此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发 明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0073] 图1是根据本发明实施例的远端呈现端点的能力交互方法的流程图;
[0074] 图2是根据本发明实施例的远端呈现端点的能力交互装置的结构框图;
[0075] 图3是根据本发明实施例的远端呈现端点的能力交互装置的优选的结构框图;
[0076] 图4是根据本发明实施例的远端呈现端点的协商方法的流程图一;
[0077] 图5是根据本发明实施例的远端呈现端点的协商方法的流程图二;
[0078] 图6是根据本发明实施例的远端呈现端点的协商方法的流程图三;
[0079] 图7是根据本发明实施例的远端呈现端点的协商方法的流程图四;
[0080] 图8是根据本发明实施例的远端呈现端点的协商方法的流程图五;
[0081] 图9是根据本发明实施例的远端呈现端点的协商方法的流程图六;
[0082] 图10是根据本发明实施例的远端呈现端点的协商方法的流程图七;
[0083] 图11是根据本发明实施例的远端呈现端点的协商方法的流程图八;
[0084] 图12是根据本发明实施例的远端呈现端点的协商方法的流程图九;
[0085] 图13是根据本发明实施例的远端呈现端点的协商方法的流程图十;
[0086] 图14是根据本发明实施例的远端呈现端点的协商方法的流程图十一;
[0087] 图15是根据本发明实施例的远端呈现端点的协商方法的流程图十二;
[0088] 图16是根据本发明实施例的远端呈现端点的协商方法的流程图十三;
[0089] 图17是根据本发明实施例的远程呈现端点能力集的示意图。

【具体实施方式】
[0090] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的 情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0091] 本实施例提供了一种远程呈现端点的能力交互方法,图1是根据本发明实施例的 远端呈现端点的能力交互方法的流程图,如图1所示,该方法包括如下步骤S102至步骤 S106。
[0092] 步骤S102 :第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,所 述能力交互的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:远程呈 现端点对称能力集;
[0093] 步骤S104 :所述第一远程呈现端点根据所述能力交互的结果打开所述第一远程 呈现端点和所述第二远程呈现端点之间的逻辑通道。
[0094] 通过上述步骤,
[0095] 作为一个较优的实施方式,步骤S102可以通过如下两种方式进行实施。
[0096] 方式一
[0097] 该方式包括如下子步骤S1至步骤S7。
[0098] 步骤S1 :所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互 请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一对称能力 集;
[0099] 步骤S3 :所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互 请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二对称能力 集;
[0100] 步骤S5 :所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通 道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对 称能力集和所述第二远程呈现端点的能力确定的,所述第一逻辑通道请求用于请求所述第 二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通 道;
[0101] 步骤S7 :所述第一远程呈现端点根据接收到的所述第二对称能力集和所述第一 远程呈现端点的能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求所述 第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑 通道。
[0102] 方式二
[0103] 该方式包括如下子步骤S2至步骤S8。
[0104] 步骤S2 :所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互 请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一对称能力 集;
[0105] 步骤S4 :所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通 道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对 称能力集和所述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求所 述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻 辑通道;
[0106] 步骤S6 :所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互 请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二对称能力 集;
[0107] 步骤S8 :所述第一远程呈现端点根据接收到的所述第二对称能力集和所述第一 远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求 所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向 逻辑通道。
[0108] 作为一个较优的实施方式,在所述第一远程呈现端点向第二远程呈现端点发送第 二逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的 对应于所述第二逻辑通道请求对应的响应消息;
[0109] 在所述第一远程呈现端点向第二远程呈现端点发送第四逻辑通道请求之后,还包 括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请 求对应的响应消息。
[0110] 作为一个较优的实施方式,在所述第一远程呈现端点接收所述第二远程呈现端点 发送的第一逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点 发送所述第一逻辑通道请求对应的响应消息;
[0111] 在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求 之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第三逻辑通道请 求对应的响应消息。
[0112] 作为一个较优的实施方式,所述第一远程呈现端点向所述第二远程呈现端点发送 第一能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发 送的对应于所述第一能力集交互请求的响应消息;
[0113] 在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之 后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能 力集交互请求的响应消息。
[0114] 作为一个较优的实施方式,在所述第一远程呈现端点接收第二远程呈现端点发送 的第二能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发 送对应于所述第二能力集交互请求的响应消息;
[0115] 在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之 后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集 交互请求的响应消息。
[0116] 作为一个较优的实施方式,所述远程呈现端点能力集包括:远程呈现端点对称能 力集,所述远程呈现端点对称能力集包括:捕获渲染参数,所述捕获渲染参数包括:通用参 数、视频参数和/或音频参数。
[0117] 优选地,所述通用参数包括媒体捕获渲染内容、场景描述、场景切换策略、通用空 间信息和/或通用编码信息;所述媒体捕获渲染内容表示媒体捕获和/或渲染的用途;所 述场景描述用于提供整体场景的描述;
[0118] 优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体 切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切 换全部的捕获渲染,以保证捕获渲染一起来自同一个端点场所,所述部分切换策略用于指 示不同的捕获渲染可以在不同的时间切换,并且来自相同的和/或不同的远程呈现端点。
[0119] 优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区 域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的 刻度的种类。
[0120] 优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或 全部的每秒最大宏块数,其中,所述全部最大带宽用于指示捕获渲染端点发送和/或接收 到的预设类型的全部码流每秒最大数量的比特率;所述全部的每秒最大像素数用于表示由 端点发送和/或接收到的编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大 宏块数表示由端点发送和/或接收到的全部视频码流每秒最大宏块数。
[0121] 优选地,所述视频参数包括:视频捕获渲染数量、视频捕获渲染空间信息和/或视 频捕获渲染编码信息;所述视频捕获渲染数量用于表示视频捕获和/或渲染的数量。
[0122] 优选地,所述视频捕获渲染空间信息包括捕获渲染区域、捕获渲染点和/或捕获 渲染线上的点,其中,所述捕获渲染区域用于表示该视频捕获渲染在整体捕获和/或渲染 场景中的所处的空间位置;所述捕获渲染点,用于指示在捕获和/或渲染场景中,视频捕获 和/或渲染的位置;所述捕获渲染线上的点,描述了捕获和/或渲染设备光轴上的第二个点 的空间位置,且第一个点为捕获和/或渲染点。
[0123] 优选地,所述视频捕获渲染编码信息,包括最大视频带宽、每秒最大像素数、最大 视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带 宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一 视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位 的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的 最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
[0124] 优选地,所述音频参数包括音频捕获渲染数量、音频捕获渲染空间信息和/或音 频捕获渲染编码信息;所述音频捕获渲染数量用于指示音频捕获渲染的数量。
[0125] 优选地,所述音频捕获渲染空间信息包括:捕获渲染区域和/或捕获渲染点,其 中,所述捕获渲染区域,用于表示音频捕获和/或渲染在整体捕获和/或渲染场景所处的空 间位置;所述捕获渲染点,用于表示在捕获和/或渲染场景中,音频捕获和/或渲染的位置。
[0126] 优选地,所述音频捕获渲染编码信息包括:音频信道格式和/或最大音频带宽;所 述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示涉及单一音频编 码的每秒最大比特数。
[0127] 需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的 计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不 同于此处的顺序执行所示出或描述的步骤。
[0128] 在另外一个实施例中,还提供了一种远程呈现端点的能力交互软件,该软件用于 执行上述实施例及优选实施例中描述的技术方案。
[0129] 在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述远程呈 现端点的能力交互装置,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
[0130] 本发明实施例还提供了一种远程呈现端点的能力交互装置,应用于第一远程呈现 端点,该远程呈现端点的能力交互装置可以用于实现上述远程呈现端点的能力交互方法及 优选实施方式,已经进行过说明的,不再赘述,下面对该远程呈现端点的能力交互装置中涉 及到的模块进行说明。如以下所使用的,术语"模块"可以实现预定功能的软件和/或硬件 的组合。尽管以下实施例所描述的系统和方法较佳地以软件来实现,但是硬件,或者软件和 硬件的组合的实现也是可能并被构想的。
[0131] 图2是根据本发明实施例的远端呈现端点的能力交互装置的结构框图,如图2所 示,该装置包括:交互模块22,处理模块24,下面对上述结构进行详细描述。
[0132] 交互模块22,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的 消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:远程呈现端点对称能 力集;
[0133] 处理模块24,用于根据所述能力交互的结果打开所述第二远程呈现端点之间的逻 辑通道。
[0134] 图3是根据本发明实施例的远端呈现端点的能力交互装置的优选的结构框图,如 图3所示,该装置的优选结构描述如下:
[0135] 优选地,所述交互模块22包括:
[0136] 第一发送模块220,用于向所述第二远程呈现端点发送第一能力集交互请求,其 中,所述第一能力集交互请求中携带有所述远程呈现端点的第一对称能力集;
[0137] 第一接收模块221,用于接收第二远程呈现端点发送的第二能力集交互请求,其 中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集;
[0138] 第二接收模块222,用于接收所述第二远程呈现端点发送的第一逻辑通道请求,其 中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和 所述第二远程呈现端点的能力确定的,所述第一逻辑通道请求用于请求所述远程呈现端点 打开所述第二远程呈现端点到所述远程呈现端点之间的前向逻辑通道;
[0139] 第二发送模块223,用于向第二远程呈现端点发送第二逻辑通道请求,其中,所述 第一远程呈现端点根据接收到的所述第二对称能力集和所述远程呈现端点的能力,确定第 二逻辑通道请求,其中,所述第二逻辑通道请求用于请求所述第二远程呈现端点打开所述 远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
[0140] 优选地,所述交互模块22包括:
[0141] 第三发送模块224,用于向所述第二远程呈现端点发送第三能力集交互请求,其 中,所述第三能力集交互请求中携带有所述远程呈现端点的第一对称能力集;
[0142] 第三接收模块225,用于接收所述第二远程呈现端点发送的第三逻辑通道请求,其 中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和 所述第二远程呈现端点的能力确定的,所述第三逻辑通道请求用于请求所述远程呈现端点 打开所述第二远程呈现端点到所述远程呈现端点之间的前向逻辑通道;
[0143] 第四接收模块226,用于接收第二远程呈现端点发送的第四能力集交互请求,其 中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集;
[0144] 第四发送模块227,用于向第二远程呈现端点发送第四逻辑通道请求,其中,所述 第一远程呈现端点根据接收到的所述第二对称能力集和所述远程呈现端点的能力,确定第 四逻辑通道请求,其中,所述第四逻辑通道请求用于请求所述第二远程呈现端点打开所述 远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
[0145] 优选地,上述装置还包括:
[0146] 第五接收模块31,连接至第二发送模块223,用于在第二发送模块223发送所述第 二逻辑通道请求之后,接收所述第二远程呈现端点发送的对应于所述第二逻辑通道请求对 应的响应消息;或
[0147] 第六接收模块32,连接至第四发送模块227,用于在第四发送模块227向第二远程 呈现端点发送所述第四逻辑通道请求之后,接收所述第二远程呈现端点发送的对应于所述 第四逻辑通道请求对应的响应消息。
[0148] 优选地,上述装置还包括:
[0149] 第五发送模块33,连接至第二接收模块222,用于第二接收模块222接收所述第二 远程呈现端点发送的第一逻辑通道请求之后,向所述第二远程呈现端点发送所述第一逻辑 通道请求对应的响应消息;
[0150] 第六发送模块34,连接至第三接收模块225,用于在第三接收模块225接收所述第 二远程呈现端点发送的第三逻辑通道请求之后,向所述第二远程呈现端点发送所述第三逻 辑通道请求对应的响应消息。
[0151] 优选地,上述装置还包括:
[0152] 第五接收模块35,连接至第一发送模块220,用于在第一发送模块220向所述第二 远程呈现端点发送第一能力集交互请求之后,接收所述第二远程呈现端点发送的对应于所 述第一能力集交互请求的响应消息;
[0153] 第六接收模块36,连接至第三发送模块224,用于在第三发送模块224向所述第二 远程呈现端点发送第三能力集交互请求之后,接收所述第二远程呈现端点发送的对应于所 述第三能力集交互请求的响应消息。
[0154] 优选地,上述装置还包括:
[0155] 第七发送模块37,连接至第一接收模块221,用于在第一接收模块221接收第二远 程呈现端点发送的第二能力集交互请求之后,向所述第二远程呈现端点发送对应于所述第 二能力集交互请求的响应消息;
[0156] 第八发送模块38,连接至第四接收模块226,用于在第四接收模块226接收第二远 程呈现端点发送的第四能力集交互请求之后,向所述第二远程呈现端点发送对应于所述第 四能力集交互请求的响应消息。
[0157] 本实施例提供了一种数据流,包括远程呈现端点能力集,其中远程呈现端点能力 集包括:远程呈现端点对称能力集,远程呈现端点对称能力集包括:捕获渲染参数,捕获渲 染参数包括:通用参数、视频参数和/或音频参数。
[0158] 优选地,通用参数包括媒体捕获渲染内容、场景描述、场景切换策略、通用空间信 息和/或通用编码信息;媒体捕获渲染内容表示媒体捕获和/或渲染的用途,该属性包括媒 体捕获视角,媒体的表示的角色,媒体是否为辅流内容,媒体相关语言;场景描述用于提供 整体场景的描述;
[0159] 优选地,场景切换策略用于指示所支持媒体切换策略,其中,支持的媒体切换的策 略包括场所切换策略和部分切换策略,其中,场所切换策略用于指示同时切换全部的捕获 渲染,以保证捕获渲染一起来自同一个端点场所,部分切换策略用于指示不同的捕获渲染 可以在不同的时间切换,并且来自相同的和/或不同的远程呈现端点。
[0160] 优选地,通用空间信息包括场景区域和/或区域刻度参数,其中,场景区域参数用 于指示与端点相关的整体场景的范围,区域刻度表明了空间信息参数采用的刻度的种类。
[0161] 优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部 的每秒最大宏块数,其中,全部最大带宽用于指示捕获渲染端点发送和/或接收到的预设 类型的全部码流每秒最大数量的比特率;全部的每秒最大像素数用于表示由端点发送和/ 或接收到的编码组中全部独立编码的每秒最大像素数;全部的每秒最大宏块数表示由端点 发送和/或接收到的全部视频码流每秒最大宏块数。
[0162] 优选地,视频参数包括:视频捕获渲染数量、视频捕获渲染空间信息和/或视频捕 获渲染编码信息;视频捕获渲染数量用于表示视频捕获和/或渲染的数量。
[0163] 优选地,视频捕获渲染空间信息包括捕获渲染区域、捕获渲染点和/或捕获渲染 线上的点,其中,捕获渲染区域用于表示该视频捕获渲染在整体捕获和/或渲染场景中的 所处的空间位置;捕获渲染点,用于指示在捕获和/或渲染场景中,视频捕获和/或渲染的 位置;捕获渲染线上的点,描述了捕获和/或渲染设备光轴上的第二个点的空间位置,且第 一个点为捕获和/或渲染点。
[0164] 优选地,视频捕获渲染编码信息,包括最大视频带宽、每秒最大像素数、最大视频 分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,用于 指示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的 每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨 率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高 度;最大视频帧速率,该参数表明了最大视频帧率。
[0165] 优选地,音频参数包括音频捕获渲染数量、音频捕获渲染空间信息和/或音频捕 获渲染编码信息;音频捕获渲染数量用于指示音频捕获渲染的数量。
[0166] 优选地,音频捕获渲染空间信息包括:捕获渲染区域和/或捕获渲染点,其中,捕 获渲染区域,用于表示音频捕获和/或渲染在整体捕获和/或渲染场景所处的空间位置;捕 获渲染点,用于表示在捕获和/或渲染场景中,音频捕获和/或渲染的位置。
[0167] 优选地,音频捕获渲染编码信息包括:音频信道格式和/或最大音频带宽;音频信 道格式,用于指示音频信道的属性;最大音频带宽,用于指示涉及单一音频编码的每秒最大 比特数。
[0168] 作为一个较优的实施方式,远程呈现端点能力集还包括:远程呈现端点发送能力 集,远程呈现端点发送能力集包括:捕获参数,捕获参数包括:通用参数、视频参数和/或音 频参数。
[0169] 优选地,通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/ 或通用编码信息;媒体捕获内容表示媒体捕获的用途,该属性包括媒体捕获视角,媒体的表 示的角色,媒体是否为辅流内容,媒体相关语言;场景描述用于提供整体场景的描述,例如 文字描述。
[0170] 优选地,场景切换策略用于指示所支持媒体切换策略,其中,支持的媒体切换的策 略包括场所切换策略和部分切换策略,其中,场所切换策略用于指示同时切换全部的捕获, 以保证捕获一起来自同一个端点场所,部分切换策略用于指示不同的捕获可以在不同的时 间切换,并且来自相同和/或不同的远程呈现端点。
[0171] 优选地,通用空间信息包括场景区域和/或区域刻度参数,其中,场景区域参数用 于指示与端点相关的整体场景的范围,区域刻度表明了空间信息参数采用的刻度的种类。
[0172] 优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部 的每秒最大宏块数,其中,全部最大带宽用于指示由终端发出的预设类型的全部码流的每 秒最大数量的比特率;全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大 像素数;全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
[0173] 优选地,视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信 息;视频捕获数量用于表示视频捕获的数量。
[0174] 优选地,视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,捕 获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;捕获点,用于指示在捕 获场景中,视频捕获的位置;捕获线上的点,描述了捕获设备光轴上的第二个点的空间位 置,且第一个点为捕获点。
[0175] 优选地,视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨 率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,用于指示 单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的每秒 最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的 宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度; 最大视频帧速率,该参数表明了最大视频帧率。
[0176] 优选地,音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信 息;音频捕获数量用于指示音频捕获的数量。
[0177] 优选地,音频捕获空间信息包括:捕获区域和/或捕获点,其中,捕获区域,用于表 示音频捕获在整体捕获场景所处的空间位置;捕获点,用于表示在捕获场景中,音频捕获的 位置。
[0178] 优选地,音频捕获编码信息包括:音频信道格式和/或最大音频带宽;音频信道格 式,用于指示音频信道的属性;最大音频带宽,用于指示单一音频编码的每秒最大比特数。
[0179] 作为一个较优的实施方式,远程呈现端点能力集包括:远程呈现端点接收能力集, 其包括:渲染参数,渲染参数包括:通用参数、视频参数和/或音频参数。
[0180] 优选地,通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和 /或通用编码信息,其中,媒体渲染内容用于表示渲染端点需要的捕获内容的属性,该属性 包括媒体捕获视角,媒体的表示的角色,媒体是否为辅流内容,媒体相关语言;场景描述,用 于提供整体场景的描述;场景切换策略,用于指示所支持的媒体切换策略,
[0181] 优选地,场景切换策略包括场所切换策略和/或部分切换策略,其中,场所切换策 略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,部分切换策略为不同 的渲染在不同的时间切换,来自相同和/或不同的端点。
[0182] 优选地,通用空间信息:包括场景区域和/或区域刻度参数,其中,场景区域参数 用于表示与端点相关的整体场景的范围,区域刻度用于表示空间信息参数采用的刻度的种 类。
[0183] 优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部 的每秒最大宏块数,其中,全部最大带宽表示由渲染端点接收到的预设类型的全部码流的 每秒最大数量的比特率;全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的 最大像素数;全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
[0184] 优选地,视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信 息,其中,视频渲染数量用于表示视频渲染的数量;视频渲染空间信息用于表示该视频渲染 表示的是整体渲染场景中的一部分。
[0185] 优选地,视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率 的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,该参数用于 表示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的 每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨 率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高 度;最大视频帧速率,该参数用于表示最大视频帧率。
[0186] 优选地,音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信 息,其中,音频渲染数量用于表示音频渲染的数量;音频渲染空间信息用于表示音频渲染在 整体渲染场景中所处的空间信息。
[0187] 优选地,音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,音频 信道格式,用于表示音频信道的属性;最大音频带宽,用于表示单一音频编码的每秒最大比 特数。
[0188] 优选实施例一
[0189] 本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场 景描述,编解码能力以及复用通道的协商。
[0190] 在本实施例中,提供了协商方式A,图4是根据本发明实施例的远端呈现端点的协 商方法的流程图一,如图4所示,协商方式包括能力集交互以及逻辑通道打开两部分。包括 如下步骤S401和步骤S402 :
[0191] 步骤S401 :能力集交互:两个远程呈现端点之间进行能力交互,携带远程呈现端 点能力集。
[0192] 步骤S402 :逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后 的通道属性。
[0193] 下面结合实例进行描述。
[0194] 在本实施例中提供了协商方式A-1,图5是根据本发明实施例的远端呈现端点的 协商方法的流程图二,如图5所示。该协商方式能力集交互消息中携带的能力集为接收能 力集,接收能力集包含端点接收能力相关参数,包括如下步骤S501和步骤S502。
[0195] 步骤S501 :能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远 程呈现端点接收能力集参数。
[0196] 步骤S502 :逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后 的通道属性。
[0197] 图6是根据本发明实施例的远端呈现端点的协商方法的流程图三,如图6所示该 种协商方式中的能力集交互以及逻辑通道打开流程可以包括如下步骤S601至步骤S608。
[0198] 步骤S601 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的接收能力集。
[0199] 步骤S602 :端点B回复端点A能力集交互响应消息;
[0200] 步骤S603 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的接收能力集;
[0201] 步骤S604 :端点A回复端点B能力集交互响应消息;
[0202] 步骤S605 :端点B根据端点A的接收能力,结合自己的发送能力,向端点A发送打 开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
[0203] 步骤S606 :端点A向端点B回复打开逻辑通道响应消息;
[0204] 步骤S607 :端点A根据端点B的接收能力,结合自己的发送能力,向端点B发送打 开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
[0205] 步骤S608 :端点B向端点A回复打开逻辑通道响应消息。
[0206] 其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在 第一对逻辑通道打开消息之前。按照这种规则,图3中描述的消息发送的顺序还可以是1、 3、2、4、5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、8, 能力交互完成一部分后,先打开一侧的逻辑通道。
[0207] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端 点A -条信息,该次交互中包含了 2和3两条消息。
[0208] 优选实施例二
[0209] 本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场 景描述,编解码能力以及复用通道的协商。
[0210] 本优选实施例提供了协商方式A-2,该协商方式能力集交互消息中携带的能力集 为对称能力集,对称能力集表示该端点的接收能力集和发送能力集一致。图7是根据本发 明实施例的远端呈现端点的协商方法的流程图四,如图7所示,该方法包括步骤S701和步 骤 S702。
[0211] 步骤S701 :能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远 程呈现端点对称能力集参数。
[0212] 步骤S702 :逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后 的通道属性。
[0213] 图8是根据本发明实施例的远端呈现端点的协商方法的流程图五,如图8所示,该 种协商方式中的能力集交互以及逻辑通道打开流程包括如下步骤S801至步骤S808。
[0214] 步骤S801 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的对称能力集;
[0215] 步骤S803 :端点B回复端点A能力集交互响应消息;
[0216] 步骤S804 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的对称能力集;
[0217] 步骤S804 :端点A回复端点B能力集交互响应消息;
[0218] 步骤S805 :端点B根据端点A的对称能力,结合自己的能力,向端点A发送打开逻 辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
[0219] 步骤S806 :端点A向端点B回复打开逻辑通道响应消息;
[0220] 步骤S807 :端点A根据端点B的对称能力,结合自己的能力,向端点B发送打开逻 辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
[0221] 步骤S808 :端点B向端点A回复打开逻辑通道响应消息。
[0222] 其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在 第一对逻辑通道打开消息之前。按照这种规则,图5中描述的消息发送的顺序还可以是1、 3、2、4、5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、8, 能力交互完成一部分后,先打开一侧的逻辑通道。
[0223] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端 点A -条信息,该次交互中包含了 2和3两条消息。
[0224] 优选实施例三
[0225] 本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场 景描述,编解码能力以及复用通道的协商。
[0226] 本优选实施例提供了协商方式A-3,该协商方式能力集交互消息中携带的能力集 为发送能力集,发送能力集包含端点发送能力相关参数。图9是根据本发明实施例的远端 呈现端点的协商方法的流程图六,如图9所示,该方法包括步骤S901和步骤S902。
[0227] 步骤S901 :能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远 程呈现端点发送能力集参数。
[0228] 步骤S902 :逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后 的通道属性。
[0229] 下面结合实例进行说明。
[0230] 实例一:
[0231] 该实例提供了协商方式A-3-1,图10是根据本发明实施例的远端呈现端点的协商 方法的流程图七,如图10所示,该方式在能力交互响应消息中返回选择后的参数,包括如 下步骤S101至步骤S108。
[0232] 步骤S101 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的发送能力集;
[0233] 步骤S102 :端点B回复端点A能力集交互响应消息,携带B从A的发送能力集中 选择的参数;
[0234] 步骤S103 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的发送能力集;
[0235] 步骤S104 :端点A回复端点B能力集交互响应消息,携带A从B的发送能力集中 选择的参数;
[0236] 步骤S105 :端点A根据端点B在能力集交互响应中选择的能力,向端点B发送打 开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
[0237] 步骤S106 :端点B向端点A回复打开逻辑通道响应消息;
[0238] 步骤S107 :端点B根据端点A在能力集交互响应选择的能力,向端点A发送打开 逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
[0239] 步骤S108 :端点A向端点B回复打开逻辑通道响应消息。
[0240] 其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在 第一对逻辑通道打开消息之前。按照这种规则,图7中描述的消息发送的顺序还可以是1、 3、2、4、5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、8, 能力交互完成一部分后,先打开一侧的逻辑通道。
[0241] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端 点A -条信息,该次交互中包含了 2和3两条消息。
[0242] 实例一:
[0243] 该实例提供了协商方式A-3-2,如图11所示,该方式在能力集交互响应消息中不 携带选择参数,在打开逻辑通道请求中请求打开的是反向逻辑通道,包括如下步骤S1101 至步骤S1108。
[0244] 步骤S111 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的发送能力集;
[0245] 步骤S112 :端点B回复端点A能力集交互响应消息;
[0246] 步骤S113 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的发送能力集;
[0247] 步骤S114 :端点A回复端点B能力集交互响应消息;
[0248] 步骤S115 :端点B根据端点A的发送能力,结合自己的接收能力,向端点A发送打 开逻辑通道请求消息。指定通道属性,请求打开B到A的反向逻辑通道;
[0249] 步骤S116 :端点A向端点B回复打开逻辑通道响应消息;
[0250] 步骤S117 :端点A根据端点B的发送能力,结合自己的接收能力,向端点B发送打 开逻辑通道请求消息。指定通道属性,请求打开A到B的反向逻辑通道;
[0251] 步骤S118 :端点B向端点A回复打开逻辑通道响应消息。
[0252] 其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在 第一对逻辑通道打开消息之前。按照这种规则,图8中描述的消息发送的顺序还可以是1、 3、2、4、5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、8, 能力交互完成一部分后,先打开一侧的逻辑通道。
[0253] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端 点A -条信息,该次交互中包含了 2和3两条消息。
[0254] 优选实施例四
[0255] 本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场 景描述,编解码能力以及复用通道的协商。
[0256] 本优选实施例提供了协商方式A-4,该协商方式能力集交互消息中携带的能力集 为接收能力集和发送能力集。接收能力集包含端点接收能力相关参数,发送能力集包含端 点发送能力相关参数。如图12所示,包括如下步骤S1201和步骤S1202。
[0257] 步骤S1201 :能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远 程呈现端点接收能力集和发送能力集参数。
[0258] 步骤S1202 :逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后 的通道属性。
[0259] 下面通过实例进行说明。
[0260] 实例一
[0261] 本实例描述了协商方式A-4-1,如图13所示,该协商方式在能力集交互时同时携 带接收能力集以及发送能力集,包括如下步骤S1301至步骤S1308。
[0262] 步骤S1301 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的接收能力集和发送能力集;
[0263] 步骤S1302 :端点B回复端点A能力集交互响应消息;
[0264] 步骤S1303 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的接收能力集和发送能力集;
[0265] 步骤S1304 :端点A回复端点B能力集交互响应消息;
[0266] 步骤S1305 :端点B根据端点A的能力,结合自己的能力,向端点A发送打开逻辑 通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
[0267] 步骤S1306 :端点A向端点B回复打开逻辑通道响应消息;
[0268] 步骤S1307 :端点A根据端点B的能力,结合自己的能力,向端点B发送打开逻辑 通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
[0269] 步骤S1308 :端点B向端点A回复打开逻辑通道响应消息。
[0270] 其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在 第一对逻辑通道打开消息之前。按照这种规则.图10中描述的消息发送的顺序还可以是 1、3、2、4、5、6、7、8,端点八和8先互相交互能力集后再打开两边的逻辑通道,或者1、2、5、6、 3、4、7、8,能力交互完成一部分后,先打开一侧的逻辑通道。
[0271] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端 点A -条信息,该次交互中包含了 2和3两条消息。
[0272] 实例二
[0273] 图14是根据本发明实施例的远端呈现端点的协商方法的流程图十一,在本实施 例中描述了协商方式A-4-2,如图14所示,该方式在能力集交互请求消息中作为接收端的 接受能力集要依赖作为发送端的发送能力集形成,包括如下步骤S1401至步骤S1412。
[0274] S1401 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的发送能力集;
[0275] S1402 :端点B回复端点A能力集交互响应消息;
[0276] S1403 :端点B根据端点A的发送能力以及自己的接收需要,向端点A发起能力交 互请求消息,消息中携带端点B的接收能力集;
[0277] S1404 :端点A回复端点B能力集交互响应消息;
[0278] S1405 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的发送能力集;
[0279] S1406 :端点A回复端点B能力集交互响应消息;
[0280] S1407 :端点A根据端点B的发送能力以及自己的接收需要,向端点B发起能力交 互请求消息,消息中携带端点A的接收能力集;
[0281] S1408 :端点B回复端点A能力集交互响应消息;
[0282] S1409 :端点A根据端点B的接收能力集,向端点B发送打开逻辑通道请求消息。 指定通道属性,请求打开A到B的前向逻辑通道;
[0283] S1410 :端点B向端点A回复打开逻辑通道响应消息;
[0284] S1411 :端点B根据端点A的接收能力集,向端点A发送打开逻辑通道请求消息。 指定通道属性,请求打开B到A的前向逻辑通道;
[0285] S1412 :端点A向端点B回复打开逻辑通道响应消息。
[0286] 其中一对请求和响应消息有时间上的先后顺序,前两对发送和接收能力交互消息 发送时间在第一对逻辑通道打开消息之前。按照这种规则,图11中描述的消息发送的顺序 还可以是1、3、5、7、2、4、6、8,端点八和8先互相交互能力集后再发送响应消息,或者1、2、3、 4、9、10、5、6、7、8、11、12,能力交互完成一部分后,先打开一侧的逻辑通道。
[0287] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8、9、10+11、12。其中2+3表示端 点B发送给端点A -条信息,该次交互中包含了 2和3两条消息。
[0288] 优选实施例五
[0289] 本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场 景描述,编解码能力以及复用通道的协商。
[0290] 在本实施例中,协商方式能力集交互消息中携带的能力集为发送能力集。分如下 三个步骤:
[0291] 步骤S1501 :能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远 程呈现端点接收能力集和发送能力集参数。
[0292] 步骤S1502 :模式请求:接收端根据发送端的发送能力集请求特定的发送模式。
[0293] 步骤S1503 :逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后 的通道属性。
[0294] 下面通过实例进行详细说明。
[0295] 实例一
[0296] 图16是根据本发明实施例的远端呈现端点的协商方法的流程图十三,如16所示, 该方法包括如下步骤S1601至步骤S1612。
[0297] 步骤S1601 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的发送能力集;
[0298] 步骤S1602 :端点B回复端点A能力集交互响应消息;
[0299] 步骤S1603 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的发送能力集;
[0300] 步骤S1604 :端点A回复端点B能力集交互响应消息;
[0301] 步骤S1605 :远程呈现端点B向远程呈现端点A发起模式请求消息,请求特定的发 送模式,模式中携带端点A的发送参数;
[0302] 步骤S1606 :端点A回复端点B模式请求响应消息;
[0303] 步骤S1607 :远程呈现端点A向远程呈现端点B发起模式请求消息,请求特定的发 送模式,模式中携带端点B的发送参数;
[0304] 步骤S1608 :端点B回复端点A模式请求响应消息;
[0305] 步骤S1609 :端点A根据模式请求过程的结果,向端点B发送打开逻辑通道请求消 息。指定通道属性,请求打开A到B的前向逻辑通道;
[0306] 步骤S1610 :端点B向端点A回复打开逻辑通道响应消息;
[0307] 步骤S1611 :端点B根据模式请求过程的结果,向端点A发送打开逻辑通道请求消 息。指定通道属性,请求打开B到A的前向逻辑通道;
[0308] 步骤S1612 :端点A向端点B回复打开逻辑通道响应消息。
[0309] 优选地其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送 时间在第一对模式请求消息之前,第一对模式请求消息在第一对逻辑通道打开消息之前。 按照这种规则,图13中描述的消息发送的顺序还可以是1、2、5、6、3、4、7、8、9、10、11、12,或 者 1、2、5、6、9、10、3、4、7、8、11、12。
[0310] 其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次 携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8、9、10+11、12。其中2+3表示端 点B发送给端点A -条信息,该次交互中包含了 2和3两条消息。
[0311] 优选实施例五
[0312] 本优选实施例提供了一种远程呈现端点能力集参数,图17是根据本发明实施例 的远程呈现端点能力集的示意图,如图17所示,分为发送能力集和接收能力集。下面进行 详细描述。
[0313] 需要说明的是,图中以及上述实施例中列出描述的只是较为重要的参数,并不代 表全部的参数。在能力交互消息中传递的参数并非要包括下面全部的参数,可以根据需要 实际组合。
[0314] 发送能力集中主要包括捕获相关参数,捕获相关参数中包括通用参数,视频参数 和音频参数。发送能力集中的其它参数可以用来包含相关技术中的编码标准,例如H. 263、 H. 264 等。
[0315] 具体地,通用参数用来描述场景相关参数和通用编码相关参数。其中场景相关参 数包括场景描述,场景切换策略,场景区域,度量信息;通用编码相关参数包括最大带宽,每 秒最大宏块数、编码标准等。
[0316] 具体地,视频参数用来描述组成捕获场景的各个独立视频的属性。视频参数主要 包括视频捕获空间信息,视频捕获编码信息,视频捕获的数量,视频内容属性,视频切换策 略,视频组合策略等参数。其中视频捕获空间信息包括捕获区域,捕获点,捕获线上的一点; 视频捕获编码信息包括该视频捕获的最大视频带宽,每秒最大宏块数,最大视频分辨率宽 度,最大视频分辨率高度,最大视频帧率。
[0317] 具体地,音频参数用来描述组成捕获场景的各个独立音频的属性。音频参数主要 包括音频捕获空间信息,音频捕获编码信息,音频捕获数量等参数。其中音频捕获空间信息 包括捕获区域,捕获点,捕获线上的一点;音频捕获编码信息包括该音频捕获的音频信道格 式,最大音频带宽。
[0318] 优选地,接收能力集和发送能力集相对应,渲染相关参数和捕获相关参数对应。
[0319] 具体地,接收能力集中主要包括渲染相关参数,渲染相关参数中包括通用参数,视 频参数和音频参数。接收能力集中的其它参数可以用来包含解码标准,例如H. 263、H. 264 等。
[0320] 具体地,通用参数用来描述场景相关参数和通用解码相关参数。其中场景相关参 数包括场景描述,场景切换策略,场景区域,度量信息等;通用解码相关参数包括最大带宽, 每秒最大宏块数,解码标准等。
[0321] 具体地,视频参数用来描述组成渲染场景的各个独立视频的属性。视频参数主要 包括视频渲染空间信息,视频渲染解码信息,视频渲染的数量,内容属性,自动切换策略,组 合策略等参数。其中视频渲染空间信息包括渲染区域,渲染点,渲染线上的一点;视频渲染 解码信息包括该视频渲染的最大视频带宽,每秒最大宏块数,最大视频分辨率宽度,最大视 频分辨率高度,最大视频帧率。
[0322] 具体地,音频参数用来描述组成渲染场景的各个独立音频的属性。音频参数主要 包括音频渲染空间信息,音频渲染解码信息,音频渲染数量等参数。其中音频渲染空间信息 包括渲染区域,渲染点,渲染线上的一点;音频渲染解码信息包括该音频渲染的音频信道格 式,最大音频带宽。
[0323] 优选地,远程呈现端点指定的逻辑通道属性,主要包括该通道用来传送的媒体相 关信息,编解码信息等,如果需要复用该逻辑通道,需要指定通道复用信息。
[0324] 优选实施例六
[0325] 在本实施例中是优选实施例中的协商方式A-1的优选实施例之一,描述的是远程 呈现端点A和远程呈现端点B之间具体的能力协商流程,其中端点A具备3个摄像头,3个 显示器,1个麦克风,1个扬声器,端点B具备3个摄像头,3个显示器,1个麦克风,1个扬声 器。端点A或/和端点B也可以是MCU设备。该方法包括如下步骤S1702至步骤S1716。
[0326] 步骤S1702 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的接收能力集。
[0327] 接收能力集包含的渲染相关参数中的视频参数分别为:
[0328] 渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M ;
[0329] 渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M ;
[0330] 渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M ;
[0331] 渲染标识为VR3的视频渲染空间信息表示为左,视频内容属性为最大声发言者, 视频渲染解码信息中的最大视频带宽为4M,自动切换属性为YES ;
[0332] 渲染标识为VR4的视频渲染空间信息表示为中,视频内容属性为全景视频,视频 渲染解码信息中的最大视频带宽为4M ;
[0333] 渲染标识为VR5的视频渲染空间信息表示为右,视频内容属性为VIP,视频渲染解 码信息中的最大视频带宽为4M ;
[0334] 接收能力集包含的渲染相关参数中的音频参数为:
[0335] 渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K, 音频信道格式为立体声;
[0336] 接收能力集包含的渲染相关参数中的通用参数为:
[0337] 场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码 标准为H. 264,最大带宽为12M ;
[0338] 场景标识为2的场景由VR3、VR4、VR5组成,场景描述为渲染最大声发言者、全景、 VIP视频,编解码标准为H. 264,最大带宽为12M ;
[0339] 场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G. 711,最 大带宽为128K。
[0340] 步骤S1704 :端点B回复端点A能力集交互响应消息;
[0341] 步骤S1706 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的接收能力集;
[0342] 渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M ;
[0343] 渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M ;
[0344] 渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M ;
[0345] 渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K, 音频信道格式为立体声;
[0346] 接收能力集包含的渲染相关参数中的通用参数为:
[0347] 场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码 标准为H. 264,最大带宽为12M。
[0348] 场景标识为2的场景由AR0组成,场景描述为渲染主音频,编解码标准为G. 711,最 大带宽为128K。
[0349] 步骤S1708 :端点A回复端点B能力集交互响应消息。
[0350] 步骤S1710 :端点B根据端点A的接收能力,结合自己的发送能力,决定发送端点 A接收能力集中的场景1和场景3。端点B向端点A发送打开逻辑通道请求消息,指定通道 属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
[0351] 一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。 视频通道媒体相关信息为发送VRO、VR1、VR2视频;编码相关信息为采用H. 264编码,最大 带宽为12M ;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分 同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息 为G. 711,最大带宽为128K。
[0352] 步骤S1712 :端点A向端点B回复打开逻辑通道响应消息;
[0353] 步骤S1714 :端点A根据端点B的接收能力,结合自己的发送能力,决定发送端点 B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道 属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
[0354] 一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。 视频通道媒体相关信息为发送VRO、VR1、VR2视频;编码相关信息为采用H. 264编码,最大 带宽为12M ;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分 同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息 为G. 711,最大带宽为128K。
[0355] 步骤S1716 :端点B向端点A回复打开逻辑通道响应消息。
[0356] 优选实施例七
[0357] 本优选实施例是优选实施例协商方式A-1的优选实施例之一,描述的是远程呈现 端点A和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议 端点,端点A具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备1个摄像头、 1个显示器、1个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。该方法包括 如下步骤S1802至步骤S1816。
[0358] 步骤S1802 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的接收能力集。
[0359] 优选地,接收能力集包含的渲染相关参数中的视频参数分别为:
[0360] 渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M。
[0361] 渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M。
[0362] 渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲 染解码信息中的最大视频带宽为4M。
[0363] 渲染标识为VR3的视频渲染空间信息表示为中,视频内容属性为全景视频,视频 渲染解码信息中的最大视频带宽为4M。
[0364] 优选地,接收能力集包含的渲染相关参数中的音频参数为:
[0365] 渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K, 音频信道格式为立体声。
[0366] 接收能力集包含的渲染相关参数中的通用参数为:
[0367] 场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码 标准为H. 264,最大带宽为12M。
[0368] 场景标识为2的场景由VR3组成,场景描述为渲染全景视频,编解码标准为H. 264, 最大带宽为4M。
[0369] 场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G. 711,最 大带宽为128K。
[0370] 步骤S1804 :端点B回复端点A能力集交互响应消息。
[0371] 步骤S1806 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的接收能力集。
[0372] 渲染标识为VR0的场景描述为渲染全景视频,编解码标准为H. 264,最大带宽为 4M。
[0373] 渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K, 音频信道格式为立体声。
[0374] 接收能力集包含的渲染相关参数中的通用参数为:
[0375] 场景标识为1的场景由VR0组成,场景描述为渲染全景视频,编解码标准为H. 264, 最大带宽为4M。
[0376] 场景标识为2的场景由AR0组成,场景描述为渲染主音频,编解码标准为G. 711,最 大带宽为128K。
[0377] 步骤S1808 :端点A回复端点B能力集交互响应消息。
[0378] 步骤S1810 :端点B根据端点A的接收能力,结合自己的发送能力,决定发送端点 A接收能力集中的场景2和场景3。端点B向端点A发送打开逻辑通道请求消息,指定通道 属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
[0379] -路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。 视频通道媒体相关信息为发送VR3视频;编码相关信息为采用H. 264编码,最大带宽为4M ; 无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G. 711,最大带宽为 128K。
[0380] 步骤S1812 :端点A向端点B回复打开逻辑通道响应消息。
[0381] 步骤S1814 :端点A根据端点B的接收能力,结合自己的发送能力,决定发送端点 B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道 属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
[0382] 一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频 流。视频通道媒体相关信息为发送VR0视频;编码相关信息为采用H. 264编码,最大带宽为 12M ;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G. 711,最大带 宽为128K。
[0383] 步骤S1816 :端点B向端点A回复打开逻辑通道响应消息。
[0384] 优选实施例八
[0385] 本优选实施例是协商方式A-2的优选实施例之一,描述的是远程呈现端点A和远 程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A 具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备3个摄像头、3个显示器、 1个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。本优选实施例包括如下 步骤S1902至步骤S1916。
[0386] 步骤S1902 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的对称能力集。
[0387] 对称能力集包含的渲染/捕获相关参数中的视频参数分别为:
[0388] 渲染/捕获标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视 频渲染/捕获编解码信息中的最大视频带宽为4M ;
[0389] 渲染/捕获标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视 频渲染/捕获编解码信息中的最大视频带宽为4M ;
[0390] 渲染/捕获标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视 频渲染/捕获编解码信息中的最大视频带宽为4M ;
[0391] 接收能力集包含的渲染相关参数中的音频参数为:
[0392] 渲染/捕获标识为AR0的音频内容为主音频,音频渲染/捕获编解码信息中的最 大带宽为128K,音频信道格式为立体声;
[0393] 对称能力集包含的渲染/捕获相关参数中的通用参数为:
[0394] 场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码 标准为Η. 264,最大带宽为12M ;
[0395] 场景标识为2的场景由VR3组成,场景描述为渲染全景视频,编解码标准为Η. 264, 最大带宽为4Μ ;
[0396] 场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G. 711,最 大带宽为128Κ。
[0397] 步骤S1904 :端点Β回复端点Α能力集交互响应消息;
[0398] 步骤S1906 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的对称能力集;
[0399] 渲染/捕获标识为VR0的视频渲染/捕获空间信息表示为左,视频内容属性为主 视频,视频渲染/捕获编解码信息中的最大视频带宽为4M ;
[0400] 渲染/捕获标识为VR1的视频渲染/捕获空间信息表示为中,视频内容属性为主 视频,视频渲染/捕获编解码信息中的最大视频带宽为4M ;
[0401] 渲染/捕获标识为VR2的视频渲染/捕获空间信息表示为右,视频内容属性为主 视频,视频渲染/捕获编解码信息中的最大视频带宽为4M ;
[0402] 渲染/捕获标识为AR0的音频内容为主音频,音频渲染/捕获编解码信息中的最 大带宽为128K,音频信道格式为立体声;
[0403] 接收能力集包含的渲染/捕获相关参数中的通用参数为:
[0404] 场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染/捕获左、中、右视频, 编解码标准为H. 264,最大带宽为12M ;
[0405] 场景标识为2的场景由AR0组成,场景描述为渲染/捕获主音频,编解码标准为 G. 711,最大带宽为128K。
[0406] 步骤S1908 :端点A回复端点B能力集交互响应消息;
[0407] 步骤S1910 :端点B根据端点A的对称能力,结合自己的能力,决定发送端点A接 收能力集中的场景1和场景3。端点B向端点A发送打开逻辑通道请求消息。指定通道属 性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
[0408] 一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。 视频通道媒体相关信息为发送VRO、VR1、VR2视频;编码相关信息为采用H. 264编码,最大 带宽为12M ;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分 同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息 为G. 711,最大带宽为128K。
[0409] 步骤S1912 :端点A向端点B回复打开逻辑通道响应消息;
[0410] 步骤S1914 :端点A根据端点B的对称能力,结合自己的发送能力,决定发送端点 B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道 属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
[0411] 一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。 视频通道媒体相关信息为发送VRO、VR1、VR2视频;编码相关信息为采用H. 264编码,最大 带宽为12M ;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分 同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息 为G. 711,最大带宽为128K。
[0412] 步骤S1916 :端点B向端点A回复打开逻辑通道响应消息。
[0413] 优选实施例九
[0414] 本优选实施例是协商方式A-3-1的最佳实施例之一,描述的是远程呈现端点A和 远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端 点A具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备1个摄像头、1个显 示器、1个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。该优选实施例包 括如下步骤S2002至步骤S2016。
[0415] 步骤S2002 :远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带 端点A的发送能力集;
[0416] 发送能力集包含的捕获相关参数中的视频参数分别为:
[0417] 捕获标识为VR0的视频捕获空间彳目息表不为左,视频内容属性为主视频,视频捕 获编码信息中的最大视频带宽为4M ;
[0418] 捕获标识为VR1的视频捕获空间彳目息表不为中,视频内容属性为主视频,视频捕 获编码信息中的最大视频带宽为4M ;
[0419] 捕获标识为VR2的视频捕获空间彳目息表不为右,视频内容属性为主视频,视频捕 获编码信息中的最大视频带宽为4M ;
[0420] 捕获标识为VR3的视频内容属性为全景,视频捕获编码信息中的最大视频带宽为 4M ;
[0421] 接收能力集包含的捕获相关参数中的音频参数为:
[0422] 捕获标识为AR0的音频内容为主音频,音频捕获编码信息中的最大带宽为128K, 音频信道格式为立体声;
[0423] 发送能力集包含的捕获相关参数中的通用参数为:
[0424] 场景标识为1的场景由VR0、VR1、VR2组成,场景描述为捕获左、中、右视频,编编码 标准为H. 264,最大带宽为12M。
[0425] 场景标识为2的场景由VR3组成,场景描述为捕获全景视频,编编码标准为H. 264, 最大带宽为4M。
[0426] 场景标识为3的场景由AR0组成,场景描述为捕获主音频,编编码标准为G. 711,最 大带宽为128K。
[0427] 步骤S2004 :端点B回复端点A能力集交互响应消息,携带B从A的发送能力集中 选择的参数:场景2和场景3中的媒体。
[0428] 步骤S2006 :远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带 端点B的发送能力集。
[0429] 发送能力集包含的捕获相关参数中的视频参数分别为:
[0430] 捕获标识为VR0的场景描述为捕获全景视频,编码标准为H. 264,最大带宽为4M ;
[0431] 捕获标识为AR0的音频内容为主音频,音频捕获编码信息中的最大带宽为128K, 音频信道格式为立体声。
[0432] 发送能力集包含的捕获相关参数中的通用参数为:
[0433] 场景标识为1的场景由VR0组成,场景描述为捕获全景视频,编码标准为H. 264,最 大带宽为4M ;
[0434] 场景标识为2的场景由AR0组成,场景描述为捕获主音频,编码标准为G. 711,最大 带宽为128K。
[0435] 步骤S2008 :端点A回复端点B能力集交互响应消息,携带A从B的发送能力集中 选择的参数:场景1和场景2中的媒体。
[0436] 步骤S2010 :端点A根据端点B在能力集交互响应中选择的能力,向端点B发送打 开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道。指定的通道属性 为:
[0437] 一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。 视频通道媒体相关信息为发送VR3视频;编码相关信息为采用H. 264编码,最大带宽为4M ; 无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G. 711,最大带宽为 128K。
[0438] 步骤S2012 :端点B向端点A回复打开逻辑通道响应消息;
[0439] 步骤S2014 :端点B根据端点A在能力集交互响应选择的能力,向端点A发送打开 逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
[0440] 一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频 流。视频通道媒体相关信息为发送VR0视频;编码相关信息为采用H. 264编码,最大带宽为 12M ;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G. 711,最大带 宽为128K。
[0441] 步骤S2016 :端点A向端点B回复打开逻辑通道响应消息。
[0442] 需要说明的是,其它方法的对应实施例和上述实施例类似。
[0443] 显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用 的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成 的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储 在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示 出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或 步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
[0444] 以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技 术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修 改、等同替换、改进等,均应包含在本发明的保护范围之内。
【权利要求】
1. 一种远程呈现端点的能力交互方法,其特征在于包括: 第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消 息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:远程呈现端点对称能力 集; 所述第一远程呈现端点根据所述能力交互的结果打开所述第一远程呈现端点和所述 第二远程呈现端点之间的逻辑通道。
2. 根据权利要求1所述的方法,其特征在于,第一远程呈现端点和第二远程呈现端点 之间进行能力交互包括: 所述消息中携带的所述远程呈现端点能力集为所述远程呈现终端对称能力集,所述第 一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力 集交互请求中携带有所述第一远程呈现端点的第一对称能力集; 所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其中,所 述第二能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集; 所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求,其中, 所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和所 述第二远程呈现端点的能力确定的,所述第一逻辑通道请求用于请求所述第二远程呈现端 点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道; 所述第一远程呈现端点向第二远程呈现端点发送第二逻辑通道请求,其中,所述第一 远程呈现端点根据接收到的所述第二对称能力集和所述第一远程呈现端点的能力,确定第 二逻辑通道请求,其中,所述第二逻辑通道请求用于请求所述第一远程呈现端点打开所述 第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
3. 根据权利要求1所述的方法,其特征在于,第一远程呈现端点和第二远程呈现端点 之间进行能力交互包括: 所述远程呈现端点能力集为所述远程呈现终端对称能力集,所述第一远程呈现端点向 所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带 有所述第一远程呈现端点的第一对称能力集; 所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求,其中, 所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和所 述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求所述第二远程呈 现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道; 所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其中,所 述第四能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集; 所述第一远程呈现端点向第二远程呈现端点发送第四逻辑通道请求,其中,所述第一 远程呈现端点根据接收到的所述第二对称能力集和所述第一远程呈现端点的发送能力,确 定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求所述第一远程呈现端点打开 所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
4. 根据权利要求2或3所述的方法,其特征在于, 在所述第一远程呈现端点向第二远程呈现端点发送第二逻辑通道请求之后,还包括: 所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第二逻辑通道请求 对应的响应消息; 在所述第一远程呈现端点向第二远程呈现端点发送第四逻辑通道请求之后,还包括: 所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请求 对应的响应消息。
5. 根据权利要求2或3所述的方法,其特征在于, 在所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求之后, 还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第一逻辑通道请求对应 的响应消息; 在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求之后, 还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第三逻辑通道请求对应 的响应消息。
6. 根据权利要求2或3所述的方法,其特征在于, 所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求之后,还包 括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第一能力集交互 请求的响应消息; 在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之后,还 包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能力集交 互请求的响应消息。
7. 根据权利要求2或3所述的方法,其特征在于, 在所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求之后,还 包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二能力集交互请 求的响应消息; 在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之后,还 包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集交互请 求的响应消息。
8. 根据权利要求1至3中任一项所述的方法,其特征在于,包括:远程呈现端点能力 集,其中所述远程呈现端点能力集包括:远程呈现端点对称能力集,所述远程呈现端点对称 能力集包括:捕获渲染参数,所述捕获渲染参数包括:通用参数、视频参数和/或音频参数。
9. 根据权利要求8所述的方法,其特征在于,所述通用参数包括媒体捕获渲染内容、场 景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获渲染内容表示媒 体捕获和/或渲染的用途;所述场景描述用于提供整体场景的描述。
10. 根据权利要求9所述的方法,其特征在于,所述场景切换策略用于指示所支持媒体 切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所 述场所切换策略用于指示同时切换全部的捕获渲染,以保证捕获渲染一起来自同一个端点 场所,所述部分切换策略用于指示不同的捕获渲染可以在不同的时间切换,并且来自相同 的和/或不同的远程呈现端点。
11. 根据权利要求9所述的方法,其特征在于,所述通用空间信息包括场景区域和/或 区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域 刻度表明了空间信息参数采用的刻度的种类。
12. 根据权利要求9所述的方法,其特征在于,所述通用编码信息包括全部的最大带 宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指 示捕获渲染端点发送和/或接收到的预设类型的全部码流每秒最大数量的比特率;所述全 部的每秒最大像素数用于表示由端点发送和/或接收到的编码组中全部独立编码的每秒 最大像素数;所述全部的每秒最大宏块数表示由端点发送和/或接收到的全部视频码流每 秒最大宏块数。
13. 根据权利要求8所述的方法,其特征在于,所述视频参数包括:视频捕获渲染数量、 视频捕获渲染空间信息和/或视频捕获渲染编码信息;所述视频捕获渲染数量用于表示视 频捕获和/或渲染的数量。
14. 根据权利要求13所述的方法,其特征在于,所述视频捕获渲染空间信息包括捕获 渲染区域、捕获渲染点和/或捕获渲染线上的点,其中,所述捕获渲染区域用于表示该视频 捕获渲染在整体捕获和/或渲染场景中的所处的空间位置;所述捕获渲染点,用于指示在 捕获和/或渲染场景中,视频捕获和/或渲染的位置;所述捕获渲染线上的点,描述了捕获 和/或渲染设备光轴上的第二个点的空间位置,且第一个点为捕获和/或渲染点。
15. 根据权利要求13所述的方法,其特征在于,所述视频捕获渲染编码信息,包括最大 视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视 频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒 最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽 度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度, 该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表 明了最大视频帧率。
16. 根据权利要求8所述的方法,其特征在于,所述音频参数包括音频捕获渲染数量、 音频捕获渲染空间信息和/或音频捕获渲染编码信息;所述音频捕获渲染数量用于指示音 频捕获渲染的数量。
17. 根据权利要求16所述的方法,其特征在于,所述音频捕获渲染空间信息包括:捕获 渲染区域和/或捕获渲染点,其中,所述捕获渲染区域,用于表示音频捕获和/或渲染在整 体捕获和/或渲染场景所处的空间位置;所述捕获渲染点,用于表示在捕获和/或渲染场景 中,音频捕获和/或渲染的位置。
18. 根据权利要求16所述的方法,其特征在于,所述音频捕获渲染编码信息包括:音频 信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音 频带宽,用于指示涉及单一音频编码的每秒最大比特数。
19. 一种远程呈现端点的能力交互装置,应用于远程呈现端点,其特征在于包括: 交互模块,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中 携带有远程呈现端点能力集,所述远程呈现端点能力集包括:远程呈现端点对称能力集; 处理模块,用于根据所述能力交互的结果打开所述第二远程呈现端点之间的逻辑通 道。
20. 根据权利要求19所述的装置,其特征在于,所述交互模块包括: 第一发送模块,用于向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第 一能力集交互请求中携带有所述远程呈现端点的第一对称能力集; 第一接收模块,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第 二能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集; 第二接收模块,用于接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述 第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和所述第 二远程呈现端点的能力确定的,所述第一逻辑通道请求用于请求所述远程呈现端点打开所 述第二远程呈现端点到所述远程呈现端点之间的前向逻辑通道; 第二发送模块,用于向第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程 呈现端点根据接收到的所述第二对称能力集和所述远程呈现端点的能力,确定第二逻辑通 道请求,其中,所述第二逻辑通道请求用于请求所述第二远程呈现端点打开所述远程呈现 端点至所述第二远程呈现端点之间的前向逻辑通道。
21. 根据权利要求19所述的装置,其特征在于,所述交互模块包括: 第三发送模块,用于向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第 三能力集交互请求中携带有所述远程呈现端点的第一对称能力集; 第三接收模块,用于接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述 第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一对称能力集和所述第 二远程呈现端点的能力确定的,所述第三逻辑通道请求用于请求所述远程呈现端点打开所 述第二远程呈现端点到所述远程呈现端点之间的前向逻辑通道; 第四接收模块,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第 四能力集交互请求中携带有所述第二远程呈现端点的第二对称能力集; 第四发送模块,用于向第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程 呈现端点根据接收到的所述第二对称能力集和所述远程呈现端点的能力,确定第四逻辑通 道请求,其中,所述第四逻辑通道请求用于请求所述第二远程呈现端点打开所述远程呈现 端点至所述第二远程呈现端点之间的前向逻辑通道。
22. 根据权利要求20或21所述的装置,其特征在于,还包括: 第五接收模块,用于在第二发送模块确定所述第二逻辑通道请求之后,接收所述第二 远程呈现端点发送的对应于所述第二逻辑通道请求对应的响应消息;或 第六接收模块,用于在第四发送模块向第二远程呈现端点发送所述第四逻辑通道请求 之后,接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请求对应的响应消息。
23. 根据权利要求20或21所述的装置,其特征在于,还包括: 第五发送模块,用于第二接收模块接收所述第二远程呈现端点发送的第一逻辑通道请 求之后,向所述第二远程呈现端点发送所述第一逻辑通道请求对应的响应消息; 第六发送模块,用于第三接收模块接收所述第二远程呈现端点发送的第三逻辑通道请 求之后,向所述第二远程呈现端点发送所述第三逻辑通道请求对应的响应消息。
24. 根据权利要求20或21所述的装置,其特征在于,还包括: 第五接收模块,用于第一发送模块向所述第二远程呈现端点发送第一能力集交互请求 之后,接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求的响应消息; 第六接收模块,用于第三发送模块向所述第二远程呈现端点发送第三能力集交互请求 之后,接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求的响应消息。
25. 根据权利要求20或21所述的装置,其特征在于,还包括: 第七发送模块,用于在第一接收模块接收第二远程呈现端点发送的第二能力集交互请 求之后,向所述第二远程呈现端点发送对应于所述第二能力集交互请求的响应消息; 第八发送模块,用于在第四接收模块接收第二远程呈现端点发送的第四能力集交互请 求之后,向所述第二远程呈现端点发送对应于所述第四能力集交互请求的响应消息。
26. -种数据流,其特征在于,包括:远程呈现端点能力集,其中所述远程呈现端点能 力集包括:对称能力集,所述对称能力集包括:捕获渲染参数,所述捕获渲染参数包括:通 用参数、视频参数和/或音频参数。
27. 根据权利要求26所述的数据流,其特征在于,所述通用参数包括媒体捕获渲染内 容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获渲染内容 表示媒体捕获和/或渲染的用途;所述场景描述用于提供整体场景的描述。
28. 根据权利要求27所述的数据流,其特征在于,所述场景切换策略用于指示所支持 媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其 中,所述场所切换策略用于指示同时切换全部的捕获渲染,以保证捕获渲染一起来自同一 个端点场所,所述部分切换策略用于指示不同的捕获渲染可以在不同的时间切换,并且来 自相同的和/或不同的远程呈现端点。
29. 根据权利要求27所述的数据流,其特征在于,所述通用空间信息包括场景区域和/ 或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区 域刻度表明了空间信息参数采用的刻度的种类。
30. 根据权利要求27所述的数据流,其特征在于,所述通用编码信息包括全部的最大 带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于 指示捕获渲染端点发送和/或接收到的预设类型的全部码流每秒最大数量的比特率;所述 全部的每秒最大像素数用于表示由端点发送和/或接收到的编码组中全部独立编码的每 秒最大像素数;所述全部的每秒最大宏块数表示由端点发送和/或接收到的全部视频码流 每秒最大宏块数。
31. 根据权利要求26所述的数据流,其特征在于,所述视频参数包括:视频捕获渲染数 量、视频捕获渲染空间信息和/或视频捕获渲染编码信息;所述视频捕获渲染数量用于表 示视频捕获和/或渲染的数量。
32. 根据权利要求31所述的数据流,其特征在于,所述视频捕获渲染空间信息包括捕 获渲染区域、捕获渲染点和/或捕获渲染线上的点,其中,所述捕获渲染区域用于表示该视 频捕获渲染在整体捕获和/或渲染场景中的所处的空间位置;所述捕获渲染点,用于指示 在捕获和/或渲染场景中,视频捕获和/或渲染的位置;所述捕获渲染线上的点,描述了捕 获和/或渲染设备光轴上的第二个点的空间位置,且第一个点为捕获和/或渲染点。
33. 根据权利要求31所述的数据流,其特征在于,所述视频捕获渲染编码信息,包括最 大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大 视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每 秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的 宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高 度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数 表明了最大视频帧率。
34. 根据权利要求26所述的数据流,其特征在于,所述音频参数包括音频捕获渲染数 量、音频捕获渲染空间信息和/或音频捕获渲染编码信息;所述音频捕获渲染数量用于指 示音频捕获渲染的数量。
35. 根据权利要求34所述的数据流,其特征在于,所述音频捕获渲染空间信息包括:捕 获渲染区域和/或捕获渲染点,其中,所述捕获渲染区域,用于表示音频捕获和/或渲染在 整体捕获和/或渲染场景所处的空间位置;所述捕获渲染点,用于表示在捕获和/或渲染场 景中,音频捕获和/或渲染的位置。
36. 根据权利要求34所述的数据流,其特征在于,所述音频捕获渲染编码信息包括:音 频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大 音频带宽,用于指示涉及单一音频编码的每秒最大比特数。
【文档编号】H04N7/15GK104219487SQ201310214098
【公开日】2014年12月17日 申请日期:2013年6月1日 优先权日:2013年6月1日
【发明者】王亮, 叶小阳 申请人:中兴通讯股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1