实现可伸缩视频编码业务同步发送、接收的系统和方法

专利名称：实现可伸缩视频编码业务同步发送、接收的系统和方法
技术领域：
本发明涉及移动多媒体广播系统中传输技术，尤其涉及一种中国移动多媒体广 播系统(CMMB，China Mobile Multimedia Broadcasting)中传送可伸缩视频编码(SVC， Scalable Video Coding)业务时，实现可伸缩视频编码业务同步发送、接收的系统和方法。
背景技术：
随着通信技术的发展，移动多媒体广播技术的应用越来越广。目前，中国移动多媒 体广播系统标准规定了在广播业务频率范围内，移动多媒体广播系统广播信道传输信号的 帧结构、信道编码和调制等。CMMB标准《移动多媒体广播第2部分复用》中规定，采用复用 子帧来封装视频、音频等流媒体数据，进行传送。可伸缩视频编码(SVC，Scalable Video Coding)是一种视频分级编码方式。编码 器对视频内容源进行编码，产生多个层次的码流，基本层码流可以单独解码，增强层码流包 含用于提高低层码流质量的附加信息，需要和包括基本层在内的低层一起解码。SVC技术可 以提供可分级可伸缩的业务，实现有服务质量差别的区分业务、实现各种终端的能力适配， 具有诸多优点，因此，在CMMB系统中传送SVC业务是很有必要的。申请号为200910088679. 3的专利《移动多媒体广播系统中分级传送、接收方法与 装置》，给出了一种在CMMB中实现SVC传送的方法，根据该方法，可以将SVC视频业务中的 基本层码流和增强层码流进行分层传送，将基本层码流和增强层码流按其所属的层分别封 装于广播信道帧中的不同复用子帧中，同时将所述视频流各层码流所在的复用子帧的位置 信息封装于所述广播信道帧中并发送至接收端。在终端，监听广播信道帧中视频业务中视 频流的各层码流所在的复用子帧的位置信息，接收终端根据自身的视频流处理能力接收基 本层码流，或接收基本层码流及对应的增强层码流，对基本层码流、或基本层码流及对应的 增强层码流进行解码，输出基本层码流的视频数据、或基本层码流与增强层码流合并后的 视频数据。SVC各个分层分开在不同的复用子帧传送，各分层的同步、协同是必须解决的问 题。当各层码流所在的复用子帧所属的复用帧不同时，如何进行同步是一个必须解决阿的 问题。SVC视频中，特定一个时间点上的接入单元比如一视频帧，可被编码到多个分层 中，它们被分开在不同的复用子帧传送；在终端侧，需要将通过不同的复用子帧传输来的不 同分层的编码单元合并，如将同一视频帧的多个分层合并起来，然后进行视频解码展现。在 合并时，各分层编码单元必须同步，才能保证参与合并的是同一接入单元的编码单元，保证 合并的成功，合并成功才能保证后续解码展现成功。本发明需要解决的，就是在CMMB中传送SVC分层业务时，如何保证上述多个SVC 分层之间的同步。

发明内容
本发明要解决的技术问题是在CMMB中传送SVC分层业务时，提供一种实现SVC视 频同步发送、接收的系统和方法，保证分开在不同的复用子帧中传送的SVC分层数据之间 的同步，从而保证CMMB中SVC业务的正常实施。为了解决上述问题，本发明提供了一种移动多媒体广播中实现可伸缩视频编码业 务同步发送的方法，包括将视频业务编码生成多路媒体流，将所述多路媒体流以媒体单元为单位分别封装 在广播信道帧中的不同复用子帧中，所述复用子帧中还携带该复用子帧中封装的各媒体单 元的移动多媒体广播时间戳，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并 将所述媒体流所在的复用子帧的位置信息封装于所述广播信道帧中，将所述广播信道帧发 送至接收终端，所述媒体流包括所述视频业务的视频流编码生成的基本层码流及其对应的 增强层码流，或者，包括视频业务的音频流、视频业务的视频流编码生成的基本层码流及其 对应的增强层码流。进一步的，上述方法还可具有以下特点，按如下方式将所述媒体流封装到所述复 用子帧中将所述多路媒体流封装为多路实时传输协议(RTP)码流，其中，每路RTP码流伴随 一路实时传输控制协议(RTCP)码流，且所述RTCP码流保证同一采样时刻的媒体流的网络 时间协议(NTP)时间同步；提取所述RTP码流中封装的媒体流，将所述媒体流以媒体单元为单位分别封装在 广播信道帧中的不同复用子帧中，将所述媒体流的RTP时间戳转换为NTP时间，再将NTP时 间转换为统一时间基准下的移动多媒体广播时间戳，将所述移动多媒体广播时间戳封装到 其对应的媒体单元所在的复用子帧中。进一步的，上述方法还可具有以下特点，按如下方式将RTP时间戳转换为移动多 媒体广播时间戳对每一媒体单元，取出其所在RTP包的RTP时间戳，结合其所在RTP码流对应的 RTCP码流传送的RTCP包的有关时间信息，计算该媒体单元的NTP时间；将该媒体单元的NTP时间与移动多媒体广播时间刻度相乘，得到所述媒体单元的 移动多媒体广播时间戳。进一步的，上述方法还可具有以下特点，所述同一采样时刻的媒体流的移动多媒 体广播时间戳同步是指同一采样时刻的媒体流的移动多媒体广播时间戳值之间的差值在 预设的时间戳容差值范围内。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务同步发送的系统， 所述系统包括编码设备和前端发送设备，其中所述编码设备，用于将视频业务编码生成多路媒体流；所述媒体流包括所述视频 业务的视频流编码生成的基本层码流及其对应的增强层码流，或者，包括所述视频业务的 音频流、所述视频业务的视频流编码生成的基本层码流及其对应的增强层码流；所述前端发送设备，用于将所述媒体流以媒体单元为单位分别封装在广播信道帧 中的不同复用子帧中，将该复用子帧中封装的各媒体单元的移动多媒体广播时间戳封装在 所述复用子帧中，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并将所述媒体流所在的复用子帧的位置信息封装于所述广播信道帧中，将所述广播信道帧发送至接收终端。进一步的，上述系统还可具有以下特点，所述编码设备包括编码单元和封装单元， 其中所述编码单元，用于将视频业务编码生成多路媒体流；所述封装单元，用于将所述多路媒体流封装为多路实时传输协议(RTP)码流，其 中，每路RTP码流伴随一路实时传输控制协议(RTCP)码流，且所述RTCP码流保证同一采样 时刻的媒体流的网络时间协议(NTP)时间同步；所述前端发送设备包括第一封装单元，第二封装单元、转换单元，第三封装单元和 发送单元，其中第一封装单元，用于提取所述RTP码流中封装的媒体流，将所述媒体流以媒体单 元为单位分别封装在广播信道帧中的不同复用子帧中；所述第二封装单元，用于将所述媒体流所在的复用子帧的位置信息封装在所述广 播信道帧中；所述转换单元，用于将所述媒体流的RTP时间戳转换为NTP时间，再将NTP时间转 换为统一时间基准下的移动多媒体广播时间戳；所述第三封装单元，用于将所述移动多媒体广播时间戳封装到其对应的媒体单元 所在的复用子帧中；所述发送单元，用于将所述广播信道帧发送至接收终端。进一步的，上述系统还可具有以下特点，所述转换单元包括第一转换单元和第二 转换单元，其中所述第一转换单元，用于对每一媒体单元，取出其所在RTP包的RTP时间戳，结合 其所在RTP码流对应的RTCP码流传送的RTCP包的有关时间信息，计算该媒体单元的NTP 时间；所述第二转换单元，用于将所述媒体单元的NTP时间与移动多媒体广播时间刻度 相乘，得到所述媒体单元的移动多媒体广播时间戳。进一步的，上述系统还可具有以下特点，所述同一采样时刻的媒体流的移动多媒 体广播时间戳同步是指同一采样时刻的媒体流的移动多媒体广播时间戳值之间的差值在 预设的时间戳容差值范围内。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务接收方法，包括接收终端监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位
直fe息；接收终端根据自身的视频流处理能力接收基本层码流，或者，接收基本层码流及 对应的增强层码流；当接收基本层码流及对应的增强层码流时，将各层码流按照移动多媒体广播时间 戳对齐合并后，对基本层码流及对应的增强层码流进行解码，输出基本层码流与增强层码 流合并后的视频数据。进一步的，上述方法还可具有以下特点，所述接收基本层码流及对应的增强层码 流，将各层码流按照移动多媒体广播时间戳对齐合并包括接收终端将接收基本层码流和增强层码流，存入缓冲区中；
从缓冲区中取出属于一个视频接入单元的基本层码流数据，以所述基本层码流数 据的移动多媒体广播时间戳为基准，取出与所述基本层码流数据的移动多媒体广播时间戳 同步的增强层码流数据，将其作为同一视频接入单元的数据合并。进一步的，上述方法还可具有以下特点，所述与所述基本层码流数据的移动多媒 体广播时间戳同步的增强层码流数据是指，与所述基本层码流数据的移动多媒体广播时间 戳的差值在预设的时间戳容差值范围内的增强层码流数据。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务接收装置，包括监听单元，监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位
置信息；接收单元，根据自身的视频流处理能力接收基本层码流，或者，接收基本层码流及 对应的增强层码流；对齐合并单元，用于将各层码流按照移动多媒体广播时间戳对齐合并；解码单元，对基本层码流及对应的增强层码流进行解码，输出基本层码流与增强 层码流合并后的视频数据。进一步的，上述装置还可具有以下特点，所述接收单元，还用于将接收到的基本层 码流和增强层码流存入缓冲区中；所述对齐合并单元，用于从缓冲区中取出属于一个视频接入单元的基本层码流 数据，以所述基本层码流数据的移动多媒体广播时间戳为基准，取出与所述基本层码流数 据的移动多媒体广播时间戳同步的增强层码流数据，将其作为同一视频接入单元的数据合 并。进一步的，上述装置还可具有以下特点，所述取出与所述基本层码流数据的移动 多媒体广播时间戳同步的增强层码流数据是指，取出与所述基本层码流数据的移动多媒体 广播时间戳之间的差值在预设的时间戳容差值范围内的增强层码流数据。本发明所述方法，在不同分层的SVC数据中打上同步的CMMB广播时间戳，保证了 不同分层数据之间的同步。


图1为CMMB信道帧的组成结构示意图；图2为本发明所述系统示意图；图3为本发明所涉及的广播信道帧的组成结构示意图；图4为本发明所涉及的终端处理功能示意图，图中SVC视频帧合成时，参与合成的 基本层视频单元和增强层视频单元必须保持同步。
具体实施例方式本发明的基本思想是，在同一采样时刻的音频流、基本层码流和对应的增强层码 流上打上同步的CMMB时间戳，从而实现SVC业务同步。本发明提供一种移动多媒体广播中实现可伸缩视频编码业务同步发送的方法，包 括将视频业务编码生成多路媒体流，将所述多路媒体流以媒体单元为单位分别封装在广播信道帧中的不同复用子帧中，所述复用子帧中还携带该复用子帧中封装的各媒体单 元的移动多媒体广播时间戳，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并 将所述媒体流所在的复用子帧的位置信息封装于所述广播信道帧中，将所述广播信道帧发 送至接收终端，所述媒体流包括视频流编码生成的基本层码流及其对应的增强层码流，或 者，包括音频流、视频流编码生成的基本层码流及其对应的增强层码流。其中，按如下方式将所述媒体流封装到所述复用子帧中将所述多路媒体流封装为多路实时传输协议(RTP)码流，其中，每路RTP码流伴随 一路实时传输控制协议(RTCP)码流，且所述RTCP码流保证同一采样时刻的媒体流的网络 时间协议(NTP)时间同步；提取所述RTP码流中封装的媒体流，将所述媒体流以媒体单元为单位分别封装在 广播信道帧中的不同复用子帧中，将所述媒体流的RTP时间戳转换为NTP时间，再将NTP时 间转换为统一时间基准下的移动多媒体广播时间戳，将所述移动多媒体广播时间戳封装到 其对应的媒体单元所在的复用子帧中。其中，按如下方式将RTP时间戳转换为移动多媒体广播时间戳对每一媒体单元，取出其所在RTP包的RTP时间戳，结合其所在RTP码流对应的 RTCP码流传送的RTCP包的有关时间信息，计算该媒体单元的NTP时间；将该媒体单元的NTP时间与移动多媒体广播时间刻度相乘，得到所述媒体单元的 移动多媒体广播时间戳。其中，所述媒体单元的移动多媒体广播时间戳包括起始播放时间和每个媒体单元 对应的相对播放时间两部分。同一复用子帧内，各媒体单元的起始播放时间相同。其中，所述同一采样时刻的媒体流的移动多媒体广播时间戳同步是指同一采样 时刻的媒体流的移动多媒体广播时间戳值之间的差值在预设的时间戳容差值范围内。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务同步发送的系统， 所述系统包括编码设备和前端发送设备，其中所述编码设备，用于将视频业务编码生成多路媒体流；所述媒体流包括视频流编 码生成的基本层码流及其对应的增强层码流，或者，包括音频流、视频流编码生成的基本层 码流及其对应的增强层码流；所述前端发送设备，用于将所述媒体流以媒体单元为单位分别封装在广播信道帧 中的不同复用子帧中，将该复用子帧中封装的各媒体单元的移动多媒体广播时间戳封装在 所述复用子帧中，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并将所述媒体 流所在的复用子帧的位置信息封装于所述广播信道帧中，将所述广播信道帧发送至接收终端。其中，所述编码设备包括编码单元和封装单元，其中所述编码单元，用于将视频业务编码生成多路媒体流；所述封装单元，用于将所述多路媒体流封装为多路实时传输协议(RTP)码流，其 中，每路RTP码流伴随一路实时传输控制协议(RTCP)码流，且所述RTCP码流保证同一采样 时刻的媒体流的网络时间协议(NTP)时间同步；所述前端发送设备包括第一封装单元，第二封装单元、转换单元，第三封装单元和 发送单元，其中
第一封装单元，用于提取所述RTP码流中封装的媒体流，将所述媒体流以媒体单 元为单位分别封装在广播信道帧中的不同复用子帧中；所述第二封装单元，用于将所述媒体流所在的复用子帧的位置信息封装在所述广 播信道帧中；所述转换单元，用于将所述媒体流的RTP时间戳转换为NTP时间，再将NTP时间转 换为统一时间基准下的移动多媒体广播时间戳；所述第三封装单元，用于将所述移动多媒体广播时间戳封装到其对应的媒体单元 所在的复用子帧中；所述发送单元，用于将所述广播信道帧发送至接收终端。其中，所述转换单元包括第一转换单元和第二转换单元，其中所述第一转换单元，用于对每一媒体单元，取出其所在RTP包的RTP时间戳，结合 其所在RTP码流对应的RTCP码流传送的RTCP包的有关时间信息，计算该媒体单元的NTP 时间；所述第二转换单元，用于将所述媒体单元的NTP时间与移动多媒体广播时间刻度 相乘，得到所述媒体单元的移动多媒体广播时间戳。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务接收方法，包括接收终端监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位
直fe息；接收终端根据自身的视频流处理能力接收基本层码流，或者，接收基本层码流及 对应的增强层码流；当接收基本层码流及对应的增强层码流时，将各层码流按照移动多媒体广播时间 戳对齐合并后，对基本层码流及对应的增强层码流进行解码，输出基本层码流与增强层码 流合并后的视频数据。其中，所述接收基本层码流及对应的增强层码流，将各层码流按照移动多媒体广 播时间戳对齐合并包括接收终端将接收基本层码流和增强层码流，存入缓冲区中；从缓冲区中取出属于一个视频接入单元的基本层码流数据，以所述基本层码流数 据的移动多媒体广播时间戳为基准，取出与所述基本层码流数据的移动多媒体广播时间戳 同步的增强层码流数据，将其作为同一视频接入单元的数据合并。其中，所述与所述基本层码流数据的移动多媒体广播时间戳同步的增强层码流数 据是指，增强层码流数据的移动多媒体广播时间戳与所述基本层码流数据的移动多媒体广 播时间戳之间的差值在预设的时间戳容差值范围内。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务接收装置，包括监听单元，监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位
直fe息； 接收单元，根据自身的视频流处理能力接收基本层码流，或者，接收基本层码流及 对应的增强层码流；对齐合并单元，用于将各层码流按照移动多媒体广播时间戳对齐合并；解码单元，对基本层码流及对应的增强层码流进行解码，输出基本层码流与增强层码流合并后的视频数据。其中，所述接收单元，还用于将接收到的基本层码流和增强层码流存入缓冲区 中；所述对齐合并单元，用于从缓冲区中取出属于一个视频接入单元的基本层码流 数据，以所述基本层码流数据的移动多媒体广播时间戳为基准，取出与所述基本层码流数 据的移动多媒体广播时间戳同步的增强层码流数据，将其作为同一视频接入单元的数据合 并。其中，所述取出与所述基本层码流数据的移动多媒体广播时间戳同步的增强层码 流数据是指，取出与所述基本层码流数据的移动多媒体广播时间戳之间的差值在预设的时 间戳容差值范围内的增强层码流数据。本发明提供了一种实现可伸缩视频编码业务多个分层同步的系统，包括编码设 备、前端发送设备和终端，其中所述编码设备，用于对视频源进行编码，产生包含基本层和若干增强层的SVC码 流，多个分层的SVC码流封装为多路RTP (实时传输协议)码流后发出，对于每一路RTP码 流，伴随一路RTCP (实时传输控制协议)码流，所述RTCP码流用于保证基本层内音视频业 务在NTP(网络时间协议)上的同步，和多个分层的SVC业务在NTP(网络时间协议)时间 上的同步，即保证同一采样时刻基本层码流和对应的增强层码流在NTP时间上的同步，如 果存在音频流，还要保证同一采样时刻的音频流与基本层码流和对应的增强层码流在NTP 时间上的同步。所述前端发送设备，用于接收编码设备发出的RTP码流和RTCP码流，从RTP码流 中提取出SVC基本层码流和增强层码流，将SVC基本层码流和增强层码流按其所属的层以 视频单元为单位分别封装于广播信道帧中的不同复用子帧中，复用子帧中还携带该复用子 帧中封装的各视频单元的CMMB广播时间戳，同时将所述视频流各层码流所在的复用子帧 的位置信息封装于所述广播信道帧中。在此设备上，将媒体数据的RTP时间戳转换成统一 时间基准下的CMMB广播时间戳，控制SVC各分层业务在CMMB广播时间戳上的同步，将需要 发送的媒体数据连同该媒体数据的CMMB广播时间戳一起广播发送。所述终端，用于监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧 的位置信息，并根据自身的视频流处理能力接收基本层码流，或接收基本层码流及对应的 增强层码流。将不同分层的编码单元按CMMB广播时间戳同步后进行合并，然后进行视频解 码展现。本发明还提供了一种实现可伸缩视频编码业务多个分层同步的方法，包括编码设备将编码生成的多个分层的SVC码流封装为多路RTP码流后发出，对于每 一路RTP码流，伴随一路RTCP码流。RTCP码流保证同一采样时刻上的基本层SVC数据、增 强层SVC数据以及音频数据在NTP时间上的同步；前端发送设备接收编码设备发出的RTP码流和RTCP码流，从RTP码流中提取出所 封装的SVC业务数据，将SVC基本层码流和增强层码流按其所属的层分别封装于广播信道 帧中的不同复用子帧中，同时将所述视频流各层码流所在的复用子帧的位置信息封装于所 述广播信道帧中。在此设备上，将媒体数据的RTP时间戳转换成统一时间基准下的CMMB广 播时间戳，控制SVC各分层业务在CMMB广播时间戳上的同步，将需要发送的媒体数据连同该媒体数据的CMMB广播时间戳一起广播发送。终端监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位置信 息，并根据自身的视频流处理能力接收基本层码流，或接收基本层码流及对应的增强层码 流，将不同分层的编码单元按CMMB广播时间戳对齐，同步后进行合并，然后进行视频解码 展现。前端发送设备上，SVC各分层业务在CMMB广播时间戳上的同步，按以下方法进行对于SVC各分层所对应的每一复用子帧，Al、接收输入的RTP和RTCP流，根据视频单元所对应的RTP包、RTP包所在RTP码 流所对应的RTCP码流传送的RTCP包的有关时间信息，计算该视频单元对应的NTP时间；Bi、对于每个视频单元，直接用上述NTP时间乘上CMMB时间刻度，对结果根据CMMB 广播时间戳最大位数取整，得到该视频单元的CMMB广播时间戳。对于每一复用子帧，针对将封装到该复用子帧的所有带时间戳的媒体单元，取一 个起始播放时间，将各视频单元的CMMB广播时间戳分解为复用子帧的起始播放时间和每 个单元对应的相对播放时间两部分，把起始播放时间和每个单元对应的相对播放时间封装 到复用子帧中。步骤Bl中所述CMMB时间刻度，表示每秒发生的CMMB时间单位数，根据CMMB标准 《移动多媒体广播第2部分复用》，CMMB时间刻度为22500。该标准规定的CMMB广播时间 戳最大位数为32位。CMMB广播时间戳类似于RTP时间戳，是一种相对时间戳。复用子帧内的起始播放 时间指示了该复用子帧内的各音频单元或视频单元的播放时间基准，各音频单元或视频单 元的相对播放时间指示了该复用子帧内的各音频单元或视频单元的播放时间相对于起始 播放时间的偏移，根据起始播放时间和相对播放时间可以确定一个复用子帧内各音频单元 或视频单元播放的相对时间关系。但是，当如SVC这样的业务用多路复用子帧流来传输时， 由于CMMB广播时间戳是一种单路复用子帧流内适用的相对时间戳，多路复用子帧流之间 的复用子帧其时间戳缺乏共同的基准，缺乏针对以多路复用子帧流来传输的SVC业务的时 间戳的起始基准，从而多路复用子帧流之间无法实现同步。本发明通过直接用NTP时间乘上CMMB时间刻度换算出视频单元对应的CMMB广播 时间戳，由于同一采样时刻的视频单元其NTP时间同步，从而可以确保同一采样时刻的视 频单元其CMMB广播时间戳同步。该CMMB广播时间戳可以用起始播放时间和相对播放时间 联合进行表示，同一复用子帧内的起始播放时间相同，不同复用子帧的起始播放时间可以 相同或不同。本发明中，可以用所处理的第一个复用子帧内的第一个视频单元的NTP时间确定 SVC业务的CMMB广播时间戳起始值(也可使用其他时间作为CMMB广播时间戳起始值)，并 通过该转换方法确定了后续视频单元的CMMB广播时间戳。本发明中，以这样一种易于实行的方法，建立了以多路复用子帧流来传输的SVC 业务的共同时间戳基准，同一个业务的多路复用子帧内的各视频单元，其根据上述方法换 算出的CMMB广播时间戳，相对于上述CMMB广播时间戳起始值的偏差，确定了该单元相对于 CMMB广播时间戳起始值的播放时间偏移。本发明可以保证同一 NTP时间点上的SVC各分层 业务数据在CMMB广播时间戳的统一，从而提供了 SVC不同分层之间同步的保证手段。
根据本方法，SVC各分层所对应的每一复用子帧可独立处理，相互之间没有耦合依赖。对于上述方法，当SVC分层流内传送的数据除了视频数据外，还包含音频数据时， 音频数据的时间戳按与视频数据同样的方法处理。终端上，SVC各分层业务的同步按以下方法进行A2、将所接收到的SVC各分层业务数据连同其对应的时间戳放入缓冲区，该缓冲 区可以为一个，也可以为每一分层一个，缓冲区大小应能容纳各分层数据的传输时间差。由 于某些原因，同一时刻的SVC分层数据不能完全保证同时收到，设各分层业务数据的接收 时刻差的门限值为Td，缓冲区应能容纳Td时间范围内的SVC所有分层的数据；B2、在特定时刻，如特定间隔的解码时刻，从缓冲区取待合并的数据，对齐合并。先 取属于一个视频接入单元的基本层数据，以基本层数据的时间戳为基准，取出与基本层数 据时间戳对应的增强层数据，将其作为同一视频接入单元的数据合并。在步骤B2中，由于某种原因，编码设备发出的RTP、RTCP所携带的时间信息，可能 不能保证同一采样时刻上的基本层数据、增强层数据以及音频数据在NTP时间上的完全一 致，这样在前端设备上转换出的CMMB广播时间戳也就不能完全一致，而可能有一个小的偏 差，终端根据基本层数据的时间戳来找对应的增强层数据时，也设一个时间戳容差值。为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例，对本发明进一 步详细说明。图2为本发明所述系统示意图。编码设备将SVC视频编码为基本层码流和至少一个增强层码流，基本层码流可以 单独解码，增强层码流包含用于提高低层码流质量的附加信息，需要和包括基本层在内的 低层一起解码。在时间线上，视频数据以视频接入单元为基本单位，典型的视频接入单元如一个 视频帧。在SVC方式下，特定时间点上的一个视频接入单元可被编码为多个层的数据，该 多个层的数据可以被分为多路进行传输；接收终端根据需要，可同时接收多路传输的多个 层的数据，将其按所属的视频接入单元进行合并，解码展现。本实施例中，假设编码设备 为H264SVC编码器，其编码输出视频数据基本单元为NALU(Network Abstraction Layer Unit,网络抽象层单元)，同一时间点上的若干NALU组成一个视频接入单元。为便于描述，本实施例中，假设广播业务包含了 SVC视频和一路音频，SVC视频 采用空间分层模式，被编码为一路QVGA(QuarterVGA，320X240像素图像)基本流和一路 VGA (Video Graphic Array，640X480像素图像)增强视频流，音频被编码为一路音频流。需 要说明的是，本发明所述方法同样适用于多路增强流及其它SVC编码模式的情况。编码设备将编码生成的基本层码流、增强层码流以及音频流各自封装为一路RTP 码流后发出。对于每一路RTP码流，伴随发送一路RTCP码流。每路RTP码流的时间戳可以 不相互依赖，具有各自独立的RTP时间刻度和初始时间戳，时间刻度表示1秒内媒体的时间 单位数。通过RTCP，来保证同一采样时刻上的基本层SVC数据、增强层SVC数据以及音频数 据在NTP时间上的同步。例如，音频的时间刻度为48000，视频的时间刻度为90000。对于某 个视频接入单元，基本层数据封装在基本流的RTP包中后，RTP时间戳可以是Tbase，增强层 数据封装在增强流的RTP包中后，RTP时间戳可以是Text，与其同步时刻上的音频RTP包时间戳可以为Raudio。但这几路RTP码流各自对应的RTCP码流，RTCP报文中的SR(发送者 报告)里携带了参考NTP时间和对应的参考RTP时间戳，应保证同一采样时刻上的基本层 SVC数据、增强层SVC数据以及音频数据在NTP时间上的同步，即上述Tbase、Text、Taudio 各自所对应的NTP时间应该一致。为了实现的灵活性，此处的“NTP时间应该一致”，可以是 Tbase、Text、Taudi0各自所对应的NTP时间近似相等，允许有一个偏差值，该偏差值可以根 据需要而定。前端发送设备接收编码设备发出的RTP码流和RTCP码流，从RTP码流中提取出所 封装的SVC业务数据，将基本层码流和增强层码流按其所属的层分别封装于广播信道帧中 的不同复用子帧中，同时将所述视频流各层码流所在的复用子帧的位置信息封装于所述广 播信道帧中。图3为本发明广播信道帧的组成结构示意图。如图3所示，某频点F上有40个时 隙，其中时隙0(复用帧0)用于传送控制信息，时隙1至时隙39用于传送业务信息。前端 发送设备将视频业务S中的视频基本层码流、音频以及数据信息配置为复用帧1中，占用时 隙1至时隙4，复用子帧号为1。视频增强层码流配置为复用帧2，占用时隙5至时隙6，复 用子帧号为1。复用帧1和复用帧2中不再传输其他业务。在业务的控制信息和电子业务 指南(ESG，Electronic Service Guide)信息中添加承载各层码流(基本层码流及其对应 的各增强层码流)的复用帧位置的描述信息，该描述信息标明视频业务S包含两个复用子 帧复用帧1的复用子帧1为业务基本层码流数据，复用帧2的复用子帧1为增强层码流数 据。前端发送设备获取视频业务S的基本层码流VI，封装到复用帧1的复用子帧1中， 获取视频业务S的增强层码流V2，封装到复用帧2的复用子帧1中。前端发送设备获取视 频业务S的音频码流及数据段信息，添加到复用帧1的复用子帧1中，即与基本层码流一起 承载于同一个复用子帧中。各层码流的复用帧位置的描述信息承载于广播信道帧中的复用 帧0中，以指示接收终端各层码流的复用帧位置，以方便其接收视频业务S。音视频数据封装到复用子帧中时，是以一个个音频单元或视频单元为单位进行封 装的。对于每个音频单元或视频单元，都有一个对应的CMMB广播时间戳，根据CMMB标准， 该时间戳为复用子帧内的起始播放时间和每个单元对应的相对播放时间组合而成。起始播 放时间和每个单元对应的相对播放时间也封装在复用子帧内，与媒体数据一同发送。在前端发送设备上，需要将所接收的媒体数据的RTP时间戳转换成CMMB广播时间 戳，在此过程中控制同一采样时刻上SVC各分层业务在CMMB广播时间戳上的同步。前端发送设备上，SVC各分层业务在CMMB广播时间戳上的同步，按以下方法进行对于SVC各分层所对应的每一复用子帧A、接收输入的RTP和RTCP流，对于每一视频单元，取出其所在RTP包的RTP时间 戳，结合其所在RTP码流所对应的RTCP码流传送的RTCP包的有关时间信息，计算该视频单 元对应的NTP时间；B、直接用NTP时间乘上CMMB时间刻度，得到该视频单元的CMMB广播时间戳。对 复用子帧，取一个起始播放时间，将视频单元的CMMB广播时间戳分解为起始播放时间和每 个单元对应的相对播放时间两部分，把起始播放时间和每个单元对应的相对播放时间封装 到复用子帧里去。
14
步骤A中视频单元对应的NTP时间的计算可以采用以下方法(1)对于每一视频单元，取出其所在RTP包的RTP时间戳，从对应的RTCP报文里取 出SR(发送者报告)里携带的参考NTP时间和对应的参考RTP时间戳；(2)用RTP包里的RTP时间戳和对应的RTCP码流里的参考RTP时间戳做差值，再 除以timescale (时间刻度)，得到一个参考绝对时间差，用这个差值再加上参考NTP时间， 就得到RTP包对应的NTP时间，亦即视频单元对应的NTP时间。
NTP时间-Irtp时间戳-参考RTP时间戳I +参考NTm间公式(1 )
timescale上述timescale为RTP媒体本身的时标或称时间刻度或称时间尺度，表示1秒内 媒体的时间单位数，媒体不同时间单位可以不同，如RTP视频，常用90000Hz的时钟为时 间单位，1秒钟内的时钟数90000就是视频的timescale ；音频常用采样率为时间单位，其 timescale就是1秒内的采样数，如采样率为48000/秒，则1秒内的采样数48000即为音频 的 timescale。步骤B中所述CMMB时间刻度，表示每秒发生的CMMB时间单位数，根据CMMB标准 《移动多媒体广播第2部分复用》，为22500。根据本方法，SVC各分层所对应的每一复用子帧可独立处理，相互之间没有耦合依 赖。CMMB标准并没有规定，业务的CMMB广播时间戳的起始值如何确定(复用子帧内的起 始播放时间是针对每个复用子帧而不是针对业务的)，通过多路复用子帧传输的SVC分层 数据之间，并没有一个现有的保证同步的方法。本方法通过直接用NTP时间乘上CMMB时间 刻度换算出SVC视频单元对应的CMMB广播时间戳，用所处理的第一个复用子帧内的第一个 SVC视频单元的NTP时间确定了业务的CMMB广播时间戳起始值，并通过该转换方法确定了 后续SVC视频单元的CMMB广播时间戳。对于本实施例，对于某个视频接入单元，基本层数 据RTP时间戳为Tbase，增强层数据RTP时间戳为Text，与其同步时刻上的音频RTP时间 戳Raudio，编码器发出的RTCP报文，保证Tbase、Text、Taudi0各自所对应的NTP时间一致 (各自所对应的NTP时间相等或近似相等，允许有一个小的偏差值)，通过本发明所述方法 处理之后，视频流的基本层数据、增强层数据以及同步点上的音频数据，在封装到复用子帧 中去的时候，其对应的CMMB广播时间戳是一致的(相等或近似相等，允许有一个小的偏差 值)，尽管它们被封装在不同的复用子帧，复用子帧是各自独立处理的。本方法可以保证同 一时间点上的SVC各分层业务数据在CMMB广播时间戳的统一，从而提供了 SVC不同分层之 间同步的保证手段。如图4所示，终端上接收时，终端监听广播信道帧中的复用帧0，接收控制信息及 ESG信息，以正确接收多媒体广播业务，同时监听到的，还包括SVC业务中各层码流所在的 复用子帧的位置信息。终端根据自身需要，如其视频流处理能力或网络传输状况，决定接收 基本层码流，或接收基本层码流及对应的增强层码流。本实施例中，设终端为一个可以处理 VGA视频的上网本，需要同时接收QVGA的基本流和VGA的增强流来做处理，解码展现VGA视 频。终端接收到从不同复用子帧传来的基本流和增强流后，将视频单元从复用子帧中提取 出来，解析出H264基本编码单元NALU，将属于不同分层的NALU按CMMB广播时间戳对齐、同 步，之后将属于同一个视频接入单元的NALU进行合并，然后进行视频解码展现。
终端上，SVC各分层业务的同步按以下方法进行A、每一个视频单元，都有对应的CMMB广播时间戳，该时间戳为复用子帧内的起始 播放时间和每个视频单元对应的相对播放时间组合而成。将视频单元所包含的NALU数据 连同其对应的时间戳放入缓冲区，缓冲区可以是基本层、增强层各自独立的。由于某些原 因，同一时刻的SVC分层数据不能完全保证同时收到，设各分层业务数据的接收时刻差的 门限值为Td，即允许属于同一视频接入单元的数据，最早收到的数据与最晚收到的数据之 间的时间差为Td，则缓冲区应能容纳Td时间范围内的SVC所有分层的数据；B、每隔一个固定时间间隔，终端就从前述缓冲区取一个视频接入单元，将视频接 入单元不同分层的NALU数据对齐合并后，送入解码器。为保证解码器平滑处理，可以在缓 冲区数据不少于前述的Td时间的容差数据后才开始进行第一次取数据的操作。先取属于 一个视频接入单元的基本层数据，以基本层数据的时间戳为基准，取出与基本层数据时间 戳对应的增强层数据，将其作为同一视频接入单元的数据，和基本层数据合并，将合并后的 数据作为一个完整的视频接入单元，送入解码器解码。在步骤B中，由于某种原因，编码设备发出的RTP、RTCP所携带的时间信息，可能 不能保证同一采样时刻上的基本层数据、增强层数据以及音频数据在NTP时间上的完全一 致，这样在前端设备上转换出的CMMB广播时间戳也就不能完全一致，而可能有一个小的偏 差，终端根据基本层数据的时间戳来找对应的增强层数据时，也设一个时间戳容差值。本发明不仅仅适用于CMMB系统，也适合其他移动多媒体广播系统。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
权利要求
一种移动多媒体广播中实现可伸缩视频编码业务同步发送的方法，其特征在于，包括将视频业务编码生成多路媒体流，将所述多路媒体流以媒体单元为单位分别封装在广播信道帧中的不同复用子帧中，所述复用子帧中还携带该复用子帧中封装的各媒体单元的移动多媒体广播时间戳，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并将所述媒体流所在的复用子帧的位置信息封装于所述广播信道帧中，将所述广播信道帧发送至接收终端，所述媒体流包括所述视频业务的视频流编码生成的基本层码流及其对应的增强层码流，或者，包括视频业务的音频流、视频业务的视频流编码生成的基本层码流及其对应的增强层码流。
2.如权利要求1所述的方法，其特征在于，按如下方式将所述媒体流封装到所述复用 子帧中将所述多路媒体流封装为多路实时传输协议(RTP)码流，其中，每路RTP码流伴随一路 实时传输控制协议(RTCP)码流，且所述RTCP码流保证同一采样时刻的媒体流的网络时间 协议(NTP)时间同步；提取所述RTP码流中封装的媒体流，将所述媒体流以媒体单元为单位分别封装在广播 信道帧中的不同复用子帧中，将所述媒体流的RTP时间戳转换为NTP时间，再将NTP时间转 换为统一时间基准下的移动多媒体广播时间戳，将所述移动多媒体广播时间戳封装到其对 应的媒体单元所在的复用子帧中。
3.如权利要求2所述的方法，其特征在于，按如下方式将RTP时间戳转换为移动多媒体 广播时间戳对每一媒体单元，取出其所在RTP包的RTP时间戳，结合其所在RTP码流对应的RTCP 码流传送的RTCP包的有关时间信息，计算该媒体单元的NTP时间；将该媒体单元的NTP时间与移动多媒体广播时间刻度相乘，得到所述媒体单元的移动 多媒体广播时间戳。
4.如权利要求1所述的方法，其特征在于，所述同一采样时刻的媒体流的移动多媒体 广播时间戳同步是指同一采样时刻的媒体流的移动多媒体广播时间戳值之间的差值在预 设的时间戳容差值范围内。
5.一种移动多媒体广播中实现可伸缩视频编码业务同步发送的系统，其特征在于，所 述系统包括编码设备和前端发送设备，其中所述编码设备，用于将视频业务编码生成多路媒体流；所述媒体流包括所述视频业务 的视频流编码生成的基本层码流及其对应的增强层码流，或者，包括所述视频业务的音频 流、所述视频业务的视频流编码生成的基本层码流及其对应的增强层码流；所述前端发送设备，用于将所述媒体流以媒体单元为单位分别封装在广播信道帧中的 不同复用子帧中，将该复用子帧中封装的各媒体单元的移动多媒体广播时间戳封装在所述 复用子帧中，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并将所述媒体流所 在的复用子帧的位置信息封装于所述广播信道帧中，将所述广播信道帧发送至接收终端。
6.如权利要求5所述的系统，其特征在于，所述编码设备包括编码单元和封装单元，其中所述编码单元，用于将视频业务编码生成多路媒体流；所述封装单元，用于将所述多路媒体流封装为多路实时传输协议(RTP)码流，其中，每 路RTP码流伴随一路实时传输控制协议(RTCP)码流，且所述RTCP码流保证同一采样时刻 的媒体流的网络时间协议(NTP)时间同步；所述前端发送设备包括第一封装单元，第二封装单元、转换单元，第三封装单元和发送 单元，其中第一封装单元，用于提取所述RTP码流中封装的媒体流，将所述媒体流以媒体单元为 单位分别封装在广播信道帧中的不同复用子帧中；所述第二封装单元，用于将所述媒体流所在的复用子帧的位置信息封装在所述广播信 道帧中；所述转换单元，用于将所述媒体流的RTP时间戳转换为NTP时间，再将NTP时间转换为 统一时间基准下的移动多媒体广播时间戳；所述第三封装单元，用于将所述移动多媒体广播时间戳封装到其对应的媒体单元所在 的复用子帧中；所述发送单元，用于将所述广播信道帧发送至接收终端。
7.如权利要求6所述的系统，其特征在于，所述转换单元包括第一转换单元和第二转换单元，其中所述第一转换单元，用于对每一媒体单元，取出其所在RTP包的RTP时间戳，结合其所 在RTP码流对应的RTCP码流传送的RTCP包的有关时间信息，计算该媒体单元的NTP时间；所述第二转换单元，用于将所述媒体单元的NTP时间与移动多媒体广播时间刻度相 乘，得到所述媒体单元的移动多媒体广播时间戳。
8.如权利要求5、6或7所述的系统，其特征在于，所述同一采样时刻的媒体流的移动多 媒体广播时间戳同步是指同一采样时刻的媒体流的移动多媒体广播时间戳值之间的差值 在预设的时间戳容差值范围内。
9.一种移动多媒体广播中实现可伸缩视频编码业务接收方法，其特征在于，包括接收终端监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位置信息；接收终端根据自身的视频流处理能力接收基本层码流，或者，接收基本层码流及对应 的增强层码流；当接收基本层码流及对应的增强层码流时，将各层码流按照移动多媒体广播时间戳对 齐合并后，对基本层码流及对应的增强层码流进行解码，输出基本层码流与增强层码流合 并后的视频数据。
10.如权利要求9所述的方法，其特征在于，所述接收基本层码流及对应的增强层码 流，将各层码流按照移动多媒体广播时间戳对齐合并包括接收终端将接收基本层码流和增强层码流，存入缓冲区中；从缓冲区中取出属于一个视频接入单元的基本层码流数据，以所述基本层码流数据的 移动多媒体广播时间戳为基准，取出与所述基本层码流数据的移动多媒体广播时间戳同步 的增强层码流数据，将其作为同一视频接入单元的数据合并。
11.如权利要求10所述的方法，其特征在于，所述与所述基本层码流数据的移动多媒体广播时间戳同步的增强层码流数据是指，与所述基本层码流数据的移动多媒体广播时间戳的差值在预设的时间戳容差值范围内的增 强层码流数据。
12.—种移动多媒体广播中实现可伸缩视频编码业务接收装置，其特征在于，包括监听单元，监听广播信道帧中视频业务中视频流的各层码流所在的复用子帧的位置信息；接收单元，根据自身的视频流处理能力接收基本层码流，或者，接收基本层码流及对应 的增强层码流；对齐合并单元，用于将各层码流按照移动多媒体广播时间戳对齐合并； 解码单元，对基本层码流及对应的增强层码流进行解码，输出基本层码流与增强层码 流合并后的视频数据。
13.如权利要求12所述的装置，其特征在于，所述接收单元，还用于将接收到的基本层码流和增强层码流存入缓冲区中； 所述对齐合并单元，用于从缓冲区中取出属于一个视频接入单元的基本层码流数据， 以所述基本层码流数据的移动多媒体广播时间戳为基准，取出与所述基本层码流数据的移 动多媒体广播时间戳同步的增强层码流数据，将其作为同一视频接入单元的数据合并。
14.如权利要求13所述的装置，其特征在于，所述取出与所述基本层码流数据的移动多媒体广播时间戳同步的增强层码流数据是 指，取出与所述基本层码流数据的移动多媒体广播时间戳之间的差值在预设的时间戳容差 值范围内的增强层码流数据。
全文摘要
本发明提供了一种移动多媒体广播中实现可伸缩视频编码业务同步发送的方法，将视频业务编码生成多路媒体流，以媒体单元为单位分别封装在广播信道帧中的不同复用子帧中，还封装该复用子帧中封装的各媒体单元的移动多媒体广播时间戳，且同一采样时刻的媒体流的移动多媒体广播时间戳同步，并将媒体流所在的复用子帧的位置信息封装在广播信道帧中并发送至终端，媒体流包括视频业务的视频流编码生成的基本层码流及其对应的增强层码流，还可以包括视频业务的音频流。本发明还提供一种移动多媒体广播中实现可伸缩视频编码业务同步发送的系统。本发明还提供一种可伸缩视频编码业务接收方法和接收终端，根据移动多媒体广播时间戳对齐接收到的媒体数据。
文档编号H04N7/26GK101951506SQ20101029088
公开日2011年1月19日 申请日期2010年9月17日 优先权日2010年9月17日
发明者戴志军, 童登金, 谢文军 申请人:中兴通讯股份有限公司