专利名称：一种实时多媒体图像信息存储和播放方法
技术领域：
本发明涉及对于实时多媒体图像信息在直播过程中进行存储与回放的 方法。
背景技术：
目前，对于实时图像采用流方式进行播放的过程中， 一般都需要采用进 行图像的存储，以便日后的回放。但根据目前大多数行业的做法，都是采用
摄像设备，将直播图像最终转换为MP4等文件格式供日后播放，在一些专 利中也提出了分段存储来提高播放位置定位的方法。但是对于目前需要支持 的时移业务需求，这种存储转存的方式由于存储速度过慢，完整Mp4文件 构造需要很长的时间，已经完全不适合几秒钟后的节目点播需求。因此，需 要提出新的存储格式，满足多媒体图像的文件存储的需求。目前还没有一种 存储格式能解决几秒后的直播节目点播需求。
发明内容
本发明所要解决的技术问题是提供一种实时多i某体图像信息存储方法， 克服现有技术中对于采用流化方式节目直播存储中格式过于复杂的问题，提 高了存储速度。
为了解决上述技术问题，本发明提供了 一种实时多媒体图像信息存储方 法，包括以下步骤
(a) 按照存储文件名建立分片库目录，在分片库目录中建立全局索引 文件，所述全局索引文件中存储有多媒体文件的会话描述协议信息和分片文 件的索引信息，所述会话描述协议信息以下简称SDP信息；
(b) 根据全局索引文件中的分片文件的索引信息中记录的规则建立分 片文件目录；
(c )在分片目录下建立分片文件，所述分片文件包括各^^某体数据包的 索引信息以及每个数据包的内容。
进一步地，上述方法还包括以下特点所述SDP信息包括多媒体文件
的轨道信息、采样信息、在用户请求存储文件的点播时返回该文件的描述信 自
进一步地，上迷方法还包括以下特点所述SDP信息是在请求点播该 媒体节目时由服务器向点播客户端发送，或者通过Announce方式或者 Describe方式获取。
进一步地，上述方法还包括以下特点所述各分片文件的索引信息包括 各分片文件起始的时间信息，各个数据包的概述信息，对本流媒体文件进行 分片的依据，媒体分片文件的目录名称，以及媒体分片文件目录变更的条件、 方式与规则；所述各个数据包的概述信息包括轨数、最大最小包序号、最大 最小时间点、类型。
进一步地，上述方法还包括以下特点在全局索引文件中记录有各分片 文件的索引信息的起始位置。
进一步地，上述方法还包括以下特点在所述步骤(c)中，每个分片 文件的建立包括如下步骤(i)对需要记录的数据包进行信息分析，将分 析结果形成该数据包的临时索引信息；(ii)记录媒体节目的数据包内容； (iii)将存储的媒体数据包文件和临时索引信息形成一个完整的分片文件， 变更全局索引文件中的SDP信息，变更该分片文件的时间点信息。
进一步地，上述方法还包括以下特点所述数据包的临时索引信息包括 数据包的长度、数据包读取的具体位置、数据包的帧类型、数据包的存储序 号、数据包的时间戳、对应的实际信息。
进一步地，上述方法还包括以下特点在所述步骤(iii)中，所述分片 文件的时间点信息是指全局索引文件中分片索引中各分片文件存储的数据 包的最大时间和/或最小时间。
本发明所要解决的另 一技术问题是提供一种实时多媒体图像信息播放 方法，解决了直播图像实时转存标准文件格式难度大的问题，提高了节目播 放过程中播放点定位的响应速度，提高播放速度。
为了解决上述技术问题，本发明提供了一种实时多媒体图像信息播放方
法，包括以下步骤
(A) 当点播分片存储的媒体节目时，服务器读取全局索引文件中存储 的相应会话描述协议信息提供给用户，所述会话描述协议信息以下简称SDP 信息；
(B) 当用户链路建立成功开始播放时，通过分片库目录全局索引文件 中的分片索引信息定位用户播放时间点的所在的分片文件的位置；
(C) 读取分片文件中数据包的索引信息，根据媒体时间点，在当前分 片文件内查找该时间点对应的数据包的读取位置；
(D) 定位到数据包后，从该处数据包开始，按照用户设置的条件进行 数据包操作。
进一步地，上述方法还包括以下特点在所述步骤(C)中，在当前分 片文件内定位距该媒体时间点最近的关键帧所在的数据包，如果在本分片文 件内，查找不到该时间点对应的数据包，则向前或者向后的分片文件中查找。
采用本存储方式，与现有技术相比，文件存储格式简单，实现难度很小， 节省了存储设备的代价，也提高了用户对于媒体节目的体验与感受。该存储 和播放方法特别适用于多媒体存储领域下需要进行回放的电视行业、监控 行业，对于采用RTSP方式进行直播的各种场合，对于数据包的回放更具有 实际意义。
图1是分片存储格式的整体结构图； 图2是分片存储的全局索引格式； 图3是分片存储的分片文件格式； 图4是分片存储的数据包的索引格式。
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步详细描述。
流々某体文件的分片存储格式如图1所示，分为全局索引与分片文件两个 部分，两部分通过目录(分片文件的名称)关联在一起。全局索引文件部分， 包含该请求存储媒体的基本描述信息(SDP信息)以及各分片文件的索引信 息(如图2所示)；分片文件部分，主要用于存储具体的每一个数据包的多 媒体信息，也包括各媒体数据包的索引信息(如图3所示)。在全局索引文 件中存储分片文件的索引信息，其目的是定位具体数据包位于哪个分片；在 分片文件里保存数据包的索引信息，其作用是找到具体数据包在该分片中的 位置。
在用户采用流化(rtsp, rtp)的方式进行节目播放过程中， 一旦启动开始 存储的命令，按照上述文件格式进行存储的过程，包括以下的步骤
步骤110,按照用户存储文件名的要求，建立一个与当前文件名一致(或 相关联)的分片库目录，在此目录下完成后续操作；
步骤120，在分片库目录中建立一个待存储^!某体数据的全局索引文件， 该文件中存储有流媒体文件的SDP (会话描述协议)信息和各分片文件的索 引信息；
所述SDP信息中包含多媒体文件的轨道信息、采样信息、在用户请求 存储文件的点播时返回该文件的描述信息等，该文件的SDP信息可以是在 请求点播该媒体节目时由服务器向点播客户端发送，也可以通过Announce 方式(标准协-i义术语)或者Describe方式(标准协议术语)获取。由于该 SDP信息在媒体节目制作过程中，保持不变，因此只需要启动时存储一份即 可。
所述各分片文件的索引信息包括各分片文件起始的时间信息、各个数
据包的概述信息、对本流媒体文件进行分片的依据、媒体分片文件的目录名 称，以及媒体分片文件目录变更的条件、方式与规则。
所迷当前各分片文件起始的时间信息是随新写入的数据包不断更新的。
所述各个数据包的概述信息包括轨数、最大最小包序号、时间(最大时 间点最小时间点)、类型等。每分片的数据包数可以修改设置， 一旦数据分 片完整或者数据包数据在磁盘中进行过一次更新后，就修正分片文件索引信 息中的起始数据包和时间点的概述信息，保证能够使用户实时访问，也能加 速媒体节目的检索速度。
所述对媒体文件进行分片的依据是指媒体节目的存储分片可以采用按 固定时间、按照节目时长、按照数据包个数等方式进行划分，也可以采用组 合的方式进行划分。在全局索引文件中增加分片依据使响应速度加快，更便 于全局控制。
所述媒体分片文件的目录名称是根据用户的选择确定的。 所述媒体分片文件目录变更的规则可以有多种，如每个分片文件目录保 存多少个分片等。
全局索引与各分片文件的索引信息相关联，或者在全局索引文件中记录 有各分片文件的索引信息的起始位置。
步骤130,根据全局索引文件中的分片文件的索引信息中记录的规则建 立分片文件所在目录；
全局索引中记录使用何种规则建立分片文件目录，分片文件则会根据该 规则命名和保存。建立分片文件所在目录时，从全局索引文件中设置的分片 文件的目录名称开始建立。在达到同一目录分片个数的上限后，变更分片文 件到新的文件目录。
步骤140,建立若干个存储J 某体节目的分片数据文件(简称分片文件)， 分片文件存储在对应的分片目录之下；
对于每一个分片文件，形成的步骤如下
(1 )对每一个需要记录的数据包，进行数据包的信息分析，获取该数
据包的长度、数据帧的类型、数据包的时间戳等相关信息；
(2)将数据包的分析结果形成该数据包的临时索引信息(由于分片的 完整需要数据包数量的要求，待满足完整性要求后，就不再是临时索引信 息)，包括数据包的长度、数据包读取的具体位置(在文件中的偏移)、数 据包的帧类型、数据包的存储序号、数据包的时间戳、对应的实际信息等内 容(见附图4);
所述对应的实际信息是在文件偏移量指向的位置上，该位置可以在分片 索引文件所在的文件中，也可以在与其相关联的文件里，表示读取的数据包 的实际内容；
该索引信息可以扩充，其存放在内存中。索引信息在满足一定的数据包 的情况下，也定时写入磁盘，保证磁盘存储异常退出时流媒体数据的完整性。
(3 )记录媒体节目中每一个RTP数据包的内容；
建立的数据包格式不限于RTP(实时传输协议)数据包，对于内部来说， 可以多样化。数据包存储时，根据实际的需要，可以存储RTP数据包的包 头，也可以不存储包头。为了加快存储速度，数据包的内容形成在内存之中， 当达到一定数目的数据包后，数据包的信息写入磁盘，相当于自己做了緩冲。 可根据实际需要调整写包策略，包括按时间写和按包数写。 一旦数据包写入 磁盘，也同步变更全局索引的该分片的具体信息，保持媒体数据的一致性；
步骤(2)关注数据包的索引内容，步骤(3)关注数据包的负载内容。
(4)分片完整后(即每个分片文件达到要求的包数或时间或空间或其 他预定规则)，将存储的媒体数据文件和临时索引信息形成一个完整的分片 文件，将每一个数据包的索引信息追加到分片文件的开头或者末尾，也可放 在其他位置或其他文件，方便定位即可，同时变更全局索引中分片文件的 SDP信息，如变更轨道信息、采样信息以及变更SDP长度等，变更该分片
息)，方便日后媒体数据的回放，所述分片的时间点信息是指该全局索引文 件对应分片文件存储的数据包的最大时间点和/或最小时间点，有最大时间
点在判断具体数据包是否存在某分片中时会方便些，只有最小时间也是可以 的，反之亦然。
对于存储的媒体文件进行播放时，采用如下的步骤
步骤210，当点播分片存储的媒体节目时，用户发出describe请求，月良 务器读取全局索引中存储的相应SDP信息提供给用户；
步骤220,当用户链路建立成功开始播放时，通过分片库目录全局索引 文件中的分片索引信息定位用户播放时间点的所在的分片位置；
步骤230，根据全局索引文件标记的分片文件的索引信息的存储位置(或 者分片文件自身记录的索引位置)，读取分片文件中数据包的索引信息，根 据媒体时间点，在当前分片内查找该时间点对应的数据包的读取位置；
由于媒体的播放必须从关键帧开始，因此通过片内的索引信息，定位距 该媒体时间点最近的关键帧所在的数据包。如果本分片内，不存在具有该特 性的数据包，则向前或者向后的分片文件中查找；
步骤240,定位到数据包后，从该处数据包开始，按照用户设置的条件 进行数据包的操作，如读包、写包、按时间查找序号、按序号查时间、按时 间找包等。
除了时移业务，本发明对于非时移业务也可提高存储和播放的速度。另 夕卜，本发明主要应用于流媒体，但不限于此，对于其他实时多媒体图像信息 也适用。
权利要求
1、一种实时多媒体图像信息存储方法，包括以下步骤(a)按照存储文件名建立分片库目录，在分片库目录中建立全局索引文件，所述全局索引文件中存储有多媒体文件的会话描述协议信息和分片文件的索引信息，所述会话描述协议信息以下简称SDP信息；(b)根据全局索引文件中的分片文件的索引信息中记录的规则建立分片文件目录；(c)在分片目录下建立分片文件，所述分片文件包括各媒体数据包的索引信息以及每个数据包的内容。
2、 如权利要求1所述的存储方法，其特征在于，所述SDP信息包括多 媒体文件的轨道信息、采样信息、在用户请求存储文件的点播时返回该文件 的描述信息。
3、 如权利要求1所述的存储方法，其特征在于，所述SDP信息是在请 求点播该媒体节目时由服务器向点播客户端发送，或者通过Announce方式 或者Describe方式获取。
4、 如权利要求1所述的存储方法，其特征在于，所述各分片文件的索 引信息包括各分片文件起始的时间信息，各个数据包的概述信息，对本流 媒体文件进行分片的依据，媒体分片文件的目录名称，以及媒体分片文件目 录变更的条件、方式与规则；所述各个数据包的概述信息包括轨数、最大最 小包序号、最大最小时间点、类型。
5、 如权利要求1所述的存储方法，其特征在于，在全局索引文件中记 录有各分片文件的索引信息的起始位置。
6、 如权利要求1所述的存储方法，其特征在于，在所述步骤(c)中， 每个分片文件的建立包括如下步骤(i) 对需要记录的数据包进行信息分析，将分析结杲形成该数据包的 临时索引信息；(ii) 记录媒体节目的数据包内容；(iii )将存储的i某体数据包文件和临时索引信息形成一个完整的分片文件，变更全局索引文件中的SDP信息，变更该分片文件的时间点信息。
7、 如权利要求6所迷的存储方法，其特征在于，所述数据包的临时索 引信息包括数据包的长度、数据包读取的具体位置、数据包的帧类型、数据 包的存储序号、数据包的时间戳、对应的实际信息。
8、 如权利要求6所述的存储方法，其特征在于，在所述步骤(iii)中， 所述分片文件的时间点信息是指全局索引文件中分片索引中各分片文件存 储的数据包的最大时间和/或最小时间。
9、 一种实时多媒体图像信息播放方法，包括以下步骤(A) 当点播分片存储的媒体节目时，服务器读取全局索引文件中存储 的相应会话描述协议信息提供给用户，所述会话描述协议信息以下简称SDP 信息；(B) 当用户链路建立成功开始播放时，通过分片库目录全局索引文件 中的分片索引信息定位用户播放时间点的所在的分片文件的位置；(C) 读取分片文件中数据包的索引信息，根据媒体时间点，在当前分 片文件内查找该时间点对应的数据包的读取位置；(D) 定位到数据包后，从该处数据包开始，按照用户设置的条件进行 数据包操作。
10、 如权利要求9所述的存储方法，其特征在于，在所述步骤(C)中， 在当前分片文件内定位距该媒体时间点最近的关键帧所在的数据包，如果在 本分片文件内，查找不到该时间点对应的数据包，则向前或者向后的分片文 件中查找。
全文摘要
本发明公开了一种实时多媒体图像信息存储和播放方法，所述存储方法包括(a)按照存储文件名建立分片库目录，在分片库目录中建立全局索引文件，所述全局索引文件中存储有多媒体文件的会话描述协议信息和分片文件的索引信息，所述会话描述协议信息以下简称SDP信息；(b)根据全局索引文件中的分片文件的索引信息中记录的规则建立分片文件目录；(c)在分片目录下建立分片文件，所述分片文件包括各媒体数据包的索引信息以及每个数据包的内容。所述播放方法是利用全局索引和分片索引定位数据包，进行播放操作。采用本发明所述方法，文件存储格式简单，实现难度很小，节省了存储设备的代价，也提高了用户对于媒体节目的体验与感受。
文档编号H04N7/173GK101193273SQ20061014975
公开日2008年6月4日 申请日期2006年11月20日 优先权日2006年11月20日
发明者刘继年, 李加周, 忠 王, 王志英, 岗 隆 申请人:中兴通讯股份有限公司