息和XDR ID的存储码流包后存储，并为最后一条所述存储码流包建立可直接查找的读取索引；每一条所述存储码流包的位置偏移量用于指示在其之前存储的某一存储码流包的实际存储位置地址。
[0039]如图2和图3所示的一种码流数据快速存储的方法和系统提供的实施例一，码流解析单元I接入设备负责采集原始码流数据包，将原始码流数据包解析成可识别码流包，并传输给码流合成单元2，码流合成单元2设定的识别规则将隶属于一个XDR数据的码流数据包打上相同的XDR ID生成标示码流包，XDR编号简称XDR ID，然后立即将该标示码流包传输至码流存储单元3，码流存储单元3对不同XDR数据下的每个码流数据包加上一个包头一一位置偏移量，并进行存储，同时对为最后一条存储码流包建立可直接查找的读取索引。
[0040]在实际运用中，XDR编号(XDR ID)以信令流程或业务传输过程为单位进行分配，循环使用，要求在采集解析系统的一个循环周期内唯一。用户的一次信令流程或业务传输过程对应一个XDR IDo对于信令XDR，同一个XDR ID可能对应该信令流程内的多条原始信令消息。
[0041]位置偏移量位置长度米用4Bytes或者8Bytes进行标注，可以根据文件大小自行定义，如果位置偏移量长度采用4Bytes，则最大可以存储4GBytes文件。
[0042]对比现有的码流存储方法，本发明和系统不需要在内存中将XDR数据进行等待缓存，直接打包后传输至存储单元进行存储，大大缓解了系统内存占用的紧张的问题。
[0043]如图4所示的一种码流数据快速读取方法提供的实施例二中，以一条XDR ID = N的数据读取过程为例:
[0044]在存储过程中，对该XDR数据建立了 XDR ID = N,位置=F的读取索引，读取过程中根据所述读取索引找到该XDR数据的最后一条码流包6的存储位置(实际位置F)，然后通过读取其位置偏移量E从而找到码流包5的存储位置(实际位置E)，在读取码流包5的位置偏移量找到码流包4的存储位置(实际位置D)，依次类推，直至找到码流存储中位置偏移量为0，则表示该条XDR数据读取完成。
[0045]在本实施例中，系统通过读取索引逐条对存储码流数据包进行读取，与现行按照存储方法存储的码流包读取进行对比，读取速度并未受太大的影响。
[0046]本发明适用于原始数据码流存多取少的情景，例如视频数据存储、语音会议记录存储、移动通信原始信令存储等等。
[0047]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种码流数据包的快速存储方法，其特征在于，所述快速存储方法包括如下步骤: 步骤All，码流解析进程:采集原始码流数据包进行解析处理，生成可识别码流包； 步骤A12，码流合成进程:将归属于同一个XDR数据的所述可识别码流包打上相同的XDR ID，生成标注码流包； 步骤A13，码流存储进程:将所述标注码流包直接进行存储，存储时，对所述标注码流包均打上一位置偏移量信息，生成携带有所述位置偏移量信息和XDR ID的存储码流包后存储，并为最后一条所述存储码流包建立可直接查找的读取索引；每一条所述存储码流包的位置偏移量用于指示在其之前存储的某一存储码流包的实际存储位置地址。
2.如权利要求1所述的快速存储方法，其特征在于，每一条存储码流包的位置偏移量为同一 XDR数据中上一条存储码流包的实际存储位置地址。
3.如权利要求1所述的快速存储方法，其特征在于，所述读取索引包含所述XDRID和同一个XDR数据中最后一条所述存储码流包的实际存储位置地址。
4.如权利要求1所述的快速存储方法，其特征在于，每一个XDR数据的XDRID在一个采集一解析一合成一存储的循环周期内唯一。
5.一种码流数据的快速存储系统，其特征在于，包括: 码流解析单元:用于采集原始码流数据包进行解析处理，生成可识别码流包并传输出去; 码流合成单元:用于接收所述可识别码流包，并将归属于同一个XDR数据的所述可识别码流包打上相同的XDR ID生成标注码流包； 码流存储单元:用于将所述标注码流包直接进行存储，存储时，对所述标注码流包均打上一位置偏移量信息，生成携带有所述位置偏移量信息和XDR ID的存储码流包后存储，并为最后一条所述存储码流包建立可直接查找的读取索引；每一条所述存储码流包的位置偏移量用于指示在其之前存储的某一存储码流包的实际存储位置地址。
6.如权利要求5所述的快速存储系统，其特征在于，每一条存储码流包的位置偏移量为同一 XDR数据中上一条存储码流包的实际存储位置地址。
7.如权利要求5所述的快速存储系统，其特征在于，所述读取索引包含所述XDRID和同一个XDR数据中最后一条所述存储码流包的实际存储位置地址。
8.如权利要求5所述的快速存储系统，其特征在于，每一个XDR数据的XDRID在一个采集一解析一合成一存储的循环周期内唯一。
9.一种码流数据的快速读取方法，其特征在于，所述快速读取方法包括如下步骤: 步骤A21，根据读取索引查找XDR数据的最后一条存储码流包的实际存储位置地址并读取，同时读取该最后一条存储码流包的位置偏移量； 步骤A22，根据最后一条存储码流包位置偏移量查找同一 XDR数据中记录的对应上一条存储码流包的实际位置地址并读取，同时再次读取上一条存储码流包的位置偏移量；步骤A23，重复执行步骤A22，直至读取至无位置偏移量的存储码流包，则该条XDR数据读取完毕。
10.一种码流数据的快速读取系统，其特征在于，所述系统用于: 根据读取索引查找XDR数据的最后一条存储码流包的实际存储位置地址并读取，同时读取该最后一条存储码流包的位置偏移量； 根据最后一条存储码流包位置偏移量查找同一 XDR数据中记录的对应上一条存储码流包的实际存储位置地址并读取，同时再次读取上一条存储码流包的位置偏移量； 重复执行读取位置偏移量和实际存储位置地址动作，直至读取至无位置偏移量的存储码流包，则该条XDR数据读取完毕。
【专利摘要】本发明适用于海量数据存储，提供了一种码流数据包的快速存储方法，具体步骤为：采集原始码流数据包进行解析处理，生成可识别码流包；将归属于同一个XDR数据的所述可识别码流包打上相同的XDR ID，生成标注码流包；将所述标注码流包直接进行存储，存储时，对所述标注码流包均打上一位置偏移量信息，生成携带有所述位置偏移量信息和XDR ID的存储码流包后存储，并为最后一条所述存储码流包建立可直接查找的读取索引。本发明相比现有的码流存储方法，能够大大降低对系统内存的消耗，从而降低了硬件投入成本，提升系统对大数据的处理存储能力，能够面对海量数据并提升数据存储的速度，提升系统对大数据的处理存储能力，同时数据读取速度并不会受到明显影响。
【IPC分类】G06F3-06
【公开号】CN104536700
【申请号】CN201410808894
【发明人】叶春生, 车新奕, 雷果, 程涛木, 刘军徽
【申请人】深圳市博瑞得科技有限公司
【公开日】2015年4月22日
【申请日】2014年12月22日