专利名称：数据采集存储系统的制作方法
技术领域：
本实用新型涉及移动互联网领域，尤其涉及数据采集存储系统。
背景技术：
作为移动网络的运营商来说，往往需要监测移动终端对互联网数据业务的使用情况，进而获取相关业务信息并存储，如移动终端的上网记录、通话记录等。现有技术中，一般通过数据采集存储系统去采集移动终端在互联网中所进行的数据传输，以实现对网络传输数据的采集存储。然而，传统的数据采集存储系统，在对数据传输节点之间的传输信号进行采集的过程中，只能做到将采集点的所有数据全部采集，进而对采集到的所有数据进行存储；但对于运营商来说，采集到的所有数据并不全是所需要的数据，其中包含了大量的垃圾数据；因而在存储数据的过程中，对这些大量的垃圾数据也进行了存储，从而降低了存储性能，导致存储效率较低。
实用新型内容本实用新型提出了数据采集存储系统，能够提高存储效率。为了达到上述目的，本实用新型的技术方案是这样实现的:数据采集存储系统，包括:采集装置，用于采集数据传输节点之间传输的数据；第一发送装置，用于将采集到的所述数据送入第一缓存；第二发送装置，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；过滤装置，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；存储装置，用于将经过滤处理得到的所述有效数据进行存储。优选地,进一步包括:分光器，用于将数据传输节点之间传输的信号分出一部分；转换装置，用于将分出的这部分信号转换为二进制数据包；所述采集装置，用于采集所述二进制数据包，作为采集到的数据。优选地，进一步包括:时间戳装置，用于向所述二进制数据包中添加时间戳标识；所述第一发送装置，用于将添加了时间戳标识的二进制数据包作为采集到的数据，送入所述第一缓存中。优选地，所述第二发送装置包括DMA直接内存读取组件，用于当所述第一缓存中的所有数据形成的长度达到所述预设阈值时，采用DMA技术将所有数据批量送入所述第二缓存中。优选地，该系统进一步包括:分流装置，用于根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据。优选地，该系统进一步包括辅助装置，用于辅助所述过滤装置和/或分流装置进行相应的过滤和/或分流处理。优选地，所述辅助装置包括:哈希表组件，用于设置IP地址的哈希表，该哈希表中包含有一个以上的IP地址；查找组件，用于在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。优选地，所述存储装置为磁盘阵列，该磁盘阵列由多个小磁盘组成。优选地，所述磁盘阵列中的每一个小磁盘为固态硬盘。优选地，所述采集装置为IP数据采集卡。与现有技术相比，本实用新型提供的数据采集存储系统，通过采集装置采集数据传输节点之间传输的数据，进而通过第一发送装置将该数据送入第一缓存，当第一缓存中的所有数据形成的长度达到预设阈值时，再通过第二发送装置将第一缓存中的所有数据批量送入第二缓存中；这样，则不需要每采集到一个数据，则进行一次数据输送，而是采用了两级缓存，当第一缓存中的所有数据的长度达到预设阈值时，才将所有数据批量送入第二缓存，进而实现对采集到的所有数据进行二级输送，从而可提高对采集到的所有数据的输送速率；进一步地，在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据，进而存储该有效数据；这样，则不需要对采集到的所有数据进行存储，可以根据预设的过滤条件，选择出有效数据，排除大量的垃圾数据，从而大大提高了存储效率，增强存储性能。
为了更清楚地说明本实用新型实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。图1本实用新型实施例一提供的一种数据采集存储系统的装置图；图2为本实用新型实施例二提供的另一种数据采集存储系统的装置图。
具体实施方式
以下将结合附图对本实用新型各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本实用新型的一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本实用新型所保护的范围。实施例一本实用新型实施例一提供了一种数据采集存储系统，参见图1，该系统包括:采集装置1，用于采集数据传输节点之间传输的数据；其中，采集装置I为IP数据采集卡；[0035]数据传输节点为移动互联网中的数据发送方和数据接收方，例如移动终端和基站；采集接口包括:Gn、Gb、G1、Gw、Iu-PSoIP、MMl、MM3、MM4、MM7、SMPP、SMRSE、CMPP、CIMD ；第一发送装置2，用于将采集到的所述数据送入第一缓存；第二发送装置3，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；过滤装置4，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所述数据进行过滤处理，得到有效数据；具体地，该过滤条件可以是:数据传输节点中数据发送方的IP地址、数据接收方的IP地址，或者APN接入点，或者协议类型，等；对于特定端口的采集接口，还可以设置电话号码、网络类型、用户终端等过滤条件；存储装置5，用于将经过滤处理得到的所述有效数据进行存储；本实用新型实施例一提供的数据采集存储系统，通过采集装置采集数据传输节点之间传输的数据，进而通过第一发送装置将该数据送入第一缓存，当第一缓存中的所有数据形成的长度达到预设阈值时，再通过第二发送装置将第一缓存中的所有数据批量送入第二缓存中；这样，则不需要每采集到一个数据，则进行一次数据输送，而是采用了两级缓存，当第一缓存中的所有数据的长度达到预设阈值时，才将所有数据批量送入第二缓存，进而实现对采集到的所有数据进行二级输送，从而可提高对采集到的所有数据的输送速率；进一步地，在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据，进而存储该有效数据；这样，则不需要对采集到的所有数据进行存储，可以根据预设的过滤条件，选择出有效数据，排除大量的垃圾数据，从而大大提高了存储效率，增强存储性能。为了更清楚地阐述实施例一提供的数据采集存储系统，下面给出该系统的一个优选实施例，来具体说明数据采集存储系统的结构，请参见实施例二。实施例二本实用新型实施例二提供了另一种数据采集存储系统，为上述数据采集存储系统的一个优选实施方式，其中，数据采集存储是基于硬件设备实现的，该硬件设备内部设置有IP数据采集卡，以完成数据采集过程；该系统中，过滤条件设置为数据发送方或数据接收方的IP地址；具体地，参见图2，该系统包括:连接装置21，用于建立数据传输节点之间的信号连接；其中，数据传输节点为移动互联网中的数据发送方和数据接收方，例如移动终端和基站；也就是说，在进行采集过程之前，要确保数据传输节点之间的信号连接正常；分光器22，用于将数据传输节点之间传输的信号分出一部分；转换装置23，用于将分出的这部分信号转换为二进制数据包；具体地，可根据信号传输载体的类型，设置光接口或电接口，将分出的信号转换为二进制数据包；[0053]IP数据采集卡24，包括:采集装置241，时间戳装置242，输送装置243，DMA直接内存读取组件244 ;具体地，采集装置241，用于采集二进制数据包；时间戳装置242，用于向二进制数据包中添加时间戳标识；优选地，向每个数据包中添加的时间戳标识的时间间隔，其精度达到10纳秒；这样，当采集到的所有二进制数据包均送入第一缓存中之后，可根据每个数据包携带的时间戳标识进行数据包的排序，以防止数据发生错乱；输送装置243，用于将添加了时间戳标识的二进制数据包送至第一缓存；该第一缓存为硬件设备内设置的IP数据采集卡的缓存；DMA组件244，用于当第一缓存中存储的所有二进制数据包形成的长度达到预设阈值时，采用DMA直接内存技术将所有二进制数据包批量拷贝到第二缓存中；该第二缓存为硬件设备的缓存；相应地，当IP数据采集卡内的缓存中存放的数据包长度达到预设阈值时，才将缓存中的所有数据批量拷贝到硬件设备的缓存中；这样，硬件设备的缓存中存储了采集到的数据传输节点之间传输的数据；至此，实现了对数据传输节点之间传输的数据的采集过程；因为采用DMA技术将IP数据采集卡的缓存中存放的数据批量输出到硬件设备的缓存中，进而通过PC1-E总线将缓存中的数据送入硬件设备的内存映射区，达到非中断式的数据采集拷贝，而无须通过硬件设备的CPU来控制，减轻了硬件设备CPU的处理压力，提高硬件设备的整体处理效率；而且，批量输出方式进一步提高了数据输出的速率；过滤装置25，用于根据预先设置的过滤条件，对第二缓存中的数据进行过滤处理，得到有效数据；具体地，可设置数据传输节点中数据发送方的IP地址作为过滤条件，筛选出由该IP地址发出的数据，作为有效数据；此时，可直接将过滤处理得到的有效数据由第二缓存中直接送入内存进行存储；当然，为了达到更好的效果，在将过滤处理得到的有效数据送入内存之前，还可进一步对该有效数据进行分流处理；具体地，该系统进一步包括分流装置26，用于根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；也就是说，可根据数据发送方的IP地址或接收方的IP地址，对有效数据进行分流处理；存储装置27，用于将分流处理得到的每一股数据进行分别存储；也用于将过滤处理得到的有效数据直接进行存储；其中，多个分流使用多进程并行处理，每个分流对应一个输入缓冲区，一个或多个输出缓冲区，进而实现对分流得到的每一股数据的分别存储；这样，提高了设备整体的计算速率和存储速率；为了提高存储速率，优选地，存储装置47具体为磁盘阵列RAID，磁盘阵列中包括多个小磁盘；为了进一步提高存储速率，每一个小磁盘为固态硬盘；这样，就可以在保证性能的前提下实现多块小磁盘的同时读写，并且使用固态硬盘的高速率存储，进一步解决硬盘的存储容量及速率瓶颈。此外，为了提高过滤装置25和分流装置26的处理速率，该系统进一步包括辅助装置28，分别与过滤装置和分流装置连接，用来辅助过滤装置和分流装置进行相应的过滤和分流操作；该辅助装置28包括:哈希表组件281和查找组件282 ;具体地，哈希表组件281，用于设置IP地址的哈希表，该哈希表中包含有一个以上的IP地址；查找组件282，用于在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。本实用新型实施例二提供的数据采集存储系统，能够大大提高采集和存储性能，满足最大采集速率4Gbps不丢包，最多可存储120T数据，可支持数据发送方的IP地址、接收方的IP地址、用户号码、APN接入点、网络类型等多元素过滤。而且，由于设置了第一缓存和第二缓存，进而对采集到的所有数据先送入第一缓存中，当第一缓存中的所有数据形成的长度达到预设阈值时，再将第一缓存中的所有数据批量送入第二缓存中，以在第二缓存中对采集到的所有数据进行过滤和/或分流处理；这样，相比于现有技术中每采集到一个数据，则进行一次输送，本实用新型中，采用了两级缓存，当第一缓存中的所有数据的长度达到预设阈值时，才将所有数据批量送入第二缓存，进而实现对采集到的所有数据进行二级输送，从而可大大提供对采集到的所有数据的输送速率；进一步地，每采集到一个二进制数据包，则向该二进制数据包中添加时间戳标识，这样，当采集到的所有二进制数据包均送入第一缓存中之后，可根据每个数据包携带的时间戳标识进行数据包的排序，以防止数据发生错乱；此外，本实用新型中，采用DMA直接内存技术将第一缓存中的所有二进制数据包批量拷贝到第二缓存中；而第一缓存是IP硬件采集卡的缓存，第二缓存为整体硬件设备的缓存；也就是说，通过PC1-E总线将IP硬件采集卡的缓存中的数据送入硬件设备的缓存中，达到非中断式的数据采集拷贝，而无须通过硬件设备的CPU来控制，减轻了硬件设备CPU的处理压力，提高硬件设备的整体处理效率；而且，批量输出方式进一步提高了数据输出的速率；而且，由于采用由固态硬盘组成的磁盘阵列来存储最终的数据，可实现对多块小磁盘的同时读写，进一步加快存储速率。其中，本实用新型中的上述各装置、组件可以使用现场可编程逻辑阵列(FPGA)、复杂可编程逻辑器件(CPLD)等数据处理芯片实现。本实用新型提供的各种实施例可根据需要以任意方式相互组合，通过这种组合得到的技术方案，也在本实用新型的范围内。显然，本领域技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。这样，倘若对本实用新型的这些修改和变型属于本实用新型权利要求及其等同技术的范围之内，则本实用新型也包含这些改动和变型在内。
权利要求1.数据采集存储系统，其特征在于，包括: 采集装置，用于采集数据传输节点之间传输的数据； 第一发送装置，用于将采集到的所述数据送入第一缓存； 第二发送装置，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存； 过滤装置，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据； 存储装置，用于将经过滤处理得到的所述有效数据进行存储。
2.如权利要求1所述的数据采集存储系统，其特征在于，进一步包括:分光器，用于将数据传输节点之间传输的信号分出一部分；转换装置，用于将分出的这部分信号转换为二进制数据包； 所述采集装置，用于采集所述二进制数据包，作为采集到的数据。
3.如权利要求2所述的数据采集存储系统，其特征在于，进一步包括:时间戳装置，用于向所述二进制数据包中添加时间戳标识； 所述第一发送装置，用于将添加了时间戳标识的二进制数据包作为采集到的数据，送入所述第一缓存中。
4.如权利要求1所述的数据采集存储系统，其特征在于，所述第二发送装置包括DMA直接内存读取组件，用于当所述第一缓存中的所有数据形成的长度达到所述预设阈值时，采用DMA技术将所有数据批量送入所述第二缓存中。
5.如权利要求1-4任意一项所述的数据采集存储系统，其特征在于，该系统进一步包括: 分流装置，用于根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据。
6.如权利要求5所述的数据采集存储系统，其特征在于，该系统进一步包括辅助装置，用于辅助所述过滤装置和/或分流装置进行相应的过滤和/或分流处理。
7.如权利要求6所述的数据采集存储系统，其特征在于，所述辅助装置包括: 哈希表组件，用于设置IP地址的哈希表，该哈希表中包含有一个以上的IP地址； 查找组件，用于在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；若查找到与所述数据发送方或接收方的IP地址相符的IP地址,则进行相应的过滤和/或分流处理。
8.如权利要求1-4任意一项所述的数据采集存储系统，其特征在于，所述存储装置为磁盘阵列，该磁盘阵列由多个小磁盘组成。
9.如权利要求8所述的数据采集存储系统，其特征在于，所述磁盘阵列中的每一个小磁盘为固态硬盘。
10.如权利要求1-4任意一项所述的数据采集存储系统，其特征在于，所述采集装置为IP数据采集卡。
专利摘要本实用新型属于移动互联网领域，具体为数据采集存储系统，能够提高存储效率。数据采集存储系统，包括采集装置，用于采集数据传输节点之间传输的数据；第一发送装置，用于将采集到的所述数据送入第一缓存；第二发送装置，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；过滤装置，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；存储装置，用于将经过滤处理得到的所述有效数据进行存储。该系统进一步包括分光器，用于将数据传输节点之间传输的信号分出一部分；转换装置，用于将分出的这部分信号转换为二进制数据包。
文档编号H04L29/08GK202957845SQ20122053187
公开日2013年5月29日 申请日期2012年10月17日 优先权日2012年10月17日
发明者祝守宇 申请人:北京西塔网络科技股份有限公司