专利名称：一种高速数据采集记录的方法、系统及数据采集装置的制作方法
技术领域：
本发明涉及数据采集技术，特别涉及一种高速数据采集记录的方法、系 统、及数据采集装置。
背景技术：
随着现代科技的发展，高速、高效已经成为科技发展的目标，在具体应 用中，常常需要对随之产生的一些高速数据进行实时采集，以便进行分析和 处理。例如，在无线接收机中，为了准确地得到信道的特性，需要将信道数 据实时采集并存储，通过计算机进行分析。因此，如何方便、实时且连续地 采集数据并记录下来，是一个值得研究的课题。
现有技术中，对于高速数据的采集记录有以下两种方法
方法一光盘数据采集记录方法。该方法在计算机数据处理技术领域， 采用光盘直接扇区读写方式进行数据高速记录，该方法采用光盘记录设备对 高速数据进行记录，为了实现光盘对高速数据的记录，在发送高速数据的装 置和光盘记录设备之间设置一个页长可浮动的双页緩存器，具体釆集记录过 程为采集到的数据首先放入双页緩存器，双页緩存器中的A页放满数据后， B页开始存放数据，并且在记录数据时，双页缓存器一边在A页中存放数据， 一边将B页中的数据传送出去进行光盘记录，直到B页的数据完成光盘记录 时，开始传输A页的数据进行光盘记录，而B页开始存放数据，以实现数据 采集和光盘记录同时进行。
但是，该方法的可扩展性较差，数据采集的速度受限于光盘的读写速度， 当需要采集的数据的速率较高，超过光盘的读写速率时，该方法就不能使用。
方法二高速过程数据采集、存储分析的方法。该方法使用可编程逻辑控制器对高速数据进行采集，并将采集到的数据发送给计算机进行记录；具
体采集记录过程为高速数据经由以太网以电文包的形式传送，通过调整电 文结构和合理分配数据类型将可编程逻辑控制器的六个采集链路进行合并， 釆用多个在时刻上相互错开的中断调用的方式，将采集到的数据传送给计算 机，计算机在接收时，开设多线程，采用多记录模式记录数据。
该方法的可扩展性同样较差，在一个计算机上即使开设多线程，但是数 据采集的速率仍然会受限于通用微机的磁盘存储速度，当高速数据的速率很 高，达到100Mbps以上时，不能采用上述方法。
由以上描述可以看出，现有技术中对高速数据的采集记录的方法扩展性 较差，不能够应用于不同速率高速数据的采集记录，且受限于数据记录设备 的记录速度。
发明内容
有鉴于此，本发明实施例提供一种高速数据采集记录的方法、系统及数 据采集装置，以便于使数据采集具有较高的可扩展性。
本发明实施例提供了一种高速数据采集记录的方法，该方法包括根据高 速数据的速率和存储设备的存储速率确定分发次数；
采集板采集高速数据，按照确定的分发次数将采集到的高速数据分发给多 个存储设备，存储设备记录所接收到的高速数据。
本发明实施例还提供了一种高速数据采集记录的系统，该系统包括数据 采集装置和多个存储装置，其中，
所述数据采集装置，用于采集高速数据，并按照确定的分发次数将采集到 的高速数据分发给所述存储装置；
所述存储装置，用于记录所述数据采集装置分发来的高速数据。
本发明实施例还提供了一种数据采集装置，该数据采集装置包括釆集单 元、以及数据分割单元，其中，
采集单元，采集高速数据，并将采集到的高速数据发送给数据分割单元；数据分割单元，按照确认的分发次数，将采集单元发送的高速数据分割 成子数据并发送。
由以上技术方案可以看出，本发明实施例所提供的方法、系统以及装置， 通过将高速数据分发给多个存储设备的方式完成对高速数据的采集记录，在 高速数据的速率变化时，只需要改变分发的次数即可完成高速数据的采集记 录，使高速数据的采集记录受到存储设备存储速率的影响很小，因此，具有 较高的可扩展性。
更进一步地，对于高速数据的采集和记录不需要像现有技术中单独开发 复杂的高速存储系统，本发明只需要采用通用的存储设备即可完成，并且， 在高速数据的速率发生变化后，只需要改变分发的次数，不需要重新开发数 据采集记录系统，所以，很大程度上地节约了成本。
图1为本发明实施例提供的高速数据采集记录的主要方法流程图2为本发明实施例提供的高速数据采集记录的系统结构图3为本发明实施例提供的高速数据采集的装置结构图4为本发明实施例提供的无线信道高速数据采集记录的系统结构图5为本发明实施例提供的无线信道高速数据采集记录的方法流程图6为本发明实施例提供的无线信道高速数据的分割示意图。
具体实施例方式
为了使上述目的、技术方案、以及优点更加清楚，下面结合具体实施例 对本发明进行详细地描述。 实施例一
图1为本发明实施例提供的高速数据采集记录的主要方法流程图。如图 l所示，该方法主要包括以下步骤
步骤101:根据高速数据的速率和存储设备的存储速率确定分发次数。其中，根据高速数据的速率和存储设备的存储速率确定分发次数可以
为将高速数据的速率与存储设备的存储速率的商向上取整后减1 ，将得到 的值确定为分发次数。
本步骤还可以进一步包括根据分发次数确定采集板和存储设备的数 量，并将各个釆集板逐级相连，且将各个存储设备分别与各级采集板相连。
可以将分发次数确定为采集板的数量；将分发次数加l确定为存储设备 的数量。
例如，当高速数据的速率为358.4Mbps，存储设备的存储速率为 100Mbps时，为了保证存储设备能够实时无误地记录高速数据，需要对高速 数据进行3次分发，设置3个采集板、4个存储设备，经过分发后，每个存 储设备接收到的数据速率为原高速数据速率的1/4 。
步骤102:采集板采集高速数据，按照确定的分发次数将采集到的高速 数据分发给多个存储设备。
所述采集可以为接收发送来的高速数据，并进行緩存。
在本步骤之前可以进一步包括将要采集的高速数据进行拷贝，封装成 数据包后采用高带宽的接口转发。
对将要采集的高速数据进行拷贝可以在高速数据处理设备中进行，例 如，在无线接收系统中，高速数据的处理设备可以是基带处理单元、或数字 中频处理单元；所述高带宽的接口可以是通用无线接口 (CPRI， Common Public Radio Interface )。
将高速数据进行拷贝后转发，不影响高速数据在处理设备中的正常处理。
当所述采集板为一个时，所述采集板采集高速数据按照确定的分发次数将 采集到的高速数据分发给多个存储设备的步骤包括采集板采集到数据后，按 照确定的分发次数计算分发给与其相连的存储设备的子数据的长度，将采集到 的数据分割成所计算长度的子数据后，发送给存储设备进行存储；
当所述采集板为多个时，所述采集板采集高速数据按照确定的分发次数，将采集到的高速数据分发给多个存储设备的步骤包括除了最后一级采
集板以外的采集板采集到数据后，按照确定的分发次数计算分发给与其相连 的存储设备和下一级采集板的子数据的长度，将采集到的数据分割成所计算 长度的子数据后，发送给存储设备进行存储和下一个采集板进行下一次分
发；最后一级采集板，采集到数据后，按照确定分发的次数计算分发给与其 相连的存储设备的子数据的长度，将采集到的数据分割成所计算长度的子数 据后，发送给存储设备进行存储。
长度与分发次数加1的商作为发送给存储设备的子数据包的长度。因为由前 面的描述可知，所设置的存储设备的数量为分发次数加1的值，所以，每个 存储设备接收到的子数据包的长度就是原始数据的长度与存储设备数量的 商。原始数据即为拷贝转发的高速数据。
其中，将緩存的数据包分割成所计算长度的子数据包可以为将緩存的 数据包按照所计算长度进行分割后，重新打包，将重新打包后形成的子数据 包分别加上子包头。所迷加上的子包头是为了便于后续数据的合并。
所述子包头可以包括子数据包的长度、原始包编号、子数据包编号等。
步骤103:各存储设备记录所接收到的高速数据。
本步骤可以由通用微机来实现，通用微机将采集板分发后的子数据包进 行存储；更进一步地，为了将各通用微机上存储的子数据包还原出高速数据， 需要将存储在各通用微机上的子数据包按照子包头中包括的信息进行合并。
所述对子数据包进行合并的过程可以具体为
通用微机将接收到的子数据包实时地存储，每个子数据包存储成一个数 据文件，以子包编号命名文件；
将各通用微机上的所有数据文件提供给一个数据处理设备； 所述数据处理设备可以是通用微机。
按照子包编号读取每个文件，对子包头的数据长度、原始包编号、子数 据包编号进行分析，如果长度不符，或者编号不连续，则该高速数据采集时出错，可跳过；
将每个正确的数据文件中的子包头去掉，按照子数据包编号的顺序进行 合并存储成一个文件。
以上是对本发明所提供方法的描述，下面对本发明所提供的系统进行详
纟田i也4苗述。
实施例二
图2为本发明实施例提供的高速数据采集记录的系统结构图，如图2所 示，该系统主要包括数据采集装置220、存储装置230。
数据采集装置220，采集高速数据，按照确定的分发次数将采集到的高 速数据分发给存储装置230;所述存储装置230中包含多个存储装置。
所述数据采集装置220根据分发次数可以包括一个或多个采集板。
数据采集装置220包括多个采集板时，各个采集板逐级相连，各个存储设 备分别与各级采集板相连，除了最后一级采集板以外的各级采集板，按照确定
的分发次数分割采集到的高速数据，将分割后的各部分子数据分别发送给与其 相连的存储设备和下一级采集板；最后一级采集板，按照确定的分发次数分割 采集到的高速数据，将分割成各部分子数据发送给与其相连的存储设备。如图 2所示，采集板221将采集到的数据分发给存储装置231和下一个采集板222。 釆集板222再将采集到的数据分发给存储装置232和下一个釆集板223,以此 类推。
数据采集装置220包括一个采集板时，采集板分别与各存储装置相连； 采集板按照确定的分发次数分割采集到的高速数据，将分割后的各部分子数 据分别发送给各个存储装置。
所述分发次数可以为高速数据的速率与存储设备的存储速率的商向上 取整。
所述数据采集装置如图3所示，可以包括采集单元310、数据分割单 元320。
采集单元310，采集高速数据，并将采集到的高速数据发送给数据分割单元；
数据分割单元320，按照确认的分发次数，将采集单元发送的高速数据 分割成所计算长度的子数据后分发出去；
更优地，该装置可以进一步包括子包头处理单元330,用于接收数据 分割单元320分割成的子数据，将子数据打包，并将所述打包后的子数据包 加上子包头后，发送出去。
其中，子包头处理单元330可以将发送给存储装置的子数据打包成以太 网子数据包；可以将发送给数据采集装置的子数据打包成CPRI子数据包。
所述数据采集装置220可以采用现场可编程逻辑阵列实现的采集板。
存储装置230,存储数据采集装置220分发来的高速数据。
所述存储装置230 —般为通用微机。
该系统可以进一步包括数据还原装置240;各存储装置将自身记录的
高速数据提供给数据还原装置240;数据还原装置240，用于将各存储装置
230提供的的子数据进行合并。
所述存储和合并数据的过程可以采用步骤103中所用的方法实现。 更优地，该系统还可以包括拷贝转发装置210，还用于将要采集的高
速数据进行拷贝，封装成数据包后采用高带宽的接口转发给数据采集装置
220。
下面结合上述系统和方法，举一个具体实施例进行详细描述。 实施例三
假设需要采集无线接收机中无线信道的高速数据，高速数据的速率为
358.4Mbps，通用微机的存储速率为100Mbps,通过步骤101中所述的方法，
分发次数为高速数据的速率358.4 Mbps与存储设备的存储速率100 Mbps的
商向上取整后减l,可以确定出需要的分发次数为3次；采集板的数量与确
定的分发次数相同，设置为3个；存储设备的数量为确定的分发次数加1,
设置为4个；通过步骤102中所述的方法，将原始数据的长度与分发次数加
1的商作为分割后的子数据长度，可以确定出数据包分割后的子数据包长度为原始数据包长度的1/4。
该系统的结构图如图4所示，高速数据从充线收发机的射频单元发送到
基带接收单元进行高速数据的处理，高速数据采集记录系统中的拷贝转发装 置将高速数据从基带接收单元中拷贝转发到采集板1,采集板1采集数据，
并进行第一次分发，分发给通用微机1和采集板2;采集板2进行第二次分 发，分发给通用微机2和采集板3;采集板3进行第3次分发，分发给通用 微机3和通用微机4。其中，系统中采用的存储设备为通用微机。
图4所对应方法流程图如图5所示。如图5所示高速数据的采集过程具 体包括以下步骤
步骤501:在无线收发机上利用高带宽的CPRI接口将来自射频单元的 高速数据从基带接收单元中拷贝，封装成数据包后转发到采集板。
本步骤中是将高速数据拷贝后转发出去的，且C P RI接口的速率可以达 到2.5Gbps,所以执行该步骤时，并不影响正常的无线收发机的业务处理。
步骤502:采集板1接收转发来的数据包，并进行緩存，然后将緩存的 数据包分割成两部分数据，如图6所示，长度分别为1/4原始数据包长度和 3/4原始数据长度；将分割后长度为1/4原始数据长度的部分封装成以太网 数据包，并加上子包头发送给通用微机1 ,将分割后长度为3/4原始数据长 度的部分封装成CPRI数据包，并加上子包头发送给采集板2 。
步骤503:采集板2接收采集板1分发来的数据包，并进行緩存，然后 将缓存的数据包分割成两部分数据，如图6所示，长度分别为l/4原始数据 包长度和2/4原始数据长度；将分割后长度为1/4原始数据长度的部分封装 成以太网数据包，并加上子包头发送给通用微机2，将分割后长度为2/4原 始数据长度的部分封装成CPRI数据包，并加上子包头发送给采集板3。
步骤504:采集板3接收采集板2分发来的数据包，并进行緩存，然后 将缓存的数据包分割成两部分数据，如图6所示，长度分别为l/4原始数据 包长度和1/4原始数据长度；将分割后长度为1/4原始数据长度的两部分分 别封装成以太网数据包，并将两部分子数据分别加上子包头，且将加上子包头后的两个子数据包分别发送给通用微机3和通用微机4 。
步骤502至步骤504中所述子包头中包括子数据包的长度、原始包编 号、子数据包编号等。其中，子数据包的长度可以由上面所述分发次数计算 后得到；原始包编号可以由采集板接收的高速数据原始包的包头携带的信息 得到；子数据包编号可以在进行数据分割时，将分割后的子数据按顺序依次 进行编号后得到。
步骤505:通过以太网口，通用微机将接收到的数据实时的存储起来， 每个子数据包存成一个数据文件，以子数据包编号命名。
步骤506:将通用微机中所有的子数据包拷贝到一个微机上，按照子包 头中的子数据包编号读取每一 个数据文件，对子包头中的子数据包的长度、 子数据包编号进行分析。去掉出错的情况，将正确的数据文件的子数据包去 掉包头，然后按照一个高速数据的大小按子数据包编号的顺序进行合成，存 成一个文件。
执行上述步骤后，就完成了无线信道高速数据的采集记录，就可以利用 采集记录得到的数据进行仿真和信道建模等分析处理过程。
由以上可以看出，本发明实施例所提供的方法和系统以及装置，将高速 数据进行拷贝转发后，采集转发来的数据，按照确定的分发次数分发采集到 的数据，然后将分发后的数据进行存储和合并，在高速数据的速率变化时， 只需要增加分发的次数即可完成高速数据的采集记录，不受存储设备存储速 率的影响，因此，具有较高的可扩展性。
更进一步地，对于高速数据的采集和记录不需要像现有技术中单独开发 复杂的高速存储系统，本发明只需要采用通用的存储设备即可完成，并且， 在高速数据的速率发生变化后，只需要增加分发的次数，不需要重新开发数 据采集记录系统，所以，很大程度上地节约了成本。
更进一步地，通过将数据进行拷贝后转发，所以在进行高速数据的采集 记录时，并不影响高速数据进行正常的业务，且可以在监控高速数据的速率 发生变化的情况下实时地对数据进行采集记录，并在根据采集记录后的数据进行分析得出高速数据质量时，根据质量情况调整高速数据的相关业务处理。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明保护的范围之内。
权利要求
1、 一种高速数据采集记录的方法，其特征在于，该方法包括根据高速数据的速率和存储设备的存储速率确定分发次数；采集板采集高速数据，按照确定的分发次数将采集到的高速数据分发给多个存储设备，存储设备记录所接收到的高速数据。
2、 根据权利要求1所述的方法，其特征在于，所述采集板采集高速数据的 步骤包括将要采集的高速数据从高速数据的处理设备中进行拷贝，封装成数 据包后转发给采集板，采集板通过接收该数据包采集高速数据。
3、 根据权利要求1所述的方法，其特征在于，所述根据高速数据的速率和 存储设备的存储速率确定分发次数包括将高速数据的速率与存储设备的存储 速率的商向上取整后减1的值确定为分发次数。
4、 根据权利要求1所述的方法，其特征在于，该方法进一步包括根据分 发次数确定采集板和存储设备的数量。
5、 根据权利要求4所述的方法，其特征在于，所述根据分发次数确定采集 板和存储设备的数量为将分发次数确定为采集板的数量；将分发次数加l确 定为存储设备的数量。
6、 根据权利要求4所述的方法，其特征在于，当确定所述采集板为多个时， 将各个釆集板逐级相连，且将各个存储设备分别与各级采集板相连；所述采集板采集高速数据按照确定的分发次数将采集到的高速数据分发给 多个存储设备的步骤包括除了最后一级采集板以外的各级采集板采集到数据 后，按照确定的分发次数计算分发给与其相连的存储设备和下一级采集板的子 数据的长度，将采集到的数据分割成所计算长度的子数据后，发送给存储设备 进行存储和下一个采集板进行下一次分发；最后一级采集板采集到数据后，按 照确定分发的次数，计算分发给与其相连的存储设备的子数据的长度，将采集 到的数据分割成所计算长度的子数据后，发送给存储设备进行存储。
7、 根据权利要求4所述的方法，其特征在于，当确定所述采集板为一个时，所述采集板采集高速数据按照确定的分发次数将采集到的高速数据分发给多个存储设备的步骤包括采集板采集到数据后，按照确定的分发次数计算分发给 与其相连的各个存储设备的子数据的长度，将采集到的数据分割成所计算长度 的子数据后，发送给各存储设备进行存储。
8、 根据权利要求6或7所述的方法，其特征在于，所迷计算分发给与其相 连的各个存储设备的子数据的长度为将采集板采集到的数据的长度与分发次 数加1的商作为发送给存储设备的子数据长度。
9、 根据权利要求6所述的方法，其特征在于，所述计算分发给下一级采集 板的子数据的长度为将所述采集板采集到数据的长度减去发送给所述存储设 备的子数据长度，作为发送给下一个采集板的子数据长度。
10、 根据权利要求6或7所述的方法，其特征在于，在所述将采集到的数 据分割成所计算长度的子数据后进一步包括将所述子数据打包，并将打包后 的子数据包分别添加子包头。
11、 根据权利要求IO所述的方法，其特征在于，所述子包头包括子数据 包的长度、原始包编号、和子数据包编号。
12、 根据权利要求11所述的方法，其特征在于，该方法进一步包括将存 储在各存储设备上的子数据包提供给一个数据处理设备，将长度符合所述子数 据包的长度、且子数据包编号连续的子数据包的子包头去掉，按照子数据包编 号的顺序合并各个子数据包，还原出高速数据。
13、 一种高速数据采集记录的系统，其特征在于，该系统包括数据采集 装置和多个存储装置，其中，所述数据采集装置，用于采集高速数据，并按照确定的分发次数将采集到 的高速数据分发给所述存储装置；所述存储装置，用于记录所述数据采集装置分发来的高速数据。
14、 根据权利要求13所述的系统，其特征在于，该系统进一步包括拷贝 转发装置，用于将高速数据进行拷贝，并封装成数据包后，转发给所述数据采 集装置。
15、 根据权利要求13所述的系统，其特征在于，所述数据采集装置中包括一个采集板，所述采集板分別与各存储装置相连，并且所述采集板，按照确定 的分发次数分割采集到的高速数据，将分割后的各部分子数据分别发送给各存储装置。
16、 根据权利要求13所述的系统，其特征在于，所述数据采集装置中包括 多个采集板，各采集板逐级相连，各存储设备分别与各级采集板相连，并且，除了最后一级采集板以外的各级采集板，按照确定的分发次数分割采集到 的高速数据，并将分割后的各部分子数据分别发送给与其相连的存储设备和下 一级采集板；所述最后一级采集板，按照确定的分发次数分割采集到的高速数据，将分 割成各部分子数据发送给与其相连的存储设备。
17、 根据权利要求13所述的系统，其特征在于，该系统进一步包括数据 还原装置，用于将各存储装置提供的高速数据进行合并；所述各存储装置，将自身记录的高速数据提供给所述数据还原装置。
18、 一种数据采集装置，其特征在于，该数据采集装置包括采集单元、 以及数据分割单元，其中，采集单元，采集高速数据，并将采集到的高速数据发送给数据分割单元； 数据分割单元，按照确定的分发次数，将采集单元发送的高速数据分割成 子数据并发送。
19、 根据权利要求18所述的数据采集装置，其特征在于，该装置进一步包 括子包头处理单元，用于接收数据分割单元分割成的子数据，将子数据打包， 并将所述打包后的子数据包分别添加子包头后发送。
全文摘要
本发明提供了一种高速数据采集记录的方法和系统以及数据采集装置，其中，方法包括根据高速数据的速率和存储设备的存储速率确定分发次数；采集板采集高速数据，按照确定的分发次数将采集到的数据分发给多个存储设备；各存储设备记录所接收到的高速数据。由此，通过数据分发的方式完成对高速数据的采集记录，在高速数据的速率变化时，只需要改变分发的次数即可完成高速数据的采集记录，不受存储设备存储速率的影响，因此具有较高的可扩展性；更进一步地，在高速数据地速率发送变化后，只需要改变分发次数，不需要重新开发数据采集记录系统，所以，很大程度上节约了成本。
文档编号G06F12/00GK101286923SQ200710098120
公开日2008年10月15日 申请日期2007年4月13日 优先权日2007年4月13日
发明者科 宁, 健 张, 陈兴水 申请人:华为技术有限公司