一种对周期性数据上报进行时间散列的系统的制作方法
【技术领域】
[0001] 本发明涉及大规模数据采集处理领域，尤指一种对周期性数据上报进行时间散列 的系统。
【背景技术】
[0002] 随着信息技术的飞速发展，大数据时代的到来，对数据传输效率及处理能力的需 求不断增长。尤其是对于海量数据终端，周期性进行数据上报时，某一时点对网络、I/O、内 存、计算能力等施加了巨大的压力，而此种业务场景在物联网领域中应用尤为常见。物联网 通过各种传感器技术、各种通信手段，将任何物体与互联网相连接，从而实现了远程监视、 自动报警、控制、诊断和维护，帮助人们实现管理、控制与运营，随着各行各业应用的发展， 每秒钟物联网上都会产生海量的数据。因此会涉及大量数据周期性上报问题，有鉴于此研 究如何降低海量数据周期性上报对网络、1/0、内存、计算能力的要求，具有重要的意义。
[0003] 现有技术，由采集单元采集数据，定期向服务单元上报数据，即周期性数据上报。 采集单元向服务单元发起注册，注册成功后，服务单元将此采集单元上报数据的周期P发 送采集单元，采集单元计算上报时间。假定上报当日零时时间戳为T。，当前上报批次为n， 则：
[0004]
[0005] 采集单元在Tn时上报数据。
[0006] 如若采用现有的上述技术方案，那么假定一个数据传输系统中有2000个数据采 集单元，每个采集单元有8KB的上报数据，则数据上报点对网络带宽的要求如下：
[0007] 瞬时流量：T = 8X2000 = 16000KB ~16MB
[0008] 带宽要求：W ~TX 10 = 160Mbps
[0009] 在实际应用中，海量数据终端的采集单元可能远高于2000个，随着采集单元数量 的增加，带宽要求呈线性方式增长。由此可见，采用现有的技术方法周期性上报数据，瞬时 并发的数据流带来传输的高峰，对网络带宽、I/O带宽、I/O读写等待时间、内存、计算能力 等系统资源有很高的要求，带来运营成本的巨大压力。
【发明内容】
[0010] 本发明目的在于提供一种对周期性数据上报进行时间散列的系统，用以克服海量 数据，周期性上报造成的网络、I/O、内存、计算能力压力过大的问题。
[0011] 该对周期性数据上报进行时间散列的系统具体包含：复数个采集单元和服务单 元；所述采集单元发起注册请求；所述服务单元根据所述注册请求与所述采集单元建立连 接；所述服务单元将上报周期划分为复数个所述时间片段，获取各时间片段的负载状态，将 负荷最小的时间片段的配置参数发送至所述采集单元；所述采集单元根据所述配置参数计 算获得上报时间。
[0012] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述服 务单元根据采集单元的注册请求获得所述采集单元的标识信息，根据所述标识信息与所述 采集单元建立连接并反馈注册结果。
[0013] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述标 识信息为所述采集单元的序列号SN。
[0014] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：当所述 服务单元将上报周期划分为复数个所述时间片段后，对每一时间片段赋予引用计数；调节 所述引用计数后分配至所述采集单元，通过所述引用计数判定所述时间片段负荷状态。
[0015] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述服 务单元增加所述引用计数后，将所述引用计数对应的时间片段分配至所述采集单元；所述 服务单元查询到所述采集单元离线后，减少所述引用计数。
[0016] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：根据以 下散列参数计算公式获得散列参数：
[0017]
[0018] 上述公式中HashSN为散列参数，1为序列号SN的长度，j为序列号遍历索引， 0 ^ j<l〇
[0019] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：根据以 下计算公式获得所述上报时间：
[0020]
[0021] 上述公式中T。为上报当日零时时间戳；η为当前上报批次；p为上报周期；t为时 间片段的时长；i为时间片段编号Je1，： 2, "…(6-1))其中，ρ/t向下取整且t << P ;x为配置项，X是二次散列参数，将服务单元分配的、处于同一时间片段内的采集单 元在该时段再次进行散列分布，使负载更为平均。
[0022] 在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述配 置参数包含：上报周期，时间片段的时长和时间片段编号。
[0023] 本发明的有益技术效果在于：本发明通过时间散列的方式，将高度集中的并发业 务平均分布在一段时间内，降低周期性上报数据对网络带宽、I/O带宽、I/O读写等待时间、 内存、计算能力等系统资源的要求。
【附图说明】
[0024] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不 构成对本发明的限定。在附图中：
[0025] 图1为本发明所提供的对周期性数据上报进行时间散列的系统结构示意图；
[0026] 图2为本发明所提供的对周期性数据上报进行时间散列的系统操作流程示意图；
[0027] 图3为本发明所提供的上报周期划分时间片段示意图；
[0028] 图4为本发明所提供对周期性数据上报进行时间散列的系统一实施例的流程图。
【具体实施方式】
[0029] 为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附 图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明， 但并不作为对本发明的限定。
[0030] 本发明所提供的对周期性数据上报进行时间散列的系统由数据采集单元（CU)、服 务单元（SU)以及网络三部分组成，具体请参考图1所示，通过采集单元与服务单元之间的 网络通信，实现对周期性上报数据的时间分流，以达到错开数据传输高峰期的方法。
[0031] 再请参考图2所示，图2为对周期性数据上报进行时间散列的系统操作流程示意 图，所述系统具体包含：复数个采集单元和服务单元；SlOl所述采集单元发起注册请求； S102所述服务单元根据所述注册请求与所述采集单元建立连接；S103所述服务单元将上 报周期划分为复数个所述时间片段，获取各时间片段的负载状态，将负荷最小的时间片段 的配置参数发送至所述采集单元；S104所述采集单元根据所述配置参数计算获得上报时 间。通过所述上报时间，采集单元可以确定其上报数据的时间点，以此，通过服务单元的合 理划分采集单元上报的时间，使不同采集单元可以分批次上报数据，减少多个采集单元同 一时刻上报数据引起的设备压力，极大的降低了周期性上报数据对网络带宽、I/O带宽、I/O 读写等待时间、内存、计算能力等系统资源的要求。
[0032] 在本发明一实施例中，上述步骤S102还包含，所述服务单元根据采集单元的注册 请求获得所述采集单元的标识信息，根据所述标识信息与所述采集单元建立连接并反馈注 册结果。其中，所述标识信息为所述采集单元的序列号SN等唯一标识，所述服务单元根据 该唯一标识确定所述采集单元的信息及位置等；当然，本领域相关技术人员应知，所述序列 号仅为本发明所提供的一较佳实施例，本发明并不以此为限。
[0033] 请参考图3所示，在实际工作中，当采集单元数据上报周期设为p，服务单元则将 所述上报周期P划分为若干连续的、相同的时间片段，每个时间片段的时长为t，并为每个 时间片段编号为i，(队1，2,'…··< 由服务单元进行动态管理和检测。当所 述对周期性数据上报进行时间散列的系统启动时，各时间片段的负载可计数为〇,该引用计 数为服务单元设置；采集单元向服务单元发起注册后，服务单元检测当前时间片段的负载 情况Pi~P N，选出负载最小的单元minTp P2, P3···，Pn)，例如当前P1= 1，P 2= 3, P 3= 5， 那么该情况下选择P1这一个引用计数最小的一个单元，服务单元将采集单元上传的时间点 被划入该时段P 1，同时该片段计数加1，变成P1= 2,当采集单元离线时，对应时段的引用计 数减1，变回P1= 1。以此，服务单元通过即时检测当前时间片段的引用计数，合理且快捷 的获得各时间片段的负荷状态，将采集单元上报数据的时间准确的分配至负荷较小的时间 片段中，使采集单元获得其对应的上报数据的时间段，以此，防止大量采集单元集中于同一 时段上传数据的风险。同时，值得说明的是，当采集单元获得其上报时间后，并不用立即上 报数据，其在该时段内的最终上报时点，可由采集单元具体分析后自行决定。
[0034] 上述引用计数调整方法具体请参考图4所示，所述服务单元增加所述引用计数 后，将