一种海量数据的热点数据的分析方法、系统及相关设备的制造方法_4

文档序号:9579314阅读:来源:国知局
0,用于计算第一当前时间的第一偏移量,并根据所述第一偏移量计算 得到第一逻辑时间;所述第一逻辑时间的时间粒度与多周期访问频度列表中的目标参考逻 辑时间的时间粒度相同;所述多周期访问频度列表至少包括至少一种不同时间粒度的参考 逻辑时间和在每一种所述参考逻辑时间内至少一个数据的访问次数;
[0118] 时间确认模块420,确认所述第一逻辑时间与所述多周期访问频度列表中的目标 参考逻辑时间是否相符;
[0119] 热点确定模块430,用于在所述第一逻辑时间与所述多周期访问频度列表中的目 标参考逻辑时间相符时,将所述多周期访问频度列表中的目标参考逻辑时间内访问次数满 足预设阀值的数据作为在所述第一逻辑时间的时间粒度内的热点数据。
[0120] 可以理解的是,在本发明实施例中,所计算的第一逻辑时间的时间粒度需要满足 多周期访问频度列表中的目标参考逻辑时间,也就是与多周期访问频度列表中的某一个参 考逻辑时间的时间粒度相同。
[0121] 其中,在需要分析海量数据的热点数据时,计算模块410将计算第一当前时间的 第一偏移量,并根据第一便宜量计算得到第一逻辑时间,由于第一逻辑时间与多周期访问 频度列表中的目标参考逻辑时间的时间粒度相同,再时间确认模块420确认第一逻辑时间 与目标参考逻辑时间相符时,热点确定模块430将可以将目标参考逻辑时间内访问次数满 足预设阀值的数据作为在所述第一逻辑时间的时间粒度内的热点数据,可以有效地分析出 任意周期内的热点数据,效率和准确度都较高。
[0122] 在一个优选的实施例中,上述计算模块410具体包括:
[0123] 第一获取模块,用于获取第一当前时间;
[0124] 第一计算模块,用于计算所述第一当前时间与格林威治标准时间的第一偏移量, 并根据所述第一偏移量,采用多周期归档算法计算第一逻辑时间。
[0125] 可以理解的是,第一当前时间是系统的当前时间,而第一偏移量是第一当前时间 距离格林威治标准时间的偏移量(time_gap,以秒作为单位)。其中,在本发明实施例中,利 用C语言编写的偏移量获取函数time_ttime(time_t*time)获取到系统的当前时间距离 格林威治标准时间的偏移量time_gap。
[0126] 采用多周期归档算法的计算公式计算第一逻辑时间,具体参见上述方法实施例中 的详细说明,在此不再赘述。
[0127] 而多周期访问频度列表进行更新是在中心节点接收到边缘节点的数据访问请求 时,因此,本发明实施例提供的中心节点设备400还包括:
[0128] 更新模块,当收到边缘节点的数据访问请求时,用于对所述多周期访问频度列表 进行更新。
[0129] 请参阅图5,上述更新模块具体包括:
[0130] 第二计算模块510,用于计算第二当前时间的第二偏移量,并根据所述第二偏移量 计算得到第二逻辑时间;所述第二逻辑时间的时间粒度与所述多周期访问频度列表中的目 标参考逻辑时间的时间粒度相同;
[0131] 第二确认模块520,用于确定所述第二逻辑时间是否与所述多周期访问频度列表 中的目标参考逻辑时间相符;
[0132] 第一更新模块530,用于在所述第二逻辑时间与所述多周期访问频度列表中的目 标参考逻辑时间相符时,更新所述多周期访问频度列表的目标参考逻辑时间中所述特征信 息对应的数据的访问次数;
[0133] 第二更新模块540,用于在所述第二逻辑时间与所述多周期访问频度列表中的目 标参考逻辑时间不相符时,新所述多周期访问频度列表中目标参考逻辑时间,和所述多周 期访问频度列表中目标参考逻辑时间中的数据的访问次数。
[0134] 与上述计算模块410相同,上述第二计算模块510具体包括:
[0135] 第三获取模块,用于获取第二当前时间;
[0136] 第三计算模块,用于计算所述第二当前时间与所述格林威治标准时间的第二偏移 量,并根据所述第二偏移量,采用所述多周期归档算法计算得到第二逻辑时间。
[0137] 且上述第一更新模块具体用于:将目标参考逻辑时间中特征信息对应的数据的访 问次数N增加1,也就是N+1,所述N为大于或等于1的正整数。而,该目标参考逻辑时间中 的其它访问次数则保持原来的值不变;
[0138] 上述第二更新模块具体用于:在第二逻辑时间大于所述多周期访问频度列表中的 目标参考逻辑时间时,将目标参考逻辑时间T增加1,也就是T+1,且同时将T+1的目标参考 逻辑时间中数据访问请求中数据的访问次数N重置为1,而其它数据则重置为0,所述T为 大于或等于1的正整数,N也为大于或等于1的正整数。
[0139] 请参阅图6,并结合图la和图4,本发明实施例还提供了一种海量数据的热点数据 的分析系统600,包括如图4所示的中心节点设备400,以及与该中心节点设备连接的η个 边缘节点设备610,该η为大于或等于1的正整数;
[0140] 其中,中心节点设备400的详细内容请参阅上述介绍,在此不再赘述;
[0141] 边缘节点设备610用于在收到客户端的业务请求后,对所述业务请求中的数据信 息进行抽象得到数据的特征信息,并将所述特征信息携带在数据访问请求中发送给所述中 心节点设备400。
[0142] 边缘节点设备610与中心节点设备400之间通过网络连接。
[0143] 另外,上述边缘节点设备610还用于在收到所述中心节点设备对所述数据访问请 求的回复后,将所述业务请求转向给业务逻辑服务器,以便所述业务逻辑服务器执行所述 业务请求对应的业务。
[0144] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部 分,可以参见其他实施例的相关描述。
[0145] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统, 设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0146] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统,设备和方法,可以 通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的 划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件 可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或 讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或模块的间接耦 合或通信连接,可以是电性,机械或其它的形式。
[0147] 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显 示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个 网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。
[0148] 另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以 是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模 块既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0149] 所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用 时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质 上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形 式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算 机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法 的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程 序代码的介质。
[0150] 以上对本发明所提供的一种海量数据的热点数据分析的方法、系统及相关设备进 行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在【具体实施方式】及 应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
【主权项】
1. 一种海量数据的热点数据的分析方法,其特征在于,包括: 计算第一当前时间的第一偏移量,并根据所述第一偏移量计算得
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1