自动聚合冗余系统交易数据的系统及其处理器和方法_2

文档序号:9288364阅读:来源:国知局
地系统性能(包括CPU、内存、硬盘等)情况并生成系统性能报告;通过管理通道,服务器甲和服务器乙双方互相发送本地的系统性能报告给对方;经性能对比,双方确定系统性能更优的一方为此次数据处理方。
[0065]所述数据处理模块,用于将两地交易记录进行汇聚,通过关键字段把两地交易记录的请求和响应进行一对一关联,根据时间容错参数判断关联有效性,完成交易的统计,包括如下装置:
[0066]队列形成装置,用于将交易一方的业务交易记录排列形成队列M,将交易另一方的业务交易记录排列形成队列N ;
[0067]关键字确认装置,用于确定交易关键字;交易关键字包括:时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段。
[0068]排序装置,用于将队列M中的请求记录和队列N中的响应记录聚集到结果处理集SI中,其中,队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列;将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中,其中,队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列;
[0069]关联装置,用于在结果处理集S1、结果处理集S2中,分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系;
[0070]有效性判断装置,用于判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内,若是,则认定该请求记录与响应记录关联有效,否则,丢弃该请求记录与响应记录;
[0071]交易信息生成装置,用于根据有效关联的请求记录与响应记录生成交易信息。
[0072]具体地,如图五,队列形成装置生成两个通道,记为通道M和通道N,这两个通道内分别放置两地的交易记录队列,同时将双方的交易记录按照队列先后顺序汇聚到一个缓存池中;
[0073]关键字确认装置按照不同的应用性能分析需求选择相对应的交易关键字(时间戳、交易单号或流水号、返回码、用于确定交易的业务字段等);
[0074]排序装置,如图6所示,将缓存池中的队列M中的请求记录和队列N中的响应记录聚集到一个结果处理集SI中;相同的,将缓存池中的队列M中的响应记录和队列N中的请求记录聚集到另一个结果处理集SI中;关联装置根据交易关键字或已打时间戳的先后顺序重行排列将队列M与队列N的交易记录进行一对一关联;
[0075]有效性判断装置设置时间容错参数T_E ( 一般T_E〈10ms),在结果处理集SI中按时间先后顺序将队列M和队列N中的交易记录进行一对一匹配;如图7,在结果处理集SI中,交易记录Ml和交易记录N2是一组关联的交易记录,时间T_N2-T_M1〈T_E,则判定Ml和N2关联有效,两条记录合并成一个交易;T_N2为N2的时间戳,T_M1为Ml的时间戳;若T_Ν2-Τ_Μ1>Τ_Ε,则判定Ml和Ν2关联无效,自动丢弃Ml和Ν2,再判定下一组交易记录(结果处理集S2的关联有效性判断的处理方法一样);
[0076]交易信息生成装置统计所有有效的结果集并生成交易信息。
[0077]本发明提供的一种处理方法,所述处理方法是利用上述的处理器实现的,具体包括如下步骤:
[0078]步骤1:从数据包中提取业务交易记录,并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方;
[0079]步骤2:汇聚交易双方的业务交易记录,并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。
[0080]步骤2.1:将交易一方的业务交易记录排列形成队列Μ,将交易另一方的业务交易记录排列形成队列N ;
[0081]步骤2.2:确定交易关键字;交易关键字包括:时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段;
[0082]步骤2.3:将队列M中的请求记录和队列N中的响应记录聚集到结果处理集SI中,其中,队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列;将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中,其中,队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列;
[0083]步骤2.4:在结果处理集S1、结果处理集S2中,分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系。
[0084]步骤2.5:判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内,若是,则认定该请求记录与响应记录关联有效,否则,丢弃该请求记录与响应记录;
[0085]步骤2.6:根据有效关联的请求记录与响应记录生成交易信息。
[0086]所述处理方法还包括如下任一个或任多个步骤:
[0087]-实时监听侦测数据链路中的数据包,并全采样数据包至本地缓存;相应地,分发模块本地缓存的数据包中提取业务交易记录;
[0088]-根据所在当地的同步系统时间,为数据包添加时间戳;
[0089]-在处理方不是本地处理器时,将本地业务交易记录传送到处理方;
[0090]-将交易信息传输给本地处理器的存储模块和/或异地处理器的存储模块;
[0091]-展示交易信息。
[0092]本发明提供的一种自动聚合冗余系统交易数据的方法,是利用上述的自动聚合冗余系统交易数据的系统实现的,具体地,部署两个处理器分别记为处理器甲、处理器乙;处理器甲、处理器乙互为异地处理器;处理器甲部署在交易双方的主数据中心之间;处理器乙部署在交易双方的从数据中心之间;在处理器甲、处理器乙之间,通过管理通道交换各自的系统性能报告,并将系统性能较高者确认为处理方。
[0093]以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。
【主权项】
1.一种处理器,其特征在于,包括如下装置: 分发模块,用于从数据包中提取业务交易记录,并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方; 数据处理模块,用于汇聚交易双方的业务交易记录,并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。2.根据权利要求1所述的处理器,其特征在于,所述数据处理模块,包括如下装置: 队列形成装置,用于将交易一方的业务交易记录排列形成队列M,将交易另一方的业务交易记录排列形成队列N ; 关键字确认装置,用于确定交易关键字; 排序装置,用于将队列M中的请求记录和队列N中的响应记录聚集到结果处理集SI中,其中,队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列;将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中,其中,队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列; 关联装置,用于在结果处理集S1、结果处理集S2中,分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系。3.根据权利要求2所述的处理器,其特征在于,所述数据处理模块,还包括如下装置: 有效性判断装置,用于判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内,若是,则认定该请求记录与响应记录关联有效,否则,丢弃该请求记录与响应记录; 交易信息生成装置,用于根据有效关联的请求记录与响应记录生成交易信息。4.根据权利要求1所述的处理器,其特征在于,还包括如下任一个或任多个装置: 接收模块,用于实时监听侦测数据链路中的数据包,并全采样数据包至本地缓存;相应地,分发模块本地缓存的数据包中提取业务交易记录; 时钟同步模块,用于根据所在当地的同步系统时间,为数据包添加时间戳; 传输模块,用于在处理方不是本地处理器时,将本地业务交易记录传送到处理方; 输出模块,用于将交易信息传输给本地处理器的存储模块和/或异地处理器的存储模块; 呈现模块,用于展示交易信息。5.根据权利要求2所述的处理器,其特征在于,交易关键字包括:时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段。6.一种自动聚合冗余系统交易数据的系统,其特征在于,包括至少两个权利要求1至5中任一项所述的处理器,这两个处理器分别记为处理器甲、处理器乙; 处理器甲、处理器乙互为异地处理器。7.根据权利要求6所述的自动聚合冗余系统交易数据的系统,其特征在于, 处理器甲用于部署在交易双方的主数据中心之间; 处理器乙用于部署在交易双方的从数据中心之间。8.根据权利要求6所述的自动聚合冗余系统交易数据的系统,其特征在于, 在处理器甲、处理器乙之间,通过管理通道交换各自的系统性能报告,并将系统性能较高者确认为处理方。9.一种处理方法,其特征在于,所述处理方法是利用权利要求1至5中任一项所述的处理器实现的。10.一种自动聚合冗余系统交易数据的方法,其特征在于,所述自动聚合冗余系统交易数据的方法,是利用权利要求6至8中任一项所述的自动聚合冗余系统交易数据的系统实现的。
【专利摘要】本发明提供了一种自动聚合冗余系统交易数据的系统及其处理器和方法,包括:分发模块,用于从数据包中提取业务交易记录,并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方;数据处理模块,用于汇聚交易双方的业务交易记录,并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。本发明解决了异地交易请求与响应时间不同步及关联的问题,在不影响数据信息的传递及数据中心的系统性能的同时开销小,易部署,能够准确计算并确定关联交易且完整统计。
【IPC分类】G06Q40/04, G06F9/54, G06F11/14
【公开号】CN105005518
【申请号】CN201510523981
【发明人】贺晓麟, 王涛, 周育樑, 杨光辉
【申请人】上海天旦网络科技发展有限公司
【公开日】2015年10月28日
【申请日】2015年8月24日
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1