云详单查询管理系统及方法与流程

文档序号:11155278阅读:来源:国知局

技术特征:

1.一种云详单查询管理系统,其特征在于,包括:详单文件管理模块、接口服务模块、数据路由模块和数据存储模块;

详单文件管理模块,用于接收外部系统上传的新的详单文件,读取到所述新的详单文件的详单文件内容;然后,向所述接口服务模块发送数据写入指令;其中,所述数据写入指令中携带有所述详单文件内容;

接口服务模块,分别与所述详单文件管理模块以及外部详单查询系统对接,用于接收所述详单文件管理模块下发的数据写入指令,解析到需要被写入的详单文件内容;然后,根据所述详单文件内容生成详单写入请求,将所述详单写入请求下发到所述数据路由模块;

或者,用于接收所述外部详单查询系统发送的详单查询指令,从所述详单查询指令中解析到详单查询参数,根据所述详单查询参数生成详单查询请求,并将所述详单查询请求下发到所述数据路由模块;

数据路由模块,用于预制定数据路由策略,接收来自于所述接口服务模块的详单操作指令;其中,所述详单操作指令包括详单写入请求或详单查询请求;然后,根据所述数据路由策略,对所述详单操作指令中的数据进行数据特征提取,并根据数据特征查找到对应的数据存储模块,最后将详单操作指令传输给相对应的数据存储模块;

数据存储模块,用于接收来自于所述数据路由模块的详单操作指令,并执行对应的操作;即:当接收到来自于所述数据路由模块的详单写入请求时,写入并存储详单数据;当接收到来自于所述数据路由模块的详单查询请求时,根据所述详单查询参数,查询到对应的详单数据,并将查询到的详单数据返回给所述外部详单查询系统。

2.根据权利要求1所述的云详单查询管理系统,其特征在于,所述外部系统为详单计费系统。

3.根据权利要求1所述的云详单查询管理系统,其特征在于,所述接口服务模块还用于:在接收到所述详单文件管理模块下发的数据写入指令,或者,在接收到所述外部详单查询系统发送的详单查询指令时,首先进行安全性验证,只有安全验证通过后,再进行后续数据解析操作。

4.根据权利要求3所述的云详单查询管理系统,其特征在于,所述安全性验证包括两种:

第一种,对来源地址和身份进行合法性验证;

第二种,针对特定来源设定接口调用的频度限制,然后,验证特定来源接口调用的频度是否超过设定值,如果超过,则为频繁异常的调用,进行屏蔽处理;如果未超过,则通过验证。

5.根据权利要求1所述的云详单查询管理系统,其特征在于,所述详单文件管理模块、所述接口服务模块、所述数据路由模块和所述数据存储模块均可作为独立的服务运行于不同的服务器节点,也可支持部署在同一台服务器上;

所述详单文件管理模块、所述接口服务模块、所述数据路由模块和所述数据存储模块均可运行于物理x86服务器环境,也可运行于虚拟化/云服务器环境;

所述详单文件管理模块、所述接口服务模块、所述数据路由模块和所述数据存储模块均支持多节点同时部署运行,支持系统冗余备份;

所述详单文件管理模块、所述接口服务模块、所述数据路由模块和所述数据存储模块在进行多节点部署时,在前端配置负载均衡设备,负载均衡设备根据各个节点的负载,分发详单操作指令。

6.根据权利要求1所述的云详单查询管理系统,其特征在于,所述数据存储模块的静态主体结构包括内存表、不变内存表、log文件以及CCTable文件;其中,所述内存表和所述不变内存表位于内存中;所述log文件以及所述CCTable文件位于磁盘上;

所述数据存储模块采用以下方法写入数据:

(1)当所述数据存储模块需要写入一条Key:Value记录的时候,所述数据存储模块首先将所述Key:Value记录写入到所述log文件;

(2)所述内存表中KV对是根据Key大小有序存储的,因此,在将Key:Value记录成功写入到所述log文件后,所述数据存储模块再将所述Key:Value记录写入到所述内存表中的对应位置,以保证所述内存表中存储数据的有序性;

(3)如此不断循环,实现所述内存表和所述log文件的一致性;当所述内存表写入的数据占用内存到达设定界限后,所述数据存储模块生成新的Log文件和新的内存表;原先的内存表转为不变内存表,所述不变内存表指:只能进行读操作,不能进行写入操作或者删除操作;后续当需要写入新的Key:Value记录时,将新的Key:Value记录分别被写入所述新的Log文件和新的内存表;

(4)数据存储模块将所述不变内存表中存储的数据导出到所述磁盘并进行压缩操作后,形成一个新的CCTable文件;其中,所述CCTable文件为层级结构,第一层为Level 0、第二层为Level 1、依此类推,其层级逐渐增高;所述CCTable文件所存储的记录是根据记录的Key由小到大排列的;

所述数据存储模块采用以下方法查询数据:

(1)所述数据存储模块首先查看内存中的内存表,判断所述内存表中是否包含key及其对应的value,如果包含,则返回value值即可;如果不包含,则执行步骤(2);

(2)所述数据存储模块查看内存中的不变内存表,判断所述不变内存表中是否包含key及其对应的value,如果包含,则返回value值即可;如果不包含,则执行步骤(3);

(3)所述数据存储模块查看磁盘中的多个CCTable文件,对于每个CCTable文件,由于其为层级结构,因此,首先查找属于level 0的文件,如果查找到所需的key及其对应的value,则返回value值即可;如果未查找到,则查找属于level1的文件,如此循环往复,直到在某层CCTable文件中查找到所需要的key及其对应的value为止。

7.根据权利要求6所述的云详单查询管理系统,其特征在于,所述数据存储模块查询数据时,当所述内存表和所述不变内存表中均不存在需要查询的key及其对应的value时,采用以下方法查询:

(a)所述数据存储模块预建立Table缓存和Block缓存;其中,所述Block缓存用于缓存上一次返回给用户的key及其对应的value;所述Table缓存用于缓存分别指向CCTable文件中不同block区域的文件指针以及Block缓存的位置信息;

(b)当所述数据存储模块接收到用户发出的读取请求时,所述读取请求中携带有目标key;

(c)所述数据存储模块首先查询所述Block缓存,判断所述Block缓存中是否存在所述目标key,如果存在,则查找到与所述目标key对应的目标value,并向所述用户返回所述目标value,结束流程;如果不存在,则执行步骤d;

(d)所述数据存储模块查询所述Table缓存中的文件指针,获得包含所述目标key的文件指针,然后,根据所述文件指针的指向,查找到所述CCTable文件中对应的一个block区域数据;

然后,所述数据存储模块根据所述Table缓存中的Block缓存的位置信息,定位到Block缓存,再将所述block区域数据传输到所述Block缓存;

(e)所述数据存储模块查询所述Block缓存,判断所述Block缓存中是否存在所述目标key,如果存在,则查找到与所述目标key对应的目标value,并向所述用户返回所述目标value,结束流程;如果不存在,则执行步骤f;

(f)所述数据存储模块从磁盘的CCTable文件中查找与所述目标key对应的目标value,然后,将所述目标key及对应的所述目标value插入到Block缓存;

(g)返回步骤c。

8.一种云详单查询管理方法,其特征在于,包括数据存储流程和数据查询流程;

所述数据存储流程包括以下步骤:

步骤1.1,用户产生通信行为后,计费系统产生详单文件,并通过网络调用的方式向详单文件管理模块发送数据写入的通知消息;

步骤1.2,详单文件管理模块在接收到数据写入的通知消息时,读取计费系统产生的详单文件的详单文件内容;然后,向接口服务模块发送数据写入指令;其中,所述数据写入指令中携带有所述详单文件内容;

步骤1.3,接口服务模块在接收到所述数据写入指令时,首先进行安全性验证,在验证通过后,解析需要被写入的详单文件内容,生成详单数据关键参数;然后,将详单数据关键参数以及详细的详单文件内容以详单写入请求的方式发送给数据路由模块;

步骤1.4,数据路由模块预制定数据路由策略,接收来自于所述接口服务模块的详单数据关键参数以及详细的详单文件内容;然后,数据路由模块基于数据路由策略对所述详单数据关键参数进行分析,匹配到最佳的数据存储模块,并将所述详单文件内容发送到所述数据存储模块;

步骤1.5,所述数据存储模块保存详细的所述详单文件内容;

所述数据查询流程包括以下步骤:

步骤2.1,接口服务模块接收用户通过门户系统发送的用户详单查询指令;其中,所述用户详单查询指令中携带有详单查询参数;

步骤2.2,接口服务模块首先进行安全性验证,在验证通过后,根据所述详单查询参数生成详单查询请求,并将所述详单查询请求下发到所述数据路由模块;

步骤2.3,数据路由模块预制定数据路由策略,并对所述详单查询请求进行解析,得到详单查询参数和详单标识;然后,数据路由模块基于数据路由策略对所述详单查询参数和详单标识进行分析,匹配到存储有对应详单的数据存储模块,并将所述详单查询请求下发到对应的数据存储模块;

步骤2.4,所述数据存储模块提取符合本次详单查询条件的详单文件,并将提取到的详单文件返回给用户。

9.根据权利要求8所述的云详单查询管理方法,其特征在于,步骤1.5,所述数据存储模块保存详细的所述详单文件内容,具体为:

每个所述数据存储模块作为一个数据存储节点,从而构成轻量级分布式基于kv的Nosql数据存储体系;所述基于kv的Nosql数据存储体系的存储关键字为:用户标识、日期和详单类型;

步骤1.4中,所述详单数据关键参数为:用户标识、日期和详单类型;

步骤2.3中,所述详单标识为:用户标识、日期和详单类型。

10.根据权利要求8所述的云详单查询管理方法,其特征在于,步骤1.3和步骤2.2中,所述安全性验证包括两种:

第一种,对来源地址和身份进行合法性验证;

第二种,针对特定来源设定接口调用的频度限制,然后,验证特定来源接口调用的频度是否超过设定值,如果超过,则为频繁异常的调用,进行屏蔽处理;如果未超过,则通过验证。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1