基于内存数据库的HBase二级索引构建与查询的装置及方法与流程

文档序号:12364449阅读:来源:国知局

技术特征:

1.一种基于内存数据库的HBase二级索引构建与查询的装置,其特征在于,包括:

客户端,其用于发出二级索引规则创建请求、二级索引规则删除请求、数据更新请求和数据查询请求;

数据处理模块,其接收客户端发送的请求,用于对客户端发出的请求进行分别处理,进行数据的更新、查询和删除;

二级索引模块,对客户端发出的请求进行二级索引的更新、查询和删除。

2.根据权利要求1所述的基于内存数据库的HBase二级索引构建与查询的装置,其特征在于,所述数据处理模块主要是对HBase中的数据进行处理。

3.根据权利要求2所述的基于内存数据库的HBase二级索引构建与查询的装置,其特征在于,所述数据处理模块包括:

客户端接口:用于接收客户端发送的各种数据请求,将对数据的请求转移到数据请求处理组件,对索引规则的请求转移到索引规则组件,接收相应的查询结果返回到客户端;

数据请求处理组件:用于接收客户端接口的数据处理请求,在数据库存储组件中更新和删除数据库的数据,数据更新后,触发协处理器,进行二级索引的处理;

数据存储组件:主要对数据进行存储,根据不同的操作及时更新数据;

索引规则组件:接收客户端接口的索引规则请求,包括索引规则的创建和删除;

协处理器组件:在数据请求处理组件在对数据进行处理后触发该协处理器组件,该该协处理器组件读取索引规则组件中的索引规则,根据索引规则对二级索引进行处理;

二级索引接口:根据协处理组件读取到的索引规则,将对二级索引的处理转移到二级索引模块。

4.根据权利要求1所述的基于内存数据库的HBase二级索引构建与查询的装置,其特征在于,所述二级索引模块主要是对二级索引进行处理,包括二级索引查询、更新和存储,所述二级索引模块主要包含:

客户端接口:接收客户端发送的数据请求,将对数据的查询请求转移到二级索引查询组件,更新请求转移到二级索引更新组件,接收相应的查询结果返回到客户端;

二级索引更新组件:接收客户端接口的更新请求,及时更新二级索引存储组件中的二级索引;

二级索引查询组件:接收客户端接口的查询请求,通过向二级索引存储组件查询二级索引获得Rowkey,将其返回到客户端接口;

二级索引查询组件:接收客户端接口的删除请求,及时删除二级索引存储组件中的二级索引;

二级索引存储组件:对二级索引进行存储;

数据处理接口:接收数据处理模块对二级索引的操作,将回调函数所获得的数据转移给二级索引模块。

5.一种基于内存数据库的HBase二级索引构建与查询的方法,其特征在于,包括以下步骤:

S1客户端发送二级索引规则创建请求,协处理器调用二级索引模块接口,将二级索引信息和二级索引数据写入二级索引模块;

S2客户端发送二级索引规则删除请求,协处理器调用二级索引模块接口,删除二级索引规则信息和索引数据;

S3客户端发送数据更新请求,数据处理模块确定数据更新类型为插入,数据处理模块将更新数据直接写入HBase,协处理器调用二级索引模块接口修改二级索引数据;

S4客户端发送数据更新请求,数据处理模块确定数据更新类型为修改或删除,协处理器协助数据处理模块搜索到需要更新的数据,数据处理模块更新数据,协处理器调用二级索引模块接口修改索引数据;

S5客户端发送数据查询请求,协处理器协助数据处理模块搜索到需要查询的数据,数据处理模块获取查询数据并将获取的数据返回给客户端。

6.根据权利要求5所述的基于内存数据库的HBase二级索引构建与查询的方法,其特征在于,步骤S1进一步包括:

S11客户端发送二级索引规则创建请求;

S12数据处理模块接受二级索引规则创建请求,数据请求处理组件将二级索引创建情况分配给协处理器组件进行处理;

S13协处理器组件对收到的二级索引创建请求中的表名和字段进行解析;

S14协处理器组件根据索引创建请求的解析结果调用二级索引模块接口写入索引规则信息,并在二级索引模块中根据表名和索引字段创建二级索引对应的Key值;

S15协处理器组件扫描HBase中索引归属的表,将每条记录的Rowkey和对应索引字段的权值写入二级索引模块。

7.根据权利要求5所述的基于内存数据库的HBase二级索引构建与查询的方法,其特征在于,步骤S2进一步包括:

S21客户端发送二级索引规则删除请求;

S22数据处理模块接收索引删除请求,分配给协处理器组件进行处理;

S23协处理器组件对收到索引删除请求中的索引名称进行解析;

S24协处理器组件根据解析结果调用二级索引模块接口,删除索引规则信息和索引数据。

8.根据权利要求5所述的基于内存数据库的HBase二级索引构建与查询的方法,其特征在于,步骤S3进一步包括:

S31客户端发送数据更新请求;

S32 数据处理模块接收到数据更新请求后,经判断,确定数据更新类型为插入,将更新数据直接写入HBase,并将数据更新请求转发给协处理器;

S33协处理器判断更新字段是否为索引字段,若数据更新字段是索引字段,协处理器调用二级索引模块更新索引数据;若数据更新字段不是索引字段,数据更新结束。

9.根据权利要求5所述的基于内存数据库的HBase二级索引构建与查询的方法,其特征在于,步骤S4进一步包括:

S41客户端发送数据更新请求;

S42数据处理模块接收到数据更新请求后,经判断,确定数据更新类型为修改或删除,并将数据更新请求转发给协处理器;

S43协处理器判断更新条件是否为索引字段,若更新条件为索引字段,协处理器遍历HBase,获取符合条件的Rowkey;若更新条件不为索引字段,协处理器将更新条件提交给二级索引模块,二级索引模块根据不同的更新条件进行精确、范围或组合查询,返回符合条件的Rowkey;

S44协处理器将二级索引模块返回的Rowkey返回给数据处理模块,数据处理模块根据协处理器返回的Rowkey更新数据;

S45协处理器判断更新字段是否为索引字段,若数据更新字段是索引字段,协处理器调用二级索引模块更新索引数据;若数据更新字段不是索引字段,数据更新结束。

10.根据权利要求5所述的基于内存数据库的HBase二级索引构建与查询的方法,其特征在于,所述步骤S5进一步包括:

S51客户端发送数据查询请求;

S52数据处理模块接收到数据查询请求后,将数据查询请求转发给协处理器;

S53协处理器判断更新条件是否为索引字段,若更新条件为索引字段,协处理器遍历HBase,获取符合条件的Rowkey;若更新条件不为索引字段,协处理器将查询条件提交给二级索引模块,二级索引模块根据不同的查询条件进行精确、范围或组合查询,返回符合条件的Rowkey;

S54协处理器将二级索引模块返回的Rowkey返回给数据处理模块;

S55数据处理模块根据协处理器返回的Rowkey获取数据,并将数据返回给客户端。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1