一种大数据获取方法与流程

文档序号:11155386阅读:来源:国知局

技术特征:

1.一种大数据获取方法,其特征在于,包括:

接收数据请求端的获取数据请求;所述获取数据请求包括查询参数;

验证所述数据请求端是否具有获取数据权限;

当所述数据请求端具有获取数据权限时,判断根据预先设置的匹配规则从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板;所述模板库中存储有多个预先设置的数据源配置模板,每个数据源配置模板记录有请求参数及对应的数据源的地址和数据源参数;

当根据预先设置的匹配规则从模板库中获取到所记录的请求参数与所述查询参数相匹配的至少一个数据源配置模板时,从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板;

判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求;若是,则将当前选择的数据源配置模板对应的数据源确定为目标数据源并执行下一步骤;否则,当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时,返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤;

根据当前选择的数据源配置模板中记录的地址,向所述目标数据源请求数据;

判断所述目标数据源返回的数据是否正常;若是,则将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端;否则,当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时,返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤。

2.如权利要求1所述的大数据获取方法,其特征在于,所述判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求,包括:

向所述当前选择的数据源配置模板对应的数据源发送获取参数请求;

接收所述当前选择的数据源配置模板对应的数据源返回的数据源参数;

判断接收的数据源参数是否与所述当前选择的数据源配置模板中记录的数据源参数相一致,若是,则断定所述当前选择的数据源配置模板对应的数据源满足所述获取数据请求的要求。

3.如权利要求2所述的大数据获取方法,其特征在于,所述选择一个数据源配置模板之后,判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求之前,还包括:确定本地与当前选择的数据源配置模板对应的数据源之间的通信方式;

所述向所述当前选择的数据源配置模板对应的数据源发送获取参数请求,包括:

通过确定的本地与所述当前选择的数据源配置模板对应的数据源之间的通信方式,建立通信链路;

通过所述通信链路,向所述当前选择的数据源配置模板对应的数据源发送获取参数请求。

4.如权利要求1所述的大数据获取方法,其特征在于,所述接收数据请求端发来的获取数据请求之前,还包括:预先为所述模板库中的各数据源配置模板设置优先级;

所述从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板,包括:根据优先级从高到低的顺序,从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

5.如权利要求4所述的大数据获取方法,其特征在于,

所述方法还包括:

根据所述数据请求端的历史数据请求行为,预测所述数据请求端对数据源配置模板的喜好度;根据所述数据请求端对数据源配置模板的喜好度,确定所述数据请求端对应的数据源配置模板优先级;

所述根据优先级从高到低的顺序,从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板,包括:

根据所述数据请求端对应的数据源配置模板优先级,从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

6.如权利要求5所述的大数据获取方法,其特征在于,

所述数据请求端的历史数据请求行为包括:当前时间之前的预设时间段内的数据请求行为,所述数据请求行为包括数据请求端在所述预设时间段内每次获取到的数据源配置模板的标识及其数据源的标识;

所述根据所述数据请求端的历史数据请求行为,确定所述数据请求端对数据源配置模板的喜好度,包括:

根据所述数据请求端的历史数据请求行为,统计所述数据请求端在所述预设时间段内对数据源配置模板i的使用次数Ni、和从数据源配置模板i对应的数据源Mi获取到数据的次数QMi,以及统计预设数据请求端在所述预设时间段内对数据源配置模板i的总使用次数Ri、和从数据源配置模板i对应的数据源Mi获取到数据的总次数TMi;根据以下计算公式计算所述数据请求端对数据源配置模板i的喜好度Pi,所述计算公式为:

<mrow> <mi>P</mi> <mi>i</mi> <mo>=</mo> <mfrac> <mrow> <mi>N</mi> <mi>i</mi> </mrow> <mi>N</mi> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mi>R</mi> <mi>i</mi> </mrow> <mi>R</mi> </mfrac> <mo>&CenterDot;</mo> <mfrac> <msub> <mi>Q</mi> <mrow> <mi>M</mi> <mi>i</mi> </mrow> </msub> <mi>Q</mi> </mfrac> <mo>&CenterDot;</mo> <mfrac> <msub> <mi>T</mi> <mrow> <mi>M</mi> <mi>i</mi> </mrow> </msub> <mi>T</mi> </mfrac> </mrow>

其中,所述N为所述数据请求端在所述预设时间段内对所有数据源配置模板的总使用次数;所述R为预设数据请求端在所述预设时间段内对所有数据源配置模板的总使用次数;所述Q为所述数据请求端在所述预设时间段内从所有数据源获取到数据的总次数;所述T为预设数据请求端在所述预设时间段内从所有数据源获取到数据的总次数;预设数据请求端是指满足以下条件的所有数据请求端:用户信息与所述数据请求端的用户信息之间的信息匹配度达到预设匹配度的数据请求端;

所述根据所述数据请求端对数据源配置模板的喜好度,确定所述数据请求端对应的数据源配置模板优先级,包括:

按照所述数据请求端对各个数据源配置模板的喜好度从大到小的顺序排列数据源配置模板,形成第一排列;

将第一排列中的数据源配置模板从中间位置一分为二,形成喜好度较大的第二排列和喜好度较小的第三排列;其中,当第一排列中的数据源配置模板为2N个时,第一排列中的数据源配置模板的编号从前往后依序为1~2N;第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N个,第二排列中的数据源配置模板的编号从前往后依序为1~N,第三排列中的数据源配置模板的编号从前往后依序为N+1~2N;当第一排列中的数据源配置模板为2N+1个时,第一排列中的数据源配置模板的编号从前往后依序为1~2N+1,第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N+1个,第二排列中的数据源配置模板的编号从前往后依序为1~N,第三排列中的数据源配置模板的编号从前往后依序为N+1~2N+1;

将第三排列中的数据源配置模板按照喜好度从大到小的顺序逐个穿插入第二排列中,形成第四排列;第四排列中的第一个数据源配置模板为原属于第二排列的第一个数据源配置模板;在第四排列中,原属于第二排列的数据源配置模板的两侧均为原属于第三排列的数据源配置模板,并且,原属于第三排列的数据源配置模板的两侧均为原属于第二排列的数据源配置模板;在第四排列中,原属于第三排列的数据源配置模板对应的喜好度依序从大变小,原属于第二排列的数据源配置模板对应的喜好度依序从大变小;

将所述第四排列中的数据源配置模板的先后顺序,作为所述数据请求端对应的数据源配置模板优先级,数据源配置模板在第四排列中的排位越靠前,其优先级越高。

7.如权利要求1所述的大数据获取方法,其特征在于,所述预定格式为json格式。

8.如权利要求1所述的大数据获取方法,其特征在于,所述接收数据请求端发来的获取数据请求,包括:

通过网络应用程序接口接收数据请求端的获取数据请求。

9.如权利要求1至8任一项所述的大数据获取方法,其特征在于,所述获取数据请求还包括数据请求端的用户身份信息;

所述验证所述数据请求端是否具有获取数据权限,包括:

验证所述数据请求端的用户身份信息是否通过;

当所述数据请求端的用户身份信息验证通过后,确定所述数据请求端具有获取数据权限。

10.如权利要求9所述的大数据获取方法,其特征在于,在所述数据请求端的用户身份信息验证通过之后,确定所述数据请求端具有获取数据权限之前,还包括:

获取当前验证通过的用户身份信息对应用户的剩余数据请求次数及余额;

判断当前获取的剩余请求次数是否大于0,若是,则执行确定所述数据请求端具有获取数据权限的步骤,否则,

判断当前获取的余额是否不小于预定的单次获取数据所需金额,若是,则执行确定所述数据请求端具有获取数据权限的步骤,否则结束流程。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1