一种数据读取方法及装置与流程

文档序号:11063515阅读:来源:国知局

技术特征:

1.一种数据读取方法,其特征在于,包括:

通过数据端口,从第一数据集合中提取参考数据,所提取的参考数据的数据总量小于所述第一数据集合;

根据所述配置信息对所述参考数据进行倍化处理,并得到与所述第一数据集合的数据量相同的第二数据集合;

发送所述第二数据集合。

2.根据权利要求1所述的方法,其特征在于,所述第一数据集合的格式包括:所述第一数据集合中的每一条数据,由按照指定顺序排列的内容区域组成;

所述配置信息包括:至少一个由相同类型的内容信息组成的信息集合,其中,一个信息集合用于写入至少一个内容区域。

3.根据权利要求2所述的方法,其特征在于,所述对所述参考数据进行倍化处理包括:

复制所述参考数据,并得到与所述第一数据集合有相同的数据条数的第三数据集合;

获取所述配置信息中的信息集合,并查询得到每一个信息集合与内容区域的对应关系;

将所述配置信息中的所有信息集合并写入所述第三数据集合中,得到所述第二数据集合。

4.根据权利要求3所述的方法,其特征在于,所述将所述配置信息中的所有信息集合并写入所述第三数据集合中,得到所述第二数据集合,包括:

获取所述配置信息中的第1至N信息集合,N为大于1的正整数;

提取第1信息集合中的第1至k条内容信息,并将所述第1至k条内容信息依次写入第三数据集合中的各条数据,其中,对于每一个信息集合:将信息集合中 的内容信息,依次写入所述第三数据集合中的各条数据中与信息集合对应的内容区域,k为大于1的正整数;

将第1至N信息集合写入所述第三数据集合,完成写入后的所述第三数据集合作为所述第二数据集合。

5.根据权利要求1-4中任意一项所述的方法,其特征在于,还包括:向经过倍化处理得到的各条数据写入编号信息;

所述发送所述第二数据集合,包括:

当所述第二数据集合传输中断时,记录中断前最近一条所传输数据的编号信息;

若由所述中断恢复传输,则根据中断前最近一条所传输数据的编号信息开始继续传输所述第二数据集合。

6.根据权利要求1所述的方法,其特征在于,包括:

任务分配模块选择待执行任务,并将所述待执行任务通知用户配置模块;

所述用户配置模块读取所述待执行任务对应的所述配置信息;数据读取模块通过所述数据端口,从所述第一数据集合中提取所述参考数据;

数据扩充模块载入所述配置信息和所述参考数据,并根据所述配置信息对所述参考数据进行倍化处理,并得到所述第二数据集合;

数据处理模块读取设备信息,并根据所述设备信息确定并发模式,所述并发模式至少包括:用于所述第二数据集合的缓存比例,和/或用于所述第二数据集合的线程;

数据发送模块根据所述并发模式发送所述第二数据集合。

7.一种数据读取装置,其特征在于,包括:

读取单元,用于通过数据端口,从第一数据集合中提取参考数据,所提取 的参考数据的数据总量小于所述第一数据集合;

倍化处理单元,用于根据所述配置信息对所述参考数据进行倍化处理,并得到与所述第一数据集合的数据量相同的第二数据集合;

传输单元,用于发送所述第二数据集合。

8.根据权利要求7所述的装置,其特征在于,所述倍化处理单元,用于复制所述参考数据,并得到与所述第一数据集合有相同的数据条数的第三数据集合;并获取所述配置信息中的信息集合,并查询得到每一个信息集合与内容区域的对应关系;并将所述配置信息中的所有信息集合并写入所述第三数据集合中,得到所述第二数据集合;

其中,所述第一数据集合的格式包括:所述第一数据集合中的每一条数据,由按照指定顺序排列的内容区域组成;所述配置信息包括:至少一个由相同类型的内容信息组成的信息集合,其中,一个信息集合用于写入至少一个内容区域。

9.根据权利要求8所述的装置,其特征在于,所述倍化处理单元,具体用于获取所述配置信息中的第1至N信息集合,N为大于1的正整数;并提取第1信息集合中的第1至k条内容信息,并将所述第1至k条内容信息依次写入第三数据集合中的各条数据,其中,对于每一个信息集合:将信息集合中的内容信息,依次写入所述第三数据集合中的各条数据中与信息集合对应的内容区域,k为大于1的正整数;将第1至N信息集合写入所述第三数据集合,完成写入后的所述第三数据集合作为所述第二数据集合。

10.根据权利要求7-9中任意一项所述的装置,其特征在于,所述倍化处理单元,还用于向经过倍化处理得到的各条数据写入编号信息;

所述传输单元,具体用于当所述第二数据集合传输中断时,记录中断前最 近一条所传输数据的编号信息;若由所述中断恢复传输,则根据中断前最近一条所传输数据的编号信息开始继续传输所述第二数据集合。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1