一种数据库文本表数据的加载方法及装置与流程

文档序号:12786345阅读:来源:国知局

技术特征:

1.一种数据库中文本表数据的加载方法,其特征在于,包括:

确定数据库中待加载的目标文本表,所述目标文本表包含N个文本文件,N为大于或等于1的正整数;

在内存中创建N个第一队列,每个所述第一队列与每个所述文本文件之间具有一一映射的对应关系;

对每个所述文本文件分别进行读操作,以将每个所述文本文件所读出的数据分别写入其各自对应的第一队列中;

在内存中创建M个第二队列,M为大于或等于1的正整数;

依次从N个所述第一队列中读取出数据,并将读取出的N个数据同时复制到每个所述第二队列中,其中,所述M个第二队列中的数据可被分别读取,用于各自对应的并发需求。

2.根据权利要求1所述的方法,其特征在于,所述对每个所述文本文件分别进行读操作,以将每个所述文本文件所读出的数据分别写入其各自对应的第一队列中,具体包括:

从每个所述文本文件中逐行读取出字符串数据;

对每个所述文本文件中读取出的字符串数据进行解析,得到内存数据;

将每个所述文本文件所读出的内存数据分别写入其各自对应的第一队列中。

3.根据权利要求1所述的方法,其特征在于,依次从每个所述第一队列中读取出数据,并将每次读取出的数据同时复制到每个所述第二队列中,包括:

依次从N个所述第一队列中逐个逐行读取出数据;

将每次读取到的数据均同时写入到M个所述第二队列中。

4.根据权利要求1、2或3所述的方法,其特征在于,所述方法还包括:

在读取到所述文本文件的末尾时,在该文本文件对应的第一队列中写入结束标志。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

在读取到每个所述第一队列的结束标志时,在每个所述第二队列中分别写入结束标志。

6.一种数据库中文本表数据的加载装置,其特征在于,包括:

目标文本表确定单元,用于确定数据库中待加载的目标文本表,所述目标文本表包含N个文本文件,N为大于或等于1的正整数;

第一队列创建单元,用于在内存中创建N个第一队列,每个所述第一队列与每个所述文本文件之间具有一一映射的对应关系;

文件读取写入单元,用于对每个所述文本文件分别进行读操作,以将每个所述文本文件所读出的数据分别写入其各自对应的第一队列中;

第二队列创建单元,用于在内存中创建M个第二队列,,M为大于或等于1的正整数;

队列读取写入单元,用于依次从每个所述第一队列中读取出数据,并将读取出的N个数据同时复制到每个所述第二队列中,其中,所述M个第二队列中的数据可被分别读取,用于各自对应的并发需求。

7.根据权利要求6所述的装置,其特征在于,所述文件读取写入单元包括:

字符串读取子单元,用于从每个所述文本文件中逐行读取出字符串数据;

字符串解析子单元,用于对每个所述文本文件中读取出的字符串数据进行解析,得到内存数据;

内存数据写入子单元,用于将每个所述文本文件所读出的内存数据分别写入其各自对应的第一队列中。

8.根据权利要求6所述的装置,其特征在于,所述队列读取写入单元包括:

第一队列读出子单元,用于依次从N个所述第一队列中逐个逐行读取出数据;

第二队列写入子单元,用于将每次读取到的数据同时写入到M个所述第二队列中。

9.根据权利要求6、7或8所述的装置,其特征在于,还包括:

第一标志写入单元,用于所述文件读取写入单元读取到所述文本文件的末尾时,在该文本文件对应的第一队列中写入结束标志。

10.根据权利要求9所述的装置,其特征在于,还包括:

第二标志写入单元,用于在所述队列读取写入单元在读取到每个所述第一队列的结束标志时,在每个所述第二队列中分别写入结束标志。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1