云计算环境下基于文件实现异步数据存储的方法_2

文档序号:9766023阅读:来源:国知局
模块化而且又高度整合的软件系统,适用范围较为广 泛,为企业应用中对数据的快速稳定存储打下了坚实的基础。
【附图说明】
[0076] 图1为本发明云计算环境下基于文件的异步数据存储的方法中数据文件的存储格 式。
[0077] 图2为本发明云计算环境下基于文件的异步数据存储的方法中数据索引文件的存 储格式。
[0078] 图3为本发明云计算环境下基于文件的异步数据存储的数据处理指针文件存储格 式。
[0079] 图4为本发明云计算环境下基于文件的异步数据存储的方法中数据存储 IDataStore相关类图。
[0080] 图5为本发明云计算环境下基于文件的异步数据存储的方法中数据存储调用流程 图。
[0081] 图6为本发明云计算环境下基于文件的异步数据存储的方法中数据文件之间关系 图。
【具体实施方式】
[0082] 为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的 描述。
[0083] 存储文件格式定义包括数据存储文件、数据索引文件、数据处理指针文件=种文 件的格式定义W及文件的命名方式定义;要存储的数据按一定的要求和格式保存到文件 中,包括自动生成数据文件和超过设置的文件大小后自动切换文件;异步线程对数据文件 中的数据转存储到关系型数据库,通过启动异步线程对数据进行处理,同时对处理的数据 情况进行记录。
[0084] 其中,所述的存储文件格式定义的操作,包括W下步骤:
[0085] (1)定义数据存储文件的参数数据,包括文件存储路径、文件大小、文件个数、命名 格式;
[0086] (2)定义数据存储文件的存储格式;
[0087] (3)定义数据索引文件的存储格式;
[0088] (4)定义数据处理指针文件的存储格式。
[0089] 所述的存储的数据按一定的要求和格式保存到文件中的操作,包括W下步骤:
[0090] (5)定义要存储数据的格式;
[0091] (6)组装存储的数据;
[0092] (7)保存数据到数据文件;
[0093] (8)保存数据索引到数据索引文件;
[0094] (9)文件大小超过设置后自动生成新的数据文件。
[0095] 所述的异步线程对数据文件中的数据转存储到关系型数据库的操作,包括W下步 骤:
[0096] (10)启动守护线程;
[0097] (11)读取数据处理指针文件中的内容;
[0098] (12)数据文件中读取数据;
[0099] (13)对数据进行拆分;
[0100] (14)保存数据到关系型数据库;
[0101] (15)数据文件处理完毕,自动切换下一个数据文件进行读取操作。
[0102] 该云计算环境下基于文件的异步数据存储的方法中,所述的步骤(1)具体为:定义 数据存储文件的参数数据,包括文件存储路径、文件大小、文件个数、命名格式,其包括W下 步骤:
[0103] (1-1)新建数据转存的配置文件file_store_config.xml;
[0104] (1-2)配置数据文件的存储路径;
[0105] (1-3)配置每个数据文件的大小;
[0106] (1-4)配置数据文件生成的个数;
[0107] (1-5)配置数据文件相关文件的命名方式,包括数据存储文件、数据牵引文件、数 据处理指针文件。
[0108] 所述的步骤(2)具体为:定义数据存储文件的存储格式,其包括W下步骤:
[0109] (2-1)配置数据存储文件的存储格式;
[0110] (2-2)数据文件中数据W二进制存储。
[0111] 所述的步骤(3)具体为:定义数据索引文件的存储格式,其包括W下步骤:
[0112] (3-1)配置数据索引文件的存储格式;
[0113] (3-2)数据索引文件中记录数据的起始、结束位置。
[0114] 所述的步骤(4)具体为:定义数据处理指针文件的存储格式,其包括W下步骤:
[0115] (4-1)配置数据处理指针文件的存储格式;
[0116] (4-2)数据处理指针文件中记录当前数据的处理进度。
[0117] 所述的步骤(5)具体为:定义要存储数据的格式,其包括W下步骤:
[0118] (5-1)配置每条数据的存储格式;
[0119] (5-2)存储数据的编码格式定义。
[0120] 所述的步骤(6)具体为:组装存储的数据,其包括W下步骤:
[0121] (6-1)存储的数据按指定格式存储;
[0122] (6-2)数据按指定的编码格式进行编码。
[0123] 所述的步骤(7)具体为:保存数据到数据文件,其包括W下步骤:
[0124] (7-1)调用数据存储的接口 IDataStore;
[0125] (7-2)按设置的数据文件命名规则,查找到当前的数据文件;
[0126] (7-3)数据文件指针移动到文件最后;
[0127] (7-4)编码后的数据写入数据文件。
[0128] 所述的步骤(8)具体为:保存数据索引到数据索引文件,其包括W下步骤:
[0129] (8-1)根据数据文件的名称,查找到当前的数据索引文件;
[0130] (8-2)数据文件为新建,则新建数据索引文件,数据文件与索引文件名称相同,但 文件扩展名不同;
[0131] (8-3)数据索引文件指针移动到文件最后;
[0132] (8-4)按设定的格式,把对应的数据在数据文件中的起始、结束位置写入到数据索 引文件。
[0133] 所述的步骤(9)具体为:文件大小超过设置后自动生成新的数据文件,其包括W下 步骤:
[0134] (9-1)判断当前数据文件的大小与设置文件的大小,是否新建数据文件;
[0135] (9-2)数据文件已达到设置的最大值,则按指定的规则新建数据文件和数据索引 文件。
[0136] 所述的步骤(10)具体为:启动守护线程,其包括W下步骤:
[0137] (10-1)新建守护线程;
[013引(10-2)启动守护线程;
[0139] (10-3)针对每条数据调用数据处理逻辑;
[0140] (10-4)如果数据文件已处理完成,则线程等待。
[0141] 所述的步骤(11)具体为:读取数据处理指针文件中的内容,其包括W下步骤:
[0142] (11-1)判断数据处理指针文件的存在性,不存在则新建;
[0143] (11-2)读取其中的内容,如果为空,则为处理指定目录下的所有文件;
[0144] (11-3)按指定格式,读取数据处理指针文件中当前正在处理的数据索引文件位置 W及正在处理的数据文件名称。
[0145] 所述的步骤(12)具体为:数据文件中读取数据,其包括W下步骤:
[0146] (12-1)根据数据索引文件中指定的索引文件W及位置,读取索引文件中对应数据 的起始、结束位置;
[0147] (12-2)指定的数据文件的读指针移动到开始位置;
[0148] (12-3)从开始位置读取相应长度的数据。
[0149] 所述的步骤(13)具体为:对数据进行拆分,其包括W下步骤:
[0150] (13-1)对读取的数据按指定的编码方式进行解码;
[0151] (13-2)对一行数据按指定格式进行拆分,形成数据数组。
[0152] 所述的步骤(14)具体为:保存数据到关系型数据库,其包括W下步骤:
[0153] (14-1)获取数据库连接;
[0154] (14-2)拆分的数据按指定规则写入关系数据库。
[0155] 所述的步骤(15)具体为:数据文件处理完毕,自动切换下一个数据文件进行读取 操作,其包括W下步骤:
[0156] (15-1)判断数据索引文件中起始及结束位置;
[0157] (15-2)如果结束位置超过设置的文件大小,则按数据文件命名规则,选择下一数 据文件;
[0158] (15-3)数据文件不存在,则等待,否则继续处理。
[0159] 在本发明的云计算环境下基于文件的异步数据存储的方法应用于基于大数据量 异步存储的具体实施例中:业务功能描述为实现具体业务逻辑的模块,表现为一系统的资 源文件,包括类文件,配置文件,数据文件等。
[0160] 该云计算环境下基于文件的异步数据存储的方法,包括存储文件格式定义;存储 的数据按一定的要求和格式保存到文件中;异步线程对数据文件中的数据转存储到关系型 数据库=部分。存储文件格式定义操作包括定义数据存储文件的参数数据,如文件存储路 径、文件大小、文件个数、命名格式,包括定义数据存储文件的存储格式,包括定义数据索引 文件的存储格式,包括定义数据处理指针文件的存储格式;存储的数据按一定的要求和格 式保存到文件中操作包括定义要存储数据的格式,包括组装存储的数据,包括保存数据到 数据文件,包括保存数据索引到数据索引文件,包括文件大小超过设置后自动生成新的数 据文件;异步线程对数据文件中的数据转存储到关系型数据库中操作包括启动守护线程, 包括读取数据处理指针文件中的内容,包括数据文件中读取数据,包括对数据进行拆分,包 括保存数据到关系型数据库,包括数据文件处理完毕,自动切换下一个数据文件进行读取 操作。
[0161] 该实施例中的存储文件格式定义的操作包括W下步骤:
[0162] (1)定义数据存储文件的参数数据,包括文件存储路径、文件大小、文件个数、命名 格式,包括W下步骤:
[0163] a)新建数据转存的配置文件file_store_config.xml,数据的格式如下:
[0164] <x@.i 苗〇虹8班岛 文'每二"http: / /'如呵切...扣'3,: 〇j^.g/2〇 Q'l./XMIrSe.he-巧岛-"'> <'X.s .':居lexnent.打ame:二"fi 1按卓t<)'re 'I > <'xs; complexType> <x语:' 贷赁:quene污梦 &
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1