RandAccessFile.write(ri)；
[0276] (13)对数据进行拆分，包括W下步骤：
[0277] a)对读取的数据按指定的编码方式进行解码，形成可W处理的对象
[0278] b)对读取到的数据对象按指定格式进行拆分，形成数据数组，可W进行数据库的 存储操作。
[0279] (14)保存数据到关系型数据库，包括W下步骤：
[0280] a)获取数据库连接，打开数据库的通道
[0281] b)拆分的数据按指定规则写入关系数据库，通过执行数据库的插入操作，把数据 写入到数据库中。
[0282] (15)数据文件处理完毕，自动切换下一个数据文件进行读取操作，包括W下步骤：
[0283] a)判断数据索引文件中起始及结束位置，如果索引文件中存在有后续的数据，贝U 说明还有待处理的数据，继续执行数据处理逻辑，对数据进行重量插入操作。
[0284] b)如果结束位置超过设置的文件大小，则说明本数据文件已经处理完毕，则重新 按数据文件命名规则，选择下一数据文件，继续进行读取操作，保存数据到数据库操作。
[0285] 如果后续的数据文件不存在，或者索引文件已经达到了文件末尾，则说明目前没 有需要处理的数据了，数据读取线程则等待，否则继续处理
[0286] 采用了该发明中的云计算环境下基于文件实现异步数据存储的方法，具有如下有 益效果：
[0287] (1)采用基于文件的异步数据存储的方法，把要存储的数据先保存到文件中，文件 按设定的大小进行存储，如果数据量超过最大值，则按一定的规则重新生成文件，通过文件 的方式，保证了数据存储的完整性，系统重启后数据不会丢失，同时文件的存储速度相比关 系型数据库在性能方面会大大提升。
[0288] (2)系统启动时，会启动一个守护线程，对文件中的数据进行转储，在守护线程中， 会根据数据库的压力大小调整数据的写入速度，保证系统的稳定可靠，对于已完成写入的 数据W及数据读取的位置，通过指针文件进行记录，保证数据不会被重复读取。对于转存储 完成的文件，则会把相应的数据文件删除，保证保留的数据文件仅是被存储的需要处理的 文件。
[0289] (3)通过该方法的实施，使得数据的存储工作更为简单而高效，通过数据的异步处 理模式，能有效缓解数据库的压力，通过调整数据的写入速度，保证系统的稳定可靠，同时 采用文件作为中间介质进行存储，能有效保证数据的完整性。
[0290] (4)采用本发明的方法，对数据存储的过程更加直观，提高了存储的效率，快捷方 便，系统运行效率较高，性能稳定可靠，降低了开发维护的成本;而且增强了系统可移植性 和可扩展性，使用户专注于业务逻辑的处理;不仅如此，该方法还能够快速适应业务需求的 变化和技术变化，能够支撑建立高度模块化而且又高度整合的软件系统，适用范围较为广 泛，为企业应用中对数据的快速稳定存储打下了坚实的基础。
[0291] 在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可W作出 各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的 而非限制性的。
【主权项】
1. 一种云计算环境下基于文件实现异步数据存储的方法，其特征在于，所述的方法包 括对存储数据的数据文件格式进行定义;将存储的数据按预设的要求和格式保存到数据文 件中；通过异步线程将所述的数据文件中的数据存储到关系型数据库中。2. 根据权利要求1所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的对存储数据的数据文件格式进行定义，包括以下步骤： (1) 定义存储数据的数据文件的参数数据，包括文件存储路径、文件大小、文件个数和 命名格式； (2) 定义存储数据的数据文件的存储格式。3. 根据权利要求2所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的定义存储数据的数据文件的存储格式，具体为： 配置存储数据的数据文件的存储格式并设置以二进制存储数据。4. 根据权利要求2所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的对存储数据的数据文件格式进行定义，还包括以下步骤： (3) 定义数据索引文件的存储格式，所述的数据索引文件用以记录数据的起始、结束位 置； (4) 定义数据处理指针文件的存储格式，所述的数据处理指针文件用以记录当前数据 的处理进度。5. 根据权利要求1所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的将存储的数据按预设的要求和格式保存到数据文件中，包括以下步骤： (5) 定义要存储数据的格式； (6) 组装存储的数据； (7) 保存数据到数据文件； (8) 保存数据索引到数据索引文件； (9) 文件大小超过预先设置值后自动生成新的数据文件。6. 根据权利要求5所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的定义要存储数据的格式，包括以下步骤： (5-1)配置每条数据的存储格式； (5-2)存储数据的编码格式定义。7. 根据权利要求5所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的组装存储的数据，包括以下步骤： (6-1)存储的数据按指定格式存储； (6-2)数据按指定的编码格式进行编码。8. 根据权利要求5所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的保存数据到数据文件，包括以下步骤： (7-1)调用数据存储的接口 IDataStore; (7-2)按设置的数据文件命名规则，查找到当前的数据文件； (7-3)数据文件指针移动到文件最后； (7-4)编码后的数据写入数据文件。9. 根据权利要求5所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的保存数据索引到数据索引文件，包括以下步骤： (8-1)根据数据文件的名称，查找到当前的数据索引文件； (8-2)如果数据文件为新建，则新建数据索引文件，数据文件与数据索引文件名称相 同； (8-3)数据索引文件指针移动到数据文件最后； (8-4)按设定的格式，把对应的数据在数据文件中的起始、结束位置写入到数据索引文 件。10. 根据权利要求5所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的文件大小超过设置后自动生成新的数据文件，包括以下步骤： (9-1)判断当前数据文件的大小与设置文件的大小，是否新建数据文件，如果是，则继 续步骤(9-2)，否则继续步骤(7); (9-2)数据文件已达到设置的最大值，则按指定的规则新建数据文件和数据索引文件。11. 根据权利要求1所述的云计算环境下基于文件实现异步数据存储的方法，其特征在 于，所述的通过异步线程将所述的数据文件中的数据存储到关系型数据库中，包括以下步 骤： (10) 启动守护线程； (11) 读取数据处理指针文件中的内容； (12) 数据文件中读取数据； (13) 对数据进行拆分； (14) 保存数据到关系型数据库； (15) 数据文件处理完毕，自动切换下一个数据文件进行读取操作。12. 根据权利要求11所述的云计算环境下基于文件实现异步数据存储的方法，其特征 在于，所述的启动守护线程，包括以下步骤： (10-1)新建守护线程； (10-2)启动守护线程； (10-3)针对每条数据调用数据处理逻辑； (10-4)如果数据文件已处理完成，则线程等待。13. 根据权利要求11所述的云计算环境下基于文件实现异步数据存储的方法，其特征 在于，所述的读取数据处理指针文件中的内容，包括以下步骤： (11-1)判断数据处理指针文件的是否存在，如果不存在则新建数据处理指针文件后， 继续步骤(11-2)，否则直接继续步骤(11-2); (11-2)读取所述的数据处理指针文件中的内容，如果为空，则为处理指定目录下的所 有文件，如果不为空，则继续步骤(11-3); (11-3)按指定格式，读取数据处理指针文件中当前正在处理的数据索引文件位置以及 正在处理的数据文件名称。14. 根据权利要求11所述的云计算环境下基于文件实现异步数据存储的方法，其特征 在于，所述的数据文件中读取数据，包括以下步骤： (12-1)根据数据索引文件中指定的索引文件以及位置，读取索引文件中对应数据的起 始、结束位置； (12-2)指定的数据文件的读指针移动到开始位置； (12-3)从开始位置读取相应长度的数据。15. 根据权利要求11所述的云计算环境下基于文件实现异步数据存储的方法，其特征 在于，所述的对数据进行拆分，包括以下步骤： (13-1)对读取的数据按指定的编码方式进行解码； (13-2)对一行数据按指定格式进行拆分，形成数据数组。16. 根据权利要求11所述的云计算环境下基于文件实现异步数据存储的方法，其特征 在于，所述的保存数据到关系型数据库，包括以下步骤： (14-1)获取数据库连接； (14-2)拆分的数据按指定规则写入关系数据库。17. 根据权利要求11所述的云计算环境下基于文件实现异步数据存储的方法，其特征 在于，所述的数据文件处理完毕，自动切换下一个数据文件进行读取操作，包括以下步骤： (15-1)判断数据索引文件中起始及结束位置； (15-2)判断结束位置是否超过设置的文件大小，如果是，则按数据文件命名规则，选择 下一数据文件，然后继续步骤(15-3)，否则继续步骤(11); (15-3)判断下一数据文件是否存在，如果否，则线程等待，如果存在，则继续步骤(11)。
【专利摘要】本发明涉及一种云计算环境下基于文件实现异步数据存储的方法，其中包括对存储数据的文件格式进行定义；将存储的数据按预设的要求和格式保存到文件中；通过异步线程将所述的文件中的数据存储到关系型数据库中。采用该种云计算环境下基于文件实现异步数据存储的方法，对数据存储的过程更加直观，提高了存储的效率，快捷方便，系统运行效率较高，性能稳定可靠，降低了开发维护的成本；而且增强了系统可移植性和可扩展性，使用户专注于业务逻辑的处理；不仅如此，该方法还能够快速适应业务需求的变化和技术变化，能够支撑建立高度模块化而且又高度整合的软件系统，适用范围较为广泛，为企业应用中对数据的快速稳定存储打下了坚实的基础。
【IPC分类】G06F17/30
【公开号】CN105528425
【申请号】CN201510900287
【发明人】王 锋
【申请人】普元信息技术股份有限公司
【公开日】2016年4月27日
【申请日】2015年12月8日