一种数据分布式读取方法及系统与流程

本发明涉及数据读取，具体是涉及一种数据分布式读取方法及系统。

背景技术：

1、分布式数据处理是指将原先集中在单节点上的庞大计算任务被负载均衡地分派给分布式网络中的计算机上并行地进行处理计算，大幅度提高了数据处理的效率，然而分布式数据处理不便于直接应用在一份数据的读取上，目前读取一份数据时，没有将数据分割成多个部分进行分布式的读取，如果一份数据的量较大时，特别是数据中包含大量的图表时，读取加载的速度较为缓慢。因此，需要提供一种数据分布式读取方法及系统，旨在解决或者缓解上述问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种数据分布式读取方法及系统，以解决或者缓解上述背景技术中存在的问题。

2、本发明是这样实现的，一种数据分布式读取方法，所述方法包括以下步骤：

3、接收上传的用户文件，所述用户文件包括文件名，对用户文件中的图像和表格进行识别；

4、将识别出的图像和表格从用户文件中提取出来，为每个图像和表格标记提取位置信息；

5、将提取出的图像存储至图像库中，生成图像存储位置信息，将图像存储位置信息与对应的提取位置信息进行绑定；将提取出的表格存储至表格库中，生成表格存储位置信息，将表格存储位置信息与对应的提取位置信息进行绑定；

6、将提取后的用户文件进行存储，生成文件存储位置信息，将文件存储位置信息与图像存储位置信息以及表格存储位置信息进行绑定；

7、接收文件读取指令，所述文件读取指令包括文件名和文件存储位置信息，确定文件存储位置信息对应的图像存储位置信息和表格存储位置信息；

8、分布读取对应的用户文件、图像和表格，将读取到的图像和表格插入所述用户文件中，对用户文件进行还原。

9、作为本发明进一步的方案：所述为每个图像和表格标记提取位置信息的步骤，具体包括：

10、提取每个图像和表格时，记录提取位置；

11、识别每个图像和表格的对齐方式和尺寸大小，对提取位置、对齐方式和尺寸大小进行整合得到提取位置信息；

12、将每个提取位置信息标记在对应的图像或者表格上。

13、作为本发明进一步的方案：所述将提取出的图像存储至图像库中，生成图像存储位置信息的步骤，具体包括：

14、将提取出的图像发送至图像库中，将所述图像与图像库中的所有图像进行相似度对比；

15、当所述图像与图像库中的某一个图像相同时，将所述图像删除，相同图像的存储位置即为图像存储位置信息；当所述图像与图像库中任何一个图像不相同时，对所述图像进行存储，得到图像存储位置信息。

16、作为本发明进一步的方案：将所述图像与图像库中的图像进行相似度对比的步骤，具体包括：

17、根据图像库中的图像对所述图像进行尺寸缩放，使得两者的尺寸相同；

18、用基于dct的hash方法分别计算所述图像与图像库中图像的hash值，得到h_1和h_2；

19、计算h_1和h_2之间的汉明距离dis_h；

20、根据汉明距离dis_h计算得到所述图像与图像库中图像之间的相似度，当相似度大于设定相似值时，判定两张图像相同。

21、作为本发明进一步的方案：所述将读取到的图像和表格插入所述用户文件中的步骤，具体包括：

22、调取每个图像和表格对应的提取位置信息；

23、根据提取位置信息中的提取位置将每个图像和表格插入至用户文件中的对应位置；

24、根据对齐方式和尺寸大小对每个图像和表格进行编辑还原。

25、本发明的另一目的在于提供一种数据分布式读取系统，所述系统包括：

26、用户文件上传模块，用于接收上传的用户文件，所述用户文件包括文件名，对用户文件中的图像和表格进行识别；

27、图像表格提取模块，用于将识别出的图像和表格从用户文件中提取出来，为每个图像和表格标记提取位置信息；

28、图像表格存储模块，用于将提取出的图像存储至图像库中，生成图像存储位置信息，将图像存储位置信息与对应的提取位置信息进行绑定；将提取出的表格存储至表格库中，生成表格存储位置信息，将表格存储位置信息与对应的提取位置信息进行绑定；

29、用户文件存储模块，用于将提取后的用户文件进行存储，生成文件存储位置信息，将文件存储位置信息与图像存储位置信息以及表格存储位置信息进行绑定；

30、读取指令接收模块，用于接收文件读取指令，所述文件读取指令包括文件名和文件存储位置信息，确定文件存储位置信息对应的图像存储位置信息和表格存储位置信息；

31、数据分布读取模块，用于分布读取对应的用户文件、图像和表格，将读取到的图像和表格插入所述用户文件中，对用户文件进行还原。

32、作为本发明进一步的方案：所述图像表格提取模块包括：

33、提取位置记录单元，用于提取每个图像和表格时，记录提取位置；

34、位置信息整合单元，用于识别每个图像和表格的对齐方式和尺寸大小，对提取位置、对齐方式和尺寸大小进行整合得到提取位置信息；

35、位置信息标记单元，用于将每个提取位置信息标记在对应的图像或者表格上。

36、作为本发明进一步的方案：所述图像表格存储模块包括：

37、相似度对比单元，用于将提取出的图像发送至图像库中，将所述图像与图像库中的所有图像进行相似度对比；

38、图像存储处理单元，当所述图像与图像库中的某一个图像相同时，将所述图像删除，相同图像的存储位置即为图像存储位置信息；当所述图像与图像库中任何一个图像不相同时，对所述图像进行存储，得到图像存储位置信息。

39、作为本发明进一步的方案：所述相似度对比单元包括：

40、尺寸缩放子单元，用于根据图像库中的图像对所述图像进行尺寸缩放，使得两者的尺寸相同；

41、hash值确定子单元，用基于dct的hash方法分别计算所述图像与图像库中图像的hash值，得到h_1和h_2；

42、汉明距离子单元，用于计算h_1和h_2之间的汉明距离dis_h；

43、相似度计算子单元，用于根据汉明距离dis_h计算得到所述图像与图像库中图像之间的相似度，当相似度大于设定相似值时，判定两张图像相同。

44、作为本发明进一步的方案：所述数据分布读取模块包括：

45、位置信息调取单元，用于调取每个图像和表格对应的提取位置信息；

46、图像表格插入单元，用于根据提取位置信息中的提取位置将每个图像和表格插入至用户文件中的对应位置；

47、图像表格还原单元，用于根据对齐方式和尺寸大小对每个图像和表格进行编辑还原。

48、与现有技术相比，本发明的有益效果是：

49、本发明能够将图像和表格从用户文件中提取出来，为每个图像和表格标记提取位置信息；然后将提取出的图像存储至图像库中，生成图像存储位置信息，将提取出的表格存储至表格库中，生成表格存储位置信息，将提取后的用户文件进行存储，生成文件存储位置信息；接收到文件读取指令时，会分布读取对应的用户文件、图像和表格，将读取到的图像和表格插入所述用户文件中，对用户文件进行还原。如此，能够同时读取一份数据的三个部分，大幅度提高了读取效率。另外，本发明能够将所有的图像和表格进行单独存储，方便用户只浏览图像或者表格信息，用户能够在短时间内获取更多直观信息。