基于SaaS的数据集成处理方法及装置与流程

本发明涉及数据处理，尤其涉及一种基于saas的数据集成处理方法及装置。

背景技术：

1、saas(software as a service)是软件运营服务，是指用户获取软件服务的一种新形式，其不需要用户将软件产品安装在自己的电脑或者服务器上即可通过网络向专门的提供商获取自己所需要的且带有相应软件功能的服务。

2、目前，数据集成方法大多数是通过计算机硬件和软件技术相结合，对数据进行有效的收集、存储、处理和应用。但是，现有的数据集成技术会存在数据重复采集或者数据来源不明等的问题，这样会导致数据集成的准确性低下以及安全性低下的问题。可见，提供一种新的数据集成方法以提高数据集成的准确性以及安全性显得尤为重要。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于saas的数据集成处理方法及装置，能够提高数据集成的准确性，以及能够提高数据集成的安全性。

2、为了解决上述技术问题，本发明第一方面公开了一种基于saas的数据集成处理方法，所述方法包括：

3、确定第一系统，获取所述第一系统的目标数据以及获取数据集成请求信息，并确定所述目标数据的目标信息，所述第一系统为基于saas技术的系统，所述目标数据为待集成的数据，所述目标信息包括以及所述目标数据的数量信息；

4、基于所述目标信息以及所述数据集成请求信息，判断所述目标数据是否满足预设的传输条件；

5、当判断出所述目标数据满足预设的所述传输条件时，根据所述数据集成请求信息，对所述目标数据执行封装操作，得到目标集成数据；

6、确定所述第二系统，并在所述第二系统中确定出至少一个目标数据库，所述第二系统为接收所述目标数据的系统；

7、基于所有所述目标数据库以及所述数据集成请求信息，确定所述目标数据的集成路径信息，所述集成路径信息包括所述目标数据的存储路径信息、所述目标数据的存储时刻信息、所述目标数据的存储空间信息；

8、基于所述目标集成数据以及所述集成路径信息，对所述目标数据执行集成操作，以使所述目标数据存储至所述第二系统。

9、作为一种可选的实施方式，在本发明第一方面中，在所述基于所述目标集成数据以及所述集成路径信息，对所述目标数据执行集成操作，以使所述目标数据存储至所述第二系统之前，所述方法还包括：

10、获取所述第二系统的目标系统信息，所述目标系统信息包括所述第二系统已存储数据的数据属性信息、所述第二系统已存储数据的数据数量信息、所述第二系统已存储数据的数据来源信息、所述第二系统已存储数据的存储空间信息；

11、根据所述第二系统的目标系统信息，生成所述第二系统的存储条件，判断所述目标集成数据中是否存在不满足所述存储条件的第一目标数据；

12、当判断出所述目标集成数据中存在不满足所述存储条件的所述第一目标数据时，对于每个所述第一目标数据，分析该第一目标数据不满足所述存储条件的目标原因，并执行与所述目标原因相匹配的目标操作，以得到与该第一目标数据相匹配的第二目标数据；

13、基于所有所述第二目标数据，对所述目标集成数据执行更新操作，以更新所述目标集成数据。

14、作为一种可选的实施方式，在本发明第一方面中，所述基于所有所述目标数据库以及所述数据集成请求信息，确定所述目标数据的集成路径信息，包括：

15、获取每个所述目标数据库的数据库存储信息，每个所述目标数据库的数据库存储信息包括该目标数据库的数据存储空间信息以及该目标数据库的数据存储类型信息；

16、分析所述数据集成请求信息以及所述目标数据，得到所述目标数据中所包括的每个目标子数据的子数据信息，每个所述目标子数据的子数据信息包括该目标子数据的数据类型信息以及该目标子数据的数据存储信息；

17、根据所有所述目标子数据的子数据信息以及所述数据集成请求信息，对所述目标数据中所包括的每个所述目标子数据执行分类操作，得到至少一个目标数据类别，每个所述目标数据库类别包括至少一个所述目标子数据；

18、确定每个所述目标数据类别的类别属性，并根据每个所述目标数据库的数据库存储信息，确定每个所述目标数据类别的数据类别集成信息，并根据所有所述目标数据类别的数据类别集成信息，确定所述目标数据的集成路径信息。

19、作为一种可选的实施方式，在本发明第一方面中，所述对于每个所述第一目标数据，分析该第一目标数据不满足所述存储条件的目标原因，包括：

20、对于每个所述第一目标数据，确定该第一目标数据的目标数据属性信息，以及确定所述第二系统的数据接收属性信息，计算所述目标数据属性信息与所述数据接收属性信息之间的属性匹配度，判断所述属性匹配度是否在预设的匹配度范围内，当判断出所述属性匹配度不在预设的所述匹配度范围内时，确定该第一目标数据不满足所述存储条件的目标原因为第一原因，所述第一原因包括数据属性不满足预设的属性条件；和/或

21、对于每个所述第一目标数据，确定该第一目标数据的目标数据摘要信息，判断该第一目标数据的目标数据摘要信息中是否包含预设的目标保密信息，当判断出该第一目标数据的目标数据摘要信息中包含预设的所述目标保密信息时，确定该第一目标数据不满足所述存储条件的目标原因为第二原因，所述第二原因包括数据不满足预设的数据传输保密条件。

22、作为一种可选的实施方式，在本发明第一方面中，对于每个所述第一目标数据，当所述目标原因包括所述第一原因时，所述执行与所述目标原因相匹配的目标操作，以得到与该第一目标数据相匹配的第二目标数据，包括：

23、根据所述第二系统的数据接收属性信息，对该第一目标数据执行数据属性转换操作，以得到第二目标数据，其中，所述第二目标数据满足预设的所述属性条件；

24、以及，对于每个所述第一目标数据，当所述目标原因包括所述第二原因时，所述执行与所述目标原因相匹配的目标操作，以得到与该第一目标数据相匹配的第二目标数据，包括：

25、对该第一目标数据中所包含的所述目标保密信息执行目标操作，以得到第二目标数据，其中，所述目标操作包括删除操作、替换操作、掩盖操作中的一种或多种。

26、作为一种可选的实施方式，在本发明第一方面中，在所述基于所述目标集成数据以及所述集成路径信息，对所述目标数据执行集成操作，以使所述目标数据存储至所述第二系统之后，所述方法还包括：

27、获取所述第二系统的系统存储信息，所述系统存储信息包括所述第二系统的存储数据集合，所述存储数据集合包括所述第二系统所存储的所有存储数据；

28、在所述存储数据集合中确定出目标存储数据，计算所述目标存储数据与所述存储数据集合中除所述目标存储数据外的每个剩余存储数据之间的数据相似度，得到数据相似度集合；

29、判断所述数据相似度集合中是否存在相似度大于等于预设的数据相似度阈值的目标相似数据；

30、当判断出所述数据相似度集合中存在相似度大于等于预设的所述数据相似度阈值的所述目标相似数据时，获取所述目标存储数据的存储时刻信息以及每个所述目标相似数据的存储时刻信息，根据所有所述存储时刻信息，确定存储更新数据；

31、基于所述存储更新数据，对所述目标存储数据执行更新操作，以更新所述第二系统的系统存储信息。

32、作为一种可选的实施方式，在本发明第一方面中，所述基于所述目标信息以及所述数据集成请求信息，判断所述目标数据是否满足预设的传输条件，包括：

33、基于所述数据集成请求信息，确定所述目标数据的数据来源信息；

34、判断所述目标数据的数量信息是否满足预设的数据数量条件以及所述目标数据的数据来源信息是否满足预设的数据来源条件；

35、当判断出所述目标数据的数量信息满足预设的所述数据数量条件以及所述目标数据的数据来源信息满足预设的所述数据来源条件时，确定所述目标数据满足预设的传输条件；

36、当判断出所述目标数据的数量信息不满足预设的所述数据数量条件和/或所述目标数据的数据来源信息不满足预设的所述数据来源条件时，确定所述目标数据不满足预设的所述传输条件。

37、本发明第二方面公开了一种基于saas的数据集成处理装置，所述装置包括：

38、确定模块，用于确定第一系统；

39、获取模块，用于获取所述第一系统的目标数据以及获取数据集成请求信息，，所述第一系统为基于saas技术的系统，所述目标数据为待集成的数据，

40、所述确定模块，还用于确定所述目标数据的目标信息，所述目标信息包括以及所述目标数据的数量信息；

41、判断模块，用于基于所述目标信息以及所述数据集成请求信息，判断所述目标数据是否满足预设的传输条件；

42、封装模块，用于当所述判断模块判断出所述目标数据满足预设的所述传输条件时，根据所述数据集成请求信息，对所述目标数据执行封装操作，得到目标集成数据；

43、所述确定模块，还用于确定所述第二系统，并在所述第二系统中确定出至少一个目标数据库，所述第二系统为接收所述目标数据的系统；基于所有所述目标数据库以及所述数据集成请求信息，确定所述目标数据的集成路径信息，所述集成路径信息包括所述目标数据的存储路径信息、所述目标数据的存储时刻信息、所述目标数据的存储空间信息；

44、集成模块，用于基于所述目标集成数据以及所述集成路径信息，对所述目标数据执行集成操作，以使所述目标数据存储至所述第二系统。

45、作为一种可选的实施方式，在本发明第二方面中，所述获取模块，还用于在所述集成模块基于所述目标集成数据以及所述集成路径信息，对所述目标数据执行集成操作，以使所述目标数据存储至所述第二系统之前，获取所述第二系统的目标系统信息，所述目标系统信息包括所述第二系统已存储数据的数据属性信息、所述第二系统已存储数据的数据数量信息、所述第二系统已存储数据的数据来源信息、所述第二系统已存储数据的存储空间信息；

46、所述装置还包括：

47、生成模块，用于根据所述第二系统的目标系统信息，生成所述第二系统的存储条件；

48、所述判断模块，还用于判断所述目标集成数据中是否存在不满足所述存储条件的第一目标数据；

49、分析模块，用于当所述判断模块判断出所述目标集成数据中存在不满足所述存储条件的所述第一目标数据时，对于每个所述第一目标数据，分析该第一目标数据不满足所述存储条件的目标原因；

50、执行模块，用于执行与所述目标原因相匹配的目标操作，以得到与该第一目标数据相匹配的第二目标数据；

51、更新模块，用于基于所有所述第二目标数据，对所述目标集成数据执行更新操作，以更新所述目标集成数据。

52、作为一种可选的实施方式，在本发明第二方面中，所述确定模块基于所有所述目标数据库以及所述数据集成请求信息，确定所述目标数据的集成路径信息的具体方式包括：

53、获取每个所述目标数据库的数据库存储信息，每个所述目标数据库的数据库存储信息包括该目标数据库的数据存储空间信息以及该目标数据库的数据存储类型信息；

54、分析所述数据集成请求信息以及所述目标数据，得到所述目标数据中所包括的每个目标子数据的子数据信息，每个所述目标子数据的子数据信息包括该目标子数据的数据类型信息以及该目标子数据的数据存储信息；

55、根据所有所述目标子数据的子数据信息以及所述数据集成请求信息，对所述目标数据中所包括的每个所述目标子数据执行分类操作，得到至少一个目标数据类别，每个所述目标数据库类别包括至少一个所述目标子数据；

56、确定每个所述目标数据类别的类别属性，并根据每个所述目标数据库的数据库存储信息，确定每个所述目标数据类别的数据类别集成信息，并根据所有所述目标数据类别的数据类别集成信息，确定所述目标数据的集成路径信息。

57、作为一种可选的实施方式，在本发明第二方面中，所述分析模块对于每个所述第一目标数据，分析该第一目标数据不满足所述存储条件的目标原因的具体方式包括：

58、对于每个所述第一目标数据，确定该第一目标数据的目标数据属性信息，以及确定所述第二系统的数据接收属性信息，计算所述目标数据属性信息与所述数据接收属性信息之间的属性匹配度，判断所述属性匹配度是否在预设的匹配度范围内，当判断出所述属性匹配度不在预设的所述匹配度范围内时，确定该第一目标数据不满足所述存储条件的目标原因为第一原因，所述第一原因包括数据属性不满足预设的属性条件；和/或

59、对于每个所述第一目标数据，确定该第一目标数据的目标数据摘要信息，判断该第一目标数据的目标数据摘要信息中是否包含预设的目标保密信息，当判断出该第一目标数据的目标数据摘要信息中包含预设的所述目标保密信息时，确定该第一目标数据不满足所述存储条件的目标原因为第二原因，所述第二原因包括数据不满足预设的数据传输保密条件。

60、作为一种可选的实施方式，在本发明第二方面中，对于每个所述第一目标数据，当所述目标原因包括所述第一原因时，所述执行模块执行与所述目标原因相匹配的目标操作，以得到与该第一目标数据相匹配的第二目标数据的具体方式包括：

61、根据所述第二系统的数据接收属性信息，对该第一目标数据执行数据属性转换操作，以得到第二目标数据，其中，所述第二目标数据满足预设的所述属性条件；

62、以及，对于每个所述第一目标数据，当所述目标原因包括所述第二原因时，所述执行模块执行与所述目标原因相匹配的目标操作，以得到与该第一目标数据相匹配的第二目标数据的具体方式包括：

63、对该第一目标数据中所包含的所述目标保密信息执行目标操作，以得到第二目标数据，其中，所述目标操作包括删除操作、替换操作、掩盖操作中的一种或多种。

64、作为一种可选的实施方式，在本发明第二方面中，所述获取模块，还用于在所述集成模块基于所述目标集成数据以及所述集成路径信息，对所述目标数据执行集成操作，以使所述目标数据存储至所述第二系统之后，获取所述第二系统的系统存储信息，所述系统存储信息包括所述第二系统的存储数据集合，所述存储数据集合包括所述第二系统所存储的所有存储数据；

65、所述确定模块，还用于在所述存储数据集合中确定出目标存储数据，计算所述目标存储数据与所述存储数据集合中除所述目标存储数据外的每个剩余存储数据之间的数据相似度，得到数据相似度集合；

66、所述判断模块，还用于判断所述数据相似度集合中是否存在相似度大于等于预设的数据相似度阈值的目标相似数据；

67、所述获取模块，还用于当所述判断模块判断出所述数据相似度集合中存在相似度大于等于预设的所述数据相似度阈值的所述目标相似数据时，获取所述目标存储数据的存储时刻信息以及每个所述目标相似数据的存储时刻信息；

68、所述确定模块，还用于根据所有所述存储时刻信息，确定存储更新数据；

69、所述更新模块，还用于基于所述存储更新数据，对所述目标存储数据执行更新操作，以更新所述第二系统的系统存储信息。

70、作为一种可选的实施方式，在本发明第二方面中，所述判断模块基于所述目标信息以及所述数据集成请求信息，判断所述目标数据是否满足预设的传输条件的具体方式包括：

71、基于所述数据集成请求信息，确定所述目标数据的数据来源信息；

72、判断所述目标数据的数量信息是否满足预设的数据数量条件以及所述目标数据的数据来源信息是否满足预设的数据来源条件；

73、当判断出所述目标数据的数量信息满足预设的所述数据数量条件以及所述目标数据的数据来源信息满足预设的所述数据来源条件时，确定所述目标数据满足预设的传输条件；

74、当判断出所述目标数据的数量信息不满足预设的所述数据数量条件和/或所述目标数据的数据来源信息不满足预设的所述数据来源条件时，确定所述目标数据不满足预设的所述传输条件。

75、本发明第三方面公开了另一种基于saas的数据集成处理装置，所述装置包括：

76、存储有可执行程序代码的存储器；

77、与所述存储器耦合的处理器；

78、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于saas的数据集成处理方法。

79、本发明第四方面公开了一种计算机可存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于saas的数据集成处理方法。

80、与现有技术相比，本发明实施例具有以下有益效果：

81、本发明实施例中，确定第一系统，获取第一系统的目标数据以及获取数据集成请求信息，并确定目标数据的目标信息，基于目标信息以及数据集成信息，判断目标数据是否满足预设的传输条件，若是，则根据数据集成请求信息对目标数据执行封装操作，得到目标集成数据，确定第二系统并确定出至少一个目标数据库，基于所有目标数据库以及数据集成请求信息，确定目标数据的集成路径信息，根据目标集成数据以及集成路径信息，对目标数据执行集成操作，以使目标数据存储至第二系统。可见，实施本发明能够提高数据集成的准确性，以及能够提高数据集成的安全性。