一种数据抽取方法和系统以及云平台的制作方法
【技术领域】
[0001]本发明涉及网络通信技术领域，特别涉及一种数据抽取方法和系统以及云平台。
【背景技术】
[0002]随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。通常，需要用户将本地系统中的数据抽取到云平台中的数据库中进行保存，比如，传统的业务系统大多构建在关系型数据库之上，可以将用户本地的关系型数据库中的数据转移到云数据库中。此后，则可以实现基于云平台的各种服务，比如，用户共享云平台的数据库中的数据等。
[0003]在将数据从用户本地数据库抽取到云平台的过程中，如何保证数据抽取过程的安全，以便避免各种安全问题，则成为了有待解决的问题。
【发明内容】
[0004]本发明提供一种数据抽取方法和系统以及云平台，能够提高数据从用户本地抽取到云平台的安全性。
[0005]为实现上述目的，本发明的技术方案是这样实现的:
[0006]一种数据抽取方法，包括:
[0007]接收用户发来的申请使用kettle工具的请求；
[0008]在hbase表中记录用户对应的kettle连接权限；
[0009]形成kerberos认证的配置文件；
[0010]将所述kerberos认证的配置文件打包在kettle工具中发送给用户；
[0011]接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求；
[0012]认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
[0013]其中，所述用户对应的kettIe连接权限包括:用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
[0014]在所述接收用户通过kettle工具从本地系统抽取到云平台的数据之前，进一步包括:
[0015]根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
[0016]其中，所述kerberos认证的配置文件中包括:krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息；
[0017]所述用户基于所述kerberos认证的配置文件发起kerberos认证请求包括:所述用户根据保存的krb文件路径向相应的认证地址和认证方式发送kerberos认证请求，并利用用户票据文件路径和用户principal串进行认证。
[0018]优选地，所述kerberos认证的配置文件中进一步包括:表示是否开启支持kerberos 认证的 kerberos.service, state ；
[0019]该方法进一步包括:所述用户通过设置存储在本地的所述kerberos.service,state的状态为开启on或者关闭off，来打开或者关闭kerberos认证。
[0020]可选地，该方法进一步包括:在所述用户本地，当用户使用kettle工具中的hbase组件时，kettle根据所述kerberos认证的配置文件读取用户信息，仓Il建访问hbase表的connect1n。
[0021 ] 优选地，该方法进一步包括:
[0022]在所述抽取的数据达到预定数量时，所述kettle工具在云平台的云数据库中写入日志，通过日志记录用户名、访问的表名、抽取时间、数据量信息中的任意一个或多个；并且，当所述用户的数据抽取结束时，kettle工具在云平台的云数据库中写入相应日志。
[0023]—种云平台，包括:
[0024]交互单元，用于接收用户发来的申请使用kettle工具的请求；
[0025]kettle权限设置单元，用于在hbase表中记录用户对应的kettle连接权限；
[0026]kettle工具下发单元，用于将形成的kerberos认证的配置文件打包在kettle工具中发送给用户；
[0027]kerberos认证单元，用于接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求，并进行kerberos认证；
[0028]数据抽取处理单元，用于在所述kerberos认证单元的认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
[0029]其中，所述kettle权限设置单元用于设置用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
[0030]所述数据抽取处理单元进一步根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
[0031]其中，
[0032]所述kerberos认证的配置文件中包括:krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息;
[0033]所述kerberos认证单元，接收所述用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送的kerberos认证请求，并根据所述用户票据文件路径和用户principal串对用户进行kerberos认证。
[0034]一种数据抽取的系统，包括:用户本地系统以及上述的任意一种云平台；
[0035]所述用户本地系统，用于向所述云平台发送申请使用kettle工具的请求，下载并保存包含有所述kerberos认证的配置文件的kettle工具包；通过kettle工具并基于所述kerberos认证的配置文件，向所述云平台发起kerberos认证请求；在认证通过后，通过kettle工具将本地系统的数据抽取到所述云平台。
[0036]本发明实施例提供了一种数据抽取的方法和系统以及云平台，能够使得用户利用kettle工具将本地系统数据抽取到云平台侧，并且在该过程中，将kettle工具与kerberos认证相结合，在数据抽取到云平台时，进行kerberos认证，从而大大提高了数据从用户本地抽取到云平台的安全性。
[0037]另外，在本发明的实施例中，能够在云平台侧而不是用户系统侧记录数据抽取到云平台的日志，因此，便于后续在云平台侧利用该日志进行数据的维护和管理。
[0038]在本发明的实施例中，在云平台侧能够进行双重安全保证，一是利用kerberos认证配置文件进行的kerberos认证，二是利用hbase表中记录的用户对应的kettle连接权限限制用户只能够访问有访问权限的表及表项，进一步提高了数据抽取过程的安全性。
[0039]在本发明的实施例中，将Kettle与kerberos安全认证相结合，并且加入日志记录，可以为用户提供一个安全、高效的数据转移、处理服务工具，解决了多用户向云平台转移数据的问题，具有很好的推广使用价值。
【附图说明】
[0040]图1是本发明一个实施例中进行数据抽取的方法的流程图。
[0041]图2是本发明另一个实施例中进行数据抽取的方法的流程图。
[0042]图3是本发明一个实施例中云平台的结构示意图。
【具体实施方式】
[0043]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]本发明一个实施例提出了一种数据抽取的方法，参见图1，包括:
[0045]步骤101:接收用户发来的申请使用kettle工具的请求；
[0046]步骤102:在hbase表中记录用户对应的kettle连接权限；
[0047]步骤103:形成kerberos认证的配置文件；
[0048]步骤104:将所述kerberos认证的配置文件打包在kettle工具中发送给用户；
[0049]步骤105:接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求；
[0050]步骤106:认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
[0051]可见，本发明实施例提供的数据抽取的方法，能够使得用户利用kettle工具将本地系统数据抽