一种分布式文件传输方法及传输平台与流程

本发明涉及文件传输技术领域，尤其涉及一种分布式文件传输方法及传输平台。

背景技术：

信息化系统之间的数据传输主要通过WebService应用程序进行，但不能解决10M以上非结构化数据文件传输的相关业务，而且也无法支持非WebService应用程序的集成文件；对于集成类项目中大量的非结构化数据，在国防保密单位限制文件传输协议(File Transfer Protocol，FTP)使用的情况下，其非结构化数据的文件传输更是举步维艰；在大数据的发展趋势下，数据中心的建设更是大势所趋，其中必然包含大量非结构化数据的采集、存储和应用，因此将文件数据采集到数据中心需要依赖文件传输系统的支持，对于集团型企业构建多级数据中心并实现多级数据中心之间的非结构化数据传输，更加需要依赖传输性能高、功能灵活的文件传输系统来解决非结构化数据的传输。

目前的文件传输系统，大部分利用依靠文件传输协议(File Transfer Protocol，FTP)进行文件传输，但是这种文件传输服务效率低，而且只能针对10M以下的非结构化文件的传输；为满足当今大数据时代批量文件传输服务的需求，文件传输服务必须提高服务效率、支持大批量包括结构化和非结构化的文件同时上传、下载服务，并且可下载到固定目录中，该目录也可以人为维护更改；另外，为应对国防企业等特殊环境需求的安全性，在企业数据传输工作中包括大量的非结构化文件需要在系统之间传输，目前尚没有单位研发出支持10M以上文件并能严格奉行国防保密且支持非结构化数据传输的系统。

技术实现要素：

针对上述情况，本发明目的在于提供一种分布式文件传输方法及传输平台，它利用管理中心进行系统管理、节点管理和任务管理实现文件传输从而克服了现有技术不能进行10M以上非结构化数据文件传输和传输效率低等问题；并且整体结构科学合理，安装和操作方便，提升了数据传输的稳定性和安全性，市场前景广阔，便于推广使用。

为实现上述任务，一种分布式文件传输方法，它包括以下步骤：

①上传文件：源业务系统通过客户端开发包提供的应用程序编程接口API获取管理中心安排的节点、文件包目录和事件，然后将文件上传到服务端对应的源节点上；

②产生任务：目标业务系统通过管理中心调用xfire程序配置文件传输任务；

③文件传输：服务端的服务程序可获取管理中心配置的任务，并完成源节点到目标节点的文件传输；

④文件下载：目标业务系统通过客户端开发包中提供的应用程序编程接口API获取服务端目标节点并下载相关文件。

为实现本发明结构、效果优化，其进一步的措施：所述步骤④中文件下载包括目标业务系统通过客户端开发包中提供的应用程序编程接口API获取服务端目标节点并完成单文件下载或批量文件下载。

所述步骤②中产生任务包括管理中心调用xfire程序配置文件删除任务，并由服务端完成文件删除。

本发明还提供一种分布式文件传输平台，它包括源业务系统、目标业务系统、服务端和管理中心并经局域网相互连接；所述管理中心包括相互连接的系统管理模块、节点管理模块、任务管理模块、日志管理模块和事件管理模块；所述源业务系统和目标业务系统包括客户端开发包。

所述系统管理模块包括用户管理、角色管理、资源管理和端口管理子件，主要完成对分布式文件传输系统中资源权限的管理，根据不同的角色管理不同的系统资源，为不同的人员分配不同的角色，实现对资源的细颗粒度的权限配置。

所述节点管理模块包括新增节点、修改节点、删除节点和查询节点子件，主要完成对服务端中各个节点的管理。

所述任务管理模块包括新增任务、修改任务、删除任务和查询任务子件，主要完成对服务端中各个节点之间的任务配置，包括根据定时后者事件机制配置文件传输任务。

所述日志管理模块包括查询日志、删除日志和查看日志子件，主要完成管理业务系统和服务端的业务级及系统级日志。

所述事件管理模块包括新增事件、修改事件、删除事件和查询事件子件，主要完成配置应用系统和文件传输系统之间的事件触发。

本发明提供一种分布式文件传输方法及传输平台，它包括源业务系统通过客户端开发包提供的应用程序编程接口API获取管理中心安排的节点、文件包目录和事件，然后将文件上传到服务端对应的源节点上；目标业务系统通过管理中心调用xfire程序配置文件传输任务；服务端的服务程序可获取管理中心配置的任务，并完成源节点到目标节点的文件传输；目标业务系统通过客户端开发包中提供的应用程序编程接口API获取服务端目标节点并下载相关文件的技术方案；它利用管理中心进行系统管理、节点管理和任务管理实现文件传输从而克服了现有技术不能进行10M以上非结构化数据文件传输和传输效率低等问题，并且整体结构科学合理，安装和操作方便，提升了数据传输的稳定性和安全性，具有显著的经济效益和社会效益。

本发明相比现有技术所产生的有益效果：

Ⅰ、本发明采用管理中心实现文件传输的技术方案，可实现管理中心进行统一的资源目录定义，并对服务端节点进行目录授权、目录同步，管理中心还可按照目录、服务端节点、定时器设定目录传输机制，包括全量更新、增量更新；

Ⅱ、本发明采用采用管理中心实现文件传输的技术方案，每一个服务端节点设定为一个独立的文件服务器，采用管理中心分配的资源目录，服务端节点所在的服务器通过业务系统客户端进行文件的上传、下载、浏览、检索，服务端节点的权限由管理中心进行统一授权管理(例如同一目录下的文件应该由一个服务端来负责上传、更新)；

Ⅲ、本发明采用采用管理中心实现文件传输的技术方案，服务端节点根据管理中心设定的任务与其他服务端的目录(含子目录以及下属文件)进行传输，可以一对一传输，也可以实现一对多传输；

Ⅳ、本发明采用管理中心实现文件传输的技术方案，业务系统客户端提供API包与应用程序实现文件/文件包采集、文件/文件包分发的接口集成，而应用程序通过API可实现事件触发的文件传输，从而实现主数据系统与外部系统的“数据+文件”传输；

Ⅴ、本发明采用管理中心实现文件传输的技术方案，解决了目前企业数据集成、文件传输的窘境，填补了大型非结构化数据传输软件缺失的空白，完全切合企业信息化数据传输的业务需求，符合信息化飞速发展的需求；

Ⅵ、本发明整体结构科学合理，安装和操作方便，提升了数据传输的稳定性和安全性，经各模块和软件的协调配合，从而实现10M以上结构化和非结构化的文件传输，并且传输效率高，具有显著的经济效益和社会效益。

本发明广泛适用于各种结构化和非结构化的文件传输服务使用。

下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的业务流程结构示意图。

图2为本发明的数据传输结构示意图。

图3为本发明的应用技术结构示意图。

图4为本发明的功能模块结构示意图。

图5为本发明的硬件连接结构示意图。

具体实施方式

如图1和图2所示，本发明的业务流程主要包括源业务系统调用客户端API完成文件上传，获取节点及文件包目录、事件，应用系统调用xfire完成任务下达，目标业务系统调用客户端API完成单文件下载，目标业务系统调用客户端API批量文件下载，应用系统调用API删除文件。

参照附图，本发明主要目的是实现用户通过客户端软件下载局域网内的文件服务器上的文件，文件按类别可分为NX模板文件、NX材料文件、ProE模板文件、ProE材料文件、Ansys模板文件、Ansys材料文件、Altium模板文件、Altium元器件文件、Altium接插件文件和AutoCAD模板文件，用户可以选择下载某一类或者多类文件；下载的文件存放在用户本地，存放的目录可以配置，实现自动化的归集要求文件，从而实现包括“文件管理中心--文件应用终端节点”的地址/目录间文件传输；“系统--系统”的点对点文件传输包括文件传输的发起方是系统通过接口提供需要发送的文件，文件的接收方同样通过接口实现文件接收；“系统--目录”或“目录--系统”的传输包括输入或输出一方为目录、另一方为系统接口的模式；“数据+文件传输”包括针对主数据与外部系统的集成，不仅是单纯的文件传输，需要将结构化的数据内容与文件数据内容进行组合、关联，实现传输结构化数据与文件数据的匹配；并且支持大于10M以上结构化与非结构化文件的传输。

如图3所示，本发明分布式系统管理中心采用浏览器/服务器模式(Browser/Server)结构，用户通过浏览器对分布式文件传输平台进行管理；数据库采用Oracle 11g、Web开发采用Springmvc+Mybatis整合；服务端的节点服务程序使用C++编写，基于TCP/IP协议，使用Socket完成节点间文件传输；业务系统客户端开发包使用C++编写，基于TCP/IP协议，使用Socket向服务端节点上传或下载文件。

如图4所示，本发明中源业务系统上传文件到节点、节点之间进行文件传输、目标业务系统在节点下载文件，实现系统的自由配置需要管理中心具有系统、节点、任务、事件和日志管理功能，该管理中心的各功能模块如下：1)系统管理模块包括用户管理、角色管理、资源管理和端口管理等子件，主要完成对分布式文件传输系统中资源权限的管理，根据不同的角色管理不同的系统资源，为不同的人员分配不同的角色，实现对资源的细颗粒度的权限配置；2)节点管理模块包括新增节点、修改节点、删除节点和查询节点等子件，主要完成对服务端中各个节点的管理；3)任务管理模块包括新增任务、修改任务、删除任务和查询任务等子件，主要完成对服务端中各个节点之间的任务配置，包括根据定时后者事件机制配置文件传输任务；4)日志管理模块包括查询日志、删除日志和查看日志等子件，主要完成管理业务系统和服务端的业务级及系统级日志；5)事件管理模块包括新增事件、修改事件、删除事件和查询事件等子件，主要完成配置应用系统(如PDM、MES、主数据)和文件传输系统之间的事件触发。

如图5所示，本发明分布式文件传输平台包括源业务系统、目标业务系统、服务端和管理中心并经局域网相互连接；所述管理中心包括相互连接的系统管理模块、节点管理模块、任务管理模块、日志管理模块和事件管理模块；所述源业务系统和目标业务系统包括客户端开发包；所述服务端可设置一个或多个，既可以通过一个服务端同时为多个源业务系统和目标业务系统上传或下载文件，也可以通过多个服务端一一对应为源业务系统和目标业务系统上传或下载文件。

结合附图，本发明的实施例一：在源业务系统中导入tp-api.jar包，在环境变量PATH中添加该包具体路径，接着源业务系统通过客户端tp-api.jar包中提供的API将文件上传到服务端对应的源节点上，具体操作为：int i＝TPClient.uploadFile(①"191.168.2.205"，②45678，③"mdm"，④downcode，⑤savePath)；参数说明：①TPNODE所在服务器IP，②局域网定义的端口号，③上传文件所放目录，④使用者指定不重复的下载码(若为空不指定则表示分布式系统帮你生成并返还下载码)，⑤上传文件所在应用服务磁盘目录(例如：ERP系统中附件123.doc在D:/erp/files/123.doc)。

结合附图，本发明的实施例二：管理中心会根据具体业务需求新增对应节点，每一个节点对应TPNODE中唯一文件夹，例如PDM节点对应TPNODE中PDM文件夹，源业务系统客户端上传附件会放在指定的源节点中，在“事件管理”中配置应用系统(如PDM、MES、主数据)和文件传输系统之间的事件触发，具体操作为：PDM向MES系统中添加人员信息的分发事件，在“任务管理”中进行文件传输的任务配置功能，例如：当PDM中新增人员信息时，会将信息附件放到PDM节点中，同时会触发“任务管理”中具体任务，PDM节点中人员信息附件会自动同步传输到MES节点中，实现服务端平台节点间的文件传输。

结合附图，本发明的实施例三：在目标业务系统中导入tp-api.jar包，在环境变量PATH中添加该包具体路径，接着目标业务系统通过客户端tp-api.jar包中提供的API将文件从服务端对应的目标节点下载相关文件，具体操作为：1)单文件下载，int i＝TPClient.downSingleFile(①"191.168.2.205"，②45678，③"mdm"，④"123.GIF"，⑤"D:/apache-tomcat-6.0.35/webapps/dfta/down")；2)多文件下载，int i＝TPClient.downBatchFile(①"191.168.2.205"，②45678，③"mdm"，④"D:/apache-tomcat-6.0.35/webapps/dfta/down")；参数说明：①TPNODE所在服务器IP，②局域网定义的端口号，③文件所在节点包，④文件名称(例如：123.doc--根据主数据接口文档中约定好附件的标示进行下载)，⑤下载到本地目录保存。

本发明在文件传输过程中采用node节点加密，在node节点上的文件采用RC4对称算法用变长密钥对大数据进行加密，一般通过调用API上传文件完毕后对文件进行RC4对称算法加密，而系统可通过调用API在node节点上下载文件进行解密；所述node节点支持集群功能并配置主服务节点及子服务节点，当主服务节点挂掉后子服务节点自动承担主服务节点继续接受附件请求服务；为了防止入侵或检测，客户端API与服务端node节点通讯时客户端API会生成一个32位验证码(md5+123+321生成码)和服务端生成的32位验证码进行匹配，若相同则认证通过才可上传或下载文件。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。