一种分布式信息处理结构的制作方法
【技术领域】
[0001]本发明涉及网络通信技术领域，尤其涉及一种分布式信息处理结构。
【背景技术】
[0002]分布式信息处理技术是一种将一个或多个大型信息处理任务分解为多个子任务，并在不同的系统中分别处理的技术.这项技术中很关键的一个问题就是子任务的分布式组织方法。
[0003]目前的分布式信息处理系统主要可以分为三类，一类是客户机-服务器系统，这类系统也称为两层系统。客户机-服务器系统中主要包含一台或多台提供特定服务功能的服务器和多台供用户使用的客户机，当用户需要执行某种特定功能的时候，客户机向特定的服务器发送请求，服务器对请求进行处理以后将结果返回给该客户机。
[0004]第二类分布式信息处理系统通常称为中间件系统或者三层系统。这一类系统主要是在客户机和服务器之间添加了一层中间件，用于屏蔽硬件平台、操作系统和网络协议的差异，使应用软件能够比较平滑地运行于不同平台上。同时中间件在负载平衡、连接管理和调度方面起了很大的作用，使应用的性能得到大幅的提升，以满足关键业务的需求。
[0005]第三类分布式信息处理系统通常称为分布式对象系统或者多层系统。在该系统中，每一台计算机即可以作为客户机，也作为其他系统提供服务的服务器，所提供的服务以及对象的形式进行描述。当某个用户需要进行某种形式的信息处理时，所使用的计算机自动在网上搜寻适当的对象(服务器)，并向这些服务器发送处理请求。
[0006]然而，现有的分布式信息处理系统只能以固定的线程分配方式进行处理，系统预先设定后，用户无法根据实际需求对所述线程进行重新分配。，即只能静态进行线程分配，无法动态线程分配。
【发明内容】
[0007]本发明解决的问题是提供一种分布式信息处理机构，以动态分配线程处理模型。
[0008]为解决上述问题，本发明提供一种分布式信息处理结构，包括:
[0009]数据处理模块，包括数据处理管理单元、若干数目的线程处理单元及若干数目的抽象管道单元，所述数据处理单元用于接收拓扑配置文件，并根据所述拓扑配置文件动态创建数据处理模型，所述数据处理模型由线程处理单元构成，或者由线程处理单元及抽象管道单元组合构成。
[0010]可选的，所述数据处理模型中，各个所述线程处理单元为各自独立的处理单元。
[0011]可选的，所述线程处理单元为所述分布式信息处理结构中最小数据处理单元，用以向用户提供虚接口，并通过继承所述虚接口在所述线程处理单元内部实现工作流代码。
[0012]可选的，所述抽象管道单元为数据传输容器，用于线程处理单元之间的数据传输，传输方向为单向传输。
[0013]可选的，一个所述线程处理单元具有一个或一个以上的抽象管道单元，所述抽象管道单元用于连接所述线程处理单元。
[0014]可选的，若所述数据处理模型由线程处理单元构成，则提供预先约定的协议格式，各个所述线程处理单元之间按照所述协议格式发送消息进行通信。
[0015]可选的，所述数据处理模型对应的拓扑结构为线型、星型、环型或树型。
[0016]可选的，还包括动态配置模块，用于接收工作流的需求指令，并根据所述需求指令生成拓扑配置文件。
[0017]可选的，还包括代理客户端模块，用以向用户提供工作流的操作接口 ；及进程管理模块，负责创建或者销毁数据处理过程。
[0018]可选的，还包括工作流管理模块，负责所述分布式信息处理结构中各模块间的通信，以控制所述分布式信息处理结构的工作流。
[0019]可选的，所述数据处理模型为单机模型或多机模型。
[0020]可选的，当所述数据处理模型为多机模型时，还包括数据发送处理机及数据接收处理机，所述数据发送处理机具有发送功能单元，所述数据接收处理机上具有数据接收单元，用于跨机器的数据传输。
[0021]与现有技术相比，本发明具有以下优点:
[0022]本方法提供一套可复用的应用软件结构，用户使用时只需要继承一个功能导出类，并在里面实现自己的算法即可，无须关心更多的软件实现细节，易用性强。
[0023]涉及的所有软件模块均采用低耦合设计，各个模块之间相对独立，易拆解也易组口 ο
[0024]基于上述的低耦合特性，本方法提供的软件结构具有很高的扩展性，用户只需修改配置文件就能实现不同结构的处理框架。本特性极大地了满足了医学行业纷繁复杂的应用场景。而现有的技术不能动态改变分布式处理的结构，具有很大的使用局限性。
[0025]本方法可以同时创建多个进程进行批处理操作。同时用户对进程可以执行挂起、取消、恢复等操作，增强了可控性。
【附图说明】
[0026]图1所示为本发明一个实施例的分布式信息处理结构的结构示意图；
[0027]图2所示为所述代理客户端模块提供的工作流操作接口示意图；
[0028]图3?图5为本实施例的数据处理模型对应的拓扑结构；
[0029]图6所示为本发明一个实施例的数据处理模块的结构示意图；
[0030]图7所示为本发明一个实施例的进程管理模块的结构示意图；
[0031]图8所示为本发明一个实施例的单机模型结构示意图；
[0032]图9所示为本发明一个实施例的多机模型结构示意图。
【具体实施方式】
[0033]在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
[0034]其次，本发明利用示意图进行详细描述，在详述本发明实施例时，为便于说明，所述示意图只是实例，其在此不应限制本发明保护的范围。
[0035]现有的分布式信息处理系统只能以固定的线程分配方式进行处理，系统预先设定后，用户无法根据实际需求对所述线程进行重新分配。
[0036]为解决上述问题，本发明提供一种分布式信息处理结构，包括:数据处理模块，包括数据处理管理单元、若干数目的线程处理单元及若干数目的抽象管道单元，所述数据处理单元用于接收拓扑配置文件，并根据所述拓扑配置文件动态创建数据处理模型，所述数据处理模型由线程处理单元构成，或者由线程处理单元及抽象管道单元组合构成。其中，所述数据处理模型中，各个所述线程处理单元为各自独立的处理单元。所述线程处理单元为所述分布式信息处理结构中最小数据处理单元，用以向用户提供虚接口，并通过继承所述虚接口在所述线程处理单元内部实现工作流代码。
[0037]若所述数据处理模型由线程处理单元构成，则提供预先约定的协议格式，各个所述线程处理单元之间按照所述协议格式发送消息进行通信；若所述数据处理模型由线程处理单元及抽象管道单元构成，则所述抽象管道单元为数据传输容器，用于线程处理单元之间的数据传输，传输方向为单向传输。
[0038]对应的，一个所述线程处理单元具有一个或一个以上的抽象管道单元，所述抽象管道单元用于连接所述线程处理单元。
[0039]可选的，所述数据处理模型对应的拓扑结构为线型、星型、环型或树型。
[0040]还包括动态配置模块，用于接收工作流的需求指令，并根据所述需求指令生成拓扑配置文件；代理客户端模块，用以向用户提供工作流的操作接口 ；及进程管理模块，负责创建或者销毁数据处理过程；工作流管理模块，负责所述分布式信息处理结构中各模块间的通信，以控制所述分布式信息处理结构的工作流。
[0041]进一步地，所述数据处理模型为单机模型或多机模型。当所述数据处理模型为多机模型时，还包括数据发送处理机及数据接收处理机，所述数据发送处理机具有发送功能单元，所述数据接收处理机上具有数据接收单元，用于跨机器的数据传输。
[0042]下面结合附图对本发明实施例进行详细说明。
[0043]如图1所示为本发明一个实施例的分布式信息处理结构的结构示意图，包括:代理客户端模块(Job Delegate) 10、工作流管理模块(Job Manager) 20、数据处理模块(Pipeline) 30及进程管理模块(System Manager) 40?下面对各模块的功能及通信进行说明。
[0044]如图2所示为所述代理客户端模块10提供的工作流操作接口示意图，用户调用该系列接口可以对工作流进行控制，包括:新增工作流接口(AppendJob);挂起工作流接口(Susp