专利名称：对海量数据文件进行传输处理的装置及方法
技术领域：
本发明涉及计算机数据文件处理技术领域，尤其是涉及一种对海量数据文件进行
传输处理的装置及方法。
背景技术：
对于大型金融机构或企业来说，其计算机系统一般都需要对海量数据(又称为代 理数据)文件进行批量处理，如代收费、代发工资等数据文件，这些海量数据的传输大都采 用批量文件方式上传到核心处理系统。 考虑到计算机系统的处理效率和性能等因素，大型金融机构或企业一般规定了每
天大批量文件传输的场次和时间，如一天分若干场次运行代理批量，代理数据文件按既定
的场次时间提交到主机核心系统，再由主机运行人员启动相应批量处理模块。 这种传统处理方法其技术特点是批量交易数据量大，占用系统的资源较少，但交
易处理完成时间比客户提交的时间延后较多。 可见，传统的处理方式存在以下的缺点传统代理业务的海量数据文件批量场次 要求固定，且必须人工参与处理，系统处理效率低，不够灵活。
发明内容
( — )要解决的技术问题 有鉴于此，本发明的主要目的在于提供一种对海量数据文件进行传输处理的装置 及方法，以解决目前对海量数据文件进行传输处理时效率低的问题，形成一种联机发起交 易处理请求、批量执行数据处理的交易模式，以批量方式完成对各类外围平台系统提供的 较大数据量业务数据文件的处理。
( 二 )技术方案 为达到上述目的，本发明采用的技术方案如下 —种对海量数据文件进行传输处理的装置，该装置包括代理客户端01、代理服务 器02和核心主机03，其中: 代理客户端01，用于收集海量数据文件，并将业务处理请求和收集的海量数据文 件传输给代理服务器02 ; 代理服务器02，用于接收代理客户端01发送过来的业务处理请求和海量数据文 件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请 求，并且接收处理结果，将结果反馈给代理客户端Ol ; 核心主机03，用于接收代理服务器02发起的海量数据文件处理请求，对接收的海 量数据文件进行批量处理，然后将处理结果返回给代理服务器02。 上述方案中，所述代理服务器02包括通讯处理单元20、数据处理单元21和数据存 储单元22，其中 通讯处理单元20将接收的代理客户端01发送过来的业务处理请求和海量数据文
6件转发给数据处理单元21进行处理； 数据处理单元21接收到通讯处理单元20发送的业务处理请求和海量数据文件后，向核心主机03发起海量数据文件处理请求，接收处理结果，将处理结果反馈给代理客户端01，以及将处理结果存储到数据存储单元22中； 数据存储单元22存储代理数据处理过程中的控制参数，至少包括联机批量处理控制表和对照联机批量处理参数表。 上述方案中，所述通讯处理单元20包括数据接收模块201和数据转发模块202 ，其中 数据接收模块201，接收代理客户端01发送过来的业务处理请求和海量数据文件，并转发给数据处理单元21进行处理； 数据转发模块202，利用序号发生器生成序号，该序号中利用两位交易序号用于区分应用来源，并发起联机交易请求，上送交易信息到数据处理单元21 ;同时将数据处理单元21返回的处理结果，再返传到代理客户端01。 上述方案中，所述数据处理单元21包括数据识别模块203、数据守候模块204、数据自检模块205和数据异常处理模块206，其中 数据识别模块203，用于检查海量数据文件格式是否符合要求，并根据在服务器侧登记的联机批量处理参数检验是否在允许交易的时间段； 数据守候模块204，用于监测核心主机03返回的状态文件，并把核心主机03返回状态登记在服务器侧的联机批量处理控制表； 数据自检模块205，用于通过对照在服务器侧的联机批量处理参数表，检查在联机
批量处理控制表内登记的各个交易是否超过单位时间，批量处理仍未达到整体成功状态； 数据异常处理模块206，用于对数据自检模块205检查出来的异常状态交易进行
后续处理，根据不同状况，选择不同的后续处理方式，至少包括继续触发和报错。 上述方案中，所述核心主机03包括交易请求处理单元31、调度作业处理单元32、
代理数据处理单元33和数据存储单元34，其中 交易请求处理单元31接收代理服务器02上送的交易请求，将交易请求中包含的交易序号信息登记在数据存储单元34，并将登记成功标志返回给代理服务器02 ;
调度处理作业处理单元32访问数据存储单元34，根据登记的交易请求控制信息，生成并运行批量指令集，并触发代理数据处理单元33 ; 代理数据处理单元33负责对代理数据文件进行业务处理，并将处理结果返回给代理服务器02 ; 数据存储单元34用于存储代理数据处理过程中的控制参数，至少包括联机批量
处理控制表和对照联机批量处理参数表。 上述方案中，所述调度处理作业处理单元32包括 调度作业守候模块303，该模块采用轮循监测手段，检查数据存储单元34中主机侧的联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的记录逐笔进行处理； 调度作业生成模块304，读取数据存储单元34中的联机批量处理参数定制表，根据从该联机批量处理参数定制表中取得的设置数据生成批量GET和PUT指令集；该联机批量处理参数定制表在主机侧，包括FTP地址和文件长度； 调度作业触发模块305，用于根据调度作业生成模块304生成的批量指令集，触发 代理数据处理单元33进行业务功能处理。 上述方案中，所述代理数据处理单元33包括代理数据上传模块306、代理数据处 理模块307和代理数据返传模块308，其中，代理数据上传模块306在接收到数据后，触发代 理数据处理模块307完成该数据业务处理，代理数据处理模块307再触发代理数据返传模 块308将处理后的数据返传到代理服务器。 上述方案中，所述代理数据上传模块306运行GET指令集到服务器获取数据文件， 并将GET调用成功标志通过文件同步传回服务器，登记到服务器侧的联机批量处理控制 表； 所述代理数据处理模块307运行批量业务处理模块，完成批量业务功能，同时将 运行结果生成返传文件； 所述代理数据返传模块308启动PUT指令集，将代理数据处理模块307生成的返 传文件放入服务器，同时PUT调用成功标志以小文件的形式随同返回，将PUT调用成功标志 写入主机侧的联机批量处理控制表，整体成功标志置为成功，将整体成功标志送回服务器， 代理服务器将成功标准返回给代理客户端，整个处理过程结束。 上述方案中，该装置还包括一内部网络04，用于连接代理客户端01、代理服务器 02和核心主机03，实现代理客户端01、代理服务器02与核心主机03之间的数据交互。
上述方案中，该内部网络04是企业的局域网，或者是以太网。 —种对海量数据文件进行传输处理的方法，应用于包括代理客户端01、代理服务 器02和核心主机03的装置，该方法包括 代理客户端01收集海量数据文件，并将业务处理请求和收集的海量数据文件传 输给代理服务器02 ; 代理服务器02接收代理客户端01发送过来的业务处理请求和海量数据文件，对 客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请求；
核心主机03接收代理服务器02发起的海量数据文件处理请求，对接收的海量数 据文件进行批量处理，然后将处理结果返回给代理服务器02 ; 代理服务器02接收核心主机03返回的处理结果，将处理结果反馈给代理客户端 01。
上述方案中，在传输业务处理请求时，该方法具体包括以下步骤
步骤401 :代理客户端01发起联机触发指令； 步骤402 :代理服务器02接收代理客户端01发起的联机触发指令，并接收代理客 户端01发送过来的海量数据文件； 步骤403 :代理服务器02调用通讯处理单元20，发送交易请求指令到核心主机
03 ; 步骤404 :核心主机03接收交易指令； 步骤405 :核心主机03登记主机登记控制表； 步骤406 :核心主机03登记控制表后返回登记状态指令到代理服务器02 ; 步骤407 :代理服务器02接收主机登记的处理结果；
步骤408 :代理服务器02判断主机登记结果，如果登记成功，代理服务器将该状态
指令返回给代理客户端Ol，再执行步骤401 ;若登记不成功，则执行步骤409 ; 步骤409 :代理服务器02启动数据异常处理模块206，将处理信息返传到数据通讯
单元20，再次执行步骤403。 上述方案中，在传输海量数据文件时，该方法具体包括以下步骤 步骤501 :调度作业守候模块303检查主机联机批量处理控制表，对联机已登记的
待处理的记录或处理异常中断需要继续处理的记录进行处理； 步骤502 :调度作业守候模块303根据处理业务类型，读取联机批量处理参数定制 表设置的数据信息，启动调度作业生成模块304生成批量GET和PUT机器处理命令，该联机 批量处理参数定制表在主机侧，包括FTP地址和文件长度； 步骤503 :调度作用触发模块305启动代理数据上传模块306，通过运行GET命令 集，从代理服务器02获取代理大数据文件，并将GET调用成功标志传回代理服务器02，登记 服务器侧的联机批量处理控制表； 步骤504 :调度作业触发模块304启动代理数据处理模块307，代理数据处理模块 307逐笔读取代理大数据文件的数据记录，完成相应的业务功能处理，同时将处理结果生成 返传文件； 步骤505 :调度作业触发模块304启动代理数据返传模块308运行PUT指令，将生 成的返传文件放入代理服务器02，同时PUT调用成功标志以小文件的形式随同返回，然后 将PUT调用成功标志写入主机控制表； 步骤506 :代理数据返传模块308将返传处理成功标志送回代理服务器02 ;
步骤507 :代理服务器02将成功处理标志返回给代理客户端01，整个处理过程结 束。(三)有益效果 从上述技术方案可以看出，本发明具有以下有益效果 1、利用本发明，可以解决大数据量的数据文件的处理效率问题，形成一种完整的 联机发起交易请求、批量运行的处理模式，为各类开放平台应用的较大数据量的业务数据 进行普遍、灵活的支持。 2、利用本发明，既可以代替以前联机交易"机关枪"的触发机制，即一笔联机交易 完成一笔数据处理，也减少以往批量处理在时间和批次上的限制，做到一笔触发，多笔执 行，从而节约系统资源，避免表过热，系统资源分配不均衡的问题。 3、本发明可以应用在代理业务中，以及联机触发批量代扣水电费、电话费，代发工 资等领域。在服务器、主机事先定义代扣水电费、电话费、代发工作的不同工作模块，按照固 定的数据结构上送数据至服务器，由代理客户端发起联机，经服务器调用主机模块，自动将 文件取到主机进行批量模块的处理，再将处理的结果通过服务器，返回到代理客户端。
图1是本发明提供的对海量数据文件进行传输处理的装置的结构示意图； 图2是本发明提供的对海量数据文件进行传输处理的装置中各组成部分的结构
示意9
图3是本发明提供的对海量数据文件进行传输处理的方法流程图；
图4是依照本发明实施例对业务处理请求进行传输处理的方法流程图；
图5是依照本发明实施例对海量数据文件进行传输处理的方法流程图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。 如图1所示，图1是本发明提供的对海量数据文件进行传输处理的装置的结构示 意图，该装置包括代理客户端01、代理服务器02和核心主机03，其中 代理客户端01，用于收集海量数据文件，并将业务处理请求和收集的海量数据文 件传输给代理服务器02。代理客户端01是网络系统的客户端，也可以是一台个人PC，它有 显示装置和输入装置，输入装置可以是键盘和鼠标。其运行于各类开放平台应用系统机器 上。 代理服务器02，用于接收代理客户端01发送过来的业务处理请求和海量数据文 件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请 求，并且接收处理结果，将结果反馈给代理客户端Ol。 核心主机03，用于接收代理服务器02发起的海量数据文件处理请求，对接收的海 量数据文件进行批量处理，然后将处理结果返回给代理服务器02。 该装置还包括一内部网络04，用于连接代理客户端01、代理服务器02和核心主机 03，实现代理客户端01、代理服务器02与核心主机03之间的数据交互。该内部网络04是 企业的局域网，可以是以太网(Ethernet)，也可以是其它局域网络。 请参照图2，图2是本发明提供的对海量数据文件进行传输处理的装置中各组成 部分的结构示意图。 代理服务器02进一步包括通讯处理单元20、数据处理单元21和数据存储单元 22。 通讯处理单元20负责接收数据，根据必要条件触发数据处理单元21，数据处理单 元根据必要条件满足情况，调度数据存储单元22的数据。 通讯处理单元20 :通讯处理单元20进一步包括以下模块数据接收模块201和数 据转发模块202。数据接收模块201，接收代理客户端01上送的数据文件；并转发给数据处 理单元21的数据识别模块203进行处理。数据转发模块202，利用序号发生器，生成序号 (序号中利用两位交易序号区分应用来源)，发起联机交易请求，上送交易信息(包含交易 序号、文件名等信息)到核心主机；同时将主机返回到代理服务器02的处理结果，再返传到 代理客户端01。数据接收模块201在接收数据后，触发数据转发模块202。
数据处理单元21 :数据处理单元21进一步包括以下模块数据识别模块203、数 据守候模块204、数据自检模块205和数据异常处理模块206。数据识别模块203 :检查数 据文件格式是否符合要求，并根据代理服务器登记的联机批量处理参数(服务器侧)检验 是否在允许交易的时间段。数据守候模块204 :负责监测主机返回的状态文件，并把主机返 回状态登记联机批量处理控制表(服务器侧)。数据自检模块205 :通过对照联机批量处理 参数表(服务器侧)，检查在联机批量处理控制表(服务器侧)内登记的各个交易是否超时(主要是指超过单位时间，批量处理仍未达到整体成功状态)。数据异常处理模块206 : 对于数据自检模块中检查出来的异常状态交易进行后续处理，根据不同状况，选择不同的 后续处理方式(继续触发和报错等)； 数据存储单元22 :负责存储代理数据处理过程中的控制参数，如联机批量处理控 制表、对照联机批量处理参数表等。 核心主机03由以下部分组成交易请求处理单元31、调度作业处理单元32、代理 数据处理单元33和数据存储单元34。 交易请求处理单元31接收代理服务器上送的交易请求，将交易序号等交易信息 登记在数据存储单元34，并将登记成功标志返回给代理服务器；调度处理作业处理单元32 访问数据存储单元34，根据登记的交易请求控制信息，生成并运行批量指令集，并触发代理 数据处理单元33 ;代理数据处理单元33负责对代理数据文件进行业务处理，如代发工资、 代收水电费等，并将处理结果返回给代理服务器。 调度作业处理单元32进一步包括调度作业守候模块303、调度作业生成模块304 和调度作业触发模块305。调度作业守候模块303 :该模块采用轮循监测手段，检查数据存 储单元34中的联机批量处理控制表(主机侧)，对联机已登记的待处理(或处理异常中断 需要继续处理)记录进行逐笔处理。调度作业生成模块304 :读取数据存储单元34中的联 机批量处理参数定制表(主机侧，包括了FTP地址、文件长度等)，根据从定制表中取得的设 置数据，自动生成批量GET、PUT等指令集。调度作业触发模块305 :根据调度作业生成模块 304生成的批量指令集，触发代理数据处理单元33进行业务功能处理。
代理数据处理单元33进一步包括代理数据上传模块306、代理数据处理模块 307、代理数据返传模块308。代理数据上传模块306接收数据后，触发代理数据处理模块 307完成该数据业务处理，理数据处理模块307再触发代理数据返传模块308，将处理后的 数据返传到代理服务器。代理数据上传模块306 :运行GET指令集到服务器获取数据文件， 并将GET调用成功标志通过文件同步传回服务器，登记联机批量处理控制表(服务器侧)。 代理数据处理模块307 :运行批量业务处理模块，完成批量业务功能，同时将运行结果生成 返传文件。代理数据返传模块308 :启动PUT指令集，将生成的返传文件放入服务器，同时 PUT调用成功标志以小文件的形式随同返回；将PUT调用成功标志写入联机批量处理控制 表(主机侧)，整体成功标志置为成功，将整体成功标志送回服务器，代理服务器将成功标 准返回给代理客户端，交易结束。 数据存储单元34 :负责存储代理数据处理过程中的控制参数，如联机批量处理控 制表、对照联机批量处理参数表等。 基于上述图l和图2所示的对海量数据文件进行传输处理的装置，图3示出了本 发明提供的对海量数据文件进行传输处理的方法流程图，该方法包括 步骤301 :代理客户端01收集海量数据文件，并将业务处理请求和收集的海量数 据文件传输给代理服务器02 ; 步骤302 :代理服务器02接收代理客户端01发送过来的业务处理请求和海量数 据文件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理 请求； 步骤303 :核心主机03接收代理服务器02发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器02 ; 步骤304 :代理服务器02接收核心主机03返回的处理结果，将处理结果反馈给代 理客户端Ol。
如图4所示，代理数据交易请求主要包括以下处理步骤 上述方案中，在传输业务处理请求时，该方法具体包括以下步骤 步骤401 :代理客户端01发起联机触发指令； 步骤402 :代理服务器02接收代理客户端01发起的联机触发指令，并接收代理客 户端01发送过来的海量数据文件； 步骤403 :代理服务器02调用通讯处理单元20，发送交易请求指令到核心主机
03 ; 步骤404 :核心主机03接收交易指令；
步骤405 :核心主机03登记主机登记控制表； 步骤406 :核心主机03登记控制表后返回登记状态指令到代理服务器02 ;
步骤407 :代理服务器02接收主机登记的处理结果； 步骤408 :代理服务器02判断主机登记结果，如果登记成功，代理服务器将该状态
指令返回给代理客户端Ol，再执行步骤401 ;若登记不成功，则执行步骤409 ; 步骤409 :代理服务器02启动数据异常处理模块206，将处理信息返传到数据通讯
单元20，再次执行步骤403。 如图5所示，在传输海量数据文件时，该方法具体包括以下步骤 步骤501 :调度作业守候模块303检查主机联机批量处理控制表，对联机已登记的
待处理的记录或处理异常中断需要继续处理的记录进行处理； 步骤502 :调度作业守候模块303根据处理业务类型，读取联机批量处理参数定制 表设置的数据信息，启动调度作业生成模块304生成批量GET和PUT机器处理命令，该联机 批量处理参数定制表在主机侧，包括FTP地址和文件长度； 步骤503 :调度作用触发模块305启动代理数据上传模块306，通过运行GET命令 集，从代理服务器02获取代理大数据文件，并将GET调用成功标志传回代理服务器02，登记 服务器侧的联机批量处理控制表； 步骤504 :调度作业触发模块304启动代理数据处理模块307，代理数据处理模块 307逐笔读取代理大数据文件的数据记录，完成相应的业务功能处理，同时将处理结果生成 返传文件； 步骤505 :调度作业触发模块304启动代理数据返传模块308运行PUT指令，将生 成的返传文件放入代理服务器02，同时PUT调用成功标志以小文件的形式随同返回，然后 将PUT调用成功标志写入主机控制表； 步骤506 :代理数据返传模块308将返传处理成功标志送回代理服务器02 ; 步骤507 :代理服务器02将成功处理标志返回给代理客户端01，整个处理过程结束。 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详
细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡
在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保
护范围之内。
权利要求
一种对海量数据文件进行传输处理的装置，其特征在于，该装置包括代理客户端(01)、代理服务器(02)和核心主机(03)，其中代理客户端(01)，用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器(02)；代理服务器(02)，用于接收代理客户端(01)发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机(03)发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端(01)；核心主机(03)，用于接收代理服务器(02)发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器(02)。
2. 根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，所述代 理服务器(02)包括通讯处理单元(20)、数据处理单元(21)和数据存储单元(22)，其中通讯处理单元(20)将接收的代理客户端(01)发送过来的业务处理请求和海量数据文 件转发给数据处理单元(21)进行处理；数据处理单元(21)接收到通讯处理单元(20)发送的业务处理请求和海量数据文件 后，向核心主机(03)发起海量数据文件处理请求，接收处理结果，将处理结果反馈给代理 客户端(Ol)，以及将处理结果存储到数据存储单元(22)中；数据存储单元(22)存储代理数据处理过程中的控制参数，至少包括联机批量处理控 制表和对照联机批量处理参数表。
3. 根据权利要求2所述的对海量数据文件进行传输处理的装置，其特征在于，所述通 讯处理单元(20)包括数据接收模块(201)和数据转发模块(202)，其中数据接收模块(201)，接收代理客户端(01)发送过来的业务处理请求和海量数据文 件，并转发给数据处理单元(21)进行处理；数据转发模块(202)，利用序号发生器生成序号，该序号中利用两位交易序号用于区分 应用来源，并发起联机交易请求，上送交易信息到数据处理单元(21);同时将数据处理单 元(21)返回的处理结果，再返传到代理客户端(01)。
4. 根据权利要求2所述的对海量数据文件进行传输处理的装置，其特征在于，所述数 据处理单元(21)包括数据识别模块(203)、数据守候模块(204)、数据自检模块(205)和数 据异常处理模块(206)，其中数据识别模块(203)，用于检查海量数据文件格式是否符合要求，并根据在服务器侧登 记的联机批量处理参数检验是否在允许交易的时间段；数据守候模块(204)，用于监测核心主机(03)返回的状态文件，并把核心主机(03)返 回状态登记在服务器侧的联机批量处理控制表；数据自检模块(205)，用于通过对照在服务器侧的联机批量处理参数表，检查在联机批 量处理控制表内登记的各个交易是否超过单位时间，批量处理仍未达到整体成功状态；数据异常处理模块(206)，用于对数据自检模块(205)检查出来的异常状态交易进行 后续处理，根据不同状况，选择不同的后续处理方式，至少包括继续触发和报错。
5. 根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，所述核 心主机(03)包括交易请求处理单元(31)、调度作业处理单元(32)、代理数据处理单元(33) 和数据存储单元(34)，其中交易请求处理单元(31)接收代理服务器(02)上送的交易请求，将交易请求中包含的 交易序号信息登记在数据存储单元(34)，并将登记成功标志返回给代理服务器(02);调度处理作业处理单元(32)访问数据存储单元(34)，根据登记的交易请求控制信息， 生成并运行批量指令集，并触发代理数据处理单元(33);代理数据处理单元(33)负责对代理数据文件进行业务处理，并将处理结果返回给代 理服务器(02);数据存储单元(34)用于存储代理数据处理过程中的控制参数，至少包括联机批量处 理控制表和对照联机批量处理参数表。
6. 根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述调 度处理作业处理单元(32)包括调度作业守候模块(303)，该模块采用轮循监测手段，检查数据存储单元(34)中主机 侧的联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的 记录逐笔进行处理；调度作业生成模块(304)，读取数据存储单元(34)中的联机批量处理参数定制表，根 据从该联机批量处理参数定制表中取得的设置数据生成批量GET和PUT指令集；该联机批 量处理参数定制表在主机侧，包括FTP地址和文件长度；调度作业触发模块(305)，用于根据调度作业生成模块(304)生成的批量指令集，触发 代理数据处理单元(33)进行业务功能处理。
7. 根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述代 理数据处理单元(33)包括代理数据上传模块(306)、代理数据处理模块(307)和代理数据 返传模块(308)，其中，代理数据上传模块(306)在接收到数据后，触发代理数据处理模块 (307)完成该数据业务处理，代理数据处理模块(307)再触发代理数据返传模块(308)将处 理后的数据返传到代理服务器。
8. 根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述代 理数据上传模块(306)运行GET指令集到服务器获取数据文件，并将GET调用成功标志通 过文件同步传回服务器，登记到服务器侧的联机批量处理控制表；所述代理数据处理模块(307)运行批量业务处理模块，完成批量业务功能，同时将运 行结果生成返传文件；所述代理数据返传模块(308)启动PUT指令集，将代理数据处理模块(307)生成的返 传文件放入服务器，同时PUT调用成功标志以小文件的形式随同返回，将PUT调用成功标志 写入主机侧的联机批量处理控制表，整体成功标志置为成功，将整体成功标志送回服务器， 代理服务器将成功标准返回给代理客户端，整个处理过程结束。
9. 根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，该装置 还包括一内部网络(04)，用于连接代理客户端(01)、代理服务器(02)和核心主机(03)，实 现代理客户端(01)、代理服务器(02)与核心主机(03)之间的数据交互。
10. 根据权利要求9所述的对海量数据文件进行传输处理的装置，其特征在于，该内部 网络(04)是企业的局域网，或者是以太网。
11. 一种对海量数据文件进行传输处理的方法，应用于权利要求1所述的包括代理客 户端(01)、代理服务器(02)和核心主机(03)的装置，其特征在于，该方法包括代理客户端(01)收集海量数据文件，并将业务处理请求和收集的海量数据文件传输 给代理服务器(02);代理服务器(02)接收代理客户端(01)发送过来的业务处理请求和海量数据文件，对 客户端发送的业务请求进行分类和解析，向核心主机(03)发起海量数据文件处理请求；核心主机(03)接收代理服务器(02)发起的海量数据文件处理请求，对接收的海量数 据文件进行批量处理，然后将处理结果返回给代理服务器(02);代理服务器(02)接收核心主机(03)返回的处理结果，将处理结果反馈给代理客户端 (01)。
12. 根据权利要求11所述的对海量数据文件进行传输处理的方法，其特征在于，在传 输业务处理请求时，该方法具体包括以下步骤步骤401 :代理客户端(01)发起联机触发指令；步骤402 :代理服务器(02)接收代理客户端(01)发起的联机触发指令，并接收代理客户端(01)发送过来的海量数据文件；步骤403 :代理服务器(02)调用通讯处理单元(20)，发送交易请求指令到核心主机(03);步骤404 :核心主机(03)接收交易指令；步骤405 :核心主机(03)登记主机登记控制表；步骤406 :核心主机(03)登记控制表后返回登记状态指令到代理服务器(02);步骤407 :代理服务器(02)接收主机登记的处理结果；步骤408 :代理服务器(02)判断主机登记结果，如果登记成功，代理服务器将该状态指 令返回给代理客户端(01)，再执行步骤401 ;若登记不成功，则执行步骤409 ;步骤409 :代理服务器(02)启动数据异常处理模块(206)，将处理信息返传到数据通讯 单元(20)，再次执行步骤403。
13. 根据权利要求11所述的对海量数据文件进行传输处理的方法，其特征在于，在传输海量数据文件时，该方法具体包括以下步骤步骤501 :调度作业守候模块(303)检查主机联机批量处理控制表，对联机已登记的待 处理的记录或处理异常中断需要继续处理的记录进行处理；步骤502 :调度作业守候模块(303)根据处理业务类型，读取联机批量处理参数定制表 设置的数据信息，启动调度作业生成模块(304)生成批量GET和PUT机器处理命令，该联机 批量处理参数定制表在主机侧，包括FTP地址和文件长度；步骤503 :调度作用触发模块(305)启动代理数据上传模块(306)，通过运行GET命令 集，从代理服务器(02)获取代理大数据文件，并将GET调用成功标志传回代理服务器(02)， 登记服务器侧的联机批量处理控制表；步骤504 :调度作业触发模块(304)启动代理数据处理模块(307)，代理数据处理模块 (307)逐笔读取代理大数据文件的数据记录，完成相应的业务功能处理，同时将处理结果生 成返传文件；步骤505 :调度作业触发模块(304)启动代理数据返传模块(308)运行PUT指令，将生 成的返传文件放入代理服务器(02)，同时PUT调用成功标志以小文件的形式随同返回，然 后将PUT调用成功标志写入主机控制表；步骤506 :代理数据返传模块(308)将返传处理成功标志送回代理服务器(02); 步骤507 :代理服务器(02)将成功处理标志返回给代理客户端(Ol)，整个处理过程结束o
全文摘要
本发明公开了一种对海量数据文件进行传输处理的装置，包括代理客户端、代理服务器和核心主机，其中代理客户端用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器；代理服务器用于接收代理客户端发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端；核心主机用于接收代理服务器发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器。本发明公开了一种对海量数据文件进行传输处理的方法。利用本发明，解决了目前对海量数据文件进行传输处理时效率低的问题。
文档编号G06F17/30GK101719153SQ20091024236
公开日2010年6月2日 申请日期2009年12月9日 优先权日2009年12月9日
发明者佘俊胜, 吴绵顺, 孙雨辰, 王涛, 钱锋 申请人:中国工商银行股份有限公司