同步任务搜索方法、系统、装置及可读存储介质与流程

文档序号:17641688发布日期:2019-05-11 00:43阅读:182来源:国知局
本发明涉及计算机领域,具体涉及利用计算机程序进行同步任务搜索的方法、系统、装置及可读存储介质。
背景技术
::在某系统开发或运行某一个功能时,需要使用其它系统的数据,此时一般需要将其它系统的数据先使用同步工具传输到该某系统,然后基于这些数据进行开发。为了便于描述,下面结合图3对各技术术语进行说明并定义:其它系统为源系统,其它系统的数据库为源数据库,其它系统的数据为源数据;该某系统为目标系统,目标系统的数据库为目标数据库,目标系统的数据库内存放有各类源数据的接口表。系统开发或运行时,通过同步任务工具,将各源数据传输到目标系统,各源数据的传输及路径形成对应的同步任务,同步任务最终形成能够解析执行的任务文件。当系统开发或运行时,可能会发现错误、不适配或非最优化设置的问题,此时工作人员需要查找各同步任务,排查问题源头。此时,按照如图3所示的目标系统开发或运行时源数据的传输路线示意图,进行源数据的传输搜索。在s110中为源系统src、源数据库src_db、源表src_table,源数据位于s110中的源数据库中;通过s120中的同步工具将s110中的源数据位置表格传输至s130中的目标系统;然后,如s140所示,基于同步工具开发的各种同步任务开发完成后,就可以将源数据从源系统传输至目标系统,同时,这一个个的同步任务最终都会生成各种同步工具能够解释执行的任务文件。现有搜索工具,如kettle,etl,tjs,informatica,其可视化操作页面都是不支持按表名或者sql片段搜索相关同步任务的,当已经知道一张接口表的名称,想知道其源数据是哪个系统的时候,需要大量的时间逐个任务的查找,非常耗时。技术实现要素:为了解决现有技术中需要逐个任务查找接口表对应的源数据,耗时耗力的问题,本发明提供一种同步任务搜索方法、系统、装置及可读存储介质。基于一方面,本发明提供的一种同步任务搜索方法,应用于电子装置,上述同步任务用于将源系统中的源数据同步至目标系统中,源数据同步至目标系统后形成任务文件;该同步任务搜索方法包括如下步骤:第一步:获取目标系统开发或运行所需要的任务文件以及目标系统的接口表;第二步:根据任务文件和接口表获取与任务文件对应的源数据所在的源系统的源系统路径;第三步:根据与上述任务文件对应的各源数据的索引信息设置搜索条件;第四步:根据上述搜索条件,以及从第二步获取的源系统路径,在上述源系统内搜索符合搜索条件的源数据;优选的,上述搜索条件的设置包括:设置后缀信息和设置关键字信息。再优选的,设置后缀信息和设置关键字信息后,首先搜索源系统内含有所设置后缀的源数据,解析符合所设置后缀的源数据;然后根据设置的关键字,从解析出的含有所设置后缀的源数据中搜索含有设置的关键字的源数据。优选的,同步任务搜索方法还包括第五步,第五步中,根据搜索得到的符合搜索条件的源数据形成搜索表,然后输出搜索表。再优选的,形成搜索表后,对比搜索表中的源数据和任务文件,当搜索表中的源数据和任务文件不一一对应时,发出报警信号。再优选的,当搜索表中的源数据和任务文件一一对应时,从源系统内读取并核对搜索表内含有的源数据。该搜索表内含有的源数据,应理解为搜索表内列出了源数据的源数据信息,源数据本身在源系统内,根据搜索表在源系统中搜索源数据。基于另一方面,本发明还提供一种同步任务搜索系统,上述同步任务用于将源系统中的源数据同步至目标系统中,源数据同步至目标系统后形成任务文件。同步任务搜索系统包括java语言编辑器,java语言编辑器在处理器中运行时实现如下操作:s210:运行java语言编辑器;s220:利用java语言编辑器的信息获取程序获取与任务文件对应的源数据所在源系统的源系统路径;s230:利用java语言编辑器的后缀搜索程序搜索符合后缀要求的源数据,并筛选出符合后缀要求的源数据;s2140:利用java语言编辑器的关键字搜索程序,按照关键字搜索s230筛选出的源数据;s250:利用java语言编辑器的搜索结果输出程序获取s240搜索得到的源数据,根据搜索得到的源数据确认并输出搜索表。优选的,上述信息获取程序被处理器执行时,实现如下操作:首先关联目标系统,获取目标系统开发或运行所需要的任务文件,以及目标系统的接口表,从接口表获取与任务文件对应的源数据所在源系统的源系统路径。上述后缀搜索程序被处理器执行时,实现如下操作:根据源系统路径读取源系统内的源数据,搜索含有所设置后缀的源数据。上述关键字搜索程序被处理器执行时,实现如下操作:获取后缀搜索程序筛选出的源数据,对筛选出的源数据进行解析,并根据指定的关键字,从含有所设置后缀的源数据中搜索含有所设置关键字的源数据。上述搜索结果输出程序被处理器执行时,实现如下操作:获取关键字搜索程序搜索得到的源数据,并根据获取的源数据确认并输出搜索表。基于再一方面,本发明提供一种电子装置,该电子装置包括存储器、处理器和目标数据库,所述存储器中存储有计算机程序,计算机程序被处理器执行时,实现上述同步任务搜索方法。还有一个方面,本发明提供计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,计算机程序包括信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序;信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序被处理器执行时,实现如上述同步任务搜索方法。本发明提供的同步任务搜索方法、系统、装置及可读存储介质,与现有技术相比,具有以下有益效果:上述同步任务搜索方法、系统、装置及可读存储介质,根据接口表和任务文件确认源数据所在的源系统的源系统路径,根据搜索条件,根据源系统路径搜索源系统内的各源数据,最终实现各源数据对应的各同步任务的搜索,从而找出想找的同步任务,提高同步任务搜索效率,大大降低同步任务查找的时间。附图说明通过参考以下流程附图的说明及权利要求书的内容,并且随着对本发明的更全面理解,本发明的其它目的及结果将更加明白及易于理解。在附图中:图1是根据本发明实施例的同步任务搜索方法的流程结构示意图。图2是根据本发明实施例的电子装置的逻辑结构示意图。图3是目标系统开发或运行时源数据的传输路线示意图。附图中有如下标记:70电子装置;71处理器;72存储器;73计算机程序。在所有附图中相同的标号指示相似或相应的特征或功能。具体实施方式以下将结合附图对本发明的具体实施例进行详细描述。实施例1目标系统开发或运行前,目标系统所需要的源数据存储在源系统内;目标系统开发或运行前,首先将源系统内的源数据通过同步任务传输至目标系统,上述同步任务是将源数据从源系统传输至目标系统的操作,源数据传输至目标系统后,形成目标系统所需要的任务文件。当目标系统的开发或运行出现问题时,需要从源系统内查找源数据,排查目标系统开发或运行出现问题的原因。图1给出了根据本发明实施例的同步任务搜索方法的流程结构示意图。如图1所示,本实施例提供一种同步任务搜索方法,该同步任务搜索方法应用于电子装置,该同步任务用于将源系统中的源数据同步至目标系统中,源数据同步至目标系统后形成任务文件。本实施例提供的同步任务搜索方法包括如下步骤:s310:获取目标系统开发或运行过程中所需要的任务文件以及目标系统的接口表。该任务文件是目标系统开发或运行过程中所需要用到的文件,通过该任务文件,实现目标系统的开发或运行。当然,此处的任务文件,应单独指存储在其它系统或其它数据库中的文件,目标系统内本身就有的文件可以直接读取,无需再通过本发明提供的同步任务搜索方法进行搜索。该接口表,是指目标系统与源系统之间连接关系表格,源数据存储在源系统内,通过接口表获取与任务文件对应的源数据的信息及源数据所在源系统以及所在源数据库。s320:结合步骤s310中所获取的任务文件和接口表,从接口表获取任务文件所对应的源数据所在的源系统路径。其中,该源系统路径是源数据所在源系统的访问路径。通过上述接口表,可获取源数据所在的源系统;通过任务文件,可获取目标系统运行或开发过程中需要使用到的源数据;通过上述源数据所在源系统路径以及目标系统运行或开发过程中需要使用的源数据,进而获取与任务文件对应的源数据所在的位置,再进而获取各同步任务所对应的源数据所在的源系统路径。上述的同步任务,是将源数据传输至目标系统的动作任务,同步任务与各源数据一一对应;上述的任务文件,是目标系统开发或运行所需要的文件,其实质是传输至源系统后的源数据,任务文件与源数据一一对应。s330:根据各源数据的索引信息设置搜索条件。其中,当需要搜索任务文件对应的源数据时,根据各源数据的索引信息设置搜索条件,该源数据的搜索条件应是根据源数据的特点设置,当搜索到符合该搜索条件的源数据时,则认为搜索到符合条件的源数据。通过核对搜索到的源数据,可排查目标系统开发或运行中出现的问题。上述搜索条件的设置,是为后期的搜索做准备,该搜索条件可以是后缀信息、任务文件中做出的标记或关键字等;本发明中,仅提出所设置后缀信息和所设置关键字信息,通过后缀信息和所设置关键字信息进行搜索。当然,通过其它方式进行搜索也应属于本发明的保护范围。s340:根据搜索条件和从s320获取的源系统路径,从源系统中搜索符合条件的源数据。该搜索应是从源系统中的存储设备中搜索,如源系统内的源数据库、内存或源系统内的其它存储设备。当s330中的搜索条件是后缀和关键字时,应首先读取源系统内含有所设置后缀的源数据,解析符合所设置后缀的源数据,然后根据设置的关键字,搜索解析出的源数据中符合条件的源数据。通过后缀和关键字两步搜索,能够在第一步后缀搜索时对源数据进行初步搜索,降低关键字搜索时的工作量,减少单次搜索时间,同时防止搜索的源数据过多时系统卡机。具体的,在s340搜索得到符合搜索条件的源数据后,还可以设置有步骤s350,在步骤s350中,根据搜索得到的符合条件的源数据形成搜索表,输出该搜索表。s350是确认搜索表并将搜索表输出的过程,通过输出搜索表,能够便于工作人员查看搜索结果,也能便于工作人员通过目标系统根据搜索表读取并核对各源数据。上述s350中,还可以在输出搜索表后,对比任务文件和搜索表中含有的源数据,上述任务文件由传输至目标系统的源数据形成,与各源数据一一对应;上述搜索表中的源数据,指的是源数据的信息列表,并非指源数据本身;根据对比结果做出对应的处理。更具体的,当任务文件与搜索表中含有的源数据不一一对应时,则认为源数据的数量和类型出现错误,发出报警信号,等待工作人员检查。当任务文件与搜索表中含有的源数据一一对应时,将搜索表内含有的源数据复制并传输至目标系统,便于工作人员快速读取核对各源数据。上述的对比过程,能够核对源数据是否与任务文件一一对应,当不对应时,发出报警信号,通过工作人员操作或再次启动同步任务搜索方法,搜索缺失的源数据,或删除不符合规定的源数据;当对应时,从源系统内读取源数据,此时可将源数据复制并传输至目标系统,工作人员通过目标系统核对各源数据。上述搜索表中含有的源数据,应理解为搜索表内含有源数据的源数据信息,源数据本身存在源系统内。上述同步任务搜索方法,s310用于获取需要的任务文件的信息。s320通过接口表和任务文件,获取各源数据所在的源系统的路径,该源数据的路径,是指任务文件所对应的源数据所在源系统的路径,根据该源系统的路径访问源系统的源数据库、内存或其它存储设备,便于后期搜索源数据库、内存或其它存储设备中符合搜索条件的源数据。s330设置搜索条件,该搜索条件根据源数据的搜索信息设置。s340根据搜索条件搜索符合条件的源数据,本实施例中,首先通过后缀筛选出符合格式要求的源数据,减少搜索范围,然后根据关键字搜索要查找的源数据,通过关键字搜索时,搜索范围仅限于符合后缀要求的源数据,能够降低搜索的范围,增快搜索效率,当通过关键字搜索到源数据时,工作人员对该源数据进行核对,实现问题的排查。通过上述方法搜索同步任务,无需人工逐一系统查找同步任务,能够提高同步任务搜索效率,降低同步任务查找的时间。本实施例中,通过后缀和关键字逐级搜索,后缀搜索和关键字搜索配合的方式搜索,逐一降低搜索量,减少搜索时间,降低了对服务器的性能要求。实施例2本实施例提供的同步任务搜索系统,其中的同步任务用于将源系统中的源数据同步至目标系统中,源数据同步至目标系统后形成任务文件;同步任务搜索系统包括信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序,上述信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序被处理器执行时,用于实现如上述实施例1中的同步任务搜索方法。具体的,信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序被处理器执行时,实现如下操作:上述信息获取程序被处理器执行时:首先,关联目标系统,获取目标系统开发或运行所需要的任务文件,以及目标系统的接口表;从接口表获取任务文件对应的源数据所在的源系统路径。上述后缀搜索程序被处理器执行时:根据上述的源系统路径,读取源系统内的源数据,并筛选含有所设置后缀的源数据;上述后缀搜索程序可在源系统内对源数据进行初步搜索,降低关键字搜索程序的工作量,减少单次搜索时间,同时防止搜索的源数据过多时系统卡机。上述关键字搜索程序被处理器执行时:获取后缀搜索程序筛选出的源数据,并对筛选后的源数据进行解析;接着并根据指定的关键字,从解析的源数据中搜索含有所设置关键字的源数据;上述搜索结果输出程序被处理器执行时:根据搜索到的符合搜索条件的源数据,确认并输出搜索表。实施例3本实施例提供一种同步任务搜索系统,该同步任务用于将源系统中的源数据同步至目标系统中,源数据同步至目标系统后形成任务文件;与对比例2相比,其主要区别在于,该同步任务搜索系统包括java语言编辑器,各程序在java语言编辑器内运行。具体的,java语言编辑器在处理器中运行时实现如下操作:s210:运行java语言编辑器;此时应由处理器启动并运行java语言编辑器,java语言编辑器作为下述各步骤的操作单元;在运行java语言编辑器时,java语言编辑器应已经配置信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序,通过信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序实现同步任务的搜索;s220:利用java语言编辑器的信息获取程序获取与任务文件对应的源数据所在的源系统及其源系统路径;该处的源系统及其源系统路径,应从目标系统的目标数据库中获取。在目标数据库中,应至少配置有目标系统的开发或运行时所需要的任务文件和接口表,根据任务文件,获取需要的源数据类型、名称或其它具有识别或区分的代表性信息,该源数据的代表性信息在接口表中有对应记录;通过接口表可获知存储源数据的源系统的位置信息。当然,当源数据库设置有访问限制时,该java语言编辑器应提前配置为具有源数据库的访问权限。s230:利用java语言编辑器的后缀搜索程序搜索符合后缀要求的源数据,并筛选出符合后缀要求的源数据;该s230中,通过后缀搜索源数据,该步骤是根据源系统路径,搜索源系统中源数据库、内存或其它存储设备中符合格式要求的源数据,当源数据的后缀信息与设置的搜索条件中的后缀不同时,则认为该源数据不可能是需要搜索的源数据,当源数据的后缀信息与设置的搜索条件中的后缀相同时,则认为该源数据有可能是需要搜索的源数据。s240:利用java语言编辑器的关键字搜索程序,依照关键字搜索s230筛选出的源数据;该处的关键字搜索过程,仅仅搜索s230筛选出的源数据,能够降低搜索的范围,通过关键字搜索最终获取目标系统开发或运行所需要的源数据,该源数据与任务文件和同步任务相对应,进而实现同步任务的查找,便于工作人员对源数据进行核对。s250:利用java语言编辑器的搜索结果输出程序获取s240中搜索得到的源数据,根据搜索得到的源数据确认并输出搜索表。获取搜索得到的结果后,即符合搜索条件的源数据后,根据搜索结果确认并输出搜索表。工作人员读取搜索表中含有的源数据,该搜索表中的源数据,仅仅指的搜索表列出的与源数据相关的信息;获取目标系统开发或运行中所需要的源数据及其相关信息,工作人员对源数据进行核对,通过对源数据的核对排查目标系统开发或运行中的问题。具体的,为了更详细的说明各程序的作用,下述将详细描述各程序再具体使用中所起到的作用:上述信息获取程序被处理器执行时,实现如下操作:首先关联目标系统,获取目标系统开发或运行所需要的任务文件;然后读取目标系统的接口表,从接口表获取任务文件对应的源数据及所在源系统的源系统路径。上述后缀搜索程序被处理器执行时,实现如下操作:根据源系统路径,读取源系统内的源数据,并筛选含有所设置后缀的源数据。上述关键字搜索程序被处理器执行时,实现如下操作:获取后缀搜索程序筛选出的源数据,对筛选出的源数据进行解析,并根据设置的关键字,搜索含有后缀的源数据中含有关键字的源数据。上述搜索结果输出程序被处理器执行时,实现如下操作:根据关键字搜索程序搜索到的源数据,确认并输出搜索表。实施例4本实施例提供一种电子装置70,如图2所示,该电子装置70包括存储器72、处理器71和目标数据库,所述存储器72中存储有计算机程序73,计算机程序73被处理器71执行时,实现上述同步任务搜索方法。上述电子装置70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子装置70可包括,但不仅限于,处理器71、存储器72和目标数据库。本领域技术人员可以理解,图2仅仅是电子装置70的示例,并不构成对电子装置70的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子装置70还可以包括输入输出设备、网络接入设备、总线等。所称处理器71可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是控制器、微控制器、微处理器,或者该处理器也可以是任何常规的处理器等。存储器72可以是电子装置70的内部存储单元,例如电子装置70的硬盘或内存。存储器72也可以是电子装置70的外部存储设备,例如电子装置70上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)、多媒体卡、卡型存储器、磁性存储器、磁盘和光盘等。进一步地,存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序73以及电子设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。实施例5本实施例提供计算机可读存储介质,计算机存储介质设置在上述电子装置内,所述计算机可读存储介质存储有计算机程序,计算机程序包括信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序;信息获取程序、后缀搜索程序、关键字搜索程序和搜索结果输出程序被处理器执行时,实现如上述实施例1中的同步任务搜索方法操作。所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。上述各实施例提供的同步任务搜索方法、系统、装置及可读存储介质,根据关键字和后缀,实现各种同步任务的搜索,从而找出想找的同步任务,提高同步任务搜索效率,大大降低同步任务查找的时间。上述同步任务搜索方法、系统、装置及可读存储介质,能够根据搜索到的源数据确认搜索表,反馈该搜索表,便于工作人员查看各源数据及与源数据对应的同步任务。如上参照附图以示例的方式描述了根据本发明的同步任务搜索方法、系统、装置及可读存储介质。但是,本领域技术人员应当理解,对于上述本发明所提出的同步任务搜索方法、系统、装置及可读存储介质,还可以在不脱离本
发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1