易扩展海量数据采集系统的制作方法
【专利摘要】本发明提供了一种易扩展海量数据采集系统，包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件；数据存储控制器：负责接收、分配待入库信息；入库工作终端管理器：负责入库任务的接收、分配；入库终端：入库终端接收管理器分配的任务，执行入库操作；配置规则库：存储配置规则的配置信息，为各个部件在特定情况下做出相应的反应提供依据；较现有技术对海量数据入库过程增加了调度管理，可显著改善和提高系统的可扩展性，而且数据入库的准确性和完整性、数据入库工作的可靠性高。
【专利说明】易扩展海量数据采集系统
【技术领域】
[0001]本发明涉及IT运维领域，尤其涉及一种易于扩展的数据采集系统。
【背景技术】
[0002]在IT运维领域，数据监控作为基础性工作，其准确度和处理效率对于保证系统运行具有重要的作用，随着信息系统本身的不断发展，数据采集量不断增大，不仅要同时监控众多设备，且不同的设备又涉及到诸多的网元指标，因此在单位时间内，由监控系统采集来的网元数据量巨大，虽然现有技术中关于海量数据存储的方案很多，但在IT运维领域的匹配度不高，缺乏对数据任务的缓存、转存、序列调整等调度机制，缺乏针对IT运维工具的、高效的、准确的、海量的数据入库方案。
【发明内容】
[0003]本发明的目的在于提供一种易扩展数据采集系统，专门针对IT运维工具的广泛适用的特点，易于扩展、易于定制，还可提高数据入库的效率和准确度。
[0004]为实现本发明的目的所采用的方案是，易扩展海量数据采集系统:包括有对外入库信息提交接口和数据库，还包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件；
数据存储控制器:负责接收、分配待入库信息，在启动过程中，扫描并加载入库信息转存文件中转存的入库信息；数据存储控制器启动完毕后，根据入库信息缓存中的数据条数，按照配置规则将入库信息缓存中的入库信息以最优方式转化封装成入库任务，并提交给入库工作终端管理器；在系统关闭过程中，数据存储控制器将入库信息缓存中的未分配入库信息，也可以包含被拒绝提交的入库任务，转存到入库信息转存文件中；
入库工作终端管理器:负责入库任务的接收、分配，在系统启动后，入库工作终端管理器接收到数据存储控制器提交的入库任务，随后检查所属的工作终端是否有空闲终端，如果有空闲终端，则进行入库任务分法；如果没有，则还需根据配置规则查看任务缓存中的任务数量是否达到了最大的承载数量，当达到了任务最大承载数量的时候，再根据配置规则中的转存策略将部分入库任务转存入库信息转存文件；当该控制器的所属的入库工作终端处于低负载状态时，该管理器应该通知数据存储控制器，扫描入库信息转存文件中是否有转存的未入库的入库信息；该系统关闭过程中，该入库工作终端管理器停止接收新任务和分配任务到入库工作终端，保存任务缓存中未分配的入库任务到入库信息转存文件。
[0005]入库终端:入库终端接收管理器分配的任务，执行入库操作，在执行过程中，如果发现错误的入库信息，则将该错误的入库信息过滤，并转存到错误信息转存文件，然后继续执行未执行完毕的入库信息，如果发生存储异常，比如10，数据库服务异常等，则回退所有的数据库操作，并且将该工作终端正在执行的入库任务转存到入库信息转存文件中。
[0006]配置规则库:存储配置规则的配置信息，包括每批最优入库信息数、等待最优信息数最长时间、最大可承载任务数、入库任务失败重试次数、入库信息转存策略、入库信息转存文件、错误信息转存文件，为系统运行提供准则，为各个部件在特定情况下做出相应的反应提供依据。
[0007]本发明的工作原理包含如下主要步骤:
1)、配置入库方法的配置规则，所述对配置规则的配置包括设定:每批最优入库信息数、等待最优信息数最长时间、最大可承载任务数、入库任务失败重试次数、入库信息转存策略、入库信息转存文件、错误信息转存文件；
2)、启动数据存储控制器，在启动过程中，数据存储控制器首先初始化入库信息缓存，然后扫描入库信息转存文件是否有未入库的信息，如果有，则将这些信息重新加载到入库信息缓存中，以备调度；
3)、当数据存储控制器启动后，接收待入库信息，控制器检测入库信息缓存中是否有需要入库的信息，并且判断信息的数量是否达到了预设的每批最优入库信息数，如果达到了最优数量，则按照最优数量分为一批数据、封装成一个入库任务，提交给入库工作终端管理器；如果没有达到最优数量，则根据规则等待，在等待最优信息数最长时间内，如果缓存中数据条数达到每批最优入库信息数，则按最优数据条数分配一个入库任务，否则等待结束后将全部数据封装为一个入库任务、提交给入库工作终端管理器；
4)、当入库工作终端管理器接收到入库任务时，根据配置规则，判断入库任务缓存队列中的任务数量是否已经达到了预设的最大可承载任务数，如果没有，则将该任务放入到入库任务缓存中；如果超出了最大可承载任务数，则根据配置规则中设定的入库信息转存策略，直接将该任务转存到入库信息转存文件中，并/或，按比例随机转存入库任务缓存中的部分任务到入库信息转存文件中；
5)、入库工作终端管理器对入库任务进行分配，首先判断入库任务缓存中是否有未分配的任务，如果有，则判断该入库工作终端管理器所属的入库终端是否全部都在运行中，如果有空闲的入库终端，则从入库任务缓存中取出一个任务，并交给该空闲入库终端执行；如果没有空闲的入库终端，则等待，直到有入库终端被释放，再分配入库任务；
6)、当空闲的入库终端接收到入库任务后，立即执行入库操作，如果在执行过程中，由于入库信息错误而导致的异常，入库终端则会过滤该异常信息，并继续执行未执行的入库信息并将错误的入库信息转存到错误信息转存文件中；如果因为网络、数据库管理系统、磁盘IO等原因引起的异常，则入库终端根据预设的配置规则重试一定数量或者时间的入库操作，如果依然不能正常入库，则回退已执行的所有操作，并且将该入库任务中的入库信息转存到入库信息转存文件；
7)、当入库工作终端管理器管理的入库终端处于低负荷状态时，入库工作终端管理器将通知数据存储控制器扫描入库信息转存文件，查看是否有转存的入库信息，如果有，则将这些信息重新加载到入库信息缓存中，重新进行调度；
8)、当入库工作终端管理器关闭过程中，入库工作终端管理器停止向入库工作终端管理器提交任务，入库信息缓存中的入库信息，由于并发原因，被入库工作终端管理器拒绝的任务均转存到入库信息转存文件中；入库工作终端管理器停止接收新任务、停止向入库终端分配任务，将任务缓存中的所有未分配任务转存到入库信息转存文件中；各个入库终端停止接受任务，但继续执行未完成的任务，待执行完毕，退出工作状态。
[0008]采用这种方案的采集调度装置，较现有技术对海量数据入库过程增加了调度管理，可显著改善和提高系统的可扩展性，以适应不同的被监控系统及其规模变化，系统的可扩展性、定制性高；而且入库规则配置灵活，可适应不同的被监控系统的具体业务特点，容易根据被监控系统的实际情况调整入库管理；而且数据入库的准确性和完整性、数据入库工作的可靠性高，采用了转存机制以避免了超负荷对系统的延迟影响；与监控系统、流程系统、诊断系统等并发工作的能力强。
【专利附图】
【附图说明】
[0009]图1是本发明的原理示意图。
【具体实施方式】
[0010]本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0011]如图1所示，以在IT运维领域中，保存由不同采集终端采集到的海量性能指标数据。首先配置规则，定义每批最优的入库信息数量为1000条、等待最优信息数最长时间为3秒、最大可承载任务数500个、当入库工作终端管理器所管理的入库任务缓存中的任务量超出最大任务数时，随机转存任务缓存中的任务30%到入库信息转存文件中、入库任务失败重试次数3次、入库信息转存文件为message, dump、错误信息转存文件error_message.dump。
[0012]系统启动过程中,数据存储控制器首先扫描message, dump文件,查看其中是否有被转存的入库信息，如果有则将这些信息加载到控制器的入库信息缓存中。
[0013]系统启动完毕后，数据存储控制器将检查入库信息缓存中是否存在入库信息，所述入库信息缓存为与数据存储控制器相关联的数据库实现，如果没有则继续等待，如果有，则根据配置规则中，判断该缓存信息数是否达到了 1000条，如果达到了，则提取出1000条入库信息，并将这1000条入库信息封装为一个任务，提交给入库工作终端管理器，如果并为达到1000条数据，则等待3秒，在这3秒的等待过程中，如果在3秒前缓存中数据条数达到了 1000条，则控制器不在等待，立即将这1000条数据提取出来，封装为一个入库任务，提交给入库工作终端管理器，相反，当3秒等待时间结束后，任然没有达到1000条数据要求，则控制器将缓存中所有的入库信息全部提取出来，封装为一个任务提交入库工作终端管理器。
[0014]入库终端管理器接收到任务后，首先判断所属的工作终端是否满负荷运行，如果没有，则直接将该任务放入到入库任务缓存中，所述入库任务缓存为与入库工作终端管理器相关联的数据库，等待分配，如果工作终端都在工作状态，则根据配置规则，判断任务缓存中的数据是否达到了 500个，如果达到了 500个，则随机将500个任务中的30%转存到入库信息转存文件中，然后将新提交的任务放入到任务缓存中，等待分配。
[0015]当入库工作终端管理器所属的工作终端有空闲是，则入库工作终端管理器，将任务缓存中最早提交的一个任务分配给该空闲的工作终端执行，如果没有空闲的工作终端，则等待资源释放。
[0016]工作终端接收到入库任务时，接着就执行入库任务，当在执行入库任务过程中，发现入库信息错误，比如数据类型不对、执行的SQL错误等异常时，工作终端过滤掉这些错误信息，并且将这些信息转存到文件error_message.dump中，并且继续执行未执行，保存未入库的其他信息。
[0017]工作终端在执行过程中，如果遇到IO异常、数据库服务没有启动、网络异常等异常时，工作终端将根据配置规则重试3次任务，如果任然出现相同的异常，则回退所有的操作，并且将该任务中的所有入库信息转存到message, dump文件中。
[0018]当入库工作终端管理器所属的入库工作终端处于低负荷运行时，此时入库工作终端管理器通知控制器，扫描message, dump文件中是否转存了一部分入库信息，如果有，则重新加载到控制器的缓存中，重新封装任务，并且重新执行这些入库任务。
[0019]当该方法系统关闭过程中，控制器停止接收新的入库信息，并且停止提交任务到入库工作终端管理器，保存入库信息缓存中的所有入库信息，以及被入库工作终端管理器拒绝的入库任务到文件message, dump中，入库工作终端管理器停止接收新的任务,停止分配缓存中的任务到入库工作终端，并且将任务缓存中的所有任务转存到message, dump文件中，入库工作终端继续执行未执行完毕的任务，出现异常时根据原有的逻辑转存文件。
【权利要求】
1.易扩展海量数据采集系统:包括有对外入库信息提交接口和数据库，其特征在于，该系统还包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件； 数据存储控制器:负责接收、分配待入库信息，在启动过程中，扫描并加载入库信息转存文件中转存的入库信息；数据存储控制器启动完毕后，根据入库信息缓存中的数据条数，按照配置规则将入库信息缓存中的入库信息以最优方式转化封装成入库任务，并提交给入库工作终端管理器；在系统关闭过程中，数据存储控制器将入库信息缓存中的未分配入库信息，也可以包含被拒绝提交的入库任务，转存到入库信息转存文件中； 入库工作终端管理器:负责入库任务的接收、分配，在系统启动后，入库工作终端管理器接收到数据存储控制器提交的入库任务，随后检查所属的工作终端是否有空闲终端，如果有空闲终端，则进行入库任务分法；如果没有，则还需根据配置规则查看任务缓存中的任务数量是否达到了最大的承载数量，当达到了任务最大承载数量的时候，再根据配置规则中的转存策略将部分入库任务转存入库信息转存文件；当该控制器的所属的入库工作终端处于低负载状态时，该管理器应该通知数据存储控制器，扫描入库信息转存文件中是否有转存的未入库的入库信息；该系统关闭过程中，该入库工作终端管理器停止接收新任务和分配任务到入库工作终端，保存任务缓存中未分配的入库任务到入库信息转存文件； 入库终端:入库终端接收管理器分配的任务，执行入库操作，在执行过程中，如果发现错误的入库信息，则将该错误的入库信息过滤，并转存到错误信息转存文件，然后继续执行未执行完毕的入库信息，如果发生存储异常，比如10，数据库服务异常等，则回退所有的数据库操作，并且将该工作终端正在执行的入库任务转存到入库信息转存文件中； 配置规则库:存储配置规则的配置信息，包括每批最优入库信息数、等待最优信息数最长时间、最大可承载任务数、入库任务失败重试次数、入库信息转存策略、入库信息转存文件、错误信息转存文件，为系统运行提供准则，为各个部件在特定情况下做出相应的反应提供依据。
2.根据权利要求1所述易扩展海量数据采集系统:其特征在于:所述入库信息缓存为与数据存储控制器相关联的数据库。
3.根据权利要求1所述易扩展海量数据采集系统:其特征在于:所述入库任务缓存为与入库工作终端管理器相关联的数据库。
【文档编号】G06F17/30GK103853719SQ201210496189
【公开日】2014年6月11日 申请日期:2012年11月28日 优先权日:2012年11月28日
【发明者】舒刚 申请人:成都勤智数码科技股份有限公司