接入的一般性方法原理，对这些方法进行封装，最后以服务的形式对数据接入请求进行服务支撑，其中涉及到的通讯方法主要包含基于TCP/IP和UDP的Socket通讯，基于Web Service等的服务级通讯，基于文件传输的FTP和SFTP通讯以及基于HTTP协议的WEB通讯等。
[0052]本发明的解析服务，指的是对数据通讯所使用的数据格式规范进行“不限制性”数据解析。“不限制性”的含义指对一般性的数据文件格式都提供了解析服务，其中既包含了基于定长字节或字符等的定长数据格式、基于分隔符或者分隔标识的变长数据格式等传统数据交互格式，又包含了基于XML协议的通用XML数据、基于JSON协议的JSON数据等互联网数据交互格式，还包含了自定义格式数据和文件等类型的复杂数据交互格式。
[0053]缓存机制能够有效解决目前多数系统在实际场景中由于设备种类和个数繁多，设备产生的数据量巨大等问题所带来的性能瓶颈和灾难，因此缓存机制在本发明的数据采集设备统一接入过程中必不可少，同时对缓存的合理使用也可以大大减少数据的丢失问题，同时充分节省了主机和数据库资源。
[0054]在本发明的实现过程中，解析服务与通讯服务之间采用了隔离机制，即虽然通讯的最终目的为数据解析，数据解析的前置依赖是通讯，两者之间的确存在逻辑关系，但为了实现解耦和高可定制性，系统中通过“服务隔离”的方式进行业务隔离，其结果是通讯和数据解析不再存在明显的逻辑关系，从而使得通讯和数据解析两个过程被隔离开来。此外，本发明的几个相关功能，如配置、日志、数据、服务都采取了业务隔离原则，即某个功能不会依赖于另外其他的功能，这样做的好处在于各类用户使用和执行维护操作时只需要关心其所实际涉及到的其中某一块功能即可，而对其他部分无需过多了解。
[0055]本发明中所涉及的数据采集设备用途多种多样，包含交通信息类、运营商设备通讯类、数据库存储类、银行业务设备类、互联网运维主机数据通讯设备，这些设备作为外围数据核心设备，主要为本发明提供数据源支撑。本发明与这些设备之间通过某种通讯方式完成数据交互，这些通讯方式包含基于串口的互联网通讯、基于蓝牙、W1-Fi的无线通讯以及运营商的GPRS、EDGE、4G网络等。
[0056]理论上，本发明不依赖于行业性质、不依赖于具体数据采集设备类型、不依赖于数据采集设备制造厂家。一般的，任何支持目前主流数据软件通讯协议和国际通用数据交互格式的数据采集设备都可以接入，同时本发明减少了数据采集设备接入时的工作和后期维护的巨大成本，技术可靠，操作方便。本发明不仅适用于交通、银行、运营商等传统行业，还适用于020、电子商务等新型互联网行业。
[0057]以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。
【主权项】
1.一种基于业务隔离原理的数据采集设备统一接入系统，其特征在于:该系统包括配置初始化模块、线程池初始化模块、通讯服务模块、隔离模块、解析服务模块和缓存模块； 所述配置初始化模块，用于在系统启动时将不同使用场景的初始配置信息加载到系统中； 所述线程池初始化模块，用于以单线程的方式直接启动各个服务，包括NETTY服务、WebService服务、HTTP服务和文件服务，还用于以小于一定阈值的容量启动通讯线程池和解析线程池； 所述通讯服务模块，用于响应采集设备的数据接入请求，当通讯线程池中存在空闲线程时，直接分配线程响应数据接入请求，当通讯线程池中不存在空闲线程时，若通讯线程池的容量尚未达到预设阈值，则增加通讯线程池的容量，再分配线程响应数据接入请求，若通讯线程池的容量已达到预设阈值，则控制数据接入请求进入线程排队队列以等待分配线程； 所述隔离模块，用于隔离通讯服务模块与解析服务模块，当通讯服务模块的工作结束后，临时存储通讯服务模块接入的数据，并在一定的预设条件下，启动解析服务模块； 所述解析服务模块，用于响应数据解析请求，当解析线程池中存在空闲线程时，直接分配线程响应数据解析请求，当解析线程池中不存在空闲线程时，若解析线程池的容量尚未达到预设阈值，则增加解析线程池的容量，再分配线程响应数据解析请求，若解析线程池的容量已达到预设阈值，则控制数据解析请求进入线程排队队列以等待分配线程； 所述缓存模块，用于通过两级数据缓存来完成对解析服务模块解析的数据的存储，第一级数据缓存完成对数据的临时缓存，与实际数据解析过程同步，第二级数据缓存完成对数据的最终缓存并将数据存储到数据库，与实际数据解析过程异步。2.根据权利要求1所述的基于业务隔离原理的数据采集设备统一接入系统，其特征在于:该系统还包括配置注入模块； 所述配置注入模块，用于通过两级配置缓存来完成对配置信息的更新，第一级配置缓存完成对配置信息的临时缓存，与实际配置信息变更请求同步，第二级配置缓存完成对配置信息的最终缓存并选择合适的时间和场景来完成对配置信息的更新，与实际配置信息变更请求异步。3.根据权利要求1所述的基于业务隔离原理的数据采集设备统一接入系统，其特征在于:该系统还包括日志监控管理模块； 所述日志监控管理模块，用于通过两级日志缓存来完成对日志的存储，第一级日志缓存完成对日志的临时缓存，与实际日志产生过程同步，第二级日志缓存完成对日志的最终缓存并将日志存储到数据库，与实际日志产生过程异步。4.根据权利要求1所述的基于业务隔离原理的数据采集设备统一接入系统，其特征在于:所述通讯服务模块，还用于当线程排队队列不存在正在排队的数据接入请求时，从通讯线程池中回收一定比例的空闲线程。5.根据权利要求1所述的基于业务隔离原理的数据采集设备统一接入系统，其特征在于:所述解析服务模块，还用于当线程排队队列不存在正在排队的数据解析请求时，从解析线程池中回收一定比例的空闲线程。
【专利摘要】本发明提供一种基于业务隔离原理的数据采集设备统一接入系统，包括配置初始化模块、线程池初始化模块、通讯服务模块、隔离模块、解析服务模块和缓存模块。本发明理论上不依赖于行业性质、不依赖于具体数据采集设备类型、不依赖于数据采集设备制造厂家，一般的，任何支持目前主流数据软件通讯协议和国际通用数据交互格式的数据采集设备都可以接入，同时本发明减少了数据采集设备接入时的工作和后期维护的巨大成本，技术可靠，操作方便。本发明不仅适用于交通、银行、运营商等传统行业，还适用于O2O、电子商务等新型互联网行业。
【IPC分类】H04L29/08
【公开号】CN105635298
【申请号】CN201610017431
【发明人】鲍远来, 宋志洪, 江金凤, 尹少东
【申请人】安徽科力信息产业有限责任公司
【公开日】2016年6月1日
【申请日】2016年1月12日