一种海量异构数据的接入及标准化方法
【专利摘要】一种海量异构数据的接入及标准化方法，其特征在于：设置两个子模块，分别为协议杯准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供给客户端一个用户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协议转换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。
【专利说明】一种海量异构数据的接入及标准化方法
【技术领域】
[0001] 本发明涉及一种异构数据的接入及标准化方法，具体涉及领域海量异构数据的接 入及标准化过程。
【背景技术】
[0002] 在安保领域中，需要面临海量异构数据信息的接入处理，这些数据不仅数据类型 异构，如报警、定位、人像等不同的数据信息，而且同种数据类型由于被应用的领域或分属 的类别不同也有不同的数据格式，如井盖数据中联通井盖与交管井盖的数据类型就有所差 异。这些异构数据导致了系统间信息交互和互操作非常困难，数据更新不能同步，并且在开 发过程中，程序重复度较高，人员投入量大，维护困难等问题。
[0003] 目前在海量数据通信中通常采用多线程技术，并存在许多封装好的多线程库，但 这些多线程库在使用过程中亦存在一些问题。例如Apple公司Darwinlnclude，主要是针对 流媒体服务器的库文件，一方面其对Socket的封装性较低，对开发人员不够简化；另一方 面，该库并不是针对安保领域中海量数据的接入，因此在业务需求上存在大量二次重复开 发，增加了人力与时间成本。目前普遍存在的使用xml技术来解决异构数据的差异性，但是 xml技术在解决这种实时的海量的异构数据接入方面存在数据量大，时间较慢、并且较为复 杂等缺点。
【发明内容】
[0004] 本发明的目的在于提供一种海量异构数据的接入及标准化方法的解决方案，该方 案主要面向开发人员，解决目前海量异构数据接入开发周期长，开发过程复杂，重复性开发 过多等问题。
[0005] 本发明提供的一种海量异构数据的接入及标准化方法，其特征在于：设置两个子 模块，分别为协议标准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供 给客户端一个用户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户 端填写的数据协议转换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配 子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发 送数据信息。
[0006] 所述多线程具有四种线程类型，分别是接受线程、管理线程、工作线程、协议转换 线程；其中，所述接受线程负责接受客户端的链接；所述管理线程负责链接服务器，并具有 自动重连功能；所述工作线程负责接收及发送数据；所述协议转换线程负责将接收到的数 据按照序列化的文件，转换成相应协议格式的数据。
[0007] 本发明针对安保领域的开发人员，由于使用ID来封装socket与buffer,为上层提 供接口，因此屏蔽Socket 了通信之间的差异化，简化通信流程，因此使得开发过程更简单， 开发周期更短，维护更加简单。非正常通信断开的链接，具有自动重连功能。并且本方案使 用序列化机制解决数据异构问题，使程序拥有更好的可扩展性和更快的运行效果。
【专利附图】
【附图说明】
[0008] 图1是本发明的模块结构框图
[0009] 图2是本发明的数据接入及标准化流程图
【具体实施方式】
[0010] 如图1所示，本发明的解决方案主要设置有两个子模块：协议标准化子模块和通 信适配子模块。
[0011] 协议标准化子模块主要负责提供给客户端一个用户友好的界面，使客户端可以填 写个性化的数据协议转换规则，并将客户端填写的数据协议转换规则编译成一个序列化的 文件，供通信适配子模块使用。
[0012] 通信适配子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端 的链接，接收及发送数据信息。
[0013] 本发明将socket与buffer封装成ID，使用ID来表明一次会话。ID分配方式如 下：
[0014]
【权利要求】
1. 一种海量异构数据的接入及标准化方法，其特征在于：设置两个子模块，分别为协 议标准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供给客户端一个用 户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协 议转换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配子模块主要负责 海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。
2. 根据权利要求1所述的海量异构数据的接入及标准化方法，其特征在于：所述多线 程具有四种线程类型，分别是接受线程、管理线程、工作线程、协议转换线程；其中，所述接 受线程负责接受客户端的链接；所述管理线程负责链接服务器，并具有自动重连功能；所 述工作线程负责接收及发送数据；所述协议转换线程负责将接收到的数据按照序列化的文 件，转换成相应协议格式的数据。
3. 根据权利要求2所述的海量异构数据的接入及标准化方法，其特征在于：所述工作 线程中存在一个线程池，存在许多可被调用的线程，初始化时线程池中的线程处于阻塞状 态，等待事件触发；如果存在事件触发，工作线程从线程池中调用处于空闲状态的线程来完 成事件响应。
4. 根据权利要求2所述的海量异构数据的接入及标准化方法，其特征在于：所述接受 线程总是保持多个套接字处于监听状态，可同时接受多个客户端的链接；接受线程在初始 化时建立一些套接字，用于监听外部客户端的链接，响应主线程中的接受事件，若存在接受 事件，接受线程将建立新的套接字，用于和外部客户端建立链接保持通信。
5. 根据权利要求5所述的海量异构数据的接入及标准化方法，其特征在于：所述管理 线程在通信非人为断开状态下自动重连服务器。
6. 根据权利要求2所述的海量异构数据的接入及标准化方法，其特征在于：所述协议 转换线程有两个输入，一个序列化的文件，一段格式化的数据，输出协议转换过的数据格 式。
【文档编号】G06F17/30GK104142942SQ201310165749
【公开日】2014年11月12日 申请日期:2013年5月8日 优先权日:2013年5月8日
【发明者】陈学钊 申请人:北京航天长峰科技工业集团有限公司