专利名称：一种大量实时数据存储装置的制作方法
技术领域：
本实用新型涉及一种数据存储装置，尤其是涉及一种大量实时数据存储装置。
背景技术：
我们的系统需要采集大量实时数据。以山东临沂汽车站的GPS监控项目为例，每 台GPS终端会没隔1分钟向数据中心上报一次实时数据。数据中心需要及时记录每台终端 的最后一次上报情况，以及记录所有历史记录以备查询。目前现存方案为数据网关接收到一条上报数据后，即向数据库执行INSERTINT0 操作，并且没隔一分钟，将向数据库执行一次大规模循环的UPDATE操作，以刷新最新在线 状态记录表。目前方案的性能表现有些问题，至多上线700左右终端，数据库服务器即表现为 CPU占用居高不下的情况，应无法应对更大量的实时数据。原方案问题分析原方案存在如下问题原方案的分表策略为按照终端号和当前月份分表。也就是一个终端，每一个月份 均建立一张表。此策略在查询时可有效增加查询速度，但是，在插入时存在问题原方案的 实现为插入数据时通过存储过程实现，没此插入前，需判断是否有目标数据表的存在，若 不存在，则生成目标数据表。此方法不宜应对频繁插入的情况，因为每次都需要进行判断。 实际测试中，发现并发数超过800将出现并发错误，修改其中的部分代码可解决并发错误， 但是每次都要多做查询目标表是否存在的判断，对效率有所影响。原方案在数据插入时，采用来一条插一条的方式，此法在频繁插入时效率不高。一 般来说，SQLSERVER在采用循环方式往数据库插入数据时，每秒100条记录即已几乎达到极 限，即使考虑到服务器的因素，关系型数据库采用常规方法也无法应付如此密集的数据插 入操作。在线状况表的刷新，每次都需要将所有车辆的最新状态执行一次UPDATE，而且该 操作频率极高，也极大增加数据库的压力。
发明内容本实用新型的目的就是为了克服上述现有技术存在的缺陷而提供一种大量实时 数据存储装置。本实用新型的目的可以通过以下技术方案来实现一种大量实时数据存储装置，其特征在于，包括数据查询服务器、数据存储服务 器、数据分发服务器、数据网关、终端，所述的数据查询服务器分别与数据存储服务器、数据 分发服务器连接，所述的数据存储服务器与数据分发服务器连接，所述的数据分发服务器 与数据网关连接，所述的数据网关与终端连接。所述的数据存储服务器与数据分发服务器的数量相同，所述的数据存储服务器与[0014]所述的数据分发服务器与数据网关的数量相同，所述的数据分发服务器与数据网
关一一对应。所述的数据网关设有多个，每个数据网关连接有多个终端。与现有技术相比，本实用新型具有可以配置多台数据存储服务器，也就是可以支 持更多的终端数。另外数据发布服务器处还实现了故障转移功能。如果某台存储服务器 瘫痪，那么数据发布服务器将暂时存放传输的数据，待存储服务器恢复后将数据传输过 去.如果数据网关也瘫痪了的话，那么终端可以选择发送给另一个数据网关，以保证服务 不间断。
图1为本实用新型的结构示意图。
具体实施方式
以下结合附图和具体实施例对本实用新型进行详细说明。实施例如图1所示，一种大量实时数据存储装置，包括数据查询服务器1、数据存储服务 器2、数据分发服务器3、数据网关4、终端，所述的数据查询服务器1分别与数据存储服务器 2、数据分发服务器3连接，所述的数据存储服务器1与数据分发服务器3连接，所述的数据 分发服务器3与数据网关4连接，所述的数据网关4与终端连接。所述的数据存储服务器2 与数据分发服务器3的数量相同，所述的数据存储服务器2与数据分发服务器3 —一对应。 所述的数据分发服务器3与数据网关4的数量相同，所述的数据分发服务器3与数据网关 4 一一对应。所述的数据网关4设有多个，每个数据网关4连接有多个终端。本实用新型的工作流程如下1)数据查询服务器1启动，启动后，将各终端对应数据网关4的对应表加载入内存 中，并且对外提供查询服务；2)数据存储服务器2启动，用于存储数据分发服务器3分发来的数据，同时响应数 据查询服务器1的分布式查询；3)数据分发服务器3进行数据分发；4)数据查询服务器1进行查询。所述的步骤幻数据分发服务器3进行数据分发具体步骤如下1)先进行一次传输故障数据尝试；2)加载终端与网关对应表；3)每隔10秒钟向数据查询服务器1注册自己的运行状况。4)当接收到上报数据时，更新最新在线状态。所述的步骤4)当接收到上报数据时，更新最新在线状态具体步骤如下1)如果发现并非自己负责的终端上报，则立即向数据查询服务器提交信息；2)查找终端对应的数据存储服务器2，向其传输数据；3)如果传输失败，失败计数+1 ；[0035]4)如果传输成功，失败计数归0 ； 5)如果传输失败次数达到5，则停止尝试传输，激活故障转移程序，将上报信息暂 存入本地SQLLITE数据库，故障转移程序每若干时间间隔，检测终端对应的存储服务器是 否以恢复上线。所述的步骤4)数据查询服务器1进行查询包括查询实时在线信息和查询历史信 肩、ο所述的查询实时在线信息步骤如下1)从对应表中找到此终端相应的数据分发服务器；2)查看其最近一分钟内有无注册信息，若有，则向其进行查询，若无，查找是否有 上报的转移记录。所述的查询历史信息步骤如下1)从对应表中找到终端相应的数据分发服务器；2)同时对设计到得终端进行异步查询。
权利要求1.一种大量实时数据存储装置，其特征在于，包括数据查询服务器、数据存储服务器、 数据分发服务器、数据网关、终端，所述的数据查询服务器分别与数据存储服务器、数据分 发服务器连接，所述的数据存储服务器与数据分发服务器连接，所述的数据分发服务器与 数据网关连接，所述的数据网关与终端连接。
2.根据权利要求1所述的一种大量实时数据存储装置，其特征在于，所述的数据存储 服务器与数据分发服务器的数量相同，所述的数据存储服务器与数据分发服务器一一对 应。
3.根据权利要求1所述的一种大量实时数据存储装置，其特征在于，所述的数据分发 服务器与数据网关的数量相同，所述的数据分发服务器与数据网关一一对应。
4.根据权利要求1所述的一种大量实时数据存储装置，其特征在于，所述的数据网关 设有多个，每个数据网关连接有多个终端。
专利摘要本实用新型涉及一种大量实时数据存储装置，包括数据查询服务器、数据存储服务器、数据分发服务器、数据网关、终端，所述的数据查询服务器分别与数据存储服务器、数据分发服务器连接，所述的数据存储服务器与数据分发服务器连接，所述的数据分发服务器与数据网关连接，所述的数据网关与终端连接。与现有技术相比，本实用新型具有可以配置多台数据存储服务器，也就是可以支持更多的终端数等优点。
文档编号H04L29/08GK201893812SQ201020648348
公开日2011年7月6日 申请日期2010年12月8日 优先权日2010年12月8日
发明者吴晓宇, 姚薇 申请人:上海遥薇(集团)有限公司