本发明涉及一种数据处理方法，尤其涉及一种低压电网数据的处理方法。技术背景根据电力公司总体规划，要求在现有配网GIS系统的基础上从配电变压器向低压电网延伸，在统一的地理信息平台上建立完整的“变电站—10kV线路—配变—低压线路—客户”的全电压、营配一体化的电网模型，在各级电网模型间建立统一规范的拓扑连接关系，并采取分级分析、分层显示的方式，达到全电压等级电网模型完整、数据统一、显示清晰、操作便捷的建设目标，为未来的营销业务、配网业务的深化发展奠定基础。低压电网是整个输供电网络的末端，直接和广大用电客户相连接，具备数据量巨大、并发用户多的特点。以浙江为例，全省中压电网主干线路约2.2万条，总长约21万公里，杆塔约200万个，配变约50万个，而低压电网的规模至少比中压电网多一个数量级，如此超大规模的电网数据，同时要被大量的营销业务人员和配网业务人员使用，对低压数据处理设计提出了非常高的要求。对于大数据处理公开号为CN102881162A的发明专利《大规模交通信息的数据处理及融合方法》一文中公开了一种大规模交通信息的数据处理及融合方法，属于交通信息实时处理技术，包括：根据测试车及各个传感器采集到的多源交通数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除传感器采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源交通数据实时分级信息融合。该发明通过建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性，并在融合过程中考虑交通事件、交通管制、占地施工、交通事故给数据带来的影响。该文件虽然对于大数据处理方式给了我们一个启发，但是在实际工作过程中毕竟交通领域和电力领域还是有较大的区别的，面对的事件也不同，因此很难直接采用那样的数据处理方式。《电力系统自动化》杂志2012年18期公开的《中低压配电网统一数据采集与监控系统设计和实现》一文中也介绍了中低压配电网数据采集与监控系统的现状和存在的问题。结合中低压配电网运行管理水平提升的实际需求,提出了中低压配电网统一数据采集与监控系统结构设计方案;依据确定的系统设计思想,给出了系统智能数据采集、数据通信和传输系统、实时数据处理、用户用电信息管理与监控、智能配电台区管理与监控等5个功能的实现方案。该论文提出了系统安全设计以及与已有系统的接口方案。但是该文中针对数据处理的细节并没有进行描述，本领域技术人员依然无法得知如何快速高效地应付如此数量级的数据。
技术实现要素：
本发明的目的是克服现有技术的偏见，设计一套科学的超大规模低压数据处理方法，利用现有的网络构架，更便于数据的存储和检索，并且能及时分析其中的异常数据。在整个系统运行过程中也避免数据的遗漏。本发明超大规模低压数据处理方法解决其技术问题所采用的技术方案是：超大规模低压数据处理方法,设立在服务端集中部署、客户端分散应用的电网GIS架构中，采用ArcSDE作为GIS客户端和关系数据库间的服务端数据通道，将SQLite作为本地缓存数据库，将非编辑状态的电网数据下载到本地，在后续维护过程中只下载增量数据，包括步骤1：所述整个数据库在宿主主机上存储在一个单一的文件中，在内存中创建低压电网数据的缓存，电网数据的缓存按操作人员的所属运行单位建立，形成整个低压电网的子集；步骤2：将最小单元量数据填充到各个电网数据的缓存中；步骤3：在电网数据的缓存中设置格网型空间索引，即将区域用横竖线条划分大小相等或不等的格网，记录每一个格网所包含的空间实体，并且在单个网格中采用4叉型R树索引；步骤4：对已经登录的数据进行随机验证，对异常数据提出警报。优选的，步骤1中所述的操作人员所属运行单位以县局或市局的分局为基本单位，每个基本单位划分一个单独的缓存区间。由于所有操作都在内存中完成，因此其运行效率非常高，而且管理也很方便。优选的，在数据加载和维护的时候其最小单元设定为低压台区。通过对低压数据的分线分区管理，设定其最大最小管理单元，可以将超大规模的低压数据分隔为一个个大小适宜、满足应用需要的数据单元，可以极大的提高数据查询和编辑的效率。优选的，所述步骤3中网格区域的横竖线条坐标采用实际地域物理经纬坐标。这样的设计有利于统一和实际区域的匹配。所述步骤3中设置格网型空间索引的具体方法为：1、选择坐标点；2、设置缓冲区；3、溶解空间相邻、指定属性相同的地理实体为一个实体；4、B样条曲线进行拟合。其中缓冲区是指为了标示某地理实体对其周围环境的邻近性或影响度而在其周围建立的一定宽度的带状区。建立缓冲区，在GIS中是使用非常频繁的一种空间分析，是对空间影响进行度量的一种重要方法。溶解空间相邻，通过融合能够大大减少具有相同特性的实体数，在100*100个格网格中，甚至可以减少到10位数以内的数据量。而一个网格内正方形的可视性通常是非常呆板的，格网表面上离散的点，实际是以点带面的连续变化场，通常可以采用连续曲线进行拟合处理，在此采用B样条曲线进行拟合。优选的，所述步骤4中对已经登录的数据进行随机验证的方法为：首先根据网型空间索引创建出横竖线条坐标区间，通过随机数产生器随机生成一个坐标，先判定该坐标是否在本区域区间中，如果不是则放弃该数据，继续生成下一个坐标；如果该数据处于本区域坐标区间中，则通过该数值读取其相邻8个位置的坐标值内数据，估算该值的数据，最后将估算值和实际坐标值进行校验，判断该坐标位置数据是否正常。优选的，还包括在编辑过程中对所在编辑的缓存区间进行锁定，避免他人同时进行操作。设备动态锁定技术不是在创建工程活动的时候锁定，而是在编辑过程中动态加锁，这样在避免编辑冲突的前提下，可保证最小的锁定范围，让更多的人可以并发进行工作。本发明属于对传统技术的一种改良，通过本发明所述的超大规模低压数据处理方法能有效设置最小计算单元，通过设置格网型空间索引结合R树索引的方式，极大地提高了索引的效率，减少了计算量。具体实施方式超大规模低压数据处理方法,设立在服务端集中部署、客户端分散应用的电网GIS架构中。地理信息系统（GIS，GeographicInformationSystem）是一门综合性学科，结合地理学与地图学以及遥感和计算机科学，已经广泛的应用在不同的领域，是用于输入、存储、查询、分析和显示地理数据的计算机系统，随着GIS的发展，也有称GIS为“地理信息科学”（GeographicInformationScience），近年来，也有称GIS为"地理信息服务"（GeographicInformationservice）。GIS是一种基于计算机的工具，它可以对空间信息进行分析和处理（简而言之，是对地球上存在的现象和发生的事件进行成图和分析）。GIS技术把地图这种独特的视觉化效果和地理分析功能与一般的数据库操作（例如查询和统计分析等）集成在一起。GIS与其他信息系统最大的区别是对空间信息的存储管理分析，从而使其在广泛的公众和个人企事业单位中解释事件、预测结果、规划战略等中具有实用价值。ArcSDE（SDE即SpatialDatabaseEngine，空间数据库引擎）是ArcGIS与关系数据库之间的GIS通道。它允许用户在多种数据管理系统中管理地理信息，并使所有的ArcGIS应用程序都能够使用这些数据。采用ArcSDE作为GIS客户端和关系数据库间的服务端数据通道，将SQLite作为本地缓存数据库，将非编辑状态的电网数据下载到本地，在后续维护过程中只下载增量数据，包括：步骤1：所述整个数据库在宿主主机上存储在一个单一的文件中，在内存中创建低压电网数据的缓存，电网数据的缓存按操作人员的所属运行单位建立，形成整个低压电网的子集；步骤2：将最小单元量数据填充到各个电网数据的缓存中；步骤3：在电网数据的缓存中设置格网型空间索引，即将区域用横竖线条划分大小相等或不等的格网，记录每一个格网所包含的空间实体。针对超大规模低压数据的特点，为提高空间数据的检索效率，我们在各层数据缓存中都设置了相应的空间索引。空间索引是指依据空间对象的位置和形状或空间对象之间的某种空间关系按一定的顺序排列的一种数据结构，其中包含空间对象的概要信息，如对象的标识、外接矩形及指向空间对象实体的指针。空间索引的性能的优越直接影响空间数据库和地理信息系统的整体性能。在低压数据库中，我们采用ArcGIS提供的格网型空间索引，即将区域用横竖线条划分大小相等或不等的格网，记录每一个格网所包含的空间实体。当进行空间查询时，首先计算出查询对象所在格网，然后再在该网格中快速查询所选空间实体，大大地加速了空间索引的查询速度。但网格索引是一种多对多的索引,会导致冗余，网格划分得越细，搜索的精度就越高，当然冗余也越大，耗费的磁盘空间和搜索时间也越长。因此，在低压数据库设计中，我们针对电网对象的空间特征进行划分，将空间特征近似的对象存放在一起，并依据其空间特征建立适合的格网，确保查询的效率。并且在单个网格中采用4叉型R树索引；R树是B树向多维空间发展的一种形式，它将空间对象按范围划分，每个结点都对应一个区域和一个磁盘页，其数据结构如下：（1）R树是n叉树，n称为R树的扇（fan）。（2）每个结点对应一个矩形。（3）叶子结点上包含了小于等于n的对象，其对应的矩为所有对象的外包矩形。（4）非叶结点的矩形为所有子结点矩形的外包矩形。R树是一种动态索引结构，即：它的查询可与插入或删除同时进行，而且不需要定期地对树结构进行重新组织。由于本发明的每个格网设计的单位较小，因此最多只能将n设置为4。更高的叉数也无法提高索引效率。步骤4：对已经登录的数据进行随机验证，对异常数据提出警报。其中步骤1中所述的操作人员所属运行单位以县局或市局的分局为基本单位，每个基本单位划分一个单独的缓存区间。由于所有操作都在内存中完成，因此其运行效率非常高，而且管理也很方便。在数据加载和维护的时候其最小单元设定为低压台区。通过对低压数据的分线分区管理，设定其最大最小管理单元，可以将超大规模的低压数据分隔为一个个大小适宜、满足应用需要的数据单元，可以极大的提高数据查询和编辑的效率。所述步骤3中网格区域的横竖线条坐标采用实际地域物理经纬坐标。这样的设计有利于统一和实际区域的匹配。所述步骤3中设置格网型空间索引的具体方法为：1、选择坐标点；2、设置缓冲区；3、溶解空间相邻、指定属性相同的地理实体为一个实体；4、B样条曲线进行拟合。具体操作时，设已知n个平面离散点，记为Pi（i=1,2,…,n）。以P1、P2、P3、P4绘制第1条三次B样条曲线；以P2、P3、P4、P5绘制第2条三次B样条曲线；┇┇┇以Pn-3、Pn-2、Pn-1、Pn绘制第n-3条三次B样条曲线。用上述方法绘出的各段曲线自然衔接。每条B样条曲线中设四个离散点为P0、P1、P2、P3；设中点为：线起点S位于ΔP0P1P2的中线P1M1上，距P1点处；曲线终点位于ΔP1P2P3的中线P2M2上,距P2点处；线起点切线平行于P0P2，终点切线平行于P1P3。通过这样的结构就能设置出格网型空间索引中的三次B样条曲线。所述步骤4中对已经登录的数据进行随机验证的方法为：首先根据网型空间索引创建出横竖线条坐标区间，通过随机数产生器随机生成一个坐标，先判定该坐标是否在本区域区间中，如果不是则放弃该数据，继续生成下一个坐标；如果该数据处于本区域坐标区间中，则通过该数值读取其相邻8个位置的坐标值内数据，估算该值的数据，最后将估算值和实际坐标值进行校验，判断该坐标位置数据是否正常。为了避免误操作，在编辑过程中对所在编辑的缓存区间进行锁定，避免他人同时进行操作。设备动态锁定技术不是在创建工程活动的时候锁定，而是在编辑过程中动态加锁，这样在避免编辑冲突的前提下，可保证最小的锁定范围，让更多的人可以并发进行工作。本发明现在已经涉及国内部分地区，其中涉及输电线路6000余条，配电线路20000余条，变电站2000多座。通过本发明能够高速及时处理这些设备的信息。作业人员使用后都有良好的反馈。