一种工业物联网分布式数据访问方法及数据库系统的制作方法
【专利摘要】本发明公开了一种工业物联网分布式数据访问方法及数据库系统，为一个区域的量测数据源分配一个子数据库，各子库保存本区域数据内容；主数据库保存每个子库的IP地址及数据源范围；在主数据库从应用服务收到数据订阅请求时，将请求中的数据源范围，与各子库的数据源范围进行匹配，找到所匹配的一个或多个子库IP地址，向其发送数据订阅请求；在收到子库上报的数据后，返回给对应的应用服务。从而可以将一个工业物联网系统中庞大的数据量进行合理地拆分存储，且主数据库能够快速地找到各数据的实际存储位置，并进行调用，在满足工业物联网应用需求的同时，可以降低主数据库的负重，提高数据查找速度。且可以无限量地扩容数据库，升级平滑。
【专利说明】
一种工业物联网分布式数据访问方法及数据库系统
技术领域
[0001]本发明涉及一种工业物联网分布式数据访问技术。
【背景技术】
[0002]工业环境监控物联网，一般分布广泛，可能分布在全国甚至全球的不同区域，具有多个子站点。每个子站点一般包含:底层传感节点，进行数据采集的二级工控设备，对数据进行实时监控、汇总和分析的子站监控中心；不同子站的监控中心通过网络(包括公共网络、专用网络等)最终接入总控制中心，将所采集的数据上传到总控制中心的实时数据库，各种应用在需要使用数据时，向主站的实时数据库进行数据请求，实时数据库根据该应用所请求的数据的来源，在数据库中进行检索，将所检索到的数据反馈到对应的应用，构成无缝连接的一体化网络，从而能够通过总控制中心进行工业遥控遥测、工业现场环境监测、分析，可自动化无线数据采集、自动仪表读取，可监控的信息量丰富，且24小时不间断采集、监控、分析。
[0003]然而，通过该方式，实时数据库需要保存所有数据，数据量庞大，数据查询速度相对较慢，尤其对于后期系统扩容，增加更多子站、增加更多接入点(数据量测源)的情况下，这个问题就尤为凸显。
【发明内容】
[0004]本发明主要解决的技术问题是提供一种工业物联网分布式数据访问方法及数据库系统，使得工业物联网中数据量庞大情况下能够迅速查找，且可以无限量扩容数据库，实现平滑升级。
[0005]为了解决上述技术问题，本发明提供了一种工业物联网分布式数据访问方法，包含以下步骤:
[0006]A为一个区域的量测数据源分配一个子数据库，各子数据库保存属于本区域的数据源的数据内容；
[0007]B主数据库保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围；
[0008]C在主数据库从应用服务收到数据订阅请求时，将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配或部分匹配的一个或多个子数据库的IP地址，向匹配或部分匹配的一个或多个子数据库发送数据订阅请求；
[0009]D主数据库在收到子数据库上报的数据后，对数据进行整合并返回给对应的应用服务。
[0010]作为进一步改进，步骤C中，如果主数据库收到的数据订阅请求中的数据源范围涉及多个子数据库的数据源范围，则匹配得到多个子数据库，根据所匹配的各子数据库的数据源范围，对数据订阅请求中的数据源范围进行相应拆分，分别向多个子数据库发送数据订阅请求，在请求中包含拆分后的与该子数据库相匹配的子数据源范围。
[0011]作为进一步改进，该方法还可以包含以下步骤:
[0012]子数据库在新增数据时，在预先约定的广播通道广播本子数据库的IP地址和/或数据源范围；
[0013]主数据库通过广播通道接收子数据库的IP地址和/或数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。
[0014]作为进一步改进，主数据库通过广播通道接收子数据库的IP地址和/或数据源范围的步骤之后，还包含以下步骤:
[0015]通过所收到的IP地址与子数据库建立通信连接；
[0016]步骤C中，主数据库找到所匹配或部分匹配的一个或多个子数据库的IP地址后，直接通过主数据库与该IP地址之间已建立的通信连接，向对应的子数据库发送数据订阅请求。
[0017]作为进一步改进，步骤C中，主数据库找到所匹配或部分匹配的一个或多个子数据库的IP地址后，通过所找到的IP地址与对应子数据库建立通信连接，通过所建立的通信连接向匹配或部分匹配的一个或多个子数据库发送数据订阅请求。
[0018]作为进一步改进，主数据库可以预先保存各子数据库所对应的IP地址和数据源范围；
[0019]子数据库在其IP地址发生改变和/或其所对应的数据源范围发生改变时，通过广播通道广播本子数据库的IP地址和/或所对应的数据源范围。
[0020]作为进一步改进，该方法还包含以下步骤:
[0021]在新增子数据库时，新增的子数据库通过自动注册通道，将配置信息发送到主数据库，进行注册。
[0022]作为进一步改进，主数据库在收到子数据库上报的数据后，对所收到的数据进行缓存;
[0023]主数据库在收到数据订阅请求时，优先将该数据订阅请求中的数据源范围，与所缓存的数据的数据源范围进行匹配，如果两者相匹配，则直接读取所缓存的数据，向应用服务返回其所请求的数据。
[0024]作为进一步改进，本发明中的数据源范围可以包含:
[0025]数据源的ID范围和/或名称范围，数据源ID或数据源名称唯一对应数据源。
[0026]本实施方式还提供一种工业物联网分布式数据库系统，为一个区域的量测数据源分配一个子数据库，并设置一主数据库，各子数据库通过网络与主数据库连接；
[0027]各子数据库用于保存本区域的数据源的数据信息，在收到主数据库的数据订阅请求后，向主数据库上传其所请求的数据；
[0028]主数据库用于保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围；在主数据库从应用服务收到数据订阅请求时，将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配或部分匹配的一个或多个子数据库的IP地址，向匹配或部分匹配的一个或多个子数据库发送数据订阅请求；在收到子数据库上传的数据后，对数据进行整合并返回给应用服务。
[0029]作为进一步改进，子数据库还用于在新增数据时，在预先约定的广播通道广播本子数据库的IP地址和/或数据源范围；
[0030]主数据库还用于通过广播通道接收子数据库的IP地址和/或数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。
[0031]本发明实施方式与现有技术相比，主要区别及其效果在于:为一个区域的量测数据源分配一个子数据库，各子数据库保存属于本区域的数据源的数据内容；主数据库保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围；在主数据库从应用服务收到数据订阅请求时，将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配或部分匹配的一个或多个子数据库的IP地址，向匹配或部分匹配的一个或多个子数据库发送数据订阅请求；主数据库在收到子数据库上报的数据后，对数据进行整合并返回给对应的应用服务。通过该方式，可以将一个工业物联网系统中庞大的数据量进行合理地拆分存储，且主数据库能够快速地找到各数据的实际存储位置，并进行调用，在满足工业物联网应用需求的同时，可以降低主数据库的负重，提高数据查找速度。且可以无限量地扩容数据库，升级平滑。
[0032]子数据库在预先约定的广播通道广播本子数据库的IP地址和/或数据源范围；主数据库通过广播通道接收子数据库的IP地址和/或数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。通过该方式，子数据库可以无须具备固定的IP地址，即其IP地址是可变更的，即便子数据库IP地址发生变化，也不会影响主数据库对其数据的调用，从而便于子数据库的更新、维护以及扩容。
【附图说明】
[0033]图1是本发明第一实施方式的工业物联网分布式数据访问方法流程图。
【具体实施方式】
[0034]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0035]本发明第一实施方式涉及一种工业物联网分布式数据访问方法，为分布于不同区域的子站分别分配一子数据库，每个子站的远程通信装置连接本子站底层量测点，包含传感设备和工控设备等，从所连接的传感设备和工控设备接收本子站的工业数据，并保存到子数据库中。每个子数据库中保存本子站辖下量测点的数据。各子数据库通过有线或无线网络与主数据库相连。主数据库预先保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围。数据源范围可以是数据源的ID范围、名称范围等，数据源ID或数据源名称唯一对应数据源。
[0036]具体的数据访问流程如图1所示。
[0037]步骤101中，子数据库在库中新增量测点数据后，通过预先约定的广播通道广播本子数据库的IP地址和数据源范围。为了简化数据源范围传输和比较的过程，子数据库也可以仅在其数据源范围发生改变时，通过广播通道广播本子数据库所对应的数据源范围。
[0038]步骤102中，主数据库通过广播通道接收子数据库的IP地址和数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。
[0039]步骤103中，主数据库从应用服务收到数据订阅请求。
[0040]步骤104中，主数据库将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配的子数据库的IP地址。
[0041]如果主数据库收到的数据订阅请求中的数据源范围涉及多个子数据库的数据源范围，则匹配得到多个子数据库，根据所匹配的各子数据库的数据源范围，对数据订阅请求中的数据源范围进行相应拆分。
[0042]步骤105中，主数据库通过所找到的IP地址与对应子数据库建立通信连接。如果匹配得到多个子数据库，则分别与多个对应的子数据库建立通信连接。
[0043]步骤106中，主数据库通过所建立的通信连接向匹配得到的一个或多个子数据库发送数据订阅请求，在请求中包含所请求的数据源范围。
[0044]对于匹配得到多个子数据库的情况，则分别向多个子数据库发送数据订阅请求，在请求中包含拆分后的与该子数据库相匹配的子数据源范围。
[0045]步骤107中，子数据库收到来自主数据库的数据订阅请求后，根据请求中的数据源范围，向主数据库上报相应的数据源数据。
[0046]步骤108中，主数据库在收到子数据库上报的数据后，对所收到的数据进行缓存，并且对数据进行整合，返回给对应的应用服务。
[0047]主数据库在之后收到数据订阅请求时，优先将该数据订阅请求中的数据源范围，与当前所缓存的数据的数据源范围进行匹配，如果两者相匹配，则直接读取所缓存的数据，向应用服务返回其所请求的数据，如果无匹配数据，则进入步骤104。
[0048]通过本实施方式，可以将一个工业物联网系统中庞大的数据量进行合理地拆分存储，且主数据库能够快速地找到各数据的实际存储位置，并进行调用，在满足工业物联网应用需求的同时，可以降低主数据库的负重，提高数据查找速度。且可以无限量地扩容数据库，升级平滑。
[0049]并且，主数据库可以根据自身的需求以及系统繁忙程度，控制各子数据库的上报时间、上报内容和优先顺序，无须将所有数据上报并存储在主数据库后进行统一管控，只需要根据主数据库需求，按需上报数据。在满足主站管控需求的同时，节约主数据库的存储空间，提尚管控效率。
[0050]通过子数据库自动广播IP地址的方式，可以及时将最新的数据信息上报主数据库，并且，子数据库可以无须具备固定的IP地址，即其IP地址是可变更的，即便子数据库IP地址发生变化，也不会影响主数据库对其数据的调用，从而便于子数据库的更新、维护以及扩容。
[0051]在新增子数据库时，新增的子数据库通过自动注册通道，将配置信息发送到主数据库，进行注册。配置信息一般包括新增的子数据库的IP地址，端口信息，所对应的数据源范围等信息。从而无须通过人工对主数据库进行升级，实现自动、平滑的扩容。
[0052]本发明第二实施方式同样涉及一种工业物联网分布式数据访问方法，与第一实施方式大致相同，其区别在于，第一实施方式中，主数据库在收到数据订阅请求后，与请求中数据源范围所匹配的子数据库建立通信连接。而本实施方式中，主数据库通过广播通道接收子数据库的IP地址和数据源范围之后，即通过所收到的IP地址与子数据库建立通信连接。在主数据库找到所匹配的一个或多个子数据库的IP地址后，直接通过主数据库与该IP地址之间已建立的通信连接，向对应的子数据库发送数据订阅请求。从而可以加快主数据库对于数据的调用时间。
[0053]本发明第三实施方式同样涉及一种工业物联网分布式数据访问方法，与第一实施方式大致相同，其区别在于，本实施方式中，主数据库可以包含多台主机，每台主机可以包含多个网口，进行负载均衡。在主数据库将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配的子数据库的IP地址后，主数据库根据预设的负载均衡机制，选择主数据库中负载小的主机，由该负载小的主机根据匹配得到的子数据库IP与对应的子数据库建立的通信连接。
[0054]具体的负载均衡机制可以如下:
[0055]预先为主机的不同CPU负荷、不同内存占用率和不同网口流量分别设定分值；并为网口流量分配高权重，为内存占用率和CPU负荷分配低权重；
[0056]监测所述主数据库各主机的CPU负荷、内存占用率、和网口流量，并转换为对应的分值，将转换得到的同一主机的CPU负荷分值、内存占用率分值、和网口流量分值乘以相应的权重后，进行求和，得到该主机的综合评估指标，根据各主机的综合评估指标，选择综合评估指标最佳的主机，作为负载小的主机。
[0057]对于一个数据订阅请求对应多个子数据库的情况，可以根据负载均衡的评估结果，选择多个主机，分别与相应的子数据库建立通信连接，也可以由同一个主机分别与相应的子数据库建立通信连接。
[0058]本发明第四实施方式涉及一种工业物联网分布式数据库系统，为一个区域的量测数据源分配一个子数据库，并设置一主数据库，各子数据库通过有线或无线网络与主数据库相连。
[0059]各子数据库用于保存本区域的数据源的数据信息，在收到主数据库的数据订阅请求后，向主数据库上传其所请求的数据；
[0060]主数据库用于保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围；在主数据库从应用服务收到数据订阅请求时，将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配或部分匹配的一个或多个子数据库的IP地址，向匹配或部分匹配的一个或多个子数据库发送数据订阅请求；在收到子数据库上传的数据后，对数据进行整合并返回给应用服务。如果主数据库收到的数据订阅请求中的数据源范围涉及多个子数据库的数据源范围，则匹配得到多个子数据库，根据所匹配的各子数据库的数据源范围，对数据订阅请求中的数据源范围进行相应拆分，分别向多个子数据库发送数据订阅请求，在请求中包含拆分后的与该子数据库相匹配的子数据源范围。
[0061]子数据库中还包括广播模块，用于在预先约定的广播通道广播本子数据库的IP地址和/或数据源范围。
[0062]主数据库中还包括广播接收模块，用于通过广播通道接收子数据库的IP地址和/或数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。
[0063]通过本实施方式，可以将一个工业物联网系统中庞大的数据量进行合理地拆分存储，且主数据库能够快速地找到各数据的实际存储位置，并进行调用，在满足工业物联网应用需求的同时，可以降低主数据库的负重，提高数据查找速度。且可以无限量地扩容数据库，升级平滑。
[0064]并且，主数据库可以根据自身的需求以及系统繁忙程度，控制各子数据库的上报时间、上报内容和优先顺序，无须将所有数据上报并存储在主数据库后进行统一管控，只需要根据主数据库需求，按需上报数据。在满足主站管控需求的同时，节约主数据库的存储空间，提尚管控效率O
[0065]通过子数据库自动广播IP地址的方式，可以及时将最新的数据信息上报主数据库，并且，子数据库可以无须具备固定的IP地址，即其IP地址是可变更的，即便子数据库IP地址发生变化，也不会影响主数据库对其数据的调用，从而便于子数据库的更新、维护以及扩容。
[0066]虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
【主权项】
1.一种工业物联网分布式数据访问方法，其特征在于，包含以下步骤: A为一个区域的量测数据源分配一个子数据库，各所述子数据库保存属于本区域的数据源的数据内容； B主数据库保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围； C在主数据库从应用服务收到数据订阅请求时，将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配或部分匹配的一个或多个子数据库的IP地址，向所述匹配或部分匹配的一个或多个子数据库发送数据订阅请求；如果所述主数据库收到的数据订阅请求中的数据源范围涉及多个子数据库的数据源范围，则匹配得到多个子数据库，根据所匹配的各子数据库的数据源范围，对所述数据订阅请求中的数据源范围进行相应拆分，分别向所述多个子数据库发送数据订阅请求，在请求中包含拆分后的与该子数据库相匹配的子数据源范围； D主数据库在收到子数据库上报的数据后，对数据进行整合并返回给所述应用服务。2.根据权利要求1所述的工业物联网分布式数据访问方法，其特征在于，还包含以下步骤: 子数据库在新增数据时，在预先约定的广播通道广播本子数据库的IP地址和/或数据源范围； 所述主数据库通过所述广播通道接收所述子数据库的IP地址和/或数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。3.根据权利要求2所述的工业物联网分布式数据访问方法，其特征在于，所述主数据库通过广播通道接收所述子数据库的IP地址和/或数据源范围的步骤之后，还包含以下步骤: 通过所收到的IP地址与所述子数据库建立通信连接； 所述步骤C中，主数据库找到所匹配或部分匹配的一个或多个子数据库的IP地址后，直接通过主数据库与该IP地址之间已建立的通信连接，向对应的子数据库发送数据订阅请求。4.根据权利要求2所述的工业物联网分布式数据访问方法，其特征在于，所述步骤C中，主数据库找到所匹配或部分匹配的一个或多个子数据库的IP地址后，通过所找到的IP地址与对应子数据库建立通信连接，通过所建立的通信连接向所述匹配或部分匹配的一个或多个子数据库发送数据订阅请求。5.根据权利要求2所述的工业物联网分布式数据访问方法，其特征在于，主数据库预先保存各子数据库所对应的IP地址和数据源范围； 所述子数据库在其IP地址发生改变和/或其所对应的数据源范围发生改变时，通过所述广播通道广播本子数据库的IP地址和/或所对应的数据源范围。6.根据权利要求2所述的工业物联网分布式数据访问方法，其特征在于，还包含以下步骤: 在新增子数据库时，新增的子数据库通过自动注册通道，将配置信息发送到主数据库，进行注册。7.根据权利要求2所述的工业物联网分布式数据访问方法，其特征在于，所述步骤D中，主数据库在收到子数据库上报的数据后，对所收到的数据进行缓存； 所述主数据库在收到数据订阅请求时，优先将该数据订阅请求中的数据源范围，与所缓存的数据的数据源范围进行匹配，如果两者相匹配，则直接获取所缓存的数据，向所述应用服务返回其所请求的数据。8.—种工业物联网分布式数据库系统，其特征在于:为一个区域的量测数据源分配一个子数据库，并设置一主数据库，各所述子数据库通过网络与所述主数据库连接； 各所述子数据库用于保存本区域的数据源的数据信息，在收到主数据库的数据订阅请求后，向所述主数据库上传其所请求的数据； 所述主数据库用于保存每个子数据库的IP地址，以及该子数据库所对应的数据源范围；在主数据库从应用服务收到数据订阅请求时，将该数据订阅请求中的数据源范围，与各子数据库的数据源范围进行匹配，找到所匹配或部分匹配的一个或多个子数据库的IP地址，向所述匹配或部分匹配的一个或多个子数据库发送数据订阅请求；在收到子数据库上传的数据后，对数据进行整合并返回给所述应用服务；如果所述主数据库收到的数据订阅请求中的数据源范围涉及多个子数据库的数据源范围，则匹配得到多个子数据库，根据所匹配的各子数据库的数据源范围，对所述数据订阅请求中的数据源范围进行相应拆分，分别向所述多个子数据库发送数据订阅请求，在请求中包含拆分后的与该子数据库相匹配的子数据源范围。9.根据权利要求8所述的工业物联网分布式数据库系统，其特征在于，所述子数据库还用于在新增数据时，预先约定的广播通道广播本子数据库的IP地址和/或数据源范围； 所述主数据库还用于通过所述广播通道接收所述子数据库的IP地址和/或数据源范围，并对本地存储的该子数据库的IP地址及其所对应的数据源范围进行更新。
【文档编号】G06F17/30GK105868199SQ201510029010
【公开日】2016年8月17日
【申请日】2015年1月21日
【发明人】梁俊, 林苑
【申请人】上海东浦数据服务有限公司