自动气象站的数据统一收集系统及其方法与流程

本发明涉及气象数据监测管理领域，尤其涉及一种自动气象站的数据统一收集系统及其方法。

背景技术：

区域自动气象站主要应用于天气系统的监测、预警、防灾减灾及其他专业气象服务中。气象管理工作人员通过气象采集软件对区域自动气象站进行监测管理，实现对辖区内所有自动气象站的数据进行收集、质量控制、文件生成以及数据共享等工作。

全国至今有区域自动气象站70000多个。各个区域引进的自动气象站涉及到多个厂家生产的设备，例如：中国华云技术开发公司的caws系列、长春气象仪器厂的dyyz系列、无锡无线电研究所的zqz-cⅱ系列等多个不同型号的设备。由于生产厂家的不同，容易导致各个型号设备的数据格式、采集精度、连接端口、存储方式、气象采集软件等均不统一，每一厂家配备的气象采集软件不能与其他厂家生产的设备进行兼容，增加了气象管理工作人员的维护和使用难度，大幅度增加运维和培训成本，加大监控难度，降低了数据的使用时效性。

技术实现要素：

本发明要解决的技术问题是提供一种自动气象站的数据统一收集系统及其方法，力求能够将目前存在的各种类型的区域自动气象站设备进行统一接入，实现主流生产厂家不同型号的自动气象站的数据进行统一收集处理。

为解决上述技术问题，本发明提供如下技术方案：一种自动气象站的数据统一收集方法，包括以下步骤：步骤s1：通信模块根据自动气象站的类型及其通信方式自动确定相应的通讯端口进行数据通信协议动态适配，并根据相应通信协议将自动气象站获取的气象观测数据传输至识别模块；步骤s2：识取模块识取气象观测数据中的有效数据，并将有效数据传输至数据解析适配模块；步骤s3：数据解析适配模块将对应有效数据的有效区块的各个气象观测要素进行演化计算得到观测演算值，且根据观测演算值确认气象要素，并传输至宏匹配模块；步骤s4：宏匹配模块通过观测数据匹配宏码表将气象要素进行相应匹配，进行数据统一格式；步骤s5：数据分发模块将统一格式的气象要素进行数据分发。

相较于现有技术本发明具有如下有益效果：本发明的自动气象站的数据统一收集方法可以统一接入各种类型的区域自动气象站设备，实现不同型号的自动气象站采集的气象观测数据进行统一收集处理，并形成统一格式的数据类型分发至相应的气象业务系统。减少了气象管理工作人员的维护和使用难度，进一步减小了运维和培训成本，提高监控准确性，亦提高了数据的使用时效性。

优选的：步骤s1中，自动气象站通过gprs、cdma、3g/4g/5g/、rs232、卫星和宽带中的至少一种通信方式连接于通信模块。

优选的：通信模块根据数据通信协议自动选择对应的桥接器和通讯适配器与自动气象站进行链接。

优选的：步骤s2中，识取模块识取气象观测数据中的有效数据包括：通过反射识别机制将某个特定类型进行归类。

优选的：有效区块为将自动气象站所在区域划分为w*n的有效区块，有效区块的信息参数的首次输入为人工输入，有效区块的信息参数的再次输入为自动匹配已输入的信息参数。

优选的：演化计算得到观测演算值为智能差值算法，智能差值算法的具体公式为：

式中：dz是自动气象站所在区域设定任意格点交会处(xi，yi)的演算值；

di为权重系数；

vi是所在区域格点上已知实测启动气象站的观测值或格点演算值；

m为影响权重的步长因子，范围为6-10的实数值，初始值为8；

权重系数di各个参数说明：

p通常为0.5～3之间的实数值，初始值为2；

li是相对应的实测点到所需要差值格点中心的经纬度距离；

n是自动气象站所在区域内所有实测站点的个数；

(xi，yi)是各个自动气象站实测点的经纬度坐标；

(x，y)是自动气象站所在区域各个格点中心的经纬度坐标；

以上参数带入推算得出权重系数变异公式：

r是所需演算点的格点到最远实测离散点之间的经纬度距离；

通过智能差值算法形成通过散点演化的各个气象观测要素的格点数据。

优选的：所述演化计算得到观测演算值为双线性差值算法，所述双线性差值算法具体为：

已知q12，q22，q11，q21，观测演算值为p点，首先在x轴方向上，对r1和r2两个点进行值的演算，然后根据r1和r2对p点进行值的二次演算，双线性演算值是有两个变量的演算值函数的线性演算扩展，其核心是在两个方向分别进行一次线性值演算；

想得到未知函数f在点p＝(x，y)的值，已知函数f在q11＝(x1，y1)，q12＝(x1，y2)，q21＝(x2，y1)，q22＝(x2，y2)四个点的值，首先在x方向进行线性差值，得到：

然后在y方向进行线性差值，得到：

式中：(x1，y1)是所在格点的左下角经纬度坐标，f(q11)是左下角格点演算值；

(x1，y2)是所在格点的左上角经纬度坐标，f(q12)是左上角格点演算值；

(x2，y1)是所在格点的右下角经纬度坐标，f(q21)是右下角格点演算值；

(x2，y2)是所在格点的右上角经纬度坐标，f(q22)是右上角格点演算值；

(x，y)是所要演算点的经纬度坐标，f(p)是所需要演算点的演算值；

这样就得到所要的结果f(x，y)，

其中：双线性演算值的结果与所在位置的顺序无关，首先进行y方向的差值，然后进行x方向的差值，所得到的结果是一样的。

优选的：在步骤3中，根据观测演算值确认气象要素包括：自动气象站周边地面要素横向质控比较；自动气象站站点纵向气象要素质控比较；气象地面观测规范各要素精度范围以及观测范围；观测演算值及精度范围自动确认。

优选的：气象要素的统一格式为文件、消息、视频和数据库中的至少一种格式类型。

本发明还提供了一种采用上述的数据统一收集方法的自动气象站的数据统一收集系统，包括信号连接于自动气象站的通信模块、信号连接于通信模块的识别模块、信号连接于识别模块的数据解析适配模块，信号连接于数据解析适配模块的宏匹配模块以及信号连接于宏匹配模块的数据分发模块。

该数据统一收集系统可以节省各个设备提供商的成套系统成本，一次性开发就能满足现有的设备和新研发设备的统一数据接收，不再需要再次进行接收软件的开发工作。同时，由于统一的数据结构，使得大家均可以利用统一的数据结构进行二次应用开发，从而开发出更具备针对性的数据服务。

附图说明

图1为本发明自动气象站的数据统一收集系统的示意图；

图2为本发明自动气象站的数据统一收集方法的流程图；

图3为本发明自动气象站的数据统一收集系统的工作原理图；

图4为本发明数据解析适配模块的工作原理图；

图5为本发明各个气象观测要素的格点数据样例示意图；

图6为本发明的双线性差值演算原理示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作详细的说明，而非对本发明的保护范围限制。本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1及图3，本实施例中提供了一种自动气象站的数据统一收集系统，包括信号连接于自动气象站的通信模块、信号连接于通信模块的识别模块、信号连接于识别模块的数据解析适配模块，信号连接于数据解析适配模块的宏匹配模块以及信号连接于宏匹配模块的数据分发模块。

该数据统一收集系统可以统一接入各种类型的区域自动气象站设备，并节省各个设备提供商的成套系统成本，一次性开发就能满足现有的设备和新研发设备的统一数据接收，不再需要再次进行接收软件的开发工作。同时，由于统一的数据结构，使得大家均可以利用统一的数据结构进行二次应用开发，从而开发出更具备针对性的数据服务。

本实施例中，通信模块包括tcp通信模块、udp通信模块、p2p通信模块、ftp通信模块等各种通信方式接入的模块。识取模块用于气象观测数据的识别和提取。通信模块设有桥接器和通讯适配器。桥接器是用于在两个或多个网段或子网间提供通信路径的互联设备。通讯适配器配合桥接器用于端口的连接。不同型号的自动气象站分别通过gprs、cdma、3g/4g/5g/、rs232、卫星、宽带等通信方式无线和/或有线连接方式连接于通信模块。自动气象站的数据统一收集系统还包括数据库功能模块，实现对文件的快速存储、读取和转发等功能。

参阅图2及图3，本实施例中，上述自动气象站的数据统一收集系统的数据统一收集方法，包括以下步骤：

步骤s1：通信模块根据自动气象站的类型及其通信方式自动确定相应的通讯端口进行数据通信协议动态适配，并根据相应通信协议将自动气象站获取的气象观测数据传输至识别模块；

步骤s2：识取模块识取气象观测数据中的有效数据，并将有效数据传输至数据解析适配模块；

步骤s3：数据解析适配模块将对应有效数据的有效区块的各个气象观测要素进行演化计算得到观测演算值，且根据观测演算值确认气象要素，并传输至宏匹配模块；

步骤s4：宏匹配模块通过观测数据匹配宏码表将气象要素进行相应匹配，进行数据统一格式；

步骤s5：数据分发模块将统一格式的气象要素进行数据分发。本发明的自动气象站的数据统一收集方法可以统一接入各种类型的区域自动气象站设备，实现不同型号的自动气象站采集的气象观测数据进行统一收集处理，并形成统一格式的数据类型分发至相应的气象业务系统。减少了气象管理工作人员的维护和使用难度，进一步减小了运维和培训成本，提高监控准确性，亦提高了数据的使用时效性。

本实施例中，步骤s1中，不同型号的自动气象站分别通过gprs、cdma、3g/4g/5g/、rs232、卫星和宽带中的至少一种通信方式、采用有线连接和/或无线连接的连接方式连接于通信模块。通信模块根据数据通信协议自动选择对应的桥接器和相应的通讯适配器与不同型号的自动气象站分别进行链接，实现不同型号的自动气象站的端口绑定。

本实施例中，数据通信协议采用为tcp/ip传输控制协议，可以提供双向的和可靠的服务。当然在其他实施方式中亦可以采用为udp用户数据报协议、ftp文件传输协议。

本实施例中，步骤s2中，识取模块能够从气象观测数据识取有效的气象观测数据形成有效数据。数据的识取是根据数据通信协议来识别的，如接受到的气象观测数据根据自定义数据通信协议去除包头和包尾后(以此识别是我们所需设备的气象观测数据)二进制数据的第二到第四字节为站点和数据类型，例如：0x010x03(雨量站)0x07(整点数据)，按事先定义好的数据通信协议来进行数据类型识别。采用的方式为预先定义的派生协议解析功能。其它识取模块均从预先定义的派生协议解析功能进行的派生开发方式，其它识取模块相互之间独立存在。

步骤s2中，识取模块识取气象观测数据中的有效数据包括：通过反射识别机制将某个特定类型进行归类。因为自动气象站的型号不同、通讯方式的不同，为了保持数据统一收集系统的兼容性，可采用反射机制、配置驱动系统的方式有效的完善，并达到这一目标。具体的，在程序的程序集中存在这样一些数据，它们记录了程序及其类型的相关信息，这些数据被称为元数据，换言之，元数据(编译以后的最基本数据单元)就是一大堆的表，当编译程序集或者模块时，编译器会创建一个定义表，一个字段义表和一个方法定义等。当程序运行时，可以查看其他程序集或其本身的元数据，一个运行的程序查看本身或者其他程序的元数据的行为即为反射。

本实施例步骤s3中，有效区块为将不同类型及其通信方式的自动气象站所在区域划分为w*n的有效区块，有效区块的信息参数的首次输入为人工输入，有效区块的信息参数的再次输入为自动匹配已输入的信息参数。根据确认气象要素值进行反演算法，通过ai机器学习获得区块信息参数，如图4所示。反演算法推算是根据已经确认的数据要素进行反演运算，将已确认的气象要素值代入格点差值和双线性演算公式从而确认机器输入的参数范围。ai机器学习主要是针对同一气象要素的多次反演运算来最终确认这个气象要素在区域内运算所需要输入的区块参数信息。

参阅图4，本实施例中，演化计算得到观测演算值为智能差值算法，智能差值算法是基于克里金差值算法演化而来的，利用距离倒数加权平方差值算法，是根据所求点坐标与所有或指定区块范围内的离散点的距离作为权重影响数值来计算，它们直接是一个倒数的关系，离采样点越远的点，受采样点的影响越小，倒数上可以有次方来约束权重递减的强弱；由初始化输入和ai机器学习来确认多远的程度影响值就递减为0了，通过反演算法来约束；另外，根据自动气象站观测要素的分形流动特性，通常2次方到3次方的效果比较接近真实气象站观测要素特征值，智能差值算法的具体公式为：

式中：dz是自动气象站所在区域设定任意格点交会处(xi，yi)的演算值；

di为权重系数；

vi是所在区域格点上已知实测启动气象站的观测值或格点演算值；

m为影响权重的步长因子，范围为6-10的实数值，它由机器学习后最终确定，初始值为8；

权重系数di各个参数说明：

p通常为0.5～3之间的实数值，它由机器学习后最终确定，初始值为2；

li是相对应的实测点到所需要差值格点中心的经纬度距离；

n是自动气象站所在区域内所有实测站点的个数；

(xi，yi)是各个自动气象站实测点的经纬度坐标；

(x，y)是自动气象站所在区域各个格点中心的经纬度坐标；

以上参数带入推算得出权重系数变异公式：

r是所需演算点的格点到最远实测离散点之间的经纬度距离；

通过智能差值算法形成通过散点演化的各个气象观测要素的格点数据，如图5所示。

本实施例中，形成各个气象观测要素的格点数据再次进行智能差值算法演算计算每个格点内的实际自动气象观测站的各个气象要素的最近演化值；基本算法思路就是两个点a，b，要在ab中间插入一个点c(点c坐标在ab连线上)，就直接让c的值落在ab的值的连线上就可以了；如a点坐标(0，0)，值为3，b点坐标(0，2)，值为5，那要对坐标为(0，1)的点c进行演算值，就让c落在ab线上，值为4就可以了。

本实施例中，上述算法如果c不在ab的线上，那么就无法计算c点演算值，此时可通过双线性差值算法；具体为：

参阅图6，例如：已知q12，q22，q11，q21，但是要演算值的点为p点，这就要用双线性进行演算差值了，首先在x轴方向上，对r1和r2两个点进行值的演算，然后根据r1和r2对p点进行值的二次演算，双线性演算值是有两个变量的演算值函数的线性演算扩展，其核心是在两个方向分别进行一次线性值演算；

假如：想得到未知函数f在点p＝(x，y)的值，已知函数f在q11＝(x1，y1)，q12＝(x1，y2)，q21＝(x2，y1)，q22＝(x2，y2)四个点的值，首先在x方向进行线性差值，得到：

然后在y方向进行线性差值，得到：

式中：(x1，y1)是所在格点的左下角经纬度坐标，f(q11)是左下角格点演算值；

(x1，y2)是所在格点的左上角经纬度坐标，f(q12)是左上角格点演算值；

(x2，y1)是所在格点的右下角经纬度坐标，f(q21)是右下角格点演算值；

(x2，y2)是所在格点的右上角经纬度坐标，f(q22)是右上角格点演算值；

(x，y)是所要演算点的经纬度坐标，f(p)是所需要演算点的演算值；

这样就得到所要的结果f(x，y)，

其中：双线性演算值的结果与所在位置的顺序无关，首先进行y方向的差值，然后进行x方向的差值，所得到的结果是一样的。

本实施例中，步骤s4：宏匹配模块通过观测数据匹配宏码表将气象要素进行相应匹配，进行数据统一格式。

在步骤3中，根据观测演算值确认气象要素包括自动气象站周边地面要素横向质控比较；自动气象站站点纵向气象要素质控比较；气象地面观测规范各要素精度范围以及观测范围；气象要素演算值及精度范围自动确认。具体的，通过周边面数据的横向比较质控可以确定所演算的气象要素是否在合理的数据范围；气象要素的纵向比较可以控制当前要素的数据变化率范围；精度范围和气象要素观察范围可以进一步缩小当前演算要素的数据变化率；通过以上方式的质控可以得出演算值的结果是否再合理范围，从而进一步确定通过机器学习的输入参数范围。

其中，包括人工确认、修改，人工确认/修改主要是针对机器智能识别的数据格式和类型进行人工审核，审核通过即可确认本要素的机器学习参数输入。审核不通过，可以通过人工修改的数据格式和类型，让机器进一步进行演算从而确定机器学习的参数范围。

参阅图3，本实施例中，气象要素被转换成文件、消息、视频或数据库的格式类型传输至气象业务系统。图中“文件1、文件2、文件3输出线程”指的是同时生成各类气象业务要求的气象产品文件。“消息发送”是通过消息数据流的数据传输，解决各类数据业务系统直接的数据可用性时效性。“显示”是直观给业务人员展示设备本身的运行状态及数据处理结果监视。“数据库”是为了保存历史气象数据。数据之间的发送分为数据文件产品流转和二进制加密数据流发送的两种方式。

本发明还具备如下优点：

1.一次性开发就能满足现有的设备和新研发设备的统一数据接收，不再需要再次进行接收软件的开发工作。主要基于两个原因：一、是本系统是通过文件配置方式动态增加或减少各个厂家通讯模块组件的方式运行，这样就可以通过配置文件的修改来来任意增加和减少各个厂家的自动站设备型号。二、本系统一次性开发好基础通讯模块，包含了现有主流的自动气象站设备的所有通讯方式，在此基础上再次开发完成所有自动站设备的所有通讯接口，如:设备对时、数据下载、参数变更、设备状态检索等。各个厂家模块均只需要在此模块基础派生开发后，通过配置文件增加配置即可进行自动加载运行。

2.便于气象业务系统的统一维护管理。气象业务的调整可以做到一次维护全部调整。

3.具备分布式部署能力。可以通过在服务端(云端)部署统一收集平台，其它数据应用可以部署在不同的设备端(包括计算机和移动设备端)。

以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。