专利名称：实现可再生能源监测系统数据采集服务的方法和装置的制作方法
技术领域：
本发明涉及一种数据采集方法，尤其涉及一种实现可再生能源监测系统数据采集服务的方法。
背景技术：
通常情况下，基于TCP协议进行数据通信的服务端可以采用以下两种方案对服务端软件进行设计。方案一使用多线程技术，对于每一个客户端连接(即连接套接字)都开启一个线程进行处理，从而保证服务端的时效性。分析虽然使用多线程处理使服务端的时效性得到了提高，但是一旦存在大量的客户端连接(工程实际中是有可能的)，服务端将要开启大量的线程进行处理，势必将对服务器性能有很高的要求；一旦客户端连接意外断开， 已经开启的线程资源如果得不到及时的回收，将造成系统资源的极大浪费和性能的降低。 方案二 建立一个连接套接字队列，采用轮询的方法对队列中的每一个客户端连接进行数据读取操作。分析虽然此方案避免了大量线程资源的开支，但是降低了服务端的时效性。 因为无法确定每一个客户端连接是否发送数据，因此必须对每一个客户端进行一次读取操作，无法及时对发送数据的客户端进行响应处理，降低了服务端的系统效率。在工程实际中，使用TCP链接发送数据的时候，待发送的数据包如果过长，则会被自动分段发送。如果过短，则会被自动复合成较长的数据包再发送。特别是在数据量比较大且连续发送的时候更为明显。因此容易造成对数据包处理错误的问题，即当数据包被分段时，处理数据不完整；数据包被复合时错误的当做一个数据包来处理。
发明内容
本发明所要解决的技术问题是一方面通过网络与采集器终端连接获取监测数据； 另一方面将获取的监测数据进行数据解析、保存等处理，为数据展示系统提供数据基础。本发明还解决了基于TCP协议客户端连接长时间在线的高效管理问题；同时还解决了大数据包在网络传输中自动分段传输造成的数据不完整而出现处理错误的问题。本发明的应用环境适用于Windows Server 2003以上操作系统，部署Microsoft .NET Framework 3. 5框架和SQL Server 2005以上版本的操作系统平台。本系统可应用于可再生能源建筑应用示范项目数据监测系统中，作为动态监测子系统使用。主要完成与数据采集器的数据通信功能，将数据采集器上报的数据进行AES解密、解析处理、写入数据库等操作，为数据展示子系统提供数据支持，是实现数据监测的重要环节。本系统使用了多线程处理技术，可完成大量采集客户端同时连接并完成数据通信服务。本系统是基于TCP协议的网络通信服务端，将长时间保持与作为客户端的数据采集器进行数据通信，与客户端进行通信时，必须建立一个连接套接字(socket)，有多少个客户端就有多少个连接套接字，因此作为服务端如何对多个连接套接字进行管理将直接影响到服务端性能和效率。
本发明为解决技术问题所采用的技术措施是一种实现可再生能源监测系统数据采集服务的方法，它包括如下步骤系统配置管理步骤，完成本系统基本配置项信息，包括数据库连接、TCP监听端口、本地 IP地址信息的设置、修改等功能；公共数据缓存步骤，是本系统开辟的数据缓存单元，其中包括了系统常量和数据缓存两个子步骤。公共数据缓存步骤中存储的数据作为本系统的全局系统变量来使用，为本系统通信管理步骤、数据安全处理功能模块提供数据，减少本系统与外部文件的读写操作，提高系统效率；所述公共数据缓存步骤包括系统常量和数据缓存两个子步骤，系统常量是本系统各个功能模块使用到的、数值变更频率较低的系统变量，在系统启动后进行初始化时从系统配置文件或者本地数据库中获得赋值；数据缓存是本系统各个功能模块使用到的、 数值变更频率较高、数据量较大的系统变量，在系统启动后进行数据传输通信过程中产生的大量的交换数据。
日志处理步骤，日志处理步骤将系统运行过程中产生的错误信息、必要的提示信息等通过UI界面显示，并且记录到系统的日志文件中，便于对系统运行情况进行监测，对于出现系统故障时，提供相关信息便于对系统故障原因的定位及处理。
通信管理步骤，主要完成本系统与数据采集器之间通信处理过程，包括对客户端连接的管理、接收到的数据解析、向数据采集器进行通信应答等功能。通信管理步骤包括连接调度管理子步骤，建立本系统对客户端连接的监听等待连接的接入、接收客户端连接发来的数据、对客户端连接进行状态管理、对客户端连接是否已经断开进行侦测等。对于每一个TCP客户端连接，计算机操作系统都为其产生一个唯一的标识，用以对客户端连接的识别和操作等，并且开放了这个唯一标识的接口。本系统通过这个接口获得客户端连接的标识，从而使系统能够对客户端连接进行识别和管理。
通信协议管理子步骤，主要用于完成向数据采集器进行应答时，按照通信协议形成规范的xml格式文本，即符合通信协议的xml格式文本生成器。
数据解析步骤，按照xml格式规范，从xml格式文本中读取相应属性或者标记的数据信息用于存储。
线程池任务子步骤，为提高系统响应速度和性能，通过线程池的方式进行数据解析处理，数据处理任务的调度和执行交给操作系统来完成。
数据存储步骤，将解析处理好的数据进行数据库的写入操作，使数据保存到数据库中，待数据展示子系统调用。
数据安全处理步骤，完成必要的数据加解密操作，使数据在传输过程中达到数据安全的目的。它包括MD5校验和AES加解密。MD5校验按照通信协议中制定的规则计算相应数据的MD5码，并完成MD5码对比校验功能。主要实现对接收到的数据进行AES解密以及对应答数据进行AES加密功能。
UI交互步骤。UI交互步骤是本系统提供给系统管理员，便于完成必要的系统配置功能的操作界面单元模块。具有系统菜单、数据显示、系统消息显示等子模块。系统菜单， 本系统的UI给出明确地正文定义(即her Interface用户界面的简称)界面按照系统菜单方式对相应的功能进行组织管理，符合大部分用户对Windows的操作习惯。采集器配置向系统管理员提供的对数据采集器进行相关配置设置的操作界面。客户端状态显示，本系统可视界面上的一部分，通过数据列表的方式，将客户端连接的信息显示在系统界面上，使系统管理员能够直观的了解当前客户端连接的状态、数量等信息。系统消息显示，日志处理单元中捕获的信息以系统消息的方式进行显示，使管理员能够直观获得当前系统运行过程中产生的信息数据。实时数据显示，在系统的界面中，直接将当前解析处理得到的数据显示在界面上，是本系统内部数据解析处理的直观体现。数据包分段传输处理基本思路利用数据缓存的办法将每次接收到的数据按接收的顺序保存在系统缓存中，按照通信协议在缓存数据中读取出完整的数据包，并将已经读取的数据从缓存中清理掉，减少系统资源的开支。具体工作流程如图6所示。系统接收到数据后，通信管理步骤中的连接调度管理子步骤读取公共数据缓存中相对应的客户端连接的数据缓存对象，通过能否读取到对应的数据缓存对象来判断对应的客户端连接的数据缓存对象是否已经存在，如果数据缓存对象还未建立，则系统创建数据缓存，并将接收到的数据写入到公共数据单元的数据缓存中；如果是已经存在的数据缓存对象，则将接收到的数据追加到缓存数据的末端。此后通信协议管理子单元则按照通信协议在缓存数据中查找数据包的开始和结束标志，从而读取出完整的数据包。一种实现可再生能源监测系统数据采集服务的装置，其特征是它包括如下步骤 系统配置管理模块，完成本系统基本配置项信息，包括数据库连接、TCP监听端口、本地IP 地址信息的设置、修改等功能；公共数据缓存模块，是本系统开辟的数据缓存单元，其中包括了系统常量和数据缓存两个子模块；公共数据缓存模块中存储的数据作为本系统的全局系统变量来使用，为本系统通信管理模块、数据安全处理模块提供数据，减少本系统与外部文件的读写操作，提高系统效率；系统常量是本系统相关功能模块使用到的、数值变更频率较低的系统变量，在系统启动后进行初始化时从系统配置文件或者本地数据库中获得赋值；数据缓存是本系统相关功能模块使用到的、数值变更频率较高、数据量较大的系统变量，在系统启动后进行数据传输通信过程中产生的大量的交换数据；日志处理模块，日志处理模块将系统运行过程中产生的错误信息、必要的提示信息等通过UI界面显示，并且记录到系统的日志文件中，便于对系统运行情况进行监测，对于出现系统故障时，提供相关信息便于对系统故障原因的定位及处理；通信管理模块，主要完成本系统与数据采集器之间通信处理过程，包括对客户端连接的管理、接收到的数据解析、向数据采集器进行通信应答等功能；数据存储模块，将解析处理好的数据进行数据库的写入操作，使数据保存到数据库中，待数据展示子系统调用；数据安全处理模块，完成必要的数据加解密操作，使数据在传输过程中达到数据安全的目的；它包括MD5校验和AES加解密；MD5校验按照通信协议中制定的规则计算相应数据的MD5码，并完成MD5码对比校验功能；主要实现对接收到的数据进行AES解密以及对应答数据进行AES加密功能；UI交互模块；UI交互步骤是本系统提供给系统管理员，便于完成必要的系统配置功能的操作界面单元模块；具有系统菜单、数据显示、系统消息显示等子模块。本方案的具体特点还有，所述通信管理模块包括连接调度管理子模块，建立本系统对客户端连接的监听等待连接的接入、接收客户端连接发来的数据、对客户端连接进行状态管理、对客户端连接是否已经断开进行侦测等；对于每一个TCP客户端连接，计算机操作系统都为其产生一个唯一的标识，用以对客户端连接的识别和操作等，并且开放了这个唯一标识的接口 ；本系统通过这个接口获得客户端连接的标识，从而使系统能够对客户端连接进行识别和管理；通信协议管理子模块，主要用于完成向数据采集器进行应答时，按照通信协议形成规范的xml格式文本，即符合通信协议的xml格式文本生成器；数据解析子模块，按照xml格式规范，从xml格式文本中读取相应属性或者标记的数据信息用于存储；线程池任务子模块，为提高系统响应速度和性能，通过线程池的方式进行数据解析处理，数据处理任务的调度和执行交给操作系统来完成。
本发明的有益效果是在可再生能源监测系统中数据采集器与服务端软件之间进行通信的数据包是经过AES加密、并且增加了数据包头和数据包尾以及校验位的格式化的数据包，随着监测点的增加，数据包的大小也相应的增加；数据采集器与服务端软件的通信是设备之间的自动化过程，不依赖于人工辅助操作，并且客户端与服务器之间只要不出现导致通信中断的意外事件，两者之间的连接将长时间保持连接状态；随着监测范围的扩大， 数据采集器的数量也有可能随之增加，从而使服务器与数据采集器之间的连接数量也相应增加，此外各个数据采集器向服务器发送数据的时间相同，造成了高并发连接的出现，对服务器软件处理多点并发的能力提出了更高的要求。综合以上三个方面的工程实际中的特点，服务端软件必须能够适应大数据量、长时间无人值守、多点并发的实际情况，所以本系统采取了多线程与队列轮询相结合的解决方案。该方案并非简单的对二者进行叠加，而是通过对队列中客户端连接状态的控制，实现对系统性能和系统资源的优化，从而使系统能够长时间稳定运行。
为了对本系统进行性能和效率的验证，搭建测试环境进行实际测试，软硬件环境如下
权利要求
1.一种实现可再生能源监测系统数据采集服务的方法，其特征是它包括如下步骤 系统配置管理步骤，完成本系统基本配置项信息，包括数据库连接、TCP监听端口、本地IP地址信息的设置、修改等功能；公共数据缓存步骤，是本系统开辟的数据缓存单元，其中包括了系统常量和数据缓存两个子步骤；公共数据缓存步骤中存储的数据作为本系统的全局系统变量来使用，为本系统通信管理步骤、数据安全处理步骤提供数据，减少本系统与外部文件的读写操作，提高系统效率；系统常量是本系统相关功能模块使用到的、数值变更频率较低的系统变量，在系统启动后进行初始化时从系统配置文件或者本地数据库中获得赋值；数据缓存是本系统相关功能模块使用到的、数值变更频率较高、数据量较大的系统变量，在系统启动后进行数据传输通信过程中产生的大量的交换数据；日志处理步骤，日志处理步骤将系统运行过程中产生的错误信息、必要的提示信息等通过UI界面显示，并且记录到系统的日志文件中，便于对系统运行情况进行监测，对于出现系统故障时，提供相关信息便于对系统故障原因的定位及处理；通信管理步骤，主要完成本系统与数据采集器之间通信处理过程，包括对客户端连接的管理、接收到的数据解析、向数据采集器进行通信应答等功能；数据存储步骤，将解析处理好的数据进行数据库的写入操作，使数据保存到数据库中， 待数据展示子系统调用；数据安全处理步骤，完成必要的数据加解密操作，使数据在传输过程中达到数据安全的目的；它包括MD5校验和AES加解密；MD5校验按照通信协议中制定的规则计算相应数据的MD5码，并完成MD5码对比校验功能；主要实现对接收到的数据进行AES解密以及对应答数据进行AES加密功能；UI交互步骤；UI交互步骤是本系统提供给系统管理员，便于完成必要的系统配置功能的操作界面单元模块；具有系统菜单、数据显示、系统消息显示等子模块。
2.根据权利要求1所述的实现可再生能源监测系统数据采集服务的方法，其特征是所述通信管理步骤包括连接调度管理子步骤，建立本系统对客户端连接的监听等待连接的接入、接收客户端连接发来的数据、对客户端连接进行状态管理、对客户端连接是否已经断开进行侦测等；对于每一个TCP客户端连接，计算机操作系统都为其产生一个唯一的标识，用以对客户端连接的识别和操作等，并且开放了这个唯一标识的接口 ；本系统通过这个接口获得客户端连接的标识，从而使系统能够对客户端连接进行识别和管理；通信协议管理子步骤，主要用于完成向数据采集器进行应答时，按照通信协议形成规范的xrnl格式文本，即符合通信协议的xml格式文本生成器；数据解析子步骤，按照xml格式规范，从xml格式文本中读取相应属性或者标记的数据信息用于存储；线程池任务子步骤，为提高系统响应速度和性能，通过线程池的方式进行数据解析处理，数据处理任务的调度和执行交给操作系统来完成。
3.一种实现可再生能源监测系统数据采集服务的装置，其特征是它包括如下步骤 系统配置管理模块，完成本系统基本配置项信息，包括数据库连接、TCP监听端口、本地IP地址信息的设置、修改等功能；公共数据缓存模块，是本系统开辟的数据缓存单元，其中包括了系统常量和数据缓存两个子模块；公共数据缓存模块中存储的数据作为本系统的全局系统变量来使用，为本系统通信管理模块、数据安全处理模块提供数据，减少本系统与外部文件的读写操作，提高系统效率；系统常量是本系统相关功能模块使用到的、数值变更频率较低的系统变量，在系统启动后进行初始化时从系统配置文件或者本地数据库中获得赋值；数据缓存是本系统相关功能模块使用到的、数值变更频率较高、数据量较大的系统变量，在系统启动后进行数据传输通信过程中产生的大量的交换数据；日志处理模块，日志处理模块将系统运行过程中产生的错误信息、必要的提示信息等通过UI界面显示，并且记录到系统的日志文件中，便于对系统运行情况进行监测，对于出现系统故障时，提供相关信息便于对系统故障原因的定位及处理；通信管理模块，主要完成本系统与数据采集器之间通信处理过程，包括对客户端连接的管理、接收到的数据解析、向数据采集器进行通信应答等功能；数据存储模块，将解析处理好的数据进行数据库的写入操作，使数据保存到数据库中， 待数据展示子系统调用；数据安全处理模块，完成必要的数据加解密操作，使数据在传输过程中达到数据安全的目的；它包括MD5校验和AES加解密；MD5校验按照通信协议中制定的规则计算相应数据的MD5码，并完成MD5码对比校验功能；主要实现对接收到的数据进行AES解密以及对应答数据进行AES加密功能；UI交互模块；UI交互步骤是本系统提供给系统管理员，便于完成必要的系统配置功能的操作界面单元模块；具有系统菜单、数据显示、系统消息显示等子模块。
4.根据权利要求3所述的实现可再生能源监测系统数据采集服务的装置，其特征是所述通信管理模块包括连接调度管理子模块，建立本系统对客户端连接的监听等待连接的接入、接收客户端连接发来的数据、对客户端连接进行状态管理、对客户端连接是否已经断开进行侦测等；对于每一个TCP客户端连接，计算机操作系统都为其产生一个唯一的标识，用以对客户端连接的识别和操作等，并且开放了这个唯一标识的接口 ；本系统通过这个接口获得客户端连接的标识，从而使系统能够对客户端连接进行识别和管理；通信协议管理子模块，主要用于完成向数据采集器进行应答时，按照通信协议形成规范的xml格式文本，即符合通信协议的xml格式文本生成器；数据解析子模块，按照xml格式规范，从xml格式文本中读取相应属性或者标记的数据信息用于存储；线程池任务子模块，为提高系统响应速度和性能，通过线程池的方式进行数据解析处理，数据处理任务的调度和执行交给操作系统来完成。
全文摘要
一种实现可再生能源监测系统数据采集服务的方法和装置，其特征是它包括如下步骤系统配置管理步骤；公共数据缓存步骤；日志处理步骤；通信管理步骤，主要完成本系统与数据采集器之间通信处理过程，包括对客户端连接的管理、接收到的数据解析、向数据采集器进行通信应答等功能；数据存储步骤；数据安全处理步骤；UI交互步骤。实现对系统性能和系统资源的优化，从而使系统能够长时间稳定运行。
文档编号H04L29/08GK102497427SQ201110414050
公开日2012年6月13日 申请日期2011年12月13日 优先权日2011年12月13日
发明者李裕, 李迪, 李震, 林茂多, 王薇薇, 蒋义新, 韩随旗 申请人:山东省建筑科学研究院