一种电力数据可视化系统的制作方法

文档序号:12364461阅读:来源:国知局

技术特征:

1.一种电力数据可视化系统,用于展示居民用电的详细数据和相应的变化趋势,其特征在于,所述系统包括:

数据采集模块,用于通过爬虫的手段采集电力数据;

挖掘模块,用于对数据采集模块采集的电力数据进行挖掘;

数据可视化模块,用于将挖掘后的电力数据进行图示化,展示具体的电力数据以及电力数据的变化趋势;

数据库,用于存储数据采集模块采集的电力数据和挖掘模块挖掘后的电力数据。

2.根据权利要求1所述的电力数据可视化系统,其特征在于,所述数据采集模块包括:

Scrapy爬虫单元,用于对电力数据通过爬虫的手段进行爬取采集,并将采集的电力数据传输至数据库;

消息传输队列,用于传输Scrapy爬虫单元产生的爬取记录,将爬取记录传输至数据库,并对Scrapy爬虫单元内部进行任务分配和负载平衡。

3.根据权利要求2所述的电力数据可视化系统,其特征在于,所述Scrapy爬虫单元包括Scrapy爬虫框架,所述Scrapy爬虫框架的数量不少于2个。

4.根据权利要求3所述的电力数据可视化系统,其特征在于,所述Scrapy爬虫框架包括:

Scrapy引擎,用于作为Scrapy爬虫框架的核心控制整个Scrapy爬虫框架的数据处理流程;

调度机,用于发出抓取网页的请求并将请求传输至Scrapy引擎;

下载器,用于接受由Scrapy引擎传来的抓取网页的请求,并根据请求从网络上抓取网页;

蜘蛛,用于对抓取的网页进行解析,采集电力数据并将电力数据传输至Scrapy引擎,或根据解析结果产生新的抓取网页的请求并将请求反馈至Scrapy引擎;

项目管道组件,用于从Scrapy引擎处获取并保存蜘蛛采集的电力数据。

5.根据权利要求2所述的电力数据可视化系统,其特征在于,所述消息传输队列由Kafka或Zookeeper实现。

6.根据权利要求1所述的电力数据可视化系统,其特征在于,所述挖掘模块包括:

第一API接口,用于从数据库中调用数据采集模块采集的电力数据;

数据预处理单元,用于对第一API接口调用的电力数据进行预处理;

聚类和分类单元,用于对预处理后的电力数据进行聚类和分类,并将聚类和分类后的电力数据存储至数据库中。

7.根据权利要求6所述的电力数据可视化系统,其特征在于,所述预处理包括分词、特征表示和特征提取。

8.根据权利要求1所述的电力数据可视化系统,其特征在于,所述数据可视化模块包括:

第二API接口,用于从数据库中调用挖掘模块挖掘后的电力数据;

可视化单元,用于将第二API接口调用的数据以图表的形式进行展示。

9.根据权利要求8所述的电力数据可视化系统,其特征在于,所述可视化单元通过Echarts、Google Charts、Leaflet、Dygraphs或FushionCarts实现。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1