一种海量位置签到数据的可视化方法
【技术领域】
[0001] 本发明涉及地理信息可视化处理领域，特别涉及一种海量位置签到数据的可视化 方法。 技术背景
[0002] 数据可视化起源于1960年计算机图形学，采用计算机创建图形图表，通过可视 化，将数据的各种属性和变量呈现出来。随着数据采集设备和数据保存设备等计算机硬件 的发展，以及创建更复杂规模更大的数字模型的需求，于是乎发展了数据采集设备和数据 保存设备，需要更高级的计算机图形学技术及方法来创建这些规模庞大的数据集。随着数 据可视化平台的拓展，应用领域的增加，表现形式的不断变化，以及增加了诸如实时动态效 果、用户交互使用等功能，数据可视化像所有新兴概念一样边界在不断扩大。
[0003] 针对大规模数据可视化的关键在于精简的概括性及自然的交互性，通过对映射 (mapping)、交互（interaction)这两个基本环节的设计来实现。映射是指将抽象数据转换 为可视化表示的过程，例如通过颜色映射数值关系。通过设计准确巧妙的映射，可以将复杂 抽象的数据形象直观地概括到一张或多张形象的图中，有利于有效地理解数据；交互，是指 计算机对人所作出某种特定行为的反应。通过设计便捷有效的交互有利于人类自由地对复 杂数据进行探索。对于传统数据而言，良好的映射与交互效果都可以很好地实现。但是，对 于海量异构数据，想要实现良好的映射与交互效果，无论是对算法设计还是硬件设施都提 出了更高的要求。
[0004] 地图是一种简便、直观，也是目前非常流行的展现地理信息的可视化方式。它主要 根据地理位置的不同，将不同地区的数据展示在地图上。当前，随着移动互联网的爆炸性发 展，我们可以越来越方便地获取到更加精确的地理位置信息。在这大量地理数据的背后，还 有很多有意思的东西正等待着人们去挖掘发现。
[0005] 借助对地理信息大数据的可视化可以直观地发现人类的空间行为特征。通过对不 同城市位置签到数据的可视化可以清楚地看出人口空间分布和轨迹特征，这是传统的人口 调查统计无法做到的。可以用来研宄群体活动的地理空间分布、聚落规模、区位、空间结构 及功能区分布。但是在现有技术中还没有方法可以高效的将海量的签到数据可视化。
【发明内容】
[0006] 发明目的：本发明的目的在于针对现有技术的不足，提出了一种能够高效的、更加 直观的反应数据规律分布的海量的签到数据可视化方法。
[0007] 技术方案：本发明提供了一种海量位置签到数据的可视化方法，包括以下步骤：
[0008] 步骤1 :从数据采集终端抓取位置签到数据，将采集到的数据存储到数据库中；
[0009] 步骤2:对步骤1中采集到的位置签到数据进行管理；
[0010] 步骤3 :根据需要采集地理范围确定图幅范围；
[0011] 步骤4 :采用NodeCanvas技术绘制地理底图；NodeCanvas是一种使用NodeJS实现 的Canvas后端绘图技术。
[0012] 步骤5 :在步骤4中获得地理地图上绘制采集到的位置签到数据并输出结果图 片；
[0013] 步骤6:输出结果图片。
[0014] 进一步，所述步骤2中的数据管理包括以下步骤：
[0015] 步骤201 :数据预处理；去除数据中重复的和无效的位置数据；
[0016] 步骤202 :根据位置数据的唯一标识符建立唯一值索引；
[0017] 步骤203 :建立空间索引。
[0018] 进一步，所述步骤3中确定图幅范围的方法，包括以下步骤：
[0019] 步骤301 :确定绘制地理范围的最小包围矩形；
[0020] 步骤302 :确定绘制图幅的大小；
[0021] 步骤303 :确定图幅左上角的坐标作为基准坐标。
[0022] 进一步，所述步骤4中的绘制地理底图的方法，包括以下步骤：
[0023] 步骤401 :设置地理地图边线颜色、背景色和标注颜色；
[0024] 步骤402 :循环读取地理底图数据，其中地理数据中每个地理要素的经炜度信息 绘制地理底图。
[0025] 进一步，所述步骤5中绘制采集到的位置签到数据的方法包括以下步骤：
[0026] 步骤501 :从数据库中读取需要绘制的位置签到数据；
[0027] 步骤502 :将位置签到数据的经炜度坐标转成图幅像素坐标，在将转换后的图幅 像素坐标进行像素的海量的数据抽稀聚合；
[0028] 步骤503 :将位于同一像素位置数据的签到次数求和；
[0029] 步骤504 :统计每一像素签到次数的分布；
[0030]步骤505 :根据统计结果确定签到次数到颜色映射；
[0031] 步骤506 :绘制位置签到数据。
[0032] 进一步，所述签到数据为兴趣点（下文简称POI)数据。
[0033] 进一步，所述步骤2中采用MongoDB进行数据的存储和管理。其中，MongoDB是一种 非关系数据库芒果数据库。采用MongoDB存储管理海量的P0I签到数据，利用MongoDBNoSQL 设计方式，可以更加灵活的操作数据，对于大数据处理MongoDB选择最大程度的利用内存 资源作为缓存提高性能，解决大数据可视化中数据读取的问题。
[0034] 有益效果：与现有技术相比，本发明可以根据不同的比例尺进行可视化，可视化效 果美观，直观体现数据的分布规律。同时，本发明能够更加灵活的操作数据，有效解决了大 数据可视化中数据读取的问题。使用本方法进行海量数据的可视化方法更加简单，绘图效 率高，易于实现，效果好，能够绘制复杂图形。再者，本发明对于海量数的绘制采用了一种基 于像素的数据抽稀聚合算法，该算法可以大大减少数据量而且不影响数据的可视化效果。
【附图说明】
[0035] 图1为本发明的流程示意图；
[0036] 图2为实施例的图幅范围示意图；
[0037] 图3为实施例的绘制地理底图结果；
[0038] 图4为实施例的可视化结果图。
【具体实施方式】
[0039] 以下结合附图和实例对本发明的实施作进一步说明，但本发明的实施和包含不限 于此。
[0040] 如图1所示，本发明提供的一种海量位置数据的可视化方法，包括以下步骤：其 中，本发明利用新浪微博兴趣点（下文简称POI)签到数据作为实验数据。
[0041] 步骤1:数据获取；该步骤包括以下步骤：
[0042] 步骤101 :抓取新浪微博POI签到数据，具体实施时，根据新浪微博编写爬虫程 序，其中，API为应用程序编程接口，抓取全国范围的内的所有POI数据；
[0043] 步骤102:将数据存储到MongoDB数据库中。选择具有空间数据引擎功能的任意 一种数据库存储抓取的P0I数据。
[0044] 步骤2 :数据的管理；主要包括以下步骤：
[0045] 步骤201 :数据预处理，预处理主要去除数据中重复的和无效的位置数据；
[0046] 步骤202 :根据数据的兴趣点序号（简称为POI ID)建立唯一索引，抓取的微博数 据具有P0IID字段，P0IID字段是P0I的唯一标识符，在MongoDB数据库中，以P0IID建立 唯一索引的命令为：
[0047] db. weibo. ensurelndex ({POIid:1}, {unique:true})；
[0048] 其含义为：使用数据库命令工具以POIID建立唯一值索引
[0049] 步骤203 :建立空间索弓丨；在MongoDB中空间数据以GeoJSON格式的地理要素 格式存储，其中，GeoJSON是一种对各种地理数据结构进行编码的格式。根据位置（简称 location)字段建立空间索引的命令如下：
[0050] db. weibo. ensurelndex({〈location field>:〃2dsphere〃})；
[0051] 其含义为：根据location字段建立空间索引命令行代码。
[0052] 步骤3 :确定图幅范围；主要包括以下步骤：
[0053] 步骤301:确定绘制地理范围的最小包围矩形；计算需要绘制地理边界 的范围，本实例以江苏省为例，起始经炜度为（116. 3672,30. 7562)终止经炜度为 (122. 0032, 35. 1233)
[0054] 步骤302 :确定绘制图幅的大小；首先确定图幅的缩放等级，缩放等级为绘制比例 尺的一种计算方法，一个缩放等级对应一个比例尺，取值为在〇?20之间进行图像绘制。本 实例采用Google地图切片方案作为标准，根据地图的缩放等级和地图范围确定所绘
[0055] 制区域包含的瓦片行列号。其中与经炜度坐标转成Google瓦片坐标系的公式为：
【主权项】
1. 一种海量位置签到数据的可视化方法，其特征在于：包括w下步骤： 步骤1;从数据采集终端抓取位置签到数据，将采集到的数据存储到数据库中； 步骤2 ;对步骤1中采集到的位置签到数据进行管理； 步骤3 ;根据需要采集地理范围确定图幅范围； 步骤4 ;采用NodeCanvas技术绘制地理底图； 步骤5 ;在步骤4中获得地理地图上绘制采集到的位置签到数据； 步骤6;输出结果图片。
2. 根据权利要求1所述的海量位置签到数据的可视化方法，其特征在于：所述步骤2 中的数据管理包括W下步骤： 步骤201 ;数据预处理；去除数据中重复的和无效的位置数据； 步骤202 ;根据位置数据的唯一标识符建立唯一值索引； 步骤203 ;建立空间索引。
3. 根据权利要求1所述海量位置签到数据的可视化方法，其特征在于：所述步骤3中 确定图幅范围的方法，包括W下步骤： 步骤301 ;确定绘制地理范围的最小包围矩形； 步骤302 ;确定绘制图幅的大小； 步骤303 ;确定图幅左上角的坐标作为基准坐标。
4. 根据权利要求1所述海量位置签到数据的可视化方法，其特征在于：所述步骤4中 的绘制地理底图的方法，包括W下步骤： 步骤401 ;设置地理地图边线颜色、背景色和标注颜色； 步骤402 ;循环读取地理底图数据中的每个地理要素的经绅度信息绘制地理底图。
5. 根据权利要求1所述海量位置签到数据的可视化方法，其特征在于：所述步骤5中 绘制采集到的位置签到数据的方法包括W下步骤： 步骤501 ;从数据库中读取需要绘制的位置签到数据； 步骤502 ;将位置签到数据的经绅度坐标转成图幅像素坐标，在将转换后的图幅像 素坐标进行像素的海量的数据抽稀聚合. 步骤503 ;将位于同一像素位置数据的签到次数求和； 步骤504 ;统计每一像素签到次数的分布； 步骤505 ;根据统计结果确定签到次数到颜色映射； 步骤506 ;绘制位置签到数据。
6. 根据权利要求1所述海量位置签到数据的可视化方法，其特征在于；所述签到数据 为兴趣点数据。
7. 根据权利要求1所述海量位置签到数据的可视化方法，其特征在于：所述步骤2中 采用MongoDB进行数据的存储和管理。
【专利摘要】本发明公布了一种海量位置签到数据的可视化方法，包括以下步骤：步骤1：从数据采集终端抓取位置签到数据，将采集到的数据存储到数据库中；步骤2：对步骤1中采集到的位置签到数据进行管理；步骤3：根据需要采集地理范围确定图幅范围；步骤4：采用NodeCanvas技术绘制地理底图；步骤5：在步骤4中获得地理地图上绘制采集到的位置签到数据；步骤6：输出结果图片。本发明可以根据不同的比例尺进行可视化，可视化效果美观，直观体现数据的分布规律。同时，本发明能够更加灵活的操作数据，有效解决了大数据可视化中数据读取的问题。使用本方法进行海量数据的可视化方法更加简单，绘图效率高，易于实现，效果好，能够绘制复杂图形。
【IPC分类】G06F17-30
【公开号】CN104537024
【申请号】CN201410799227
【发明人】李正学, 许捍卫, 徐静波, 金文韬, 王海君
【申请人】河海大学
【公开日】2015年4月22日
【申请日】2014年12月19日