海量传感器数据收集处理及反馈的系统和方法与流程

本发明涉及数据处理技术领域，具体涉及一种海量传感器数据收集处理及反馈的系统和方法。

背景技术：

dr(deadreckoning，航位推算，也叫惯性导航，简称惯导)可以在gps(globalpositioningsystem，全球定位系统)信号较差时做航位推算，在一定距离内修复gps定位偏差，dr推算时对传感器器件输出的数据(例如陀螺仪、加速计、气压计等)、情景类型(高架上、隧道中、密集楼宇旁)、用户推算历史等进行建模，模型推算精度误差会随时间推移发散直至不可用，而在模型确定时，模型参数的变化会影响到模型性能，好的模型参数可以有效提升dr推算性能，即延长可靠推算时间、提升推算精度减小误差。

现有技术中，dr模型一旦确定后，将模型算法集成在端设备中，并通过对端上设备进行典型场景下的实际测试，得到测试结果后，通过分析测试数据得到模型参数并固化在设备固件中。其存在的缺点包括：可用于模型参数学习的设备仅为测试设备，处理的测试数据量较小，不能准确的反应模型；模型参数确定后并难以通过数据累积优化参数并更改模型参数；不能有效利用情景识别和历史参数。

技术实现要素：

本发明为海量传感器数据分析处理提供了一种高可用、高可靠、可扩展的分布式架构，解决了数据高效收集、处理的技术问题，并将模型参数反馈到设备端，提升dr(惯导)性能；并可通过不断的累积多源数据，迭代提升反馈参数的有效性。

本发明采用的技术方案如下：

一种海量传感器数据收集处理及反馈的系统，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

进一步地，所述传感器包括加速计、陀螺仪、气压计或者磁强计。

进一步地，所述传感器上传的数据采用nmea数据格式。

进一步地，所述传感器上传的数据包括以下任一一种及以上：

设备端元信息，端上算法版本、各传感器型号、设备型号；

传感器采样时间、采样时经纬度信息、nmea中包含的传感器数据信息；

传感器推算状态信息；

模型推算的设备端状态与情景。

进一步地，所述服务处理节点集群包括vdrhandlers、pdrhandlers和contexthandlers；vdrhandlers对车载模式相关的传感器数据进行处理；pdrhandlers对步行模式相关的传感器数据进行处理；contexthandlers利用传感器上传的数据和请求，进行最大概率情景推断，帮助传感器根据不同情景调整模型参数。

进一步地，所述服务处理节点集群还包括otherhandlers，即其他系统请求与扩展模式处理节点。

进一步地，所述离线数据处理引擎根据传感器上传的数据进行情景分析建模，作为contexthandlers参数输入。

进一步地，所述调度引擎根据数据集、任务类型、传感器数据类型调度在线数据处理引擎和离线数据处理引擎。

一种海量传感器数据收集处理及反馈的方法，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关进行请求合法性判断和设备合法性检查，并将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据和请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

本发明的有益效果在于，从数据收集链路、数据处理与存储、任务调度、参数反馈链路上保证了利用海量传感器数据学习参数的可靠性与高效性。

附图说明

图1是本发明海量传感器数据收集处理及反馈的系统架构图。

图2是本发明海量传感器数据收集处理及反馈的方法流程图。

具体实施方式

可靠的模型参数需要通过处理海量数据得到，本发明通过定义松散的传感器数据收集接口收集多源数据；利用分布式存储、分布式计算处理海量数据用于机器学习算法；提供灵活的参数反馈链路解决上述缺点。由于利用众包采集数据，避免了测试数据集较小，设备数过少的问题，可动态更新模型参数，并利用多源数据增强情景识别能力，最终提升dr性能。

下文中，结合附图和实施例对本发明作进一步阐述。

图1和图2分别是本发明海量传感器数据收集处理及反馈的系统架构图和方法流程图，具体如下：

1、传感器数据上传接口定义

典型传感器数据包括加速计、陀螺仪、气压计、磁强计等，根据nmea(nationalmarineelectronicsassociation，美国国家海洋电子协会的简称，也是一套定义接收机输出的标准信息)数据格式，上传数据包括但不仅为：

1)设备端元信息，端上算法版本、各传感器型号、设备型号等；

2)传感器采样时间(ms级)、采样时经纬度信息、nmea中包含的传感器数据信息(姿态、方向等)；

3)传感器推算状态信息；

4)模型推算的设备端状态与情景。

2、网关(gateway)

进行请求合法性判断、设备合法性检查，并将请求转发到对应服务处理节点集群。

3、vdrhandlers(vehicledeadreckoning，车载航位推算)

处理车载模式相关的传感器数据，并负责车载相关的模型参数下发。

4、pdrhandlers(pedestriandeadreckoning，行人航位推算)

处理步行模式相关的传感器数据，并负责步行模式相关的模型参数下发。

5、contexthandlers

利用设备端请求信息与收集的多源数据，做最大概率情景推断，帮助设备端根据不同情景调整模型参数。

6、otherhandlers

其他系统请求与扩展模式处理节点。

7、消息队列(消息在传输过程中保存消息的容器)、日志服务

负责将收集的数据与其他请求发送到分布式文件系统中，同时发送至在线处理引擎。

8、dfs(分布式文件系统)

类似hdfs、hbase等分布式文件系统，存储海量数据，用于离线数据分析。

9、在线数据处理引擎

接受消息队列、日志服务的数据，实时筛选并处理，快速得到局部最优模型参数，并发往模型验证组件。

10、离线数据处理引擎

处理分布式文件系统中的海量数据，得到全局或特定数据下的最优模型参数；根据设备端上报的数据做情景分析建模，作为contexthandlers参数输入。

11、调度引擎

调度在线、离线数据处理引擎；按数据集、任务类型、传感器数据类型等周期性调度。

本发明优选java语言进行编程。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。