一种基于时序数据库的集群式健身管理系统及实现方法与流程

文档序号:15451013发布日期:2018-09-15 00:01阅读:215来源:国知局

本发明涉及数据库技术领域,特别是一种基于时序数据库的集群式健身管理系统及实现方法。



背景技术:

时序数据库(tsdb)是一种特定类型的数据库,主要用来存储时序数据。随着5g技术的不断成熟,物联网技术将会使得万物互联。物联网时代之前只有手机、电脑可以联网,以后所有设备都会联网,这些设备每时每刻都会吐出大量的按照时间组织的数据,需要存储下来进行查询、统计和分析。

tsdb将是未来一个非常具有市场性、挑战性的数据库,本文从大数据角度,将tsdb应用到健身软件系统里,从而:对用户的运动健身数据(如心跳数据、脉搏数据、步数、体感数据等)进行实时的监测和储存,解析后对数据进行统计、人性化处理和未来预测,同时用户可以共享数据、评价系统,完成系统的智能优化和自我升级。



技术实现要素:

本发明解决的问题在于提供一种基于时序数据库的集群式健身管理系统及实现方法;实现对健身数据的管理。

本发明解决上述技术问题的技术方案是:

所述的系统包括:用户信息管理模块、健身课程管理模块、卡路里实时监测模块、海量时序数据分布存储模块、报表数据多维度统计模块、人性化推荐模块、数据淘汰压缩模块、未来健康预测模块和用户数据共享/评价模块;所述的模块共同实现用户信息管理、健身课程管理、卡路里实时监测、海量时序数据分布存储、报表数据多维度统计、人性化推荐、数据淘汰压缩、未来健康预测以及用户数据共享和评价。

所述的用户信息管理模块,用于用户注册/登录本系统,建立用户信息档案;并提供用户信息维护功能,包括:账号迁移、账号增删改查、用户基本资料登记管理、用户健身数据管理。

所述的健身课程管理模块,提供课程查询、课程分类、课程推荐、课程进度管理功能;其中:

a:课程查询:提供海量健身课程库;按照难度、热门度等多维度进行排序和显示;

b:课程分类:包括适合人群、适合时间、难度、热门度;

c:课程推荐:按照用户基本登记资料进行大数据分析后,通过mapreduce对信息聚类,得到符合特定用户的课程推荐;

d:课程进度管理:追踪某特定用户的特定课程;可随时查询进度和完成度,从而进行信息提醒推送和用户数据更新,用户健身评价。

所述的卡路里实时监测模块,当用户启动某一个健身课程后,即开启了实时监测功能;该功能能监测用户的卡路里消耗情况、心跳情况、脉搏情况、行走/跑步的步数、当前的体感动作;实时数据作为实时预警、数据压缩淘汰的基础;同时,当用户停止某健身课程后,对应该课程的实时数据即停止监测。

所述的海量时序数据分布存储模块,采用influxdb时序数据库对海量的健身实时数据进行存储,可实现分布式和水平伸缩扩展;其中:

a:存储策略;采用默认策略即永久存储;用户可以进行系统设置,从而改变该策略;

b:时间戳;为每个数据指定一个时间戳;优化后续的查询操作;

c:存储引擎;创建多个shard,每个shard下都对应一个底层的tsm存储引擎,有独立的cache、wal、tsmfile以及compactor;

d:索引优化;通过元数据索引和tsmfile索引进行优化。

所述的报表数据多维度统计模块,通过位图索引和倒排索引技术,完成随机维度进行高效查询技术;将诸如count/max等聚合技术运用在海量的原始查询数据上;采用预聚合技术,在数据写进来时就完成数据聚合操作;从用户角度,实现直观地查询自己的历史健身记录,采用量化的手段对自己的健身计划进行日程规划。

所述的人性化推荐模块,通过大数据分析工具和mapreduce技术,对用户的历史操作记录进行数据信息聚类,提炼出符合用户偏好特征的关键词,针对这些关键词进行课程检索、信息搜索,将得到的结果取最符合条件的前几名,按时按频率推送给用户,从而提高人性化体验;用户可根据自身喜好和条件选择接纳和回绝,此时服务器会进行用户偏好修正;使下一次的推送内容更为精确。

所述的数据淘汰压缩模块,数据淘汰采用数据分级存储的方法;针对时序数据包含的冷热性质技术特性;将最近小时级别的数据放到内存中,将最近天级别的数据放到ssd,更久远的数据放到更加廉价的hdd或者直接使用ttl过期淘汰掉;数据压缩以提高查询性能。

所述的未来健康预测模块,通过机器学习,采用人工智能的方式,得到每种健身活动课程的提醒/报警阈值;当用户的实时监测数据超过/逼近这个阈值时,采用多种方式通知用户;包括震动、信息通知、屏幕互动通知。

所述的用户数据共享/评价模块,采用html5作为前端框架,完成跨终端、跨平台的任务,实现多端共享;评价模块实现用户的使用反馈,通过数据产生、数据改善;对大数据分析的方法进行人性化微调。

所述的实现方法包括如下流程:

a:用户注册/登录,建立用户信息并使用系统;

b:系统监测/获取用户实时数据,产生并存储海量时序数据;

c:系统对数据进行分级/压缩处理,生成多维度聚合/查询报表数据,和个性化专属推荐数据;

d:当检测到用户异常数据时,或用户健身数据达到一定阈值时,启动“未来预测”功能,对用户发出信息/警告;

e:用户启用数据共享,实现多终端数据同步,并对系统进行评价。

本发明的有益效果是:

1、本发明为集群式,易扩展;当增加节点/扩容时,对业务透明,用户无感知,本发明采用hadoop框架;同时为保证单台机器的高吞吐量写入,本发明采用基于tsmtree存储引擎的influxdb时序数据库存储体系。

2、卡路里和用户行为的实时监测会产生大量的时序数据;本发明通过分布式存储装置(时序数据库influxdb)对海量时序数据进行分类分级压缩存储,提高系统的可靠性、可用性和存取效率,易于扩展;同时保证数据的一致性和容错性。

3、表数据多维度统计,通过位图索引或者倒排索引技术,实现根据随机几个维度即可进行高效查询;同时使用预聚合技术,在数据写进来的时候就完成基本的聚合操作,高效地实现聚合统计报表查询。

4、数据压缩淘汰针对时序数据冷热性质定制的技术特性,通过数据分级存储将最近小时级别的数据放到内存中,将最近天级别的数据放到ssd,更久远的数据放到更加廉价的hdd或者直接使用ttl过期淘汰掉。

4、人性化推荐模块,通过大数据分析工具及mapreduce技术,针对用户健身习惯和兴趣,对用户信息进行聚类,实现人性化课程推荐和信息推送。

5、未来健康预测,通过实时监测用户数据的方法进行预测;运用机器学习人工智能的处理方法,当用户数据信息超过一定的阈值的时候,可能会产生两种对立的后果,通过鼓励/警告的方式(包括信息推送,人性化通知等)给用户反馈当前的状态可能会产生的后果。

6、用户共享与评价,通过云服务器存储用户信息数据,通过与云服务器的同步工作,完成资料的上传/下载/共享,同时本系统采用h5前端技术,可跨平台,跨终端运行;用户的评价反馈内容交给云计算评测装置,使得本系统能根据用户偏好自动调整计算方向和计算角度;因此,本系统可以不断自我智能完善。

7、本系统将健身与大数据结合,通过大数据分析工具,对实时监测产生的海量时序数据进行存储和解析,成为一个平台即服务(paas)的能进行机器学习和智能自我优化的,可数据共享/评价的系统。

附图说明

下面结合附图对本发明进一步说明:

图1为本发明的框架流程图。

具体实施方式

下面将结合附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出实质性创造获得的方案,都属于本发明保护的范围。

如图1所示,以下是本发明的关于一种基于时序数据库的集群式健身管理系统的重要功能点及实现方法:

1:用户信息管理模块。用户注册/登录本系统,建立用户信息档案;本模块提供用户信息维护功能,包括:账号迁移、账号增删改查、用户基本资料登记管理、用户健身数据管理等;该模块是为用户提供个性化内容的基础。

2:健身课程管理模块。本模块提供课程查询、课程分类、课程推荐、课程进度管理等功能;其中:

a:课程查询:提供海量健身课程库;按照多维度(如难度、热门度等)进行排序和显示;

b:课程分类:包括适合人群、适合时间、难度、热门度等;

c:课程推荐:按照用户基本登记资料进行大数据分析后,通过mapreduce对信息聚类,得到符合特定用户的课程推荐;

d:课程进度管理:追踪某特定用户的特定课程;可随时查询进度和完成度,从而进行信息提醒推送和用户数据更新,用户健身评价等。

3:卡路里实时监测模块。当用户启动某一个健身课程后,即开启了实时监测功能;该功能能监测用户的卡路里消耗情况、心跳情况、脉搏情况、行走/跑步的步数、当前的体感动作等;该海量实时数据作为实时预警、数据压缩淘汰的基础;同时,当用户停止某健身课程后,对应该课程的实时数据即停止监测。

4:海量时序数据分布存储模块。本系统采用influxdb时序数据库对海量的健身实时数据进行存储,可实现分布式和水平伸缩扩展;其中:

a:存储策略(retentionpolicy);采用默认策略autogen(永久);但用户可以进行系统设置,从而改变该策略;

b:时间戳(timestamp);为每个数据指定一个时间戳;可优化后续的查询操作;

c:存储引擎(tsmtree);创建多个shard,每个shard下都对应一个底层的tsm存储引擎,有独立的cache、wal、tsmfile以及compactor;

d:索引优化;通过元数据索引和tsmfile索引进行优化。

5:报表数据多维度统计模块。通过位图索引和倒排索引技术,完成随机维度进行高效查询技术;将诸如count/max等聚合技术运用在海量的原始查询数据上;为解决统计原始值耗时的问题,采用预聚合技术,在数据写进来时就完成数据聚合操作;从用户角度,即能直观地查询自己的历史健身记录,采用量化的手段对自己的健身计划进行日程规划。

6:人性化推荐模块。通过大数据分析工具和mapreduce技术,对用户的历史操作记录(健身记录)进行数据信息聚类,提炼出符合用户偏好特征的关键词,针对这些关键词进行课程检索、信息搜索,将得到的结果取最符合条件的前几名,按时按频率推送给用户,从而提高人性化体验;用户可根据自身喜好和条件选择接纳和回绝,此时服务器会进行用户偏好修正;使下一次的推送内容更为精确。

7:数据淘汰压缩模块。本模块的目的是节省存储空间,提高存储利用率;数据淘汰采用数据分级存储的方法;即针对时序数据包含的冷热性质技术特性;数据分级存储要求能够将最近小时级别的数据放到内存中,将最近天级别的数据放到ssd,更久远的数据放到更加廉价的hdd或者直接使用ttl过期淘汰掉。数据压缩则提高查询性能。

8:未来健康预测模块。未来预测的前提是实时监测;通过机器学习,采用人工智能的方式,得到每种健身活动课程的提醒/报警阈值;当用户的实时监测数据超过/逼近这个阈值时,采用多种方式通知用户:如震动、信息通知、屏幕互动通知等;未来健康预测能够及时地发现问题,并提前预防和解决问题;它根据时间序列来预测未来时间可能发生的事情。

9:用户数据共享/评价模块。本系统采用html5作为前端框架,完成了跨终端、跨平台的任务,同时速度快;因此用户数据可以完成多端共享;评价模块是用户的使用反馈,即对大数据分析的方法进行人性化微调,使得产生一个数据服务用户,用户改善数据的良性循环。

本发明的流程是:

a:用户注册/登录,建立用户信息并使用系统;

b:系统监测/获取用户实时数据,产生并存储海量时序数据;

c:系统对数据进行分级/压缩处理,生成多维度聚合/查询报表数据,和个性化专属推荐数据;

d:当检测到用户异常数据时,或用户健身数据达到一定阈值时,启动“未来预测”功能,对用户发出信息/警告;

e:用户启用数据共享,实现多终端数据同步,并对系统进行评价。

本发明利用大数据hadoop、influxdb时序数据库,对用户的运动健身数据(如心跳数据、脉搏数据、步数、体感数据等)进行实时的监测和储存,解析后对数据进行统计、人性化处理和未来预测,同时用户可以共享数据、评价系统,完成系统的智能优化和自我升级。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1