一种动态切换维度观察角度的方法

文档序号:9524254阅读:375来源:国知局
一种动态切换维度观察角度的方法
【技术领域】
[0001] 本发明属于计算机技术的大数据、商业智能领域,尤其设及一种动态切换维度观 察角度的方法。
【背景技术】
[0002] 在计算机技术的大数据、商业智能领域中,维度是一个基本概念,也是一类数据。 如从年龄角度分析数据的构成情况,了解少年、青年、中年、老年人的数据量各是多少,则运 个年龄就是观察角度,也是一个维度,而"少年"、"青年"、"中年"、"老年"都是运个维度的成 员。在商业智能领域的数据统计分析过程中会使用多个维度,举例如年龄、性别、职业、学 历、爱好等等,运些维度是限制过滤数据和统计分析数据的重要手段,维度的多少也直接影 响了统计分析数据的丰富及细致程度,对于数据价值发掘、利用意义重大。
[0003] 大数据数据中屯、通常也存有很多非结构化数据,有些非结构化数据蕴含有丰富的 信息,可用于限制过滤数据和统计分析数据。如送货地址不只是一个非结构化的字符串,同 时还是一个确定的地理位置及坐标,能够按行政级别进行多级划分。再举例如身份证包含 了人的出生地、生日、性别等信息,进一步还能计算年龄、过生日的月份、星座等信息,不但 可W用于限制过滤数据和统计分析数据,同时还可W用于客户关怀、向上销售的目标客户 群圈定。另外看似结构化数据的手机号、日期如按非结合化看待也都蕴含丰富的信息,均可 用于圈定和分析数据。
[0004] 大数据数据中屯、、商业智能系统不论是使用hadoop还是使用关系型数据库构建, 都不能直接利用其中存储的地址、身份证号、手机号、日期类型数据中蕴含的信息。如果通 过编程手段把上述数据蕴含信息预先全部解析出来存储并用于后续分析,虽然能够达到利 用数据的目的,但是由于提前解析存储一则导致计算年龄不准确,再则存储也浪费磁盘空 间并导致系统复杂性的提高,容易出错并且不利于系统的维护。
[0005] 针对大数据数据中屯、、商业智能系统中蕴含丰富信息的非结构化数据实现只存储 数据本身,而在使用时又能即时解析并W蕴含丰富信息呈现,或用于数据过滤限制,或用于 数据统计分析的观察角度就变得更有价值了。

【发明内容】

[0006] 本发明针对大数据数据中屯、、商业智能系统中非结构化数据的利用不足,提供了 一种动态切换维度观察角度的方法。将非结构化数据理解为维度,通过定义特殊的维度类 型、设置缺省观察角度、即时非结构化数据解析、数据转换为缺省观察角度值等步骤、方法 实现了非结构化数据即时转换为确切信息,进一步或用于数据过滤限制,或用于数据统计 分析的观察角度,即时切换观察角度实现一非结构化数据当多种维度来使用的效果。
[0007] 发明方法、步骤的定义特殊的维度类型是判断非结构化数据是否属于地址、身份 证号、电话号码、日期类型中的一种,如果是则分别设置为地址维度类型、身份证维度类型、 电话号维度类型、日期维度类型W便后续进行区别处理。
[0008] 发明方法、步骤的设置缺省观察角度是判断特殊维度类型,设置相应的缺省观察 角度。特殊维度均有多个可用的观察角度及一个缺省的观察角度,而缺省观察角度在使用 的一刻代表了特殊维度,特殊维度的多个可用观察角度只有在成为缺省观察角度时才能发 挥作用,不同特殊维度类型可用维度、缺省观察角度不同。设置新的缺省观察角度,之前的 缺省观察角度就不再起作用了,等同于动态切换了观察角度,效果上如同切换了维度。
[0009] 设置缺省观察角度功能需要放在界面上,由使用人员按需设置、切换并触发数据 提取、解析、转换及统计汇总操作。
[0010] 发明方法、步骤的即时非结构化数据解析是获取非结构化数据,根据其缺省观察 角度定义,根据其特殊维度数据的编码特征,即时进行数据解析。其中:
[0011] 1、地址解析出省直辖市的第一级地域,地市州盟的第二级地域,区县旗的第Ξ级 地域,乡镇的第四级地域,村庄的第五级地域;
[0012] 2、身份证号解析出出生地,出生月,星座,性别,年龄分档等几项数据;
[0013] 3、日期解析出年,季,月,周,日粒度标签;
[0014] 4、电话号码解析出网段,号段,AAAA,AABB,ABAB,ABCD等几类特征数据。
[0015] 发明方法、步骤的数据转换为缺省观察角度值是提取即时解析后缺省观察角度对 应的数据,并当作特殊维度值使用。
[0016] 本发明一种动态切换维度观察角度的方法,弥补了大数据数据中屯、、商业智能系 统中非结构化数据的利用不足,不用提前解析非结构化数据,避免提前解析导致计算的不 准确和信息衰减,仍只存储原始的非结构化数据,减小系统存储开销,同时提高系统的可维 护性、可靠性。即时切换观察角度更是实现了一个非结构化数据当做多种维度来进行数据 过滤限制和统计分析的使用效果。
【附图说明】
[0017] 图1为本发明之步骤方法示意。
[0018] 图2为本发明之地址维度观察角度动态切换并用做数据过滤限制的实现截图。
[0019] 图3为本发明之身份证维度观察角度动态切换并用做数据过滤限制的实现截图。
[0020] 图4为本发明之日期维度观察角度动态切换并用做数据过滤限制的实现截图。
[0021] 图5为本发明之电话号码维度观察角度动态切换并用做数据过滤限制的实现截 图。
【具体实施方式】
[0022] 为使本发明一种动态切换维度观察角度的方法之目的、技术方案和优点更加清 楚,W下结合优先实施例地址、身份证号、日期、电话号码及附图来详细说明实现的方法和 技术细节。借此对本发明如何应用技术手段解决技术问题,并达成技术效果的实现过程能 充分理解并据W实施。其中附图构成本申请的一部分,并与本发明的实施例一起用于阐释 本发明的原理。
[0023] 通过定义特殊的维度类型
[0024] 根据非结构化数据项存储数据内容、特点定义特殊维度类型,其中:
[0025] 1、存储内容是一个合法的地址信息,如送货地址、家庭住址、办公地点、公司注册 地等均定义为地址维度类型DIM_REGION。
[00%] 2、存储内容是中华人民共和国居民身份证号码,不论是15位还是18位均设置为 身份证维度类型DIM_IDCA畑。
[0027] 3、存储内容是日期的,如开户日期、合同日期、付款日期等均设置为日期维度类型 DIM-DATE。
[0028] 4、存储内容是手机号、电话号码、车牌号等均可设定为电话号码维度类型DIM_ P册肥。
[0029] 设置缺省观察角度
[0030] 标识非结构化数据的特殊维度起作用的观察角度,在界面上提供单选和设置功
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1