专利名称：一种特定数据信息的展示处理方法
技术领域：
本发明涉及数据库的设计、分析，多层次的的结构处理，特别涉及一种特定 数据信息的展示处理方法。
背景技术：
中国的电信领域是一个快速发展的领域，需求的变化很大，业务数据量大，
实际的业务数据源将达到50G左右，数据处理后每天也要达到IOG左右增量，这 样就要求设计时要尤其考虑的空间的利用及效率的改造，而现有技术很难满足它 的要求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷，提供一种高效率的特 定数据信息的展示处理方法。
本发明的目的可以通过以下技术方案来实现 一种特定数据信息的展示处理 方法，其特征在于，包括以下步骤
(1) 由第一层的数据源文件定时写入数据库；
(2) 由第二层数据表的数据经过计算，聚合到以user为单位粒度的第三层数 据表中；
(3) 在第三层中，完成数据的计算，数据的冗余不做处理，数据的高粒度需 要进一步的聚合；
(4) 在数据的第四层中实现数据粒度的冗余处理，节省空间的存储；
(5) 第五层中实现数据以天粒度为单位的聚合。
所述的步骤(1)不对数据进行处理，为第二层数据处理提供基础。 所述的第二层数据表的数据为冗余存储的，以电话号码为最小粒度，且含有 相关的KPI指标。
与现有技术相比，本发明可以保证数据计算的 确性，还可以满足业务需求中对累计值的计算，对数据库中数据过滤重复记录的要求，同时也可以实现数据 库冗余存储的高效率方式。
图1是本发明一种特定数据信息的展示处理方法的N层次处理关系示意图； 图2是本发明一种特定数据信息的展示处理方法的数据处理过程示意图。
具体实施例方式
如图l、图2所示，本实施例包括以下步骤
(1) 在AIX服务中通过shell脚本来进行数据文件写入数据库数据表。这部
分在操作系统中实现。
(2) 在第二层至第三层中，是通过oracle数据库的存储过程来编码实现数据 的加载，此过程非常重要，包含大量的口径计算，业务分析。
(3) 在第四层至第五层中，通过存储过程来实现数据的聚合。在第五层中数 据已经实现了事实表的最终加载。
在整个N层次数据处理过程中，要考虑到数据的质量，因而要包含以下几个
方面数据入库，数据清洗，数据转换，数据加载。
数据入库将数据文件以原始方式直接写入数据库表中；
数据清洗将源数据中脏数据进行处理、过滤，来保证数据质量；
数据转换将源数据中相关的编码，数据，通过一定的规范替换成统一的数
据类型；
数据加载:将处理好的数据写入到相关的目标表中。 N层次的数据处理，包括以下步骤
A. 直接由第一、二层次数据直接写入数据第五层中会省去了中间层user级别 的数据，如果没有user级别的数据就无法满足月报及周报相关的用户数指标。
B. 通过数据库本身的机制存储过程来实现指标的计算、数据的加载，每天自 行调度，数据的新鲜度取昨天数据。
C. 数据分层，每层作用不同，分工不同；在业务报表展现中，涉及的日报都 会从第五层结构中取数据展现，涉及自明细数据会从第三层来取数据展现，涉及 自月报的数据要从第四层的数据加载入月报的数据表中再进行展现。各个层次间的数据都有相互依赖性，依赖方式高到低度层次的依赖。
可以从不同层次的数据选择数据源来保证不同数据业务层次的需求，也保证 了技术和业务的同步。
数据处理更高效的存储，冗余数据加载聚合数据，再做清空，效率在得到保 障后，再保证空间的存储。即保证了效率，又节省了空间。
数据质量有问题，可以按照实际数据的存储结构来实现分层次查找，便于问 题的跟踪，及时的发现数据质量的问题，保证了数据在展现过程的及时准确。
本发明涉及数据库数据处理的特定方法，该方法可以保证数据计算的准确性， 还可以满足业务需求中对累计值的计算，对数据库中数据过滤重复记录的要求， 同时也可以实现数据库冗余存储的高效率方式。本方法将源数据文件(表)到最 终的数据文件(表)分成五层关系；每一层的数据粒度都有差异，存储空间也有 一定的差异，这样再处理月报表，周报表的统计过程中也灵活的根据业务需求， 来选择相应层次的数据表去处理实际业务数据的指标。第一个层次是来源于最底 层的数据文件，第二个层次是由第一层次进行入库处理后而产生的数据表，这一 层次实际上与第一层次在数据方面是一致的，只是存储方式不同，区别在于文件 与数据表存储。第三层次是由第二层的N个数据源经过分析计算而产生的业务数 据，有相应的KPI指标，有用户的电话号码来区分每个用户。第四层次是在第三 层的基础上将冗余存储进一步进行聚合,来实际数据空间的压縮。第五层是在第四 层的基础上将数据进一步的聚合，将用户级别的数据粒度聚合到以天为粒度的数 据。在这五层数据的设计保证了不同业务需求的数据处理。
权利要求
1.一种特定数据信息的展示处理方法，其特征在于，包括以下步骤(1)由第一层的数据源文件定时写入数据库；(2)由第二层数据表的数据经过计算，聚合到以user为单位粒度的第三层数据表中；(3)在第三层中，完成数据的计算，数据的冗余不做处理，数据的高粒度需要进一步的聚合；(4)在数据的第四层中实现数据粒度的冗余处理，节省空间的存储；(5)第五层中实现数据以天粒度为单位的聚合。
2. 根据权利要求1所述的一种特定数据信息的展示处理方法，其特征在 于，所述的步骤(1)不对数据进行处理，为第二层数据处理提供基础。
3. 根据权利要求1所述的一种特定数据信息的展示处理方法，其特征在 于，所述的第二层数据表的数据为冗余存储的，以电话号码为最小粒度，且含 有相关的KPI指标。
全文摘要
本发明涉及一种特定数据信息的展示处理方法，包括以下步骤由第一层的数据源文件定时写入数据库；由第二层数据表的数据经过计算，聚合到以user为单位粒度的第三层数据表中；在第三层中，完成数据的计算，数据的冗余不做处理，数据的高粒度需要进一步的聚合；在数据的第四层中实现数据粒度的冗余处理，节省空间的存储；第五层中实现数据以天粒度为单位的聚合。与现有技术相比，本发明可以保证数据计算的准确性，还可以满足业务需求中对累计值的计算，对数据库中数据过滤重复记录的要求，同时也可以实现数据库冗余存储的高效率方式。
文档编号G06F17/30GK101620602SQ20081003989
公开日2010年1月6日 申请日期2008年6月30日 优先权日2008年6月30日
发明者谧 冯 申请人:上海全成通信技术有限公司