一种数据中台的数字运营方法及系统与流程

1.本发明涉及数据中台技术领域，具体涉及一种数据中台的数字运营方法及系统。


背景技术：

2.为充分发挥数据作为重要“生产要素”的价值作用，围绕“统一数据资产、统一数据服务、统一数据应用”三个目标，公司提出了全量数据接入、构建统一数据模型、打造统一数据服务三大重点任务。实现数据中台数据的快速、高效、安全的共享，便于用户理解数据、使用数据和共享数据产品，并贯穿“找数据
‑
找服务
‑
用数据”数据全生命周期是目前数据中台建设的主要任务。
3.随着工作的推进实施发现存在部分问题，一是现有数据资产目录存在展示形式单一和不清晰等问题。亟需构建统一数据资产地图，清晰明确的展示公司级数据资产的分布和存储情况；二是目前的共享数据流程存在冗余环节，数据服务方式不够丰富等问题。亟需构建统一的数据服务，优化数据申请流程，丰富数据共享方式；三是部分单位基于海量数据生成了一些优秀的数据应用产品，但因缺少应用统一发布和共享平台，制约了应用的共享共用，亟需构建数据应用产品的发布和共享凭条，向用户开放优质的数据应用产品资源，提高数据应用产品的复用程度，减少重复建设工作；四是公司大数据劳动竞赛基于数据中台开展，需要一个平台，支撑劳动竞赛赛题征集、发布和报名，支撑竞赛项目数据的发布和展示，支撑竞赛项目的评比。
4.综上所述，需要通过部署一套涵盖署“数据地图、数据服务、产品超市”等功能的系统或平台，实现用户的“按图所数”，快速定位目标数据，同时提供多种数据服务方式，并优化数据申请流程，提高数据流转效率，快速响应新需求、拓展新业务，充分发挥数据价值，支撑公司提质增效和业态创新。


技术实现要素：

5.针对现有技术的上述不足，本发明提供一种数据中台的数字运营方法及系统，以解决上述技术问题。
6.第一方面，本发明提供一种数据中台的数字运营方法，包括：
7.从数据中台调取运营数据，并缓存所述运营数据；
8.根据预先制定的数据处理规则对所述运营数据进行处理，生成数据地图；
9.根据所述数据地图生成业务宽表，将所述业务宽表部署在数据中台，并将所述业务宽表发布为数据接口服务；
10.构建数据中台的交互管理模块，所述交互管理模块包括投诉举报项、台区停电项、设备缺陷项和故障抢修项。
11.进一步的，所述从数据中台调取运营数据并缓存所述运营数据，包括：
12.定期从所述数据中台调取运营数据，所述运营数据包括全量数据、业务数据和应用数据；
13.将调取的运营数据缓存至缓存设备，并设定缓存时间；
14.将所述缓存设备中缓存时长超过所述缓存时间的运营数据清除。
15.进一步的，所述根据预先制定的数据处理规则对所述运营数据进行处理，生成数据地图，包括：
16.预先设置数据过滤规则，根据所述过滤规则去除所述全量数据的无效数据和冗余数据；
17.按照预设的全量数据地图目录结构对去除无效数据和冗余数据后的全量数据进行数据表归纳，生成全量数据地图；
18.采集业务数据并根据采集的业务数据目录信息制定能适应不同业务领域的有效表识别方案，按照所述有效表识别方案对业务数据有效表进行识别得到业务数据地图有效目录，并对业务数据的无效部分进行整改和验证；
19.基于数字运营中心运营数据，梳理数据中台支撑业务应用情况，明确支撑应用与数据表的关联关系，配置相关应用数据的目录信息采集任务，按照应用名称
‑
数据表
‑
所属字段方式生成应用数据地图进行展示。
20.进一步的，所述采集业务数据，包括：
21.配置数据中台业务模型目录信息的采集任务，并对采集任务的执行情况进行跟踪，对采集失败的任务进行记录；
22.根据所述记录，对采集失败的任务调整后重新进行执行。
23.进一步的，所述基于数字运营中心运营数据，梳理数据中台支撑业务应用情况，明确支撑应用与数据表的关联关系，配置相关应用数据的目录信息采集任务，按照应用名称
‑
数据表
‑
所属字段方式生成应用数据地图进行展示，包括：
24.配置应用数据目录信息采集任务采集应用数据目录信息；
25.制定的能适应不同应用的有效表识别规则，并进行对应规则的验证、调整、确认，形成应用数据的有效表识别方案；
26.按照应用数据地图的有效表识别方案对应用数据地图中目录信息进行识别，形成应用数据有效目录清单；
27.对应用数据地图中数据目录的无效部分开展验证工作，对确认无效的目录表，采用人工、重新采集等多种方式进行整改，并对整改结果进行反复验证。
28.进一步的，所述方法还包括：
29.根据业务数据地图中的目录信息，进行业务模型数据表中的请求字段与响应字段的梳理，对业务数据的关键词与全量数据关键词进行匹配。
30.进一步的，所述方法还包括：
31.根据用户请求从缓存中调取相应数据；
32.判断缓存中是否存在所述相应数据：
33.若否，则从数据中台调取所述相应数据。
34.第二方面，本发明提供一种数据中台的数字运营系统，包括：
35.数据缓存单元，配置用于从数据中台调取运营数据，并缓存所述运营数据；
36.地图生成单元，配置用于根据预先制定的数据处理规则对所述运营数据进行处理，生成数据地图；
37.共享优化单元，配置用于根据所述数据地图生成业务宽表，将所述业务宽表部署在数据中台，并将所述业务宽表发布为数据接口服务；
38.功能构建单元，配置用于构建数据中台的交互管理模块，所述交互管理模块包括投诉举报项、台区停电项、设备缺陷项和故障抢修项。
39.进一步的，所述地图生成单元包括：
40.过滤设置模块，配置用于预先设置数据过滤规则，根据所述过滤规则去除所述全量数据的无效数据和冗余数据；
41.全量生成模块，配置用于按照预设的全量数据地图目录结构对去除无效数据和冗余数据后的全量数据进行数据表归纳，生成全量数据地图；
42.业务生成模块，配置用于采集业务数据并根据采集的业务数据目录信息制定能适应不同业务领域的有效表识别方案，按照所述有效表识别方案对业务数据有效表进行识别得到业务数据地图有效目录，并对业务数据的无效部分进行整改和验证；
43.应用生成模块，配置用于基于数字运营中心运营数据，梳理数据中台支撑业务应用情况，明确支撑应用与数据表的关联关系，配置相关应用数据的目录信息采集任务，按照应用名称
‑
数据表
‑
所属字段方式生成应用数据地图进行展示。
44.进一步的，所述业务生成模块包括：
45.失败记录子模块，配置用于配置数据中台业务模型目录信息的采集任务，并对采集任务的执行情况进行跟踪，对采集失败的任务进行记录；
46.失败操作子模块，配置用于根据所述记录，对采集失败的任务调整后重新进行执行。
47.本发明的有益效果在于，
48.本发明提供的数据中台的数字运营方法及系统，基于数据中台建设数字运营中心是实现公司内部数据跨部门、跨专业、跨领域一体化数据资源体系管理的重要环节，实现公司数据的业务化，促进数据融合贯通，推动数据充分共享，有利于各业务部门快速响应新需求、拓展新业务，极大节约人力成本，降低运维成本和信息化投入。同时，构建电网数据统一数据服务平台，提高外部数据的使用效率，全面提升数据共享开放能力，为各专业、各层级提供统一的数据服务入口，建立人人参与的数据开放生态圈，形成“共建、共享、共用”的良好局面，推动公司大数据应用百花齐放，为公司数字化转型提供强大的数据驱动力。
49.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1是本发明一个实施例的方法的示意性流程图。
52.图2是本发明一个实施例的方法的架构图。
53.图3是本发明一个实施例的系统的示意性框图。
具体实施方式
54.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
55.图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种数据中台的数字运营系统。
56.如图1所示，该方法包括：
57.步骤110，从数据中台调取运营数据，并缓存所述运营数据；
58.步骤120，根据预先制定的数据处理规则对所述运营数据进行处理，生成数据地图；
59.步骤130，根据所述数据地图生成业务宽表，将所述业务宽表部署在数据中台，并将所述业务宽表发布为数据接口服务；
60.步骤140，构建数据中台的交互管理模块，所述交互管理模块包括投诉举报项、台区停电项、设备缺陷项和故障抢修项。
61.具体的，所述数据中台的数字运营方法包括：
62.本实施例所提供的数据中台的数字运营方法运行的系统架构如图2所示，包括依次连接的服务器，数据提取单元，存储器，处理器和应用程序服务器，处理器还连接数据处理单元。数据中台，用于存储公司各类业务数据和对应元仓数据等；数据提取单元，用于根据处理器的控制，按照处理器控制指令提取数据中台中指定类型的数据，并发送至存储器；存储器，用于接收来自数据提取单元提取的指定类型的数据并进行缓存；处理器，用于控制数据提取单元提取数据，还用于提取存储器缓存的指定类型的历史数据和实时数据，并将数据输入到数字运营中心系统。
63.数据中台的数字运营方法包括以下步骤：
64.第一步：数据资产地图建设
65.根据需求分析报告和系统部署方案，从全量、业务和应用三个角度重新梳理数据资产，依据业务主体和业务关系，形成全量数据地图、业务数据地图和应用数据地图等数据资产。并基于业务地图目录信息开展数据服务参数梳理、产品专题数据溯源、竞赛专题数据溯源等工作，为后续系统各模块部署提供牢固的数据基础。
66.1数据地图模块目录采集
67.基于数字运营中心数据地图模块，开展公司全量数据目录、业务数据目录、应用数据目录的梳理和采集工作，完善数字运营中心全量、业务、应用三层数据地图展示内容，实现数据资产的清晰展示，支撑数据需求快速溯源。
68.(1)全量地图模块实施
69.基于数字运营中心全地图模块，对数据中台全量数据接入成果进行梳理，剔除无效类和冗余类数据，按照全量数据地图目录结构的展示方式，对110套系统、324303张数据表的相关信息进行调整、优化，并标记每张数据表的数据中台接入情况，从部门、系统、数据表、字段等维度层层展示公司业务系统的数据结构和表关系。具体梳理数据范围如下：
[0070][0071]
[0072][0073]
(2)业务数据地图数据采集
[0074]
基于数字运营中心业务地图模块，对数据中台内业务模型数据的一级主题域、二级主题域、主题对应数据表、数据表所属字段等信息进行梳理，标注相应模型表的负面清单字段信息。并配置业务地图目录信息采集任务，实现业务数据地图的目录信息实时更新。具体实施内容如下：
[0075]
1)业务数据地图采集任务配置
[0076]
开展数据中台业务模型目录信息的采集任务配置工作，并对采集工作流的执行情况进行跟踪，对采集失败的任务进行记录，并基于执行日志开展问题分析后，对采集失败的任务调整后重新进行执行。
[0077]
2)业务数据地图目录有效信息识别
[0078]
根据采集的业务地图数据目录信息，制定能适应不同业务领域的有效表识别规则，并进行对应规则的验证、调整、确认，形成业务地图有效表识别方案，按照识别方案对业务地图目录信息进行识别，形成业务地图有效目录清单。部分识别规则信息如下：
[0079]
[0080]
[0081][0082]
3)业务数据地图目录信息验证与整改
[0083]
基于目录有效信息识别结果，对业务数据地图中数据目录的无效部分开展验证工作，对确认无效的目录表，采用人工、重新采集等多种方式进行整改，并对整改结果进行反复验证。涉及业务地图数据内容如下：
[0084][0085]
(3)应用数据地图数据采集
[0086]
基于数字运营中心业务地图，梳理数据中台支撑业务应用情况，明确支撑应用与数据表的关联关系，配置相关应用数据的目录信息采集任务，按照应用名称
‑
数据表
‑
所属字段方式进行展示，涉及网上电网、网上国网等7个应用765张应用宽表。具体实施内容如下：
[0087]
1)应用数据地图采集任务配置
[0088]
开展数据中台应用数据目录信息的采集任务配置工作，并对采集工作流的执行情况进行跟踪，对采集失败的任务进行记录，并基于执行日志开展问题分析后，对采集失败的任务调整后重新进行执行。
[0089]
2)应用数据地图目录有效信息识别
[0090]
基于采集的应用地图数据目录信息，制定能适应不同应用的有效表识别规则，并进行对应规则的验证、调整、确认，形成应用地图的有效表识别方案，并按照识别方案对应用地图中目录信息进行识别，形成应用地图有效目录清单。
[0091]
3)应用数据地图目录信息验证与整改
[0092]
基于目录有效信息识别结果，对应用数据地图中数据目录的无效部分开展验证工作，对确认无效的目录表，采用人工、重新采集等多种方式进行整改，并对整改结果进行反复验证。
[0093]
2数据服务模块参数梳理
[0094]
根据业务数据地图中采集目录信息，开展6357张模型数据表中的请求字段与响应字段等内容的梳理工作，实现业务数据的关键内容与全量数据的匹配(如全量数据中的济南，与业务数据中的济南项相关的所有数据表)，方便业务数据的共享共用。
[0095]
第二步：数据共享服务实施
[0096]
根据全量数据地图的数据目录生成业务宽表，如将全量数据地图的目录中的济南转换为业务宽表中的001项。将业务宽表在数据中台内落地，并发布为数据api服务，构建完备的数据服务功能，优化数据申请流程，丰富数据共享方式，以多元化的形式，快速响应用户的数据使用需求。
[0097]
第三步：产品超市功能实施
[0098]
构建投诉举报、台区停电、设备缺陷和故障抢修等四个典型应用产品，搭建数据产品统一应用、共享和发布平台，向用户开放优质的数据应用产品资源，提高数据应用产品的复用程度，减少重复建设工作。以投诉举报模块为例，在应用服务器构建投诉举报模块，接收客户端发送的举报投诉信息，对这些信息进行归纳处理。而对于台区停电，则是台区停电模块根据停电历史归纳停电规律，向客户端发送停电信息等功能。
[0099]
如图3所示，该系统300包括：
[0100]
数据缓存单元310，配置用于从数据中台调取运营数据，并缓存所述运营数据；
[0101]
地图生成单元320，配置用于根据预先制定的数据处理规则对所述运营数据进行处理，生成数据地图；
[0102]
共享优化单元230，配置用于根据所述数据地图生成业务宽表，将所述业务宽表部署在数据中台，并将所述业务宽表发布为数据接口服务；
[0103]
功能构建单元340，配置用于构建数据中台的交互管理模块，所述交互管理模块包括投诉举报项、台区停电项、设备缺陷项和故障抢修项。
[0104]
可选地，作为本发明一个实施例，所述地图生成单元包括：
[0105]
过滤设置模块，配置用于预先设置数据过滤规则，根据所述过滤规则去除所述全量数据的无效数据和冗余数据；
[0106]
全量生成模块，配置用于按照预设的全量数据地图目录结构对去除无效数据和冗
余数据后的全量数据进行数据表归纳，生成全量数据地图；
[0107]
业务生成模块，配置用于采集业务数据并根据采集的业务数据目录信息制定能适应不同业务领域的有效表识别方案，按照所述有效表识别方案对业务数据有效表进行识别得到业务数据地图有效目录，并对业务数据的无效部分进行整改和验证；
[0108]
应用生成模块，配置用于基于数字运营中心运营数据，梳理数据中台支撑业务应用情况，明确支撑应用与数据表的关联关系，配置相关应用数据的目录信息采集任务，按照应用名称
‑
数据表
‑
所属字段方式生成应用数据地图进行展示。
[0109]
可选地，作为本发明一个实施例，所述业务生成模块包括：
[0110]
失败记录子模块，配置用于配置数据中台业务模型目录信息的采集任务，并对采集任务的执行情况进行跟踪，对采集失败的任务进行记录；
[0111]
失败操作子模块，配置用于根据所述记录，对采集失败的任务调整后重新进行执行。
[0112]
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
[0113]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0114]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0115]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0116]
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。