1.本发明涉及大数据处理
技术领域：
：，具体来说，涉及一种基于业务对象的智能关系管理和智能数据融合的方法。
背景技术：
：：2.2019年我国数字经济规模达到35.8亿元，数字经济蓬勃发展已成为国民经济核心增长极之一。数字经济体系框架由“两化”到“三化”再到“四化”：以数据价值化为基础、数字产业化和产业数字化为核心、数字化治理为保障。数据、数字化日益成为生活、生产的一部分。3.在数字经济下产生的新业态促使企业进行变革创新，如何构建新格局，如何催生新动能，如何激发新活力，如何打造新竞争优势，如何拓展新局面……这些都是横亘在企业面前的问题。4.于企业来说，对于外部的情况，真正重要的不是趋势，而是趋势的转变。认识到趋势转变，并对此进行布局、改变，这是企业能够持续发展的关键因素。现在，数字经济的时代正要来临，数字化转型正成为企业重塑竞争力的关键点。5.信息化、数字化时代，所有的数据都在线化，用户的数据被记录下来，但是数据记录下来，仅仅是让我们探索数据之间的关系连接有了可能，但是这种连接的探索是非常困难的。任何企业经营过程中所涉及的对象和对象的关系都非常复杂的。如何能够智能、高效的构建对象关系，成了数据分析活动的关键。因此，本发明提出了一种基于业务对象的智能关系管理和智能数据融合的方法。技术实现要素：6.针对相关技术中的问题，本发明提出一种基于业务对象的智能关系管理和智能数据融合的方法，以克服现有相关技术所存在的上述技术问题。7.为此，本发明采用的具体技术方案如下：一种基于业务对象的智能关系管理和智能数据融合的方法，该方法包括以下步骤：s1、通过对象中心抽象出底层物理表的共性形成对象，并基于业务主键自动生成全局对象关系视图；s2、通过统一对象中心和全局的对象关系管理，实现快速关系扁平化并形成新的分析视角；s3、利用贪心算法，通过排列组合的方式计算找到每一步的最佳合并组合，得到最优合并路径；s4、基于最优路径完成融合计划，并通过接口提交至全程调度引擎进行调度执行。8.进一步的，所述s1中通过对象中心抽象出底层物理表的共性形成对象，并基于业务主键自动生成全局对象关系视图包括以下步骤：fetch系数/getfetchfrommiddletps；其中，gettablerowssum表示合并写入量，getmergewithmiddletps表示合并写入速度，getfetchfrommiddletps表示fetch速度，fetch指数据从数据库提取的速度，sum(field.count)表示需要提取数据的字段数量。15.本发明的有益效果为：1）、本发明实现了全局业务分析实体的对象关系智能化识别和管理，并基于全局的对象关系，按需把底层的原子数据以最优性能、最短路径进行组装，生成满足前端业务的数据表，从而可以在数字世界里面能够更高效的建立连接，从而能够实现更高效的协同，对业务做出更快的响应和敏捷的调整。16.2）、本发明通过字段映射、业务主键管理等技术，实现业务分析对象关系的智能化自动发现与识别，形成全局的分析对象视图。同时，本发明利用贪心算法及排列组合的方式，通过每一步选一个或者多个基础库表，与主表或主表的衍生表进行合并，并计算每一个组合的整体合并效率，计算完成后便可找到该步的最佳合并组合，从而可以实现以最少的计算资源完成在分布式数据库中以最小代价、最高效率、最短路径按需完成应用数据的智能化合并。附图说明17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。18.图1是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法的流程示意图；图2是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法的原理示意图；图3是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法中全局业务对象关系管理原理示意图；图4是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法中形成业务对象间关系的原理示意图图5是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法中业务对象的全局关联关系的关系透传的原理示意图；图6是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法中基础主表和基础库表的合并原理示意图；图7是根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法中数据扁平化处理的实例图。具体实施方式19.为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。20.根据本发明的实施例，提供了一种基于业务对象的智能关系管理和智能数据融合的方法。21.本发明的目的：首先以一个分析对象（例如客户，订单，活动，渠道，运营位）为中心，自动的把对象的关系圈发现，以一个业务对象为中心，自动的找出这个对象的直接关系，如：以客户为核心，包括了这个客户出生城市，这个客户的父亲，母亲，这个客户的毕业学校，毕业学校所在的城市，这其实就是一个关系圈，以递归的方式一圈圈地找；其次，是进行关系扁平化。以特定范式持续建立数据能力体系的技术，也就是在解决一个业务问题的过程，实现的关系扁平化，通过扁平化的对象关系来实现对象的多维度分析。最终，通过智能的数据融合技术，按照业务需要，以最优性能连接底层物理模型数据，智能化生成业务数据，提供给前端应用。22.现结合附图和具体实施方式对本发明进一步说明，如图1‑7所示，根据本发明实施例的一种基于业务对象的智能关系管理和智能数据融合的方法。23.由于人们对客观数据进行分析的时候往往存在很多种主观解读，例如通过用户消费这个行为，可以看从用户喜欢去哪些地方消费来看，也可以从用户通过什么渠道消费来看，也可以从用户喜欢消费什么产品去看，每种都有其存在的理由，而且随着业务的发展，这种主观解读会不断变化。目前传统的数据仓库开发做数据主要还是以应用为驱动，我要分析用户，进行营销，可能同时需要考虑用户归属的家庭，同学，朋友关系等，这些关系存在复杂的对象关系中，可能需要经过多个中间对象才能达到需要的目标对象，每一次新的分析需求出现，可能都要通过后台新开发新的脚本进行复杂的表关联实现，通过对象中心，一方面抽象出底层众多物理表的共性（有相同业务主键）形成对象，屏蔽了后台复杂的计算逻辑，使应用人员能够以业务化的方式来使用对象而不用关心碎片化的物理表，另一方面通过统一对象中心和全局的对象关系管理，能够在确认分析主体的情况下，界面拖拽式的实现快速关系编平化形成新的分析视角。24.具体的，一种基于业务对象的智能关系管理和智能数据融合的方法，该方法包括以下步骤：s1、通过对象中心抽象出底层物理表的共性形成对象，并基于业务主键自动生成全局对象关系视图；业务对象是通用的业务语言，是企业经营过程中所要分析的经营要素，如用户、订单、物流等，而用户通过订单与产品产生了关联关系。每一种业务对象都会存在一个业务主键，如：用户的物理主键是用户编码，产品的业务主键是产品编码，在订单对象里，业务主键是订单编码，同时会存在用户编码、产品编码。25.其中，所述s1中通过对象中心抽象出底层物理表的共性形成对象，并基于业务主键自动生成全局对象关系视图包括以下步骤：s101、通过业务主键管理，确定与每个对象相匹配的唯一业务主键；s102、自动扫描库表的表结构元数据及库表字段，并与字段库的业务组件进行匹配；s103、将存于库表中的业务主键表示为业务对象，并将存于库表中的字段非业务主键但存于业务主键库中的主键表示为外键；s104、通过业务主键找到与其他业务对象主键相对应的业务对象，形成业务对象间的关系，得到全局对象关系视图。26.具体的，所述s104中通过业务主键找到与其他业务对象主键相对应的业务对象，形成业务对象间的关系，得到全局对象关系视图还包括以下步骤：若自动识别形成的业务对象间的关系不准确，则采用可视化的页面进行手工调整。27.本实施例中，基于统一的业务对象，能够实现一键关系扁平化。例如我们要分析客户，但是同时需要考虑客户归属的部门，企业，客户上学的学校，这些关键存在复杂的对象关系中心，可能需要经过多个中间对象才能达到需要管理的目标对象，如何能够按照分析的需要，以客户为基准，快速建立触达直接的与间接的关系对象。28.业务对象间的关系是非常复杂的。最终会形成一个非常复杂、蜘蛛网般的网状关系。但我们的分析过程只会关心一种的一条或者几条分析关系。如：订单——>用户——>客户等。29.s2、通过统一对象中心和全局的对象关系管理，实现快速关系扁平化并形成新的分析视角；其中，所述s2中通过统一对象中心和全局的对象关系管理，实现快速关系扁平化并形成新的分析视角包括以下步骤：s201、基于管理好的全局对象关系，按照分析需要获取对象的线性关系；例如：需要从客户的视角分析，客户的订单状况。客户与订单是没有直接关系的。但客户与用户是存在关联关系，而用户与订单是存在关联关系。30.s202、利用业务对象全局关联关系的关系透传，识别出关联关系的链路；s203、把不同库表中的数据拉平并存放于同一库表中，实现数据的扁平化处理；具体的，在数仓（数据仓库）的分析应用过程中，星型模型的数据在应用过程中会存在较大的性能问题，因此，通常需要对数据进行扁平化，把不同库表的数据进行拉平，存在放在同一张库表中。通过扁平化的库表统一对外提供服务，从而有效提升数据使用的复杂度和性能。扁平化的过程是系统自动实现的，通过关联和主从关系，自动加工，加工逻辑如下：select客户.客户id、客户.客户名称、用户.用户id、用户.用户.用户名称、订单.订单id、订单.订单金额、订单.订单类型、订单.订单日期from订单leftjoin用户on订单.用户id=用户.用户idleftjoin客户on用户.客户id=客户.客户id。31.最终，得到对应的扁平化数据（如图7所示）。32.s204、利用扁平化处理后的库表统一对外提供服务，形成新的分析视角。33.智能融合引擎的目标是以最少的计算资源，满足每个应用报表的出数时间要求，尽量按应用报表优先级顺序，生成应用报表。智能融合引擎采用贪心算法，通过排列组合，每一步选一个或者多个基础库表，与主表或者主表的衍生表进行合并，每一个组合都计算整体的合并效率，计算完成后，找到该步的最佳合并组合，再进行下一步，直到所有的报表都完成输出，具体如下：s3、利用贪心算法，通过排列组合的方式计算找到每一步的最佳合并组合，得到最优合并路径；其中，所述s3中利用贪心算法，通过排列组合的方式计算找到每一步的最佳合并组合，得到最优合并路径包括以下步骤：s301、利用贪心算法，每一步选取一个或多个基础库表与主表（如：用户信息主表）或主表的扩展属性表（如：用户属性扩展表）进行合并；s302、对合并后的全部组合进行整体合并效率的计算，并找到每一步中合并效率最高的组合进行合并，得到中间表；s303、将合并后的中间表作为下一次合并的基础源表；s304、通过一步或多步的合并找到满足所有的应用报表输出，完成融合计划。34.具体的，不论是直接输出和合并后输出，必须在报表规定出数时间之前完成输出。35.具体的，所述贪心算法如下：每个合并组合的计算效率：e(a…d)=∑merge(r1..rn)/∑[cost(r1..rn)]；r1报表的merge量：merge(r1)=(rf1‑rt1)*rp1；其中，a为基础主表，b、c、d为基础库表，r1、r2、r3、…、rn为应用报表，rf1、rf2、rf3、…、rfn为出数时间，rp1、rp2、rp3、…、rpn为优先级，rt1、rt2、rt3、…、rtn为应用报表的预期完成时间，merge为合并操作耗费时间，属于数据库的一种操作，cost为每一种路径所耗费时间。[0036]所述rt1的计算规则包括以下两种情况：第一种：r1直接从基础库表合并，不使用合并中间表；rt1=max(a就绪时间，b就绪时间)+洗牌移动总行数*sum(field.count)*洗牌系数/洗牌速度+gettablerowssum/getmergewithmiddletps；第二种：r1是通过中间表输出，并且3个报表共用一个中间表；rt1=max(a就绪时间，b就绪时间)+洗牌移动总行数*sum(field.count)*洗牌系数/洗牌速度+gettablerowssum/getmergewithmiddletps+主表行数*应用报表字段数*fetch系数/getfetchfrommiddletps；其中，gettablerowssum表示合并写入量，getmergewithmiddletps表示合并写入速度，getfetchfrommiddletps表示fetch速度，fetch指数据从数据库提取的速度，sum(field.count)表示需要提取数据的字段数量。[0037]s4、基于最优路径完成融合计划，并通过接口提交至全程调度引擎进行调度执行。[0038]为了更好地理解本发明的上述技术方案，现对本实施中技术方案的具体实例进行举例说明。[0039]面向业务过程自助标签、指标定制；当业务人员在日常的数据分析或数据探索过程中，需要按照不同的维度进行对象分析和统计分析时，相关流程包括：可基于业务分析对象的全局关系，使用标签中心的自定义标签功能，按需定制应用标签，如：组合标签、分组标签等；可基于业务分析对象的全局关系，使用指标中心的自定义派生指标功能，按需从不同维度定制派生指标，用于统计分析；可基于业务分析对象的数据集管理功能，定制业务应用库表，数据智能融合引擎可以根据需求，智能生成应用数据为下游提供数据能力服务。[0040]综上所述，借助于本发明的上述技术方案，本发明实现了全局业务分析实体的对象关系智能化识别和管理，并基于全局的对象关系，按需把底层的原子数据以最优性能、最短路径进行组装，生成满足前端业务的数据表，从而可以在数字世界里面能够更高效的建立连接，从而能够实现更高效的协同，对业务做出更快的响应和敏捷的调整。[0041]此外，本发明通过字段映射、业务主键管理等技术，实现业务分析对象关系的智能化自动发现与识别，形成全局的分析对象视图。同时，本发明利用贪心算法及排列组合的方式，通过每一步选一个或者多个基础库表，与主表或主表的衍生表进行合并，并计算每一个组合的整体合并效率，计算完成后便可找到该步的最佳合并组合，从而可以实现以最少的计算资源完成在分布式数据库中以最小代价、最高效率、最短路径按需完成应用数据的智能化合并。[0042]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12