一种多终端数据收集和关系转换系统及方法与流程

文档序号:12364241阅读:341来源:国知局
一种多终端数据收集和关系转换系统及方法与流程

本发明涉及互联网领域,尤其涉及一种多终端数据收集和关系转换系统及方法。



背景技术:

当今互联网多终端实时通信技术已经发展的很成熟,利用这些现有的成熟通信技术,使人们生活和工作中很多需要人力投入参与的事情获得了更便利简单的解决方法。

但现在,在互联网领域,还有很多需要解决的问题。本发明针对互联网B2B交易平台中的用户、客户、法人企业、商品等实体的关系翻译需要人为去确定的问题,提出通过一种新的数据收集和关系转换系统,来实现这项工作的自动化。



技术实现要素:

本发明的目的是为了解决现有技术的不足,提供一种多终端数据收集和关系转换系统及方法,可实现系统的关系维护、自动关联和关系转换。

本发明的目的是通过以下技术方案实现的:

一种多终端数据收集和关系转换系统,包括:

服务控制端,用于下发数据拉取命令,解析和绑定实体之间的关系,处理关系翻译请求;

所述服务控制端包括一接口服务模块,用于传送翻译请求和翻译结果的信息;

所述服务控制端包括一关系管理模块,用于在服务控制端上提供实体映射关系数据的查询和维护用户界面;

代理终端,用于接收服务控制端的数据拉取命令并进行数据采集,反馈结果给服务控制端;

关系翻译引擎,用于存储匹配完成的实体映射关系数据,并提供实体的翻译服务给业务系统调用;

所述服务控制端与多个代理终相连接,所述每个代理终端与一个业务系统相连接,所述关系翻译引擎与接口服务模块相连接,所述接口服务模块与多个业务系统相连接;

所述代理终端搜集数据并传送给服务控制端,所述服务控制端接收代理终端传送的数据并产生实体映射关系数据,所述服务控制端将实体映射关系数据传送给关系翻译引擎;所述业务系统发送翻译请求给接口服务模块,所述接口服务模块将翻译请求传送给关系翻译引擎,所述关系翻译引擎将翻译结果传送给接口服务模块,所述接口服务模块将翻译结果传送给业务系统。

上述的一种多终端数据收集和关系转换系统,其中,产生并存实体映射关系数据至少包括以下步骤:

步骤1,所述服务控制端主动下发数据拉取命令给各个代理终端,所述数据拉取命令包括拉取一个实体的信息数据和业务数据;

步骤2,所述代理终端接收服务控制端下发的数据拉取命令,进行数据的搜集和加载,并序列化和压缩搜集的数据,将序列化和压缩后的数据传送给服务控制端;

步骤3,服务控制端接收代理终端传送的实体的信息数据和业务数据,依据实体关系映射规则和相似度的算法,计算得出权重值最高的匹配关系,并将其作为最终确定的映射关系;

步骤4,服务控制端将最终确定的实体映射关系数据传送给关系翻译引擎进行存储。

上述的一种多终端数据收集和关系转换系统,其中,产生并存储实体映射关系数据至少包括以下步骤:

步骤1,所述代理终端实时监控业务系统的业务数据情况,当有新的业务数据产生时,代理终端搜集发生业务关系的数据和相关实体的信息数据,并传送给服务控制端;

步骤2,服务控制端接收代理终端传送的数据,并对其进行解析,依据实体关系映射规则和相似度的算法,计算得出权重值最高的匹配关系,并将其作为最终确定的映射关系;

步骤3,服务控制端将最终确定的实体映射关系数据传送给关系翻译引擎进行存储。

上述的一种多终端数据收集和关系转换系统,其中,,实体映射关系数据的传输至少包括以下步骤:

步骤1,业务系统在业务流转中,需要将某实体翻译成业务系统的实体,则将翻译请求传送给接口服务模块;

步骤2,接口服务模块接收到翻译请求并将翻译请求传送给关系翻译引擎,关系翻译引擎执行翻译,查找实体映射关系数据;

步骤3,关系翻译引擎将翻译结果依据翻译协议组装结果数据返回到请求的业务系统中;

步骤4,请求的业务系统转换实体身份,继续后续业务操作。

上述的一种多终端数据收集和关系转换系统,其中,依据实体关系映射规则和相似度的算法、计算得出权重值最高的匹配关系的具体步骤包括:

根据搜集的实体的信息数据和业务数据,采用下述公式获取匹配关系:

<mrow> <mi>r</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <mi>x</mi> <mi>y</mi> <mo>-</mo> <mo>&Sigma;</mo> <mi>x</mi> <mo>&Sigma;</mo> <mi>y</mi> </mrow> <mrow> <msqrt> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mo>&Sigma;</mo> <mi>x</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&CenterDot;</mo> <msqrt> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mo>&Sigma;</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> <mo>;</mo> </mrow>

其中,X变量为需要翻译的实体对象,Y变量为需要翻译的实体的信息数据和业务数据;r(X,Y)为X变量和Y变量的相关系数,-1≤r≤+1。

通过本发明的多终端数据收集和关系转换系统,可简化工作流程,节省人力、提高工作效率,例如:业务人员处理交易订单合同的时候,不需要知道某笔订单的客户对应的开票法人企业是什么,也不需要知道订单中交易的商品名称对应开票的国家规定商品名称是什么,通过本发明的多终端数据收集和关系转换系统,可实现业务对象和商品在用户、客户、法人、企业之间的关系映射转换的自动收集和转换。

综上所述,本发明通过分布式的多终端进行数据收集,并通过规则匹配等算法获取实体映射关系数据,解决了互联网B2B平台中各个业务系统流转时关系实体的自动转换问题,释放了人力的手工干预翻译的操作。

附图说明

图1是本发明一种多终端数据收集和关系转换系统的服务控制端、代理终端、关系翻译引擎的连接原理图;

图2是本发明的实体映射关系数据的传输和翻译服务的运行流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作详细介绍。

请参见图1,本发明提供了一种多终端数据收集和关系转换系统,

本发明是为了解决B2B交易平台中业务对象和商品在用户、客户、法人、企业之间的关系映射转换的问题,提供一种系统的关系维护、自动关联、关系转换的解决方案。

本发明包括服务控制端、多个代理终端、关系翻译引擎、接口服务模块。

服务控制端用于下发数据拉取命令,解析和绑定实体之间的关系,处理关系翻译请求。服务控制端包括一关系管理模块和一接口服务模块,关系管理模块用于在服务控制端上提供实体映射关系数据的查询和维护用户界面,接口服务模块用于传送翻译请求和翻译结果的信息。

代理终端用于接收服务控制端的数据拉取命令并进行数据采集,反馈结果给服务控制端。

关系翻译引擎用于存储匹配完成的实体映射关系数据,并提供实体的翻译服务给业务系统调用;可采用关系型数据库管理系统MYSQL来存储实体映射关系数据,采用Mybatis提供数据访问和转换接口。

实体是指需要翻译数据的对象,例如一个订单实体,里面会包括有订单相关的id标记,订单相关的所有信息,又例如:客户实体,法人实体,用户实体,商品实体等。

业务系统包括但不限于B2B电商企业内部的CRM,OMS(订单管理系统),PMS(商品管理系统),ERP,财务系统在内的业务系统,这些系统的作用主要是对B2B电商业务的信息化支撑。

业务数据是指企业B2B交易平台中涉及的各个业务系统产生的业务关系数据,例如,订单管理系统中的一条订单数据,客户管理系统中的一条合同数据等。

服务控制端与多个代理终相连接,每个代理终端与一个业务系统相连接,关系翻译引擎与接口服务模块相连接,接口服务模块与多个业务系统相连接。

代理终端实时监控多个业务系统的状况,可搜集数据并传送给服务控制端,服务控制端接收代理终端传送的数据并产生实体映射关系数据并将实体映射关系数据传送给关系翻译引擎。

当业务系统需要实体的关系转换服务时,可发送翻译请求给接口服务模块,接口服务模块将翻译请求传送给关系翻译引擎,关系翻译引擎将翻译结果传送给接口服务模块,接口服务模块将翻译结果传送给业务系统。

本发明的第一个目的是产生并存实体映射关系数据,本发明可通过两种模式产生并存储实体映射关系数据,第一种模式为主动模式,服务控制端主动下发数据拉取命令给各个代理终端,数据拉取命令包括拉取一个实体的信息数据和业务数据。

代理终端接收到服务控制端下发的数据拉取命令,开始进行数据的搜集和加载,并序列化和压缩搜集的数据,将序列化和压缩后的数据传送给服务控制端。

服务控制端接收代理终端传送的实体的信息数据和业务数据,依据实体关系映射规则和相似度的算法,经过计算后得出权重值最高的匹配关系,并将其作为最终确定的映射关系,实体关系映射规则包括实体的标记号、实体的名称字段、实体的特征字段等的匹配关系。

本发明产生并存储实体映射关系数据的第二种模式为反向模式,代理终端实时监控业务系统的业务数据情况,当有新的业务数据产生时,代理终端搜集发生业务关系的数据和相关实体的信息数据,并传送给服务控制端。

服务控制端接收代理终端传送的数据,并对其进行解析,依据实体关系映射规则和相似度的算法,经过计算后得出权重值最高的匹配关系,并将其作为最终确定的映射关系,实体关系映射规则包括实体的标记号、实体的名称字段、实体的特征字段等的匹配关系。

计算匹配关系的主要计算公式有:

<mrow> <mi>r</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <mi>x</mi> <mi>y</mi> <mo>-</mo> <mo>&Sigma;</mo> <mi>x</mi> <mo>&Sigma;</mo> <mi>y</mi> </mrow> <mrow> <msqrt> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mo>&Sigma;</mo> <mi>x</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&CenterDot;</mo> <msqrt> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mo>&Sigma;</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> <mo>;</mo> </mrow>

其中,X变量为需要翻译的实体对象,Y变量为需要翻译的实体的信息数据和业务数据,可根据需要翻译的实体类型从额外的爬虫系统数据库中获取相对应的实体数据;r(X,Y)为X变量和Y变量的相关系数,-1≤r≤+1。

r(X,Y)的性质如下:

(1)当r(X,Y)>0时,表示两变量正相关,当r(X,Y)<0时,两变量为负相关。

(2)当|r(X,Y)|=1时,表示两变量为完全线性相关,即为函数关系。

(3)当r(X,Y)=0时,表示两变量间无线性相关关系。

(4)当0<|r(X,Y)|<1时,表示两变量存在一定程度的线性相关,且|r(X,Y)|越接近1,两变量间线性关系越密切;|r(X,Y)|越接近于0,表示两变量的线性相关越弱。

可将r(X,Y)划分为三个等级:|r(X,Y)|<0.4为低度相关;0.4≤|r(X,Y)|<0.7为显著相关;0.7≤|r(X,Y)|<1为高度相关。

最后,服务控制端将最终确定的实体映射关系数据传送给关系翻译引擎进行存储。

本发明的第二个目的是要实现将存储的实体映射关系数据服务于业务系统,保证业务系统业务流转过程中实体的自动转换,而不需要人工转换,请参见图2。

业务系统在业务流转中,如果需要将某实体翻译成业务系统的实体,实现实体关系转换,则可将翻译请求传送给接口服务模块。接口服务模块接收到翻译请求并将翻译请求传送给关系翻译引擎,关系翻译引擎执行翻译,查找实体映射关系数据。

查找实体映射关系数据的步骤包括:

(1)依据已经存在的确切历史业务关系数据翻译,若没有,则进入步骤(2)执行翻译。

(2)依据业务系统业务进行中上报到服务控制端的确定的匹配关系翻译,若没有,则进入步骤(3)执行翻译。

(3)重新根据搜集的实体的信息数据和业务数据,采用下述公式获取匹配关系:

<mrow> <mi>r</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <mi>x</mi> <mi>y</mi> <mo>-</mo> <mo>&Sigma;</mo> <mi>x</mi> <mo>&Sigma;</mo> <mi>y</mi> </mrow> <mrow> <msqrt> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mo>&Sigma;</mo> <mi>x</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&CenterDot;</mo> <msqrt> <mrow> <mi>n</mi> <mo>&Sigma;</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mo>&Sigma;</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> <mo>.</mo> </mrow>

若根据计算结果按上述三个等级的划分达到高度相关级别,则返回翻译结果,若没有达到高度相关级别则视为翻译失败,进入步骤(4)。

(4)进入此步骤(4)的翻译请求为程序无法智能完成的翻译,需要审核人员决定从上述步骤(3)中匹配到的低度相关或显著相关的候选结果中决定选用哪条映射关系结果。或者审核人员根据已知资料或者其他途径知道的映射关系进行指定。

最后,关系翻译引擎将翻译结果依据翻译协议组装结果数据返回到请求的业务系统中,请求的业务系统转换实体身份,继续后续业务操作。

翻译协议定义了本发明系统对外的翻译接口的规范,包括:请求翻译的数据格式、请求方式,参数规范等要求;以及翻译结果的反馈方式、反馈的数据格式、反馈的消息描述等要求。

通过本发明的多终端数据收集和关系转换系统,可简化工作流程,节省人力、提高工作效率,例如:业务人员处理交易订单合同的时候,不需要知道某笔订单的客户对应的开票法人企业是什么,也不需要知道订单中交易的商品名称对应开票的国家规定商品名称是什么,通过本发明的多终端数据收集和关系转换系统,可实现业务对象和商品在用户、客户、法人、企业之间的关系映射转换的自动收集和转换。

综上所述,本发明通过分布式的多终端进行数据收集,并通过规则匹配等算法获取实体映射关系数据,解决了互联网B2B平台中各个业务系统流转时关系实体的自动转换问题,释放了人力的手工干预翻译的操作。

以上所述的实施例仅用于说明本发明的技术思想及特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,不能仅以本实施例来限定本发明的专利范围,即凡依本发明所揭示的精神所作的同等变化或修饰,仍落在本发明的专利范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1