一种数据处理方法和设备与流程

文档序号:11276405阅读:193来源:国知局
一种数据处理方法和设备与流程

本申请涉及数据处理技术领域,尤其涉及一种数据处理方法和设备。



背景技术:

随着科学技术的发展,互联网技术与人们的生产生活越来越紧密。人们通过互联网平台执行各种各样的业务。例如:购买车票、缴纳水费、电话充值等等各种业务。每一个用户通过互联网平台执行业务时将产生相应的业务数据,这样互联网服务器可以采集到不同用户的各种业务数据。在大数据时代,可以通过对采集的各种业务数据进行分析,进一步确定不同用户之间的关联关系。

但是,由于在不同的业务场景中互联网服务器采集到的不同用户的各种业务数据是相对离散的,这样,在对采集到的各种业务数据进行分析时,需要消耗大量的系统资源,导致数据分析效率较低。



技术实现要素:

有鉴于此,本申请实施例提供了一种数据处理方法和设备,用于解决现有技术中存在的业务数据分析效率较低的问题。

一种数据处理方法,包括:

获取待处理的第一业务数据和待处理的第二业务数据;

分别分析所述第一业务数据包含的第一特征信息,以及分析所述第二业务数据包含的第二特征信息,其中,所述特征信息中包含对象特征、关系特征以及属性特征中的至少一种;

根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系。

一种数据处理设备,包括:

获取单元,用于获取待处理的第一业务数据和待处理的第二业务数据;

分析单元,用于分别分析所述第一业务数据包含的第一特征信息,以及分析所述第二业务数据包含的第二特征信息,其中,所述特征信息中包含对象特征、关系特征以及属性特征中的至少一种;

处理单元,用于根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系。

本申请有益效果如下:

本申请实施例获取待处理的第一业务数据和待处理的第二业务数据;分别分析所述第一业务数据包含的第一特征信息,以及分析所述第二业务数据包含的第二特征信息,所述特征信息中包含对象特征、关系特征以及属性特征中的至少一种;根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系。这样,在获取到待处理的业务数据时,分析该业务数据中包含的特征信息,并利用分析得到的特征信息,确定获取到的该业务数据与其他业务数据之间的关联关系,有效避免了现有技术中各个业务数据相对离散的特点,使得服务器能够根据不同业务数据之间的关联关系实现对业务数据的分析,有效提升了业务数据的分析效率,达到节省系统资源的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程示意图;

图2为关系网络图;

图3为本申请实施例提供的一种数据处理设备的结构示意图。

具体实施方式

为了实现本申请的目的,本申请实施例提供了一种数据处理方法和设备,在获取到待处理的业务数据时,分析该业务数据中包含的特征信息,并利用分析得到的特征信息,确定获取到的该业务数据与其他业务数据之间的关联关系,有效避免了现有技术中各个业务数据相对离散的特点,使得服务器能够根据不同业务数据之间的关联关系实现对业务数据的分析,有效提升了业务数据的分析效率,达到节省系统资源的目的。

下面结合说明书附图对本申请各个实施例作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。

图1为本申请实施例提供的一种数据处理方法的流程示意图。所述方法可以如下所示。

步骤101:获取待处理的第一业务数据和待处理的第二业务数据。

在步骤101中,从服务器中读取多个业务数据(这里以第一业务数据和第二业务数据为例),这里读取的第一业务数据和第二业务数据可以是属于同一业务类型的业务数据,也可以是属于不同业务类型的业务数据。

需要说明的是,这里的第一业务数据和第二业务数据中“第一”和“第二”没有特殊含义,仅仅用来区分两个不同的业务数据。

例如:获取的一条业务数据a为:张三、男、出生日期为1970-1-1、浙江杭州人、居住在杭州西湖区文新大厦2幢402;

获取的一条业务数据b为:李四、男、出生日期为1973-2-1、山东济南人、居住在杭州西湖区文新大厦2幢402;

获取的一条业务数据c为:王五、2014-1-1、从杭州到上海、乘坐d1234;

获取的一条业务数据d为:张三、2014-1-1、从杭州到北京、乘坐d1234。

从获取到的业务数据中,可以发现业务数据a与业务数据b属于同一个业务类型的业务数据;业务数据c与业务数据d属于同一个业务类型的业务数据;业务数据a、业务数据b与业务数据c、业务数据分别属于不同业务类型的业务数据。

步骤102:分别分析所述第一业务数据包含的第一特征信息,以及分析所述第二业务数据包含的第二特征信息。

其中,所述特征信息中包含对象特征、关系特征以及属性特征中的至少一种。

在步骤102中,对于获取到的第一业务数据,首先提取该第一业务数据中包含的数据内容。

例如:若第一业务数据为上述事例中的业务数据a,那么可以提取到的该业务数据a中包含的数据内容有“张三”、“男”、“出生日期为1970-1-1”、“浙江杭州人”、“居住在杭州西湖区文新大厦2幢402”。

若第一业务数据为上述事例中的业务数据d,那么可以提取到的该业务数据d中的数据内容为“张三”、“2014-1-1”、“从杭州到北京”、“乘坐d1234”。

其次,分析每一个数据内容对应的特征类型。

在本申请实施例中特征类型包含对象类型、属性类型和关系类型。那么对象类型对应的特征称之为对象特征,属性类型对应的特征称之为属性特征,关系类型对应的特征称之为关系特征。

这里的对象类型可以是指将客观事物进行抽象得到的类型,一般包含实体子类型和事件子类型。

例如:业务数据a中“张三”表示一个人名,人可以看做一个实体,那么“张三”对应的类型可以看做是对象类型中的实体子类型;“杭州西湖区文新大厦2幢402”表示一个地名,地名也可以看做一个实体,那么“杭州西湖区文新大厦2幢402”对应的类型可以看做是对象类型中的实体子类型。

再例如:业务数据d中“张三”表示一个人名,人可以看做一个实体,那 么“张三”对应的类型可以看做是对象类型中的实体子类型;“乘坐d1234”表示一个事件,事件也可以看做一个实体,那么“乘坐d1234”对应的类型可以看做是对象类型中的事件子类型。

这里的属性类型可以是指事物的属性,由于对象类型中包含实体子类型,那么对于实体子类型一般会对应一些属性,那么所对应的属性可以称之为属性类型。

例如:业务数据a中包含的数据内容“男”、“出生日期为1970-1-1”、“浙江杭州人”,“男”标志一个人的性别,而性别可以看做一个属性,那么“男”对应的类型可以看做是属性类型;“出生日期为1970-1-1”标志一个人的出生日期,而出生日期也可以看做一个属性,那么“出生日期为1970-1-1”对应的类型可以看做是属性类型;“浙江杭州人”标志一个人的籍贯,而籍贯也可以看做一个属性,那么“浙江杭州人”对应的类型可以看做是属性类型。

这里的关系类型可以是指不同对象之间的结构关系,这种结构关系可以是关联关系,也可以是依赖关系,这里不做限定。

例如:业务数据a中“张三”与“杭州西湖区文新大厦2幢402”之间的关系是“居住在”,即一种居住关系,可表示为“张三”-“居住”-“杭州西湖区文新大厦2幢402”;业务数据d中“张三”与“d1234”之间的关系是“乘坐”,即一种乘坐关系,可表示为“张三”-“乘坐”-“d1234”。

最后,根据分析得到的特征类型,确定该第一业务数据包含的第一特征信息。

具体地,通过分析可以发现第一业务数据中包含的数据内容所对应的特征类型,进而根据这些特征类型可以确定该第一业务数据所包含的第一特征信息。

例如:业务数据a中包含的数据内容有“张三”、“男”、“出生日期为1970-1-1”、“浙江杭州人”、“居住在杭州西湖区文新大厦2幢402”,分别所对应的特征类型为:实体子类型、属性类型、属性类型、属性类型、关系类型。 那么确定该业务数据a中包含的第一特征信息有对象特征、属性特征和关系特征。

可选地,在本申请实施例中,分析所述第一业务数据包含的第一特征信息的方式还可以包括:

确定所述第一业务数据对应的业务类型;

根据业务类型与数据分析模型之间的映射关系,确定所述第一业务数据对应的业务类型对应的数据分析模型,其中,所述数据分析模型用于抽取业务数据的特征信息;

利用所述数据分析模型分析所述第一业务数据中包含的第一特征信息。

具体地,不同的业务场景将产生不同的业务数据,那么对于获取到的第一业务数据,可以确定该业务数据对应的业务类型;在确定该第一业务数据对应的业务类型后,若预先建立业务类型与数据分析模型之间的映射关系,那么可以确定用于分析该第一业务数据对应业务类型的数据分析模型。

这样可以利用得到的数据分析模型对第一业务数据进行分析,抽取出该第一业务数据中包含的第一特征信息。

下面说明如何建立业务类型与数据分析模型之间的映射关系。

互联网平台提供了各种各样的业务场景,每一个业务场景所采集的业务数据不同,例如:账户信息注册场景,所采集的业务数据包含:姓名、性别、出生日期、籍贯、住所地等用户的基本信息;车票购买场景,所采集的业务数据包含:乘车人姓名、乘车人身份证号码、出发地与目的地、所乘车辆信息等于乘车有关的信息。由此可见,不同业务场景所采集的业务数据所包含的特征信息也不同。那么针对一个业务类型,可以执行以下操作:

获取所述业务类型对应的至少两个业务数据;

分别确定每一个所述业务数据中包含的对象特征、关系特征以及属性特征;

利用每一个所述业务数据中包含的对象特征、关系特征以及属性特征,构 建所述业务类型对应的数据分析模型。

需要说明的是,本申请实施例中所记载的数据分析模型可以以工具的形式呈现,也可以以数据库的形式呈现,这里不做限定。

在利用得到的数据分析模型对第一业务数据进行分析时,可以将第一业务数据输入分析工具,由分析工具对第一业务数据中包含的特征信息进行抽取。

对于本申请实施例中所记载的第二业务数据可以采用与第一业务数据相同的分析方式得到第二业务数据中包含的第二特征信息,这里不再详细描述第二业务数据中包含的第二特征信息的分析方法。

需要说明的是,“第一特征信息”与“第二特征信息”中的“第一”和“第二”没有特殊含义,仅仅用来表示不同业务数据对应的特征信息。

步骤103:根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系。

在步骤103中,若所述第一特征信息和所述第二特征信息中包含至少一个对象特征,那么根据所包含的相同对象特征的个数,确定所述第一业务数据与所述第二业务数据之间的关联强度;

若所述第一特征信息和所述第二特征信息中包含至少一个关系特征,那么根据所包含的相同关系特征的个数,确定所述第一业务数据与所述第二业务数据之间的关联强度;

若所述第一特征信息和所述第二特征信息中包含至少一个属性特征,那么根据所包含的相同属性特征的个数,确定所述第一业务数据与所述第二业务数据之间的关联强度,其中,所述个数的数值越大对应的关联强度越大。

例如:获取到的多个业务数据,通过上述确定每一个业务数据的特征信息之后,发现多个业务数据中包含的地址信息相同、时间信息相同、行为数据也相同,那么可以推断出产生这多个业务数据的用户之间具备较强的关联关系,即多个用户有可能一同去执行一个业务,可以应用在根据一个犯罪分子的业务数据,通过分析与其关联的业务数据找到与该犯罪分子相关联的其他嫌疑分 子。

在本申请的另一个实施例中,所述方法还包括:

根据确定的所述第一业务数据与所述第二业务数据之间的关联关系,建立包含所述第一业务数据和所述第二业务数据的关系网络图。

例如:获取的一条业务数据a为:张三、男、出生日期为1970-1-1、浙江杭州人、居住在杭州西湖区文新大厦2幢402;

获取的一条业务数据b为:李四、男、出生日期为1973-2-1、山东济南人、居住在杭州西湖区文新大厦2幢402;

获取的一条业务数据c为:王五、2014-1-1、从杭州到上海、乘坐d1234;

获取的一条业务数据d为:张三、2014-1-1、从杭州到北京、乘坐d1234。

通过使用上述的分析方式,确定得到每一条业务数据的特征信息,那么可以确定业务数据a、业务数据b、业务数据c和业务数据d之间的关系网络图,如图2所示,为生成的关系网络图。

从图2中可以直接看出,张三与王五同时乘坐过d1234这趟车;张三与李四都居住在杭州西湖区文新大厦2幢402。相对于网络中存储的离散业务数据来讲,更能直观看出不同业务数据之间的关联关系。

在本申请的另一个实施例中,在分析得到所述第一业务数据的第一特征信息时,所述方法还包括:

按照特征信息的类型,分类存储所述第一业务数据,并建立特征信息的类型与所述第一业务数据之间的映射关系。

具体地,在得到每一个业务数据的特征信息时,可以根据业务数据包含的特征信息,建立业务数据与特征信息之间的映射关系,对于系统来讲,可以根据特征信息,对采集到的业务数据进行分析,同一个特征信息对应的业务数据属于同一个类。

例如:可以按照关系特征进行分类,那么上述业务数据c和业务数据d属于同一个特征对应的类别;可以按照对象特征分类,那么业务业务数据a和业 务数据d属于同一个特征对应的类别。

这样,在确定一个特征类型或者一个业务数据时,可以通过搜索的方式获取到满足该特征类型或者与该业务数据相关联的其他业务数据,提升数据分析效率,并且快速确定各个业务数据之间的关联性。

通过本申请实施例所提供的技术方案,获取待处理的第一业务数据和待处理的第二业务数据;分别分析所述第一业务数据包含的第一特征信息,以及分析所述第二业务数据包含的第二特征信息,所述特征信息中包含对象特征、关系特征以及属性特征中的至少一种;根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系。这样,在获取到待处理的业务数据时,分析该业务数据中包含的特征信息,并利用分析得到的特征信息,确定获取到的该业务数据与其他业务数据之间的关联关系,有效避免了现有技术中各个业务数据相对离散的特点,使得服务器能够根据不同业务数据之间的关联关系实现对业务数据的分析,有效提升了业务数据的分析效率,达到节省系统资源的目的。

图3为本申请实施例提供的一种数据处理设备的结构示意图。所述数据处理设备包括:获取单元31、分析单元32和处理单元33,其中:

获取单元31,用于获取待处理的第一业务数据和待处理的第二业务数据;

分析单元32,用于分别分析所述第一业务数据包含的第一特征信息,以及分析所述第二业务数据包含的第二特征信息,其中,所述特征信息中包含对象特征、关系特征以及属性特征中的至少一种;

处理单元33,用于根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系。

在本申请的另一个实施例中,所述分析单元32分析所述第一业务数据包含的第一特征信息,包括:

确定所述第一业务数据对应的业务类型;

根据业务类型与数据分析模型之间的映射关系,确定所述第一业务数据对 应的业务类型对应的数据分析模型,其中,所述数据分析模型用于抽取业务数据的特征信息;

利用所述数据分析模型分析所述第一业务数据中包含的第一特征信息。

在本申请的另一个实施例中,所述数据处理设备还包含:建立单元34,其中,所述建立单元34通过以下方式建立业务类型与数据分析模型之间的映射关系:

针对一种业务类型,获取所述业务类型对应的至少两个业务数据;

分别确定每一个所述业务数据中包含的对象特征、关系特征以及属性特征;

利用每一个所述业务数据中包含的对象特征、关系特征以及属性特征,构建所述业务类型对应的数据分析模型。

在本申请的另一个实施例中,所述处理单元33根据所述第一特征信息和所述第二特征信息,确定所述第一业务数据与所述第二业务数据之间的关联关系,包括:

若所述第一特征信息和所述第二特征信息中包含至少一个对象特征,那么根据所包含的相同对象特征的个数,确定所述第一业务数据与所述第二业务数据之间的关联强度;

若所述第一特征信息和所述第二特征信息中包含至少一个关系特征,那么根据所包含的相同关系特征的个数,确定所述第一业务数据与所述第二业务数据之间的关联强度;

若所述第一特征信息和所述第二特征信息中包含至少一个属性特征,那么根据所包含的相同属性特征的个数,确定所述第一业务数据与所述第二业务数据之间的关联强度,其中,所述个数的数值越大对应的关联强度越大。

在本申请的另一个实施例中,所述建立单元34,还用于根据确定的所述第一业务数据与所述第二业务数据之间的关联关系,建立包含所述第一业务数据和所述第二业务数据的关系网络图。

在本申请的另一个实施例中,所述数据处理设备还包括:存储单元35,其中:

所述存储单元35,用于在分析得到所述第一业务数据的第一特征信息时,按照特征信息的类型,分类存储所述第一业务数据,并建立特征信息的类型与所述第一业务数据之间的映射关系。

需要说明的是,本申请实施例所提供的数据处理设备可以通过软件方式实现,也可以通过硬件方式实现,这里不做限定。数据处理设备在获取到待处理的业务数据时,分析该业务数据中包含的特征信息,并利用分析得到的特征信息,确定获取到的该业务数据与其他业务数据之间的关联关系,有效避免了现有技术中各个业务数据相对离散的特点,使得服务器能够根据不同业务数据之间的关联关系实现对业务数据的分析,有效提升了业务数据的分析效率,达到节省系统资源的目的。

本领域的技术人员应明白,本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1