数据处理方法、装置、设备及计算机可读存储介质与流程

本发明涉及信息数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

深度报文检测(deeppacketinspection，简称dpi)是一种基于数据报文的应用层流量检测和控制技术，针对数据报文的不同层信息进行深度检测和分析，从而得到整个数据流或数据包的应用层信息，然后按照dpi系统定义的策略对流量进行统计分析和控制。

随着大数据和互联网技术的发展，各种应用进入人们的生活。由于不同的应用对于用户的注册信息不具有统一的要求，同一用户注册不同应用使用的用户标识可能不同，不同用户注册不同应用可能会使用相同的用户标识。目前dpi系统在获取用户的行为数据时，针对每种应用建立每个用户对应的用户行为数据，存储大量的冗余数据，且无法形成全景式用户特征数据。

技术实现要素：

本发明提供一种数据处理方法、装置、设备及计算机可读存储介质，用以解决目前dpi系统在获取用户的行为特征数据时，针对每种应用建立每个用户对应的用户行为特征数据，存储大量的冗余数据，且无法形成全景式用户特征数据的问题。

本发明的一个方面是提供一种数据处理方法，包括：

从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，所述第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息；

根据所述第一用户和第二用户的第一身份特征数据，确定所述第一用户和第二用户是否属于同一用户主体；

若确定所述第一用户和第二用户属于同一用户主体，则对所述第一用户数据和第二用户数据进行合并处理。

本发明的另一个方面是提供一种数据处理装置，包括：

数据提取模块，用于从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，所述第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息；

确定模块，用于根据所述第一用户和第二用户的第一身份特征数据，确定所述第一用户和第二用户是否属于同一用户主体；

处理模块，用于若确定所述第一用户和第二用户属于同一用户主体，则对所述第一用户数据和第二用户数据进行合并处理

本发明的另一个方面是提供一种深度报文检测设备，包括：

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现上述所述的方法。

本发明的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，

所述计算机程序被处理器执行时实现上述所述的方法。

本发明提供的数据处理方法、装置、设备及计算机可读存储介质，通过从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息；根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体；若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理，实现了将同一用户主体的多个用户数据合并处理形成全景式用户特征数据，减少了dpi系统整体的数据冗余。

附图说明

图1为本发明实施例一提供的数据处理方法流程图；

图2为本发明实施例二提供的数据处理方法流程图；

图3为本发明实施例三提供的数据处理装置的结构示意图；

图4为本发明实施例五提供的深度报文检测设备的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明的实施例中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

实施例一

图1为本发明实施例一提供的数据处理方法流程图。本发明实施例针对目前dpi系统在获取用户的行为特征数据时，针对每种应用建立每个用户对应的用户行为数据，存储大量的冗余数据，且无法形成全景式用户特征数据的问题，提供了数据处理方法。本实施例中的方法应用于深度报文检测设备，该计算机设备可以dpi系统所在的计算机设备。本发明其他实施例中，本实施例中的方法还可以应用于其他计算机设备，本实施例以深度报文检测设备为例进行示例性说明。如图1所示，该方法具体步骤如下：

步骤s101、从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息。

本实施例中，第一用户数据和第二用户数据是dpi系统针对一种应用的两个不同的用户账号获取的用户行为数据，或者是针对两种不同的应用的两个用户账号获取的用户行为数据。

在实际应用中，待处理的第一用户数据和第二用户数据可以由技术人员通过指定应用标识和用户注册账号来指定，也可以是dpi系统在对所得的用户数据中的任意两个用户注册账号对应的用户数据，本实施例此处不做具体限定。

第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信。其中，用于唯一标识一个用户主体的身份信至少可以包括：身份证号码、手机号码、电子邮箱等。

步骤s102、根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体。

由于用户的第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息，若第一用户和第二用户的第一身份特征数据同时包括至少一种用于唯一标识一个用户主体的身份信息，那么在第一用户和第二用户的第一身份特征数据同时包括的任意一种用于唯一标识一个用户主体的身份信息一致时，就可以确定第一用户和第二用户属于同一用户主体。

若第一用户和第二用户的第一身份特征数据同时包括至少一种用于唯一标识一个用户主体的身份信息，那么在第一用户和第二用户的第一身份特征数据同时包括的任意一种用于唯一标识一个用户主体的身份信息不一致时，就可以确定第一用户和第二用户不属于同一用户主体。

若第一用户和第二用户的第一身份特征数据中没有同时包括的用于唯一标识一个用户主体的身份信息，则根据第一用户和第二用户的第一身份特征数据不能确定第一用户和第二用户属于同一用户主体，也不能确定第一用户和第二用户不属于同一用户主体。

步骤s103、若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理。

在确定第一用户和第二用户属于同一用户主体之后，对第一用户数据和第二用户数据进行合并处理。

具体的，对第一用户数据和第二用户数据进行合并处理，具体包括：

生成第一用户数据和第二用户数据对应的一个统一的用户数据标识，去除第一用户数据和第二用户数据中的冗余信息，生成与用户数据标识对应的更全面的用户数据。

本发明实施例通过从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息；根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体；若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理，实现了将同一用户主体的多个用户数据合并处理形成全景式用户特征数据，减少了dpi系统整体的数据冗余。

实施例二

图2为本发明实施例二提供的数据处理方法流程图。在上述实施例一的基础上，本实施例中，若不确定第一用户和第二用户属于同一用户主体，从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据，第二身份特征数据至少包括：家庭住址、好友信息、关联关系和行为特征数据；计算第一用户和第二用户的第二身份特征数据之间的相似度；比较第一用户和第二用户的第二身份特征数据之间的相似度与第一预设阈值的大小；若第一用户和第二用户的第二身份特征数据之间的相似度大于第一预设阈值，则确定第一用户和第二用户属于同一用户主体，对第一用户数据和第二用户数据进行合并处理。若第一用户和第二用户的第二身份特征数据之间的相似度小于或者等于第一预设阈值，则比较第一用户和第二用户的第二身份特征数据之间的相似度与第二预设阈值的大小，第二预设阈值小于第一预设阈值；若第一用户和第二用户的第二身份特征数据之间的相似度大于第二预设阈值，则建立第一用户数据和第二用户数据之间的关联关系。

如图2所示，该方法具体步骤如下：

步骤s201、从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息。

本实施例中，第一用户数据和第二用户数据是dpi系统针对一种应用的两个不同的用户账号获取的用户行为数据，或者是针对两种不同的应用的两个用户账号获取的用户行为数据。

在实际应用中，待处理的第一用户数据和第二用户数据可以由技术人员通过指定应用标识和用户注册账号来指定，也可以是dpi系统在对所得的用户数据中的任意两个用户注册账号对应的用户数据，本实施例此处不做具体限定。

第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信。其中，用于唯一标识一个用户主体的身份信至少可以包括：身份证号码、手机号码、电子邮箱等。

可选的，可以从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，并记录到数据列表中。

步骤s202、根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体。

本实施例中，根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体，具体可以采用如下方式实现：

判断第一用户和第二用户的第一身份特征数据中是否存在任意一种身份信息一致；若第一用户和第二用户的第一身份特征数据中存在任意一种身份信息一致，则确定第一用户和第二用户属于同一用户主体。

由于用户的第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息，若第一用户和第二用户的第一身份特征数据同时包括至少一种用于唯一标识一个用户主体的身份信息，那么在第一用户和第二用户的第一身份特征数据同时包括的任意一种用于唯一标识一个用户主体的身份信息一致时，就可以确定第一用户和第二用户属于同一用户主体。

若第一用户和第二用户的第一身份特征数据同时包括至少一种用于唯一标识一个用户主体的身份信息，那么在第一用户和第二用户的第一身份特征数据同时包括的任意一种用于唯一标识一个用户主体的身份信息不一致时，就可以确定第一用户和第二用户不属于同一用户主体。

若第一用户和第二用户的第一身份特征数据中没有同时包括的用于唯一标识一个用户主体的身份信息，则根据第一用户和第二用户的第一身份特征数据不能确定第一用户和第二用户属于同一用户主体，也不能确定第一用户和第二用户不属于同一用户主体。

步骤s203、若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理。

在确定第一用户和第二用户属于同一用户主体之后，对第一用户数据和第二用户数据进行合并处理。

具体的，对第一用户数据和第二用户数据进行合并处理，具体包括：

生成第一用户数据和第二用户数据对应的一个统一的用户数据标识，去除第一用户数据和第二用户数据中的冗余信息，生成与用户数据标识对应的更全面的用户数据。

步骤s204、若不确定第一用户和第二用户属于同一用户主体，从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据。

其中，第二身份特征数据至少包括：家庭住址、好友信息、关联关系和行为特征数据。其中，关联关系可以是手机联系人信息。可选的，第二身份特征数据还可以包括即时通讯工具的账号等。

可选的，若不确定第一用户和第二用户属于同一用户主体，从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据之前，还包括：

从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的注册账号；判断第一用户和第二用户的注册账号是否一致；若第一用户和第二用户的注册账号一致，则执行后续从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据的步骤。

若第一用户和第二用户的注册账号不一致，则计算第一用户和第二用户的注册账号的相似度；判断第一用户和第二用户的注册账号的相似度是否大于第三预设阈值；若第一用户和第二用户的注册账号的相似度大于第三预设阈值，则执行后续从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据的步骤。

其中，第一用户和第二用户的注册账号为两个字符串，计算第一用户和第二用户的注册账号的相似度，具体可以采用现有技术中任意一种计算两个字符串的相似程度的方法实现，本实施例此处不做具体限定。例如，可以对两个字符串进行匹配，确定两字符串中匹配的最长子串，并计算该最长子串所占比例。

另外，第三预设阈值可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

步骤s205、计算第一用户和第二用户的第二身份特征数据之间的相似度；比较第一用户和第二用户的第二身份特征数据之间的相似度与第一预设阈值的大小。

本实施例中，计算第一用户和第二用户的第二身份特征数据之间的相似度，具体可以采用现有技术中任意一种根据两个用户的行为数据和属性信息，计算两个用户的相似度的方法实现，本实施例此处不做具体限定。

其中，第一预设阈值可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

步骤s206、若第一用户和第二用户的第二身份特征数据之间的相似度大于第一预设阈值，则确定第一用户和第二用户属于同一用户主体，对第一用户数据和第二用户数据进行合并处理。

本实施例中，若第一用户和第二用户的第二身份特征数据之间的相似度大于第一预设阈值，则说明第一用户和第二用户的第二身份特征数据直接的相似度非常高，可以认为第一用户和第二用户属于同一用户主体，对第一用户数据和第二用户数据进行合并处理。

另外，对第一用户数据和第二用户数据进行合并处理与步骤s203一致，本实施例此处不再赘述。

步骤s207、若第一用户和第二用户的第二身份特征数据之间的相似度小于或者等于第一预设阈值，则比较第一用户和第二用户的第二身份特征数据之间的相似度与第二预设阈值的大小，第二预设阈值小于第一预设阈值。

其中，第二预设阈值可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

若第一用户和第二用户的第二身份特征数据之间的相似度小于或者等于第二预设阈值，则说明第一用户数据和第二用户数据之间关联程度较小，不对第一用户数据和第二用户数据进行合并处理，也无需建立第一用户数据和第二用户数据之间的关联关系。

步骤s208、若第一用户和第二用户的第二身份特征数据之间的相似度大于第二预设阈值，则建立第一用户数据和第二用户数据之间的关联关系。

若第一用户和第二用户的第二身份特征数据之间的相似度大于第二预设阈值，则说明根据目前已有的第一用户和第二用户的用户数据，不能确定第一用户和第二用户属于同一用户主体，但是第一用户和第二用户之间的关联较大，因此，建立第一用户数据和第二用户数据之间的关联关系，以便于后续获取到第一用户和第二用户的更加重要的身份数据后，可以进一步更准确地确定第一用户和第二用户是否属于同一用户主体，以提高用户数据的合并处理的精准度。

本发明实施例通过在不确定第一用户和第二用户属于同一用户主体时，从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据，根据第一用户和第二用户的第二身份特征数据之间的相似度的大小，若第一用户和第二用户的第二身份特征数据之间的相似度大于第一预设阈值，则确定第一用户和第二用户属于同一用户主体，对第一用户数据和第二用户数据进行合并处理；若第一用户和第二用户的第二身份特征数据之间的相似度小于或者等于第一预设阈值，且大于第二预设阈值，则建立第一用户数据和第二用户数据之间的关联关系，实现了精准地确定同一用户主体的多个用户数，并将同一用户主体的多个用户数据合并处理形成全景式用户特征数据，减少了dpi系统整体的数据冗余。

实施例三

图3为本发明实施例三提供的数据处理装置的结构示意图。本发明实施例提供的数据处理装置可以执行数据处理方法实施例提供的处理流程。如图3所示，该装置30包括：数据提取模块301，确定模块302和处理模块303。

具体地，数据提取模块301用于从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息。

确定模块302用于根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体。

处理模块303用于若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理。

本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息；根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体；若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理，实现了将同一用户主体的多个用户数据合并处理形成全景式用户特征数据，减少了dpi系统整体的数据冗余。

实施例四

在上述实施例三的基础上，本实施例中，处理模块还用于：

若不确定第一用户和第二用户属于同一用户主体，从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据，第二身份特征数据至少包括：家庭住址、好友信息、关联关系和行为特征数据；计算第一用户和第二用户的第二身份特征数据之间的相似度；比较第一用户和第二用户的第二身份特征数据之间的相似度与第一预设阈值的大小；若第一用户和第二用户的第二身份特征数据之间的相似度大于第一预设阈值，则确定第一用户和第二用户属于同一用户主体，对第一用户数据和第二用户数据进行合并处理。

可选的，处理模块还用于：

若第一用户和第二用户的第二身份特征数据之间的相似度小于或者等于第一预设阈值，则比较第一用户和第二用户的第二身份特征数据之间的相似度与第二预设阈值的大小，第二预设阈值小于第一预设阈值；若第一用户和第二用户的第二身份特征数据之间的相似度大于第二预设阈值，则建立第一用户数据和第二用户数据之间的关联关系。

可选的，处理模块还用于：

从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的注册账号；判断第一用户和第二用户的注册账号是否一致；若第一用户和第二用户的注册账号一致，则执行后续从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据的步骤。

可选的，处理模块还用于：

若第一用户和第二用户的注册账号不一致，则计算第一用户和第二用户的注册账号的相似度；判断第一用户和第二用户的注册账号的相似度是否大于第三预设阈值；若第一用户和第二用户的注册账号的相似度大于第三预设阈值，则执行后续从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据的步骤。

可选的，处理模块还用于：

判断第一用户和第二用户的第一身份特征数据中是否存在任意一种身份信息一致；若第一用户和第二用户的第一身份特征数据中存在任意一种身份信息一致，则确定第一用户和第二用户属于同一用户主体。

本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过在不确定第一用户和第二用户属于同一用户主体时，从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第二身份特征数据，根据第一用户和第二用户的第二身份特征数据之间的相似度的大小，若第一用户和第二用户的第二身份特征数据之间的相似度大于第一预设阈值，则确定第一用户和第二用户属于同一用户主体，对第一用户数据和第二用户数据进行合并处理；若第一用户和第二用户的第二身份特征数据之间的相似度小于或者等于第一预设阈值，且大于第二预设阈值，则建立第一用户数据和第二用户数据之间的关联关系，实现了精准地确定同一用户主体的多个用户数，并将同一用户主体的多个用户数据合并处理形成全景式用户特征数据，减少了dpi系统整体的数据冗余。

实施例五

图4为本发明实施例五提供的深度报文检测设备的结构示意图。如图4所示，该设备40包括：处理器401，存储器402，以及存储在存储器402上并可由处理器401执行的计算机程序。

处理器401在执行存储在存储器402上的计算机程序时实现上述任一方法实施例提供的数据处理方法。

本发明实施例通过从待处理的第一用户数据和第二用户数据中分别提取第一用户和第二用户的第一身份特征数据，第一身份特征数据包括至少一种用于唯一标识一个用户主体的身份信息；根据第一用户和第二用户的第一身份特征数据，确定第一用户和第二用户是否属于同一用户主体；若确定第一用户和第二用户属于同一用户主体，则对第一用户数据和第二用户数据进行合并处理，实现了将同一用户主体的多个用户数据合并处理形成全景式用户特征数据，减少了dpi系统整体的数据冗余。

另外，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例提供的数据处理方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。