本说明书涉及计算机软件
技术领域：
，尤其涉及一种社交内容风险识别方法、装置以及设备。
背景技术：
：随着计算机技术和互联网技术的迅速发展，社交活动越来越多地基于互联网进行，包括但不限于论坛交流、即时通讯、网上交易等活动，在活动中相应地产生一些行为记录、发布或者传播的语料等数据，这里统称为社交内容。在实际应用中，一些社交内容是存在风险的，会影响正常用户的上网体验，严重的还可能威胁网络安全甚至现实社会安全，比如，暴力、恐怖或者政治相关的不当行为或者不当言论等。在现有技术中，往往基于经验设置一些关键词，通过关键词匹配对社交内容进行风险识别。基于现有技术，需要更为可靠的社交内容风险识别方案。技术实现要素：本说明书实施例提供一种社交内容风险识别方法、装置以及设备，用以解决如下技术问题：需要更为可靠的社交内容风险识别方案。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供的一种社交内容风险识别方法，包括：获取待识别的社交内容数据；提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征；通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。本说明书实施例提供的一种社交内容风险识别装置，包括：获取模块，获取待识别的社交内容数据；提取模块，提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征；识别模块，通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。本说明书实施例提供的一种社交内容风险识别设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取待识别的社交内容数据；提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征；通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：相比于原始的特征，维度扩展的特征能够更精细地刻画社交内容数据，便于用诸如深度神经网络(deepneuralnetworks，dnn)等包含大量输入节点的深度机器学习模型进行处理，进而有利于更可靠地识别社交内容数据是否存在风险。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图；图2为本说明书实施例提供的一种社交内容风险识别方法的流程示意图；图3为本说明书实施例提供的社交内容风险识别方法涉及的两类模型的关系原理图；图4为本说明书实施例提供的社交内容风险识别方法的一种具体实施流程框图；图5为本说明书实施例提供的对应于图2的一种社交内容风险识别装置的结构示意图。具体实施方式本说明书实施例提供一种社交内容风险识别方法、装置以及设备。为了使本
技术领域：
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。在本说明书实施例中，利用深度机器学习模型进行社交内容风险识别，相比于根据经验关键词识别的方式更为可靠。考虑到实际应用中，社交内容数据中的原始的特征维度较少，不利于包含大量输入节点的深度机器学习模型处理，因此，先利用诸如梯度提升决策树(gradientboostingdecisiontree，gbdt)等树状结构的机器学习模型对原始的特征进行维度扩展，以更精细地刻画社交内容数据，再用于深度机器学习模型进行风险识别。图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图。该整体架构中，主要涉及两类模型：树桩结构的机器学习模型，用于针对待识别社交内容数据的特征，扩展特征维度；深度机器学习模型，用于根据维度扩展的特征预测风险，得到风险识别结果。这两类模型可以处于同一设备，也可以处于不同设备。下面主要基于图1中的结构，对说明书的方案详细说明。图2为本说明书实施例提供的一种社交内容风险识别方法的流程示意图。图2中的流程可以包括以下步骤：s202：获取待识别的社交内容数据。在本说明书实施例中，社交内容数据可以基于用户对各类相关应用的日常使用而采集得到。社交内容数据可以保存于数据库或者数据仓库中，以便于提取使用，并且还可以进一步地进行数据挖掘、数据清洗等处理。相关应用比如包括即时通讯应用、支付应用、游戏应用、论坛应用等。风险识别可以以用户为单位进行，比如，提取某用户近一天或者一周的社交内容数据，进行风险识别；风险识别也可以以平台为单位进行，比如，提取某论坛近一小时内产生的社交内容数据，进行风险识别；等等。s204：提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征。在本说明书实施例中，社交行为比如包括用户建立用户群、点对点聊天、群聊天、在论坛发表言论或者转发言论、转账、网购等社交相关的行为。社交语料比如包括用户的个人聊天记录、群聊天记录、在论坛上所发表或者转发的言论、转账留言信息等由于社交行为而产生的语料。在本说明书实施例中，社交行为特征比如包括社交行为的发生时间、结束时间、持续时间、间隔时间、频度、行为发生时用户所在位置等。社交语料特征比如包括关键词、敏感词、词频、逆向文件频率、语序等。社交行为特征、社交语料特征可以分别用多个相应的变量综合表示，每个变量通常可以作为特征的一个维度。在实际应用中，上述变量的数量较少，通常只有十几个到几十个，从而导致特征维度较低，本申请采用树桩结构的机器学习模型进行处理，能够实现特征的维度扩展。树桩结构的机器学习模型以一个或者多个根节点接收输入数据，经过一层或者多层叶节点处理后，由多个叶节点输出数据。树桩结构的机器学习模型比如包括gbdt、xgboost等。叶节点输出的数据是对根节点输入的数据的细分结果，相应地，当根节点输入原始的特征时，叶节点输出的是细分特征，细分特征可以作为原始的特征的维度，从而能够实现特征维度扩展。s206：通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。在本说明书实施例中，树桩结构的机器学习模型、深度机器学习模型都是预先利用存在风险的黑样本和不存在风险的白样本进行过训练的，这里的黑样本和白样本指社交内容数据样本。深度机器学习模型处理后输出的结果可以是分类标签，也可以是概率预测值等。以概率预测值为例，在训练深度机器学习模型时，可以将黑样本的概率值标记为1，将白样本的概率值标记为0，则概率预测值可以表示被预测的样本是黑样本的概率；在这种情况下，进行识别时，待识别的社交内容数据对应的概率预测值越大，表示该社交内容数据越有可能存在风险。“存在风险”的含义可以根据具体的业务场景进行定义。比如，对于
背景技术：
中的场景，“存在风险”可以指包含暴力、恐怖或者政治等相关的不当行为或者不当言论；再比如，对于交易风险控制场景，“存在风险”可以指存在刷单、恶意退货等行为。通过图2的方法，相比于原始的特征，维度扩展的特征能够更精细地刻画社交内容数据，便于用诸如dnn等包含大量输入节点的深度机器学习模型进行处理，进而有利于更可靠地识别社交内容数据是否存在风险。基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方案，以及扩展方案，下面进行说明。在本说明书实施例中，对于步骤s204，所述提取所述社交内容数据中的社交行为特征和/或社交语料特征，具体可以包括：对所述社交内容数据进行数据清洗；利用特征工程，从数据清洗后的所述社交内容数据中提取社交行为特征和/或社交语料特征。数据清洗也可以基于数据库或者数据仓库预先进行。另外，若采集社交内容数据时，为便于后续风险识别，利用了适配的采集标准进行采集，则未必要进行数据清洗，如此有助于提高特征提取效率。利用特征工程提取特征的具体方式本申请不做限定，比如可以基于信息价值(informationvalue，iv)算法提取特征等。在本说明书实施例中，对于步骤s204，所述输入树桩结构的机器学习模型进行处理，得到维度扩展的特征，具体可以包括：输入树桩结构的机器学习模型进行处理，得到多个叶节点的预测数据；根据所述多个叶节点的预测数据，提取得到维度扩展的特征。为了尽量地扩展特征维度，可以将树桩结构的机器学习模型处理后的最后一层叶节点的预测数据直接作为维度扩展的特征，或者从该预测数据进一步地提取得到维度扩展的特征，其中，最后一层的每个叶节点可以分别对应于维度扩展的特征的一个维度。更直观地，本说明书实施例还提供了上述社交内容风险识别方法涉及的两类模型的关系原理图，如图2所示。在图2中，cbdt是上述树桩结构的机器学习模型的一个示例，dnn是上述深度机器学习模型的一个示例。cbdt在迭代训练后实际上包含有多棵决策树，而图2中只是示例性地示出了其中一棵决策树，相应地，dnn也是示例性地示出了一部分节点及节点间连接关系。经过gbdt对原始的特征的处理，gbdt的最后一层叶节点扩展得到的各维特征被对应地输入dnn的各输入节点中，进而由dnn的隐藏层进行处理，最后从dnn的输出层输出预测结果，从而实现风险识别。根据上面的说明，本说明书实施例还提供了上述社交内容风险识别方法的一种具体实施流程框图，如图4所示。该具体实施流程也是示例性的，上述社交内容风险识别方法并不限于这一种具体实施流程。图4的流程涉及数据仓库、算法模型平台和调度平台，该流程主要包括以下步骤：算法模型平台从数据仓库获取待识别的社交内容数据；将社交内容数据进行数据清洗，提取特征，并将特征输入预先训练过的gbdt进行处理，得到gbdt的最后一层的多个叶节点输出的预测结果；根据gbdt预测结果生成并提取维度扩展的特征；将维度扩展的特征输入dnn进行处理，处理后输出的dnn预测结果即风险识别结果；进一步地，在实际应用中，随着时间变化，会有新的待识别的社交内容数据产生，因此，后续也会针对继续产生的待识别的社交内容数据进行风险识别；基于此，一种处理方式是由调度平台进行定时调度，定时地对一批待识别的社交内容数据进行风险识别，还可以定时或者实时地将风险识别结果写入数据仓库中，以供诸如风控平台等有需求的系统调用。本说明书实施例还提供了上述社交内容风险识别方法的实际效果的一种示例性的测试过程和测试数据，以作为参考。下面进行说明。首先，不进行特征维度扩展，而直接用原始的特征输入一般的机器学习模型进行预测，以挑选本说明书的方案的效果比较对象。具体地，从数据仓库中提取了内容安全域中的部分样本数据用以训练机器学习模型，总样本量67万，白黑样本比为246比1；对这些样本从行为端进行了变量刻画，初始的变量选取200个，通过iv算法筛选出其中的37个，这里的变量即为原始的特征；分别训练了5个机器学习模型：gbdt、xgboost、逻辑回归(logisticregression，lr)、随机森林(randomforest，rf)、贝叶斯(bayes，by)，每个模型通过训练，调整参数使其精度最大，打扰率相对较小，如下表1示出了训练后各模型的预测结果的精度和打扰率：表1gbdtxgboostlrrfby精度0.7870.7890.6210.7010.713打扰率0.2170.2090.3670.2890.272从表1可以看出，xgboost的预测效果最好，选用xgboost作为本说明书的方案的效果比较对象。然后，利用图4中的流程进行预测。具体地，原始的特征的共有37维，通过gbdt处理后扩展至1100维，再输入dnn进行处理，得到预测结果，如下表2示出了基于图4中的流程得到的预测结果与xgboost的预测结果的精度和打扰率：表2gbdt+dnnxgboost精度0.8690.789打扰率0.1390.209从表2可以看出，本说明书的方案相比于xgboost的预测效果更好，对于存在风险的对象的识别精度由0.789提高到0.869，而且，对于不存在风险的对象的打扰率由0.209降低到0.139，由此可见本说明书的方案的可靠性更好。基于同样的思路，本说明书实施例还提供了对应的装置，如图5所示。图5为本说明书实施例提供的对应于图2的一种社交内容风险识别装置的结构示意图，虚线方框表示可选的模块，所述装置包括：获取模块501，获取待识别的社交内容数据；提取模块502，提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征；识别模块503，通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。可选地，所述树桩结构的机器学习模型和所述深度机器学习模型预先利用存在风险的黑样本和不存在风险的白样本进行过训练。可选地，所述提取模块502提取所述社交内容数据中的社交行为特征和/或社交语料特征，具体包括：所述提取模块502对所述社交内容数据进行数据清洗；利用特征工程，从数据清洗后的所述社交内容数据中提取社交行为特征和/或社交语料特征。可选地，所述提取模块502输入树桩结构的机器学习模型进行处理，得到维度扩展的特征，具体包括：所述提取模块502输入树桩结构的机器学习模型进行处理，得到多个叶节点的预测数据；根据所述多个叶节点的预测数据，提取得到维度扩展的特征。可选地，所述多个叶节点包括：所述树桩结构的机器学习模型处理后的最后一层叶节点。可选地，所述装置还包括：提供模块504，在所述识别模块503识别所述社交内容数据是否存在风险后，基于定时调度，定时获取并向风控平台提供社交内容数据的风险识别结果。可选地，所述树桩结构的机器学习模型包括gbdt。可选地，所述深度机器学习模型包括dnn。可选地，所述存在风险具体包括：包含与指定领域相关的不当行为或者不当言论。基于同样的思路，本说明书实施例还提供了对应于图2的一种社交内容风险识别设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取待识别的社交内容数据；提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征；通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。基于同样的思路，本说明书实施例还提供了对应于图2的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：获取待识别的社交内容数据；提取所述社交内容数据中的社交行为特征和/或社交语料特征，并输入树桩结构的机器学习模型进行处理，得到维度扩展的特征；通过将所述维度扩展的特征输入深度机器学习模型进行处理，识别所述社交内容数据是否存在风险。上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。本说明书实施例提供的装置、设备、非易失性计算机存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmablelogicdevice,pld)(例如现场可编程门阵列(fieldprogrammablegatearray，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardwaredescriptionlanguage，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等，目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。本领域技术人员应明白，本说明书实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。当前第1页12