文本筛选方法、文本筛选装置及电子设备与流程

本公开涉及文本处理领域，尤其涉及文本筛选方法、文本筛选装置、电子设备和计算机可读存储介质。

背景技术：

随着互联网发展，网络内容越来越丰富，而对网络内容的监管造成很大难度。传统的文本过滤系统，包含广告文本，色情文本，政治敏感文本，除了以上三类文本之外，在互联网上各种社交平台，购物网站，有很多人为随机输入的垃圾文本，如随意在键盘中敲击的英文字符，也对用户体验造成了严重影响。

对互联网针对社区的垃圾内容过滤手段，采用关键词过滤与人工过滤相结合的方式，但无法对垃圾文本进行很好的过滤。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种文本筛选方法、文本筛选装置、电子设备和计算机可读存储介质。

根据本公开实施例的第一方面，提供一种文本筛选方法，包括：获取文本，并将文本转换为对应的字符序列；基于字符序列，根据全部字符之间的转移概率，得到文本的平均转移概率；判断平均转移概率是否大于预设阈值；若平均转移概率小于预设阈值，则基于预设白名单，检验字符序列是否存在于白名单中；若字符序列未存在于白名单中，则保存或发送字符序列对应的文本至用户。

在一实施例中，基于预设白名单，检验字符序列是否存在于白名单中，通过以下方式检验：预设白名单字典树，判断字符序列是否符合白名单字典树中任一节点信息。

在一实施例中，基于字符序列，根据全部字符之间的转移概率，得到文本的平均转移概率，包括：获取多个训练文本；基于训练文本，获取字符之间的转移概率值；基于转移概率值，获取字符序列的全部字符之间的转移概率；基于字符序列的转移概率和字符序列的转移次数，得到平均转移概率。

在一实施例中，预设阈值采用以下方式确定：获取正常文本；基于转移概率值，获取正常文本的正常转移概率；基于正常转移概率，确定预设阈值。

在一实施例中，预设阈值采用以下方式确定：获取正常文本和异常文本；基于转移概率值，获取正常文本的正常转移概率以及异常文本的异常转移概率；基于正常转移概率以及异常转移概率，确定预设阈值。

根据本公开实施例的第二方面，提供一种文本筛选装置，包括：获取单元，用于获取文本，并将文本转换为对应的字符序列；处理单元，用于基于字符序列，根据全部字符之间的转移概率，得到文本的平均转移概率；判断单元，用于判断平均转移概率是否大于预设阈值；白名单检测单元，用于当平均转移概率小于预设阈值时，基于预设白名单，检验字符序列是否存在于白名单中；异常处理单元，用于当字符序列未存在于白名单中时，保存或发送字符序列对应的文本至用户。

在一实施例中，白名单检测单元用于：预设白名单字典树，判断字符序列是否符合白名单字典树中任一节点信息。

在一实施例中，处理单元用于：获取多个训练文本；基于训练文本，获取字符之间的转移概率值；基于转移概率值，获取字符序列的全部字符之间的转移概率；基于字符序列的转移概率和字符序列的转移次数，得到平均转移概率。

在一实施例中，预设阈值采用以下方式确定：获取正常文本；基于转移概率值，获取正常文本的正常转移概率；基于正常转移概率，确定预设阈值。

在一实施例中，预设阈值采用以下方式确定：获取正常文本和异常文本；基于转移概率值，获取正常文本的正常转移概率以及异常文本的异常转移概率；基于正常转移概率以及异常转移概率，确定预设阈值。

根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的文本筛选方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的文本筛选方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过对文本进行转移概率和白名单的检测，从而高效准确的判断文本是否属于垃圾文本，进而对网络中的文字内容进行更好的监管，提高网络用户的体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种文本筛选方法的流程示意图；

图2是根据一示例性实施例示出的另一种文本筛选方法的流程示意图；

图3是根据一示例性实施例示出的一种文本筛选装置的示意框图；

图4是根据一示例性实施例示出的一种装置的示意框图。

图5是根据一示例性实施例示出的一种电子装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

目前一些技术中，基于键盘分布识别垃圾文本，该方法根据输入文本的首字母对应按键分布，将文本分为正常文本和非正常文本，该方法依赖于键盘按键的分布情况，但对于键盘布局差异，会影响准确率。同时，随着网络语言快速发展，新生的网络词语越来越多，基于键盘按键分布的识别方法对新生词语会有很大误识别情况。

而本公开为解决上述问题，提供一种文本筛选10，参见图1，包括步骤s11-步骤s15，以下详细说明：

步骤s11，获取文本，并将文本转换为对应的字符序列。

网络监管中，或者其他文字内容的筛查中，将获取到的文本，转换为字符序列，保持字符的顺序和前后关系，方便以字符为元素进行判断，在英文文本中，字符即为单个字母、符号等。

步骤s12，基于字符序列，根据全部字符之间的转移概率，得到文本的平均转移概率。

在得到文本的字符序列后，得到每个字符的转移概率，及当前字符和下一字符出现的概率，或者说当前字符确定的情况下出现下一字符的概率，其中字符包括文字也包括空格等格式或符号。在得到全部字符之间的转移概率后，进而得到文本的平均转移概率，由于文本长度不同，仅通过转移概率累加的方式获得的文本概率不够准确，因此，可以通过全部字符的转移概率除以转移次数以得到该串字符序列的平均转移概率，以此为判断依据更为准确。并且通过转移概率进行判断，避免了根据键盘位置判断的错误率。

在一实施例中，如图2所示，步骤s12还可以包括：步骤s121，获取多个训练文本；步骤s122，基于训练文本，获取字符之间的转移概率值；步骤s123，基于转移概率值，获取字符序列的全部字符之间的转移概率；步骤s124，基于字符序列的转移概率和字符序列的转移次数，得到平均转移概率。预先可以通过一定数量的训练文本，采用马尔可夫链以及统计概率的方式，获取各个字符之间的转移概率值；而后，在对实际文本检测过程中，基于已经确定的各个字符之间的转移概率值，能够得到文本的字符序列中，全部字符之前的转移概率，并再根据字符序列的转移次数再得到该文本的平均转移概率。

以一英文语句作为示例，说明上述获得平均转移概率的方式：比如文本为：“roblikeshacking”，得到的字符序列为：“r”，“o”，“b”，“空格”，计算字符之间的转移概率，即prob['r']['o']为字符“r”后出现字符“o”的概率，这里由于每个字符之间的转移概率都很小，如若将文本中全部转移概率简单相乘，则得到的结果数量级过小，终端计算时可能会产生下溢(undeflowproblem)将其当成0处理，因此可以采用log的方式计算文本的转移概率：log(prob(文本))＝log(prob['r']['o'])+log(prob['o']['b'])+……+log(prob['b']['空格'])+……。之后为了避免不同长度文本对结果的影响，对文本概率log(prob(文本))进行归一化，平均转移概率＝概率/转移次数。

步骤s13，判断平均转移概率是否大于预设阈值。

在确定文本的平均转移概率后，判断是否大于预设阈值，如果大于预设阈值，这说明该段文本基本属于正常文字；而如果小于预设阈值时，则说明该段文本随机性强，可能属于垃圾文本。

在一实施例中，预设阈值可以通过以下方式确定：获取正常文本；基于转移概率值，获取正常文本的正常转移概率；基于正常转移概率，确定预设阈值。再通过训练文本获取每个字符的转移概率值后，计算一段或多段正常文本的正常转移概率，并基于得到的正常转移概率确定预设阈值，如根据得到的一个或多个正常转移概率的最低值，或平均值乘以一个0-1之间的系数得到。

在另一实施例中，预设阈值还可以通过以下方式确定：获取正常文本和异常文本；基于转移概率值，获取正常文本的正常转移概率以及异常文本的异常转移概率；基于正常转移概率以及异常转移概率，确定预设阈值。本实施例中，可以通过一个或多个正常文本、一个或多个异常文本分别获取正常转移概率以及异常转移概率，再根据正常转移概率以及异常转移概率确定预设阈值。一般来说，正常的文本平均转移概率要比垃圾文本的大，因此可以选取正常转移概率以及异常转移概率的中间值作为预设阈值，如预设阈值＝(平均正常转移概率+平均异常转移概率)/2，或预设阈值＝(最小的正常转移概率+最大的异常转移概率)/2。

步骤s14，若平均转移概率小于预设阈值，则基于预设白名单，检验字符序列是否存在于白名单中。

如果平均转移概率小于预设阈值，则说明该段文本随机性强，可能属于垃圾文本。但由于网络中不断涌现出很多新的词汇或语句，如果只判断转移概率，可能会对新出现的词汇或语句造成错误判断，误认为是垃圾文本。因此设置白名单，在日常维护中及时更新白名单中的词汇或语句，从而能够进一步提高文本判断的准确性。如果判断文本是白名单中所包含的内容，即匹配成功，则判断该文本不属于垃圾文本。

在一实施例中，步骤s14还可以通过以下方式：预设白名单字典树，判断字符序列是否符合白名单字典树中任一节点信息。字典树(trie)也成前缀树，能够方便保存大量的字符串。一般白名单会随着内容的增加，会消耗大量的存储空间，而采用字典树的方式，通过共享文本前缀的方式，以路径和节点的方式存储，从而提高空间利用率。

步骤s15，若字符序列未存在于白名单中，则保存或发送字符序列对应的文本至用户。

如果根据转移概率检测出的平均转移概率低，同时又不存在于白名单中，则可以判断该文本属于垃圾文本，可以将其保存或发送至用户已进一步进行人工筛查或处理。

通过上述任一实施例的方式，能够准确、高效的筛查出垃圾文本，更加能够适应多变和大量文本的网络环境中。

基于同一个发明构思，图3示出了一种文本筛选装置100，如图3所示，文本筛选装置包括：获取单元110，用于获取文本，并将文本转换为对应的字符序列；处理单元120，用于基于字符序列，根据全部字符之间的转移概率，得到文本的平均转移概率；判断单元130用于判断平均转移概率是否大于预设阈值；白名单检测单元140，用于当平均转移概率小于预设阈值时，基于预设白名单，检验字符序列是否存在于白名单中；异常处理单元150，用于当字符序列未存在于白名单中时，保存或发送字符序列对应的文本至用户。

在一实施例中，白名单检测单元140用于：预设白名单字典树，判断字符序列是否符合白名单字典树中任一节点信息。

在一实施例中，处理单元120用于：获取多个训练文本；基于训练文本，获取字符之间的转移概率值；基于转移概率值，获取字符序列的全部字符之间的转移概率；基于字符序列的转移概率和字符序列的转移次数，得到平均转移概率。

在一实施例中，预设阈值采用以下方式确定：获取正常文本；基于转移概率值，获取正常文本的正常转移概率；基于正常转移概率，确定预设阈值。

在一实施例中，预设阈值采用以下方式确定：获取正常文本和异常文本；基于转移概率值，获取正常文本的正常转移概率以及异常文本的异常转移概率；基于正常转移概率以及异常转移概率，确定预设阈值。

关于上述实施例中的文本筛选装置100，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的前述任一实施例装置的示意框图。例如，装置300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置300可以包括以下一个或多个组件：处理组件302，存储器304，电力组件306，多媒体组件308，音频组件310，输入/输出(i/o)的接口312，传感器组件314，以及通信组件316。

处理组件302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。

存储器304被配置为存储各种类型的数据以支持在装置300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电力组件306为装置300的各种组件提供电力。电力组件306可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。

多媒体组件308包括在所述装置300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(mic)，当装置300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。

i/o接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件314包括一个或多个传感器，用于为装置300提供各个方面的状态评估。例如，传感器组件314可以检测到装置300的打开/关闭状态，组件的相对定位，例如所述组件为装置300的显示器和小键盘，传感器组件314还可以检测装置300或装置300一个组件的位置改变，用户与装置300接触的存在或不存在，装置300方位或加速/减速和装置300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置300可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器304，上述指令可由装置300的处理器320执行以完成上述方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图5是根据一示例性实施例示出的一种电子装置400的框图。例如，装置400可以被提供为一服务器。参照图5，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。

装置400还可以包括一个电源组件426被配置为执行装置300的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入输出(i/o)接口458。装置400可以操作基于存储在存储器432的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。