本发明涉及自然语言处理
技术领域：
，特别是涉及一种平滑处理方法和系统。
背景技术：
语言模型是处理自然语言过程中，根据语言客观事实而进行的语言抽象数学建模。语言模型会出现数据缺失，对于数据缺失，需要通过平滑算法来解决。平滑算法通过劫取已出现词语的概率，获得用于再分配的剩余概率，将可用于分配的概率按照一定规则分配给缺失词语，缺失词语分配而得的概率称为平滑概率。发明人发现在传统技术中存在以下问题，以goodturing平滑算法为例，在goodturing平滑算法中，通过平均分配的方式分配剩余频率，缺失数据进行平滑，但是平均分配的方式未必符合真实情况。因为数据缺失来自两种情况，一是词语本身出错，稀有词语在任何语料中都不可能出现，二是可能只是因为语料本身覆盖不够，出现未登录词语。传统的goodturing平滑算法无法区分词语本身出错和语料本身覆盖不足这两种情况，导致goodturing平滑算法在实际应用中会造成大量误判。综上所述，传统的平滑处理方式效果差。技术实现要素：基于此，有必要针对传统的平滑处理方式效果差问题，提供一种平滑处理方法和系统。一种平滑处理方法，包括以下步骤：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；根据第一出现次数计算缺失词语的归一化频率指标；根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。上述平滑处理方法，统计缺失词语在目标语料库中的第一出现次数，根据第一出现次数计算缺失词语的归一化频率指标，根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理；通过引入缺失词语在目标语料库中的第一出现次数，计算缺失词语的归一化频率指标，由缺失词语的归一化频率指标分配剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，获得反映缺失词语真实情况的平滑概率，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。进一步地，缺失词语为多个；根据第一出现次数计算缺失词语的归一化频率指标的步骤，包括以下步骤：计算各第一出现次数的对数值；对对数值求和，得到对数值之和；分别将各第一出现次数的对数值分别除以对数值之和，得到对应各缺失词语的归一化频率指标。上述平滑处理方法，通过对各第一出现次数进行数值处理获得归一化频率指标，使得第一出现次数的归一化处理简便，另外对数的处理可以适合出现次数数值较大的情况。进一步地，计算各第一出现次数的对数值的步骤，包括以下步骤：将各第一出现次数分别增加数值n，获得各个绝对出现次数；计算各绝对出现次数的对数值，将各绝对出现次数的对数值分别作为各第一出现次数的对数值，其中，n为大于1的正整数。上述平滑处理方法，通过对选取的各第一出现次数分别增加数值n后，进行对数处理，可以避免第一出现次数为0导致无法进行对数处理的情况。进一步地，根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤，包括以下步骤：将缺失词语的归一化频率指标与第一剩余频率的乘积作为缺失词语的平滑概率。上述平滑处理方法，通过乘法处理，按照缺失词语的归一化频率指标分配剩余概率，对缺失词语进行平滑处理，增强平滑处理效果。进一步地，k为大于1的正整数；在根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤之前，还包括以下步骤：获取各n元词语在原语料库中的第二出现次数，并计算各第二出现次数的和值；统计第二出现次数小于或等于k次的各n元词语的第三出现次数，并计算各第三出现次数的和值；根据各第二出现次数的和值以及各第三出现次数的和值计算剩余概率。上述平滑处理方法，通过统计第二出现次数小于或等于k次的词语的第三出现次数以及各n元词语在原语料库中的第二出现次数，计算剩余概率，对缺失词语进行平滑处理，增强了平滑处理效果。进一步地，剩余概率为从原语料库中出现次数等于1次的词语的出现概率之和；在根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤之前，还包括以下步骤：获取各n元词语在原语料库中的第二出现次数并计算各第二出现次数的和值；统计第二出现次数为1的单次出现词语个数；根据各第二出现次数的和值以及单次出现词语个数计算剩余概率。上述平滑处理方法，通过统计第二出现次数为1的单次出现词语个数及计算各第二出现次数的和值，计算剩余概率，对缺失词语进行平滑处理，增强了平滑处理效果。进一步地，在根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤之后，还包括以下步骤：获取n元词语在原语料库中的第二出现次数；根据第二出现次数计算已出现词语劫取后的第一出现概率；根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练。上述平滑处理方法，通过计算第一出现概率，根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练，建立平滑处理后的n元语法模型，对n元语法模型进行平滑处理，增强平滑处理效果。进一步地，目标语料库为以搜索引擎网站为入口的互联网语料库；第一出现次数为缺失词语在搜索引擎网站中搜索后的相关结果数。上述平滑处理方法，借助互联网搜索引擎在互联网数据网络的数据库搜索缺失词语，可以扩大语料的覆盖范围，获得的第一出现次数能够符合真实情况，对数据缺失出现的两种情况进行区分，增强平滑处理效果。一种平滑处理系统，包括：次数统计模块，用于统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；归一化频率指标计算模块，用于根据第一出现次数计算缺失词语的归一化频率指标；平滑处理模块，用于根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。上述平滑处理系统，统计缺失词语在目标语料库中的第一出现次数，根据第一出现次数计算缺失词语的归一化频率指标，根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理；通过引入缺失词语在目标语料库中的第一出现次数，计算缺失词语的归一化频率指标，由缺失词语的归一化频率指标分配剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，获得反映缺失词语真实情况的平滑概率，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述平滑处理方法。一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述平滑处理方法。附图说明图1为本发明一个实施例的平滑处理方法的流程图；图2为本发明一个实施例的平滑处理系统的结构示意图；图3为本发明一个具体实施例的平滑处理方法的流程图。具体实施方式为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。参见图1所示，为本发明一个实施例的平滑处理方法的流程图。该实施例中的平滑处理方法，包括以下步骤：步骤s110：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语。本步骤中，由于缺失词语为在原语料库中出现次数为0的词语，在分配平滑概率的过程，无法区分数据缺失中的词语本身出错和语料本身覆盖不足这两种情况，因此需要引入可以区分上述两种情况的参数来分配平滑概率。于是，在目标语料库中，统计缺失词语的出现次数，获得第一出现次数。缺失词语在目标语料库中出现，可以反映出语料本身覆盖不足；缺失词语在目标语料库中不出现，或者出现次数极少，反映出词语本身出错。在带有搜索或查找功能的目标语料库中，可以通过搜索或查找缺失词语，将查找结果数作为第一出现次数。其中，缺失词语为n元词语，n元词语是n元语法模型中由n个字组成的词语，n-1元词语是指n元语法模型中由n-1个字组成的词语，n为大于1的正整数。在一个实施例中，目标语料库是数据量较大的语料库。可选地，目标语料库可以是互联网数据网络的数据库，还可以是知识领域数据库，如专利数据库、学术文献数据库等，或者自建的数据库，如存储业务文件的数据库等；目标语料库也可以是书籍或文本的内容，如字典、各个行业的技术手册、世界名著等。缺失词语可以是某个知识领域中常见词语，由于语料覆盖的领域不同，会导致数据缺失的情况，因此可以针对特定知识领域的目标语料库获得第一出现次数，针对特定知识领域的缺失词语进行平滑处理。另外，针对特定知识领域的平滑处理，能够增强对应语言模型在特定知识领域的应用效果，提高语言处理能力。步骤s120：根据第一出现次数计算缺失词语的归一化频率指标。在本步骤中，为了按照一定比例对剩余概率进行分配，需要对第一出现次数进行归一化处理，获得归一化频率指标，在后续处理中按照归一化频率指标对剩余概率进行分配。按照缺失词语的第一出现次数在所有第一出现次数中所占的比例，计算缺失词语的归一化频率指标。归一化处理后，所有缺失词语的归一化频率指标之和等于1。步骤s130：根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。将原语料库中已出现词语的出现概率按照一定比例进行降低，使得所有已出现词语的概率之和小于1，概率的分布出现余量，出现的余量为剩余概率，即为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。假设原语料库中已出现词语a、b、c、d、e的概率分别为0.5、0.4、0.3、0.2和0.1，分别按照10％、20％、30％、40％和50％的比例进行降低，出现的余量等于0.5×0.1+0.4×0.2+0.3×0.3+0.2×0.4+0.1×0.5＝0.35，即剩余概率为0.35。在本步骤中，根据归一化频率指标分配剩余概率，获得缺失词语的平滑概率。将剩余概率，按照归一化频率指标的比例进行分配，计算后获得缺失词语的平滑概率。上述平滑处理方法，统计缺失词语在目标语料库中的第一出现次数，根据第一出现次数计算缺失词语的归一化频率指标，根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理；通过引入缺失词语在目标语料库中的第一出现次数，计算缺失词语的归一化频率指标，由缺失词语的归一化频率指标分配剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，获得反映缺失词语真实情况的平滑概率，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。进一步地，缺失词语为多个；根据第一出现次数计算缺失词语的归一化频率指标的步骤，包括以下步骤：步骤s121：计算各第一出现次数的对数值；步骤s122：对对数值求和，得到对数值之和；步骤s123：分别将各第一出现次数的对数值分别除以对数值之和，得到对应各缺失词语的归一化频率指标。假如，缺失词语aa、ab、bc、bd和ce的第一出现次数分别为1000、90000、85000、6000和450，则缺失词语aa的第一出现次数对数值faa＝log1000＝3，对数值之和为19.3150，则缺失词语aa的归一化频率指标为0.155。上述平滑处理方法，通过对各第一出现次数进行数值处理获得归一化频率指标，使得第一出现次数的归一化处理简便，另外对数的处理可以适合出现次数数值较大的情况。进一步地，计算各第一出现次数的对数值的步骤，包括以下步骤：步骤s1211：将各第一出现次数分别增加数值n，获得各个绝对出现次数；步骤s1212：计算各绝对出现次数的对数值，将各绝对出现次数的对数值分别作为各第一出现次数的对数值，其中，n为大于1的正整数。假如，对于未出现的二元词语wjwi，第一出现次数为考虑为0和为1的情况，设绝对出现次数为缺失词语aa、ab、bc、bd和ce的第一出现次数分别为1000、90000、85000、6000和450，n为2，则缺失词语aa的第一出现次数对数值faa＝log(1000+2)＝3.0009，对数值之和为19.3180，则缺失词语aa的归一化频率指标为0.155。上述平滑处理方法，通过对选取的各第一出现次数分别增加数值n后，进行对数处理，可以避免第一出现次数为0导致无法进行对数处理的情况。进一步地，根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤，包括以下步骤：将缺失词语的归一化频率指标与第一剩余频率的乘积作为缺失词语的平滑概率。假如，第一剩余频率为0.43，当缺失词语aa的归一化频率指标为0.155时，缺失词语aa的平滑概率为0.0665。本步骤中，将缺失词语的归一化频率指标与第一剩余频率的乘积作为缺失词语的平滑概率。通过乘法处理，按照缺失词语的归一化频率指标分配剩余概率。上述平滑处理方法，通过乘法处理，按照缺失词语的归一化频率指标分配剩余概率，对缺失词语进行平滑处理，增强平滑处理效果。进一步地，k为大于1的正整数；在根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤之前，还包括以下步骤：步骤s141：获取各n元词语在原语料库中的第二出现次数，并计算各第二出现次数的和值；步骤s142：统计第二出现次数小于或等于k次的各n元词语的第三出现次数，并计算各第三出现次数的和值；步骤s143：根据各第二出现次数的和值以及各第三出现次数的和值计算剩余概率。假如，k等于2，统计n元词语在原语料库中的第二出现次数，并计算各第二出现次数的和值，即获得所有出现词语的出现总次数；统计第二出现次数为2的出现词语个数n2和第二出现次数为1的出现词语个数n1，则第二出现次数为2的出现词语的第三出现次数为2n2，第二出现次数为1的出现词语的第三出现次数为1n1，2n2+n1为各第三出现次数的和值，各第三出现次数的和值除以各第二出现次数的和值的商即为计算的剩余概率。上述平滑处理方法，通过统计第二出现次数小于或等于k次的词语的第三出现次数以及各n元词语在原语料库中的第二出现次数，计算剩余概率，对缺失词语进行平滑处理，增强了平滑处理效果。进一步地，剩余概率为从原语料库中出现次数等于1次的词语的出现概率之和；在根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤之前，还包括以下步骤：步骤s144：获取各n元词语在原语料库中的第二出现次数并计算各第二出现次数的和值；步骤s145：统计第二出现次数为1的单次出现词语个数；步骤s146：根据各第二出现次数的和值以及单次出现词语个数计算剩余概率。假如以n元语法模型为例，r为n元词语在原语料库中的第二出现次数，nr是原语料库中恰好出现r次的n元词语的个数，nr+1是原语料库中恰好出现r+1次的n元词语的个数，根据nr降低r，获得降低后的出现次数r*。降低r相当于从原语料库中已出现词语的出现概率中劫取概率，将已出现词语的出现概率按照一定比例进行降低，使得所有已出现词语的概率之和小于1，概率的分布出现余量。r*满足以下公式：对于第二出现次数为r的n元词语在原语料库中按照一定比例进行降低后的第一出现概率为：其中即n为各第二出现次数的和值。n元语法模型降低后的出现概率之和为即剩余概率为其中n1为第二出现次数为1的已出现词语的单次出现词语个数。因此获取n元词语在原语料库中的第二出现次数r，计算第二出现次数之和n，统计第二出现次数为1的单次出现词语个数n1，根据单次出现词语个数n1和第二出现次数之和n可计算剩余概率上述平滑处理方法，通过统计第二出现次数为1的单次出现词语个数及计算各第二出现次数的和值，计算剩余概率，对缺失词语进行平滑处理，增强了平滑处理效果。进一步地，在根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤之后，还包括以下步骤：步骤s151：获取n元词语在原语料库中的第二出现次数；步骤s152：根据第二出现次数计算已出现词语劫取后的第一出现概率；步骤s153：根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练。假如以n元语法模型为例，进行本发明一个实施例的平滑处理方法前的2元语法模型中，获取n元词语在原语料库中的第二出现次数r，nr是原语料库中恰好出现r次的n元词语的个数，根据nr降低r，获得降低后的出现次数r*。降低r相当于从原语料库中已出现词语的出现概率中劫取概率，将已出现词语的出现概率按照一定比例进行降低，使得所有已出现词语的概率之和小于1，概率的分布出现余量。r*满足以下公式：对于第二出现次数为r的n元词语在原语料库中按照一定比例进行降低后的第一出现概率为：其中即n为第二出现次数之和。根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练，建立平滑处理后的n元语法模型。上述平滑处理方法，通过计算第一出现概率，根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练，建立平滑处理后的n元语法模型，对n元语法模型进行平滑处理，增强平滑处理效果。进一步地，目标语料库为以搜索引擎网站为入口的互联网语料库；第一出现次数为缺失词语在搜索引擎网站中搜索后的相关结果数。目标语料库可以是以搜索引擎网站为入口的互联网数据网络的数据库，并且可以借助互联网搜索引擎网站中搜索后的相关结果数，作为缺失词语在目标语料库的第一出现次数。上述平滑处理方法，借助互联网搜索引擎在互联网数据网络的数据库搜索缺失词语，可以扩大语料的覆盖范围，获得的第一出现次数能够符合真实情况，对数据缺失出现的两种情况进行区分，增强平滑处理效果。参见图2所示，为本发明一个实施例的平滑处理系统的结构示意图。该实施例中的平滑处理系统，包括：次数统计模块210，用于统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；归一化频率指标计算模块220，用于根据第一出现次数计算缺失词语的归一化频率指标；平滑处理模块230，用于根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。上述平滑处理系统，统计缺失词语在目标语料库中的第一出现次数，根据第一出现次数计算缺失词语的归一化频率指标，根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理；通过引入缺失词语在目标语料库中的第一出现次数，计算缺失词语的归一化频率指标，由缺失词语的归一化频率指标分配剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，获得反映缺失词语真实情况的平滑概率，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。进一步地，缺失词语为多个，归一化频率指标计算模块220计算各第一出现次数的对数值；对对数值求和，得到对数值之和；分别将各第一出现次数的对数值分别除以对数值之和，得到对应各缺失词语的归一化频率指标。上述平滑处理系统，通过对各第一出现次数进行数值处理获得归一化频率指标，使得第一出现次数的归一化处理简便，另外对数的处理可以适合出现次数数值较大的情况。进一步地，归一化频率指标计算模块220将各第一出现次数分别增加数值n，获得绝对出现次数；计算各绝对出现次数的对数值，将各绝对出现次数的对数值分别作为第一出现次数的对数值，其中，n为大于1的正整数。上述平滑处理系统，通过对选取的各第一出现次数分别增加数值n后，进行对数处理，可以避免第一出现次数为0导致无法进行对数处理的情况。进一步地，平滑处理模块230将缺失词语的归一化频率指标与第一剩余频率的乘积作为缺失词语的平滑概率。上述平滑处理系统，通过乘法处理，按照缺失词语的归一化频率指标分配剩余概率，对缺失词语进行平滑处理，增强平滑处理效果。进一步地，k为大于1的正整数，平滑处理模块230获取各n元词语在原语料库中的第二出现次数，并计算各第二出现次数的和值；统计第二出现次数小于或等于k次的各n元词语的第三出现次数，并计算各第三出现次数的和值；根据各第二出现次数的和值以及各第三出现次数的和值计算剩余概率。上述平滑处理系统，通过统计第二出现次数小于或等于k次的词语的第三出现次数以及各n元词语在原语料库中的第二出现次数，计算剩余概率，对缺失词语进行平滑处理，增强了平滑处理效果。进一步地，剩余概率为从原语料库中出现次数等于1次的词语的出现概率之和，平滑处理模块230获取各n元词语在原语料库中的第二出现次数并计算各第二出现次数的和值；统计第二出现次数为1的单次出现词语个数；根据各第二出现次数的和值以及单次出现词语个数计算剩余概率。上述平滑处理系统，通过统计第二出现次数为1的单次出现词语个数及计算各第二出现次数的和值，计算剩余概率，对缺失词语进行平滑处理，增强了平滑处理效果。进一步地，平滑处理模块230获取n元词语在原语料库中的第二出现次数；根据第二出现次数计算已出现词语劫取后的第一出现概率；根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练。上述平滑处理系统，通过计算第一出现概率，根据平滑概率和第一出现概率，对缺失词语所在的n元语法模型进行训练，建立平滑处理后的n元语法模型，对n元语法模型进行平滑处理，增强平滑处理效果。进一步地，次数统计模块210中目标语料库为以搜索引擎网站为入口的互联网语料库；第一出现次数为缺失词语在搜索引擎网站中搜索后的相关结果数。上述平滑处理系统，借助互联网搜索引擎在互联网数据网络的数据库搜索缺失词语，可以扩大语料的覆盖范围，获得的第一出现次数能够符合真实情况，对数据缺失出现的两种情况进行区分，增强平滑处理效果。一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述平滑处理方法。一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述平滑处理方法。根据上述本发明的平滑处理方法，本发明还提供一种计算机设备和计算机存储介质，用于通过程序实现上述的平滑处理方法。参见图3所示，为本发明一个具体实施例的平滑处理方法的流程图。该实施例中的平滑处理方法，包括以下步骤：计算剩余概率。在n元语法模型中，将已出现词语的出现概率按照一定比例进行降低，使得所有已出现词语的概率之和小于1，概率的分布出现余量，获得剩余概率。获取n元词语在原语料库中的第二出现次数r，nr是原语料库中恰好出现r次的n元词语的个数，nr+1是原语料库中恰好出现r+1次的n元词语的个数，根据nr降低r，获得降低后的出现次数r*。降低r相当于从原语料库中已出现词语的出现概率中劫取概率，将已出现词语的出现概率按照一定比例进行降低。r*满足以下公式：对于第二出现次数为r的n元词语在原语料库中按照一定比例进行降低后的第一出现概率为：其中即n为各第二出现次数的和值。n元语法模型降低后的出现概率之和为即剩余概率为其中n1为第二出现次数为1单次出现词语个数。因此获取n元词语在原语料库中的第二出现次数r，计算第二出现次数之和n，统计第二出现次数为1的单次出现词语个数n1，根据单次出现词语个数n1和第二出现次数之和n可计算剩余概率统计缺失词语，将缺失词语输入目标语料库，将缺失词语输入搜索引擎，获得每一个缺失词语的结果数，将结果数作为第一出现次数。缺失词语可以为多个。根据各第一出现次数计算对应各缺失词语的归一化频率指标。计算选取的各第一出现次数的对数值；对对数值求和，得到对数值之和；分别将各个选取的第一出现次数的对数值分别除以对数值之和，得到对应各缺失词语的归一化频率指标。对于缺失词语wjwi，归一化的频度指标率为其中为第一出现次数，n0为所有缺失词语的个数。根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理。将各缺失词语的归一化频率指标与第一剩余频率的乘积作为各缺失词语的平滑概率。其中，为缺失词语wjwi的平滑概率。如表1所示，表1为原语料库中二元词语的出现次数与个数的关系。表1原语料库中二元词语的出现次数与个数的关系rnr12053245831914107569648736根据有：表2原语料库中二元词语的频率分布rnrr*pr120530.446189.190×10-524581.251092.577×10-431912.240844.616×10-441073.224306.641×10-45694.173918.597×10-46485.250001.081×10-3736--如表2所示，表2为原语料库中二元词语的频率分布，则可以计算第二出现次数为1的单次出现词语个数n1＝2053，各第二出现次数的和值n＝4855，剩余概率为对于未出现的二元词语“文量”得到的第一出现次数为939000，“文量”的第一出现次数的对数值为：f文量＝log939000＝5.97假设所有的二元词语的出现次数的对数值总和为5000，那么缺失词语“文量”的平滑概率为：本发明的平滑处理系统与本发明的平滑处理方法一一对应，在上述平滑处理方法的实施例阐述的技术特征及其有益效果均适用于平滑处理系统的实施例中，特此声明。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的
技术领域：
的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，包括以上方法所述的步骤，所述的存储介质，如：rom/ram、磁碟、光盘等。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。当前第1页12