一种索引文件生成方法及装置的制造方法
【专利摘要】本发明公开了一种索引文件生成方法及装置，所述方法包括：获取业务数据，业务数据包括数据内容和业务类型；根据业务类型获取相对应的配置文件，配置文件包括对字段预处理指示以及分词处理指示；根据字段预处理指示，对数据内容进行预处理，生成预处理后的数据内容；根据分词处理指示，对预处理后的数据内容分别进行分词处理，对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。本发明方案可针对多种业务类型的数据统一建立索引文件，从而可简化建立过程，并提高效率。
【专利说明】
一种索引文件生成方法及装置
技术领域
[0001]本发明属于通信技术领域，尤其涉及一种索引文件生成方法及装置。
【背景技术】
[0002]随着计算机及互联网技术的迅速发展，在网络设备中所存储的信息量也越来越为庞大，为了便于对这些信息进行查询，往往需要通过建立索引文件等方式来协助用户对这些信息进行访问。
[0003]在现有技术中，一般都需要根据需要进行检索的数据的业务类型生成对应的顺排索引文件，然后对该顺排索引文件进行倒排处理，得到倒排索引文件，以便用户根据该倒排索引文件对该业务类型的数据进行检索。而对于不同业务类型的数据，由于其所涉及的关键字等因素不同，所以，在现有技术中，针对不同业务类型的数据，需要独立建立一个索引生成系统，以生成索引供用户进行检索。
[0004]在对现有技术的研究和实践过程中，本发明的发明人发现，现有方案的索引生成系统只能针对一种业务类型，所以，在业务类型较多的场景下，需要搭建多套索引生成系统，而这种系统的建立对操作人员的专业水平要求较高，整个建立的过程较为耗时，效率低。
【发明内容】
[0005]本发明的目的在于提供一种索引文件生成方法及装置，可针对多种业务数据类型建立索引文件，简化建立过程，提高效率。
[0006]为解决上述技术问题，本发明实施例提供以下技术方案:
[0007]本发明第一方面提供一种索引文件生成方法，其中所述方法包括:
[0008]获取业务数据，所述业务数据包括数据内容和业务类型；
[0009]根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示；
[0010]根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容；
[0011]根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理；
[0012]对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。
[0013]为解决上述技术问题，本发明实施例提供以下技术方案:
[0014]本发明第二方面提供一种索引文件生成装置，其中所述装置包括:
[0015]第一获取模块，用于获取业务数据，所述业务数据包括数据内容和业务类型；
[0016]第二获取模块，用于根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示；
[0017]预处理模块，用于根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容；
[0018]分词模块，用于根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理；
[0019]索引生成模块，用于对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。
[0020]相对于现有技术，本实施例中，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
【附图说明】
[0021]下面结合附图，通过对本发明的【具体实施方式】详细描述，将使本发明的技术方案及其它有益效果显而易见。
[0022]图1是本发明第一实施例提供的索引文件生成方法的流程示意图；
[0023]图2a为本发明第二实施例提供的索引文件生成方法的流程示意图；
[0024]图2b和图2c为本发明提供的索引文件生成方法字段的配置界面示意图；
[0025]图3a和图3b为本发明第三实施例提供的索引文件生成方法的流程示意图；
[0026]图4为本发明第四实施例提供的索引文件生成装置的结构示意图；
[0027]图5为本发明第五实施例提供的索引文件生成装置的结构示意图；
[0028]图6为本发明第六实施例提供的服务器的结构示意图。
【具体实施方式】
[0029]请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
[0030]在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
[0031]本发明的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本发明的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。
[0032]本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。
[0033]而且本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A ;X使用B ;或X使用A和B 二者，则“X使用A或B”在前述任一示例中得到满足。
[0034]而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在【具体实施方式】或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
[0035]第一实施例
[0036]请参阅图1，图1是本发明第一实施例提供的索引文件生成方法的流程示意图。所述方法步骤包括:
[0037]在步骤SlOl中，获取业务数据，所述业务数据包括数据内容和业务类型。
[0038]其中，所述索引文件生成方法是基于BS (浏览器browser，服务器server)的系统结构的，用户通过浏览器使用该系统，该系统支持多种业务类型的数据在同一平台下生成统一数据格式的索引数据。
[0039]在本实施例中，所述业务类型可以包括:视频、音乐、图片等，相对应的，所述业务数据可以包括视频数据、音乐数据以及图片数据等，此处不作具体限定。
[0040]可以理解的是，本实施例中的业务数据的数据格式可以分为两个部分，其中一个部分承载指示业务类型的信息，另一个部分承载该业务类型对应的数据内容。
[0041]在步骤S102中，根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示。
[0042]可以理解的是，每一种业务类型会对应一种配置文件，其中，所述配置文件是用户根据实际操作中的业务类型的特点预先配置并存储在服务器中的。
[0043]其中，所述配置文件中包含了对所述数据内容的字段进行预处理的指示，以及对所述数据内容的字段进行分词的指示，所述配置文件根据用户对各业务数据的字段的配置来生成，此处对字段的配置不作具体限定。
[0044]在步骤S103中，根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容。
[0045]在步骤S104中，根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理；
[0046]在步骤S105中，对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。
[0047]可以理解的是，所述步骤S103至步骤S105可具体包括:
[0048]由于每一业务类型对应一配置文件，即每一业务类型对应一字段预处理指示，各个业务类型分别根据对应的字段预处理指示，对所述数据内容进行预处理，可以体现了不同业务类型之间的个性化差异操作；预处理后，可根据平台预设的分词模板以及预置好的分词处理指示进行处理，即进行归一化操作，将不同格式的业务数据，送入顺排处理单元(FSU,Forward Sort Unit)进行顺排索引生成，归一化为统一的数据格式，得到了归一化后的顺排数据，以适应多种业务类型的数据检索。
[0049]由上述可知，本实施例中，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
[0050]第二实施例
[0051]请参阅图2，图2为本发明第二实施例提供的索引文件生成方法的流程示意图。其中，本发明提供的索引文件生成方法是基于BS(浏览器，服务器)的系统结构的，用户通过浏览器使用该系统，该系统支持多种业务类型的数据在同一平台下生成统一数据格式的索引数据。
[0052]在本发明实施例中，主要针对配置文件的生成，即字段的属性值配置进行分析，所述方法步骤包括:
[0053]在步骤S201中，分别生成对应于不同业务类型的配置文件。
[0054]可以理解的是，每一种业务类型会对应一种配置文件，其中，所述业务类型可以包括:视频、音乐、图片等，相对应的，所述业务数据包括视频数据、音乐数据以及图片数据。
[0055]本实施例中，所述配置文件是用户根据实际操作中的业务类型的特点预先配置并存储在服务器中的，所述配置文件中包含了对所述数据内容的字段进行预处理的指示，以及对所述数据内容的字段进行分词的指示。
[0056]在优选的实施方式中，所述配置文件可以基于以下步骤得到:
[0057]步骤(I)、获取与业务类型对应的字段配置信息；
[0058]所述字段配置信息指示预置的多个字段的属性值，所述字段包括文本域字段、数值域字段以及分类域字段；
[0059]可以理解的是，本发明业务数据中包括数据内容和业务类型，所述数据内容中包括多个文档，文档由多个字段组成，其中字段的类型可以进行预置，包括文本域字段、数值域字段以及分类域字段。
[0060]进一步的，所述文本域字段是指纯文字信息的字段，比如:“我喜欢这个歌手”、“这首歌真好听”的字段等，所述数值域字段是指代表数值的数字或字母信息的字段，比如:
或“one”、“five”的字段等，所述分类域字段是指指示将数据进行分类的字段，比如:一首歌曲可以将其分为“摇滚类”、“爵士类”等，一个视频可以将其分为“电影”、“综艺”、“新闻，，等。
[0061]另外，每个字段包括至少一个属性，也可称配置项，所述属性值由选择框的形式进行展示，以供用户进行选择和配置。
[0062]步骤(2)、根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件。
[0063]根据用户对每种类型的字段的属性的属性值的配置，得到了与所述业务类型相对应的配置文件。
[0064]基于此，在进一步优选的实施方式中，可以基于以下具体方式来对所述多个字段的属性值进行配置，即步骤(2)可以具体包括:
[0065]步骤(21)、根据所述字段的配置信息的指示对所述文本域字段的属性的属性值进行配置，得到配置后的文本域字段。
[0066]本实施例中，所述文本域字段主要包含的是文字信息，且希望被用户搜索到的字段；所述文本域字段的属性可以包括描述、数据长度、主键、重要性和分词方式中的一个或两个以上的组合。
[0067]可一并参考图2b和图2c，图2b为字段的属性配置界面示意，图2c为用户自定义字段管理界面示意，以下对所述文本域字段的上述各属性的含义进行简单说明:
[0068]a、描述:指该字段代表的含义，起提示作用，该属性对搜索结果没有影响。
[0069]b、数据长度:指该字段文本的最大长度。目前根据字段是否大于256字节分为两档，最大长度大于256字节的字段称为长文本字段，其中在整个文本域中，只有一个字段可以配置为长文本字段。
[0070]C、主键:也就是主关键字(primary key)，用来唯一标识一篇文档的字段，称为doc_id0其中，该字段设置为能转化成数字的值，具体的，doc_id的值为一个64位整数。由于该值应当在uint64_t的空间中均勾，因此可优选采用Hash值等产生，其中，Hash值是根据数据内容通过逻辑运算得到的数值，不同的文档得到的Hash值不同，Hash值就成了每一个文档的身份证。
[0071]d、重要性:是表示该文本字段的重要程度，可以分为重要、一般以及不重要等。
[0072]e、分词方式:分为正常分词和前缀分词。其中，正常分词是指按照对自然语义对文本进行分词，一般情况下可默认选择该方式；前缀分词适用于搜索框提示下拉框的场景。如
“内部搜索平台部”会分成“内、内部、内部搜、内部搜索......”等词，这样用户在搜索框中输入“内部”时，就可以提示“内部搜索平台部”。
[0073]可以理解的是，可以根据该分词方式的配置可以得到分词处理指示，以根据分词处理指示进行对数据内容进行分词处理。
[0074]步骤(22)、根据所述字段的配置信息的指示对所述数值域字段的属性的属性值进行配置，得到配置后的数值域字段。
[0075]本实施例中，所述数值域字段的属性包括描述、数据类型、权威、重要性、主键中的一个或两个以上的组合。
[0076]所述数值域字段适用于数值类型的信息。如售价、下载量等。该字段中的字符串值必须可以转化为数字。以下对所述数值域字段的各属性的含义进行简单说明:
[0077]a、描述:指该字段代表的含义，起提示作用，该属性对搜索结果没有影响。
[0078]b、数据类型:该实施例中配置项可以设置有int8，uint8，intl6，uintl6，int32，uint32，int64，uint64和float几种类型可供选择。用户根据该数值可能的最大范围来选择，如果提供的数据中实际值超过配置的范围，将会出错。
[0079]c、权威:用来表示该字段可以体现这篇文档的权威性。例如，对于视频搜索，可以选择观看数作为权威性字段。只有O或I个数值域字段可以指定为权威性字段。
[0080]d、重要性:是表示该字段的重要程度，可以分为重要、一般以及不重要等。
[0081]e、主键:与文本域字段的主键定义相同，也是指主关键字，用来唯一标识一篇文档的字段。称为doc_id。其中，该字段设置为能转化成数字的值，具体的，doc_id的值为一个64位整数；由于该值应当在uint64_t的空间中均勾，因此优选采用Hash值等产生。
[0082]步骤(23)、根据所述字段的配置信息的指示对所述分类域字段的属性进行配置，得到配置后的分类域字段；
[0083]本实施例中，所述分类域字段的属性包括检索指定类别；
[0084]步骤(24)、根据所述配置后的文本域字段、配置后的数值域字段和配置后的分类域字段生成与所述业务类型相对应的配置文件。
[0085]在步骤S202中，获取业务数据。
[0086]其中，所述业务数据包括数据内容和业务类型；所述业务类型可以包括:视频、音乐、图片等，相对应的，所述业务数据可以包括视频数据、音乐数据以及图片数据等，此处不作具体限定。
[0087]可以理解的是，在生成对应于不同业务类型的配置文件后，将所述配置文件预置于服务器中，其后，在获取到用户数据的业务数据后，触发服务器根据其业务类型，从在预置的多个配置文件中调出与业务类型对应的配置文件，从而根据配置文件进行处理，生成索引文件。
[0088]在步骤S203中，根据所述业务类型获取相对应的配置文件。
[0089]可以理解的是，每一种业务类型会对应一种配置文件，其中，所述配置文件是用户根据步骤S201中的配置信息预先生成，并存储在服务器中的。
[0090]在步骤S204中，根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容。
[0091]由于每一业务类型对应一配置文件，即每一业务类型对应一字段预处理指示，各个业务类型分别根据对应的字段预处理指示，对所述数据内容进行预处理，如对业务推送数据的某些字段进行改写，数据清洗，补充数据标签等，可以体现不同业务类型之间的个性化差异操作。
[0092]在步骤S205中，对所述预处理后的数据内容进行分析以确定所述数据内容的属性信息。
[0093]在某些实施方式中，可以获取预置的分词模板，按照所述分词模板对所述预处理后的数据内容进行分析，确定所述数据内容的属性信息。其中，所述服务器中预先设置了多个分词模块，可包括多个业务类型的数据模板，如音乐的数据，则数据模板中可包括歌手数据库、歌名数据库以及流派数据库等，对其进行分析，则可获悉该数据内容的属性信息；比如，若该数据内容属于音乐的业务类型，则属性信息是指歌曲的下载量、播放量等数值类型的属性。
[0094]在步骤S206中，根据所述分词处理指示以及所述属性信息，对所述预处理后的业务数据进行分词，并对分词处理后的数据内容进行顺排处理，生成统一数据格式的顺排索引文件。
[0095]预处理后，可根据所述属性信息以及预置好的分词处理指示进行处理，即进行归一化操作，将不同格式的业务数据，归一化为统一的数据格式，得到了归一化后的顺排数据，以适应多种业务类型的数据检索。
[0096]可以理解的是，在进行预处理后，数据会进入顺排处理单元FSU，进行顺排索引生成。通过配置文件中配置好的分词处理指示，以及根据内置的几种分词模板进行数据处理，计算出wordid，词POS信息等搜索需要使用到的数据信息，最后将统一格式的顺排索引文件输出。
[0097]可以理解的是，在生成统一数据格式的顺排索引文件之后，还可以包括:
[0098]在步骤S207中，将所述顺排索引文件转换为倒排索引文件，以便用户根据所述倒排索引文件进行检索。
[0099]由上述可知，本实施例中，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
[0100]第三实施例
[0101]请参阅图3a和图3b，为本发明第三实施例提供的索引文件生成方法的流程示意图。其中，本发明提供的索引文件生成方法是基于BS(浏览器，服务器)的系统结构的，用户通过浏览器使用该系统，该系统支持多种业务类型的数据在同一平台下生成统一数据格式的索引数据。
[0102]在本发明实施例中，主要针对数据内容进行预处理的过程进行分析，所述方法步骤包括:
[0103]在步骤S301中，获取业务数据。
[0104]其中，所述业务数据包括数据内容和业务类型；所述业务类型可以包括:视频、音乐、图片等，相对应的，所述业务数据可以包括视频数据、音乐数据以及图片数据等，此处不作具体限定。
[0105]可以理解的是，在生成对应于不同业务类型的配置文件后，将所述配置文件预置于服务器中，其后，在获取到用户数据的业务数据后，触发服务器根据其业务类型，从在预置的多个配置文件中调出与业务类型对应的配置文件，从而根据配置文件进行处理，生成索引文件。
[0106]在步骤S302中，根据所述业务类型获取相对应的配置文件。
[0107]可以理解的是，每一种业务类型会对应一种配置文件，其中，所述配置文件中包含了配置文件包括对字段预处理指示以及分词处理指示，所述配置文件是用户根据实际操作中的业务类型的特点预先配置并存储在服务器中的。
[0108]较为优选的，在获取业务数据(即步骤S301)之前，还可以包括:分别生成对应于不同业务类型的配置文件，具体的，可以先获取与业务类型对应的字段配置信息，其后根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件。
[0109]其中，本发明实施例中，所述字段可以包括文本域字段、数值域字段和数值域字段，各个字段分别包括对应的属性，其后可根据各字段的配置信息的指示属性进行配置，从而生成配置文件；容易想到的是，生成对应于不同业务类型的配置文件的内容可参考上述实施例的步骤S201的描述进行具体实现，此处不再赘述。
[0110]可以理解的是，所述服务器中可以包括一索引数据预处理的动态库，主要是在获取到配置文件后，可以根据配置文件中的字段预处理指示，对所述数据内容进行预处理，从而生成预处理后的数据内容。
[0111]本实施例中，对所述数据内容进行预处理主要包括数据清洗以及数据改写，其中对于数据清洗以及数据改写的执行顺序不作限定，即既可以先进行数据清洗，再进行数据改写，也可以先进行数据改写，再进行数据清洗，还可以两者同时执行，两者之间互不影响，此处举例不构成对本发明的限定。
[0112]在一种可实施方式中，在获取到配置文件后，可以执行步骤S303A:
[0113]请参阅图3a，在步骤S303A中，根据配置文件中的字段预处理指示，先进行数据清洗，再进行数据改写；其中步骤S303A可具体包括:
[0114]步骤A、判断所述数据内容中是否存在垃圾字段；
[0115]根据判断结果，执行步骤Al或步骤A2 ;
[0116]步骤Al、若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，并判断删除后的数据内容是否需要改写；
[0117]根据步骤Al的判断结果，执行步骤All或步骤A12 ；
[0118]步骤All、若需要改写，则将所述删除后的数据内容进行改写，将改写后的数据内容作为预处理后的数据内容；
[0119]步骤A12、若不需要改写，则将所述删除后的数据内容作为预处理后的数据内容；
[0120]步骤A2、若不存在垃圾字段，则判断所述数据内容是否需要改写；
[0121 ] 根据步骤A2的判断结果，执行步骤A21或步骤A22 ；
[0122]步骤A21、若需要改写，则将所述数据内容进行改写，将改写后的数据内容作为预处理后的业务数据；是
[0123]步骤A22、若不需要改写，则将所述数据内容作为预处理后的数据内容。
[0124]在另一种可实施方式中，在获取到配置文件后，可以执行步骤S303B:
[0125]请参阅图3b，在步骤S303B中，根据配置文件中的字段预处理指示，先进行数据改写，再进行数据清洗；其中步骤S303B可具体包括:
[0126]B、判断所述数据内容是否需要改写；
[0127]根据判断结果，执行步骤BI或步骤B2 ;
[0128]B1、若需要改写，则将所述数据内容进行改写，并判断将改写后的数据内容中是否存在垃圾字段；
[0129]根据步骤BI的判断结果，执行步骤Bll或步骤B12 ；
[0130]B11、若存在垃圾字段，则将所述垃圾字段从所述改写后的数据内容中删除，将删除后的数据内容作为预处理后的数据内容；
[0131]B12、若不存在垃圾字段，则将所述改写后的数据内容作为预处理后的数据内容；
[0132]B2、若不需要改写，则判断所述数据内容中是否存在垃圾字段；
[0133]根据步骤B2的判断结果，执行步骤B21或步骤B22 ；
[0134]B21、若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，将删除后的数据内容作为预处理后的数据内容；
[0135]B22、若不存在垃圾字段，则将所述数据内容作为预处理后的数据内容。
[0136]进一步的，根据步骤S303A以及步骤S303B可知，数据清洗目的是去除数据内容中的垃圾字段，如标点符号等，这些垃圾内容会影响后续的检索体验，因此应该去除；而数据改写的目的是由于数据需要进行特殊处理，如将某些字段中的中英混合名分离成两个名字等，因此需要在索引数据生成前进行数据的预处理操作。
[0137]更进一步优选的，所述服务器还可以包括一原始数据预处理的动态库，最主要是对原始的业务数据进行处理，处理完后的数据作为上述预处理操作的数据输入，主要包括数据扩展、格式检查等，其中数据扩展是指部分业务推送的数据不够全面，不能满足用户的全部搜索要求，通过抓取互联网中的其他资源，补充业务的数据。如对视频、音乐的搜索，补充大量非默认系统自有资源的数据；格式检查是指对业务推送过来的数据进行正确性校验，检查是否推送了和配置不符的数据类型和字段等，本发明对原始业务数据处理的过程不作具体限定。
[0138]在步骤S304中，对预处理后的数据内容进行分析以确定所述数据内容的属性信息;
[0139]在某些实施方式中，可以获取预置的分词模板，按照所述分词模板对所述预处理后的数据内容进行分析，确定所述数据内容的属性信息。其中，所述服务器中预先设置了多个分词模块，可包括多个业务类型的数据模板，如音乐的数据，则数据模板中可包括歌手数据库、歌名数据库以及流派数据库等，对其进行分析，则可获悉该数据内容的属性信息；比如，若该数据内容属于音乐的业务类型，则属性信息是指歌曲的下载量、播放量等数值类型的属性。
[0140]在步骤S305中，根据所述分词处理指示以及所述属性信息，对所述预处理后的业务数据进行分词，并对分词处理后的数据内容进行顺排处理，生成统一数据格式的顺排索引文件。
[0141]预处理后，可根据所述属性信息以及预置好的分词处理指示进行处理，即进行归一化操作，将不同格式的业务数据，归一化为统一的数据格式，得到了归一化后的顺排数据，以适应多种业务类型的数据检索。
[0142]可以理解的是，在进行预处理后，数据会进入顺排处理单元FSU进行顺排索引生成。通过配置文件中配置好的分词处理指示，以及根据内置的几种分词模板进行数据处理，计算出wordid，词POS信息等搜索需要使用到的数据信息，最后将统一格式的顺排索引文件输出。
[0143]可以理解的是，在生成统一数据格式的顺排索引文件之后，还可以包括:
[0144]在步骤S306中，将所述顺排索引文件转换为倒排索引文件，以便用户根据所述倒排索引文件进行检索。
[0145]结合上述内容，以下以一应用场景对通过所述方法生成的索引文件进行简单分析:
[0146]可以理解的是，该生成方法是基于BS(浏览器，服务器)的系统结构的，该系统支持多种业务类型的数据在同一平台下生成统一数据格式的索引数据。首先，该平台已实现页面化配置，在接入业务数据后，需要告知平台当前业务数据都有哪些数据字段，每个字段的类型及属性值等，具体实现可参考第二实施例中的关于字段配置的内容，此处不再作具体描述。
[0147]比如:对于小说搜索业务，共有六个字段，其中四个字段作为文本域字段需要建立索引，有两个字段作为数值域字段提供给相关性打分使用。选择建立索引的字段将会对每一个字段进行语义分词，计算wordid，最终建立倒排索引，这些字段就是可以被用户搜索到的字段。
[0148]其中，分词方式规定了建立文本索引时，如何切分每一个字段中的词。常用的有正常分词、前缀分词、分类索引分词等。
[0149]正常分词就是对文本进行正常的语义分词，如“今天天气真好”，会被分成今天/天气/真/好四个词。前缀分词则将上述句子分成今/今天/今天天/今天天气/今天天气真/今天天气真好六个词，这种分词方式主要用于联想词提示功能。分类索引分词是一种较高级的用法，对于一些有分类的文本可以使用，如将小说分为武侠、言情、科幻等类别，使用分类索引分词建立索引之后，业务就可按照小说的类别进行查询，如查找名为“三体”且类别为科幻的小说。
[0150]优选的实施方式中，还可以提供指定域内检索的功能。比如:如果只想搜索书名为“三体”的书，而不想搜索到作者名包含“三体”的书，则可以使用指定域内检索的功能。平台会在索引项中增加特殊的字符，以标志这是一个域内检索的索引项。当用户请求时，也会加上相应的标志进行检索，这样可以直接通过索引求交的方式排除掉其他域中有“三体”这个词命中的文档。
[0151]由上述可知，本实施例中，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
[0152]第四实施例
[0153]为便于更好的实施本发明实施例提供的索引文件生成方法，本发明实施例还提供一种与上述索引文件生成方法相对应的索引文件生成装置。其中名词的含义与上述索引文件生成方法中相同，具体实现细节可以参考方法实施例中的说明。
[0154]请参阅图4，图4为本发明第六实施例提供的索引文件生成装置的结构示意图，其中所述装置是基于BS (浏览器，服务器)的系统结构的，用户通过浏览器使用该系统，该系统支持多种业务类型的数据在同一平台下生成统一数据格式的索引数据。
[0155]所述装置包括:第一获取模块401、第二获取模块402、预处理模块403、分词模块404以及索引生成模块405。
[0156]其中所述第一获取模块401，用于获取业务数据，所述业务数据包括数据内容和业务类型；所述第二获取模块402，用于根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示。
[0157]可以理解的是，所述业务类型可以包括:视频、音乐、图片等，相对应的，所述业务数据可以包括视频数据、音乐数据以及图片数据等，此处不作具体限定。另外，本实施例中的业务数据的数据格式可以分为两个部分，其中一个部分承载指示业务类型的信息，另一个部分承载该业务类型对应的数据内容。
[0158]其中，每一种业务类型会对应一种配置文件，所述配置文件是用户根据实际操作中的业务类型的特点预先配置并存储在索引文件生成装置中的。
[0159]进一步的，所述配置文件中包含了对所述数据内容的字段进行预处理的指示，以及对所述数据内容的字段进行分词的指示，所述配置文件根据用户对各业务数据的字段的配置来生成，此处对字段的配置不作具体限定。
[0160]所述预处理模块403，用于根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容；所述分词模块404，用于根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理；所述索引生成模块405，用于对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。
[0161]由于每一业务类型对应一配置文件，即每一业务类型对应一字段预处理指示，各个业务类型分别根据对应的字段预处理指示，对所述数据内容进行预处理，可以体现了不同业务类型之间的个性化差异操作；预处理后，可根据平台预设的分词模板以及预置好的分词处理指示进行处理，即进行归一化操作，将不同格式的业务数据，送入顺排处理单元FSU进行顺排索引生成，归一化为统一的数据格式，得到了归一化后的顺排数据，以适应多种业务类型的数据检索。
[0162]由上述可知，本实施例中，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
[0163]第五实施例
[0164]请参阅图5，图5为本发明第五实施例提供的索引文件生成装置的结构示意图。需要说明的是，本发明提供的索引文件生成装置是基于BS(浏览器，服务器)的系统结构的，用户通过浏览器使用该系统，该系统支持多种业务类型的数据在同一平台下生成统一数据格式的索引数据。
[0165]其中所述索引文件生成装置可以包括:第一获取模块501、第二获取模块502、预处理模块503、分词模块504以及索引生成模块505，可以理解的是，该实施例中上述各功能模块的功能作用可对应参考第四实施例中的第一获取模块401、第二获取模块402、预处理模块403、分词模块404以及索引生成模块405的相关描述，此处不作赘述。
[0166]所述装置还包括:配置文件生成模块506，用于获取业务数据之前，分别生成对应于不同业务类型的配置文件。
[0167]可以理解的是，每一种业务类型会对应一种配置文件，其中，所述业务类型可以包括:视频、音乐、图片等，相对应的，所述业务数据包括视频数据、音乐数据以及图片数据。本实施例中，所述配置文件是用户根据实际操作中的业务类型的特点预先配置并存储在服务器中的，所述配置文件中包含了对所述数据内容的字段进行预处理的指示，以及对所述数据内容的字段进行分词的指示。
[0168]在优选的实施方式中，所述配置文件可以基于以下方式得到:
[0169]所述配置文件生成模块506包括:获取单元5061以及配置单元5062 ；
[0170]其中所述获取单元5061，用于获取与业务类型对应的字段配置信息，所述字段配置信息指示预置的多个字段的属性值，所述字段包括文本域字段、数值域字段以及分类域字段。
[0171]可以理解的是，本发明业务数据中包括数据内容和业务类型，所述数据内容中包括多个文档，文档由多个字段组成，其中字段的类型可以进行预置，包括文本域字段、数值域字段以及分类域字段。另外，每个字段包括至少一个属性，也可称配置项，所述属性值由选择框的形式进行展示，以供用户进行选择和配置。
[0172]所述配置单元5062，用于根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件。
[0173]基于此，在进一步优选的实施方式中，可以基于以下具体方式来对所述多个字段的属性值进行配置；所述配置单元5062可以包括:第一配置子单元、第二配置子单元、第三配置子单元以及生成子单元；
[0174]所述第一配置子单元，用于根据所述字段的配置信息的指示对所述文本域字段的属性的属性值进行配置，得到配置后的文本域字段，所述文本域字段的属性包括描述、数据长度、主键、重要性和分词方式中的一个或两个以上的组合；
[0175]其中，所述文本域字段的各属性的含义简单说明如下:
[0176]描述是指该字段代表的含义，起提示作用，该属性对搜索结果没有影响；
[0177]数据长度是指该字段文本的最大长度。目前根据字段是否大于256字节分为两档，最大长度大于256字节的字段称为长文本字段，其中在整个文本域中，只有一个字段可以配置为长文本字段；
[0178]主键也就是主关键字，用来唯一标识一篇文档的字段，称为doc_id。该字段必须为能转化成数字的值。具体的，doc_id的值为一个64位整数；由于该值应当在uint64_t的空间中均匀，因此优选采用Hash值等产生，其中，Hash值是根据数据内容通过逻辑运算得到的数值，不同的文档得到的Hash值不同，Hash值就成了每一个文档的身份证；
[0179]重要性是表示该文本字段的重要程度，可以分为重要、一般以及不重要等；
[0180]分词方式分为正常分词和前缀分词。其中，正常分词是指按照对自然语义对文本进行分词，一般情况下可默认选择该方式；前缀分词适用于搜索框提示下拉框的场景。
[0181]所述第二配置子单元，用于根据所述字段的配置信息的指示对所述数值域字段的属性的属性值进行配置，得到配置后的数值域字段，所述数值域字段的属性包括描述、数据类型、权威、重要性、主键中的一个或两个以上的组合；
[0182]所述数值域字段适用于数值类型的信息。如售价、下载量等。该字段中的字符串值必须可以转化为数字。其中，所述数值域字段的各属性的含义简单说明如下:
[0183]描述是指该字段代表的含义，起提示作用，该属性对搜索结果没有影响；
[0184]数据类型是该实施例中配置项可以设置有int8，uint8，intl6，uintl6，int32，uint32，int64，uint64和float几种类型可供选择。用户根据该数值可能的最大范围来选择，如果提供的数据中实际值超过配置的范围，将会出错；
[0185]权威用来表示该字段可以体现这篇文档的权威性。例如，对于视频搜索，可以选择观看数作为权威性字段。只有O或I个数值域字段可以指定为权威性字段；
[0186]重要性是表示该字段的重要程度，可以分为重要、一般以及不重要等；
[0187]主键与文本域字段的主键定义相同，也是指主关键字，用来唯一标识一篇文档的字段。称为doc_id。其中，该字段必须为能转化成数字的值。具体的，doc_id的值为一个64位整数；由于该值应当在uint64_t的空间中均勾，因此优选采用Hash值等产生。
[0188]所述第三配置子单元，用于根据所述字段的配置信息的指示对所述分类域字段的属性进行配置，得到配置后的分类域字段，所述分类域字段的属性包括检索指定类别；所述生成子单元，用于根据所述配置后的文本域字段、配置后的数值域字段和配置后的分类域字段生成与所述业务类型相对应的配置文件。
[0189]进一步优选的，所述预处理模块503可以根据配置文件中的字段预处理指示对数据内容进行预处理，对所述数据内容进行预处理主要包括数据清洗以及数据改写，其中对于数据清洗以及数据改写的执行顺序不作限定，即既可以先进行数据清洗，再进行数据改写，也可以先进行数据改写，再进行数据清洗，还可以两者同时执行，两者之间互不影响，此处举例不构成对本发明的限定。
[0190]基于此，在一种可实施方式中，所述预处理模块503先进行数据清洗，再进行数据改写，所述预处理模块503可以包括:第一判断单元5031、第一处理单元5032以及第二处理单元5033 ；
[0191]其中，所述第一判断单元5031，用于判断所述数据内容中是否存在垃圾字段；
[0192]所述第一处理单元5032，用于若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，并判断删除后的数据内容是否需要改写，若需要改写，则将所述删除后的数据内容进行改写，将改写后的数据内容作为预处理后的数据内容；若不需要改写，则将所述删除后的数据内容作为预处理后的数据内容；
[0193]所述第二处理单元5033，用于若不存在垃圾字段，则判断所述数据内容是否需要改写，若需要改写，则将所述数据内容进行改写，将改写后的数据内容作为预处理后的业务数据；若不需要改写，则将所述数据内容作为预处理后的数据内容。
[0194]在另一种可实施方式中，所述预处理模块503先进行数据改写，再进行数据清洗，所述预处理模块503可以包括:第二判断单元5034、第三处理单元5035以及第四处理单元5036 ；
[0195]其中，所述第二判断单元5034，用于判断所述数据内容是否需要改写；
[0196]所述第三处理单元5035，用于若需要改写，则将所述数据内容进行改写，并判断将改写后的数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述改写后的数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述改写后的数据内容作为预处理后的数据内容；
[0197]所述第四处理单元5036，用于若不需要改写，则判断所述数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述数据内容作为预处理后的数据内容。
[0198]更进一步的，所述分词模块504可以包括:属性信息确定单元，用于对所述预处理后的数据内容进行分析以确定所述数据内容的属性信息；分词单元，用于根据所述分词处理指示以及所述属性信息，对所述预处理后的业务数据进行分词，生成分词处理后的数据内容。
[0199]在某些实施方式中，所述属性信息确定单元可以包括:获取子单元，用于获取预置的分词模板；确定子单元，用于按照所述分词模板对所述预处理后的数据内容进行分析，确定所述数据内容的属性信息。其中，所述服务器中预先设置了多个分词模块，可包括多个业务类型的数据模板，如音乐的数据，则数据模板中可包括歌手数据库、歌名数据库以及流派数据库等，对其进行分析，则可获悉该数据内容的属性信息。
[0200]预处理后，可根据所述属性信息以及预置好的分词处理指示进行处理，即进行归一化操作，将不同格式的业务数据，归一化为统一的数据格式，得到了归一化后的顺排数据，以适应多种业务类型的数据检索。
[0201]可以理解的是，在进行预处理后，数据会进入顺排处理单元FSU进行顺排索引生成。通过配置文件中配置好的分词处理指示，以及根据内置的几种分词模板进行数据处理，计算出wordid，词POS信息等搜索需要使用到的数据信息，最后将统一格式的顺排索引文件输出。
[0202]可以理解的是，在生成统一数据格式的顺排索引文件之后，所述装置还可以包括:转换模块507，用于将所述顺排索引文件转换为倒排索引文件，以便用户根据所述倒排索引文件进行检索。
[0203]由上述可知，本实施例中，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
[0204]第六实施例
[0205]本发明实施例还提供一种服务器，其中可以集成本发明实施例的索引文件生成装置，如图6所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲:
[0206]该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、射频(Rad1 Frequency，RF)电路603、电源604、输入单元605、以及显示单元606等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中:
[0207]处理器601是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
[0208]存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
[0209]RF电路603可用于收发信息过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器601处理；另外，将涉及上行的数据发送给基站。通常，RF电路603包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SM)卡、收发信机、耦合器、低噪声放大器(LNA，LowNoise Amplifier)、双工器等。此外，RF电路603还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System ofMobilecommunicat1n)、通用分组无线服务(GPRS，General PacketRad1 Service)、码分多址(CDMA, Code Divis1nMultiple Access)、宽带码分多址(WCDMA，Wideband Code Divis1nMultiple Access)、长期演进(LTE，Long Term Evolut1n)、电子邮件、短消息服务(SMS，ShortMessaging Service)等。
[0210]服务器还包括给各个部件供电的电源604 (比如电池)，优选的，电源可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源604还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0211]该服务器还可包括输入单元605，该输入单元605可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0212]该服务器还可包括显示单元606，该显示单元606可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元608可包括显示面板，可选的，可以采用液晶显不器(LCD，Liquid Crystal Display)、有机发光二极管(0LED，Organic Light-EmittingD1de)等形式来配置显示面板。
[0213]具体在本实施例中，服务器中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下:
[0214]获取业务数据，所述业务数据包括数据内容和业务类型；根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示；根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容；根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理；对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。
[0215]优选的，所述处理器601还用于:分别生成对应于不同业务类型的配置文件。
[0216]进一步的，获取与业务类型对应的字段配置信息，所述字段配置信息指示预置的多个字段的属性值，所述字段包括文本域字段、数值域字段以及分类域字段；根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件。
[0217]优选的，所述处理器601还用于:判断所述数据内容中是否存在垃圾字段；
[0218]若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，并判断删除后的数据内容是否需要改写，若需要改写，则将所述删除后的数据内容进行改写，将改写后的数据内容作为预处理后的数据内容；若不需要改写，则将所述删除后的数据内容作为预处理后的数据内容；
[0219]若不存在垃圾字段，则判断所述数据内容是否需要改写，若需要改写，则将所述数据内容进行改写，将改写后的数据内容作为预处理后的业务数据；若不需要改写，则将所述数据内容作为预处理后的数据内容。
[0220]优选的，所述处理器601还用于:判断所述数据内容是否需要改写；
[0221]若需要改写，则将所述数据内容进行改写，并判断将改写后的数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述改写后的数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述改写后的数据内容作为预处理后的数据内容；
[0222]若不需要改写，则判断所述数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述数据内容作为预处理后的数据内容。
[0223]优选的，所述处理器601还用于:
[0224]根据所述字段的配置信息的指示对所述文本域字段的属性的属性值进行配置，得到配置后的文本域字段，所述文本域字段的属性包括描述、数据长度、主键、重要性和分词方式中的一个或两个以上的组合；
[0225]根据所述字段的配置信息的指示对所述数值域字段的属性的属性值进行配置，得到配置后的数值域字段，所述数值域字段的属性包括描述、数据类型、权威、重要性、主键中的一个或两个以上的组合；
[0226]根据所述字段的配置信息的指示对所述分类域字段的属性进行配置，得到配置后的分类域字段，所述分类域字段的属性包括检索指定类别；
[0227]根据所述配置后的文本域字段、配置后的数值域字段和配置后的分类域字段生成与所述业务类型相对应的配置文件。
[0228]优选的，所述处理器601还用于:对所述预处理后的数据内容进行分析以确定所述数据内容的属性信息；根据所述分词处理指示以及所述属性信息，对所述预处理后的业务数据进行分词，生成分词处理后的数据内容。
[0229]进一步的，将所述顺排索引文件转换为倒排索引文件，以便用户根据所述倒排索引文件进行检索。
[0230]优选的，所述处理器601还用于:获取预置的分词模板；按照所述分词模板对所述预处理后的数据内容进行分析，确定所述数据内容的属性信息。
[0231]可以理解的是，在上述的实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文对应的索引文件生成方法的详细描述，此处不再赘述。
[0232]由上述可知，本实施例提供的服务器，根据多种业务数据的业务类型，获取相对应的配置文件，其后根据配置文件的字段预处理指示，对业务数据的数据内容进行预处理，根据配置文件的分词处理指示，对预处理后的数据内容分别进行分词处理，从而生成统一数据格式的索引文件。本发明针对不同业务类型的数据采用相对应的配置文件对数据进行处理，其后采用相同的程序对数据内容进行分词，将不同格式的业务数据归一化为统一数据格式的索引数据，从而可针对多种业务数据类型统一建立索引文件，简化建立过程，提高效率。
[0233]本发明实施例提供的所述索引文件生成装置，譬如为计算机、平板电脑、具有触摸功能的手机等等，所述索引文件生成装置与上文实施例中相对应的索引文件生成方法属于同一构思，在所述索引文件生成装置上可以对应运行所述索引文件生成方法实施例中提供的任一方法，其具体实现过程详见对应的所述索引文件生成方法实施例，此处不再赘述。
[0234]需要说明的是，对本发明所述索引文件生成方法而言，本领域普通测试人员可以理解实现本发明实施例所述索引文件生成方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在终端的存储器中，并被该终端内的至少一个处理器执行，在执行过程中可包括如所述索引文件生成方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(R0M，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)等。
[0235]对本发明实施例的索引文件生成装置而言，其各功能模块可以分别集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
[0236]以上对本发明实施例所提供的一种索引文件生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种索引文件生成方法，其特征在于，所述方法包括: 获取业务数据，所述业务数据包括数据内容和业务类型； 根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示； 根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容； 根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理； 对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。2.根据权利要求1所述的索引文件生成方法，其特征在于，所述获取业务数据之前，还包括: 分别生成对应于不同业务类型的配置文件。3.根据权利要求2所述的索引文件生成方法，其特征在于，所述分别生成对应于不同业务类型的配置文件，包括: 获取与业务类型对应的字段配置信息，所述字段配置信息指示预置的多个字段的属性值，所述字段包括文本域字段、数值域字段以及分类域字段； 根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件。4.根据权利要求1至3任一项所述的索引文件生成方法，其特征在于，所述根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容，包括: 判断所述数据内容中是否存在垃圾字段； 若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，并判断删除后的数据内容是否需要改写，若需要改写，则将所述删除后的数据内容进行改写，将改写后的数据内容作为预处理后的数据内容；若不需要改写，则将所述删除后的数据内容作为预处理后的数据内容； 若不存在垃圾字段，则判断所述数据内容是否需要改写，若需要改写，则将所述数据内容进行改写，将改写后的数据内容作为预处理后的业务数据；若不需要改写，则将所述数据内容作为预处理后的数据内容。5.根据权利要求1至3任一项所述的索引文件生成方法，其特征在于，所述根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容，包括: 判断所述数据内容是否需要改写； 若需要改写，则将所述数据内容进行改写，并判断将改写后的数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述改写后的数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述改写后的数据内容作为预处理后的数据内容； 若不需要改写，则判断所述数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述数据内容作为预处理后的数据内容。6.根据权利要求3所述的索引文件生成方法，其特征在于，所述根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件，包括: 根据所述字段的配置信息的指示对所述文本域字段的属性的属性值进行配置，得到配置后的文本域字段，所述文本域字段的属性包括描述、数据长度、主键、重要性和分词方式中的一个或两个以上的组合； 根据所述字段的配置信息的指示对所述数值域字段的属性的属性值进行配置，得到配置后的数值域字段，所述数值域字段的属性包括描述、数据类型、权威、重要性、主键中的一个或两个以上的组合； 根据所述字段的配置信息的指示对所述分类域字段的属性进行配置，得到配置后的分类域字段，所述分类域字段的属性包括检索指定类别； 根据所述配置后的文本域字段、配置后的数值域字段和配置后的分类域字段生成与所述业务类型相对应的配置文件。7.根据权利要求1至3任一项所述的索引文件生成方法，其特征在于，所述根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理的步骤，包括: 对所述预处理后的数据内容进行分析以确定所述数据内容的属性信息； 根据所述分词处理指示以及所述属性信息，对所述预处理后的业务数据进行分词，生成分词处理后的数据内容。8.根据权利要求7所述的索引文件生成方法，其特征在于，所述对分词处理后的数据内容进行顺排处理，生成统一数据格式的顺排索引文件之后，还包括: 将所述顺排索引文件转换为倒排索引文件，以便用户根据所述倒排索引文件进行检索。9.根据权利要求7所述的索引文件生成方法，其特征在于，所述对所述预处理后的数据内容进行分析以确定所述数据内容的属性信息，包括: 获取预置的分词模板； 按照所述分词模板对所述预处理后的数据内容进行分析，确定所述数据内容的属性信息。10.一种索引文件生成装置，其特征在于，所述装置包括: 第一获取模块，用于获取业务数据，所述业务数据包括数据内容和业务类型； 第二获取模块，用于根据所述业务类型获取相对应的配置文件，所述配置文件包括对字段预处理指示以及分词处理指示； 预处理模块，用于根据所述字段预处理指示，对所述数据内容进行预处理，生成预处理后的数据内容； 分词模块，用于根据所述分词处理指示，对所述预处理后的数据内容分别进行分词处理； 索引生成模块，用于对分词处理后的数据内容进行顺排处理，生成统一数据格式的索引文件。11.根据权利要求10所述的索引文件生成装置，其特征在于，所述装置还包括:配置文件生成模块，用于获取业务数据之前，分别生成对应于不同业务类型的配置文件。12.根据权利要求11所述的索引文件生成装置，其特征在于，所述配置文件生成模块包括: 获取单元，用于获取与业务类型对应的字段配置信息，所述字段配置信息指示预置的多个字段的属性值，所述字段包括文本域字段、数值域字段以及分类域字段中的一种或两种以上的组合； 配置单元，用于根据所述字段的配置信息的指示对所述多个字段的属性值进行配置，得到与所述业务类型相对应的配置文件。13.根据权利要求10至12任一项所述的索引文件生成装置，其特征在于，所述预处理丰吴块，包括: 第一判断单元，用于判断所述数据内容中是否存在垃圾字段； 第一处理单元，用于若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，并判断删除后的数据内容是否需要改写，若需要改写，则将所述删除后的数据内容进行改写，将改写后的数据内容作为预处理后的数据内容；若不需要改写，则将所述删除后的数据内容作为预处理后的数据内容； 第二处理单元，用于若不存在垃圾字段，则判断所述数据内容是否需要改写，若需要改写，则将所述数据内容进行改写，将改写后的数据内容作为预处理后的业务数据；若不需要改写，则将所述数据内容作为预处理后的数据内容。14.根据权利要求10至12任一项所述的索引文件生成装置，其特征在于，所述预处理丰吴块，包括: 第二判断单元，用于判断所述数据内容是否需要改写； 第三处理单元，用于若需要改写，则将所述数据内容进行改写，并判断将改写后的数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述改写后的数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述改写后的数据内容作为预处理后的数据内容； 第四处理单元，用于若不需要改写，则判断所述数据内容中是否存在垃圾字段，若存在垃圾字段，则将所述垃圾字段从所述数据内容中删除，将删除后的数据内容作为预处理后的数据内容，若不存在垃圾字段，则将所述数据内容作为预处理后的数据内容。15.根据权利要求12所述的索引文件生成装置，其特征在于，所述配置单元，包括: 第一配置子单元，用于根据所述字段的配置信息的指示对所述文本域字段的属性的属性值进行配置，得到配置后的文本域字段，所述文本域字段的属性包括描述、数据长度、主键、重要性和分词方式中的一个或两个以上的组合； 第二配置子单元，用于根据所述字段的配置信息的指示对所述数值域字段的属性的属性值进行配置，得到配置后的数值域字段，所述数值域字段的属性包括描述、数据类型、权威、重要性、主键中的一个或两个以上的组合； 第三配置子单元，用于根据所述字段的配置信息的指示对所述分类域字段的属性进行配置，得到配置后的分类域字段，所述分类域字段的属性包括检索指定类别； 生成子单元，用于根据所述配置后的文本域字段、配置后的数值域字段和配置后的分类域字段生成与所述业务类型相对应的配置文件。16.根据权利要求10至12任一项所述的索引文件生成装置，其特征在于，所述分词模块，包括: 属性信息确定单元，用于对所述预处理后的数据内容进行分析以确定所述数据内容的属性信息； 分词单元，用于根据所述分词处理指示以及所述属性信息，对所述预处理后的业务数据进行分词，生成分词处理后的数据内容。17.根据权利要求16所述的索引文件生成装置，其特征在于，所述装置还包括: 转换模块，用于将所述顺排索引文件转换为倒排索引文件，以便用户根据所述倒排索引文件进行检索。18.根据权利要求16所述的索引文件生成装置，其特征在于，所述属性信息确定单元，包括: 获取子单元，用于获取预置的分词模板； 确定子单元，用于按照所述分词模板对所述预处理后的数据内容进行分析，确定所述数据内容的属性信息。
【文档编号】G06F17/30GK105988996SQ201510039519
【公开日】2016年10月5日
【申请日】2015年1月27日
【发明人】朱锴
【申请人】腾讯科技（深圳）有限公司