一种对数据进行可视化归档与搜索的方法
【专利摘要】本发明公开一种对数据进行可视化归档与搜索的方法,涉及数据归档和查询分析技术，首先，通过界面定义档案的来源、关系、字段类型、档案结构、目标存储类型、增量或全量，然后，将数据信息归档为xml结构的档案，存储到指定存储类型；同时，配置界面定义档案元素和索引服务器的变量的对应关系，系统将需要查询的档案元素映射到索引服务器的变量上去，进行快速查询定位；最后，根据获取的档案唯一编码，调取档案进行展示。该方法针对需要查询的内容进行分词索引，查询时，直接输入查询内容，无需指定字段；使用了分词和索引服务器，查询效率高，范围广，对服务器系统的性能要求低，节省设备投资。
【专利说明】一种对数据进行可视化归档与搜索的方法
[0001]
技术领域
[0002]本发明涉及数据归档和查询分析技术，具体的说是一种对数据进行可视化归档与搜索的方法。
【背景技术】
[0003]随着信息技术的发展，企业或政府的各类部门、业务系统中，存储的数据量也越来越多，数据关系越来越复杂。当把这些业务部门、各个系统的数据汇集起来后，如果想对各类数据在各个维度进行查询，在传统模式下根本无法做到，同时对服务器的性能要求也很高。针对这种情况，若能够对数据进行可视化的归档或搜索，将能够有效解决上述问题，因此非常有必要开发对数据进行可视化归档和搜索的方法。
【发明内容】
[0004]本发明针对目前技术发展的需求和不足之处，提供一种对数据进行可视化归档与搜索的方法。
[0005]本发明所述一种对数据进行可视化归档与搜索的方法，解决上述技术问题采用的技术方案如下:所述一种对数据进行可视化归档与搜索的方法，首先，通过界面定义档案的来源、关系、字段类型、档案结构、目标存储类型、增量或全量，然后，将数据信息归档为xml结构的档案，存储到指定存储类型；同时，配置界面定义档案元素和索引服务器的变量的对应关系，系统将需要查询的档案元素映射到索引服务器的变量上去，进行快速查询定位;最后，根据获取的档案唯一编码，调取档案进行展示;其具体包括如下步骤:I)对数据源进行描述;2)对档案集进行描述;3)对档案进行定义;4)对档案的显示方式进行定义;5)对档案的索引进行定义;6)档案生成;7)索引生成;8)增量的档案和索引生成;9)档案查询。
[0006]优选的，所述对数据源进行描述主要包括，在系统对源数据进行了描述，具体描述了数据源、资源、资源列三类信息;其中，数据源指数据的数据库类型，资源属于数据源下的内容，为数据库里的表；资源列指数据库里的表的列的信息；定义完数据源、资源、资源列后，对资源的主键、外键进行定义，同时，定义唯一编码的列，作为档案的唯一标识。
[0007]优选的，所述对档案集进行描述主要包括，将具有相同业务场景、相同查询需求的不同类别档案，统一归属一个档案集;在档案集定义时，定义档案的存储方式，并定义使用哪个搜索服务器。
[0008]优选的，所述对档案进行定义主要包括，建立档案节点和源数据之间的关系;档案格式采用xml格式，树形结构，档案目录和内容分别存储;所述档案节点，根据特性分为三类:分组节点、数据节点、列表节点；定义数据节点和列表节点时，选择相应的资源并选择列;在档案定义完成后，选择一个数据节点作为主节点，该主节点对应的表即为主表。
[0009]优选的，所述对档案的显示方式进行定义主要是指，对档案的展示方式进行了定义，如标题、样式、掩码、是否显示、排序。
[0010]优选的，所述对档案的索引进行定义主要是指，定义档案索引列，在定义好档案结构的基础上，对档案的资源列和索引服务器上的变量的对应关系进行定义。
[0011]优选的，所述档案生成主要包括，根据档案定义的节点信息、节点信息对应的数据源、资源、资源列信息，主从表关系、源数据的主外键对档案进行生成，将档案放到指定的存储空间上。
[0012]优选的，所述索引生成主要是指，在档案生成完成的基础上，根据资源列和索引服务器上的变量的对应关系，将变量和变量的值，提交给索引服务器，由索引服务器进行分词建立索引。
[0013]优选的，所述增量的档案和索引生成主要是指，对外部系统采取接口表的方式，根据写入的变化了的数据源、表、主键信息，处理系统，查找相应的档案定义，对变动的档案部分进行增删改操作，档案变动完成后，重新在索引服务器上生成索引。
[0014]优选的，所述档案查询主要包括，在查询界面输入查询的内容，由搜索服务器根据提供的查询内容，在索引中查询最合适的记录，将档案的摘要信息、唯一业务编码返回，并根据唯一业务编码，查取档案内容和档案显示方式进行档案的展示。
[0015]本发明所述一种对数据进行可视化归档与搜索的方法与现有技术相比具有的有益效果是:该方法应用于政府部门在多部门数据归集后，对数据进行归档和高效查询分析；针对需要查询的内容进行分词索引，查询时，直接输入查询内容，无需指定字段;此外，提供了可视化的配置界面，可以对检索服务器和档案生成、索引生成等功能进行定制;使用了分词和索引服务器，查询效率高，范围广，对服务器系统的性能要求低，节省设备投资。
【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明所述一种对数据进行可视化归档与搜索的方法进一步详细说明。
[0017]为了解决政府部门在对下属部门、关联部门、各业务系统进行数据归集后，高效地进行归档和查询分析等问题，发明公开了一种对数据进行可视化归档与搜索的方法，通过界面定义档案的来源、关系、字段类型、档案结构、目标存储类型、增量/全量，系统根据这些定义，将数据信息归档为xml结构的档案，存储到指定存储类型；同时，配置界面定义档案元素和索引服务器的变量的对应关系，系统将需要查询的档案元素映射到索引服务器的变量上去，能够快速的进行查询定位;最后，根据获取的档案唯一编码，能够调取档案进行展示。
[0018]实施例:
本实施例所述一种对数据进行可视化归档与搜索的方法，其具体包括如下步骤:I)对数据源进行描述;2)对档案集进行描述；3)对档案进行定义；4)对档案的显示方式进行定义;5)对档案的索引进行定义;6)档案生成;7)索引生成;8)增量的档案和索引生成;9)档案查询。
[0019]由于数据来自于不同的数据源，格式不同，地址不同，本实施例所述对数据进行可视化归档与搜索的方法中，所述对数据源进行描述主要包括，在系统对源数据进行了描述，具体描述了数据源、资源、资源列三类信息。其中，数据源指数据的数据库类型，oracle还是db2，ip地址和端口等信息；资源属于数据源下的内容，为数据库里的表(档案生成时，需要用到的表)；资源列指数据库里的表的列的信息:字段名称、字段类型、长度，不需要对所有的字段进行描述，只需要对生成档案时用到的信息进行描述。定义完数据源、资源、资源列后，对资源的主键、外键进行定义，以便将资源关联起来；同时，定义唯一编码的列，作为档案的唯一标识。
[0020]所述对档案集进行描述主要包括，将具有相同业务场景、相同查询需求的不同类别档案，统一归属一个档案集;在档案集定义时，定义档案的存储方式，可以是数据库、文件、hbase等，并定义使用哪个搜索服务器。在同一个档案集里的档案，具有相同的档案存储、相同的搜索服务器。
[0021]所述对档案进行定义主要包括，建立档案节点和源数据(数据源、资源、资源列)之间的关系;档案格式采用xml格式，树形结构，档案目录和内容分别存储。档案目录主要用于描述档案的结构和有内容节点的链接值，档案内容主要是档案目录上内容节点的具体内容。所述档案节点，根据特性分为三类:分组节点、数据节点、列表节点。分组节点，把相同的资源放在一起;数据节点为单节点，即只对应资源的一条记录;列表节点对应资源的多条记录。定义数据节点和列表节点时，选择相应的资源并选择列。在档案定义完成后，选择一个数据节点作为主节点，该主节点对应的表即为主表。
[0022]所述对档案的显示方式进行定义主要是指，对档案的展示方式进行了定义，如标题、样式、掩码(对敏感信息用*代替)、是否显示、排序(资源的排序、资源列的排序)等;采取单独定义显示方式，可以减少档案的不必要信息，节省档案的存储空间，同时，根据用户需求，灵活的进行定义而不需要重新生成档案。
[0023]所述对档案的索引进行定义主要是指，定义档案索引列，在定义好档案结构的基础上，对档案的资源列和索引服务器上的变量的对应关系进行定义。
[0024]所述档案生成主要包括，根据档案定义的节点信息、节点信息对应的数据源、资源、资源列信息，主从表关系、源数据的主外键对档案进行生成，将档案放到指定的存储空间上。
[0025]所述索引生成主要是指，在档案生成完成的基础上，根据资源列和索引服务器上的变量的对应关系，将变量和变量的值，提交给索引服务器，由索引服务器进行分词建立索引。
[0026]所述增量的档案和索引生成主要是指，对外部系统采取接口表的方式，根据写入的变化了的数据源、表、主键信息，处理系统，查找相应的档案定义，对变动的档案部分进行增删改操作，档案变动完成后，重新在索引服务器上生成索引。
[0027]所述档案查询主要包括，在查询界面输入查询的内容，由搜索服务器根据提供的查询内容，在索引中查询最合适的记录，将档案的摘要信息(即索引信息)、唯一业务编码返回，并根据唯一业务编码，查取档案内容和档案显示方式进行档案的展示。在档案展示时，通过界面可以配置界面展现的方式，如列表、列宽、分行、字体、颜色、是否显示、排序、身份证号码掩饰等，方便根据客户需求进行个性化的展示。
[0028]上述【具体实施方式】仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述【具体实施方式】，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
【主权项】
1.一种对数据进行可视化归档与搜索的方法，其特征在于，首先，通过界面定义档案的来源、关系、字段类型、档案结构、目标存储类型、增量或全量，然后，将数据信息归档为xml结构的档案，存储到指定存储类型；同时，配置界面定义档案元素和索引服务器的变量的对应关系，系统将需要查询的档案元素映射到索引服务器的变量上去，进行快速查询定位;最后，根据获取的档案唯一编码，调取档案进行展示;其具体包括如下步骤:1)对数据源进行描述;2)对档案集进行描述;3)对档案进行定义;4)对档案的显示方式进行定义;5)对档案的索引进行定义;6)档案生成;7)索引生成;8)增量的档案和索引生成;9)档案查询。2.根据权利要求1所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述对数据源进行描述主要包括，在系统对源数据进行了描述，具体描述了数据源、资源、资源列三类信息；其中，数据源指数据的数据库类型，资源属于数据源下的内容，为数据库里的表;资源列指数据库里的表的列的信息；定义完数据源、资源、资源列后，对资源的主键、夕卜键进行定义，同时，定义唯一编码的列，作为档案的唯一标识。3.根据权利要求2所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述对档案集进行描述主要包括，将具有相同业务场景、相同查询需求的不同类别档案，统一归属一个档案集;在档案集定义时，定义档案的存储方式，并定义使用哪个搜索服务器。4.根据权利要求3所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述对档案进行定义主要包括，建立档案节点和源数据之间的关系;档案格式采用xml格式，树形结构，档案目录和内容分别存储;所述档案节点，根据特性分为三类:分组节点、数据节点、列表节点；定义数据节点和列表节点时，选择相应的资源并选择列;在档案定义完成后，选择一个数据节点作为主节点，该主节点对应的表即为主表。5.根据权利要求4所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述对档案的显示方式进行定义主要是指，对档案的展示方式进行了定义，如标题、样式、掩码、是否显示、排序。6.根据权利要求5所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述对档案的索引进行定义主要是指，定义档案索引列，在定义好档案结构的基础上，对档案的资源列和索引服务器上的变量的对应关系进行定义。7.根据权利要求6所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述档案生成主要包括，根据档案定义的节点信息、节点信息对应的数据源、资源、资源列信息，主从表关系、源数据的主外键对档案进行生成，将档案放到指定的存储空间上。8.根据权利要求7所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述索引生成主要是指，在档案生成完成的基础上，根据资源列和索引服务器上的变量的对应关系，将变量和变量的值，提交给索引服务器，由索引服务器进行分词建立索引。9.根据权利要求8所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述增量的档案和索引生成主要是指，对外部系统采取接口表的方式，根据写入的变化了的数据源、表、主键信息，处理系统，查找相应的档案定义，对变动的档案部分进行增删改操作，档案变动完成后，重新在索引服务器上生成索引。10.根据权利要求9所述一种对数据进行可视化归档与搜索的方法，其特征在于，所述档案查询主要包括，在查询界面输入查询的内容，由搜索服务器根据提供的查询内容，在索引中查询最合适的记录，将档案的摘要信息、唯一业务编码返回，并根据唯一业务编码，查取档案内容和档案显示方式进行档案的展示。
【文档编号】G06F17/30GK106095964SQ201610431847
【公开日】2016年11月9日
【申请日】2016年6月17日
【发明人】房爱印, 李瑞东, 王杨, 王小林
【申请人】浪潮软件股份有限公司