数据仓库中的乱码处理方法及装置制造方法

数据仓库中的乱码处理方法及装置制造方法
【专利摘要】本发明公开了一种数据仓库中的乱码处理方法及装置。该方法包括：对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一处理结果；检测第一处理结果中的出错信息；判断出错信息是否是乱码信息；如果出错信息是乱码信息，则查找数据仓库中出现乱码信息的维度；以及对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果，其中，第一维度表处理方式比第二维度表处理方式占用内存少。通过本发明，解决了由于使用不同的维度表处理方式处理数据仓库维度时，会出现乱码的问题，加快了数据查询速度。
【专利说明】数据仓库中的乱码处理方法及装置

【技术领域】
[0001] 本发明涉及数据处理领域，具体而言，涉及一种数据仓库中的乱码处理方法及装 置。

【背景技术】
[0002] 在日常工作中，常常需要把某些相关的数据放进这样的"仓库"，并根据管理的需 要进行相应的处理。在财务管理、仓库管理、生产管理中也需要建立众多的这种〃数据库〃， 使其可以利用计算机实现财务、仓库、生产的自动化管理。
[0003] 数据库是一个单位或是一个应用领域的通用数据处理系统，它存储的是属于企业 和事业部门、团体和个人的有关数据的集合。数据库中的数据是为众多用户所共享其信息 而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库 中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据 库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用 户之间信息通信的要求。
[0004] 数据分析服务器（SQL Services Analysis Services简称SSAS)为合并数据挖掘 的解决方案提供一个集成的平台。为了加快数据查询的数度，常在数据库中对SSAS进行维 度处理，目的是将数据仓库中存储模块中数据转移到SSAS中，SSAS具有分析、查询的功能， 这样在以后数据的查询中，能够加快查询速度。但有时SSAS进行处理维度时会出现一些乱 码，常见的错误为KeyNotFound，在处理时，找不到相关维度所对应的hash键值，hash键值 为SSAS处理时为每个维度的每个唯一值生成的hash等，大多数原因是SqlServer与SSAS 的Trim处理方式及Distinct处理方式有差异，产生乱码。
[0005] 针对相关技术中由于使用不同的维度表处理方式处理数据仓库维度时，会出现乱 码的问题，目前尚未提出有效的解决方案。


【发明内容】

[0006] 本发明的主要目的在于提供一种数据仓库中的乱码处理方法及装置，以解决由于 使用不同的维度表处理方式处理数据仓库维度时，会出现乱码的问题。
[0007] 为了实现上述目的，根据本发明的一个方面，提供了一种数据仓库中的乱码处理 方法。根据本发明的数据仓库中的乱码处理方法包括：对数据仓库中所有的维度以第一维 度表处理方式进行处理，得到第一处理结果；检测该第一处理结果中的出错信息；判断该 出错信息是否是乱码信息；如果该出错信息是乱码信息，则查找该数据仓库中出现该乱码 信息的维度；以及对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果，其 中，该第一维度表处理方式比第二维度表处理方式占用内存少。
[0008] 进一步地，通过该处理结果，判断该出错信息是否是乱码信息包括：判断该出错信 息中是否包括第一预设字符，其中，该第一预设字符是预设的乱码提示信息；如果该出错信 息中包括第一预设字符，则确定该出错信息是乱码信息；以及如果该出错信息中不包括第 一预设字符，则确定该出错信息不是乱码信息。
[0009] 进一步地，检测该第一处理结果中的出错信息包括：获取该数据仓库中预设维度， 其中，该预设维度是预先配置的需要进行乱码检测的维度；查找该第一处理结果中与该预 设维度对应的处理结果；以及检测该第一处理结果中与该预设维度对应的处理结果中的出 错信息。
[0010] 进一步地，判断出错信息是否是乱码信息包括：判断第一处理结果中与预设维度 对应的处理结果中的出错信息是否是包含第一预设字符，其中，预设维度是预先配置的需 要进行乱码检测的维度，第一预设字符是预设的乱码提示信息；如果第一处理结果中与预 设维度对应的处理结果中的出错信息包括第一预设字符，则第一处理结果中与预设维度对 应的处理结果中的出错信息是乱码信息；以及如果第一处理结果中与预设维度对应的处理 结果中的出错信息不包括第一预设字符，则第一处理结果中与预设维度对应的处理结果中 的出错信息不是乱码信息。
[0011] 进一步地，查找该数据仓库中出现该乱码信息的维度包括：判断该数据仓库中出 现该乱码信息中是否包括第二预设字符，其中，该第二预设字符是该乱码信息所在的维度 的名称提示信息；如果该数据仓库中出现该乱码信息包括第二预设字符，通过该第二预设 字符，判定出现该乱码信息在该数据仓库中相对应的维度；查找出该出现该乱码信息在该 数据仓库中相对应的维度。
[0012] 进一步地，查找该数据仓库中出现该乱码信息的维度包括：判断该预设维度中出 现该乱码信息中是否包括该第二预设字符，其中，该第二预设字符是该乱码信息所在的维 度的名称提示信息；如果该预设维度中出现该乱码信息包括该第二预设字符，通过该第二 预设字符，判定出现该乱码信息在该预设维度中相对应的维度；查找出该出现该乱码信息 在该预设维度中相对应的维度。
[0013] 进一步地，对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果 包括：对查找到该预设维度中出现该乱码信息的维度以第二维度表处理方式，得到第二处 理结果。
[0014] 进一步地，在对查找到的维度以第二维度表处理方式进行处理，得到第二处理结 果之后，该乱码处理方法包括：将对数据仓库中所有的维度的默认处理方式更改为第一维 度表处理方式。
[0015] 为了实现上述目的，根据本发明的另一方面，提供了一种数据仓库中的乱码处理 装置。第一处理单元，用于对数据仓库中所有的维度以第一维度表处理方式进行处理，得到 第一处理结果；检测单元，用于检测该第一处理结果中的出错信息；判断单元，用于判断该 出错信息是否是乱码信息；查找单元，用于在判断出该出错信息是乱码信息时，则查找该数 据仓库中出现该乱码信息的维度；以及第二处理单元，用于对查找到的维度以第二维度表 处理方式进行处理，得到第二处理结果，其中，该第一维度表处理方式比第二维度表处理方 式占用内存少。
[0016] 进一步地，该判断单元包括：第一判断模块，用于判断该出错信息中是否包括第一 预设字符，其中，该第一预设字符是预设的乱码提示信息；第一确定模块，用于如果该出错 信息中包括第一预设字符，则确定该出错信息是乱码信息；以及如果该出错信息中不包括 第一预设字符，则确定该出错信息不是乱码信息。
[0017] 进一步地，该检测单元包括：获取模块，用于获取该数据仓库中预设维度，其中，该 预设维度是预先配置的需要进行乱码检测的维度；第一查找模块，用于查找该第一处理结 果中与该预设维度对应的处理结果；以及检测模块，用于检测该第一处理结果中与该预设 维度对应的处理结果中的出错信息。
[0018] 进一步地，该判断单元包括：第二判断模块，用于判断该第一处理结果中与该预设 维度对应的处理结果中的出错信息是否是包含该第一预设字符，其中，该第一预设字符是 预设的乱码提示信息；第二确定模块，用于在该第一处理结果中与该预设维度对应的处理 结果中的出错信息包括该第一预设字符时，则该第一处理结果中与该预设维度对应的处理 结果中的出错信息是乱码信息；其中该第一处理结果中与该预设维度对应的处理结果中的 出错信息不包括该第一预设字符，则该第一处理结果中与该预设维度对应的处理结果中的 出错信息不是乱码信息。
[0019] 进一步地，该查找单元包括：第三判断模块，用于判断该数据仓库中出现该乱码信 息中是否包括该第二预设字符，其中，该第二预设字符是该乱码信息所在的维度的名称提 示信息；第一判定模块，用于在该数据仓库中出现该乱码信息包括第二预设字符时，通过该 第二预设字符，判定出现该乱码信息在该数据仓库中相对应的维度；第二查找模块，用于查 找出该出现该乱码信息在该数据仓库中相对应的维度。
[0020] 进一步地，该查找单元包括：第四判断模块，用于判断该预设维度中出现该乱码信 息中是否包括该第二预设字符，其中，该第二预设字符是该乱码信息所在的维度的名称提 示信息；第二判定模块，用于在该预设维度中出现该乱码信息包括该第二预设字符时，通过 该第二预设字符，判定出现该乱码信息在该预设维度中相对应的维度；第三查找模块，用于 查找出该出现该乱码信息在该预设维度中相对应的维度。
[0021] 进一步地，该第二处理单元包括：处理模块，用于对查找到该预设维度中出现该乱 码信息的维度以第二维度表处理方式，得到第二处理结果。
[0022] 进一步地，该第二处理单元包括：设置模块，用于将对数据仓库中所有的维度的默 认处理方式更改为第一维度表处理方式。
[0023] 通过本发明提供的数据仓库中的乱码处理方法，采用对数据仓库中所有的维度以 第一维度表处理方式进行处理，得到第一处理结果；检测该第一处理结果中的出错信息； 判断该出错信息是否是乱码信息；如果该出错信息是乱码信息，则查找该数据仓库中出现 该乱码信息的维度；以及对查找到的维度以第二维度表处理方式进行处理，得到第二处理 结果，其中，该第一维度表处理方式比第二维度表处理方式占用内存少。解决了由于使用不 同的维度表处理方式处理数据仓库维度时，会出现乱码的问题，达到了让数据仓库维度中 数据正常转移至数据分析服务器中，能够直接在数据分析服务器中进行查询，加快了数据 查询速度的效果。

【专利附图】

【附图说明】
[0024] 构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实 施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0025] 图1是根据本发明的数据仓库中的乱码处理方法的第一实施例的流程图；
[0026] 图2是根据本发明的数据仓库中的乱码处理方法的第二实施例的流程图；
[0027] 图3是根据本发明的数据仓库中的乱码处理方法的第三实施例的流程图；
[0028] 图4是根据本发明的数据仓库中的乱码处理方法的第四实施例的流程图；
[0029] 图5是根据本发明的数据仓库中的乱码处理方法的第五实施例的流程图；
[0030] 图6是根据本发明的数据仓库中的乱码处理装置的第一实施例的示意图；
[0031] 图7是根据本发明的数据仓库中的乱码处理装置的第二实施例的示意图；
[0032] 图8是根据本发明的数据仓库中的乱码处理装置的第三实施例的示意图；
[0033] 图9是根据本发明的数据仓库中的乱码处理装置的第四实施例的示意图；以及
[0034] 图10是根据本发明的数据仓库中的乱码处理装置的第五实施例的示意图。

【具体实施方式】
[0035] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相 互组合。下面将参考附图并结合实施例来详细说明本发明。
[0036] 图1是根据本发明的数据仓库中的乱码处理方法的第一实施例的流程图。如图1 所示，该数据仓库中的乱码处理方法包括：
[0037] 步骤S101，对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一 处理结果。
[0038] 数据仓库，英文名称Data Warehouse,简称DW或DWH,数据仓库是为企业所有级别 的决策制度过程提高支持的所有类型数据的战略。它是单个数据存储，成语分析性报告和 决策支持的目的而创建，为企业提供需要业务智能来知道业务流程改进和监督时间、成本、 质量和控制。
[0039] 维度是指决策分析者分析数据的角度。数据仓库中的维度是主要对事实指标进行 过滤和重新组织提供指导，可以对用户对事实的查询结果按照维度指标进行筛选，只允许 与维度指标相关的数据返给用户。维度一般具有如下特性，可以形成一个维度体系，包括一 个完整的维度体系编码，关键词以及相关的表示，可以映射到用户所需要的信息的列，在物 理数据仓库中是较小的表，可以对前台用户的应用程序进行数据填充，或引用数据仓库分 析。例如 Product_name、Product_brand、Product_category、Product_department 等，这 些是常见的数据仓库中的维度。
[0040] 维度表处理方式指的在SSAS在处理维度时的处理方式，对数据仓库中的维度以 维度表处理方式进行处理，将数据转移至SSAS中。下次进行数据查询时，直接进入SSAS中 查询，加快了查询速度。
[0041] 常见维度处理的方式有ByTable和ByAttribute，默认维度处理的方式为 ByAttribute。其处理逻辑是按照每个维度的Attribute进行处理，在SSAS的维度里，都有 一个Key列，其它的Attribute都跟Key列或是其它依赖于Key列的列有依赖关系，其整个 维度表的依赖关系是一个以Key列为根结点的N叉树，在处理时先对所有叶子Attribute 进行Distinct Value的提取，会向SqlServer的对应表发起Distinct的查询，最后再对 Key列进行处理，其优点是省内存，缺点是由于SSAS和SqlServer的Distinct或是Trim等 方式不一致，会造成乱码问题。
[0042] 例如对数据仓库中Product_name维度以ByAttribute维度表处理方式处理，得到 数据仓库中Prod UCt_name维度转移至数据分析服务器中。在数据仓库中进行数据查询时， 能够在数据分析服务器中直接查询，加快了查询速度效果。
[0043] 步骤S102,检测第一处理结果中的出错信息。
[0044] 数据仓库中所有的维度以第一维度表处理方式进行处理，如果处理正常，得到的 结果应该是将数据仓库中所有维度中数据转移至数据分析服务器中。但是处理过程中，可 能出现各种出错信息，常见出错信息包括：内存不足等。
[0045] 步骤S103,判断出错信息是否是乱码信息。
[0046] 通过出错信息内容，检测出错信息内容是否包含一些特殊信息，通过检测特殊信 息内容。判断出错信息是否是乱码信息。例如出错信息如下：Errors in the OLAP storage engine:The attribute key cannot be found when processing:Table:Japplication' ，Column:'Full-Name'，Value:'Mr Peter McDonald'· The attribute is'Applicant Full Name'。通过检测出错信息内容，可以判断出错信息是否是乱码信息。
[0047] 步骤S104,如果出错信息是乱码信息，则查找数据仓库中出现乱码信息的维度。
[0048] 如果判断判断出错信息是乱码信息，检测乱码信息内容，查找乱码信息所在维度 的提示字符，通过乱码信息所在维度的提示字符，查找到数据仓库中出现乱码信息的维度。 例如乱码信息如下：Errors in the OLAP storage engine: The attribute key cannot be found when processing:Table:' application'，Column:' Full-Name'，Value:' Mr Peter McDonald'. The attribute is'Applicant Full Name'。查找出乱码信息所在维度为 application。即查找出数据仓库中出现乱码信息的维度。
[0049] 步骤S105,对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果。
[0050] 将查找到的出现乱码所在信息的维度，以第二维度表处理方式处理，常见第二维 度表处理方式为ByTable，其处理逻辑是将整个SqlServer的对应表做一次全表扫描，并 加载到SSAS的内存里，再在SSAS里进行相应的属性处理及对应关系处理，所有操作都在 SSAS内部完成，优点是能避免上述乱码问题，缺点是占用内存过大，当内存不足时会报处理 失败。例如将上述application的维度以ByTable进行处理，将application维度中所有 数据转移到数据分析服务器中。
[0051] 本发明的实施例中提供的一种数据仓库中的乱码处理方法，该方法采用对数据仓 库中所有的维度以第一维度表处理方式进行处理，得到第一处理结果；检测该第一处理结 果中的出错信息；判断该出错信息是否是乱码信息；如果该出错信息是乱码信息，则查找 该数据仓库中出现该乱码信息的维度；以及对查找到的维度以第二维度表处理方式进行处 理，得到第二处理结果，其中，该第一维度表处理方式比第二维度表处理方式占用内存少。 解决了由于使用不同的维度表处理方式处理数据仓库维度时，会出现乱码的问题，达到了 让数据仓库维度中数据正常转移至数据分析服务器中，能够直接在数据分析服务器中进行 查询，加快了数据查询速度的效果。
[0052] 图2是根据本发明的数据仓库中的乱码处理方法的第二实施例的流程图。如图2 所示，该数据仓库中的乱码处理方法包括：
[0053] 步骤S201，对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一 处理结果。
[0054] 该步骤同上述步骤S101。
[0055] 步骤S202,检测第一处理结果中的出错信息。
[0056] 该步骤同上述步骤S102。
[0057] 步骤S203,判断出错信息中是否包括第一预设字符。
[0058] 检测出错信息中是否包含第一预设字符，第一预设字符是出错信息是乱码信息的 提示字符，常见乱码信息的提示字符有key cannot be found等，通过乱码信息的提示字 符来判断出错信息是否是乱码信息。例如出错信息如下：Errors in the OLAP storage engine:The attribute key cannot be found when processing:Table:Japplication'， Column:'Full-Name'，Value:'Mr Peter McDonald'· The attribute is'Applicant Full Name'。通过检测到 The attribute key cannot be found when processing，判断出错信 息是乱码息。
[0059] 步骤S204,如果出错信息中包括第一预设字符，则确定出错信息是乱码信息。
[0060] 判断出错信息里包含是否包含第一预设字符，例如第一预设字符为：key cannot be found，例如出错信息如下：Errors in the OLAP storage engine: The attribute key cannot be found when processing:Table :'application'，Column :'Full_ Name'，Value: ' Mr Peter McDonald'· The attribute is' Applicant Full Name'。通过检 测到 The attribute key cannot be found when processing，确定出错信息是乱码信息。
[0061] 步骤S205,如果出错信息是乱码信息，则查找数据仓库中出现乱码信息的维度。
[0062] 在确定出错信息是乱码信息时，通过乱码信息内容，判定出现乱码信息的所在维 度，查找出数据仓库中出现乱码信息的维度。例如乱码信息如下：Errors in the 0LAP storage engine:The attribute key cannot be found when processing:Tableapplic ation'，Column:'Full_Name'，Value:'Mr Peter McDonald'· The attribute is'Applicant Full Name'。通过乱码信息中Table,判定出该乱码信息所在维度为application。则查找 出数据仓库中为application的维度。
[0063] 步骤S206,对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果。
[0064] 该步骤同上述步骤S105。
[0065] 本发明的实施例中提供的数据仓库中的乱码处理方法，该方法采用对数据仓库中 所有的维度以第一维度表处理方式进行处理，得到第一处理结果；检测该第一处理结果中 的出错信息；判断该出错信息是否是乱码信息；如果出错信息中包括第一预设字符，则确 定出错信息是乱码信息；如果该出错信息是乱码信息，则查找该数据仓库中出现该乱码信 息的维度；以及对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果。解 决了由于使用不同的维度表处理方式处理数据仓库维度时，会出现乱码的问题。达到了让 数据仓库维度中数据正常转移至数据分析服务器中，能够直接在数据分析服务器中进行查 询，加快了数据查询速度的效果。
[0066] 图3是根据本发明的数据仓库中的乱码处理方法的第三实施例的流程图。如图3 所示，该数据仓库中的乱码处理方法包括：
[0067] 步骤S301，对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一 处理结果。
[0068] 该步骤同上述步骤S101。
[0069] 步骤S302,检测第一处理结果中的出错信息。
[0070] 该步骤同上述步骤S102。
[0071] 步骤S303,获取数据仓库中预设维度。
[0072] 预设维度是根据用户需求在数据仓库中预先配置的维度。获取在数据仓库中预先 配置的维度。例如用户对 Product_name、Product_brand、Product_category 和 Product- department等维度进行预先配置，获取数据仓库中为Product_name、Product_brand、 Product_category 和 Product_department 的维度。
[0073] 步骤S304,查找第一处理结果中与预设维度对应的处理结果。
[0074] 第一处理结果中包含对数据仓库中所有维度的处理结果，查找出与根据用户需求 在数据仓库中预先配置的维度的处理结果。例如用户对Product_name、Product_brand、 Product_category和Product_department维度进行预先配置，贝U第一处理结果中查找出 Product_name、Product_brand、Product_category 和 Product_department 维度的处理结 果。
[0075] 步骤S305,检测第一处理结果中与预设维度对应的处理结果中的出错信息。
[0076] 检测第一处理结果中与预设维度对应的处理结果中的出错信息，即检测出数据 仓库中预设维度处理结果中的出错信息。例如用户对Pr〇duct_name、Product_brand、 Product_category和Product_department维度进行预先配置，则第一处理结果中检测出 Product_name、Product_brand、Product_category 和 Product_department 维度的处理结 果中的出错信息。通过只检测第一处理结果中与预设维度对应的处理结果中的出错信息， 使在进行维度表处理时，检测出错信息速度更快。
[0077] 步骤S306,如果出错信息是乱码信息，则查找数据仓库中出现乱码信息的维度。
[0078] 该步骤同上述步骤S104。
[0079] 步骤S307,对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果。
[0080] 该步骤同上述步骤S105。
[0081] 本发明的实施例中提供的数据仓库中的乱码处理方法，该方法采用对数据仓库中 所有的维度以第一维度表处理方式进行处理，得到第一处理结果；检测该第一处理结果中 的出错信息；判断该出错信息是否是乱码信息；获取数据仓库中预设维度，查找第一处理 结果中与预设维度对应的处理结果，检测第一处理结果中与预设维度对应的处理结果中的 出错信息，如果出错信息是乱码信息，则查找数据仓库中出现乱码信息的维度；以及对查找 到的维度以第二维度表处理方式进行处理。解决了由于使用不同的维度表处理方式处理数 据仓库维度时，会出现乱码的问题，达到了让数据仓库维度中数据正常转移至数据分析服 务器中，能够直接在数据分析服务器中进行查询，加快了数据查询速度的效果。
[0082] 图4是根据本发明的数据仓库中的乱码处理方法的第四实施例的流程图。如图4 所示，该数据仓库中的乱码处理方法包括：
[0083] 步骤S401，对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一 处理结果。
[0084] 该步骤同上述步骤S101。
[0085] 步骤S402,检测第一处理结果中的出错信息。
[0086] 该步骤同上述步骤S102。
[0087] 步骤S403,判断出错信息是否是乱码信息。
[0088] 该步骤同上述步骤S103。
[0089] 步骤S404,判断数据仓库中出现乱码信息中是否包括第二预设字符，其中，第二预 设字符是乱码信息所在的维度的名称提示信息。
[0090] 判断数据仓库中出错信息里包含是否第二预设字符，例如第二预设字符为：key cannot be found,舌L石马信息如下：Errors in the OLAP storage engine: The attribute key cannot be found when processing: Table :'application'，Column:'Ful1_ Name'，Value: ' Mr Peter McDonald'· The attribute is' Applicant Full Name'。通过检 测到Table:' application'，第二预设字符是乱码信息所在的维度的名称提示信息。
[0091] 步骤S405,如果数据仓库中出现乱码信息包括第二预设字符，通过第二预设字符， 判定出现乱码信息在数据仓库中相对应的维度。
[0092] 乱码信息如下：Er;rors in the OLAP storage engine:The attribute key cannot be found when processing: Table :'application'，Column:'Ful1_ Name'，Value: ' Mr Peter McDonald'· The attribute is' Applicant Full Name'。通过检 测至Ll Table:' application'，即判定出application为乱码所在的维度。通过判断第二预设 字符，更快的判断出乱码信息所在的维度。
[0093] 步骤S406,查找出现乱码信息在数据仓库中相对应的维度。
[0094] 乱码信息如下：Er;rors in the OLAP storage engine:The attribute key cannot be found when processing: Table :'application'，Column:'Ful1_ Name'，Value: ' Mr Peter McDonald'· The attribute is' Applicant Full Name'。通过检 测到Table:' application'，即判定出application为乱码所在的维度。在数据仓库中查找 出 application。
[0095] 步骤S407,对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果。
[0096] 该步骤同上述步骤S105。
[0097] 本发明的实施例中提供的数据仓库中的乱码处理方法，该方法采用对数据仓库中 所有的维度以第一维度表处理方式进行处理，得到第一处理结果；检测该第一处理结果中 的出错信息；判断该出错信息是否是乱码信息；如果该出错信息是乱码信息，判断数据仓 库中出现乱码信息中是否包括第二预设字符，如果数据仓库中出现乱码信息包括第二预设 字符，通过第二预设字符，判定出现乱码信息在数据仓库中相对应的维度，查找出现乱码信 息在数据仓库中相对应的维度，以及对查找到的维度以第二维度表处理方式进行处理，得 到第二处理结果。通过第二预设字符，让数据库更快的查找到出现乱码信息所在的维度。达 到了让数据仓库维度中数据正常转移至数据分析服务器中，能够直接在数据分析服务器中 进行查询，加快了数据查询速度的效果。
[0098] 图5是根据本发明的数据仓库中的乱码处理方法的第五实施例的流程图。如图5 所示，该数据仓库中的乱码处理方法包括：
[0099] 步骤S501，对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一 处理结果。
[0100] 该步骤同上述步骤S101。
[0101] 步骤S502，检测第一处理结果中的出错信息。
[0102] 该步骤同上述步骤S102。
[0103] 步骤S503,判断出错信息是否是乱码信息。
[0104] 该步骤同上述步骤S103。
[0105] 步骤S504,如果出错信息是乱码信息，则查找数据仓库中出现乱码信息的维度。
[0106] 该步骤同上述步骤S104。
[0107] 步骤S505,对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果。
[0108] 该步骤同上述步骤S105。
[0109] 步骤S506,将对数据仓库中所有的维度的默认处理方式更改为第一维度表处理方 式。
[0110] 上述处理步骤中，对数据仓库中部分维度以第二维度表处理方式进行处理，处理 结束后，即将数据仓库中的维度转移到数据分析服务器中。最后将数据仓库中所有的维度 的默认处理方式更改为第一维度表处理方式。这样以避免下次进行维度表处理时耗费巨大 的内存。
[0111] 本发明的实施例中提供的数据仓库中的乱码处理方法，该方法采用对数据仓库中 所有的维度以第一维度表处理方式进行处理，得到第一处理结果；检测该第一处理结果中 的出错信息；判断该出错信息是否是乱码信息；如果该出错信息是乱码信息，则查找该数 据仓库中出现该乱码信息的维度；对查找到的维度以第二维度表处理方式进行处理，得到 第二处理结果。以及将对数据仓库中所有的维度的默认处理方式更改为第一维度表处理方 式。这样可以避免下次进行维度表处理时耗费巨大的内存。达到了让数据仓库维度中数据 正常转移至数据分析服务器中，能够直接在数据分析服务器中进行查询，加快了数据查询 速度的效果。
[0112] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的 计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不 同于此处的顺序执行所示出或描述的步骤。
[0113] 图6是根据本发明的数据仓库中的乱码处理装置的第一实施例的示意图。如图6 所示，该数据仓库中的乱码处理装置包括：第一处理单元10、检测单元20、判断单元30、查 找单元40和第二处理单元50。
[0114] 第一处理单元10,用于对数据仓库中所有的维度以第一维度表处理方式进行处 理，得到第一处理结果。检测单元20,用于检测第一处理结果中的出错信息。判断单元30， 用于判断出错信息是否是乱码信息。查找单元40,用于在出错信息是乱码信息时，则查找数 据仓库中出现乱码信息的维度。第二处理单元50,用于对查找到的维度以第二维度表处理 方式进行处理，得到第二处理结果，其中，第一维度表处理方式比第二维度表处理方式占用 内存少。
[0115] 本发明的实施例中提供的数据仓库中的乱码处理装置，该装置采用第一处理单元 10,用于对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一处理结果。检 测单元20,用于检测第一处理结果中的出错信息。判断单元30,用于判断出错信息是否是 乱码信息。查找单元40,用于在出错信息是乱码信息时，则查找数据仓库中出现乱码信息的 维度。第二处理单元50,用于对查找到的维度以第二维度表处理方式进行处理，得到第二处 理结果，其中，第一维度表处理方式比第二维度表处理方式占用内存少。解决了由于使用不 同的维度表处理方式处理数据仓库维度时，会出现乱码的问题，达到了让数据仓库维度中 数据正常转移至数据分析服务器中，能够直接在数据分析服务器中进行查询，加快了数据 查询速度的效果。
[0116] 图7是根据本发明的数据仓库中的乱码处理装置的第二实施例的示意图。如图7 所示，该数据仓库中的乱码处理装置包括：第一处理单元10、检测单元20、判断单元30、查 找单元40和第二处理单元50。其中判断单元30包括：第一判断模块301和第一确定模块 302。
[0117] 第一处理单元10、检测单元20、判断单元30、查找单元40和第二处理单元50的作 用与上述实施例中作用相同，在此不再赘述。
[0118] 第一判断模块301，用于判断出错信息中是否包括第一预设字符，其中，第一预设 字符是预设的乱码提示信息。第一确定模块302,用于在该出错信息中包括第一预设字符 时，则确定该出错信息是乱码信息，如果该出错信息中不包括第一预设字符，则确定该出错 息不是乱码息。
[0119] 图8是根据本发明的数据仓库中的乱码处理装置的第三实施例的示意图。如图8 所示，该数据仓库中的乱码处理装置包括：第一处理单元10、检测单元20、判断单元30、查 找单元40和第二处理单元50。其中检测单元20包括：获取模块201、第一查找模块202和 检测模块203。
[0120] 第一处理单元10、检测单元20、判断单元30、查找单元40和第二处理单元50的作 用与上述实施例中作用相同，在此不再赘述。
[0121] 获取模块201，用于获取数据仓库中预设维度，其中，预设维度是预先配置的需要 进行乱码检测的维度。第一查找模块202,用于查找第一处理结果中与预设维度对应的处理 结果。检测模块203,用于检测第一处理结果中与预设维度对应的处理结果中的出错信息。
[0122] 图9是根据本发明的数据仓库中的乱码处理装置的第四实施例的示意图。如图9 所示，该数据仓库中的乱码处理装置包括：第一处理单元10、检测单元20、判断单元30、查 找单元40和第二处理单元50。其中查找单元40包括：第三判断模块401、第一判定模块 402和第二查找模块403。
[0123] 第一处理单元10、检测单元20、判断单元30、查找单元40和第二处理单元50的作 用与上述实施例中作用相同，在此不再赘述。
[0124] 第三判断模块401，用于判断数据仓库中出现乱码信息中是否包括第二预设字符， 其中，第二预设字符是乱码信息所在的维度的名称提示信息。第一判定模块402,用于在数 据仓库中出现乱码信息包括第二预设字符时，通过第二预设字符，判定出现乱码信息在数 据仓库中相对应的维度。第二查找模块403,用于查找出现乱码信息在数据仓库中相对应的 维度。
[0125] 图10是根据本发明的数据仓库中的乱码处理装置的第五实施例的示意图。如图 10所示，该数据仓库中的乱码处理装置包括：第一处理单元10、检测单元20、判断单元30、 查找单元40、第二处理单元50和设置模块60。
[0126] 第一处理单元10、检测单元20、判断单元30、查找单元40和第二处理单元50的作 用与上述实施例中作用相同，在此不再赘述。
[0127] 设置模块60,用于将该对数据仓库中所有的维度的默认处理方式更改为该第一维 度表处理方式。
[0128] 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用 的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成 的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储 在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们 中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的 硬件和软件结合。
[0129] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1. 一种数据仓库中的乱码处理方法，其特征在于，包括： 对数据仓库中所有的维度以第一维度表处理方式进行处理，得到第一处理结果； 检测所述第一处理结果中的出错信息； 判断所述出错信息是否是乱码信息； 如果所述出错信息是乱码信息，则查找所述数据仓库中出现所述乱码信息的维度；以 及 对查找到的维度以第二维度表处理方式进行处理，得到第二处理结果，其中，所述第一 维度表处理方式比第二维度表处理方式占用内存少。
2. 根据权利要求1所述的方法，其特征在于，通过所述处理结果，判断所述出错信息是 否是乱码信息包括： 判断所述出错信息中是否包括第一预设字符，其中，所述第一预设字符是预设的乱码 提示信息； 如果所述出错信息中包括第一预设字符，则确定所述出错信息是乱码信息；以及 如果所述出错信息中不包括第一预设字符，则确定所述出错信息不是乱码信息。
3. 根据权利要求1所述的方法，其特征在于，检测所述第一处理结果中的出错信息包 括： 获取所述数据仓库中预设维度，其中，所述预设维度是预先配置的需要进行乱码检测 的维度； 查找所述第一处理结果中与所述预设维度对应的处理结果；以及 检测所述第一处理结果中与所述预设维度对应的处理结果中的出错信息。
4. 根据权利要求1所述的方法，其特征在于，判断所述出错信息是否是乱码信息包括： 判断所述第一处理结果中与预设维度对应的处理结果中的出错信息是否是包含第一 预设字符，其中，所述预设维度是预先配置的需要进行乱码检测的维度，所述第一预设字符 是预设的乱码提示信息； 如果所述第一处理结果中与所述预设维度对应的处理结果中的出错信息包括所述第 一预设字符，则所述第一处理结果中与所述预设维度对应的处理结果中的出错信息是乱码 ?目息；以及 如果所述第一处理结果中与所述预设维度对应的处理结果中的出错信息不包括所述 第一预设字符，则所述第一处理结果中与所述预设维度对应的处理结果中的出错信息不是 乱码信息。
5. 根据权利要求1所述的方法，其特征在于，查找所述数据仓库中出现所述乱码信息 的维度包括： 判断所述数据仓库中出现所述乱码信息中是否包括第二预设字符，其中，所述第二预 设字符是所述乱码信息所在的维度的名称提示信息； 如果所述数据仓库中出现所述乱码信息包括第二预设字符，通过所述第二预设字符， 判定出现所述乱码信息在所述数据仓库中相对应的维度；以及 查找出所述出现所述乱码信息在所述数据仓库中相对应的维度。
6. -种数据仓库中的乱码处理装置，其特征在于，包括： 第一处理单元，用于对数据仓库中所有的维度以第一维度表处理方式进行处理，得到 第一处理结果； 检测单元，用于检测所述第一处理结果中的出错信息； 判断单元，用于判断所述出错信息是否是乱码信息； 查找单元，用于在所述出错信息是乱码信息时，则查找所述数据仓库中出现所述乱码 信息的维度；以及 第二处理单元，用于对查找到的维度以第二维度表处理方式进行处理，得到第二处理 结果，其中，所述第一维度表处理方式比第二维度表处理方式占用内存少。
7. 根据权利要求6所述的装置，其特征在于，所述判断单元包括： 第一判断模块，用于判断所述出错信息中是否包括第一预设字符，其中，所述第一预设 字符是预设的乱码提示信息； 第一确定模块，用于在所述出错信息中包括第一预设字符时，确定所述出错信息是乱 码信息，在所述出错信息中不包括第一预设字符时，确定所述出错信息不是乱码信息。
8. 根据权利要求6所述的装置，其特征在于，所述检测单元包括： 获取模块，用于获取所述数据仓库中预设维度，其中，所述预设维度是预先配置的需要 进行乱码检测的维度； 第一查找模块，用于查找所述第一处理结果中与所述预设维度对应的处理结果；以及 检测模块，用于检测所述第一处理结果中与所述预设维度对应的处理结果中的出错信 肩、。
9. 根据权利要求6所述的装置，其特征在于，所述判断单元包括： 第二判断模块，用于判断所述第一处理结果中与预设维度对应的处理结果中的出错信 息是否是包含第一预设字符，其中，所述预设维度是预先配置的需要进行乱码检测的维度， 所述第一预设字符是预设的乱码提示信息； 第二确定模块，用于在所述第一处理结果中与所述预设维度对应的处理结果中的出错 信息包括所述第一预设字符时，则所述第一处理结果中与所述预设维度对应的处理结果中 的出错信息是乱码信息，在所述第一处理结果中与所述预设维度对应的处理结果中的出错 信息不包括所述第一预设字符时，则所述第一处理结果中与所述预设维度对应的处理结果 中的出错信息不是乱码信息。
10. 根据权利要求6所述的装置，其特征在于，所述查找单元包括： 第三判断模块，用于判断所述数据仓库中出现所述乱码信息中是否包括第二预设字 符，其中，所述第二预设字符是所述乱码信息所在的维度的名称提示信息； 第一判定模块，用于在所述数据仓库中出现所述乱码信息包括第二预设字符时，通过 所述第二预设字符，判定出现所述乱码信息在所述数据仓库中相对应的维度；以及 第二查找模块，用于查找出所述出现所述乱码信息在所述数据仓库中相对应的维度。
【文档编号】G06F17/22GK104156343SQ201410413096
【公开日】2014年11月19日 申请日期:2014年8月20日 优先权日:2014年8月20日
【发明者】洪超 申请人:北京国双科技有限公司