一种数据处理方法及服务器集群与流程

文档序号:11729311阅读:195来源:国知局
一种数据处理方法及服务器集群与流程

本发明涉及控制领域,尤其涉及一种数据处理方法及服务器集群。



背景技术:

目前,在大数据平台处理过程中,对于非ascii字符集的文本处理需求越来越多,然而,原生大数据平台基本上都是对ascii字符集的处理,这就导致需要针对特定平台去解决非ascii字符集的支持问题。

针对上述问题,目前的主要解决方式一般为:在原大数据平台的基础上,对源代码进行修改并编译,从而实现对非ascii字符集的支持。

然而,采用上述方式需要改动该大数据平台的源代码,对源代码的改动就会带来大数据平台结构的变化,存在潜在风险。



技术实现要素:

有鉴于此,本发明提供一种数据处理方法及服务器集群,以解决现有技术中要解决大数据平台对非ascii字符集的支持问题,就需要对大数据平台的源代码进行改动,从而带来大数据平台结构的变化,存在潜在风险的问题,其具体方案如下:

一种数据处理方法,包括:

当接收到输入数据时,对所述输入数据进行分析,判断所述输入数据是否包括非ascii码;

当所述输入数据中包括非ascii码时,对所述非ascii码进行转码,实现对所述非ascii码的识别。

进一步的,所述当所述输入数据中包括非ascii码时,对所述非ascii码进行转码,实现对所述非ascii码的识别,包括:

当所述输入数据中包括非ascii码时,确定所述非ascii码所在的组件;

对所述非ascii码所在的组件的数据进行转码,实现对所述非ascii码的识别。

进一步的,所述判断所述输入数据是否包括非ascii码,包括:

判断组件中的所述输入数据是否包括非ascii码。

进一步的,所述当所述输入数据中包括非ascii码时,对所述非ascii码进行转码,实现对所述非ascii码的识别,包括:

当所述组件中的输入数据中包括非ascii码时,确定包括非ascii码的所有组件;

对所述包括非ascii码的所有组件中的输入数据进行统一转码。

一种服务器集群,包括:处理器及存储器,其中:

所述存储器用于存储接收到的输入数据;

所述处理器用于当所述存储器接收到输入数据时,对所述输入数据进行分析,判断所述输入数据是否包括非ascii码,当所述输入数据中包括非ascii码时,对所述非ascii码进行转码,实现对所述非ascii码的识别。

进一步的,所述处理器用于判断当所述输入数据中包括非ascii码时,对所述非ascii码进行转码,实现对所述非ascii码的识别,包括:

所述处理器判断当所述输入数据中包括非ascii码时,确定所述非ascii码所在的组件,对所述非ascii码所在的组件的数据进行转码,实现对所述非ascii码的识别。

进一步的,所述处理器判断所述输入数据是否包括非ascii码,包括:

所述处理器判断组件中的所述输入数据是否包括非ascii码。

进一步的,所述处理器判断当所述输入数据中包括非ascii码时,对所述非ascii码进行转码,实现对所述非ascii码的识别,包括:

所述处理器判断当所述组件中的输入数据中包括非ascii码时,确定包括非ascii码的所有组件,对所述包括非ascii码的所有组件中的输入数据进行统一转码。

从上述技术方案可以看出,本申请公开的数据处理方法及服务器集群,当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。本方案通过检测数据数据中是否包括非ascii码,并在检测到非ascii码时,对非ascii码进行转码,从而实现了对非ascii码的识别,同时,避免了对大数据平台源代码的改动,避免了大数据平台结构的变化,不存在潜在风险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据处理方法的流程图;

图2为本发明实施例公开的一种数据处理方法的流程图;

图3为本发明实施例公开的一种数据处理方法的流程图;

图4为本发明实施例公开的一种数据处理方法的流程图;

图5为本发明实施例公开的一种服务器集群的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明公开了一种数据处理方法,其流程图如图1所示,包括:

步骤s11、当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码;

当检测到输入时,判断输入数据是否包括非ascii码,若输入数据是ascii码时,表明需要输入的内容主要为英语或其他西欧语言,此时,直接对该输入的ascii码进行识别即可;若输入数据包括非ascii码时,表明需要输入的内容主要为中文或其他类型的语言。

步骤s12、当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。

由于原生大数据平台主要是对ascii码的处理,因此,在原生大数据平台中输入非ascii时,会以乱码的形式进行显示。

因此,在检测到输入数据中包括非ascii码时,对输入的数据进行统一规格的转码,使输入的非ascii码能够被大数据平台所识别,避免在输入非ascii码时,以乱码的形式进行输出显示的情况。

例如:在对非ascii码进行转码时,可以将输入的非ascii码统一转码为utf-8的形式,使大数据平台能够实现对输入的非ascii码的识别。

本实施例公开了一种数据处理方法,当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。本方案通过检测数据数据中是否包括非ascii码,并在检测到非ascii码时,对非ascii码进行转码,从而实现了对非ascii码的识别,同时,避免了对大数据平台源代码的改动,避免了大数据平台结构的变化,不存在潜在风险。

本实施例公开了一种数据处理方法,其流程图如图2所示,包括:

步骤s21、当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码;

步骤s22、当输入数据中包括非ascii码时,确定非ascii码所在的组件;

步骤s23、对非ascii码所在的组件的数据进行转码,实现对非ascii码的识别。

输入数据通过各个组件进入大数据平台,并在大数据平台中进行处理。当检测到有输入数据,且输入数据中有非ascii码时,在输入数据进入各个组件时,确定输入数据中非ascii码所在的组件,之后对该组件的数据进行统一转码。

具体的,当输入数据中包括非ascii码时,确定非ascii码所在的组件,并当非ascii码在组件中并未被输出时,对该组件中的数据进行转码,以确保从组件中输出的数据,无论是否包括非ascii码,均能够被识别,而不会输出乱码。

本实施例公开了一种数据处理方法,当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。本方案通过检测数据数据中是否包括非ascii码,并在检测到非ascii码时,对非ascii码进行转码,从而实现了对非ascii码的识别,同时,避免了对大数据平台源代码的改动,避免了大数据平台结构的变化,不存在潜在风险。

本实施例公开了一种数据处理方法,其流程图如图3所示,包括:

步骤s31、当接收到输入数据时,对输入数据进行分析,判断组件中的输入数据是否包括非ascii码;

当有输入数据时,且该输入数据已进入各组件,此时,直接针对每个组件判断输入数据是否包括非ascii码,即当输入数据进入某一个组件时,在该组件内判断进入该组件的输入数据是否包括非ascii码,那么,就需要对接收了输入数据的所有组件均进行上述判断,即针对每一个接收了输入数据的组件,判断进入组件的输入数据是否包括非ascii码,当进入某一个组件的输入数据包括非ascii码时,在组件中对非ascii码进行转码,以实现对非ascii码的识别。

步骤s32、当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。

本实施例公开了一种数据处理方法,当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。本方案通过检测数据数据中是否包括非ascii码,并在检测到非ascii码时,对非ascii码进行转码,从而实现了对非ascii码的识别,同时,避免了对大数据平台源代码的改动,避免了大数据平台结构的变化,不存在潜在风险。

本实施例公开了一种数据处理方法,其流程图如图4所示,包括:

步骤s41、当接收到输入数据时,对输入数据进行分析,判断组件中的输入数据识别包括非ascii码;

步骤s42、当组件中的输入数据包括非ascii码时,确定包括非ascii码的所有组件;

步骤s43、对包括非ascii码的所有组件中的输入数据进行统一转码,实现对非ascii码的识别。

当确定进入某一个或几个组件中的输入数据包括非ascii码时,确定输入数据中包括非ascii码的所有组件,当输入数据从各组件中输出时,对从包括非ascii码的所有组件中输出的输入数据进行统一转码,使得在包括非ascii码的输入数据从组件中输出时,实现统一转码,从而实现对非ascii码的识别,避免输出乱码。

本实施例公开了一种数据处理方法,当接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。本方案通过检测数据数据中是否包括非ascii码,并在检测到非ascii码时,对非ascii码进行转码,从而实现了对非ascii码的识别,同时,避免了对大数据平台源代码的改动,避免了大数据平台结构的变化,不存在潜在风险。

本实施例公开了一种服务器集群,其结构示意图如图5所示,包括:

处理器51及存储器52。

存储器52用于存储接收到的输入数据。

处理器51用于当存储器52接收到输入数据时,对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。

当检测到输入时,判断输入数据是否包括非ascii码,若输入数据是ascii码时,表明需要输入的内容主要为英语或其他西欧语言,此时,直接对该输入的ascii码进行识别即可;若输入数据包括非ascii码时,表明需要输入的内容主要为中文或其他类型的语言。

由于原生大数据平台主要是对ascii码的处理,因此,在原生大数据平台中输入非ascii时,会以乱码的形式进行显示。

因此,在检测到输入数据中包括非ascii码时,对输入的数据进行统一规格的转码,使输入的非ascii码能够被大数据平台所识别,避免在输入非ascii码时,以乱码的形式进行输出显示的情况。

例如:在对非ascii码进行转码时,可以将输入的非ascii码统一转码为utf-8的形式,使大数据平台能够实现对输入的非ascii码的识别。

处理器51用于判断当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别,包括:

处理器51判断当输入数据中包括非ascii码时,确定非ascii码所在的组件,对非ascii码所在的组件的数据进行转码,实现对非ascii码的识别。

输入数据通过各个组件进入大数据平台,并在大数据平台中进行处理。当检测到有输入数据,且输入数据中有非ascii码时,在输入数据进入各个组件时,确定输入数据中非ascii码所在的组件,之后对该组件的数据进行统一转码。

具体的,当输入数据中包括非ascii码时,确定非ascii码所在的组件,并当非ascii码在组件中并未被输出时,对该组件中的数据进行转码,以确保从组件中输出的数据,无论是否包括非ascii码,均能够被识别,而不会输出乱码。

处理器51判断输入数据是否包括非ascii码,包括:

处理器51判断组件中的输入数据是否包括非ascii码。

当有输入数据时,且该输入数据已进入各组件,此时,直接针对每个组件判断输入数据是否包括非ascii码,即当输入数据进入某一个组件时,在该组件内判断进入该组件的输入数据是否包括非ascii码,那么,就需要对接收了输入数据的所有组件均进行上述判断,即针对每一个接收了输入数据的组件,判断进入组件的输入数据是否包括非ascii码,当进入某一个组件的输入数据包括非ascii码时,在组件中对非ascii码进行转码,以实现对非ascii码的识别。

处理器51判断当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别,包括:

处理器51判断当组件中的输入数据中包括非ascii码时,确定包括非ascii码的所有组件,对包括非ascii码的所有组件中的输入数据进行统一转码。

当确定进入某一个或几个组件中的输入数据包括非ascii码时,确定输入数据中包括非ascii码的所有组件,当输入数据从各组件中输出时,对从包括非ascii码的所有组件中输出的输入数据进行统一转码,使得在包括非ascii码的输入数据从组件中输出时,实现统一转码,从而实现对非ascii码的识别,避免输出乱码。

本实施例公开了一种服务器集群,当存储器接收到输入数据时,处理器对输入数据进行分析,判断输入数据是否包括非ascii码,当输入数据中包括非ascii码时,对非ascii码进行转码,实现对非ascii码的识别。本方案通过检测数据数据中是否包括非ascii码,并在检测到非ascii码时,对非ascii码进行转码,从而实现了对非ascii码的识别,同时,避免了对大数据平台源代码的改动,避免了大数据平台结构的变化,不存在潜在风险。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1