参数的配置方法及装置与流程

本公开涉及大数据技术领域，尤其涉及一种参数的配置方法及装置。

背景技术：

大数据是指所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助用户的资讯。大数据具有数据体量大、数据类别大、处理速度快、真实性高的特点。

大数据处理依赖众多服务，如HDFS(Hadoop Distributed File System，分布式文件系统)、YARN(Yet Another Resource Negotiator，资源管理系统)、Spark(分布式内存计算机框架)等。因集群环境差异大、被处理数据格式多样、数据体量动态变化等原因，导致这些服务组件的参数的配置较为复杂。

技术实现要素：

有鉴于此，本公开提出了一种参数的配置方法及装置，能够实现组件参数的自动适配和更新。

根据本公开的一方面，提供了一种参数的配置方法，所述方法应用于服务器，所述服务器与代理客户端建立通信连接，所述代理客户端部署在集群中的主机上，所述方法包括：接收代理客户端发送的环境信息，所述环境信息中携带有所述主机的硬件信息，以及部署在所述主机上的各组件的运行状态信息；针对各组件，根据该组件的运行状态信息以及所述硬件信息生成该组件的推荐参数值；将所述推荐参数值发送至所述代理客户端，以便于所述代理客户端针对各组件，使用该组件的推荐参数值对该组件进行配置。

根据本公开的另一方面，提供了一种参数的配置装置，所述装置应用于服务器，所述服务器与代理客户端建立通信连接，所述代理客户端部署在集群中的主机上，所述装置包括：第一接收模块，用于接收代理客户端发送的环境信息，所述环境信息中携带有所述主机的硬件信息，以及部署在所述主机上的各组件的运行状态信息；第一生成模块，用于针对各组件，根据该组件的运行状态信息以及所述硬件信息生成该组件的推荐参数值；发送模块，用于将所述推荐参数值发送至所述代理客户端，以便于所述代理客户端针对各组件，使用该组件的推荐参数值对该组件进行配置。

通过接收代理客户端发送的环境信息，收集主机的硬件信息，以及部署在所述主机上的各组件的运行状态信息，根据与组件的运行状态信息以及所述硬件信息生成各组件的推荐参数值，将推荐参数值发送给代理客户端，以便于代理客户端使用各组件的推荐参数分别对各组件进行配置，根据本公开的各方面实施例的参数的配置方法及装置，可以根据组件的运行环境推荐配置组件的参数，实现组件参数的自动适配和更新。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的参数的配置方法的流程图；

图2示出根据本公开一实施例的参数的配置方法的流程图；

图3示出根据本公开一实施例的参数的配置装置的框图；

图4示出根据本公开一实施例的参数的配置装置的框图；

图5示出根据本公开一实施例的参数的配置装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的参数的配置方法的流程图。如图1所示，该方法可以应用于服务器，该服务器与代理客户端建立通信连接，所述代理客户端部署在集群中的主机上，该方法可以包括：

步骤S11，接收代理客户端发送的环境信息，所述环境信息中携带有所述主机的硬件信息，以及部署在所述主机上的各组件的运行状态信息。

其中，代理客户端可以收集当前的环境信息、配置各组件的参数，以及对组件进行操作(例如启停操作)等。

环境信息可以包括主机的硬件信息和部署在主机上的各组件的运行状态信息。其中，主机的硬件信息可以用于表示主机的硬件资源的信息。

主机的硬件资源包括CPU(Central Processing Unit，中央处理单元)、内存、磁盘、网卡等。在一种可能的实现方式中，主机的硬件信息可以包括硬件资源类型和与硬件资源类型对应的硬件资源量。硬件资源的类型可以用于识别出硬件资源是CPU、内存、磁盘、网卡等硬件资源中的哪一种。硬件资源的类型可以为类型名称、类型编号等。本公开对如何区分类型硬件资源类型不做限制。与硬件资源类型对应的硬件资源量用于表示该硬件资源类型的硬件的规格。需要说明的是，硬件资源的类型不同，硬件资源量的单位不同。

组件可以用于表示大数据处理所依赖的服务，例如HDFS、YARN、Spark等。组件可以根据组件标识进行识别。组件标识可以为组件名称、组件ID等。本公开对如何区分各组件不做限制。运行状态信息可以用于表示组件的运行状态。组件的运行状态包括运行、挂起、睡眠、停止。

在一种可能的实现方式中，服务器与代理客户端建立通信连接后，代理客户端可以通过心跳机制将收集的环境信息发送至服务器。环境消息可以从代理客户端启动时开始发送，直到代理客户端关闭，期间代理客户端可以重复发送环境信息。代理客户端通过心跳机制将硬件信息，以及部署在本主机上的各组件的运行状态信息发送至服务器，可以使服务器动态了解组件的运行环境。

步骤S12，针对各组件，根据该组件的运行状态信息以及所述硬件信息生成该组件的推荐参数值。

在一种可能的实现方式中，服务器可以将该组件的运行状态信息和所述硬件信息与配置策略进行匹配，根据匹配结果生成该组件的推荐参数。图2示出根据本公开一实施例的参数的配置方法的流程图。如图2所示，步骤S12可以实现为：

步骤S121，查找与该组件的运行状态以及所述硬件信息匹配的配置策略。

其中，配置策略可以用于表示对组件进行参数配置的规则。配置策略可以包括组件标识、运行状态信息、硬件资源类型、与硬件资源类型对应的硬件资源量的最大值、与硬件资源类型对应的硬件资源量的最小值，以及组件的配置参数的推荐值。其中，推荐值可以通过WEB端修改，推荐值可以用于优化组件的配置。需要说明的是，WEB端可以部署在服务器上，也可以部署在其他与服务器建立的通信连接的网络设备上，本公开对此不做限制。

服务器可以将该组件的运行状态信息和硬件信息与配置策略的每一项进行匹配，当每一项都匹配成功时，可以确定该组件的运行状态以及所述硬件信息与所述配置策略匹配成功。

在一种可能的实现方式中，步骤S121可以实现为：获取与该组件对应的配置策略。针对每个配置策略，判断该组件的运行状态信息与该配置策略的运行状态信息是否一致，硬件信息的每个硬件资源类型对应的硬件资源量是否大于或等于该配置策略中该硬件资源类型对应的硬件资源量的最小值且小于或等于该配置策略中该硬件资源类型对应的硬件资源量的最大值。针对每个配置策略，若该组件的运行状态信息与该配置策略的运行状态信息一致，硬件信息的每个硬件资源类型对应的硬件资源量大于或等于该配置策略中该硬件资源类型对应的硬件资源量的最小值且小于或等于该配置策略中该硬件资源类型对应的硬件资源量的最大值，则确定该配置策略与该组件的运行状态以及所述硬件信息匹配。

其中，与该组件对应的配置策略的组件标识与该组件的组件标识相同。该组件可以对应一个或多个配置策略。

需要说明的是，配置策略中的组件标识、运行状态、硬件资源类型、硬件资源量与环境信息中的组件标识、运行状态信息、硬件资源类型、硬件资源量含义相同，这里不再赘述。

在一个示例中，配置策略A的组件标识为第一组件，运行状态信息为运行，硬件资源类型为CPU，且CPU的硬件资源量的最大值为5、最小值为3；配置策略B的组件标识为第一组件，运行状态信息为挂起，硬件资源类型为CPU，且CPU的硬件资源量的最大值为5、最小值为3。服务器从环境信息中获取第一组件的运行状态信息为运行，硬件信息为CPU的硬件资源量为4。服务器可以将环境信息中的第一组件的运行状态信息和硬件信息分别与配置策略A和配置策略B进行匹配。针对配置策略A，配置策略A的运行状态信息为运行与环境信息中第一组件的运行状态信息一致，环境信息的CPU的硬件资源量为4，大于配置策略A的CPU的硬件资源量的最小值3，小于配置策略A的CPU的硬件资源量的最大值5，第一组件的运行状态信息和硬件信息与配置策略A的每一项都匹配，配置策略A与第一组件的运行状态以及所述硬件信息匹配。针对配置策略B，配置策略B的运行状态信息为挂起与环境信息中第一组件的运行状态信息不一致，因此配置策略B不能与第一组件的运行状态以及所述硬件信息匹配。

在一种可能的实现方式中，配置策略中还可以包括组件的配置参数的默认值，其中，默认值不能通过WEB端修改，默认值可以用于将组件恢复至初始状态。

步骤S122，若存在与该组件的运行状态以及所述硬件信息匹配的配置策略，则将所述配置策略中的推荐值作为该组件的推荐参数值。

在一种可能的实现方式中，配置策略中还包括自动更新的标识，该自动更新的标识可以用于确定是否自动将匹配到的配置策略中的推荐值作为该组件的推荐参数值。当确定自动更新推荐参数值时，服务器可以直接将匹配到的配置策略中的推荐值作为该组件的推荐参数值。当确定不自动更新推荐参数时，服务器可以将匹配到的配置策略的推荐值和默认值推送到WEB端，由WEB端确定将匹配策略中的推荐值或者默认值作为该组件的推荐参数值。

步骤S123，若不存在与该组件的运行状态以及所述硬件信息匹配的配置策略，则从WEB端获取该组件的推荐参数值。

在一种可能的实现方式中，当不存在与该组件的运行状态以及所述硬件信息匹配的配置策略时，服务器可以将该组件的运行状态以及所述硬件信息推送到WEB端，由WEB端配置推荐参数值，例如由用户在WEB端配置推荐参数值。

在一种可能的实现方式中，在从WEB端获取该组件的推荐参数值之后，服务器还可以根据该组件的运行状态、所述硬件信息以及从WEB端获取的推荐参数值，生成该组件对应的配置策略。这样，再次收到相同的组件的运行状态和一致硬件信息时，可以直接匹配到对应的配置策略，获取该组件的推荐参数值，而不需要从WEB端获取，实现组件参数的自动适配和更新。

步骤S13，将所述推荐参数值发送至所述代理客户端，以便于所述代理客户端针对各组件，使用该组件的推荐参数值对该组件进行配置。

在一种可能的实现方式中，服务器可以将推荐参数发送至代理客户端，由代理客户端根据每个组件的推荐参数对各组件进行配置。

在一种可能的实现方式中，针对各组件，当该组件的推荐参数值与该组件当前配置的参数不同时，服务器将该组件的推荐参数发送至代理客户端，以便于所述代理客户端使用该组件的推荐参数值对该组件进行配置。这样，可以减少信息量，以及减少对组件参数的刷新操作。

通过接收代理客户端发送的环境信息，收集主机的硬件信息，以及部署在所述主机上的各组件的运行状态信息，根据与组件的运行状态信息以及所述硬件信息生成各组件的推荐参数值，将推荐参数值发送给代理客户端，以便于代理客户端使用各组件的推荐参数分别对各组件进行配置，根据本公开实施例的参数的配置方法，可以根据组件的运行环境推荐配置组件的参数，实现组件参数的自动适配和更新。对于主机的硬件变化，例如主机内存增大等，根据本公开实施例的参数的配置方法可以通过环境信息获取硬件变化后的硬件信息，根据该变化后的硬件信息生成组件的推荐参数值，实现组件参数的自动适配和更新。

在一种可能的实现方式中，服务器还可以接收来自WEB端的配置策略修改消息，并修改与所述配置策略修改消息对应的配置策略。

在一个示例中，配置策略的组件运行状态、硬件资源类型、与硬件资源类型对应的硬件资源的最大值和最小值均可以被修改。配置策略的推荐值和默认值可以被修改。配置策略设置的匹配项可以被修改，例如增加匹配项，减少匹配项等。

应用示例

配置策略A的组件标识为第一组件，运行状态信息为运行，硬件资源类型为CPU，且CPU的硬件资源量的最大值为5、最小值为3，内存的硬件资源量的最大值为10、最小值为1，推荐值为第一推荐值；配置策略B的组件标识为第一组件，运行状态信息为挂起，硬件资源类型为CPU，且CPU的硬件资源量的最大值为5、最小值为3，内存的硬件资源量的最大值为10、最小值为1，推荐值为第二推荐值。配置策略C的组件标识为第一组件，运行状态信息为运行，硬件资源类型为CPU，且CPU的硬件资源量的最大值为3、最小值为1，内存的硬件资源量的最大值为10、最小值为1，推荐值为第三推荐值。应用场景：服务器从环境信息中获取第一组件的运行状态信息为运行，硬件信息为CPU的硬件资源量为4，内存的硬件资源量为6。

在上述应用场景下，配置策略A与第一组件的运行状态信息和所述硬件信息匹配，代理客户端采用第一推荐值对第一组件进行配置。

示例1，在上述应用场景的基础上，CPU的运行状态由运行变为挂起。服务器从环境信息中获取第一组件的运行状态信息为挂起，硬件信息为CPU的硬件资源量为4，内存的硬件资源量为6。此时，配置策略B与第一组件的运行状态信息和所述硬件信息匹配，代理客户端采用第二推荐值对第一组件进行配置。

示例2，在上述应用场景的基础上，CPU的硬件资源量变为2。服务器从环境信息中获取第一组件的运行状态信息为挂起，硬件信息为CPU的硬件资源量为2，内存的硬件资源量为6。此时，配置策略C与第一组件的运行状态信息和所述硬件信息匹配，代理客户端采用第三推荐值对第一组件进行配置。

示例3，在上述应用场景的基础上，服务器接收来自WEB端的配置策略修改消息，将配置策略A的内存资源量的最大值修改为3。此时配置策略A变为：组件标识为第一组件，运行状态信息为运行，硬件资源类型为CPU和内存，且CPU的硬件资源量的最大值为3、最小值为1，内存的硬件资源量的最大值为3、最小值为1，推荐值为第一推荐值。这样，配置策略A不再与第一组件的运行状态信息和所述硬件信息匹配。若不存在其他配置策略与第一组件的运行状态信息和所述硬件信息匹配，服务器可以从WEB端获取第一组件的推荐参数值。

示例4，在上述应用场景的基础上，服务器接收来自WEB端的配置策略修改消息，将配置策略A的推荐值修改为第四推荐值。此时配置策略A变为：组件标识为第一组件，运行状态信息为运行，硬件资源类型为CPU，且CPU的硬件资源量的最大值为5、最小值为3，内存的硬件资源量的最大值为10、最小值为1，推荐值为第四推荐值。这样，配置策略A与第一组件的运行状态信息和所述硬件信息匹配，代理客户端采用第四推荐值对第一组件进行配置

图3示出根据本公开一实施例的参数的配置装置30的框图。所述装置30可以应用于服务器，所述服务器与代理客户端建立通信连接，所述代理客户端部署在集群中的主机上，如图3所示，所述装置30可以包括：

第一接收模块31，用于接收代理客户端发送的环境信息，所述环境信息中携带有所述主机的硬件信息，以及部署在所述主机上的各组件的运行状态信息；

第一生成模块32，用于针对各组件，根据该组件的运行状态信息以及所述硬件信息生成该组件的推荐参数值；

发送模块33，用于将所述推荐参数值发送至所述代理客户端，以便于所述代理客户端针对各组件，使用该组件的推荐参数值对该组件进行配置。

图4示出根据本公开一实施例的参数的配置装置30的框图。如图4所示，在一种可能的实现方式中，第一生成模块32还用于：查找与该组件的运行状态以及所述硬件信息匹配的配置策略；若存在与该组件的运行状态以及所述硬件信息匹配的配置策略，则将所述配置策略中的推荐值作为该组件的推荐参数值；若不存在与该组件的运行状态以及所述硬件信息匹配的配置策略，则从WEB端获取该组件的推荐参数值。

在一种可能的实现方式中，第一生成模块32还用于包括：获取与该组件对应的配置策略；针对每个配置策略，若该组件的运行状态信息与该配置策略的运行状态信息一致，硬件信息的每个硬件资源类型对应的硬件资源量大于或等于该配置策略中该硬件资源类型对应的硬件资源量的最小值且小于或等于该配置策略中该硬件资源类型对应的硬件资源量的最大值，则确定该配置策略与该组件的运行状态以及所述硬件信息匹配。

在一种可能的实现方式中，所述装置30还包括：

第二接收模块34，用于接收来自WEB端的配置策略修改消息，并修改与所述配置策略修改消息对应的配置策略。

在一种可能的实现方式中，所述装置30还包括：

第二生成模块35，根据该组件的运行状态、所述硬件信息以及从WEB端获取的推荐参数值，生成该组件对应的配置策略。

图5是根据一示例性实施例示出的一种用于参数的配置装置900的框图。参照图5，该装置900可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读存储介质902中与参数的配置逻辑对应的机器可执行指令以执行上文所述的参数的配置方法。

本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。