数据处理方法、装置、计算机设备及存储介质与流程

本发明涉及信息处理技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术：

在分布式缓存系统中通常包括多个缓存集群，每一个缓存集群具有多个缓存数据的机器，一个缓存集群中的所有机器保存的数据完全一样，不同缓存集群之间保存的数据不同。

现有的分布式缓存系统在一次数据缓存过程中，将所有数据缓存至一个缓存集群中，通过每个缓存集群保存的数据量来选择当前需要保存数据的缓存集群，如此可以实现各个缓存集群之间的数据量平衡，然而这会造成每个缓存集群保存的数据的性质是不固定的，当需要进行某一类业务时，可能每次需要用到的缓存集群都不一致，当某些缓存集群发生故障时，同一类业务可能有些能够正常进行，有些无法正常进行，这不利于业务处理的统一性。

技术实现要素：

本发明实施例提供了一种数据处理方法、装置、计算机设备及存储介质，旨在将同一类型或性质的数据保存在相同的缓存集群中，保证业务的统一性。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：构建多个缓存集群，一个缓存集群对应一个ip地址；构建多个缓存集群，一个缓存集群对应一个ip地址；构建缓存配置表，所述缓存配置表包括数据的类型与缓存集群的ip地址之间的对应关系；若接收到待缓存数据，将所述待缓存数据按预设规则进行分类以得到不同类型的数据；从所述缓存配置表中获取所述多种不同类型的数据对应的多个缓存集群的ip地址；根据所获取的ip地址，将多种不同类型的数据分别保存至对应的缓存集群中。

第二方面，本发明实施例还提供了一种数据处理装置，所述数据处理装置包括用于实现第一方面所述的数据处理方法的单元。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器，以及与所述存储器相连的处理器；所述存储器用于存储实现数据处理方法的计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如上述第一方面所述的方法。

第四方面，本发明实施例提供了一种存储介质，所述存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现上述第一方面所述的方法。

本发明实施例提供了一种数据处理方法、装置、计算机设备及存储介质，其中方法包括：构建多个缓存集群，一个缓存集群对应一个ip地址；构建缓存配置表，所述缓存配置表包括数据的类型与缓存集群的ip地址之间的对应关系；若接收到待缓存数据，将所述待缓存数据按预设规则进行分类以得到不同类型的数据；从所述缓存配置表中获取所述多种不同类型的数据对应的多个缓存集群的ip地址；根据所获取的ip地址，将多种不同类型的数据分别保存至对应的缓存集群中。本发明实施例通过利用多个缓存集群对数据进行缓存，一个缓存集群对应一个ip地址，根据数据的类型与缓存集群的ip地址的一一对应关系来查找缓存不同类型的数据的缓存集群，将相同类型的数据保存在同一个缓存集群中，数据的统一缓存有利于业务处理的统一性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种数据处理方法的流程示意图；

图2是本发明一实施例提供的一种数据处理方法的子流程示意图；

图3是本发明另一实施例提供的一种数据处理方法的流程示意图；

图4是本发明另一实施例提供的一种数据处理方法的子流程示意图；

图5是本发明一实施例提供的一种数据处理装置的示意性框图；

图6是本发明一实施例提供的一种数据处理装置的子单元示意性框图；

图7是本发明一实施例提供的一种数据处理装置的示意性框图；

图8是本发明另一实施例提供的一种数据处理装置的子单元示意性框图；

图9是本发明实施例提供的一种计算机设备的结构示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

也应当理解，尽管术语第一、第二等可以在此用来描述各种元素，但这些元素不应该受限于这些术语，这些术语仅用来将这些元素彼此区分开。

图1为本发明实施例提供的一种数据处理方法的流程示意图。该方法应用于台式电脑、手提电脑、平板电脑等终端中。如图1所示，该方法包括步骤s101～s105。

s101、构建多个缓存集群，一个缓存集群对应一个ip地址。

构建多个缓存集群形成数据缓存中心，对数据进行分布式缓存，一个缓存集群对应一个ip地址。

s102、构建缓存配置表，所述缓存配置表包括数据的类型与缓存集群的ip地址之间的对应关系。

建立数据的类型与ip地址的对应关系，当需要缓存数据时，根据需要缓存的数据的类型，从缓存配置表中数据的类型与ip地址的对应关系可以找到哪一类型的数据缓存在哪一个缓存集群。

s103、若接收到待缓存数据，将所述待缓存数据按预设规则进行分类以得到多种不同类型的数据。

为了降低数据库的压力，需要将数据库中的全部数据进行备份缓存，即数据库中的数据为需要缓存的数据，每次数据库更新后，将更新的数据发给缓存端。

待缓存数据各式各样，不同的业务产生不同的业务数据，本发明实施例的待缓存数据包括多种业务数据。例如，待缓存数据有集团企业员工信息、集团企业信息、车险合同信息、人寿保险合同、意外保险合同、集团企业的各系统的运行信息等，不同业务数据之间可能有所共性，因此，需要将这些数据进行归类汇总。

在一实施例中，如图2所示，步骤s103包括以下步骤：

s1031、获取每一种业务数据的特征属性。

s1032、将所述多种业务数据中具有相同特征属性的业务数据归类形成同一类型的数据。

特征属性指的是数据的业务特征，是表示某一数据属于哪一种业务类型的数据。例如，集团企业员工信息具有企业、员工等特征属性，集团企业信息具有企业等特征属性，集团企业员工信息、集团企业信息等属于企业内部性质的业务数据；车险合同信息、人寿保险合同、意外保险合同具有保险等特征属性，属于保险类业务数据，集团企业的系统运行信息的特征属性为系统名称等，属于系统类业务数据。根据不同数据的特征属性之间的共性，将具有相同特征的数据归类为同一类型的数据，比如将集团企业员工信息和集团企业信息归为企业类信息，将车险合同信息、人寿保险合同、意外保险合同归为保险类信息，将集团企业的系统运行信息归为系统类信息。

将具有相同特征属性的不同业务数据归类形成同一类型的数据保存在相同的缓存中心，利于数据保存的统一性。

s104、从所述缓存配置表中获取所述多种不同类型的数据对应的多个缓存集群的ip地址。

s105、根据所获取的ip地址，将多种不同类型的数据分别保存至对应的缓存集群中。

数据的类型与缓存集群的ip地址具有一一对应的关系，根据不同数据的类型从缓存配置表中可以获取用于保存该类型的数据的缓存集群，将相同类型的数据保存在相同的缓存集群中，实现数据保存的统一性以及业务处理的统一性，将巨量的待缓存数据保存在多个缓存集群，实现大数据的分布式缓存。

本发明实施例提供的数据处理方法，利用多个缓存集群对数据进行缓存，一个缓存集群对应一个ip地址，根据数据的类型与缓存集群的ip地址的一一对应关系来查找缓存不同类型的数据的缓存集群，将相同类型的数据保存在同一个缓存集群中，数据的统一缓存有利于业务处理的统一性。

图3为本发明实施例提供的一种数据处理方法的流程示意图，如图3所示，在步骤s105之后，还包括步骤s106-s108。

s106、若接收到用于查询数据的查询指令，所述查询指令包括查询条件，分析所述查询条件以得到所需查询数据的类型。

根据查询条件可以分析用户需要查询的数据为哪一类型的数据。例如，查询条件为保险合同编号，则根据保险合同编号可以知道需要查询的数据的保险类信息，再如，查询条件为企业员工id号，则根据企业员工id号可知所需查询的信息的企业员工信息，即企业类数据。

s107、从所述缓存配置表中读取所述类型对应的缓存集群的ip地址。

s108、从所述ip地址对应的缓存集群中查询数据。

数据的类型与缓存集群的ip地址具有一一对应的关系，根据数据的类型从缓存配置表中可以查询到该类型的数据保存在哪一个缓存集群，从该缓存集群中查询数据即可。

一个缓存集群中包括多个主机，查询数据时只需要在一个主机上查询即可。

在一实施例中，如图4所示，步骤s108包括：

s1081、获取所述多个主机的运行指标。

主机的运行指标包括cpu的使用率、网络i/o接口占用率和内存占用率的一种或多种。

s1082、根据所述运行指标分析每个主机的负载率。

cpu的使用率越高，网络i/o接口占用率越高，内存占用率越高，主机的负载率越高。

当将多个运行指标作为评判主机的负载率时，可以将cpu的使用率作为主要的评判指标，网络i/o接口占用率次之，内存占用率再次之，即当不同主机的cpu的使用率不一样或不相近(两台主机的cpu的使用率差值在10％以内的，说明两台主机的cpu的使用率相近)时，仅考虑cpu的使用率来评价主机的负载率，即cpu的使用率最低的主机为负载率最低的主机，当cpu的使用率一样或相近时，考虑i/o接口占用率来评价主机的负载率，若不同主机的i/o接口占用率的一样或相近(两台主机的i/o接口占用率差值在10％以内的，说明两台主机的i/o接口占用率相近)，考虑内存占用率，将内存占用率最低主机作为负载率最低的主机，若不同主机的i/o接口占用率的不一样或不相近，则i/o接口占用率最低的主机作为负载率最低的主机。

s1083、将所述查询指令分配到负载率最低的主机以查询所需的数据。

查询指令分配到负载率最低的主机上执行，以实现各个主机的负载均衡，提高业务并发力。

本实施例的数据处理方法，根据缓存集群中不同主机的负载率来选择执行查询指令的主机，实现缓存集群中各个主机的负载均衡，提高业务并发力。

图5为本发明实施例提供的一种数据处理装置100的示意性框图。该数据处理装置100包括用于执行上述数据处理方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。该数据处理装置100包括第一构建单元101、第二构建单元102、分类单元103、第一获取单元104和保存单元105

第一构建单元101用于构建多个缓存集群，一个缓存集群对应一个ip地址。

第二构建单元102用于构建缓存配置表，所述缓存配置表包括数据的类型与缓存集群的ip地址之间的对应关系。

分类单元103用于若接收到待缓存数据，将所述待缓存数据按预设规则进行分类以得到多种不同类型的数据。

第一获取单元104用于从所述缓存配置表中获取所述多种不同类型的数据对应的多个缓存集群的ip地址。

保存单元105用于根据所获取的ip地址，将多种不同类型的数据保存至对应的缓存集群中。

在一实施例中，所述待缓存数据包括多种业务数据。

如图6所示，所述分类单元103包括以下子单元：

第一获取子单元1031，用于获取每一种业务数据的特征属性；以及

归类子单元1032，用于将所述多种业务数据中具有相同特征属性的业务数据归类形成同一类型的数据。

在一实施例中，所述数据处理装置100还包括接收单元106、分析单元107、读取单元108和查询单元109。

接收单元106用于接收用于查询数据的查询指令，所述查询指令包括查询条件。

分析单元107用于分析所述查询条件以得到所需查询数据的类型。

读取单元108用于从所述缓存配置表中读取所述类型对应的缓存集群的ip地址。

查询单元109用于从所述ip地址对应的缓存集群中查询数据。

在一实施例中，如图8所示，所述查询单元109包括以下子单元：

第二获取子单元1091，用于获取所述多个主机的运行指标；

分析子单元1092，用于根据所述运行指标分析每个主机的负载率；以及

查询子单元1093，将所述查询指令分配到负载率最低的主机以查询所需的数据。

上述数据处理装置100以及各个单元的具体描述，本发明实施例未详尽之处可参考前述方法实施例，此处不做赘述。

上述数据处理装置100可以实现为一种计算机程序的形式，计算机程序可以在如图9所示的计算机设备上运行。

图9为本发明实施例提供的一种计算机设备200的结构示意性框图。该计算机设备200，该计算机设备200可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

该计算机设备200，包括通过系统总线201连接的处理器202、存储器和网络接口205，其中，存储器可以包括非易失性存储介质203和内存储器204。

该计算机设备200的非易失性存储介质203可存储操作系统2031和计算机程序2032，该计算机程序2032被执行时，可使得处理器202执行一种数据处理方法。该内存储器204为非易失性存储介质203中的计算机程序2032的运行提供环境。该计算机设备200的处理器202用于提供计算和控制能力，支撑整个计算机设备200的运行。计算机设备200的网络接口205用于进行网络通信，如发送分配的任务、接收数据等。

本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。

处理器202运行非易失性存储介质203中的计算机程序2032时，处理器202执行以下步骤：构建多个缓存集群，一个缓存集群对应一个ip地址；构建缓存配置表，所述缓存配置表包括数据的类型与缓存集群的ip地址之间的对应关系；若接收到待缓存数据，将所述待缓存数据按预设规则进行分类以得到不同类型的数据；从所述缓存配置表中获取所述多种不同类型的数据对应的多个缓存集群的ip地址；根据所获取的ip地址，将多种不同类型的数据分别保存至对应的缓存集群中。

在一实施例中，所述待缓存数据包括多种业务数据；所述处理器202在执行所述将所述待缓存数据按预设规则进行分类以得到不同类型的数据的步骤时，具体执行以下步骤：获取每一种业务数据的特征属性；将具有相同特征属性的不同业务数据归类形成同一类型的数据。

在一实施例中，所述处理器202在执行所述将不同类型的数据保存至对应的缓存集群的步骤之后，还执行以下步骤：若接收到查询数据的查询指令，所述查询指令包括查询条件；分析所述查询条件得到所需查询数据的类型；从所述缓存配置表中读取所述类型对应的缓存集群的ip地址；从所述ip地址对应的缓存集群中查询数据。

在一实施例中，所述缓存集群包括多个主机；所述处理器202在执行的步骤时，具体执行以下步骤：获取所述多个主机的运行指标；根据所述运行指标分析每个主机的负载率；将所述查询指令分配到负载率最低的主机以查询所需的数据。

在一实施例中，所述运行指标包括cpu的使用率、网络i/o接口占用率和内存占用率的一种或多种。

应当理解，在本申请实施例中，处理器202可以是中央处理单元(centralprocessingunit，cpu)，该处理器202还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质，所述存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，可实现以下步骤：获取按预设顺序排列的多个预评估价格；利用所述多个预评估价格计算差别因子系数；根据所述差别因子系数获取各个预评估价格对应的权重值；根据所述多个预评估价格以及每个预评估价格对应的权重值计算所述待估价房产的综合评估价格。

在一实施例中，在实现所述利用所述多个预评估价格计算差别因子系数的步骤时，具体实现以下步骤：构建多个缓存集群，一个缓存集群对应一个ip地址；构建缓存配置表，所述缓存配置表包括数据的类型与缓存集群的ip地址之间的对应关系；若接收到待缓存数据，将所述待缓存数据按预设规则进行分类以得到不同类型的数据；从所述缓存配置表中获取所述多种不同类型的数据对应的多个缓存集群的ip地址；根据所获取的ip地址，将多种不同类型的数据分别保存至对应的缓存集群中。

在一实施例中，所述待缓存数据包括多种业务数据；在实现所述将所述待缓存数据按预设规则进行分类以得到不同类型的数据的步骤时，具体实现以下步骤：获取每一种业务数据的特征属性；将具有相同特征属性的不同业务数据归类形成同一类型的数据。

在一实施例中，在实现所述将不同类型的数据保存至对应的缓存集群的步骤之后，还实现以下步骤：若接收到查询数据的查询指令，所述查询指令包括查询条件；分析所述查询条件得到所需查询数据的类型；从所述缓存配置表中读取所述类型对应的缓存集群的ip地址；从所述ip地址对应的缓存集群中查询数据。

在一实施例中，所述缓存集群包括多个主机；在实现的步骤时，具体实现以下步骤：获取所述多个主机的运行指标；根据所述运行指标分析每个主机的负载率；将所述查询指令分配到负载率最低的主机以查询所需的数据。

在一实施例中，所述运行指标包括cpu的使用率、网络i/o接口占用率和内存占用率的一种或多种。

所述存储介质可以是u盘、移动硬盘、只读存储器(read-onlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。