数据处理方法、电子装置、计算机设备及存储介质与流程

本发明涉及数据处理领域，涉及一种数据处理方法、电子装置、计算机设备及存储介质。

背景技术：

现有技术在手机应用的实时交易量激增时，由于系统接口的处理压力提升，不能保证及时处理用户请求，导致其应用的体验较差。故需要一种解决实时交易量激增的交易处理办法，缓解交易量激增情况下应用系统接口或服务的压力，确保客户体验的同时保证活动效果。

技术实现要素：

本发明要解决的技术问题是为了克服现有技术中实时交易量激增导致系统接口压力大的问题，提出了一种数据处理方法、电子装置、计算机设备及存储介质，通过对数据进行优先级筛选以及限流设置缓解系统接口的压力，以提高应用客户端的用户体验。

本发明是通过下述技术方案来解决上述技术问题：

一种数据处理方法，包括以下步骤：

获取应用客户端的待处理业务请求数据，所述待处理业务请求数据包括用户身份信息和业务请求类型；

缓存所述待处理业务请求数据，并统计缓存流量值；

判断所述缓存流量值是否超过预设的处理阈值范围；

若未超过，则根据业务请求类型的优先级对所述待处理业务请求数据进行处理；

若超过，则按预设的限流策略处理所述待处理业务请求数据；

发送业务处理响应至应用客户端。

在另一实施例中，所述缓存所述待处理业务请求数据，并统计缓存流量值的步骤之前还包括如下步骤：按照所述业务请求类型对所述待处理的业务请求数据进行识别分类，并生成用户交易id：

对所述业务请求数据设定标签，所述标签包括业务请求类型编码和接收业务请求数据的时间，根据所述标签与用户身份信息生成用户交易id；

根据业务请求类型对设定标签的业务请求数据进行分类；

将经过分类的业务请求数据发送至缓存数据库。

在另一实施例中，所述缓存所述待处理的业务请求数据，并统计缓存流量值包括如下步骤：

接收所述待处理的业务请求数据，并分配至与其业务请求类型相匹配的数据池；

检测数据池中业务请求数量的变化，并将变化结果发送至应用客户端；

检测缓存数据库中的缓存流量值，并发送至流量判断模块。

在另一实施例中，所述检测数据池中业务请求数量的变化，并将变化结果发送至应用客户端包括：应用客户端接收到业务请求数量变化结果后，向客户端显示屏显示提示信息，所述提示信息包括业务请求类型、前方等待人数和等待预计时长。

在另一实施例中，所述根据业务请求类型的优先级对业务请求数据进行处理包括如下步骤：

按业务请求类型对业务请求数据进行优先级分类；

启动定时处理子模块，间隔t时间按优先级从高到底分批次将缓存的业务请求数据发送至数据处理模块进行处理；

更新数据池中业务请求数量的变化，并将变化结果发送至应用客户端。

在另一实施例中，所述按预设的限流策略处理所述业务请求数据包括：

读取当前缓存数据库中的缓存参数；

调用历史平均缓存参数，并将当前缓存参数与历史平均缓存参数进行比较，根据比较结果，生成当前时间段内的业务请求限流策略；

发送业务请求限流策略至数据处理模块进行限流处理。

本发明还公开了一种数据处理装置，包括：

数据采集模块，用于采集应用客户端的待处理业务请求数据，所述待处理业务请求数据包括用户身份信息和业务请求类型；

缓存模块，用于缓存所述待处理业务请求数据，并统计缓存流量值；

流量判断模块，用于判断所述缓存流量值是否超过预设的处理阈值范围；

数据处理模块，用于对缓存数据库中的业务请求数据进行处理；

响应模块，用于将数据处理模块的处理结果发送至应用客户端。

在另一实施例中，数据处理模块包括：

定时处理子模块，用于对未超过预设处理阈值范围的业务请求数据进行处理，包括根据业务请求类型的优先级对业务请求数据进行处理；

限流子模块，用于对超过预设处理阈值范围的业务请求数据进行限流处理，包括按预设的限流策略处理所述待处理的业务请求数据；

本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现如上所述的数据处理方法的步骤。

本发明的积极进步效果在于：

1、针对不同的数据量采取不同的处理策略，一方面针对数据量不是很大的情形，如数据量小于处理阈值，采用定时处理策略，并按照处理的优先级对数据进行分类处理，另一方面针对数据量较大的情形，如数据量超过处理阈值，采用限流策略对数据进行限流处理，避免数据处理接口处于处理量的波峰或波谷状态，既避免了系统处理资源的浪费，也避免了交易量激增导致系统崩溃的情形，有效提高了数据处理的稳定性和效率。

2、应用客户端根据接收的业务请求计数，向客户展示文字或图片提示界面，提示用户前面还有多少人在排队等待。本申请涉及两端的交互，应用客户端通过接收服务器端的业务请求计数，定时提醒用户目前等待业务人数，有利于用户了解业务进展，提升了用户满意度。

附图说明

图1示出了本发明数据处理方法实施例一的流程图；

图2示出了本发明数据处理方法实施例二的流程图；

图3示出了本发明数据处理方法实施例二的流程图；

图4示出了本发明数据处理方法实施例一的流程图；

图5示出了本发明数据处理方法实施例三的流程图；

图6示出了本发明数据处理方法实施例四的流程图；

图7示出了本发明数据处理装置第一实施例的结构图；

图8示出了本发明数据处理装置第二实施例的结构图；

图9示出了本发明数据处理装置第二实施例的结构图；

图10示出了本发明计算机设备一实施例的硬件架构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

首先，本发明提出一种数据处理方法。

在实施例一中，如图1、4所示，所述数据处理方法包括如下步骤：

s1、获取应用客户端的待处理业务请求数据，所述待处理业务请求数据包括用户身份信息和业务请求类型。

应用客户端设置在用户的pc、手机等装置上，用于接收用户发起的业务请求，所述业务请求是用户参与营销类活动时需在应用客户端发起的一系列需要与对端业务处理服务器端进行交互的业务请求行为，例如客户核身、客户资料填写、资料审核、客户授信、动用签约、动用审核、放款等业务请求行为。业务处理服务器端通过数据采集模块采集用户在应用客户端发起的业务请求操作数据，并将该操作数据发送至数据分类模块进行识别分类。采集的业务请求数据包括用户身份信息和业务请求的具体类型，其中用户身份信息包括用户姓名、身份证号、用户授权证明、身份核实证明等，业务请求的具体类型根据不同的业务范围进行划分，如涉及钱款交易类型的，可将类型分为查询交易、提款交易、还款交易等，用户在客户端进入办理业务的页面后，选择或输入相应的业务类型，并填写自己的身份信息后提交至客户端的本地数据库，业务处理服务器端通过数据采集模块定时从客户端的本地数据采集待处理的业务请求数据进行处理。

s2、缓存所述待处理的业务请求数据，并统计缓存流量值。为了避免数据量过大，造成处理系统崩溃，需要对待处理的数据进行缓存操作，并对缓存的数据进行分析，以采取相应的处理策略。具体包括如下步骤：

s2-1、接收所述待处理的业务请求数据，并分配至与其业务请求类型相匹配的数据池。

缓存数据库接收到业务请求数据后，更新缓存数据库，将所述业务请求数据分别分配至相应的数据池中等待数据处理模块读取，如将还款类型的请求数据发送至缓存数据库中用于存放还款数据的数据池a，缓存数据中的数据池的种类和个数可根据经过分类模块分类后的数据结果进行调整。

s2-2、检测数据池中业务请求数量的变化，并将变化结果发送至应用客户端。

缓存模块中的检测子模块定时检测缓存数据库中的数据变化结果，并将该变化结果发送至应用客户端，如间隔15s检测缓存数据库中的还款数据多了一件，则更新待处理还款业务+1，并将更新后的还款业务请求数发送至应用客户端。

应用客户端接收到业务请求数量变化结果后，向客户端显示屏显示提示信息，所述提示信息包括业务请求类型、前方等待人数和等待预计时长。如“还款业务前方尚有5人等待处理，等待时长约10分钟”，其中等待预计时长根据历史平均数据通过机器学习计算得出。

s2-3、检测缓存数据库中的缓存流量值，并发送至流量判断模块。

缓存模块中的检测子模块定时检测缓存数据库中的数据流量值即待处理数据总量，所述数据流量值用于后续判断是否需要限流处理，若数据流量值不大，如不超过预设的处理阈值范围，则直接进行数据处理，若数据流量值超过预设的处理阈值，则需先进行限流处理。

s3、判断所述缓存流量值是否超过预设的处理阈值范围，若未超过，则进入步骤s4，若超过，则进入步骤s5。

预设的处理阈值是根据业务处理服务器端的数据处理模块的配置文件设置的，是根据数据处理模块接口的性能和压力进行测试得出的一个可控的数值范围，根据该数值范围设置相应的处理阈值，流量判断模块将当前的缓存数据库中的缓存流量值与处理阈值进行比较，并将比较结果发送至数据处理模块，数据处理模块根据判断结果，调用与该结果相适应的处理模型进行处理，若当前流量值未超过处理阈值范围，则调用定时处理子模块进行处理，若超过处理阈值，则调用限流子模块进行处理。

s4、根据业务请求类型的优先级对所述待处理业务请求数据进行处理。

不同的业务请求类型对应不同的处理优先级，在定时处理子模块中配置相应的优先级筛选规则，如还款请求类数据为高优先级，查询请求类为低优先级，当启动定时处理子模块后，按照先进先出的原则，优先读取缓存数据库中等待时间较长的还款类请求数据并进行处理，每完成一项业务请求数据，缓存数据库中的缓存流量值和数据池中的处理量分别-1，并将给处理结果定时发送至应用客户端，应用客户端根据该结果更新提示界面。

s5、按预设的限流策略处理所述业务请求数据。

数据处理模块调用限流子模块中的限流策略对缓存数据库中的数据进行处理，其中限流策略与缓存数据库中的流量值大小相匹配，其中流量值的范围与相应的限流策略的调用规则预设写入限流子模块的配置文件中，数据处理模块根据实际流量值的大小进行调用。

s6、发送业务处理响应至应用客户端。

业务处理模块完成业务请求后，将处理响应发送至应用客户端，提示用户的业务请求是否办理成功。

在实施例二中，基于实施例一的基础上，如图2-3所示，在步骤s2缓存所述待处理业务请求数据，并统计缓存流量值的步骤之前还包括如下步骤：s2a按照所述业务请求类型对所述待处理的业务请求数据进行识别分类，并生成用户交易id。为了提高业务办理的效率，需要对采集到的大量的数据进行分类，对同一类别的数据进行集中处理，具体包括如下步骤：

s2a-1、对所述业务请求数据设定标签，所述标签包括业务请求类型编码和接收业务请求数据的时间，根据所述标签与用户身份信息生成用户交易id；数据分类模块对采集到的用户业务请求数据进行识别分类，包括对业务请求的类型进行识别并对所述业务请求数据设定标签，该标签与用户的个人手机号或身份证号组合形成用户交易id，该id作为后续数据处理的唯一识别标志，如用户于2018年10月1日在应用客户端发起了还款交易请求，该请求数据进入数据分类模块后被自动打上hk20181001的标签，其中hk是还款的首个字母组合，代表该业务请求数据的类型，20181001是用户发起该交易请求的时间，该业务请求标签与用户的个人手机号或身份证号进一步组合构成用户交易id，所述业务请求数据在后续处理过程中以该id作为唯一识别标志，同时该id反馈至应用客户端，并显示在用户提示界面。

s2a-2、根据业务请求类型对设定标签的业务请求数据进行分类。

数据分类模块还对经过识别的业务请求数据按业务请求类型进行分类，按业务范围分为：查询交易、提款交易、还款交易等，并将分类后的请求数据形成不同的请求队列，分批次将该请求队列发送至缓存数据库。

s2a-3、将经过分类的业务请求数据发送至缓存数据库。

将同一类别的数据发送至缓存数据库中相应的数据池，如将具有hk标签的数据发送至缓存数据库中的数据池a，将具有cx标签即查询交易类的数据发送至缓存数据库中的数据池b，供后面的数据处理模块读取处理。

在实施例三中，基于实施例一的基础上，如图5所示，所述的数据处理方法包括如下步骤：

s4-1、按业务请求类型对业务请求数据进行优先级分类。

不同的业务请求类型对应不同的优先级，如还款请求类数据为高优先级，查询请求类为低优先级，若属于同一类的，则按照先进先出的原则，等待时间长的数据为高优先级。

s4-2、启动定时处理子模块，间隔t时间按优先级从高到低分批次将缓存的业务请求数据发送至数据处理模块进行处理。

根据预设的优先级筛选规则，定时处理子模块间隔t时间从缓存数据库中抽取一定量的数据进行处理，t时间的设置可根据数据处理模块的时间进行设置。

s4-3、更新数据池中业务请求数量的变化，并将变化结果发送至应用客户端。

定时处理子模块每从缓存数据库中抽取一项业务请求数据，缓存数据库中的缓存流量值和数据池中的处理量分别-1，并将处理量的变化发送至应用客户端，应用客户端根据该处理量的变化更新提示界面。

在实施例四中，基于实施例一的基础上，如图6所示，所述的数据处理方法包括如下步骤：

s5-1、读取当前缓存数据库中的缓存参数。

缓存参数包括缓存数据库中的数据总量以及平均等待时长，定时读取当前缓存数据库中的缓存参数，并发送至限流分析单元。

s5-2、调用历史缓存参数，并将当前缓存参数与历史平均缓存参数进行比较，根据比较结果，生成当前时间段内的业务请求限流策略。

限流分析单元接收到当前缓存数据库中的缓存参数，并调用历史缓存参数，对两种数据进行比较，根据比较结果，生成当前时间段内的限流策略，缓存参数与限流策略之间的映射关系预先写入限流子模块中，限流分析单元通过比较当前缓存参数与历史缓存参数，给出比较结果，如落入某个历史缓存参数的范围，则调用该缓存参数对应的限流策略进行限流处理。若当前时间段内的数据总量是同一时间段内历史平均数据总量的2倍以上时，限流策略为队列等待，队列等待的深度根据历史数据分析，根据历史平均值时的最大并发数设置，若当前时间段内的数据总量是同一时间段内历史平均数据总量的4倍以上时，限流策略为拒绝服务，不再接受业务请求数据。

s5-3、发送限流策略至数据处理模块进行限流处理。

采用本发明中的定时处理方法和限流方法，避免了在数据处理量激增情形下对处理接口的压力过载，有效提高了数据处理的效率。

其次，本发明提出了一种数据处理装置，所述装置20可以被分割为一个或者多个模块。

例如，图7示出了所述数据处理装置20第一实施例的结构图，该实施例中，所述装置20可以被分割为数据采集模块201、缓存模块202、流量判断模块203和数据处理模块204、响应模块205。以下描述将具体介绍所述模块201-205的具体功能。

数据采集模块201，用于采集应用客户端的业务请求数据，所述业务请求数据包括用户身份信息和业务请求类型。

缓存模块202，用于缓存所述待处理的业务请求数据，并统计缓存流量值。

流量判断模块203，用于判断所述缓存流量值是否超过预设的处理阈值范围。

数据处理模块204，用于对缓存数据库中的业务请求数据进行处理。

响应模块205，用于将数据处理模块的处理结果发送至应用客户端。

在另一个实施方式中，如图8所述，所述数据处理装置20还包括：数据分类模块206，用于按照所述业务请求类型对所述待处理的业务请求数据进行识别分类，并生成用户交易id。

图9示出了所述数据处理装置20另一实施例的结构图。

其中数据处理模块204还包括：

定时处理子模块2041，用于对未超过预设处理阈值范围的业务请求数据进行处理，包括根据业务请求类型的优先级分批次对业务请求数据进行处理。

限流子模块2042，用于对超过预设处理阈值范围的业务请求数据进行限流处理，包括按预设的限流策略处理所述业务请求数据。

再次，本发明还提出来一种计算机设备。

参阅图10所示，是本发明计算机设备一实施例的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22以及网络接口23。其中：

所述存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，所述存储器21还可以既包括所述计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述计算机设备2的操作系统和各类应用软件，例如用于实现所述数据处理方法的计算机程序等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器22在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述计算机设备2的总体操作，例如执行与所述计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行用于实现所述数据处理方法的计算机程序等。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他计算机设备之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(globalsystemofmobilecommunication，gsm)、宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。

需要指出的是，图10仅示出了具有组件21-23的计算机设备2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。在本实施例中，存储于存储器21中的用于实现所述数据处理方法的计算机程序可以被一个或多个处理器(本实施例为处理器22)所执行，以完成以下步骤的操作：

一种数据处理方法，包括以下步骤：

获取应用客户端的待处理业务请求数据，所述待处理业务请求数据包括用户身份信息和业务请求类型；

缓存所述待处理业务请求数据，并统计缓存流量值；

判断所述缓存流量值是否超过预设的处理阈值范围；

若未超过，则根据业务请求类型的优先级对所述待处理业务请求数据进行处理；

若超过，则按预设的限流策略处理所述待处理业务请求数据；

发送业务处理响应至应用客户端。

在另一实施例中，所述缓存所述待处理业务请求数据，并统计缓存流量值的步骤之前还包括如下步骤：按照所述业务请求类型对所述待处理的业务请求数据进行识别分类，并生成用户交易id：

对所述业务请求数据设定标签，所述标签包括业务请求类型编码和接收业务请求数据的时间，根据所述标签与用户身份信息生成用户交易id；

根据业务请求类型对设定标签的业务请求数据进行分类；

将经过分类的业务请求数据发送至缓存数据库。

在另一实施例中，所述缓存所述待处理的业务请求数据，并统计缓存流量值包括如下步骤：

接收所述待处理的业务请求数据，并分配至与其业务请求类型相匹配的数据池；

检测数据池中业务请求数量的变化，并将变化结果发送至应用客户端；

检测缓存数据库中的缓存流量值，并发送至流量判断模块。

在另一实施例中，所述检测数据池中业务请求数量的变化，并将变化结果发送至应用客户端包括：应用客户端接收到业务请求数量变化结果后，向客户端显示屏显示提示信息，所述提示信息包括业务请求类型、前方等待人数和等待预计时长。

在另一实施例中，所述根据业务请求类型的优先级对业务请求数据进行处理包括如下步骤：

按业务请求类型对业务请求数据进行优先级分类；

启动定时处理子模块，间隔t时间按优先级从高到底分批次将缓存的业务请求数据发送至数据处理模块进行处理；

更新数据池中业务请求数量的变化，并将变化结果发送至应用客户端。

在另一实施例中，所述按预设的限流策略处理所述业务请求数据包括：

读取当前缓存数据库中的缓存参数；

调用历史平均缓存参数，并将当前缓存参数与历史平均缓存参数进行比较，根据比较结果，生成当前时间段内的业务请求限流策略；

发送业务请求限流策略至数据处理模块进行限流处理。

此外，本发明一种计算机可读存储介质，所述计算机可读存储介质为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现上述数据处理方法或装置的操作。

其中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如前述用于实现所述数据处理方法的计算机程序等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。