数据处理压力的调控方法、装置及计算机可读存储介质与流程

1.本发明涉及计算机数据处理技术领域，尤其涉及数据处理压力的调控方法、装置及计算机可读存储介质。


背景技术：

2.随着产品的多样化，工厂生产的自动化与信息化建设，数据采集点与统计点越来越多。现有的生产测试工具的运行方式是在生产作业执行测试数据上传记录后，接着执行其他各类信息化辅助数据统计，然后测试结束。
3.但是由于产能统计、直通率统计、测试失败率统计，设备设备使用率统计等日益增多的信息化辅助数据统计，上述生产测试工具的运行方式会给生产服务器数据处理带来巨大的压力，时常会出现数据库由于瞬间数据处理压力过大而产生响应延时的情况，造成生产线测试失败，影响生产效率，造成较大损失。


技术实现要素：

4.本发明的主要目的在于提供一种数据处理压力的调控方法、装置及计算机可读存储介质，旨在解决如何防止数据库出现瞬间数据处理压力过大，进而产生响应延时导致生产线测试失败，影响生产效率的技术问题。
5.为实现上述目的，本发明提供一种数据处理压力的调控方法，所述数据处理压力的调控方法包括以下步骤：
6.当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；
7.控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；
8.当所述数据统计模块开始进行数据分析时，启动预设计时器；
9.当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。
10.可选地，所述启动预设计时器的步骤之后包括：
11.监测所述预设计时器的计时时长是否达到预设时长；
12.当所述预设计时器的计时时长未达到预设时长时，控制所述数据统计模块将所述统计数据存储至预设存储空间中；
13.执行所述控制所述数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤；
14.将得到的所述统计数据存储至所述预设存储空间中，直至所述预设计时器的计时时长达到预设时长。
15.可选地，所述将预设时长内的所述统计数据上传到所述数据库的步骤包括：
16.控制所述数据统计模块将预设时长内所述预设存储空间中的所述统计数据上传
到所述数据库。
17.可选地，所述将预设时长内的所述统计数据上传到所述数据库的步骤之后包括：
18.当所述统计数据全部上传完成后，重置所述预设计时器，执行所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤；
19.直至所述预设缓存队列中的数据均完成数据分析。
20.可选地，所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤包括：
21.启用多个预设线程分别控制多个不同的数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到多个不同的统计数据。
22.可选地，所述预设计时器包括多个预设计时器，分别对应所述多个不同的数据统计模块，所述预设时长包括多个预设时长。
23.可选地，所述将所述工位运行数据上传到数据库的步骤包括：
24.根据所述工位运行数据生成添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库添加或更新相应的数据。
25.可选地，所述将预设时长内的所述统计数据上传到所述数据库的步骤还包括：
26.根据所述统计数据生成查询指令、添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库查询、添加或更新相应的数据。
27.此外，为实现上述目的，本发明还提供一种数据处理压力的调控装置，所述数据处理压力的调控装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理压力的调控程序，所述数据处理压力的调控程序被所述处理器执行时实现如上所述的数据处理压力的调控方法的步骤。
28.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理压力的调控程序，所述数据处理压力的调控程序被处理器执行时实现如上所述的数据处理压力的调控方法的步骤。
29.本发明提出一种数据处理压力的调控方法、装置及计算机可读存储介质，在所述数据处理压力的调控方法中，当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；当所述数据统计模块开始进行数据分析时，启动预设计时器；当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。本发明通过控制数据统计模块与数据库的交互次数，大幅减少了服务器的数据处理次数，有效降低了服务器数据运算处理压力，显著减少了数据处理任务的等待时间，降低死锁的产生几率，避免了由于数据库响应超时产生的生产异常。
附图说明
30.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
31.图2为本发明数据处理压力的调控方法第一实施例的流程示意图；
32.图3为现有技术中存在缺陷的数据流处理示意图；
33.图4为本发明数据处理压力的调控方法的数据流处理示意图。
34.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
35.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
36.本发明实施例的主要解决方案是：一种数据处理压力的调控方法，所述数据处理压力的调控方法包括以下步骤：
37.当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；
38.控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；
39.当所述数据统计模块开始进行数据分析时，启动预设计时器；
40.当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。
41.由于现有的生产测试工具的运行方式是在生产作业执行测试数据上传记录后，接着执行其他各类信息化辅助数据统计，然后测试结束。但是由于产能统计、直通率统计、测试失败率统计，设备设备使用率统计等日益增多的信息化辅助数据统计，上述生产测试工具的运行方式增加了作业工位时间，增加了服务器数据库瞬间数据处理压力，会给生产服务器数据处理带来巨大的压力，时常会出现数据库由于瞬间数据处理压力过大而产生响应延时的情况，造成生产线测试失败，影响生产效率，造成较大损失。
42.本发明提供一种数据处理压力的调控方法，当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；当所述数据统计模块开始进行数据分析时，启动预设计时器；当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。本发明通过控制数据统计模块与数据库的交互次数，大幅减少了服务器的数据处理次数，有效降低了服务器数据运算处理压力，显著减少了数据处理任务的等待时间，降低死锁的产生几率，避免了由于数据库响应超时产生的生产异常。
43.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
44.本发明实施例终端可以是pc，也可以是平板电脑、便携计算机等具备软件运行功能的终端设备。
45.如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
46.可选地，终端还可以包括摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为
运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
47.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
48.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理压力的调控程序。
49.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据处理压力的调控程序，并执行以下操作：
50.当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；
51.控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；
52.当所述数据统计模块开始进行数据分析时，启动预设计时器；
53.当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。
54.进一步地，处理器1001可以调用存储器1005中存储的数据处理压力的调控程序，还执行以下操作：
55.监测所述预设计时器的计时时长是否达到预设时长；
56.当所述预设计时器的计时时长未达到预设时长时，控制所述数据统计模块将所述统计数据存储至预设存储空间中；
57.执行所述控制所述数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤；
58.将得到的所述统计数据存储至所述预设存储空间中，直至所述预设计时器的计时时长达到预设时长。
59.进一步地，处理器1001可以调用存储器1005中存储的数据处理压力的调控程序，还执行以下操作：
60.所述将预设时长内的所述统计数据上传到所述数据库的步骤包括：
61.控制所述数据统计模块将预设时长内所述预设存储空间中的所述统计数据上传到所述数据库。
62.进一步地，处理器1001可以调用存储器1005中存储的数据处理压力的调控程序，还执行以下操作：
63.当所述统计数据全部上传完成后，重置所述预设计时器，执行所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤；
64.直至所述预设缓存队列中的数据均完成数据分析。
65.进一步地，处理器1001可以调用存储器1005中存储的数据处理压力的调控程序，还执行以下操作：
66.所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤包括：
67.启用多个预设线程分别控制多个不同的数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到多个不同的统计数据。
68.进一步地，所述预设计时器包括多个预设计时器，分别对应所述多个不同的数据统计模块，所述预设时长包括多个预设时长。
69.进一步地，处理器1001可以调用存储器1005中存储的数据处理压力的调控程序，还执行以下操作：
70.所述将所述工位运行数据上传到数据库的步骤包括：
71.根据所述工位运行数据生成添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库添加或更新相应的数据。
72.进一步地，处理器1001可以调用存储器1005中存储的数据处理压力的调控程序，还执行以下操作：
73.所述将预设时长内的所述统计数据上传到所述数据库的步骤还包括：
74.根据所述统计数据生成查询指令、添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库查询、添加或更新相应的数据。
75.参照图2，本发明第一实施例提供一种数据处理压力的调控方法，所述数据处理压力的调控方法包括：
76.步骤s10，当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；
77.本实施例中，执行主体为pc，所述pc中包括mes(manufacturing execution system，制造执行系统)服务程序，通过所述mes服务程序进行数据统计。
78.需要说明的是，所述作业工位可以是工程生产中的自动化或信息化作业工位，所述工位运行数据是由所述服务程序采集到的由所述作业工位产生的一些运行数据，例如产品总量、良品数量、不良品数量、工位设备参数等。参照图3和图4，可知所述数据库为服务器端的按照数据结构来组织、存储和管理数据的仓库，所述预设缓存队列即图4中的服务程序缓存队。
79.本实施例中，步骤s10中将所述工位运行数据上传到数据库的步骤包括：
80.根据所述工位运行数据生成添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库添加或更新相应的数据。
81.如图3和图4中可知，在程序开始运行后，作业工位数据记录上传每次会对数据库进行两次数据处理请求insert(即所述添加指令)和update(即所述更新指令)，以使所述数据库添加或更新相应的数据。
82.步骤s20，控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；
83.本实施例中，步骤s20包括：
84.启用多个预设线程分别控制多个不同的数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到多个不同的统计数据。
85.需要说明的是，本实施例中可以包含多个数据统计模块，对应的可以启用多个线
程对多个数据统计模块分别进行数据累积统计(即所述数据分析)，参照图4，所述多个数据统计模块包括产出统计模块、直通率数据统计模块、测试不良统计模块、测试设备统计模块和其他统计模块等，所述不同的统计数据即由前述的不同的数据统计模块经过累积统计后得到，每个模块启用一个线程对缓存队里的数据进行统计。
86.步骤s30，当所述数据统计模块开始进行数据分析时，启动预设计时器；
87.本实施例中，步骤s30之后包括：
88.监测所述预设计时器的计时时长是否达到预设时长；
89.当所述预设计时器的计时时长未达到预设时长时，控制所述数据统计模块将所述统计数据存储至预设存储空间中；
90.继续执行步骤s20，将得到的所述统计数据存储至所述预设存储空间中，直至所述预设计时器的计时时长达到预设时长。
91.需要说明的是，所述预设计时器可以是一个计时器，参照图4，用于对图中的多个数据统计模块设定时间间隔，也可以是多个预设计时器，分别对应所述多个不同的数据统计模块，分别设定一个或多个特定的数据统计模块的时间间隔，所述预设时长可以是一个固定间隔，用于设定缓存数据保存时间，比如，5分钟后执行一次缓存数据更新到数据库，也可以是多个预设时长，用于根据用户的需求进行灵活调配，例如用户急于获取产出统计数据，那么可以将其对应的时间间隔缩短，其他的数据统计模块不作变动。
92.可以理解的是，当计时器的计时时长未达到5分钟时，会重复上述数据分析和将统计数据累计到缓存(即所述预设存储空间)的步骤，直至5分钟后执行一次将缓存数据更新到数据库的操作。
93.步骤s40，当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。
94.步骤s40中，将预设时长内的所述统计数据上传到所述数据库的步骤包括：
95.控制所述数据统计模块将预设时长内所述预设存储空间中的所述统计数据上传到所述数据库。
96.还包括：
97.根据所述统计数据生成查询指令、添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库查询、添加或更新相应的数据。
98.由图3和图4中可知，数据统计模块在上传数据时每次会对数据库进行三次数据处理请求query(即所述查询指令)、insert(即所述添加指令)和update(即所述更新指令)，以使所述数据库查询、添加或更新相应的数据。
99.由图3和图4对比可以看出明显的差异，图3中，当作业工位数据记录上传后，会接着执行产出统计、执行直通率统计、执行测试不良统计、执行测试设备统计和执行其他统计，并将统计数据直接发送给数据库，从而增加了服务器数据库瞬间数据处理压力；而从图4中可以得知，本实施例中作业工位完成测试进行数据上传时，数据统计模块并不会如图3中一般立即将根据工位运行数据得到的统计数据发送给数据库，而是等待mes服务启用线程控制对队列中的数据进行累积统计，即产出统计累积到缓存、直通率数据累积到缓存、测试不良统计累积到缓存、测试设备统计累积到缓存、其他统计累积到缓存等。然后在设定的时间间隔到达时，再把累积统计数据更新插入到数据库，否则继续执行数据统计和累积的
步骤，明显能够降低数据库数据处理的次数。
100.步骤s40之后包括：
101.当所述统计数据全部上传完成后，重置所述预设计时器，执行所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤；
102.直至所述预设缓存队列中的数据均完成数据分析。
103.可以理解的是，为了保证每5分钟都能执行一次数据更新，每次将数据上传至数据库后需要重置计时器，保证下一次数据更新的时间依旧可控，避免出现如图3中的传输方式可能导致的数据库运算处理压力过大的问题。
104.将图3与图4进行对比，按5分钟执行10000次测试数据上传到服务器计算，图3中存在缺陷的方案的数据响应次数为10000*2+10000*3*n次，而本方案的数据响应次数仅为10000*2+3*n次，其中，2代表作业工位数据记录上传的两个请求指令，3为各数据统计模块上传的三个请求指令，n为数据统计模块的数量。本实施例提供的方案显然大幅降低了数据库瞬间的响应次数，且随着测试线体、测试工位越多及需要统计的数据类型越多，降低占比越大。
105.本实施例中的上述各种请求指令并不限定为2个和3个，也不仅限定为查询、添加和更新等指令，也可以根据用户或管理员需求设置需要的数据处理指令。
106.在本实施例中提出了一种数据处理压力的调控方法，当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；当所述数据统计模块开始进行数据分析时，启动预设计时器；当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。本发明通过控制数据统计模块与数据库的交互次数，大幅减少了服务器的数据处理次数，有效降低了服务器数据运算处理压力，显著减少了数据处理任务的等待时间，降低死锁的产生几率，避免了由于数据库响应超时产生的生产异常。
107.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理压力的调控程序，所述数据处理压力的调控程序被处理器执行时实现如下操作：
108.当作业工位完成作业时，将所述作业工位的工位运行数据上传到数据库和预设缓存队列；
109.控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据；
110.当所述数据统计模块开始进行数据分析时，启动预设计时器；
111.当所述预设计时器的计时时长达到预设时长时，将预设时长内的所述统计数据上传到所述数据库。
112.进一步地，所述数据处理压力的调控程序被处理器执行时还实现如下操作：
113.监测所述预设计时器的计时时长是否达到预设时长；
114.当所述预设计时器的计时时长未达到预设时长时，控制所述数据统计模块将所述统计数据存储至预设存储空间中；
115.执行所述控制所述数据统计模块对所述预设缓存队列中的所述工位运行数据进
行数据分析以得到统计数据的步骤；
116.将得到的所述统计数据存储至所述预设存储空间中，直至所述预设计时器的计时时长达到预设时长。
117.进一步地，所述数据处理压力的调控程序被处理器执行时还实现如下操作：
118.所述将预设时长内的所述统计数据上传到所述数据库的步骤包括：
119.控制所述数据统计模块将预设时长内所述预设存储空间中的所述统计数据上传到所述数据库。
120.进一步地，所述数据处理压力的调控程序被处理器执行时还实现如下操作：
121.当所述统计数据全部上传完成后，重置所述预设计时器，执行所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤；
122.直至所述预设缓存队列中的数据均完成数据分析。
123.进一步地，所述数据处理压力的调控程序被处理器执行时还实现如下操作：
124.所述控制数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到统计数据的步骤包括：
125.启用多个预设线程分别控制多个不同的数据统计模块对所述预设缓存队列中的所述工位运行数据进行数据分析以得到多个不同的统计数据。
126.进一步地，所述预设计时器包括多个预设计时器，分别对应所述多个不同的数据统计模块，所述预设时长包括多个预设时长。
127.进一步地，所述数据处理压力的调控程序被处理器执行时还实现如下操作：
128.所述将所述工位运行数据上传到数据库的步骤包括：
129.根据所述工位运行数据生成添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库添加或更新相应的数据。
130.进一步地，所述数据处理压力的调控程序被处理器执行时还实现如下操作：
131.所述将预设时长内的所述统计数据上传到所述数据库的步骤还包括：
132.根据所述统计数据生成查询指令、添加指令和更新指令，将所述添加指令和更新指令发送到数据库，以使所述数据库查询、添加或更新相应的数据。
133.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
134.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
135.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
136.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发
明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。