一种平滑数据处理的方法和装置的制作方法

文档序号:6575237阅读:142来源:国知局
专利名称:一种平滑数据处理的方法和装置的制作方法
技术领域
本发明涉及通信领域的数据处理技术,尤其涉及一种平滑数据处理的方法 和装置。
背景技术
在智能网系统中,往往需要在系统的后台配置任务,来进行用户数据的处 理,如注销用户信息的删除等等。在大容量的系统中,由于用户数据总量非常 大,这些任务耗费的时间往往非常的多,系统的负荷也会非常大。在商用的智 能网系统中,由于用户的使用习惯,在月底或者节日等特殊的日子常常会产生 大量的一次性数据,造成系统单日处理的数据量起伏较大,处理时间波动剧烈, 这与商用系统要求的系统稳定性和可预测性产生矛盾,需要采取措施来平滑这 种波动。

发明内容
有鉴于此,本发明的主要目的在于提供一种平滑数据处理的方法和装置, 以平滑智能网系统中的数据处理量和处理时间的波动。
为达到上述目的,本发明的技术方案是这样实现的 本发明提供了一种平滑数据处理的方法,该方法包括 根据任务的预期执行时间,并通过拟合函数确定任务的数据处理量; 按照所确定的数据处理量控制所述任务的执行。
其中,所述拟合函数用以描述数据处理量与数据处理时间的函数关系,相 应的,将所述任务的预期执行时间代入所述拟合函数,即得到与所述预期执行 时间相对应的数据处理量。
该方法进一步包括预先设定任务的强制结束时间,并在所述任务执行过程中判断任务执行时间是否超出所述强制结束时间;在判定所述任务执行时间 超出强制结束时间时,强制结束任务。
该方法进一步包括在所述任务执行结束时,记录任务的实际结束时间, 并根据记录的实际结束时间对所述拟合函数进行修正。
其中,所述任务的预期执行时间根据历史记录的所述任务的执行时间来确 定,或者由设定的任务的预期结束时间与当前时间的差值来确定。
本发明还提供了一种平滑数据处理的装置,该装置包括
数据处理量确定模块,用于根据任务的预期执行时间,并通过拟合函数确 定任务的数据处理量;
任务执行控制模块,用于按照所确定的数据处理量控制所述任务的执行。
所述拟合函数用以描述数据处理量与数据处理时间的函数关系,相应的, 所述数据处理量确定模块进一步用于,将所述任务的预期执行时间代入所述拟 合函数,得到与所述预期执行时间相对应的数据处理量。
该装置进一步包括判断模块,用于在所述任务执行过程中判断任务执行 时间是否超出预定的强制结束时间,并在判定超出时,通知所述任务执行控制 模块强制结束任务。
该装置进一步包括函数修正模块,用于在所述任务执行结束时,记录任 务的实际结束时间,根据记录的实际结束时间对所述拟合函数进行修正,并将 修正后的拟合函数提供给数据处理量确定模块。
其中,所述任务的预期执行时间由历史记录的执行时间,或由设定的任务 的预期结束时间与当前时间的差值来确定。
本发明所提供的一种平滑数据处理的方法和装置,利用时间对数据处理量 进行预测,根据预期处理时间计算出合适的数据处理量,可以起到平滑处理数 据的目的,并实现对任务处理时间的控制,使数据的实际处理时间接近预期处 理时间;提出拟合函数,并根据实际处理时间对进行在线的修正,实现了系统 的自适应,降低了任务执行的波动性,有利于提高大容量系统数据处理的稳定 性和可预测性。


图1为本发明一种平滑数据处理的方法流程图2为本发明一种平滑数据处理的装置的组成结构示意图。
具体实施例方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。 为实现平滑的数据处理,本发明的核心思想是根据任务的预期执行时间, 并通过拟合函数确定任务的数据处理量,再按照所确定的数据处理量控制任务 的执行,从而实现对任务的处理时间的控制。其中,拟合函数用以描述数据处 理量与数据处理时间的函数关系,相应的,将任务的预期执行时间代入拟合函 数,即能得到与预期执行时间相对应的数据处理量。较佳的,在任务执行结束 时,可以记录任务的实际结束时间,并根据记录的实际结束时间对拟合函数进 行修正,将修正的拟合函数应用于后续的任务处理;通过这样的循环操作,能 够实现对拟合函数的动态自适应调整,以达到降低任务执行的波动性的目的。
在实际应用中,任务的预期执行时间可以是用户设定的绝对时间,即由任 务的预期结束时间与当前时间的差值确定得到任务的预期执行时间;当然,也 可以根据某种特定的算法得到任务的预期执行时间,例如根据历史记录的任 务的执行时间来确定本次任务的预期执行时间。
基于上述的思想,本发明所提供的一种平滑数梧处理的方法,如图1所示, 主要包括以下步骤
步骤IOI,设定任务的预期结束时间。 用户根据需要执行的任务设定对应的预期结束时间。 步骤102,获取任务的预期结束时间与当前时间的差^直,记为At。 将设定的预期结束时间与当前时间相减得到At, At即为任务的预期 执行时间,用以表示任务执行的预期时间跨度。
步骤103,将得到的预期执行时间At代入拟合函数,得出数据处理量。 该拟合函数记为F ( ), F ()用以描述数据处理量与数据处理时间的函数关系,将At代入F ()中g禾能得到与At相对应的数据处理量。其中,F ()可 以在具体实施的过程中给出一个经验值,并在后续的操作中进行修正;且F()
不仅限于函数,也可以由过程等计算处理方法来实现。
本发明将拟合函数F ()计算得出的数据处理量作为任务的实际数据处理 量,并以此控制任务的实际执行时间,从而提高数据处理的稳定性和可预测性。
步骤104,按照得出的数据处理量控制任务的执行,并记录任务执行时间。
按照得出的数据处理量执行任务,并在任务的实际数据处理量达到上述的 数据处理量时,控制任务执行操作结束。
步骤105,将记录的任务执行时间与预设的强制结束时间进行比较,判断 任务执行时间是否超出强制结束时间,如果超出,则执行步骤106;否则,执 行步骤107。
步骤106,判定任务执行时间超出强制结束时间,并强制结束任务,且转 到步骤107。
本发明通过设定强制结束时间,在任务执行时间超出设定的强制结束时间 时,强制结束任务,从而实现对任务执行时间的绝对可控。
步骤107,任务结束时,记录任务的实际结束时间,并依据任务的实际结 束时间修正拟合函数。
将任务的实际结束时间与任务开始执行时的时间相减,得到任务的实际执 行时间,并根据任务的实际执行时间和数据处理量的函数关系,对拟合函数进 行修正。通过使用实际执行时间来动态修正拟合函数,可以使拟合函数及时跟 踪实际的情况,从而更有效的拟合数据处理时间和数据处理量的函数关系。拟 合函数的动态自适应修正可以采用但不仅限于线性拟合的方式。
在后续的任务执行时,重复执行上述步骤101 107的操作,只是将使用修 正后的拟合函数。由此可以看出,通过这样的循环操作,能够实现对拟合函数 的动态自适应调整,从而得出更加符合实际情况的拟合函数,以更好的达到降 低任务执行的波动性的目的。
为实现上述平滑数据处理的方法,本发明还提供一种平滑数据处理的装置,如图2所示,该装置包括:数据处理量确定模块10和任务执行控制模块20。 其中,数据处理量确定模块IO,用于根据任务的预期执行时间,并通过拟合函 数确定任务的数据处理量;该拟合函数用以描述数据处理量与凄t据处理时间的 函数关系,相应的,数据处理量确定模块IO将任务的预期执行时间代入拟合函 数,即得到与预期执行时间湘对应的数据处理量。任务执行控制模块20,连接 数据处理量确定模块10,用于按照数据处理量确定模块IO所确定的数据处理 量控制任务的执行。
较佳的,该装置在上述模块的基础上进一步包括判断模块30和函数修正模 块40。判断模块30,连接任务执行控制模块20,用于在任务执行过程中判断 任务执行时间是否超出预定的强制结束时间,并在判定超出时,通知任务执行 控制模块20强制结束任务,以实现对任务执行时间的绝对可控。函数修正模块 40,连接数据处理量确定模块10和任务执行控制模块20,用于在任务执行结 束时,记录任务的实际结束时间,根据记录的实际结束时间对拟合函数进行修 正,并将修正后的拟合函数提供给数据处理量确定模块10,从而实现对拟合函 数的动态自适应调整。拟合函数的动态自适应修正可以采用但不仅限于线性拟 合的方式。
综上所述,本发明的方法和装置利用时间对数据处理量进行预测,根据预 期处理时间计算出合适的数据处理量,可以起到平滑处理数据的目的,并实现 对任务处理时间的控制,使数据的实际处理时间接近预期处理时间;提出拟合 函数,并根据实际处理时间对进行在线的修正,实现了系统的自适应,降低了 任务执行的波动性,有利于提高大容量系统数据处理的稳定性和可预测性。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
权利要求
1、一种平滑数据处理的方法,其特征在于,该方法包括根据任务的预期执行时间,并通过拟合函数确定任务的数据处理量;按照所确定的数据处理量控制所述任务的执行。
2、 根据权利要求1所述平滑数据处理的方法,其特征在于,所述拟合函数 用以描述数据处理量与数据处理时间的函数关系,相应的,将所述任务的预期 执行时间代入所述拟合函数,即得到与所述预期执行时间相对应的数据处理量。
3、 根据权利要求1所述平滑数据处理的方法,其特征在于,该方法进一步 包括预先设定任务的强制结束时间,并在所述任务执行过程中判断任务执行 时间是否超出所述强制结束时间;在判定所述任务执行时间超出强制结束时间 时,强制结束任务。
4、 根据权利要求1所述平滑数据处理的方法,其特征在于,该方法进一步 包括在所述任务执行结束时,记录任务的实际结束时间,并根据记录的实际 结束时间对所述拟合函数进行修正。
5、 根据权利要求1至4中任一项所述平滑数据处理的方法,其特征在于, 所述任务的预期执行时间根据历史记录的所述任务的执行时间来确定,或者由 设定的任务的预期结束时间与当前时间的差值来确定。
6、 一种平滑数据处理的装置,其特征在于,该装置包括 数据处理量确定才莫块,用于根据任务的预期执行时间,并通过拟合函数确定任务的数据处理量;任务执行控制模块,用于按照所确定的数据处理量控制所述任务的执行。
7、 根据权利要求6所述平滑数据处理的装置,其特征在于,所述拟合函数 用以描述数据处理量与数据处理时间的函数关系,相应的,所述数据处理量确 定模块进一步用于,将所述任务的预期执行时间代入所述拟合函数,得到与所 述预期执行时间相对应的数据处理量。
8、 根据权利要求6所述平滑数据处理的装置,其特征在于,该装置进一步包括判断模块,用于在所述任务执行过程中判断任务执行时间是否超出预定 的强制结束时间,并在判定超出时,通知所述任务执行控制模块强制结束任务。
9、 根据权利要求6所述平滑数据处理的装置,其特征在于,该装置进一步 包括函数修正模块,用于在所述任务执行结束时,记录任务的实际结束时间, 根据记录的实际结束时间对所述拟合函数进行修正,并将修正后的拟合函数提 供给数据处理量确定^f莫块。
10、 根据权利要求6至9中任一项所述平滑数据处理的装置,其特征在于, 所述任务的预期执行时间由历史记录的执行时间,或由设定的任务的预期结束 时间与当前时间的差值来确定。
全文摘要
本发明公开了一种平滑数据处理的方法,包括根据任务的预期执行时间,并通过拟合函数确定任务的数据处理量;按照所确定的数据处理量控制任务的执行。本发明还提供了一种平滑数据处理的装置。本发明通过对任务的数据处理量的预测,实现对任务处理时间的控制,降低了任务执行的波动性,有利于提高大容量系统数据处理的稳定性和可预测性。
文档编号G06F9/46GK101615135SQ20091008978
公开日2009年12月30日 申请日期2009年7月23日 优先权日2009年7月23日
发明者蕊 李, 杨建军, 力 龚 申请人:中兴通讯股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1