一种数据处理方法及装置与流程
本发明涉及通信技术领域，尤其涉及一种数据处理方法及装置。
背景技术：
随着移动通信进入4g时代，移动业务迅猛增长，交易处理数据激增，移动运营商市场营销逐步由流量运营向内容经营转型，促进增值业务运营适应4g时代业务“互联网化”发展趋势，而营销支撑系统的效率成为了营销环节中的重中之重。
目前基于数据库的营销数据推送方法普遍应用于当前的营销支撑系统，但是这种方式需要根据计算机的时间片轮转调度算法来进行数据读取和调度，这种方式相对会依赖数据库技术的性能，会造成设备的等待，处理效率不高；同时读取的数据需要缓存在内存中，且不管短信端口的状态，均会不停给短信端口发送营销数据，数据量高峰期容易造成数据丢失，比如说当某一个端口堆积太多的营销数据，就会很容易使堆积的数据丢失。
综上，目前营销支撑系统中的营销数据推送方法存在处理效率低，拥塞率高的问题。
技术实现要素：
本发明实施例提供一种数据处理方法及装置，用以解决目前营销支撑系统中的营销数据推送方法存在处理效率低，拥塞率高的问题。
本发明方法包括一种数据处理方法，该方法包括：接收营销系统源端缓存区的状态消息，并根据所述状态消息确定所述源端缓存区的饱和度；
根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
基于同样的发明构思，本发明实施例进一步提供一种数据处理装置，该装置包括：
接收单元，用于接收营销系统源端缓存区的状态消息；
确定单元，用于根据所述状态消息确定所述源端缓存区的饱和度；
缓存单元，用于根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
本发明实施例通过增加一个调度程序，该程序可以获取源端缓存区的状态信息，进而根据该状态信息确定出源端缓存区实时的饱和度，然后根据所述源端缓存区的饱和度，按照设定规则将营销平台发送的营销数据进行缓存，若所述源端缓存区的饱和度小于第一阈值，说明源端缓存区的饱和度很低，有足够的缓存空间可以接收营销平台的发送的不同优先级的营销数据，如果所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则说明所述源端缓存区的饱和度相对较高，因此这时调度程序控制源端选择性地存储营销平台发送的高优先级的营销数据，并将低优先级的营销数据缓存至预设的文件缓存区，这样既可以保证高优先级的营销数据可以被及时的存储和发送出去，也可以利用预设的文件缓存区分担源端缓存区的数据压力，另外，当所述源端缓存区的饱和度大于第二阈值时，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，因此在数据量超出处理源端存储能力的时候，通过预设的文件缓存区对实时数据进行缓存，保证数据的完整性，防止源端发生数据堵塞，可见，通过上述数据存储方法可以提高对高优先级的营销数据的处理效率，另外也可以避免源端发生数据堵塞的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供一种数据处理方法流程示意图；
图2为本发明实施例提供一种树形结构的数据存储结构示意图一；
图3为本发明实施例提供一种树形结构的数据存储结构示意图二；
图4为本发明实施例提供一种数据缓存方法流程示意图；
图5为本发明实施例提供一种数据发送方法流程示意图；
图6为本发明实施例提供一种数据处理方法结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
随着移动互联网及大数据技术的发展，人们大部分需求都能通过用户的上网行为以及用户位置来进行判定，具体包括用户访问的具体网页内容、搜索的关键词、使用app行为、以及当前所在位置等信息。
目前，电商、运营商等企业的营销活动也都在围绕用户的行为数据进行挖掘和拓展，每个企业都有自己的个性化推荐引擎，针对营销系统等。例如：电信的翼健康会对出现在合作医院的基站范围内的手机用户发送翼健康app的推荐信息；58同城会根据用户的使用历史信息、搜索关键词等推荐网站的对应内容与服务，移动通信平台通过10086系统推送业务短信给手机用户等。
本发明为了解决背景技术中提到的问题，增加了一个预设的文件缓存区，文件缓存区的主要作用是在营销系统的源端的缓存区相对饱和时，将营销平台发送的低优先级的营销数据暂时缓存在文件缓存区内，这样源端的中缓存区就可以空出来用来存储优先级较高的实时营销数据。这样，就可以保证营销平台以数据流的方式将各类营销数据发送至源端，源端可以是各类电子渠道，然后再经由源端调度处理后发送至目的端，目的端可以是各种营销网关，其中，各类营销数据具有不同级别的优先级。
参见图1所示，本发明实施例提供一种数据处理方法流程示意图，具体地实现方法包括：
步骤s101，接收营销系统源端缓存区的状态消息，并根据所述状态消息确定所述源端缓存区的饱和度。
步骤s102，根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
在执行步骤s101之前，先对缓存器的饱和度进行定义，假定(r，n，b)是一组数据模型；r为源端缓存区的数据饱和度，即r＝{r0,r1，r2}；n为目的端的数据饱和度，即n＝{n0，n1，n2}；b为预设的文件缓存区的数据饱和度，即b＝{b0，b1,b2}，其中，r0、n0、b0代表缓存区的饱和度最低，r1、n1、b1代表缓存区的饱和度居中，r2、n2、b2代表缓存区的饱和度最高。
具体地，计算各数据缓存区的数据饱和度r0，n0，b0。然后判断计算得到的缓存区饱和度所在的区间，例如，对于源端缓存区，若r小于r1,代表源端缓存区数据饱和度低，为空闲状态，可以继续追加数据，其中r1代表第一阈值；若r大于等于r1并且小于r2,代表该数据缓存区数据饱和度正常，为正常工作状态，可以继续追加数据，其中r2代表第二阈值；若r大于r2，代表该数据缓存区数据饱和度低，为饱和状态，暂时不能追加数据。
同理，对于目的端端缓存区，若n小于n3,代表目的端缓存区数据饱和度低，为空闲状态，可以继续追加数据，其中n3代表第三阈值；若n大于等于n3并且小于n4，代表目的端缓存区数据饱和度正常，为正常工作状态，可以继续追加数据，其中n4代表第四阈值；若r大于r4，代表目的端缓存区数据饱和度低，为饱和状态，暂时不能追加数据。
另外，营销平台发送的营销数据自身携带不同级别的优先级，假定(msgno|msgtype|msgcontact|msgcontent|createdatetime|msgpri)是一组营销信息字符串；它们的定义如下：
以上营销数据由营销平台通过数据流的方式发送至电子渠道，经由电子渠道调度处理后发送至短彩信营销网关。例如移动短信平台的电子渠道可以包括10086系统、彩信系统等。其中，10086系统和彩信系统对应一个源端缓存区，源端缓存区对营销平台发送过来的数据按照设定的规则进行缓存，然后按照设定的发送规则发送至短彩信营销网关，具体地，接收营销系统目的端缓存区的状态消息，并根据所述状态消息确定所述目的端缓存区的饱和度；
根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，所述第二设定规则为：
若所述目的端缓存区的饱和度小于第三阈值，则将所述源端缓存区和预设的文件缓存区中的营销数据按照优先级高低依次发送至所述目的端缓存区；
若所述目的端缓存区的饱和度大于第三阈值且小于第四阈值，则将所述源端缓存区中的高优先级的营销数据依次发送至所述目的端缓存区；
若所述目的端缓存区的饱和度大于第四阈值，则停止将所述源端缓存区中的营销数据发送至所述目的端缓存区。
进一步地，本发明实施例中源端缓存区、目的端缓存区和文件缓存区的数据存储结构按照树形结构存储，如图2所示，树的分支从左到右依次存储优先级高到低的营销信息，每个分支存储同一优先级的营销信息，按照队列的结构存储时间先后的营销数据。同时，每个树的分支将有一个进程进行读取，实现树分支间的并发读取和存储。同时，为了保证缓存区中的数据可以以最短时间发送至网关，本发明实施例是以动态调度交叉算法将源端缓存区中数据进行存储，当某个树的分支上的队列结点超过最少分支结点的一倍以上时，将由动态调度程序实时调度该分支上的结点到最少的分支，以达到最短时间发送关键营销信息的要求。图2中树形存储结构经过调度之后如图3所示，这样既能够保证优先级较高的数据存在第一树分支，也能够保证当第一树分支中优先级较高的数据变少之后，该分支的空闲结点能够被其它分支的低优先级的数据补充，因此源端缓存区的中缓存的数据可以按照优先级按顺序依次发送至目的端。
进一步地，对树分支进行最短时间的动态调度交叉计算方法如下，假定dur(i，j)为发送a1，a2，a3，a4的最短时间,发送的最短时间系数分别为t1,t2,t3,t4，对于每一个树分支k，我们一次检查dur(i，k)+dur(k，j)<dur(i,j)是否成立，如果成立，我们便设置dur(i，j)＝dur(i，k)+dur(k，j)，当我们遍历完所有分支k的结点。dur(i，j)就是我们所需的最少时间。
具体算法如下：假设b是邻接矩阵，而矩阵disp用来记录动态调度信息的节点以及数量。
计算步骤如下：
步骤一，把b-1划去第0行第0列和对角线来计算b0，b0如下式所示。
不在三条线上的元素所在的2阶矩阵为：
依次比较以上二阶矩阵，通过比较二阶矩阵中对角线之和的大小，如果矩阵第一行第一列的值加上第二行第二列的值之和小于第一行第二列的值加上第二行第一列的值之和成立，那么第一行第二列所对应矩阵中的值将被第一行第一列的值加上第二行第二列的值之和所替代即得到b0，并在disp矩阵中记录被修改的位置上记录得到两者的差值得到disp0。
假定比较得知第一个二阶矩阵中第一行第一列的值加上第二行第二列的值之和小于第一行第二列的值加上第二行第一列的值之和成立，即：
若上式成立，则：
步骤二，同理，把b0划去第一行第一列和对角线来计算b1
按上面所述的防范的得到相应二阶矩阵后进行比较，发生变化的元素再矩阵中进行相应修改得到b1，并在disp矩阵中记录被修改的位置的到disp1。
步骤三，同理，把b1划去第2行第2列和对角线来计算b2和disp2。
步骤四，同理，把b2划去第3行第3列和对角线来计算b3和disp3。
步骤五，disp3即为动态调度的方案和结果。disp3中记录的节点调度的数量即为最短时间发送营销数据所要进行调度的节点以及数量。
进一步地，本发明实施例结合移动平台推送消息的场景对数据缓存过程进行详细阐述，如图4所示，确定好各数据缓存区数据饱和度后，下一步统一调度程序根据各数据饱和度对外部流入的营销数据进行统一的调度，思路如下：
步骤a1，电子渠道接收到外部的大量营销数据，同时根据营销数据的营销优先级对数据进行分类；并得到数据缓存区的各数据饱和度。
步骤a2，判断数据缓存区数据饱和度矩阵模型为:
步骤a3，若数据缓存区的数据饱和度为
步骤a4，若数据缓存区的数据饱和度为
步骤a5，若数据缓存区的数据饱和度为
进一步地，本发明实施例结合移动平台推送消息的场景对数据发送过程进行详细阐述，如图5所示，确定好各数据缓存区数据饱和度后，统一调度程序中的数据流发送程序根据各数据饱和度进行数据的推送，思路如下：
步骤b1，电子渠道接收到外部的大量营销数据，同时根据营销数据的营销优先级队数据进行分类；并得到数据缓存区的各数据饱和度。
步骤b2，判断数据缓存区数据饱和度矩阵模型为,
步骤b3，若数据缓存区的数据饱和度为
步骤b4，若数据缓存区的数据饱和度为
步骤b5，若数据缓存区的数据饱和度为
步骤b6，若数据缓存区的数据饱和度为
可见，因此这时调度程序控制源端选择性地存储营销平台发送的高优先级的营销数据，并将低优先级的营销数据缓存至预设的文件缓存区，这样既可以保证高优先级的营销数据可以被及时的存储和发送出去，也可以利用预设的文件缓存区分担源端缓存区的数据压力，另外，当所述源端缓存区的饱和度大于第二阈值时，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，因此在数据量超出处理源端存储能力的时候，通过预设的文件缓存区对实时数据进行缓存，保证数据的完整性，防止源端发生数据堵塞，可见，通过上述数据存储方法可以提高对高优先级的营销数据的处理效率，另外也可以避免源端发生数据堵塞的问题，另一方面，根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，当源端检测到目的端缓存区的饱和度较高时，则选择性地向目的端发送高优先级的营销数据，以避免目的端发生堵塞，因为高优先级的营销数据得到及时地处理，所以提高了数据处理的实时性。
基于相同的技术构思，本发明实施例还提供一种数据处理装置，该装置可执行上述方法实施例。本发明实施例提供的装置如图6所示，包括：接收单元401、确定单元402、缓存单元403，其中：
接收单元401，用于接收营销系统源端缓存区的状态消息；
确定单元402，用于根据所述状态消息确定所述源端缓存区的饱和度；
缓存单元403，用于根据所述源端缓存区的饱和度，按照第一设定规则将营销平台发送的营销数据进行缓存，所述第一设定规则为：
若所述源端缓存区的饱和度小于第一阈值，则将营销平台发送的不同优先级的营销数据缓存至所述源端缓存区；
若所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则将营销平台发送的高优先级的营销数据缓存至所述源端缓存区，并将营销平台发送的低优先级的营销数据缓存至预设的文件缓存区；
若所述源端缓存区的饱和度大于第二阈值，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区。
进一步地，所述接收单元401，还用于接收营销系统目的端缓存区的状态消息；
所述确定单元402，还用于并根据所述状态消息确定所述目的端缓存区的饱和度；
发送单元404，用于根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，所述第二设定规则为：若所述目的端缓存区的饱和度小于第三阈值，则将所述源端缓存区和预设的文件缓存区中的营销数据按照优先级高低依次发送至所述目的端缓存区；若所述目的端缓存区的饱和度大于第三阈值且小于第四阈值，则将所述源端缓存区中的高优先级的营销数据依次发送至所述目的端缓存区。
进一步地，所述源端缓存区、所述预设的文件缓存区和所述目的端缓存区的存储结构为树形结构，其中所述树形结构的每个分支分别用来存储不同优先级的营销数据。
进一步地，所述树形结构的每个分支以队列的形式进行存储，其中，所述队列中的每个结点分部对应每个营销数据，队列结点的先后顺序与所述营销数据的接收时间的先后顺序一致。
进一步地，所述树形结构的每个分支的分支结点通过动态调度交叉算法进行调度，以使所述树形结构的对应的营销数据按照优先级发送至目的端的时间最短。
综上，本发明实施例通过增加一个调度程序，该程序可以获取源端缓存区的状态信息，进而根据该状态信息确定出源端缓存区实时的饱和度，然后根据所述源端缓存区的饱和度，按照设定规则将营销平台发送的营销数据进行缓存，若所述源端缓存区的饱和度小于第一阈值，说明源端缓存区的饱和度很低，有足够的缓存空间可以接收营销平台的发送的不同优先级的营销数据，如果所述源端缓存区的饱和度大于第一阈值且小于第二阈值，则说明所述源端缓存区的饱和度相对较高，因此这时调度程序控制源端选择性地存储营销平台发送的高优先级的营销数据，并将低优先级的营销数据缓存至预设的文件缓存区，这样既可以保证高优先级的营销数据可以被及时的存储和发送出去，也可以利用预设的文件缓存区分担源端缓存区的数据压力，另外，当所述源端缓存区的饱和度大于第二阈值时，则将营销平台发送的不同优先级的营销数据缓存至预设的文件缓存区，因此在数据量超出处理源端存储能力的时候，通过预设的文件缓存区对实时数据进行缓存，保证数据的完整性，防止源端发生数据堵塞，可见，通过上述数据存储方法可以提高对高优先级的营销数据的处理效率，另外也可以避免源端发生数据堵塞的问题，另一方面，根据所述目的端缓存区的饱和度，按照第二设定规则将营销平台发送的营销数据进行发送，当源端检测到目的端缓存区的饱和度较高时，则选择性地向目的端发送高优先级的营销数据，以避免目的端发生堵塞，因为高优先级的营销数据得到及时地处理，所以提高了数据处理的实时性。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！