一种进程间数据传递的方法和系统与流程

本发明属于数据处理领域，尤其涉及一种进程间数据传递的方法和系统。

背景技术：

现有的利用数据库表实现进程间数据传递的方法，均采用生产者进程向数据库表中插入数据记录，消费者进程定时扫描数据库表，把读到的数据记录逐条分析，分析成功后从数据库表中删除。在数据库表内没有数据记录时，消费者进程采用以下两种方式进行处理：

方式一是：消费者进程不断重复扫描数据库表，生产者进程一旦对没有数据记录的数据库表成功插入数据记录后，消费者进程能够立刻发现，并开始读取数据记录，进行分析等，但消费者进程在发现数据库表内没有数据记录过程中，消费者进程是不断扫描数据库表，因而存在很高的cpu占用和消费者进程空转的问题。

方式二：消费者进程在发现数据库表内没有数据记录时，等待一段时间，例如等待5秒，5秒时间到后再次扫描数据库表。这种方式能够有效解决方式一中存在的高cpu占用和消费者进程空转的问题，但是生产者进程一旦向没有数据记录的数据库表内插入数据记录时，消费者进程是需要在等待时间结束后才能发现已插入的数据记录并读取的，造成消费者进程对数据库表中的数据记录感知灵敏性差。

同样的，在数据库表内记录满时，现有的利用数据库表实现进程间数据传递的方法也存在高cpu占用、生产者进程空转和生产者对数据库表中的数据记录感知灵敏度差的问题。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种进程间数据传递的方法和系统。

本发明解决上述技术问题的技术方案如下：一种进程间数据传递的方法，包括如下步骤：

s1，建立用于传递生产者进程和消费者进程间数据记录的数据库表，预先在所述数据库表中插入空控制记录和满控制记录，并分别在空控制记录和满控制记录上挂锁；

s2，生产者进程插入数据记录前和消费者进程处理数据记录前判断数据库表中数据记录数量的状态；

s3，当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停，并执行s4；当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停，并执行s5；当判定所述数据记录数量在下限值和上限值之间时，则生产者进程插入数据记录，同时消费者进程处理数据记录；

s4，生产者进程对空控制记录上挂的锁进行解锁以通知消费者进程，消费者进程接收通知并执行s2；

s5，消费者进程对满控制记录上挂的锁进行解锁以通知生产者进程，生产者进程接收通知并执行s2。

本发明的有益效果是：通过判定数据记录数量是否达到上限值或下限值，从而暂停生产者进程或是消费者进程。通过消费者进程对满控制记录上挂的锁进行解锁，实现生产者进程暂停被解除，由消费者进程主动通知生产者进程继续；生产者进程对空控制记录上挂的锁进行解锁，实现消费者进程暂停被解除，由生产者进程主动通知消费者进程继续。保留了利用数据库表进行数据传递的方式，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递方法。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，所述当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停包括：当消费者进程判定所述数据记录数量达到下限值时，消费者进程查看空控制记录上是否挂有锁，挂有锁则消费者进程暂停；所述当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停包括：当生产者进程判定所述数据记录数量达到上限值时，生产者进程查看满控制记录上是否挂有锁，挂有锁则生产者进程暂停。

进一步，所述s4步骤包括：

s41，生产者进程成功插入一条数据记录时，生产者进程对空控制记录上挂的锁进行解锁；

s42，消费者进程对空控制记录进行挂锁并立即解锁，消费者进程继续并执行s2；

s43，生产者进程对空控制记录进行挂锁。

进一步，所述s5步骤包括：

s51，消费者进程成功处理一条数据记录时，消费者进程对满控制记录上挂的锁进行解锁；

s52，生产者进程对满控制记录进行挂锁并立即解锁，生产者进程继续并执行s2；

s53，消费者进程对满控制记录进行挂锁。

进一步，所述生产者进程判定所述数据记录数量达到上限值包括：

预先设置数据库表中数据记录数量的上限值；

生产者进程对当前时刻的数据库表中数据记录数量进行统计，得到统计值；

当生产者进程确定所述统计值大于或等于所述上限值时，则生产者进程判定所述数据记录数量达到上限值。

进一步，所述消费者进程判定所述数据记录数量达到下限值包括：

消费者进程对当前时刻的数据库表中数据记录数量进行统计，得到统计值；

当消费者进程确定所述统计值为零时，则消费者进程判定所述数据记录数量达到下限值。

本发明解决上述技术问题的技术方案如下：一种进程间数据传递的系统，包括：

建立模块，用于建立数据库表，所述数据库表用于传递生产者进程和消费者进程间数据记录，预先在所述数据库表中插入空控制记录和满控制记录，并分别在空控制记录和满控制记录上挂锁；

判断模块，用于生产者进程插入数据记录前和消费者进程处理数据记录前判断数据库表中数据记录数量的状态；

初处理模块，用于当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停，并调用第一再处理模块；当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停，并调用第二再处理模块；当判定所述数据记录数量在下限值和上限值之间时，则生产者进程插入数据记录，同时消费者进程处理数据记录；

第一再处理模块，用于生产者进程对空控制记录上挂的锁进行解锁以通知消费者进程，消费者进程接收通知并调用判断模块；

第二再处理模块，用于消费者进程对满控制记录上挂的锁进行解锁以通知生产者进程，生产者进程接收通知并调用判断模块。

本发明的有益效果是：通过判定数据记录数量是否达到上限值或下限值，从而暂停生产者进程或是消费者进程。通过消费者进程对满控制记录上挂的锁进行解锁，实现生产者进程暂停被解除，由消费者进程主动通知生产者进程继续；生产者进程对空控制记录上挂的锁进行解锁，实现消费者进程暂停被解除，由生产者进程主动通知消费者进程继续。保留了利用数据库表进行数据传递的方式，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递系统。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，所述初处理模块中用于当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停包括：当消费者进程判定所述数据记录数量达到下限值时，消费者进程查看空控制记录上是否挂有锁，挂有锁则消费者进程暂停；所述初处理模块中用于当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停包括：当生产者进程判定所述数据记录数量达到上限值时，生产者进程查看满控制记录上是否挂有锁，挂有锁则生产者进程暂停。

进一步，第一再处理模块包括：

第一解锁模块，用于生产者进程成功插入一条数据记录时，生产者进程对空控制记录上挂的锁进行解锁；

第一通知模块，用于消费者进程对空控制记录进行挂锁并立即解锁，消费者进程继续并调用判断模块；

第一挂锁模块，用于生产者进程对空控制记录进行挂锁。

进一步，第二再处理模块包括：

第二解锁模块，用于消费者进程成功处理一条数据记录时，消费者进程对满控制记录上挂的锁进行解锁；

第二通知模块，用于生产者进程对满控制记录进行挂锁并立即解锁，生产者进程继续并调用判断模块；

第二挂锁模块，用于消费者进程对满控制记录进行挂锁。

附图说明

图1为本发明一实施例提供的进程间数据传递的方法的流程示意图；

图2为本发明另一实施例提供的进程间数据传递的方法中步骤4的流程示意图；

图3为本发明另一实施例提供的进程间数据传递的方法中步骤5的流程示意图；

图4为本发明一实施例提供的进程间数据传递的系统的结构示意图；

图5为本发明另一实施例提供的进程间数据传递的系统中的第一再处理模块的结构示意图；

图6为本发明另一实施例提供的进程间数据传递的系统中的第二再处理模块的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供的进程间数据传递的方法，包括如下步骤：

s1，建立用于传递生产者进程和消费者进程间数据记录的数据库表，预先在所述数据库表中插入空控制记录和满控制记录，并分别在空控制记录和满控制记录上挂锁；

s2，生产者进程插入数据记录前和消费者进程处理数据记录前判断数据库表中数据记录数量的状态；

s3，当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停，并执行s4；当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停，并执行s5；当判定所述数据记录数量在下限值和上限值之间时，则生产者进程插入数据记录，同时消费者进程处理数据记录；

s4，生产者进程对空控制记录上挂的锁进行解锁以通知消费者进程，消费者进程接收通知并执行s2；

s5，消费者进程对满控制记录上挂的锁进行解锁以通知生产者进程，生产者进程接收通知并执行s2。

该实施例中，s2步骤和s3步骤中的生产者进程向数据库表中插入数据记录和/或消费者进程从数据库表中处理数据记录所提到的数据记录是指业务类的数据记录，业务类的数据记录可以是详单、工单和话单等，本发明实施例实现的是业务类的数据记录在进程间传递，业务类的数据记录可能是几千万条。消费者进程通知生产者进程，或是生产者进程通知消费者进程时所利用的不是业务类的数据记录上的互斥锁，而是预先插入的空控制记录和满控制记录上的互斥锁。空控制记录和满控制记录是一种特殊的记录，业务类的数据记录也是记录。空控制记录可以是id＝lockeremp，满控制记录可以是id＝lockerful，空控制记录和满控制记录是数据库表内预先插入的特殊id的记录。

本发明实施例中涉及到的锁均是数据库自带的互斥锁。s1步骤中的分别在空控制记录和满控制记录上挂锁包括：消费者进程处理数据记录时在满控制记录上挂锁，生产者进程插入数据记录时在空控制记录上挂锁。

生产者进程知道数据库表中的数据记录数量是否达到上限值，不知道数据库表中的数据记录数量是否达到下限值；同样的，消费者进程知道数据库表中的数据记录数量是否达到下限值，不知道数据库表中的数据记录数量是否达到上限值。因而在数据库表中的数据记录数量达到上限值后，暂停的生产者进程何时继续是由消费者进程通知生产者进程的，在数据库表中的数据记录数量达到下限值后，暂停的消费者进程何时继续是由生产者进程通知消费者进程的。

下面以数据记录数量达到上限值为例说明本发明实施例提供的进程间数据传递的方法的具体过程：

建立数据库表，并在数据库表中预先插入一条空控制记录和一条满控制记录，消费者进程处理数据记录时在满控制记录上挂锁。

生产者进程插入数据记录前和消费者进程处理数据记录前判断数据库表中数据记录数量的状态；当判定所述数据记录数量在下限值和上限值之间时，则生产者进程插入数据记录，同时消费者进程处理数据记录；生产者进程插入数据记录时先对空控制记录进行挂锁，插入数据记录成功后对空控制记录上挂的锁进行解锁，消费者进程处理数据记录时先对满控制记录进行挂锁，处理数据记录成功后对满控制记录上挂的锁进行解锁。

当生产者进程向数据库表中插入数据记录的速度比消费者进程从数据库表中处理数据记录的速度快时，即生产者进程工作速度比消费者进程工作速度快，两个进程工作一段时间后数据记录数量会达到上限值。生产者进程判定数据记录数量达到上限值时，数据库表中没有可供生产者进程插入数据记录的位置了，生产者进程则查看满控制记录上是否挂有锁，挂有锁则生产者进程暂停。

生产者进程暂停时消费者进程依然在处理数据记录，消费者进程在处理完一条数据记录后对满控制记录上挂的锁进行解锁，消费者进程解锁后生产者进程则会立即查看到满控制记录上未挂锁，生产者进程立即对满控制记录进行挂锁并解锁，消费者进程解锁和生产者进程挂锁即实现消费者进程通知生产者进程，生产者进程暂停被解除，生产者进程继续在插入数据记录前判断数据库表中数据记录数量的状态；而在生产者进程对满控制记录上挂的锁进行解锁后，消费者进程立即对满控制记录进行挂锁。如此循环实现进程间数据传递。

本发明实施例提供的进程间数据传递的方法，通过判定数据记录数量是否达到上限值或下限值，从而暂停生产者进程或是消费者进程。通过消费者进程对满控制记录上挂的锁进行解锁，实现生产者进程暂停被解除，由消费者进程主动通知生产者进程继续；生产者进程对空控制记录上挂的锁进行解锁，实现消费者进程暂停被解除，由生产者进程主动通知消费者进程继续。保留了利用数据库表进行数据传递的方式，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递方法。

如图2所示，本发明实施例提供的进程间数据传递的方法，在上一实施例的基础上，所述s4步骤包括：

s41，生产者进程成功插入一条数据记录时，生产者进程对空控制记录上挂的锁进行解锁；

s42，消费者进程对空控制记录进行挂锁并立即解锁，消费者进程继续并执行s2；

s43，生产者进程对空控制记录进行挂锁。

该实施例中，s41具体为：消费者进程暂停了，生产者进程依然在插入数据记录，生产者进程成功插入一条数据记录时，生产者进程对空控制记录上挂的锁进行解锁，由于挂锁挂的是互斥锁，因而只有在生产者进程对空控制记录上挂的锁进行解锁后，消费者进程才能在空控制记录上挂锁。

s42具体为：生产者进程对空控制记录上挂的锁进行解锁后，消费者进程则会立即查看到空控制记录上未挂有锁，消费者进程立即对空控制记录进行挂锁并解锁，消费者进程暂停被解除，消费者进程继续在处理数据记录前判断数据库表中数据记录数量是否达到下限值，未达到下限值时则消费者进程才能处理数据记录。

s43具体为：在消费者进程对空控制记录上挂的锁进行解锁后，生产者进程立即对空控制记录进行挂锁。

本发明实施例提供的进程间数据传递的方法，通过在生产者进程成功插入数据记录时对空控制记录上挂的锁进行解锁，实现生产者进程通知消费者进程，通过消费者进程对空控制记录挂锁并解锁，实现消费者进程继续在处理记录前判断数据记录数量的状态，通过生产者进程再对空控制记录进行挂锁，实现进程间数据传递的连续性，实现降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递方法。

可选地，本发明实施例中，所述当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停包括：当消费者进程判定所述数据记录数量达到下限值时，消费者进程查看空控制记录上是否挂有锁，挂有锁则消费者进程暂停；所述当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停包括：当生产者进程判定所述数据记录数量达到上限值时，生产者进程查看满控制记录上是否挂有锁，挂有锁则生产者进程暂停。

上述实施例中，通过判定数据记录数量的状态，相应进程查看相应控制记录上是否挂有锁，挂有锁则暂停相应进程，实现相应进程的快速暂停，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提升数据传递速度。

可选地，如图3所示，本发明实施例中，所述s5步骤包括：

s51，消费者进程成功处理一条数据记录时，消费者进程对满控制记录上挂的锁进行解锁；

s52，生产者进程对满控制记录进行挂锁并立即解锁，生产者进程继续并执行s2；

s53，消费者进程对满控制记录进行挂锁。

该实施例中，s51具体为：生产者进程暂停了，消费者进程依然在处理数据记录，消费者进程成功处理一条数据记录时，消费者进程对满控制记录上挂的锁进行解锁，由于挂锁挂的是互斥锁，因而只有在消费者进程对满控制记录上挂的锁进行解锁后，生产者进程才能在满控制记录上挂锁。

s52具体为：消费者进程对满控制记录上挂的锁进行解锁后，生产者进程则会立即查看到满控制记录上未挂有锁，生产者进程立即对满控制记录进行挂锁并解锁，生产者进程暂停被解除，生产者进程继续在插入数据记录前判断数据库表中数据记录数量是否达到上限值，未达到上限值时则生产者进程才能插入数据记录。

s53具体为：在生产者进程对满控制记录上挂的锁进行解锁后，消费者进程立即对满控制记录进行挂锁。

上述实施例中，通过在消费者进程成功处理数据记录时对满控制记录上挂的锁进行解锁，实现消费者进程通知生产者进程，通过生产者进程对满控制记录挂锁并解锁，实现生产者进程继续在插入记录前判断数据记录数量的状态，通过消费者进程再对满控制记录进行挂锁，实现进程间数据传递的连续性，实现降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递方法。

可选地，本发明实施例中，所述生产者进程判定所述数据记录数量达到上限值包括：

预先设置数据库表中数据记录数量的上限值；

生产者进程对当前时刻的数据库表中数据记录数量进行统计，得到统计值；

当生产者进程确定所述统计值大于或等于所述上限值时，则生产者进程判定所述数据记录数量达到上限值。

该实施例中，生产者进程向数据库表中插入记录时可能是一条数据记录一条数据记录地插入，也可能是多条数据记录一起插入，当多条数据记录一起插入的时候统计值就可能会大于上限值。上限值是根据生产者进程具体配置项而预先设置的。

上述实施例中，通过预设上限值和统计值比较，判断值的大小实现生产者进程确定数据记录数量是否达到上限值，进而实现根据满控制记录、空控制记录和互斥锁，使得生产者进程与消费者进程之间通过“阻塞-通知”的方式对数据记录进行快速地传递，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提升数据传递速度。

可选地，本发明实施例中，所述消费者进程判定所述数据记录数量达到下限值包括：

消费者进程对当前时刻的数据库表中数据记录数量进行统计，得到统计值；

当消费者进程确定所述统计值为零时，则消费者进程判定所述数据记录数量达到下限值。

上述实施例中，通过对当前时刻的数据库表中数据记录数量进行统计而得到统计值，判断统计值是否为零实现消费者进程确定数据记录数量是否达到下限值，进而实现根据满控制记录、空控制记录和互斥锁，使得生产者进程与消费者进程之间通过“阻塞-通知”的方式对数据记录进行快速地传递，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提升数据传递速度。

如图4所示，本发明实施例提供的进程间数据传递的系统，包括：

建立模块，用于建立数据库表，所述数据库表用于传递生产者进程和消费者进程间数据记录，预先在所述数据库表中插入空控制记录和满控制记录，并分别在空控制记录和满控制记录上挂锁；

判断模块，用于生产者进程插入数据记录前和消费者进程处理数据记录前判断数据库表中数据记录数量的状态；

初处理模块，用于当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停，并调用第一再处理模块；当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停，并调用第二再处理模块；当判定所述数据记录数量在下限值和上限值之间时，则生产者进程插入数据记录，同时消费者进程处理数据记录；

第一再处理模块，用于生产者进程对空控制记录上挂的锁进行解锁以通知消费者进程，消费者进程接收通知并调用判断模块；

第二再处理模块，用于消费者进程对满控制记录上挂的锁进行解锁以通知生产者进程，生产者进程接收通知并调用判断模块。

本发明实施例提供的进程间数据传递的系统，通过判定数据记录数量是否达到上限值或下限值，从而暂停生产者进程或是消费者进程。通过消费者进程对满控制记录上挂的锁进行解锁，实现生产者进程暂停被解除，由消费者进程主动通知生产者进程继续；生产者进程对空控制记录上挂的锁进行解锁，实现消费者进程暂停被解除，由生产者进程主动通知消费者进程继续。保留了利用数据库表进行数据传递的方式，降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递系统。

如图5所示，本发明实施例提供的进程间数据传递的系统，在上一实施例的基础上，第一再处理模块包括：

第一解锁模块，用于生产者进程成功插入一条数据记录时，生产者进程对空控制记录上挂的锁进行解锁；

第一通知模块，用于消费者进程对空控制记录进行挂锁并立即解锁，消费者进程继续并调用判断模块；

第一挂锁模块，用于生产者进程对空控制记录进行挂锁。

本发明实施例提供的进程间数据传递的系统，通过在生产者进程成功插入数据记录时对空控制记录上挂的锁进行解锁，实现生产者进程通知消费者进程，通过消费者进程对空控制记录挂锁并解锁，实现消费者进程继续在处理记录前判断数据记录数量的状态，通过生产者进程再对空控制记录进行挂锁，实现进程间数据传递的连续性，实现降低数据传递时对cpu的占用，节省cpu资源，避免进程空转，提高进程对数据库表内的数据记录感知灵敏度，避免进程的无知等待，减少延迟，提升数据传递速度，提出了一个新的数据传递系统。

可选地，本发明实施例中，所述初处理模块中用于当消费者进程判定所述数据记录数量达到下限值时，则消费者进程暂停包括：当消费者进程判定所述数据记录数量达到下限值时，消费者进程查看空控制记录上是否挂有锁，挂有锁则消费者进程暂停；所述初处理模块中用于当生产者进程判定所述数据记录数量达到上限值时，则生产者进程暂停包括：当生产者进程判定所述数据记录数量达到上限值时，生产者进程查看满控制记录上是否挂有锁，挂有锁则生产者进程暂停。

可选地，如图6所示，本发明实施例中，第二再处理模块包括：

第二解锁模块，用于消费者进程成功处理一条数据记录时，消费者进程对满控制记录上挂的锁进行解锁；

第二通知模块，用于生产者进程对满控制记录进行挂锁并立即解锁，生产者进程继续并调用判断模块；

第二挂锁模块，用于消费者进程对满控制记录进行挂锁。

本发明实施例提供的进程间数据传递的系统中各个模块所执行的功能在上述实施例提供的进程间数据传递的方法中已经做了详细的说明，在此不再赘述。

本发明所有实施例实现的前提条件是数据库是利用数据库表实现进程间数据的传递。消费者进程处理数据记录包括：读取数据记录、分析数据记录和删除数据记录等。

本发明的发明重点包括：在现有的利用数据库表实现进程间数据传递的方案中，数据库表为空后消费者进程确定数据表内有数据记录的方式是消费者进程整体扫描数据库表，生产者进程虽然插入数据记录了，但是没有方法通知到消费者进程；同样的，数据库表为满后生产者进程确定可以插入数据记录的方式是生产者进程整体扫描数据库表，消费者进程虽然处理数据记录了，但是没有方法通知到生产者进程。本发明在数据库表中预先插入控制记录并挂锁，利用对数据记录更新时的互斥锁机制，配合数据记录的插入和处理，在数据库表中实现产生这种通知并使用这种通知。

利用数据库表实现进程间数据传递的数据库可应用在网上购物等。

互斥锁机制是指：一个进程对数据库表中的一行进行更新操作时，数据库会为此行数据上一把锁，在更新操作过程中其他进程不能对此行进行更新操作。只有在所述一个进程对此行更新操作完成时，此行对外显示的才是更新操作后的数据记录，其他进程才能对此行继续进行更新操作。在所述一个进程对此行更新操作过程中，其他进程只能在锁后排队。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。