一种数据管理方法、相关装置及计算机可读存储介质与流程

本发明实施例涉及通信技术领域，特别涉及一种数据管理方法、相关装置及计算机可读存储介质。

背景技术：

在基于流式数据引擎进行窗口管理的时候，窗口对数据管理的实现涉及到了三种时间概念：事件发生时间(数据事件发生的时间)、窗口处理时间(数据事件被流式数据引擎中窗口计算模块计算处理的时间)和系统摄取时间(数据进入流处理系统的时间)，并且在程序编写初期，设置时间概念只能为上述三种概念中的一种，然后按照确定的时间概念去给每个数据流中的数据赋予时间。

发明人发现现有技术中至少存在如下问题：现有技术中数据的时间赋予比较固定，窗口也只能应用数据唯一赋予的时间进行数据管理，例如，在确定数据流的时间概念是事件发生时间，那么在进行数据处理的时候，窗口只能使用每条数据中的唯一确定的时间去进行数据处理，从而限制了窗口的管理方式。

技术实现要素：

本发明实施方式的目的在于提供一种数据管理方法、相关装置及计算机可读存储介质，使得能够确定数据流经任意流程时所对应的时间戳，便于窗口根据数据所对应的多个时间戳进行管理。

为解决上述技术问题，本发明的实施方式提供了一种数据管理方法，包括以下步骤：获取数据，其中，数据中包含用户的身份信息；确定数据经过每一个流程时所对应的时间戳；将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中；根据数据结构将数据放置到匹配的窗口中，其中，窗口用于对数据进行管理。

本发明的实施方式还提供了一种数据管理装置，包括：获取模块，用于获取数据，其中，数据中包含用户的身份信息；确定模块，用于确定数据经过每一个流程时所对应的时间戳；保存模块，用于将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中；放置模块，用于根据数据结构将数据放置到匹配的窗口中，其中，窗口用于对数据进行管理。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的数据管理方法。

本发明的实施方式还提供了一计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上的数据管理。

本发明实施方式相对于现有技术而言，在对数据进行时间赋予的时候，可以获取数据流经过每一个流程时所对应的时间戳，并将经过每一个流程时所对应的时间戳保存到数据结构中，便于窗口根据数据所对应的多个时间戳进行管理。

另外，确定数据经过每一个流程时所对应的时间戳之前，还包括：对每一个流程的初始时间进行校准。该实现中，通过对每一个流程的初始时间进行校准，确保了数据经过每一个流程时所对应的时间戳的连续性。

另外，确定数据经过每一个流程时所对应的时间戳，具体包括：根据预设指令获取数据经过每一个流程指定位置时所对应的时间；将时间作为时间戳。

另外，指定位置包括：数据从流程输入的位置或数据从流程输出的位置。该实现中，可以获取数据从流程输入的位置所对应的时间戳，也可以获取数据从流程输出的位置所对应的时间戳，从而提高了获取数据时间戳的多样性。

另外，根据数据结构将数据放置到匹配的窗口中，具体包括：根据数据结构中用户的身份信息以及时间戳，从已知的匹配列表中进行查询，获取到与用户的身份信息以及时间戳匹配的窗口；将数据放置到匹配的窗口中；其中，匹配列表中保存了用户的身份信息、时间戳以及窗口的对应关系。该实现中，根据数据结构中用户的身份信息以及时间戳，从已知的匹配列表中进行查询，从而提高了获取匹配窗口的速度。

另外，根据数据结构将数据放置到匹配的窗口中之前，还包括：对窗口的大小进行设置；根据数据结构将数据放置到匹配的窗口中之后，还包括：控制窗口根据时间戳以及窗口的大小，对数据进行筛选，并将筛选后的数据进行保存。该实现中，通过设置窗口的大小，使窗口能够根据窗口大小以及时间戳，筛选出符合要求的数据，从而便于窗口对数据的管理。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请第一实施例中数据管理方法的流程图；

图2是本申请第二实施例中数据管理方法的流程图；

图3是本申请第三实施例中数据管理装置的方框示意图；

图4是本申请第四实施例中数据管理装置的方框示意图；

图5是本申请第五实施例中服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种数据管理方法。具体流程如图1所示，包括以下步骤：

步骤101，获取数据。

具体的说，在本实施例中，获取进入流式数据引擎中的数据，其中，数据中包含用户的身份信息，通过用户的身份信息可以对进入流式数据引擎中的每一个数据进行身份识别。

在一个具体实现中，获取的数据可以是用户的消费记录数据，则在消费记录数据中包含用户的身份信息，用户的身份信息可以是用户在购物网站上注册的账号。

步骤102，确定数据经过每一个流程时所对应的时间戳。

具体的说，在本实施方式中，根据预设指令获取数据经过每一个流程指定位置时所对应的时间，将指定位置所对应的时间作为时间戳。指定位置包括：数据从流程输入的位置或者数据从流程输出的位置。当然，还可能包括进入流程中的任意位置，本实施方式只是举例进行说明。

例如，如果数据指的是一个用户的消费记录数据，数据经过的的第一个流程是加入购物车操作，数据经过的第二个流程是进行下单操作。如果预设指令为获取数据从流程输入位置所对应的时间，则获取数据刚进行加入购物车操作时所对应的时间戳，同时获取数据刚进行下单操作时所对应的时间戳；如果预设指令为获取数据从流程输入位置所对应的时间，则获取数据结束加入购物车操作时所对应的时间戳，同时获取数据结束下单操作时所对应的时间戳。

需要说明的是，在确定数据经过每一个流程时所对应的时间戳之前，需要对每一个流程的初始时间进行校准，以确保数据经过每一个流程时所对应的时间戳的连续性。例如，将第一个流程和第二个流程的初始时间校准成相同的，如果数据从第一个流程输入位置进入时所对应的时间为3:15，则此时第二个流程所对应的时间也是3:15，如果经过5分钟后数据从第二个流程输入位置进入，则数据从第二个流程输入位置进入时所对应的时间为3:20。因此，避免了出现由于未对每一个流程的初始时间进行校验，造成出现数据从第一个流程输入位置进入时所对应的时间为3:15，而从第二个流程输入位置进入时所对应的时间为3:05的情况发生。

步骤103，将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中。

具体的说，在本实施方式中，在数据中设置有一个字段值来作为数据结构，并且在数据结构中相应的设置有保存接口，可以将用户的身份信息、以及实时获取的时间戳和流程的对应关系保存在数据结构中。并且可以根据实际需要，将用户的身份信息、时间戳和流程的对应关系分字段保存在数据结构中，并相应的设置在数据结构所占用的字段值。当然，在实际应用，数据中包含的原始数据内容也是保存在数据结构中的，并在数据结构中为其分配相应的字段。

例如，数据中包含的用户身份信息为id001，数据经过第一个流程为加入购物车操作，数据经过的第二个流程为下单操作，并且数据经过第一个流程时所对应的时间戳是3:15，数据经过第二个流程时所对应的时间戳是3:20。则在数据结构所对应的字段值中分别保存了(原始数据内容：data用户身份信息：id001经过第一个流程时所对应的时间戳：3:15经过第二个流程时所对应的时间戳：3:20)。

步骤104，根据数据结构将数据放置到匹配的窗口中。

具体的说，根据数据结构中的用户的身份信息以及时间戳，从已知的匹配列表中进行查询，获取到与用户的身份信息以及时间戳匹配的窗口，将数据放置到匹配的窗口中。其中，匹配列表中保存了用户的身份信息、时间戳与窗口的对应关系。

需要说明的是，一个窗口可以对应多个用户身份信息，例如，匹配列表中保存了身份信息为id001的数据，所对应的时间戳的范围为3:00至4:00，所对应的窗口为窗口1；同时在匹配列表中还保存了身份信息为id002的数据，所对应的时间戳的范围为4:00至5:00，所对应的窗口为窗口1；身份信息为id003的数据，所对应的时间戳的范围为3:00至6:00，所对应的窗口为窗口2。

与现有技术相比，本实施方式提供的数据管理方法，在对数据进行时间赋予的时候，可以获取数据流经过每一个流程时所对应的时间戳，并将经过每一个流程时所对应的时间戳保存到数据结构中，便于窗口根据数据结构中保存的多个时间戳进行管理。

本发明的第二实施方式涉及一种数据管理方法。本实施例在第一实施例的基础上做了进一步改进，具体改进之处为：根据数据结构将数据放置到匹配的窗口之前，增加了对窗口的大小进行设置，根据数据结构将数据放置到匹配的窗口之后，增加了控制窗口根据时间戳以及窗口的大小，对数据进行筛选，并将筛选后的数据进行保存。本实施例中的数据管理方法的流程如图2所示。具体的说，在本实施例中，包括步骤201至步骤206，其中步骤201至步骤203与第一实施方式中的步骤101至步骤103大致相同，步骤205与第一实施方式中的步骤104大致相同，此处不再赘述，下面主要介绍不同之处，未在本实施方式中详尽描述的技术细节，可参见第一实施例所提供的数据管理方法，此处不再赘述。

在步骤201至步骤203之后，执行步骤204。

步骤204，对窗口的大小进行设置。

具体的说，在本实施方式中，可以根据需要对窗口的大小进行设置，例如设置窗口的大小为5。

步骤205，根据数据结构将数据放置到匹配的窗口中。

步骤206，控制窗口根据时间戳以及窗口的大小，对数据进行筛选，并将筛选后的数据进行保存。

需要说明的是，在本实施方式中，因为窗口的大小是固定的，可以根据实际需要控制窗口对数据进行管理。

在一个具体实现中，如果数据是用户的消费记录数据，数据经过的第一个流程为加入购物车操作，数据经过的第二个流程是进行下单操作，控制窗口1将加入购物车操作与进行下单操作相隔时间小于6分钟的数据筛选出来，则相应的窗口1的大小设置为6，并计算进入窗口1的数据中，经过第一个流程所对应的时间戳与进入第二个流程所对应的时间戳之间的差值，将两个时间戳小于6分钟的筛选出来，保存到窗口1中。

与现有技术相比，本实施方式提供的本实施方式提供的数据管理方法，在对数据进行时间赋予的时候，可以获取数据流经过每一个流程时所对应的时间戳，并将经过每一个流程时所对应的时间戳保存到数据结构中，便于窗口根据数据结构中保存的多个时间戳进行管理。在窗口进行管理时具体根据设置的窗口的大小，控制窗口对数据进行筛选，从而增强了窗口对数据管理方式的多样性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种数据管理装置，具体结构如如图3所示。

如图3所示，数据管理装置包括获取模块301、确定模块302、保存模块303和放置模块304：

其中，获取模块301，用于获取数据。

确定模块302，用于确定数据经过每一个流程时所对应的时间戳。

保存模块303，用于将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中。

放置模块304，用于根据数据结构将数据放置到匹配的窗口中。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种数据管理装置。该实施方式与第三实施方式大致相同，具体结构如图4所示。其中，主要改进之处在于：在第三实施方式中的基础上，增加了设置模块305和筛选模块306。

其中，获取模块301，用于获取数据。

确定模块302，用于确定数据经过每一个流程时所对应的时间戳。

保存模块303，用于将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中。

放置模块304，用于根据数据结构将数据放置到匹配的窗口中。

设置模块305，用于对窗口的大小进行设置。

筛选模块306，用于控制窗口根据时间戳以及窗口的大小，对数据进行筛选，并将筛选后的数据进行保存。

不难发现，本实施方式为与第二实施方式相对应的装置实施例，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第五实施方式涉及一种服务器，如图5所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述实施例中的数据管理方法。

本实施例中，处理器501以中央处理器(centralprocessingunit，cpu)为例，存储器502以可读写存储器(randomaccessmemory，ram)为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现数据管理方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述数据管理方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个程序模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施例中的数据管理方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请的第六实施方式涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本发明任意方法实施例中涉及的数据管理方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。