一种数据处理方法及装置与流程

本发明涉及互联网
技术领域：
，尤其涉及一种数据处理方法及装置。
背景技术：
：在电商交易中，有时候需要对数据进行实时统计，例如实时统计某一卖家在历史交易中的总交易金额，某一买家在历史交易中的总订单次数，以及某一商品被评价的总评价次数等。以实时统计买家在历史交易中的总订单金额为例，当客户端接收到某一买家提交的对某一订单的确认信息时，生成订单数据并发送给电商平台；电商平台接收该订单数据并发送给订单数据对应的订单服务器；订单服务器接收该订单数据，对该订单数据进行解析，得到该订单数据中的订单金额，以及获取订单服务器本地存储的、该买家在历史交易过程中的每个订单的订单金额；对所有获取的订单金额进行统计得到该买家在历史交易中的总订单金额，发送统计得到的总订单金额给电商平台，电商平台接收第一服务器发送的总订单金额。然而，发明人发现，在统计该买家的历史交易中的总订单金额时，需要对该买家在历史交易中的每个订单的订单金额都进行统计，统计量较大，这就需要耗费大量时间和内存资源。技术实现要素：为克服相关技术中存在的问题，本发明提供一种数据处理方法及装置。根据本发明实施例的第一方面，提供了一种数据处理方法，所述方法包括：接收待处理数据，所述待处理数据中至少包括以下字段：数据类型字段、数据内容字段和至少一个维度字段；从所述待处理数据中的数据类型字段中提取出所述待处理数据的数据类型的标识；查找与所述数据类型的标识对应的目标运算方式，以及查找与所述数据类型的标识对应的目标运算维度；根据所述数据类型的标识确定在所述待处理数据中存储所述目标运算维度的内容的目标维度字段；在所述待处理数据中的所述目标维度字段中提取出目标运算维度的内容；从所述待处理数据中的所述数据内容字段中提取出目标数据内容；获取本地存储的、最近一次根据所述目标运算方式和所述数据类型的标识对应的数据类型运算得到的、所述目标运算维度的内容对应的第一运算结果；按照所述目标运算方式对所述目标数据内容和所述第一运算结果进行运算得到第二运算结果。进一步地，所述方法还包括：利用所述第二运算结果替换所述第一运算结果。其中，所述查找与所述数据类型的标识对应的目标运算方式，包括：获取预设数据类型的标识与运算方式之间的第一对应关系；在所述第一对应关系中获取与所述数据类型的标识相对应的运算方式，并作为目标运算方式。其中，所述查找与所述数据类型的标识对应的目标运算维度，包括：获取预设数据类型的标识与运算维度之间的第二对应关系；在所述第二对应关系中获取与所述数据类型的标识相对应的运算维度，并作为所述目标运算维度。其中，所述根据所述数据类型的标识确定在所述待处理数据中存储所述目标运算维度的内容的目标维度字段，包括：获取所述数据类型的标识对应的预设运算维度与字段标识之间的第三对应关系；在所述第三对应关系中获取与所述目标运算维度相对应的字段标识；将所述待处理数据中的所述字段标识对应的字段确定作为存储所述目标运算维度的内容的目标维度字段。根据本发明实施例的第二方面，提供了一种数据处理装置，所述装置包括：接收模块，用于接收待处理数据，所述待处理数据中至少包括以下字段：数据类型字段、数据内容字段和至少一个维度字段；第一提取模块，用于从所述待处理数据中的数据类型字段中提取出所述待处理数据的数据类型的标识；第一查找模块，用于查找与所述数据类型的标识对应的目标运算方式；第二查找模块，用于查找与所述数据类型的标识对应的目标运算维度；确定模块，用于根据所述数据类型的标识确定在所述待处理数据中存储所述目标运算维度的内容的目标维度字段；第二提取模块，用于在所述待处理数据中的所述目标维度字段中提取出目标运算维度的内容；第三提取模块，用于从所述待处理数据中的所述数据内容字段中提取出目标数据内容；获取模块，用于获取本地存储的、最近一次根据所述目标运算方式和所述数据类型的标识对应的数据类型运算得到的、所述目标运算维度的内容对应的第一运算结果；运算模块，用于按照所述目标运算方式对所述目标数据内容和所述第一运算结果进行运算得到第二运算结果。进一步地，所述装置还包括：替换模块，用于利用所述第二运算结果替换所述第一运算结果。其中，所述第一查找模块包括：第一获取单元，用于获取预设数据类型的标识与运算方式之间的第一对应关系；第二获取单元，用于在所述第一对应关系中获取与所述数据类型的标识相对应的运算方式，并作为目标运算方式。其中，所述第二查找模块包括：第三获取单元，用于获取预设数据类型的标识与运算维度之间的第二对应关系；第四获取单元，用于在所述第二对应关系中获取与所述数据类型的标识相对应的运算维度，并作为所述目标运算维度。其中，所述确定模块包括：第五获取单元，用于获取所述数据类型的标识对应的预设运算维度与字段标识之间的第三对应关系；第六获取单元，用于在所述第三对应关系中获取与所述目标运算维度相对应的字段标识；确定单元，用于将所述待处理数据中的所述字段标识对应的字段确定为存储所述目标运算维度的内容的目标维度字段。本发明的实施例提供的技术方案可以包括以下有益效果：在本发明中，接收待处理数据，从待处理数据中的数据类型字段中提取出待处理数据的数据类型的标识；查找与数据类型的标识对应的目标运算方式，以及查找与数据类型的标识对应的目标运算维度；根据数据类型的标识确定在待处理数据中存储目标运算维度的内容的目标维度字段；在待处理数据中的目标维度字段中提取出的目标运算维度的内容；从待处理数据中的数据内容字段中提取出目标数据内容；无需对历史记录中的所有数据进行重新统计，只需获 取本地存储的、最近一次根据目标运算方式和数据类型的标识对应的数据类型运算得到的、目标运算维度的内容对应的第一运算结果；按照目标运算方式对目标数据内容和第一运算结果进行运算得到第二运算结果。整个过程只需一次计算即可，减少了统计量，节省了大量时间和内存资源。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。图1是根据一示例性实施例示出的一种数据处理方法的流程图。图2是根据一示例性实施例示出的一种数据处理装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。图1是根据一示例性实施例示出的一种数据处理方法的流程图，如图1所示，该方法包括以下步骤。在步骤S101中，接收待处理数据。其中，通常情况下，一条数据是由多个字段组成的，每个字段中都存储有字段内容。在本发明实施例中，待处理数据中至少包括以下字段：数据类型字段、数据内容字段和至少一个维度字段。待处理数据可以为订单数据、交易数据或登录数据等，也可以为其他类型的数据，本发明对比不加以限定。本发明实施例的执行主体可以为服务器或电商平台等。以本发明的执行主体为服务器进行举例说明，但不作为对本发明保护范围的限制。例如，用户需要购买商品，用户可以在安装在终端上的电商客户端上通过事先注册的用户账号和用户密码登录电商服务器；其中，用户需要在电商客户端的登录页面中输入用户账号和用户密码，并提交登录命令给电商客户端，该登录命令携带该用户账号和 该用户密码。电商客户端接收用户提交的登录命令，电商客户端根据该登录命令携带的用户账号和用户密码按照预定的数据生成规则生成登录数据，将该登录数据发送给该电商服务器；电商服务器接收该登录数据。登录成功后用户可以在电商客户端上进入某一商户的购物页面，从该购物页面上选择需要购买的商品，并向电商客户端提交订单命令，该订单命令携带订单金额、用户账号和商户账号；电商客户端接收用户提交的订单命令，然后根据该订单命令携带的订单金额、用户账号和商户账号按照预定的数据生成规则生成订单数据，将该订单数据发送给该电商服务器；电商服务器接收该订单数据。当电商服务器对该订单进行确认后，如果用户要对该订单付款，可以在电商客户端上提交交易命令，该交易命令携带交易金额、用户账号和商户账号；电商客户端接收用户提交的交易命令，然后根据该交易命令携带的交易金额、用户账号和商户账号按照预定的数据生成规则生成交易数据，将该交易数据发送给该电商服务器；该电商服务器接收该交易数据。预定的数据生成规则可以为：规定数据一共包括几个字段，以及规定这几个字段中每个字段用于存储哪类信息。例如，在本发明实施例中，预定的数据生成规则可以为：规定数据包括至少4个字段，规定数据的第一字段为数据类型字段，用于存储数据类型的标识；规定数据的第二字段为内容字段，用于存储数据的内容；规定数据的第三字段为第一维度字段，用于存储卖方用户的账号；规定数据的第四字段为第二维度字段，用于存储买方用户的账号。在步骤S102中，从待处理数据中的数据类型字段中提取出待处理数据的数据类型的标识。其中，客户端在生成数据时，会根据预定的数据生成规则来生成数据，因此，服务器已经知晓客户端发送的数据中包括哪些字段以及每个字段用于存储哪类信息，这样，当接收到客户端发送的待处理数据时，直接从待处理数据中的数据类型字段中提取出待处理数据的数据类型的标识。其中，数据类型字段中存储的内容用于表示数据的数据类型。例如，交易数据、订单数据和登录数据是三种不同类型的数据。其中，内容字段用于存储数据的内容，例如，订单数据中的订单金额为订单数据的数据内容，因此在订单数据中，第二字段存储了订单数据的订单金额；交易数据中的交易金额为交易数据的数据内容，因此在交易数据中，第二字段存储了交易数据的交易金 额；登录数据中的不存在数据内容，因此在登录数据中，存在第二字段，但第二字段不存储任何内容，即，第二字段中为空字段。维度字段中用于存储与数据有关的账户的账号，其中，存储的用户的账号为运算维度的内容。例如，在本发明实施例中，第一维度字段中存储了卖方用户账号；第二维度字段中存储了买方用户的账号。在步骤S103中，查找与该数据类型的标识对应的目标运算方式，以及查找与该数据类型的标识对应的目标运算维度。其中，查找与该数据类型的标识对应的目标运算方式的操作，可以为：获取预设数据类型的标识与运算方式之间的第一对应关系；在第一对应关系中获取与该数据类型的标识相对应的运算方式，并作为目标运算方式。其中，对不同类型的数据进行运算的运算方式不同，例如，一般情况下，对于任一用户，无论该用户为买方用户还是卖方用户，服务器可能需要统计该用户的历史订单记录中的总订单个数，统计该用户的历史订单记录中的总订单金额，统计该用户的历史交易记录中的总交易次数，统计该用户在历史交易记录中的总交易金额，以及统计该用户在历史登录记录中的总登录次数。其中，统计总订单个数和总交易次数的运算方式为“计数”运算，统计总订单金额和总交易金额的运算方式为“累加”运算，统计总登录次数的运算方式为“计数”运算。因此，技术人员可以事先在本地设置不同类型的数据对应的运算方式，例如，假设对于订单数据，既需要统计总订单个数，也需要统计总订单金额，对于交易数据，既需要统计总交易次数，也需要统计总交易金额，以及需要统计总登录次数，则技术人员可以在服务器本地设置如下表1所示的数据类型的标识与运算方式之间的对应关系，其中，在表1所示的对应关系中，001为订单数据的数据标识，002为交易数据的数据标识，003为登录数据的数据标识。表1存储数据类型的标识运算方式001累加001计数002累加002计数003累加这样，在查找与数据类型的标识对应的目标运算方式时，就可以获取如表2所示的 对应关系；在如表2所示的对应关系中获取与数据类型的标识相对应的运算方式，并作为目标运算方式。其中，查找与数据类型的标识对应的目标运算维度的操作，可以为：获取预设数据类型的标识与运算维度之间的第二对应关系，在第二对应关系中获取与数据类型的标识相对应的运算维度，并作为目标运算维度。运算维度用于表示在哪个维度上进行运算，例如，在买方用户的角度上进行运算，和/或在卖方用户的角度上进行运算。例如，假设对于订单数据，技术人员想让服务器既要在买方用户的角度上进行运算，也要在卖方用户的角度上进行运算；对于交易数据，技术人员想让服务器既要在买方用户的角度上进行运算，也要在卖方用户的角度上进行运算；则技术人员可以事先在服务器本地设置如表2所示的数据类型的标识与运算维度之间的第二对应关系。在表2所示的对应关系中，001为订单数据的数据标识，002为交易数据的数据标识。表2数据类型的标识运算维度001买方用户001卖方用户002买方用户002卖方用户这样，在查找与数据类型的标识对应的目标运算维度时，可以获取如表2所示的数据类型的标识与运算维度之间的第二对应关系，在第二对应关系中获取与该数据类型的标识相对应的维度，并作为目标运算维度。例如，当待处理数据的数据类型为订单数据时，可以根据订单数据的标识001，在表2中查找到对应的运算维度为买方用户和卖方用户。在步骤S104中，根据该数据类型的标识确定在待处理数据中存储目标运算维度的内容的目标维度字段。具体地，获取预设数据类型的标识对应的预设运算维度与字段标识之间的第三对应关系；在第三对应关系中获取与该运算维度相对应的字段标识；将待处理数据中的字段标识对应的字段作为存储目标运算维度的内容的目标维度字段。在步骤S105中，在待处理数据中的目标维度字段中提取出的目标运算维度的内容。其中，当目标运算维度为卖方用户维度时，从卖方用户维度的字段中提取出卖方用户的账号。当目标运算维度为买方用户维度时，从买方用户维度的字段中提取出买方用 户的账号。例如，在本发明实施例中，当目标运算维度为卖方用户维度时，从第三字段，即从第一维度字段中提取出卖方用户的账号，作为目标运算维度的内容。当目标运算维度为买方用户维度时，从第四字段，即从第二维度字段中提取出买方用户的账号，作为目标运算维度的内容。在步骤S106中，从待处理数据中的数据内容字段中提取出目标数据内容。其中，客户端在生成数据时，会根据预定的数据生成规则来生成数据，因此，服务器已经知晓客户端发送的数据中包括哪些字段以及每个字段用于存储哪类信息。这样，当接收到客户端发送的待处理数据时，直接从待处理数据中的数据内容字段中提取出待处理数据的数据内容，作为目标数据内容。其中，例如，当待处理数据为订单数据时，从待处理数据的内容字段中提取出订单金额；当待处理数据为交易数据时，从待处理数据的内容字段中提取出交易金额；当待处理数据为登录数据时，由于登录数据中未存储数据内容，因此无需从待处理数据的数据内容中字段进行提取操作。在步骤S107中，获取本地存储的、最近一次根据目标运算方式和该数据类型的标识对应的数据类型运算得到的、目标运算维度的内容对应的第一运算结果。服务器每次进行一次运算之后都会将运算结果存储在本地，每次运算至少需要获取三个信息，包括：数据类型的标识、运算方式、运算维度的内容，这样，每次根据一个数据类型的标识、一个运算方式和一个运算维度的内容进行一次运算后都会得到一个运算结果，然后会将该一个数据类型的标识、该一个运算方式和该一个运算维度的内容和得到的该一个运算结果存储在本地的预算方式、数据类型的标识、运算维度的内容和运算结果四者之间的对应关系中。这样，在本步骤中，在本地存储的预算方式、数据类型的标识、运算维度的内容和运算结果四者之间的对应关系中查找包括目标运算方式、数据类型的标识和目标运算维度的内容的记录，将该记录中的运算结果作为最近一次根据目标运算方式和数据类型的标识对应的数据类型运算得到的、目标运算维度的内容对应的第一运算结果。在步骤S108中，按照目标运算方式对目标数据内容和第一运算结果进行运算得到第二运算结果。进一步地，在步骤S108之后，还包括步骤：利用第二运算结果替换包括目标运算方式、该数据类型的标识和目标运算维度的内容的记录中的运算结果。如此，可以使得该记录存储的运算结果为最新的运算结果。在本发明图1所示的实施例中，接收待处理数据，从待处理数据中的数据类型字段中提取出待处理数据的数据类型的标识；查找与数据类型的标识对应的目标运算方式，以及查找与数据类型的标识对应的目标运算维度；根据数据类型的标识确定在待处理数据中存储目标运算维度的内容的目标维度字段；在待处理数据中的目标维度字段中提取出的目标运算维度的内容；从待处理数据中的数据内容字段中提取出目标数据内容；无需对历史记录中的所有数据进行重新统计，只需获取本地存储的、最近一次根据目标运算方式和数据类型的标识对应的数据类型运算得到的、目标运算维度的内容对应的第一运算结果；按照目标运算方式对目标数据内容和第一运算结果进行运算得到第二运算结果。整个过程只需一次计算即可，减少了统计量，节省了大量时间和内存资源。图2是根据一示例性实施例示出的一种数据处理装置的框图。参照图2，该装置包括：接收模块11，用于接收待处理数据，所述待处理数据中至少包括以下字段：数据类型字段、数据内容字段和至少一个维度字段；第一提取模块12，用于从所述待处理数据中的数据类型字段中提取出所述待处理数据的数据类型的标识；第一查找模块13，用于查找与所述数据类型的标识对应的目标运算方式；第二查找模块14，用于查找与所述数据类型的标识对应的目标运算维度；确定模块15，用于根据所述数据类型的标识确定在所述待处理数据中存储所述目标运算维度的内容的目标维度字段；第二提取模块16，用于在所述待处理数据中的所述目标维度字段中提取出目标运算维度的内容；第三提取模块17，用于从所述待处理数据中的所述数据内容字段中提取出目标数据内容；获取模块18，用于获取本地存储的、最近一次根据所述目标运算方式和所述数据类型的标识对应的数据类型运算得到的、所述目标运算维度的内容对应的第一运算结果；运算模块19，用于按照所述目标运算方式对所述目标数据内容和所述第一运算结果进行运算得到第二运算结果。在本发明图2所示的实施例中，接收待处理数据，从待处理数据中的数据类型字段中提取出待处理数据的数据类型的标识；查找与数据类型的标识对应的目标运算方式，以及查找与数据类型的标识对应的目标运算维度；根据数据类型的标识确定在待处理数 据中存储目标运算维度的内容的目标维度字段；在待处理数据中的目标维度字段中提取出的目标运算维度的内容；从待处理数据中的数据内容字段中提取出目标数据内容；无需对历史记录中的所有数据进行重新统计，只需获取本地存储的、最近一次根据目标运算方式和数据类型的标识对应的数据类型运算得到的、目标运算维度的内容对应的第一运算结果；按照目标运算方式对目标数据内容和第一运算结果进行运算得到第二运算结果。整个过程只需一次计算即可，减少了统计量，节省了大量时间和内存资源。进一步地，所述装置还包括：替换模块，用于利用所述第二运算结果替换所述第一运算结果。其中，所述第一查找模块13包括：第一获取单元，用于获取预设数据类型的标识与运算方式之间的第一对应关系；第二获取单元，用于在所述第一对应关系中获取与所述数据类型的标识相对应的运算方式，并作为目标运算方式。其中，所述第二查找模块14包括：第三获取单元，用于获取预设数据类型的标识与运算维度之间的第二对应关系；第四获取单元，用于在所述第二对应关系中获取与所述数据类型的标识相对应的运算维度，并作为所述目标运算维度。其中，所述确定模块15包括：第五获取单元，用于获取所述数据类型的标识对应的预设运算维度与字段标识之间的第三对应关系；第六获取单元，用于在所述第三对应关系中获取与所述目标运算维度相对应的字段标识；确定单元，用于将所述待处理数据中的所述字段标识对应的字段确定为存储所述目标运算维度的内容的目标维度字段。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本
技术领域：
中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。当前第1页1 2 3