数据处理方法及系统、客户端及存储引擎的制作方法
【专利摘要】一种数据处理方法及系统、客户端及存储引擎，所述数据处理方法包括：接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。上述方法、系统、客户端及存储引擎可以降低存储引擎处理负荷以及网络传输负荷。
【专利说明】数据处理方法及系统、客户端及存储引擎
【技术领域】
[0001]本发明涉及数据处理【技术领域】，尤其涉及一种数据处理方法及系统、客户端及存储引擎。
【背景技术】
[0002]数据作为一种信息形式，广泛地存在于自然界和人类社会中。计算机技术出现后，凭借其优异的数据处理性能，被广泛地应用在各领域的数据处理业务中。
[0003]随着计算机技术的发展和数据处理的需求，用于描述信息的数据量也在不断增力口，而且数据涉及的范围越来越广泛，数据之间的关系也变得更为复杂。为了提高数据处理的效率，对数据处理技术也提出了更高的要求。
[0004]目前主要使用的数据处理技术，首先是将数据存入数据记录集合，例如数据库，然后对数据库中的数据进行操作。数据存储在数据库中，可以看成是一条一条包含字段的数据记录。数据记录集合一般存储在数据存储引擎(简称存储引擎)上，客户端与存储引擎通信，访问其中的数据记录集合。
[0005]传统的关系数据库要求存入的是事先定义好字段格式的固定字段数据记录，如果需要在记录中添加新的字段，就要求更改字段定义，这会导致整个数据记录集合停机而无法使用。
[0006]一般情况下，大都是多个客户端一起使用数据记录集合，也就是说，数据记录集合需要支持多个客户端共享这一个数据记录集合，同时又必须满足不同客户端在存储数据记录时有自定义字段的要求，而且这个对新增加字段的数据记录的存取应该是对其他客户端透明的，不发生影响的。
[0007]元数据用来定义数据集合的基本情况:名字，索引和允许的数据架构(也称为模式,Schema)ο多种Schema的数据均存储在后端存储引擎中,这势必导致大量地读取Schema信息及对该字段名的翻译操作，造成后端存储引擎负荷较重。各个客户端在访问存储引擎的过程中，也需要通过网络传输大量的字段名信息，增加传输网络的负荷。
【发明内容】
[0008]本发明实施例解决的问题是如何减少传输网络及后端存储引擎的负荷。
[0009]为解决上述问题，本发明实施例提供一种数据处理方法，所述方法包括:接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。
[0010]可选的，所述输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。
[0011]可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
[0012]可选的，所述字段信息包括:字段名称。
[0013]为解决上述问题，本发明实施例还提供了另一种数据处理方法，所述方法包括:接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的；根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。
[0014]可选的，所述客户端发送的处理数据的请求包括:查询所述输入的字段信息的请求，更新输入的字段信息的请求，以及聚合输入的字段信息的请求。
[0015]可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
[0016]可选的，当接收到输入的聚合不同数据架构的公共字段信息的请求时，所述对所述数据内容进行处理，并将处理结果返回客户端，包括:将数据记录中所请求的数据架构的公共字段中的数据内容进行求和运 算，并将求和结果返回客户端。
[0017]为解决上述问题，本发明实施例还提供了一种客户端，所述客户端包括:输入单元，用于输入处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；转换单元，用于根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；第一发送单元，用于向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，并对所述数据内容进行处理；第一接收单元，用于接收存储引擎返回的处理结果。
[0018]可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
[0019]为解决上述问题，本发明实施例还提供了一种存储引擎，所述存储引擎包括--第二接收单元，用于接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的；数据处理单元，用于根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，得到处理结果；第二发送单元，用于将数据处理单元得到的处理结果返回客户端。
[0020]可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。[0021]为解决上述问题，本发明实施例还提供了一种数据处理系统，所述数据处理系统包括:客户端，用于接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息，根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容，向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，并接收存储引擎返回的处理结果；存储引擎，用于接收客户端发送的所述处理数据的请求，根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。
[0022]可选的，所述客户端接收的输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。
[0023]可选的，所述存储引擎中存储的数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
[0024]与现有技术相比，本发明实施例的技术方案具有以下优点:
[0025]通过在客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，使得存储引擎仅根据所述物理位置信息，即可获得数据记录中相应物理位置的数据内容并进行处理。整个过程中，由于客户端向存储引擎发送的请求包括的是数据记录的物理位置信息，而非复杂的字段信息，存储引擎也不需要对大量的请求信息中的字段信息进行翻译转换，以及字段信息的逐一匹配，因此可以节约网络传输资源，减轻网络传输负荷，并且由于存储引擎要并发处理大量的数据处理请求，因此同时也可以显著降低存储引擎的处理负荷。
[0026]此外，不同数据架构的数据记录具有公共字段时，由于所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关，因此可以直接对公共字段的数据进行聚合运算，而不必分别针对每种数据结构的数据记录分别进行聚合运算，因此可以减少存储引擎聚合运算的次数，提高存储引擎数据处理效率。
【专利附图】
【附图说明】
[0027]图1是本发明实施例中的一种数据处理方法的流程图；
[0028]图2是本发明实施例中的另一种数据处理方法的流程图；
[0029]图3是本发明实施例中的一种客户端的结构示意图；
[0030]图4是本发明实施例中的一种存储引擎的结构示意图；
[0031]图5是本发明实施例中的一种数据处理系统的结构示意图。
【具体实施方式】
[0032]为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0033]参照图1所示的本发明实施例中的一种数据处理方法的流程图，以下通过具体步骤进行详细说明:
[0034]S101，接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段?目息。
[0035]在具体实施中，可以通过客户端接收用户输入的处理字段信息的请求，所述输入的处理字段信息的请求可以有多种。例如，可以为查询所述字段信息的请求，更新所述字段信息的请求，或者为聚合所述字段信息的请求。
[0036]在具体实施中，所述字段信息为字段名称，也可以为其他形式的字段信息。例如，一个数据记录，包括:名字、电话和地址三个字段，用户请求对电话字段的信息进行访问，则可以输入这一字段的字段名称，即:“电话”。
[0037]S102，根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容。
[0038]在客户端，可以建立字段信息与存储引擎中的数据记录的物理位置信息的映射关系表，当接收到用户输入的处理字段信息的请求时，既可以将所述请求中携带的字段信息，与所述字段信息与存储引擎中的数据记录的物理位置信息的映射关系表中的字段信息进行匹配，当在所述映射关系表中查找到相应字段信息时，即可获得所述字段信息在存储引擎中对应的数据记录的物理位置信息。仍以上述的字段名“电话”为例，在所述映射关系表中保存的对应的物理位置信息为“2”，则翻译转换为相应的物理位置信息即为“2”。可以理解的是，这里为便于理解，仅用一个数字标识一个不同的物理位置，在实际应用过程中，并不用于限定所述物理位置信息的具体形式。
[0039]S103，向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。
[0040]客户端即可向存储引擎发送所述访问数据的请求，其中携带物理位置信息“2”，存储引擎根据请求中携带的物理位置信息“2”，获取相应数据记录中相应物理位置的数据内容，例如这里获得的数据内容为“10086”，则可将上述获得的结果返回给客户端。
[0041]在具体实施中，所述数据记录可以仅包括物理位置信息和具体的数据内容，而没有字段信息。用户可以根据需要对数据记录的数据架构进行定义或扩展，使得数据记录有两种以上的数据架构，满足用户对处理各种类型或各种应用场景数据的需求。在数据记录包括两种以上的数据架构时，在本发明一实施例中，其中至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关，使得用户可以对数据进行快速聚合处理。
[0042]从上述实施例可以看出，由于是在客户端而非在存储引擎中将输入的字段信息翻译转换为相应的物理位置信息，存储引擎不需要对大量客户端的请求中所涉及的字段信息进行集中的翻译转换，以及字段信息的逐一匹配，因此可以减轻存储引擎的负荷，各个客户端仅需要处理自身的处理请求中所涉及的字段信息，因此不会对各个客户端的处理负荷造成明显的影响，且由于客户端向存储引擎发送的请求包括的是数据记录的物理位置信息，而非复杂的字段信息，因此可以节约网络传输资源，减轻网络传输负荷。
[0043]参照图2所示的本发明实施例中另一种数据处理方法的流程图，以下通过具体步骤进行详细说明。
[0044]S201，接收客 户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的。
[0045]S202，根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。
[0046]如前所述，所述客户端发送的处理数据的请求可以为查询所述输入的字段信息的请求，也可以为更新输入的字段信息的请求，还可以为聚合输入的字段信息的请求等等。在具体实施中，数据记录可以包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
[0047]本实施例中以聚合输入字段的请求为例进行说明。例如，用户请求获取仓库中的剩余货品量为例进行说明。在存储引擎中的数据记录中，进货单和出货单都继承自货单，具有公共字段“货品数”，其中进货记为正数，出货记为负数。在客户端，保存有进货单和出货单两种数据架构的数据的映射关系表，当接收到用户输入的对货品数进行聚合处理的请求时，则在映射关系表中查找货品数，并根据映射关系表将“货品数”翻译转换为存储引擎中相应数据记录的物理位置，并对相应物理位置的所有数据进行求和运算，即可聚合得出仓库中剩余的货品量，将求和运算结果返回客户端即可。
[0048]从上述实施例可以看出，对于具有两种以上数据架构的数据记录所具有的公共字段，通过设置所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关，在用户需要进行聚合处理时，存储引擎仅需要进行一次聚合处理，而不需要针对每种数据架构的数据记录分别进行聚合处理，则针对各个数据架构数据聚合处理的结果进行再次进行聚合处理，因此可以提高存储引擎的数据处理效率。
[0049]为使本领域技术人员更好地理解和实现本发明实施例，本发明实施例还提供了上述方法实施例对应的产品，以下参照附图进行详细说明。
[0050]本发明实施例提供了一种客户端，参照图3，客户端300包括:输入单元301、转换单元302、第一发送单元303和第一接收单元304，其中:
[0051]输入单元301，用于输入处理字段信息的请求，所述处理字段信息的请求中包含输入的字段息；
[0052]转换单元302，用于根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；
[0053]第一发送单元303，用于向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，并对所述数据内容进行处理；
[0054]第一接收单元304，用于接收存储引擎返回的处理结果。
[0055]在具体实施中，所述存储引擎中存储的数据记录可以包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
[0056]采用上述客户端对字段信息进行翻译转换，存储引擎不需要对字段信息进行逐个匹配，因此可以显著降低存储引擎的处理负荷，且由于客户端仅需向存储引擎传输具体的物理位置信息，因此也可以节约网络传输资源，减轻网络传输负荷。
[0057]本发明实施例还提供了一种存储引擎，参照图4，存储引擎400包括:第二接收单元401、数据处理单元402和第二发送单元403，其中:
[0058]第二接收单元401，用于接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的；
[0059]数据处理单元402，用于根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，得到处理结果；
[0060]第二发送单元403，用于将数据处理单元得到的处理结果返回客户端。
[0061]在具体实施中，所述存储引擎400中存储的数据记录可以包括两种以上的数据架构，其中有至少两种数据架构的数据记录可以具有公共字段，且所述公共字段中的数据内容中数据值为正值或负值可以与数据架构类型相关。
[0062]本发明实施例还提供了一种数据处理系统，参照图5，数据处理系统500包括客户端501和存储引擎502，其中:
[0063]客户端501，用于接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息，根据预设的字段信息与存储引擎502中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容，向存储引擎502发送的处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，并接收存储引擎返回的处理结果；
[0064]存储引擎502，用于接收客户端501发送的所述处理数据的请求，根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端501。
[0065]在具体实施中，所述客户端接收的输入的处理字段信息的请求可以为查询所述字段信息的请求，也可以为更新所述字段信息的请求，或者为聚合所述字段信息的请求等等。
[0066]在具体实施中，所述存储引擎中存储的数据记录可以包括两种以上的数据架构，且对于其中有至少两种数据架构的数据记录具有公共字段的情况，可以设置所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关，这时，所述存储引擎在接收到聚合具有公共字段的请求时，仅需进行一次聚合运算，从而可以提高所述存储引擎的处理效率。
[0067]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:ROM、RAM、磁盘或光盘等。
[0068]虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
【权利要求】
1.一种数据处理方法，其特征在于，包括: 接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息； 根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容； 向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。
2.如权利要求1所述的数据处理方法，其特征在于，所述输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。
3.如权利要求2所述的数据处理方法，其特征在于，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
4.如权利要求1所述的数据处理方法，其特征在于，所述字段信息包括:字段名称。
5.一种数据处理方法，其特征在于，包括: 接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的； 根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。
6.如权利要求5所述的数据处理方法，其特征在于，所述客户端发送的处理数据的请求包括:查询所述输入的字段信息的请求，更新输入的字段信息的请求，以及聚合输入的字段信息的请求。
7.如权利要求6所述的数据处理方法，其特征在于，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
8.如权利要求7所述的数据处理方法，其特征在于，当接收到输入的聚合不同数据架构的公共字段信息的请求时，所述对所述数据内容进行处理，并将处理结果返回客户端，包括:将数据记录中所请求的数据架构的公共字段中的数据内容进行求和运算，并将求和结果返回客户端。
9.一种客户端，其特征在于，包括: 输入单元，用于输入处理字段信息的请求，所述处理字段信息的请求中包含输入的字段?目息; 转换单元，用于根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容； 第一发送单元，用于向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息， 使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，并对所述数据内容进行处理；第一接收单元，用于接收存储引擎返回的处理结果。
10.如权利要求9所述的客户端，其特征在于，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
11.一种存储引擎，其特征在于，包括: 第二接收单元，用于接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的； 数据处理单元，用于根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，得到处理结果； 第二发送单元，用于将数据处理单元得到的处理结果返回客户端。
12.如权利要求11所述的存储引擎，其特征在于，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
13.一种数据处理系统，其特征在于，包括: 客户端，用于接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息，根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容，向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，并接收`存储引擎返回的处理结果； 存储引擎，用于接收客户端发送的所述处理数据的请求，根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。
14.如权利要求13所述的数据处理系统，其特征在于，所述客户端接收的输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。
15.如权利要求14所述的数据处理系统，其特征在于，所述存储引擎中存储的数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。
【文档编号】G06F17/30GK103605788SQ201310643478
【公开日】2014年2月26日 申请日期:2013年12月3日 优先权日:2013年12月3日
【发明者】虞钢 申请人:上海浦东物流云计算有限公司