数据存储方法、电子装置、装置及可读存储介质与流程

1.本技术涉及数据处理领域，尤其涉及一种数据存储方法、电子装置、装置及可读存储介质。


背景技术：

2.异构数据是对规模巨大的来源不同的数据进行分析，是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。在对异构数据进行处理时，需要将来源不同、类型不同的数据如关系数据、平面数据文件等抽取出来，然后进行清洁、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。需要指出的是，尽管大数据分析有它的优势，但是也有很大的局限性。很多时候，大数据产生的相关关系可能是虚假的，在完全随机的数据中显示了某些规律，因为数据的量非常大，可能产生向各个方向辐射的各种联系，从而导致数据分析出现较大的偏差。


技术实现要素：

3.本技术提供了一种数据存储方法、电子装置、装置及可读存储介质，旨在解决现有技术中在数据量较大时，异构数据的分析出现较大偏差的技术问题。
4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种数据存储方法，所述方法包括步骤：
5.接收待存储数据，并对所述待存储数据进行分类以得到所述待存储数据对应的数据类型；
6.匹配与所述数据类型对应的存储位置；
7.将所述待存储数据存储至所述存储位置中。
8.可选地，所述将所述待存储数据存储至所述存储位置中包括：
9.判断所述待存储数据是否包括唯一标识符；
10.若所述待存储数据不包括唯一标识符，则对所述待存储数据进行特征标记操作，并在特征标记操作后，执行步骤：将所述待存储数据存储至所述存储位置中；若所述待存储数据包括唯一标识符，则执行步骤：将所述待存储数据存储至所述存储位置中。
11.可选地，所述对所述待存储数据进行特征标记操作包括：
12.获取所述待存储数据中与预设特征类别匹配的子数据；
13.将所述子数据作为唯一标识符与所述待存储数据进行关联。
14.可选地，所述将所述待存储数据存储至所述存储位置中包括：
15.将所述待存储数据以键值对的形式进行转换，其中，所述键值对的键为所述待存储数据对应的唯一标识符，所述键值对的值为所述待存储数据；
16.将转换后的待存储数据存储至所述存储位置中。
17.可选地，在所述将所述待存储数据存储至所述存储位置中之前包括：
18.根据所述数据类型判断所述待存储数据是否满足数据存储条件；
19.若所述待存储数据不满足数据存储条件，则删除所述待存储数据；若所述待存储数据满足数据存储条件，则执行步骤：将所述待存储数据存储至所述存储位置中。
20.可选地，所述根据所述数据类型判断所述待存储数据是否满足数据存储条件包括：
21.获取所述待存储数据的数据来源；
22.判断所述数据来源是否为预设非必要数据来源；
23.若所述数据来源为预设非必要数据来源，则所述待存储数据不满足数据存储条件；若所述数据来源不为预设非必要数据来源，则所述待存储数据满足数据存储条件。
24.可选地，所述对所述待存储数据进行分类以得到所述待存储数据对应的数据类型包括：
25.通过决策树分类方法对所述待存储数据进行分类以得到分类结果；
26.根据所述分类结果确定所述待存储数据对应的数据类型。
27.为实现上述目的，本发明还提供一种电子装置，所述电子装置包括：
28.第一接收模块，用于接收待存储数据，并对所述待存储数据进行分类以得到所述待存储数据对应的数据类型；
29.第一匹配模块，用于匹配与所述数据类型对应的存储位置；
30.第一存储模块，用于将所述待存储数据存储至所述存储位置中。
31.可选地，所述电子装置还包括：
32.第一判断模块，用于判断所述待存储数据是否包括唯一标识符；
33.第一执行模块，用于若所述待存储数据不包括唯一标识符，则对所述待存储数据进行特征标记操作，并在特征标记操作后，执行步骤：将所述待存储数据存储至所述存储位置中；若所述待存储数据包括唯一标识符，则执行步骤：将所述待存储数据存储至所述存储位置中。
34.可选地，所述第一执行模块包括：
35.第一获取单元，用于获取所述待存储数据中与预设特征类别匹配的子数据；
36.第一执行单元，用于将所述子数据作为唯一标识符与所述待存储数据进行关联。
37.可选地，所述第一存储模块包括：
38.第一转换单元，用于将所述待存储数据以键值对的形式进行转换，其中，所述键值对的键为所述待存储数据对应的唯一标识符，所述键值对的值为所述待存储数据；
39.第一存储单元，用于将转换后的待存储数据存储至所述存储位置中。
40.可选地，所述电子装置还包括：
41.第二判断模块，用于根据所述数据类型判断所述待存储数据是否满足数据存储条件；
42.第二执行模块，用于若所述待存储数据不满足数据存储条件，则删除所述待存储数据；若所述待存储数据满足数据存储条件，则执行步骤：将所述待存储数据存储至所述存储位置中。
43.可选地，所述第二判断模块包括：
44.第二获取单元，用于获取所述待存储数据的数据来源；
45.第一判断单元，用于判断所述数据来源是否为预设非必要数据来源；
46.第二执行单元，用于若所述数据来源为预设非必要数据来源，则所述待存储数据不满足数据存储条件；若所述数据来源不为预设非必要数据来源，则所述待存储数据满足数据存储条件。
47.可选地，所述第一接收模块包括：
48.第一分类单元，用于通过决策树分类方法对所述待存储数据进行分类以得到分类结果；
49.第一确定单元，用于根据所述分类结果确定所述待存储数据对应的数据类型。
50.为实现上述目的，本发明还提供一种数据存储装置，所述数据存储装置包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据存储方法的步骤。
51.为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据存储方法的步骤。
52.本发明提出的一种数据存储方法、电子装置、装置及可读存储介质，接收待存储数据，并对所述待存储数据进行分类以得到所述待存储数据对应的数据类型；匹配与所述数据类型对应的存储位置；将所述待存储数据存储至所述存储位置中。通过对待存储数据进行分类，并根据分类分别进行存储，从而使得能够明确数据来源，进而能够提高在此基础上进行数据分析结果的准确性。
附图说明
53.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
55.图1为本发明数据存储方法第一实施例的流程示意图；
56.图2为本发明数据存储方法的整体流程示意图；
57.图3为本发明数据存储装置的模块结构示意图。
具体实施方式
58.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
59.本发明提供一种数据存储方法，参照图1，图1为本发明数据存储方法第一实施例的流程示意图，所述方法包括步骤：
60.步骤s10，接收待存储数据，并对所述待存储数据进行分类以得到所述待存储数据
对应的数据类型；
61.可以基于不同的层面对待存储数据进行分类，如计算机体系结构、操作系统、数据格式、数据存储地点以及数据存储的逻辑模式等；基于计算机体系结构进行分类是指将来自大型机、小型机、工作站、pc或嵌入式系统等不同体系结构的计算机中的数据依据其来源的计算机的体系结构进行分类；基于操作系统进行分类是指将来自如unix、windows、linux、os/400等不同操作系统中的数据依据其来源的操作系统进行分类；基于数据格式进行分类是指将来自oracle、sql server、db2等关系型数据库系统或为txt、csv、xls等文件行二维数据的数据依据其来源的存储管理机制进行分类；基于数据存储地点进行分类是指将来源于设置在不同的地理位置的存储位置的数据依据其来源的地理位置进行分类；基于数据存储的逻辑模式进行分类是指将将来源于不同的业务逻辑中的数据依据其来源的业务逻辑进行分类，如独立的销售系统和独立的采购系统中存在部门的编码不一致，使得具有相同意义的数据存在不同表现。需要说明的是，上述分类依据仅用作说明，还可以根据实际应用场景以及需要设置合适的分类依据。
62.参见图2，本实施例中主要依据待存储数据的来源设置交易数据、移动通信数据、人为数据、机器和传感器数据以及互联网开放数据等数据类型；其中，交易数据主要包括pos机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、企业资源规划erp系统数据、销售系统数据、客户关系管理crm系统数据、公司的生产数据、库存数据、订单数据、供应链数据等；移动通信数据是指移动设备记录的数据，现有能够上网的移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度，常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据，如搜索产品的记录事件，到个人信息资料或状态报告事件，如地点变更即报告一个新的地理编码等；人为数据主要包括电子邮件、文档、图片、音频、视频，以及通过社交媒体产生的数据流，这些数据大多数为非结构性数据，需要用文本分析功能进行分析；机器和传感器数据主要包括来自感应器、量表和其他设施的数据、定位或gps系统数据等的数据，其中包括功能设备创建或生成的数据，如智能温度控制器、智能电表、工厂机器以及连接互联网的家用电器的数据，还包括来自新兴的物联网iot的数据，来自物联网的数据可以用于构建分析模型，进行连续监测以及预测性行为，如当传感器值表示有问题时进行识别，以及提供规定的指令等，如警示技术人员在真正出问题之前检查设备等；互联网开放数据主要包括政府机构，非营利组织以及企业免费提供的数据。其中：交易数据以及移动通信数据可以从对应的数据库中获取，机器和传感器数据可以从数据结构服务器中获取，人为数据可以直接从前段界面获取，互联网开放数据可以从对应的远程服务器中获取。
63.步骤s20，匹配与所述数据类型对应的存储位置；
64.根据数据类型不同，预先将存储空间划分为与数据类型对应的多个存储位置，并将存储位置与对应的数据类型进行关联；当得到与待存储数据对应的数据类型时，根据数据类型与存储位置之间的关联关系确定数据类型对应的存储位置。需要说明的是，不同的存储位置可以是不同的数据库，还可以是同一个数据库中划分的不同的存储空间。
65.步骤s30，将所述待存储数据存储至所述存储位置中。
66.在获取到数据类型对应的存储位置之后，将待存储数据存储在存储位置中。
67.本实施例通过对待存储数据进行分类，并根据分类分别进行存储，从而使得能够
明确数据来源，进而能够提高在此基础上进行数据分析结果的准确性。
68.进一步地，在基于本发明的第一实施例所提出的本发明数据存储方法第二实施例中，所述步骤s30包括步骤：
69.步骤s31，判断所述待存储数据是否包括唯一标识符；
70.步骤s32，若所述待存储数据不包括唯一标识符，则对所述待存储数据进行特征标记操作，并在特征标记操作后，执行步骤s30；若所述待存储数据包括唯一标识符，则执行步骤s30。
71.唯一标识符是指用以表征数据的唯一性的标识，如订单号或流水号等。当待存储数据包括唯一标识符时，在存储之后，可以直接通过唯一标识符确定对应的数据，因此可以直接将待存储数据存储至存储位置；而当待存储数据没有包括唯一标识符时，在存储之后，无法快速且方便地找到该数据，因此需要对待存储数据进行特征标记得到能够表征待存储数据唯一性的数据，进而使得能够提高后续对于数据查找的效率。
72.所述步骤s50包括步骤：
73.步骤s51，获取所述待存储数据中与预设特征类别匹配的子数据；
74.步骤s52，将所述子数据作为唯一标识符与所述待存储数据进行关联。
75.预设特征类别包括但不限于用户名、时间戳、设备唯一标识、数据号或其组合等；通过将待存储数据中与预设特征类别匹配的子数据作为待存储数据的唯一标识符，使得能够在待存储数据不具备已有的唯一标识符的情况下同样能够表征到存储数据的唯一性，进而能够提高对于待存储数据的查找效率。
76.进一步地，再次参见图2，在基于本发明的第一实施例所提出的本发明数据存储方法第三实施例中，所述步骤s30包括步骤：
77.步骤s33，将所述待存储数据以键值对的形式进行转换，其中，所述键值对的键为所述待存储数据对应的唯一标识符，所述键值对的值为所述待存储数据；
78.步骤s34，将转换后的待存储数据存储至所述存储位置中。
79.键值对即<key
‑
value>，其中，key为键，value为值。
80.本实施例可以将键，即待存储数据对应的唯一标识符根据需要放入链表式异构数据系统中，在需要读取数据时，先在链表式异构数据系统中查找键，进而根据键匹配对应的数据。
81.本实施例通过将待存储数据转换为键值对的形式存储，使得能够优化后续的数据查找步骤，提高数据查找效率。
82.进一步地，在基于本发明的第一实施例所提出的本发明数据存储方法第四实施例中，在所述步骤s30之前包括步骤：
83.步骤s35，根据所述数据类型判断所述待存储数据是否满足数据存储条件；
84.步骤s36，若所述待存储数据不满足数据存储条件，则删除所述待存储数据；若所述待存储数据满足数据存储条件，则执行步骤s30。
85.在实际应用过程中，会产生大量的没有价值的无效数据，为了并避免这类数据占用过多的存储空间，在存储之前对数据进行是否满足数据存储条件的判断，以区分无效数据和有效数据，并仅对有效数据进行存储。
86.所述步骤s33包括步骤：
87.步骤s331，获取所述待存储数据的数据来源；
88.步骤s332，判断所述数据来源是否为预设非必要数据来源；
89.步骤s333，若所述数据来源为预设非必要数据来源，则所述待存储数据不满足数据存储条件；若所述数据来源不为预设非必要数据来源，则所述待存储数据满足数据存储条件。
90.基于不同的数据来源的特性来判断从各数据来源获取到的数据是否为有效数据，如在人为数据中，会存在大量的无效数据，因此可以设置人为数据为预设非必要数据来源，当获取的待存储数据的数据来源为人为数据时，不对该待存储数据进行存储；进一步地，当需要在人为数据中保存相关数据时，可以设置数据埋点，将人为数据中基于数据埋点得到的数据进行存储，并将一般流程得到的数据删除，以使得在不浪费存储空间的基础上能够存储需要的数据。
91.进一步地，在基于本发明的第一实施例所提出的本发明数据存储方法第五实施例中，所述步骤s10包括步骤：
92.步骤s11，通过决策树分类方法对所述待存储数据进行分类以得到分类结果；
93.步骤s12，根据所述分类结果确定所述待存储数据对应的数据类型。
94.决策树分类方法是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。通过决策树分类方法能够准确地获取待存储数据对用的数据类型。
95.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
96.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
97.本技术还提供一种用于实施上述数据存储方法的电子装置，电子装置包括：
98.第一接收模块，用于接收待存储数据，并对所述待存储数据进行分类以得到所述待存储数据对应的数据类型；
99.第一匹配模块，用于匹配与所述数据类型对应的存储位置；
100.第一存储模块，用于将所述待存储数据存储至所述存储位置中。
101.本电子装置通过对待存储数据进行分类，并根据分类分别进行存储，从而使得能够明确数据来源，进而能够提高在此基础上进行数据分析结果的准确性。
102.需要说明的是，该实施例中的第一接收模块可以用于执行本技术实施例中的步骤s10，该实施例中的第一匹配模块可以用于执行本技术实施例中的步骤s20，该实施例中的
第一存储模块可以用于执行本技术实施例中的步骤s30。
103.进一步地，所述电子装置还包括：
104.第一判断模块，用于判断所述待存储数据是否包括唯一标识符；
105.第一执行模块，用于若所述待存储数据不包括唯一标识符，则对所述待存储数据进行特征标记操作，并在特征标记操作后，执行步骤：将所述待存储数据存储至所述存储位置中；若所述待存储数据包括唯一标识符，则执行步骤：将所述待存储数据存储至所述存储位置中。
106.进一步地，所述第一执行模块包括：
107.第一获取单元，用于获取所述待存储数据中与预设特征类别匹配的子数据；
108.第一执行单元，用于将所述子数据作为唯一标识符与所述待存储数据进行关联。
109.进一步地，所述第一存储模块包括：
110.第一转换单元，用于将所述待存储数据以键值对的形式进行转换，其中，所述键值对的键为所述待存储数据对应的唯一标识符，所述键值对的值为所述待存储数据；
111.第一存储单元，用于将转换后的待存储数据存储至所述存储位置中。
112.进一步地，所述电子装置还包括：
113.第二判断模块，用于根据所述数据类型判断所述待存储数据是否满足数据存储条件；
114.第二执行模块，用于若所述待存储数据不满足数据存储条件，则删除所述待存储数据；若所述待存储数据满足数据存储条件，则执行步骤：将所述待存储数据存储至所述存储位置中。
115.进一步地，所述第二判断模块包括：
116.第二获取单元，用于获取所述待存储数据的数据来源；
117.第一判断单元，用于判断所述数据来源是否为预设非必要数据来源；
118.第二执行单元，用于若所述数据来源为预设非必要数据来源，则所述待存储数据不满足数据存储条件；若所述数据来源不为预设非必要数据来源，则所述待存储数据满足数据存储条件。
119.进一步地，所述第一接收模块包括：
120.第一分类单元，用于通过决策树分类方法对所述待存储数据进行分类以得到分类结果；
121.第一确定单元，用于根据所述分类结果确定所述待存储数据对应的数据类型。
122.此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
123.参照图3，在硬件结构上所述数据存储装置可以包括通信模块10、存储器20以及处理器30等部件。在所述数据存储装置中，所述处理器30分别与所述存储器20以及所述通信模块10连接，所述存储器20上存储有计算机程序，所述计算机程序同时被处理器30执行，所述计算机程序执行时实现上述方法实施例的步骤。
124.通信模块10，可通过网络与外部通讯设备连接。通信模块10可以接收外部通讯设备发出的请求，还可以发送请求、指令及信息至所述外部通讯设备，所述外部通讯设备可以
是其它数据存储装置、服务器或者物联网设备，例如电视等等。
125.存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如将所述待存储数据存储至所述存储位置中)等；存储数据区可包括数据库，存储数据区可存储根据系统的使用所创建的数据或信息等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
126.处理器30，是数据存储装置的控制中心，利用各种接口和线路连接整个数据存储装置的各个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用存储在存储器20内的数据，执行数据存储装置的各种功能和处理数据，从而对数据存储装置进行整体监控。处理器30可包括一个或多个处理单元；可选地，处理器30可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器30中。
127.尽管图3未示出，但上述数据存储装置还可以包括电路控制模块，所述电路控制模块用于与电源连接，保证其他部件的正常工作。本领域技术人员可以理解，图3中示出的数据存储装置结构并不构成对数据存储装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
128.本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图3的数据存储装置中的存储器20，也可以是如rom(read
‑
only memory，只读存储器)/ram(random access memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是电视，汽车，手机，计算机，服务器，终端，或者网络设备等)执行本发明各个实施例所述的方法。
129.在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
130.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
131.尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。