一种大数据采集方法与流程

本发明涉及大数据技术领域，特别是涉及一种大数据采集方法。

背景技术：

随着对技术的发展，在经济生活或者工业生产中产生的数据量也越来越大。为了充分利用这些数据，以进一步加快技术的进步或者更好的服务于人们的生活，催生了大数据系统。在实际应用中，大数据系统中的数据也是由其他设备采集后发送过来的。

目前，数据数据采集无线终端实时采集数据，并通过与大数据中心实时连接，将采集的数据发送给大数据中心。

但是，保持数据数据采集无线终端与大数据中心的实时连接，需要占用单独的无线信道，如果此时数据数据采集无线终端没有数据传输的需求，会导致无线信道资源的浪费，因此现有技术存在无线信道资源利用率不高的技术问题。

技术实现要素：

本发明实施例的目的在于提供一种大数据采集方法，以实现提高无线信道资源利用率的目的。具体技术方案如下：

为达到上述目的，本发明实施例提供了一种大数据采集方法，应用于数据数据采集无线终端所述方法包括：

接收大数据中心发送的数据采集指令，其中所述采集指令中包括被采集的数据的类型和所有被采集的数据的总数据量；

根据所述被采集的数据的类型，采集所述总数据量的被采集数据；

在预设的时刻开始后的第一预设时长内上传所述被采集的数据。

可选的，所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，包括：

将所述第一预设时长的起始时刻作为当前时刻，测试所述当前时刻所述数据数据采集无线终端自身与所述大数据中心之间的通信耗时；

判断所述通信耗时是否大于第一预设阈值；

若是，将所述当前时刻后第二预设时长的结束时刻作为当前时刻，并返回执行所述测试自身与所述大数据中心之间的通信耗时，且所述第一预设时长为所述第二预设时长的整数倍，且该整数大于1；

若否，上传所述被采集的数据。

可选的，所述采集指令中还包括每一所述被采集的数据的类型对应的上传优先级；

所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，包括：

在预设的时刻开始后的第一预设时长内，按照每一所述被采集的数据的类型对应的上传优先级从高到低的顺序上传所述被采集的数据。

可选的，在所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据之前，所述方法还包括：

判断所述数据数据采集无线终端自身存储的所述被采集的数据的数据量，是否大于第二预设阈值；

若是，上传所述被采集的数据；

若否，在预设的时刻开始后的第一预设时长内上传所述被采集的数据。

可选的，所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，包括：

在预设的时刻开始后的第一预设时长内，针对所述数据数据采集无线终端中预设的至少一个无线信道，判断所述信道是否被除自身之外的其他设备使用；

若是，针对所述预设的至少一个无线信道中，除被所述除自身之外的其他设备使用的无线信道之外的每一无线信道，返回执行所述判断所述信道是否被除自身之外的其他设备使用的步骤；

若否，所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，为，上传所述被采集的数据。

本发明实施例提供了一种大数据采集方法，应用于数据数据采集无线终端所述方法包括：接收大数据中心发送的数据采集指令，其中所述采集指令中包括被采集的数据的类型和所有被采集的数据的总数据量；根据所述被采集的数据的类型，采集所述总数据量的被采集数据；在预设的时刻开始后的第一预设时长内上传所述被采集的数据。

应用本发明实施例提供的一种大数据采集方法，数据数据采集无线终端按照预设时段进行数据传输，在预设时间段之外不进行数据传输，此时，该无线信道可以被释放给其它数据数据采集无线终端使用，也就是说，一个信道可以给多个数据数据采集无线终端使用，相对于现有技术中数据数据采集无线终端需要一直占用单独的无线信道，提高了无线信道资源的利用率。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种大数据采集方法。

图2为本发明实施例提供的另一种大数据采集方法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例可以应用于数据数据采集无线终端，其中该数据数据采集无线终端为大数据采集系统中多个数据数据采集无线终端中的一个。

图1为本发明实施例提供的一种大数据采集方法，如图1所示，该方法包括：

s101：接收大数据中心发送的数据采集指令，其中所述采集指令中包括被采集的数据的类型和所有被采集的数据的总数据量。

具体的，大数据采集系统包括多个数据采集无线终端，如a-1、a-2、a-3，以及一个大数据中心。大数据中心向各个数据采集无线终端发送数据采集指令。

数据采集指令中，包括被采集数据的类型，包括但不仅限于如用户id、快递单号、用户浏览记录等。数据采集指令中还包括被采集的数据的总数据量，如采集10条用户id。

s102：根据所述被采集的数据的类型，采集所述总数据量的被采集数据。

具体的，以数据采集无线终端a-1为例，数据采集无线终端a-1接收到该指令后，开始采集用户id，共计采集10条。

s103：在预设的时刻开始后的第一预设时长内上传所述被采集的数据。

可选的，在本发明实施例的一种具体实施方式中，所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，包括：将所述第一预设时长的起始时刻作为当前时刻，测试所述当前时刻所述数据数据采集无线终端自身与所述大数据中心之间的通信耗时；判断所述通信耗时是否大于第一预设阈值；若是，将所述当前时刻后第二预设时长的结束时刻作为当前时刻，并返回执行所述测试自身与所述大数据中心之间的通信耗时，且所述第一预设时长为所述第二预设时长的整数倍，且该整数大于1；若否，上传所述被采集的数据。

具体的，假设数据采集无线终端a-1的预设的时刻为12:00:00，第一预设时长为10分钟。数据采集无线终端a-1从12:00:00时刻开始时刻作为当前时刻，测试数据采集无线终端a-1与数据中心的通信耗时，当通信耗时大于第一预设阈值，如10秒，说明通信条件不佳，此时传输数据速度太慢，因此在当前时刻的1分钟后再次测试通信耗时，若此时通信耗时低于10秒，说明通信条件得到改善，可以进行数据传输，数据采集无线终端a-1将采集到的数据发送给数据中心。

应用本发明实施例，可以在通信条件较好的情况下传输数据，降低了通信条件对数据传输的不良影响。

可选的，在本发明实施例的一种具体实施方式中，所述采集指令中还包括每一所述被采集的数据的类型对应的上传优先级；所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，包括：在预设的时刻开始后的第一预设时长内，按照每一所述被采集的数据的类型对应的上传优先级从高到低的顺序上传所述被采集的数据。

具体的，数据采集无线终端a-1接收到的数据采集指令中，还包括用户id的优先级，如2017年5月1日后的该用户id对应的数据的优先级高于其他数据的优先级，则先将2017年5月1日后的该用户id对应的数据上传给数据中心。

应用本发明实施例，先将优先级较高的数据上传给数据中心，可以使数据中心先接收到重要的数据。

可选的，在本发明实施例的一种具体实施方式中，所述在预设的时刻开始后的第一预设时长内上传所述被采集的数据，包括：在预设的时刻开始后的第一预设时长内，针对所述数据数据采集无线终端中预设的至少一个无线信道，判断所述信道是否被除自身之外的其他设备使用；若是，针对所述预设的至少一个无线信道中，除被所述除自身之外的其他设备使用的无线信道之外的每一无线信道，返回执行所述判断所述信道是否被除自身之外的其他设备使用的步骤；若否，上传所述被采集的数据。

具体的，假设数据采集无线终端a-1可以使用信道-1、信道-2、信道-3。数据采集无线终端a-1在12:00:00测试信道-1，发现该信道被其他设备使用，测试信道-2，若该信道未被其他设备使用，使用该信道向数据中心上传数据。

在实际应用中，数据采集无线终端a-1测试信道是否被其他设备使用的方法可以为：以被测试信道作为信息接收信道，测试是否有其他设备利用该信道发送数据，如果没有接收到信息，则再向数据中心发送询问消息，当数据中心收到该询问消息时，向数据采集无线终端a-1返回该信道是否被其他设备使用的信息。

应用本发明实施例，可以避免了多个设备同时使用一个信道带来的干扰，进而避免了干扰对数据的影响。

应用本发明图1所示实施例提供的一种大数据采集方法，数据数据采集无线终端按照预设时段进行数据传输，在预设时间段之外不进行数据传输，此时，该无线信道可以被释放给其它数据数据采集无线终端使用，也就是说，一个信道可以给多个数据数据采集无线终端使用，相对于现有技术中数据数据采集无线终端需要一直占用单独的无线信道，提高了无线信道资源的利用率。

图2为本发明实施例提供的另一种大数据采集方法，如图2所示，本发明图2所示实施例在本发明图1所示实施例的基础上，在s103步骤之前，增加了s104：判断所述数据数据采集无线终端自身存储的所述被采集的数据的数据量，是否大于第二预设阈值，若是，执行s105；若否，执行s103a；

具体的，数据采集无线终端a-1判断自身采集的数据是否达到了10条，若是，执行s105，若否，执行s103。

s105：上传所述被采集的数据。

假设数据采集无线终端a-1将采集到的数据上传给数据中心。

s103：在预设的时刻开始后的第一预设时长内上传所述被采集的数据。

数据采集无线终端a-1在预设的时刻为12:00:00的时刻上传被采集的数据。

应用本发明图2所示实施例，再数据采集无线终端提前完成任务的情况下，可以将被采集的数据及时发送给数据中心，减少了数据中心的等待时长。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。