数据收集方法、装置及系统与流程

本发明涉及数据统计技术领域，尤其涉及数据收集方法、装置及系统。

背景技术：

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。

随着手机业务发展和功能的丰富，各种APP应用也越来越多，每一种APP都涉及到了用户相关行为的统计分析功能，即大数据量统计分析需求。而为了实现大数据量数据统计的功能，首先一点就必须能够大范围的收集用户在客户端的行为日志信息，即用户行为信息采集功能。

然而，传统的数据收集方式，一般情况下为客户端上传数据。其中，如果只上传数据一次，则可能存在数据丢失的情况，如果多次上传数据的话，则可能存在数据重复的问题，无论何种情况都可能会造成数据或多或少的缺失或者重复，导致数据不是特别精确的问题。

技术实现要素：

本发明的主要目的在于提出一种数据收集方法、装置及系统，旨在解决现有技术中单次上传或者多次上传数据而导致的数据丢失或者数据重复的问题。

为实现上述目的，本发明提供的一种数据收集方法，所述方法包括步骤：客户端向服务器端上传数据，所述数据包括批次号信息；根据所述批次号信息，所述服务器端判断是否出现异常情况；当所述服务器端判定没有出现异常情况时，则所述服务器端收集所述数据。

可选地，当所述服务器端判定出现异常情况时，所述方法还包括：所述客户端重新上传带有所述批次号信息的数据；针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值；若是，则所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。

可选地，所述服务器端收集所述数据，包括：所述服务器端接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理；所述服务器端对重复数据进行过滤统计，以删除重复数据。

此外，为实现上述目的，本发明还提出一种数据收集方法，应用于客户端，所述方法包括步骤：向服务器端上传数据，所述数据包括批次号信息；接收所述服务器端发送的没有异常情况的指令，则所述服务器端收集数据成功。

可选地，所述方法还包括：接收所述服务器端发送的异常情况的指令；重新上传带有所述批次号信息的数据；判断重新上传相同数据的次数是否达到预设的次数阈值；若是，则记录本地相关日志信息，并废弃所述批次号信息的数据。

此外，为实现上述目的，本发明还提出一种数据收集方法，应用于服务器端，所述方法包括步骤：接收客户端发送的带有批次号信息的数据；根据所述批次号信息，判断是否出现异常情况；当没有出现异常情况时，则收集所述数据。

可选地，所述方法还包括：接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理；对重复数据进行过滤统计，以删除重复数据。

此外，为实现上述目的，本发明还提出一种数据收集系统，所述系统包括客户端和与所述客户端通信连接的服务器端，其中，所述客户端用于，向服务器端上传数据，所述数据包括批次号信息；所述服务器端用于，根据所述批次号信息，判断是否出现异常情况；当所述服务器端判定没有出现异常情况时，则所述服务器端收集所述数据。

可选地，当所述服务器端判定出现异常情况时，所述客户端，还用于重新上传带有所述批次号信息的数据；相应地，所述服务器端，还用于针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值；若是，则触发所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。

可选地，所述服务器端具体用于：接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理，以及，对重复数据进行过滤统计，以删除重复数据。

本发明提出的数据收集方法、装置及系统，通过客户端向服务器端上传包括批次号信息的数据，根据批次号信息，当服务器端判定没有出现异常情况时，则收集数据，对于客户端多次上传的重复数据，通过服务器端的过滤处理，对重复的数据进行删除，从而保证了数据尽量不丢失，同时，服务端进行去重处理，提高了所收集数据的精确性和准确性。

附图说明

图1为本发明第一实施例提供的数据收集方法的流程示意图；

图2为本发明第一实施例提供的数据收集方法的子流程示意图；

图3为本发明第二实施例提供的数据收集方法的流程示意图；

图4为本发明第三实施例提供的数据收集方法的流程示意图；

图5为本发明第四实施例提供的数据收集系统的模块示意图；

图6为本发明第五实施例提供的数据收集装置的模块示意图；

图7为本发明第六实施例提供的数据收集装置的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，为本发明第一实施例提供的数据收集方法的流程示意图，所示方法包括步骤：

步骤110，客户端向服务器端上传数据，所述数据包括批次号信息。

具体地，客户端调用服务器端接口，进行数据上传，该数据包括批次号信息。在本实施例中，该数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。

进一步地，batchId可以由0-50000之间进行循环设置。

步骤120，根据所述批次号信息，所述服务器端判断是否出现异常情况；若否，则进入步骤130；若是，则进入步骤140。

具体地，服务器端接收客户端上传的数据，服务器端的接口处理消息。当接口返回处理失败标识，或者接口没有返回信息，或者其他异常情况时，则服务器端判定出现异常情况，并进入步骤130。当没有出现上述异常时，则服务器端判定没有出现异常情况，并进入步骤140。

步骤130，所述服务器端收集所述数据。

具体地，服务器端接口收集该数据，并记录在数据库中。

步骤140，所述客户端重新上传带有所述批次号信息的数据。

具体地，客户端需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。

步骤150，针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值，若是，则进入步骤160，若否，则进入步骤120。

具体地，客户端重新上传相同数据说明前次上传的数据失败，在客户端每次重新上传数据时，服务器端分别判断相同批次号信息的数据的上传次数(例如N次)是否达到预设的次数阈值，若是，则说明客户端上传数据的失败的次数为N次，并进入步骤160；若否，则客户端继续上传重复的相同数据至服务器端，并进入步骤120由服务器端再次判断是否出现异常情况。

步骤160，所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。

具体地，当上传数据失败次数达到预设的次数阈值时，则客户端记录本地相关日志信息，废弃该批次号消息，无需再次进行上传处理。

作为对本实施例的进一步改进，请参照图2，步骤130进一步包括：

步骤210，服务器端接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理。

具体地，接收客户端发送的至少一次的相同批次号信息的数据，服务器端后台定期根据每条消息中的imei_mac_batchId字段进行过滤处理，根据同一批次号的最新记录时间的那条记录为准确数据，进行相关数据的统计工作。

步骤220，服务器端对重复数据进行过滤统计，以删除重复数据。

具体地，通过服务器端的过滤处理，删除了重复数据，提高了数据统计的精确性和准确性。

本实施例提供的数据收集方法，通过客户端向服务器端上传包括批次号信息的数据，根据批次号信息，当服务器端判定没有出现异常情况时，则收集数据，对于客户端多次上传的重复数据，通过服务器端的过滤处理，对重复的数据进行删除，从而保证了数据尽量不丢失，同时，服务端进行去重处理，提高了所收集数据的精确性和准确性。

实施例二

请参照图3，本发明第二实施例提供一种数据收集方法，应用于客户端，所述方法包括步骤：

步骤310，向服务器端上传数据，所述数据包括批次号信息。

具体地，调用服务器端接口，进行数据上传，该数据包括批次号信息。在本实施例中，该数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。

进一步地，batchId可以由0-50000之间进行循环设置。

步骤320，接收所述服务器端发送的没有异常情况的指令，则所述服务器端收集数据成功。

具体地，经由服务器端判定所述数据在上传过程中没有出现异常情况时，则接收服务器端发送的没有异常情况的指令，以说明服务器端成功收集数据。

步骤330，接收所述服务器端发送的异常情况的指令。

具体地，经由服务器端判定所述数据在上传过程中出现异常情况时，则接收服务器端发送的异常情况的指令。

步骤340，重新上传带有所述批次号信息的数据。

具体地，需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。

步骤350，判断重新上传相同数据的次数是否达到预设的次数阈值，若是，则进入步骤360，若否，则返回步骤310。

具体地，重新上传相同数据说明前次上传的数据失败，在每次重新上传数据时，分别判断相同批次号信息的数据的上传次数(例如N次)是否达到预设的次数阈值，若是，则说明上传数据的失败的次数为N次，若否，则返回步骤310向服务器端重新上传数据。

步骤360，记录本地相关日志信息，并废弃所述批次号信息的数据。

具体地，当上传数据失败次数达到预设的次数阈值时，则记录本地相关日志信息，废弃该批次号消息，无需再次进行上传处理。

本实施例提供的数据收集方法，应用于客户端，通过向服务器端上传包括批次号信息的数据，当接收服务器端发送的没有异常情况的指令时，则说明服务器端收集数据成功，当接收服务器端发送的异常情况指令时，再重新上传相同的数据，以使服务器端对重复数据进行去重处理，从而确保数据尽量不丢失且能够对重复数据进行有效地去重，提高了数据收集的精准性。

实施例三

请参照图4，本发明第三实施例提供一种数据收集方法，应用于服务器端，所述方法包括步骤：

步骤410，接收客户端发送的带有批次号信息的数据。

具体地，数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。

进一步地，batchId可以由0-50000之间进行循环设置。

步骤420，根据所述批次号信息，判断是否出现异常情况，若否，则进入步骤430；若是，则进入步骤440。

具体地，接收客户端上传的数据，通过接口处理消息。当接口返回处理失败标识，或者接口没有返回信息，或者其他异常情况时，则判定出现异常情况，并进入步骤430。当没有出现上述异常时，则判定没有出现异常情况，并进入步骤440。

步骤430，收集所述数据。

具体地，收集该数据并记录在数据库中。

步骤440，接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理。

具体地，当出现异常时，客户端需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。

接收客户端发送的至少一次的相同批次号信息的数据，后台定期根据每条消息中的imei_mac_batchId字段进行过滤处理，根据同一批次号的最新记录时间的那条记录为准确数据，进行相关数据的统计工作。

步骤450，对重复数据进行过滤统计，以删除重复数据。

具体地，通过过滤处理，删除了重复数据，提高了数据统计的精确性和准确性。

本实施例提供的数据收集方法，应用于服务器端，接收客户端发送的带有批次号信息的数据，根据所述批次号信息，判断是否出现异常情况，当没有出现异常情况时，则收集数据，当出现异常时，则接收客户端发送的重复数据，通过对重复数据进行过滤处理，删除重复的数据，从而提高了数据收集的精确性和准确性。

实施例四

请参照图5，为本发明第四实施例提供一种数据收集系统的模块示意图。本实施例中的数据收集系统包括客户端510和与客户端510通信连接的服务器端520。其中，

客户端510，用于向服务器端上传数据，所述数据包括批次号信息。

具体地，客户端510调用服务器端接口，进行数据上传，该数据包括批次号信息。在本实施例中，该数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。

进一步地，batchId可以由0-50000之间进行循环设置。

服务器端520，用于根据所述批次号信息，判断是否出现异常情况。

具体地，服务器端520接收客户端510上传的数据，服务器端520的接口处理消息。当接口返回处理失败标识，或者接口没有返回信息，或者其他异常情况时，则服务器端520判定出现异常情况。当没有出现上述异常时，则服务器端520判定没有出现异常情况。

当服务器端520判定没有出现异常情况时，所述服务器端520收集数据，并记录在数据库中。

当服务器端520判定出现异常情况时，触发客户端510重新上传带有所述批次号信息的数据。具体地，客户端510需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。

服务器端520，还用于针对所述客户端重新上传相同数据的次数，判断所述次数是否达到预设的次数阈值。

具体地，客户端510重新上传相同数据说明前次上传的数据失败，在客户端510每次重新上传数据时，服务器端520分别判断相同批次号信息的数据的上传次数(例如N次)是否达到预设的次数阈值，若是，则说明客户端510上传数据的失败的次数为N次；若否，则客户端510继续上传重复的相同数据至服务器端520，并由服务器端520再次判断是否出现异常情况。

当服务器端520判定重新上传相同数据的次数达到预设的次数阈值时，则触发客户端510记录本地相关日志信息，并废弃所述批次号信息的数据。

具体地，当上传数据失败次数达到预设的次数阈值时，则客户端510记录本地相关日志信息，废弃该批次号消息，无需再次进行上传处理。

作为对本实施例的进一步改进，服务器端520收集数据的过程具体为：

第一步：服务器端520接收所述客户端510发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理。

具体地，服务器端520接收客户端510发送的至少一次的相同批次号信息的数据，服务器端520后台定期根据每条消息中的imei_mac_batchId字段进行过滤处理，根据同一批次号的最新记录时间的那条记录为准确数据，进行相关数据的统计工作。

第二步：服务器端520对重复数据进行过滤统计，以删除重复数据。

具体地，通过服务器端520的过滤处理，删除了重复数据，提高了数据统计的精确性和准确性。

本实施例提供的数据收集系统，通过客户端510向服务器端上传包括批次号信息的数据，根据批次号信息，当服务器端520判定没有出现异常情况时，则收集数据，对于客户端510多次上传的重复数据，通过服务器端520的过滤处理，对重复的数据进行删除，从而保证了数据尽量不丢失，同时，服务端进行去重处理，提高了所收集数据的精确性和准确性。

实施例五

请参照图6，本发明第五实施例提供一种数据收集装置，应用于客户端，所述装置包括：

数据上传模块610，用于向服务器端上传数据，所述数据包括批次号信息。

具体地，数据上传模块610调用服务器端接口，进行数据上传，该数据包括批次号信息。在本实施例中，该数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。

进一步地，batchId可以由0-50000之间进行循环设置。

接收模块620，用于接收所述服务器端发送的没有异常情况的指令，则所述服务器端收集数据成功。

具体地，经由服务器端判定所述数据在上传过程中没有出现异常情况时，则接收模块620接收服务器端发送的没有异常情况的指令，以说明服务器端成功收集数据。

所述接收模块620，还用于接收所述服务器端发送的异常情况的指令。

具体地，经由服务器端判定所述数据在上传过程中出现异常情况时，则接收模块620接收服务器端发送的异常情况的指令。

重复上传模块630，用于重新上传带有所述批次号信息的数据。

具体地，重复上传模块630需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。

判断模块640，用于判断重新上传相同数据的次数是否达到预设的次数阈值。

具体地，重新上传相同数据说明前次上传的数据失败，在每次重新上传数据时，判断模块640分别判断相同批次号信息的数据的上传次数(例如N次)是否达到预设的次数阈值，若是，则说明上传数据的失败的次数为N次，若否，则触发重新上传模块630向服务器端重新上传数据。

数据废弃模块650，用于当判断模块640判定重新上传相同数据的次数达到预设的次数阈值时，记录本地相关日志信息，并废弃所述批次号信息的数据。

具体地，当上传数据失败次数达到预设的次数阈值时，则数据废弃模块650记录本地相关日志信息，废弃该批次号消息，无需再次进行上传处理。

本实施例提供的数据收集装置，应用于客户端，通过数据上传模块610向服务器端上传包括批次号信息的数据，当接收模块620接收服务器端发送的没有异常情况的指令时，则说明服务器端收集数据成功，当接收模块620接收服务器端发送的异常情况指令时，再触发重新上传模块630重新上传相同的数据，以使服务器端对重复数据进行去重处理，从而确保数据尽量不丢失且能够对重复数据进行有效地去重，提高了数据收集的精准性。

实施例六

请参照图7，本发明第六实施例提供一种数据收集装置，应用于服务器端，所述装置包括：

数据接收模块710，用于接收客户端发送的带有批次号信息的数据。

具体地，数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。

进一步地，batchId可以由0-50000之间进行循环设置。

异常判断模块720，用于根据所述批次号信息，判断是否出现异常情况。

具体地，数据接收模块710接收客户端上传的数据，通过接口处理消息。当接口返回处理失败标识，或者接口没有返回信息，或者其他异常情况时，则异常判断模块720判定出现异常情况。当没有出现上述异常时，则异常判断模块720判定没有出现异常情况。

数据收集模块730，用于当异常判断模块720判断没有出现异常情况时，收集所述数据并记录在数据库中。

数据接收模块710，还用于当异常判断模块720判断出现异常情况时，接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理。

具体地，当出现异常时，客户端需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。

数据接收模块710接收客户端发送的至少一次的相同批次号信息的数据，后台定期根据每条消息中的imei_mac_batchId字段进行过滤处理，根据同一批次号的最新记录时间的那条记录为准确数据，进行相关数据的统计工作。

数据去重模块740，用于对重复数据进行过滤统计，以删除重复数据。

具体地，通过数据去重模块740的过滤处理，删除了重复数据，提高了数据统计的精确性和准确性。

本实施例提供的数据收集装置，应用于服务器端，数据接收模块710接收客户端发送的带有批次号信息的数据，根据所述批次号信息，异常判断模块720判断是否出现异常情况，当没有出现异常情况时，则数据收集模块730收集数据，当出现异常时，则数据接收模块710接收客户端发送的重复数据，通过数据去重模块740对重复数据进行过滤处理，删除重复的数据，从而提高了数据收集的精确性和准确性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器端，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。