一种基于物联网技术的数据处理方法及系统

本发明涉及数据处理，特别涉及一种基于物联网技术的数据处理方法及系统。

背景技术：

1、目前，随着物联网的逐步发展，接入物联网的设备规模呈几何式增长，越来越多的设备，意味着物联网平台每时每刻需要处理的数据都是海量的，这为物联网数据处理带来了更大的挑战。物联网数据处理更多是依靠初始资源优先级进行分配处理，而不同数据的所需资源依靠初始资源优先级进行分配会导致同级资源分配迟缓，进而导致数据处理效率并不高。

2、因此，本发明提供一种基于物联网技术的数据处理方法及系统。

技术实现思路

1、本发明提供一种基于物联网技术的数据处理方法及系统，用以通过对网络任务的任务下发端以及任务下发窗口进行溯源，结合任务类型，对网络任务分配暂存位置，基于位置-资源映射框架确定待分配资源，根据初始资源优先级进行分配，根据分配结束后的资源优先使用状态，对同暂存位置的所有资源优先级进行更新，极大程度降低同级资源的筛选时间，间接提高数据处理效率。

2、本发明提供一种基于物联网技术的数据处理方法，包括：

3、步骤1：采集物联网平台的网络任务，并对每个网络任务的任务下发端以及任务下发窗口进行溯源，且结合对应网络任务的任务类型，对对应网络任务分配暂存位置；

4、步骤2：根据所述暂存位置，并基于位置-资源映射框架锁定资源数据库中的待分配资源，对待分配资源中的每条资源内容按照初始资源优先级进行分配；

5、步骤3：当分配结束之后，实时捕捉任务下发端对待分配资源中每条资源内容的资源使用日志，确定每条资源内容的资源优先使用状态，并按照不同任务下发端所对应的同暂存位置的所有资源优先使用状态对资源数据库进行资源优先级更新。

6、优选的，采集物联网平台的网络任务，并对每个网络任务的任务下发端以及任务下发窗口进行溯源，且结合对应网络任务的任务类型，对对应网络任务分配暂存位置，包括：

7、获取所采集的每个网络任务的任务编码，并对所述任务编码进行随机截取；

8、按照预设编码规则对截取编码进行字符划分，确定所述截取编码的划分块、每个划分块包含的字符个数以及每个划分块的预设权重，并生成编码重要性；

9、；其中，b1表示对应截取编码的编码重要性；表示对应截取编码所涉及到的划分块个数；m0表示任务编码所涉及到的划分块个数；表示对应截取编码中的第i1个划分块的预设权重；表示对应截取编码中的第i1个划分块涉及到的截取字符个数；表示对应截取编码中的第i1个划分块的完整字符个数；

10、锁定所述截取编码中字符个数最多的划分块，并根据字符个数最多的划分块所对应的预设权重以及编码重要性，从加密数据库中调取得到与所述截取编码匹配的加密方式；

11、根据所述加密方式获取对应的解密方式对所述截取编码进行解密，确定对应网络任务的溯源信息；

12、从所述溯源信息中提取与中转器相关的第一标识，并根据标识-实体映射表，确定所述第一标识对应的中转实体；

13、根据所述中转实体的出现顺序，构建初始通信网；

14、基于每个中转实体与物联网平台的第一通信关系以及基于所有中转实体之间的第二通信关系，对所述初始通信网进行优化，推演溯源信息的演变过程；

15、根据所述演变过程确定源头实体，并锁定源头实体所对应的任务下发窗口以及任务下发端；

16、获取每个第一位置的历史暂存任务，根据每个历史暂存任务的历史下发窗口以及历史下发端，向对应第一位置添加标签；

17、根据所述网络任务的任务下发窗口以及任务下发端，从所有添加结果中确定匹配标签，并将所述匹配标签对应的第一位置作为待暂存位置；

18、根据所述网络任务的任务类型与所有待暂存位置进行匹配，确定所述网络任务的暂存位置。

19、优选的，根据所述网络任务的任务类型与所有待暂存位置进行匹配，确定所述网络任务的暂存位置，包括：

20、根据所述网络任务与待暂存位置的历史暂存任务的任务类型以及任务相似度，计算网络任务与待暂存位置的第一匹配度；

21、；其中，yi表示所述网络任务与第i个待暂存位置的第一匹配度；表示第i个待暂存位置的历史暂存任务中任务类型与所述网络任务的任务类型相同的数量；表示第i个待暂存位置的历史暂存任务中第j个任务类型的数量；t表示第i个待暂存位置的历史暂存任务类型数量；表示第i个待暂存位置的历史暂存任务中与所述网络任务的任务类型相同的第k个历史暂存任务与所述网络任务的任务相似度；

22、对所有yi进行大小排序，获取最大匹配度；

23、当所述最大匹配度大于预设匹配度时，将与所述最大匹配度一致的待暂存位置视为所述网络任务的暂存位置；

24、否则，根据所述网络任务的任务下发端以及任务下发窗口，确定任务下发地址，并捕捉所述任务下发地址的日常下发行为；

25、基于所述日常下发行为中不同行为类型的下发频率以及下发周期性规律，确定不同行为类型的日常下发行为与所述网络任务的相关关系；

26、；其中，p1表示对应行为类型的下发频率；表示对应行为类型的下发周期性规律与所述网络任务的任务下发时间的时间重叠系数，当存在时间重叠时，对应的时间重叠系数为1，当不存在时间重叠时，对应的时间重叠系数为0；表示对应行为类型的日常下发行为；表示所述网络任务的任务下发行为；表示交集符号；表示并集符号；

27、将满足提取标准的相关关系所对应的行为类型，来对所述网络任务的任务类型进行扩展；

28、根据扩展结果，重新确定所述网络任务与待暂存位置的第二匹配度；

29、若所述第二匹配度中的最大匹配度大于预设匹配度，则将一致的待暂存位置视为所述网络任务的暂存位置；

30、否则，提取第一匹配度中的最大匹配度y1max、第二大匹配度y1max_1以及第二匹配度中的最大匹配度y2max以及第二大匹配度y2max_2；

31、获取y1max、y1max_1、y2max以及y2max_2四者所对应待暂存位置，构建位置数组；

32、当所述位置数组中存在一个重叠位置时，将所述重叠位置视为所述网络任务的暂存位置；

33、当所述位置数组中存在两个重叠位置时，根据每个重叠位置所对应匹配度的和，筛选较大和所对应的位置视为所述网络任务的暂存位置；

34、当所述位置数组中不存在重叠位置时，从四者所对应待暂存位置中随机挑选一个位置作为所述网络任务的暂存位置。

35、优选的，根据所述暂存位置，并基于位置-资源映射框架锁定资源数据库中的待分配资源，并对待分配资源中的每条资源内容按照初始资源优先级进行分配，包括：

36、根据所述网络任务的暂存位置，基于位置-资源映射框架确定资源数据库中对应暂存位置的对应分配资源；

37、获取所述分配资源的已分配资源，确定所述暂存位置的待分配资源；

38、获取待分配资源中初始资源优先级最高的资源与所述暂存位置的网络任务进行优先匹配，若不匹配，按照初始资源优先级顺延继续匹配，从而进行分配。

39、优选的，当分配结束之后，实时捕捉任务下发端对待分配资源中每条资源内容的资源使用日志，确定每条资源内容的资源优先使用状态，包括：

40、当每个待分配资源分配结束后，实时捕捉对应待分配资源被任务下发端使用的资源使用日志；

41、根据所述资源使用日志确定对应待分配资源分配后的使用情况，其中，使用情况包括：分配后的使用等待时间和使用排队次序；

42、根据所述使用情况确定对应资源内容的资源优先使用状态，获取所有资源内容的资源优先使用状态。

43、优选的，根据所述使用情况确定对应资源内容的资源优先使用状态，包括：

44、获取同个资源内容的使用情况；

45、根据使用排队次序进行使用状态的第一评估；

46、根据使用等待时间对第一评估结果进行调整，确定对应资源内容的资源优先使用状态。

47、优选的，按照不同任务下发端所对应的同暂存位置的所有资源优先使用状态对资源数据库进行资源优先级更新，包括：

48、根据不同任务下发端对应的暂存位置进行暂存位置交叉分析，确定存在同暂存位置的第一任务下发端；

49、获取第一任务下发端对应的同暂存位置的所有资源在资源数据库中的初始资源优先级；

50、确定初始资源优先级相同的第一资源，根据第一任务下发端对应的同暂存位置的第一资源的资源优先使用状态，对第一资源的资源优先级进行更新。

51、本发明提供一种基于物联网技术的数据处理系统，包括：

52、暂存位置分配模块：采集物联网平台的网络任务，并对每个网络任务的任务下发端以及任务下发窗口进行溯源，且结合对应网络任务的任务类型，对对应网络任务分配暂存位置；

53、资源分配模块：基于位置-资源映射框架锁定资源数据库中的待分配资源，并对待分配资源中的每条资源内容按照初始资源优先级进行分配；

54、资源数据库更新模块：当分配结束之后，实时捕捉任务下发端对待分配资源中每条资源内容的资源使用日志，确定每条资源内容的资源优先使用状态，并按照不同任务下发端所对应的同暂存位置的所有资源优先使用状态对资源数据库进行资源优先级更新。

55、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

56、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。