一种数据处理方法和装置与流程

本发明涉及通信，特别是指一种数据处理方法和装置。

背景技术：

1、物联网终端在使用时，可能会产生大量的非结构化数据，例如视频、音频、文件、图片等，目前，物联网终端设备在将非结构化数据传递到云端时，存在物联网终端非结构化数据处理难度大、业务通用性差，元数据变更时无法兼容、流程复杂，集成难度大等问题。

技术实现思路

1、本发明的目的是提供一种数据处理方法和装置，以避免现有技术中物联网终端非结构化数据处理难度大、业务通用性差，元数据变更时无法兼容、流程复杂，集成难度大等问题。

2、为达到上述目的，本发明的实施例提供一种数据处理方法，由服务端执行，包括：

3、接收客户端发送的切分后的非结构化数据；

4、根据所述切分后的非结构化数据，生成所述非结构化数据的结构化数据，并将所述结构化数据发送至所述客户端；

5、接收所述客户端发送的所述非结构化数据的索引信息，并根据所述索引信息创建索引服务。

6、可选的，所述根据所述索引信息创建索引服务，包括：

7、根据所述索引信息解析所述非结构化数据的对应的当前用户信息和业务数据信息；

8、根据所述当前用户信息，匹配所述非结构化数据对应的预设数据空间；

9、根据所述非结构化数据匹配的预设数据空间和所述业务数据信息，确定所述业务数据信息是否发生数据变更；

10、若未发生数据变更，则将存储所述业务数据信息。

11、可选的，所述确定所述业务数据信息是否发生数据变更，包括：

12、若发生数据变更，则将所述非结构化数据匹配的预设数据空间和所述业务数据信息进行数据合并，更新所述非结构化数据匹配的预设数据空间；

13、存储更新后的所述非结构化数据匹配的预设数据空间。

14、可选的，所述接收客户端发送的切分后的非结构化数据之前，包括：

15、接收所述客户端发送的上报文件请求；

16、根据所述上报文件请求，创建上报文件任务以及切分策略，并将所述上报文件任务以及切分方式发送至所述客户端；

17、其中，所述切分策略至少包括切片数量、切片大小。

18、可选的，所述根据所述索引信息创建索引服务之后，包括：

19、接收业务系统发送的索引数据请求信息；

20、根据所述索引数据请求信息，确定所述索引数据请求信息对应的预设数据空间，以及索引条件；

21、根据所述索引数据请求信息对应的预设数据空间以及所述索引条件，执行对应的操作指令。

22、为达到上述目的，本发明的实施例还提供一种数据处理方法，由客户端执行，包括：

23、在预设周期内循环扫描终端设备的预设目录，获取非结构化数据，所述预设目录存储有所述终端设备产生的非结构化数据；

24、对所述非结构化数据进行解析和切分处理，并将切分后的非结构化数据发送至服务端；

25、接收所述服务端反馈的结构化数据；

26、根据所述服务端反馈的结构化数据，生成所述非结构化数据的索引信息，并将所述索引信息发送至所述服务端。

27、可选的，所述对所述非结构化数据进行切分处理，包括：

28、向所述服务端发送上报文件请求；

29、接收所述服务端反馈的上报文件任务以及切分策略；其中，所述切分策略至少包括切片数量、切片大小；

30、根据所述切分策略，确定切分后的非结构化数据。

31、为达到上述目的，本发明的实施例还提供一种数据处理装置，包括：

32、第一接收模块，用于接收客户端发送的切分后的非结构化数据；

33、第一处理模块，用于根据所述切分后的非结构化数据，生成所述非结构化数据的结构化数据，并将所述结构化数据发送至所述客户端；

34、第二接收模块，用于接收所述客户端发送的所述非结构化数据的索引信息，并根据所述索引信息创建索引服务。

35、可选的，所述第二接收模块，包括：

36、解析单元，用于根据所述索引信息解析所述非结构化数据的对应的当前用户信息和业务数据信息；

37、匹配单元，用于根据所述当前用户信息，匹配所述非结构化数据对应的预设数据空间；

38、第一确定单元，用于根据所述非结构化数据匹配的预设数据空间和所述业务数据信息，确定所述业务数据信息是否发生数据变更；

39、第一确定子单元，用于若未发生数据变更，则将存储所述业务数据信息。

40、可选的，所述第一确定单元，包括：

41、第二确定子单元，用于若发生数据变更，则将所述非结构化数据匹配的预设数据空间和所述业务数据信息进行数据合并，更新所述非结构化数据匹配的预设数据空间；

42、存储更新后的所述非结构化数据匹配的预设数据空间。

43、可选的，所述装置还包括：

44、第四接收模块，用于接收所述客户端发送的上报文件请求；

45、第三处理模块，用于根据所述上报文件请求，创建上报文件任务以及切分策略，并将所述上报文件任务以及切分方式发送至所述客户端；

46、其中，所述切分策略至少包括切片数量、切片大小。

47、可选的，所述装置还包括：

48、第五接收模块，用于接收业务系统发送的索引数据请求信息；

49、确定模块，用于根据所述索引数据请求信息，确定所述索引数据请求信息对应的预设数据空间，以及索引条件；

50、第四处理模块，用于根据所述索引数据请求信息对应的预设数据空间以及所述索引条件，执行对应的操作指令。

51、为达到上述目的，本发明的实施例还提供一种数据处理装置，包括：

52、获取模块，用于在预设周期内循环扫描终端设备的预设目录，获取非结构化数据，所述预设目录存储有所述终端设备产生的非结构化数据；

53、第一发送模块，用于对所述非结构化数据进行解析和切分处理，并将切分后的非结构化数据发送至服务端；

54、第三接收模块，用于接收所述服务端反馈的结构化数据；

55、第二处理模块，用于根据所述服务端反馈的结构化数据，生成所述非结构化数据的索引信息，并将所述索引信息发送至所述服务端。

56、可选的，所述第一发送模块，包括：

57、发送单元，用于向所述服务端发送上报文件请求；

58、接收单元，用于接收所述服务端反馈的上报文件任务以及切分策略；其中，所述切分策略至少包括切片数量、切片大小；

59、第二确定单元，用于根据所述切分策略，确定切分后的非结构化数据。

60、为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的数据处理方法中的步骤。

61、本发明的上述技术方案的有益效果如下：

62、上述技术方案中，所述方法包括：接收客户端发送的切分后的非结构化数据；根据所述切分后的非结构化数据，生成所述非结构化数据的结构化数据，并将所述结构化数据发送至所述客户端；接收所述客户端发送的所述非结构化数据的索引信息，并根据所述索引信息创建索引服务，解决了物联网终端设备在将非结构化数据传递到云端时，存在无法对体量较大的非结构化数据进行处理、流程复杂、集成难度大等问题。