基于多级数据通道的实时大数据处理方法及系统与流程

本发明涉及大数据，特别涉及一种基于多级数据通道的实时大数据处理方法及系统。

背景技术：

1、多级数据通道（multi-tier data channels）是一种处理和管理数据流的方法，其中数据在从源头到目标的过程中通过多个处理和传输阶段。这些阶段可能包括数据的采集、预处理、存储、分析等步骤，每个阶段都可以被看作是一个独立的“通道”。

2、在多级数据通道模型中，每一级都具有特定的功能和责任。例如：数据采集：负责从各种源（如数据库、应用程序、网络、传感器等）收集原始数据；数据预处理：对收集到的数据进行清洗、格式化、验证等操作，以确保其质量和可用性；数据存储：将预处理后的数据保存在适当的存储系统（如数据库或数据仓库）中，以便后续处理和分析；数据分析：使用各种工具和技术（如sql查询、数据挖掘、机器学习等）对存储的数据进行分析，提取有价值的信息和洞见；数据展示：将分析结果以易于理解的方式（如报表、图表、仪表板等）呈现给用户。

3、通过将整个数据处理流程划分为多个阶段，多级数据通道不仅可以使数据处理更加有序和高效，而且还可以方便地对每个阶段进行单独的优化和调整。在实际应用过程中，多级数据通道可以应用在业务需求挖掘任务下，但是传统技术在进行业务需求挖掘时存在精度不高的问题。

技术实现思路

1、为改善相关技术中存在的技术问题，本发明提供了一种基于多级数据通道的实时大数据处理方法及系统。

2、第一方面，本发明实施例提供了一种基于多级数据通道的实时大数据处理方法，应用于大数据处理系统，所述方法包括：

3、将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；

4、依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，所述第一多模态局部会话交互描述知识为所述若干个多模态局部会话交互描述知识中的任一个，所述若干个第二多模态局部会话交互描述知识包括所述第一多模态局部会话交互描述知识以及最少一个除所述第一多模态局部会话交互描述知识以外的剩余多模态局部会话交互描述知识；

5、依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点。

6、在一些方案中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：

7、对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量。

8、在一些方案中，所述对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：

9、依据所述第一多模态局部会话交互描述知识的会话索引向量和每个第二多模态局部会话交互描述知识的会话标识向量，确定所述第一多模态局部会话交互描述知识与每个所述第二多模态局部会话交互描述知识之间的特征牵涉分值；

10、基于所述若干个第二多模态局部会话交互描述知识分别对应的若干个特征牵涉分值，对所述若干个第二多模态局部会话交互描述知识的会话属性向量进行量化集成，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量。

11、在一些方案中，所述多模态局部会话交互描述知识的会话索引向量、会话标识向量和会话属性向量依据第一变量关系列表得到，所述方法还包括：

12、在存在若干个第一变量关系列表的基础上，将依据所述若干个第一变量关系列表分别所得的、所述第一多模态局部会话交互描述知识对应的若干个会话行为嵌入向量进行特征组合和特征下采样，得到所述第一多模态局部会话交互描述知识对应的已优化会话行为嵌入向量。

13、在一些方案中，所述若干个第二多模态局部会话交互描述知识包括所述第一多模态局部会话交互描述知识以及所述第一多模态局部会话交互描述知识的多模态关联会话交互描述知识，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：

14、依据第一通道阶段数据集在所述实时业务会话数据流中的第一分布标签，确定与所述第一分布标签关联的第二分布标签，其中，所述第一多模态局部会话交互描述知识是对所述第一通道阶段数据集进行会话交互描述挖掘所得的；

15、将对应于所述第二分布标签的第二通道阶段数据集对应的多模态局部会话交互描述知识，确定为所述多模态关联会话交互描述知识。

16、在一些方案中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：

17、针对所述若干个通道阶段数据集中的每个通道阶段数据集，对所述通道阶段数据集的分布标签信息进行特征映射，得到分布表征变量，将所述分布表征变量叠加到所述通道阶段数据集的多模态局部会话交互描述知识，所述分布标签信息用于反映所述通道阶段数据集在所述实时业务会话数据流中的分布标签。

18、在一些方案中，所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：

19、依据原始分类判别向量，确定第一基础会话索引向量，对所述第一基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到会话向量混淆结果，所述原始分类判别向量用于指示启动特征混淆处理；

20、依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，对所述第二基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到后一个会话向量混淆结果，直到所得的会话向量混淆结果提示完成特征混淆；

21、依据既有若干个会话向量混淆结果，确定所述目标用户活动事件的业务需求决策观点。

22、在一些方案中，所述依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，包括：

23、依据最新的既有会话向量混淆结果的会话索引向量和所述原始分类判别向量的会话标识向量，确定所述原始分类判别向量对应的特征牵涉分值，以及，依据所述最新的既有会话向量混淆结果的会话索引向量和每个既有会话向量混淆结果的会话标识向量，确定每个既有会话向量混淆结果对应的特征牵涉分值；

24、基于所述原始分类判别向量对应的特征牵涉分值和每个既有会话向量混淆结果对应的特征牵涉分值，对所述原始分类判别向量的会话属性向量和每个既有会话向量混淆结果的会话属性向量进行量化集成，得到所述第二基础会话索引向量。

25、在一些方案中，所述分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识，包括：

26、调整每个所述通道阶段数据集的原始会话交互描述知识关系网的特征规模，直到得到目标特征规模的会话交互描述知识关系网；

27、将所述目标特征规模的会话交互描述知识关系网调整为特征规模为1维的多模态局部会话交互描述知识。

28、在一些方案中，每个所述多模态局部会话交互描述知识的描述层面数为第一个数，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：

29、对每个所述多模态局部会话交互描述知识进行滑窗可逆处理，得到滑窗可逆处理后的多模态局部会话交互描述知识，所述滑窗可逆处理后的多模态局部会话交互描述知识的描述层面数为第二个数，所述第二个数小于所述第一个数；

30、所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：

31、依据滑窗可逆处理后的第一多模态局部会话交互描述知识和若干个滑窗可逆处理后的第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量。

32、在一些方案中，所述若干个多模态局部会话交互描述知识基于每个所述多模态局部会话交互描述知识对应的通道阶段数据集在所述实时业务会话数据流中的分布标签排列，形成所述实时业务会话数据流的会话交互描述知识关系网，所述会话交互描述知识关系网的描述层面数为第一个数；

33、所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：

34、对所述实时业务会话数据流的会话交互描述知识关系网进行滑窗可逆处理，得到滑窗可逆处理后的会话交互描述知识关系网，所述滑窗可逆处理后的会话交互描述知识关系网的描述层面数为第二个数，所述第二个数小于所述第一个数；

35、所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：

36、依据所述滑窗可逆处理后的会话交互描述知识关系网中的第一多模态局部会话交互描述知识和所述滑窗可逆处理后的会话交互描述知识关系网中的若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量。

37、在一些方案中，业务需求决策算法包括会话交互描述挖掘分支和专家知识处理分支，所述专家知识处理分支包括特征挖掘组件和观点决策组件；

38、所述分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识，包括：根据所述会话交互描述挖掘分支，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；

39、所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：根据所述特征挖掘组件，依据所述第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；

40、所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：根据所述观点决策组件，依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点。

41、在一些方案中，所述专家知识处理分支还包括知识译码组件，所述知识译码组件包括焦点化处理节点和特征混淆节点；

42、所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：

43、根据所述焦点化处理节点，依据原始分类判别向量，确定第一基础会话索引向量；

44、根据所述特征混淆节点，对所述第一基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到会话向量混淆结果，所述原始分类判别向量用于指示启动特征混淆处理；

45、根据所述焦点化处理节点，依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量；

46、根据所述特征混淆节点，对所述第二基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到后一个会话向量混淆结果；直到所得的会话向量混淆结果提示完成特征混淆；

47、根据所述观点决策组件，依据既有若干个会话向量混淆结果，确定所述目标用户活动事件的业务需求决策观点。

48、在一些方案中，所述专家知识处理分支的调试步骤包括：

49、获取过往实时业务会话数据流的若干个多模态局部会话交互描述知识以及所述过往实时业务会话数据流对应的调试学习依据，所述调试学习依据用于反映所述目标用户活动事件的已认证需求决策观点；

50、根据所述专家知识处理分支，对所述过往实时业务会话数据流的若干个多模态局部会话交互描述知识进行处理，得到过往需求预测观点；

51、依据所述过往需求预测观点和所述调试学习依据，调试所述专家知识处理分支。

52、第二方面，本发明还提供了一种大数据处理系统，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述的方法。

53、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。

54、本发明实施例提供的设计思路将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，鉴于若干个通道阶段数据集对目标用户活动事件的业务需求决策观点的协作贡献，对于每个通道阶段数据集的多模态局部会话交互描述知识，都将若干个多模态局部会话交互描述知识叠加到该多模态局部会话交互描述知识中，可以确保多模态局部会话交互描述知识的全面嵌入，以保障会话行为嵌入向量的内容表达丰富程度和准确度，这样可以基于特征质量更佳的会话行为嵌入向量来确定业务需求决策观点，以确保针对目标用户活动事件的业务需求决策精度和可解释性。