本发明涉及数字信息处理，具体涉及多模态的信息交互平台及其管理系统、方法。

背景技术：

1、随着人机交互技术的不断发展，多模态交互系统因能融合文本、语音、图像、视频、手势等多种信息载体，为用户提供更自然、高效的交互体验而备受关注。现有技术中，多模态信息交互平台通常采用固定的数据处理流程，对输入数据进行模态识别、特征提取和融合，进而生成交互响应。

2、然而，在多模态数据处理过程中，尤其是在面对视频等高维、复合型输入数据时，如何对数据内部蕴含的多种模态信息进行精细化的分解、提取和关联，缺乏一套可配置、可执行的系统性方案。现有系统往往难以清晰地定义模态与子模态之间的归属关系，以及如何基于这些关系进行特征的对齐和关联提取，导致多模态数据中大量有价值的细粒度信息被忽略或处理失当，影响了交互响应的准确性和丰富性。并且在处理复杂模态时往往占用过多计算资源。

3、鉴于此，提供一种多模态的信息交互平台及其管理系统、方法。

技术实现思路

1、针对上述问题，本发明提供多模态的信息交互平台及其管理系统、方法。

2、本发明的第一方面，提供一种多模态的信息交互平台，包括：

3、数据获取模块，被配置为获取被采样对象的输入数据；

4、数据处理模块，被配置为接收所述输入数据，判断所述输入数据的模态类型并分类封包得到封包数据；

5、服务器，被配置为预处理所述封包数据，提取所述封包数据中的模态特征数据，根据所述模态特征数据生成交互响应。

6、作为一种优选方式，所述数据处理模块基于预设的模态提取配置，判断所述输入数据的模态类型并进行分类封包；

7、所述模态提取配置至少包括所述输入数据可被分解的模态、各模态可被二次分解的子模态类型以及模态与子模态之间的归属关系。

8、作为一种优选方式，所述服务器提取模态特征数据时，根据所述封包数据中的归属关系和时序对齐关系，对具有归属关系和时序对应的不同模态及子模态的特征进行关联提取，并生成具有所述归属关系和时序对应关联的多模态交互响应。

9、作为一种优选方式，所述数据处理模块还被配置为：

10、判断所述输入数据中包括来自所述数据获取模块的视觉设备所采样的视频数据时，将所述视频数据分解为至少一个第一模态和至少一个第二模态，其中，所述第一模态为所述模态提取配置中定义的图像帧序列模态，所述第二模态为所述模态提取配置中定义的音频流模态；

11、根据所述模态提取配置中定义的子模态类型，对所述第一模态进行模态再提取，以获得第一模态的至少一个子模态，所述子模态至少包括表示视频数据内运动轨迹的动作子模态、表征眼动变化的眼动子模态和/或表征面部表情的表情子模态；

12、依据所述模态提取配置中定义的子模态类型，对所述第二模态进行模态再提取，以获得第二模态的语音子模态或转换为第三模态，所述第三模态为文本模态；

13、对所述第一模态、第二模态及其各自的子模态，根据所述模态提取配置中定义的归属关系分配归属关系标识，并基于所述视频数据的时序，建立各模态之间以及各模态与其子模态之间的时序对齐信息，生成包括模态层级归属关系及同步时间戳的封包数据。

14、本发明的第二方面，提供一种多模态的信息交互平台的管理系统，包括多个预设配置项并配置于所述的服务器，所述预设配置项包括：

15、第一配置项，设置初始模态提取配置，所述初始模态提取配置包括输入数据能够被分解的模态类型及与各模态类型对应的子模态类型、模态与子模态之间的归属关系及关联强度阈值、以及所述服务器在提取模态特征时所适用的特征提取限度参数；

16、第二配置项，用于定义与所述模态提取配置中各模态及子模态对应的多个标准采样点，每个所述标准采样点映射至一个模态或子模态，并定义该标准采样点在视频帧空间内的关注区域坐标范围、在视频时间轴上的有效时间窗口以及对应该关注区域的数据采样分辨率。

17、作为一种优选方式，所述预设配置项还包括：

18、第三配置项，用于获取所述信息交互平台的历史交互日志，并基于所述历史交互日志所记录的各模态及子模态的使用情况和交互效能指标，计算各模态及子模态对交互效能的贡献度，以识别出低效模态或低效子模态；

19、第四配置项，用于根据所述第三配置项得到的低效模态或低效子模态，调整所述第一配置项中的初始模态提取配置，包括从所述初始模态提取配置中移除所述低效模态或降级所述低效子模态，并相应更新所述归属关系、关联强度阈值及特征提取限度参数，以生成更新后的模态提取配置；

20、所述第四配置项在移除模态时，保持当前模态的贡献度权重和高于预设的最低贡献度阈值。

21、作为一种优选方式，所述第四配置项还用于将所述更新后的模态提取配置下发至所述服务器，以更新所述数据处理模块所依据的模态提取配置，使得所述数据处理模块在下一次获取输入数据时，对于已移除或降级的模态或子模态不再执行模态分解和封包。

22、作为一种优选方式，所述预设配置项还包括：

23、第五配置项，用于在获取被采样对象的输入数据时，提取所述被采样对象的用户标识，并判断所述用户标识是否与已存在；

24、若是，调用所述用户标识对应的模态提取配置下发至所述数据处理模块执行所述数据处理模块的配置，并将此次交互写入至历史交互日志中；

25、且在将此次交互写入历史交互日志后，判断用户标识对应的模态提取配置中的各模态的贡献度权重和是否低于当前交互的预设贡献度阈值；

26、若是，则从所述历史交互日志中回溯已被移除的模态或子模态至贡献度权重和高于预设贡献度阈值，将其更新至该用户标识对应的模态提取配置中。

27、作为一种优选方式，还包括第六配置项，被配置为当根据所述第四配置项更新所述第一配置项中的关联强度阈值时，调整与该关联强度阈值映射的标准采样点在视频帧内的所述关注区域坐标范围和/或有效时间窗口；

28、其中，对于关联强度阈值提高的模态或子模态，将其映射的标准采样点的关注区域坐标范围按比例扩大，并将数据采样分辨率提高；

29、对于关联强度阈值降低的模态或子模态，将其映射的标准采样点的关注区域坐标范围按比例缩小；对于被移除的模态或子模态，删除其映射的标准采样点；

30、所述第六配置项还用于，当所述第五配置项从历史交互日志中激活已被移除的模态或子模态并重新加入时，重新创建与该模态或子模态映射的标准采样点，并恢复其对应的关注区域坐标范围、有效时间窗口和数据采样分辨率。

31、本发明的第三方面，提供一种多模态信息交互方法，包括如下步骤：

32、获取被采样对象的输入数据；

33、基于预设的模态提取配置，判断所述输入数据的模态类型并进行分类封包，生成包含归属关系和时序对齐信息的封包数据；

34、对所述封包数据进行预处理，依据所述封包数据中的归属关系和时序对齐信息，对具有归属关系和时序对应的不同模态及子模态的特征进行关联提取；

35、根据关联提取的模态特征数据生成具有所述归属关系和时序对应关联的多模态交互响应。

36、本发明相比现有技术具有如下有益效果：

37、本发明可配置的模态提取配置，明确定义了输入数据可被分解的模态、各模态可被二次分解的子模态类型及其归属关系，并提供了一套完整的执行方案。特别是针对视频数据，能够将其系统性地分解为图像帧序列模态、音频流模态，并进一步提取动作、眼动、表情等子模态。基于归属关系和时序对齐信息进行的封包，使得服务器能够对具有关联的不同模态及子模态进行精确的特征关联提取，从而生成逻辑严密、信息关联性强的多模态交互响应，显著提升了交互的准确性和深度。

38、本发明通过对历史交互日志的分析，能够自动计算各模态及子模态对交互效能的贡献度，并据此动态调整模态提取配置。通过移除或降级低效模态，并同步更新归属关系、关联强度阈值及特征提取限度参数，有效精简了数据处理流程。在下一次交互中，平台对于已移除或降级的模态不再执行分解和封包操作，从而减少了数据获取量、降低了数据写入开销，显著加快了模态分类和响应的速度，使系统能够自适应地演进至高效运行状态。同时，通过设定模态移除时的最低贡献度阈值约束，防止了模态被无限精简，确保了平台基础交互能力的稳定。

39、本发明能够为用户建立特定的模态提取配置，并在识别用户后直接调用，跳过了通用的模态判断逻辑，实现了个性化的快速响应。更重要的是，当优化后的配置在当前交互中无法满足交互需求时，系统能够智能地从历史交互日志中回溯并激活曾对该用户有效、但已被移除的模态，将其重新加入配置，兼顾了处理速度与交互质量。

40、本发明通过建立标准采样点与模态提取配置的映射及动态调整机制，系统能够根据模态重要性的变化，自动调整视频帧内关注区域的空间坐标范围、时间窗口和采样分辨率。当某模态重要性提升时，系统自动扩大其关注区域、提高采样精度以获取更丰富信息；当模态被降级或移除时，则相应缩小关注范围或删除采样点以节省资源。这使得对视频数据的处理粒度能够随模态策略动态优化，进一步提升了整体系统的运行效率和针对性。