多媒体数据采集方法及装置、存储介质、计算机设备与流程

本技术涉及数据处理，尤其是涉及到一种多媒体数据采集方法及装置、存储介质、计算机设备。

背景技术：

1、在作业现场的数据采集可以用来提高作业监管和质量管理水平，也可以用来做培训和管理提升。现有技术中的视频/拍照的控制方法多为手动控制或者由预先设置的规则控制。视频开始/停止录制的方法为人工操作或者自动操作。人工操作的方法可以是实体按键、虚拟按键发出开始/停止录制的指令，对视频采集的行为进行控制；自动操作的方法常见为画面移动监测或者ai监测，通过对比两帧画面之间的变动，或者检测画面中是否出现指定事件/物体来决定是否启动视频录制。传统的视频和截图控制方法为手动控制或者基于画面移动及特定音频的自动控制，对于头戴设备、移动设备等视频画面经常性变动的场景而言，其自动控制方法并不适用，无法实现自动控制，数据采集过程不够智能，采集的冗余数据较多，数据类型较为单一。

技术实现思路

1、有鉴于此，本技术实施例提供了一种多媒体数据采集方法及装置、存储介质、计算机设备。

2、根据本技术的一个方面，提供了一种多媒体数据采集方法，所述方法包括：

3、通过声音采集设备进行音频数据采集，以及通过视频采集设备进行视频数据采集；

4、将所述音频数据转换为文本数据，以及对所述视频数据进行动作识别和物体检测，确定所述视频数据对应的目标动作信息和目标物体信息；

5、基于所述文本数据、所述目标动作信息和所述目标物体信息，通过大语言模型生成指令理解语句，通过大语言模型生成所述指令理解语句对应的目标多媒体数据采集指令并与控制指令库作对比；

6、若控制指令库中不包含所述目标多媒体数据采集指令，则将所述目标多媒体数据采集指令添加至所述控制指令库中，并基于所述控制指令库中的所述目标多媒体数据采集指令对多媒体数据采集设备进行控制；若控制指令库中包含所述目标多媒体数据采集指令，则执行所述目标多媒体数据采集指令。

7、可选地，目标多媒体数据采集指令包括第一多媒体数据采集类型、第一多媒体数据采集开始条件和第一多媒体数据采集结束条件；

8、基于所述控制指令库中的所述目标多媒体数据采集指令对多媒体数据采集设备进行控制，包括：

9、当满足所述目标多媒体数据采集指令对应的所述第一多媒体数据采集开始条件时，获取与所述第一多媒体数据采集类型对应的多媒体数据采集设备所采集的目标多媒体数据，直到满足所述目标多媒体数据采集指令对应的所述第一多媒体数据采集结束条件为止，并基于所述目标多媒体数据采集指令标注所述目标多媒体数据，其中，所述目标多媒体数据对应的标注信息包括通过大语言模型对所述目标多媒体数据进行理解后生成的摘要型数据、通过大语言模型结合所述目标多媒体数据和所述目标多媒体数据采集指令而生成的描述信息。

10、可选地，所述第一多媒体数据采集开始条件包括时间开始条件、物体检测结果开始条件、动作开始条件以及声音开始条件中任一种；或者，所述第一多媒体数据采集开始条件包括时间开始条件、物体检测结果开始条件、动作开始条件以及声音开始条件中至少两种，以及还包括多种第一多媒体数据采集开始条件之间的关系；

11、所述第一多媒体数据采集结束条件包括时间结束条件、物体检测结果结束条件、动作结束条件以及声音结束条件中任一种；或者，所述第一多媒体数据采集结束条件包括时间结束条件、物体检测结果结束条件、动作结束条件以及声音结束条件中至少两种，以及还包括多种第一多媒体数据采集结束条件之间的关系。

12、可选地，通过大语言模型预测所述指令理解语句对应的目标多媒体数据采集指令之后，所述方法还包括：

13、基于所述目标多媒体数据采集指令，生成指令确认信息；

14、输出所述指令确认信息，并在接收到对所述指令确认信息的确认反馈信号时，判断所述目标多媒体数据采集指令是否存在于所述控制指令库中。

15、可选地，输出所述指令确认信息之后，所述方法还包括：

16、在预设时段内未接收到对所述指令确认信息的确认反馈信号的情况下，忽略所述目标多媒体数据采集指令；

17、判断所述目标多媒体数据采集指令是否存在于所述控制指令库中之后，所述方法还包括：

18、若所述控制指令库包含所述目标多媒体数据采集指令，则输出用于提示所述目标多媒体数据采集指令已存在于所述控制指令库的指令提示信息。

19、可选地，所述控制指令库中还包括至少一个行为监控指令，所述行为监控指令包括行为提醒条件以及所述行为提醒条件对应的行为提醒内容和/或多媒体数据采集信息；所述方法还包括：

20、当满足任一行为监控指令的行为提醒条件时，基于所述行为提醒内容输出行为提醒信息，和/或，基于所述多媒体数据采集信息对多媒体数据采集设备进行控制，其中，所述多媒体数据采集信息包括第二多媒体数据采集类型、第二多媒体数据采集开始条件和第二多媒体数据采集结束条件。

21、可选地，所述行为提醒条件包括被监测物品的距离条件、第一被监测位置的温度条件、第二被监测位置的压力条件中至少一种；

22、当满足任一行为监控指令的行为提醒条件时，基于所述行为提醒内容输出行为提醒信息之前，所述方法还包括：

23、通过设置在被监测物体处的距离传感器进行距离数据采集，基于所述距离数据判断是否满足所述被监测物品的距离条件；和/或，

24、通过设置在第一被监测位置的温度传感器进行温度数据采集，基于所述温度数据判断是否满足所述第一被监测位置的温度条件；和/或，

25、通过设置在第二被监测位置的压力传感器进行压力数据采集，基于所述压力数据判断是否满足所述第二被监测位置的压力条件。

26、根据本技术的另一方面，提供了一种多媒体数据采集装置，所述装置包括：

27、采集模块，用于通过声音采集设备进行音频数据采集，以及通过视频采集设备进行视频数据采集；

28、识别模块，用于将所述音频数据转换为文本数据，以及对所述视频数据进行动作识别和物体检测，确定所述视频数据对应的目标动作信息和目标物体信息；

29、指令预测模块，用于基于所述文本数据、所述目标动作信息和所述目标物体信息，通过大语言模型生成指令理解语句，通过大语言模型生成所述指令理解语句对应的目标多媒体数据采集指令并与控制指令库作对比；

30、控制模块，用于若控制指令库中不包含所述目标多媒体数据采集指令，则将所述目标多媒体数据采集指令添加至所述控制指令库中，并基于所述控制指令库中的所述目标多媒体数据采集指令对多媒体数据采集设备进行控制；若控制指令库中包含所述目标多媒体数据采集指令，则执行所述目标多媒体数据采集指令。

31、可选地，目标多媒体数据采集指令包括第一多媒体数据采集类型、第一多媒体数据采集开始条件和第一多媒体数据采集结束条件；

32、控制模块，还用于：当满足所述目标多媒体数据采集指令对应的所述第一多媒体数据采集开始条件时，获取与所述第一多媒体数据采集类型对应的多媒体数据采集设备所采集的目标多媒体数据，直到满足所述目标多媒体数据采集指令对应的所述第一多媒体数据采集结束条件为止，并基于所述目标多媒体数据采集指令标注所述目标多媒体数据，其中，所述目标多媒体数据对应的标注信息包括通过大语言模型对所述目标多媒体数据进行理解后生成的摘要型数据、通过大语言模型结合所述目标多媒体数据和所述目标多媒体数据采集指令而生成的描述信息。

33、可选地，所述第一多媒体数据采集开始条件包括时间开始条件、物体检测结果开始条件、动作开始条件以及声音开始条件中任一种；或者，所述第一多媒体数据采集开始条件包括时间开始条件、物体检测结果开始条件、动作开始条件以及声音开始条件中至少两种，以及还包括多种第一多媒体数据采集开始条件之间的关系；

34、所述第一多媒体数据采集结束条件包括时间结束条件、物体检测结果结束条件、动作结束条件以及声音结束条件中任一种；或者，所述第一多媒体数据采集结束条件包括时间结束条件、物体检测结果结束条件、动作结束条件以及声音结束条件中至少两种，以及还包括多种第一多媒体数据采集结束条件之间的关系。

35、可选地，控制模块，还用于：

36、通过大语言模型预测所述指令理解语句对应的目标多媒体数据采集指令之后，基于所述目标多媒体数据采集指令，生成指令确认信息；

37、输出所述指令确认信息，并在接收到对所述指令确认信息的确认反馈信号时，判断所述目标多媒体数据采集指令是否存在于所述控制指令库中。

38、可选地，控制模块，还用于：

39、输出所述指令确认信息之后，在预设时段内未接收到对所述指令确认信息的确认反馈信号的情况下，忽略所述目标多媒体数据采集指令；以及，

40、在判断所述目标多媒体数据采集指令是否存在于所述控制指令库中之后，若所述控制指令库包含所述目标多媒体数据采集指令，则输出用于提示所述目标多媒体数据采集指令已存在于所述控制指令库的指令提示信息。

41、可选地，所述控制指令库中还包括至少一个行为监控指令，所述行为监控指令包括行为提醒条件以及所述行为提醒条件对应的行为提醒内容和/或多媒体数据采集信息；

42、控制模块，还用于：当满足任一行为监控指令的行为提醒条件时，基于所述行为提醒内容输出行为提醒信息，和/或，基于所述多媒体数据采集信息对多媒体数据采集设备进行控制，其中，所述多媒体数据采集信息包括第二多媒体数据采集类型、第二多媒体数据采集开始条件和第二多媒体数据采集结束条件。

43、可选地，所述行为提醒条件包括被监测物品的距离条件、第一被监测位置的温度条件、第二被监测位置的压力条件中至少一种；

44、采集模块，还用于：通过设置在被监测物体处的距离传感器进行距离数据采集；和/或，通过设置在第一被监测位置的温度传感器进行温度数据采集；和/或，通过设置第二被监测位置的压力传感器进行压力数据采集；

45、控制模块，还用于：基于所述距离数据判断是否满足所述被监测物品的距离条件；和/或，基于所述温度数据判断是否满足所述第一被监测位置的温度条件；和/或，基于所述压力数据判断是否满足所述第二被监测位置的压力条件。

46、依据本技术又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述多媒体数据采集方法。

47、依据本技术再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多媒体数据采集方法。

48、借由上述技术方案，本技术实施例提供的一种多媒体数据采集方法及装置、存储介质、计算机设备，可以更智能和自然的控制现场数据的采集工作，用户无需发出更多指令，系统可以自动完成数据采集的开始和停止，对重点区域或者事件进行多模态的数据采集，并且自动生成多模态的事件报告，实现现场事件的记录，从传统音视频的直铺式音视频录制，升级到自动采集、分段、多模态记录的新形式，从而提供更多维的数据，减少无效冗余数据，降低数据传输、存储和运算成本，提升数据记录的维度和事后分析重用的效率。

49、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。