基于人工智能的记忆保存和记忆提取方法及相关设备与流程

本申请涉及人工智能，尤其是涉及一种基于人工智能的记忆保存和记忆提取方法及相关设备。

背景技术：

1、互联网的出现与普及给用户带来了大量的信息，使得人类需要处理的信息越来越多，导致了人类存在记忆信息遗漏的现象。随着人工智能的不断发展，虽然出现了许多帮助人类完成记忆的工具，比如纸质笔记本，电脑上的笔记软件，视频会议的会议纪要软件等，但这些都需要人类主动的去打开使用，存在不方便携带和使用问题。

技术实现思路

1、有鉴于此，本申请提供一种基于人工智能的记忆保存和记忆提取方法及相关设备，用于填补用户记忆的不足，减少用户记忆遗漏和记忆失误的可能性，并解决现有技术存在的不方便携带和使用的技术问题。

2、本申请的第一方面提供基于人工智能的记忆保存和记忆提取方法，所述方法包括：

3、采集用户所在场景的视频数据和音频数据用户所在场景的；

4、对所述视频数据进行处理得到图像信息，及对所述音频数据进行处理得到音频信息；

5、对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本；

6、调用大语言模型对所述记忆原始文本进行处理，并将处理得到的记忆摘要与所述记忆原始文本存储在数据库中；

7、接收到所述用户的查询问题时，在所述数据库中查询并输出与所述查询问题对应的记忆摘要。

8、在一个可选的实施方式中，所述对所述视频数据进行处理得到图像信息包括：

9、结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据；

10、对每个所述图像数据进行内容分割，得到图像数据块；

11、对所述图像数据块进行图像识别，得到所述图像信息。

12、在一个可选的实施方式中，所述结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据包括：

13、运用场景变化检测算法对所述视频数据进行场景检测，得到视频场景类型；

14、运用速率预测算法对每一种视频场景类型对应的视频数据进行自适应变换速率预测；

15、当预测的变换速率高于预设速率阈值时，采用第一预设帧率对所述视频数据进行帧率采集，得到所述视频场景类型对应的多个图像数据；

16、当预测的变换速率低于所述预设速率阈值时，采用第二预设帧率对所述视频数据进行帧率采集，得到所述视频场景类型对应的多个图像数据；

17、其中，所述第一预设帧率大于所述第二预设帧率。

18、在一个可选的实施方式中，所述对所述音频数据进行处理得到音频信息包括：

19、对所述音频数据进行分帧采集，得到多个子音频数据；

20、根据场景变换检测算法检测所述音频数据的采集场景是否发生变换；

21、当所述音频数据的采集场景发生变换时，对所述采集场景发生变换的子音频数据进行场景分类，得到音频场景类型；

22、对每个所述子音频数据进行音频分层，得到分层音频；

23、对所述分层音频进行音频识别，得到所述音频信息。

24、在一个可选的实施方式中，所述对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本包括：

25、对所述图像信息进行分类识别得到图像文本，对所述音频信息进行分类识别得到音频文本，对所述图像文本及所述音频文本进行语义关联，得到所述记忆原始文本。

26、在一个可选的实施方式中，所述对所述图像文本及所述音频文本进行语义关联包括：

27、基于场景或时间或地点或主题将所述图像文本及所述音频文本进行语义关联，以对所述图像文本及所述音频文本进行结构化合并。

28、在一个可选的实施方式中，所述方法还包括：

29、根据所述视频场景类型对对应的所述图像信息进行分类压缩存储；及

30、将所述音频场景类型及对应的所述音频信息进行存储。

31、在一个可选的实施方式中，当所述查询问题为所述用户通过语音形式输入的语音查询问题时，所述在所述数据库中查询并输出与所述查询问题对应的记忆摘要包括：

32、对所述语音查询问题进行语音识别，得到文本查询问题；

33、在所述数据库中查询并输出与所述文本查询问题对应的记忆摘要。

34、本申请的第二方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于人工智能的记忆保存和记忆提取方法的步骤。

35、本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于人工智能的记忆保存和记忆提取方法的步骤。

36、综上所述，本申请实施例提供的基于人工智能的记忆保存和记忆提取方法及相关设备，采集用户所在场景的视频数据和音频数据，并分别进行处理得到图像信息与音频信息后，对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本，调用大语言模型对所述记忆原始文本进行处理，并将处理得到的记忆摘要与所述记忆原始文本存储在数据库中，能够填补用户记忆的不足，减少用户记忆遗漏和记忆失误的可能性，减少用户脑力负担，提高工作效率和生活质量；另外基于用户输入的查询问题输出问答结果，形成记忆保存和记忆提取的闭环，可以方便用户使用，提高用户工作生活效率。

技术特征：

1.一种基于人工智能的记忆保存和记忆提取方法，其特征在于，所述方法包括：

2.根据权利要求1中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述对所述视频数据进行处理得到图像信息包括：

3.根据权利要求2中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据包括：

4.根据权利要求1至3中任意一项所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述对所述音频数据进行处理得到音频信息包括：

5.根据权利要求4中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本包括：

6.根据权利要求5中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述对所述图像文本及所述音频文本进行语义关联包括：

7.根据权利要求6中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述方法还包括：

8.根据权利要求7中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，当所述查询问题为所述用户通过语音形式输入的语音查询问题时，所述在所述数据库中查询并输出与所述查询问题对应的记忆摘要包括：

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8中任意一项所述的基于人工智能的记忆保存和记忆提取方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任意一项所述的基于人工智能的记忆保存和记忆提取方法的步骤。

技术总结
本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的记忆保存和记忆提取方法及相关设备。本申请通过采集用户所在场景的视频数据和音频数据，分别进行处理得到图像信息与音频信息后，再进行分类识别，得到记忆原始文本；调用大语言模型对记忆原始文本进行处理，并将处理得到的记忆摘要与记忆原始文本存储在数据库中。在接收到用户针对过往发生事情的查询问题时，在数据库中查询并输出与查询问题对应的记忆摘要。本申请能够填补用户记忆的不足，减少用户记忆遗漏和记忆失误的可能性，减少用户脑力负担，提高工作效率和生活质量；另外基于用户输入的查询问题输出问答结果，形成记忆保存和记忆提取的闭环，方便用户使用，提高用户工作生活效率。

技术研发人员：凌瑞端,宋少鹏
受保护的技术使用者：深圳米唐科技有限公司
技术研发日：
技术公布日：2024/1/16