一种基于烹饪AI大模型和内置AI虚拟人系统的烹饪方法及其智能烹饪装置与流程

本发明涉及烹饪装置及方法，特别是涉及一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法及其智能烹饪装置。

背景技术：

1、随着科技的发展、生活节奏的加快，智能烹饪装置应运而生，智能烹饪装置能够实现自动化烹饪。

2、人机智能交互系统是智能技术的重要应用体现之一，其可以自动的给出用户所给问题反馈，不仅可以给用户休闲解闷，而且还能够辅助用户进行工作，但传统的智能交互系统一般都是用户在提出问题后，采用文字或者语音的形式将问题答案反馈给用户，在交互的过程中，机器设备无法在回答的问题的过程中做出表情动作，交互过程较为“生硬”，无法模拟人与人之间的交互过程，使用户的体验感一般。

3、关于ai大模型与智能烹饪装置结合，最新的现有技术包括为公开号为cn116843510a，公开日为2023年10月03日的，发明名称为基于ai大模型的智能炒菜机云平台数据管理系统及方法，申请号为202310784823.7发明专利申请；

4、该发明申请公开了基于ai大模型的智能炒菜机云平台数据管理系统及方法，涉及数据管理系统技术领域，所述管理方法包括以下步骤：通过采集端采集炒菜过程中的各种参数数据，参数数据通过网络传输到云平台，确保实时性和稳定性，处理端通过ai大模型对存储的参数数据进行分析，分析此次炒菜过程中智能炒菜机是否存在异常，当分析智能炒菜机存在异常时，依据分析结果判断菜品口味存在偏差，管理系统发出警示信号，此时更换其他智能炒菜机炒菜，该发明能够根据智能炒菜机的运行状态来判断此次炒出的菜口味是否存在偏差，从而能够及时警示，确保菜品的质量和口感。

5、现有技术中的将ai大模型应用于智能炒菜机的作用仅仅是处理端通过ai大模型对存储的参数数据进行分析，分析此次炒菜过程中智能炒菜机是否存在异常，当分析智能炒菜机存在异常时，依据分析结果判断菜品口味存在偏差，需要更换其他智能炒菜机炒菜来确保菜品的质量和口感，其实更换其他智能炒菜机炒菜也不一定能确保菜品的质量和口感，因为更换的其他智能炒菜机也可能存在异常，这样用户需要通过不断更换智能炒菜机来确保菜品的质量和口感，而且没有生成新的烹饪方法，没有与用户进行互动。

技术实现思路

1、基于现有技术的不足，本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法及其智能烹饪装置是通过智能烹饪装置的所述信息收集模块接收用户通过语音、视频、文本、图片或3d模型格式输入的烹饪需求信息和虚拟人需求信息，并将此烹饪需求信息和此虚拟人需求信息分别推送至烹饪ai大模型和所述内置ai虚拟人系统，从而产生新的烹饪方法和生成特定ai虚拟人，用户可以与所述特定ai虚拟人互动，特定ai虚拟人可以为虚拟亲人、朋友、明星或大厨等的人物形象，特定ai虚拟人可以通过视频、声音等多种多媒体格式呈现，用户或特定虚拟人操控智能烹饪装置烹饪出满足用户需求的食物，用户不仅仅可以享用通过人工智能技术烹饪出来的可口食物，还可以享受舒适的烹饪过程，内置ai虚拟人系统生成特定ai虚拟人由智能烹饪装置内部生成，可以不受流量限制，成本低。

2、为了解决上述现有技术问题，本发明提供了一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法，其特征在于，应用于智能烹饪装置，所述智能烹饪装置设有信息收集模块、处理器、内置ai虚拟人系统、显示屏、储存模块和无线通信模块，所述内置ai虚拟人系统位于所述储存模块内，所述信息收集模块、所述无线通信模块、所述储存模块、所述显示屏与所述处理器电性连接，所述信息收集模块用于接收用户通过语音、视频、文本、图片或3d模型格式输入的烹饪需求信息和虚拟人需求信息，并将此烹饪需求信息和此虚拟人需求信息分别推送至烹饪ai大模型和所述内置ai虚拟人系统，所述烹饪ai大模型对所述烹饪需求信息进行分析生成新烹饪方法，所述新烹饪方法通过无线通信模块发送至用户移动终端和所述处理器，所述新烹饪方法包括烹饪参数和烹饪操作指令，同时所述烹饪ai大模型将所述烹饪参数和所述烹饪操作指令转换成文本信息发送至所述储存模块内的所述内置ai虚拟人系统，所述内置ai虚拟人系统对所述虚拟人需求信息和所述文本信息分析生成特定ai虚拟人，并将所述特定ai虚拟人通过无线通信模块发送至用户移动终端和所述显示屏，所述烹饪ai大模型生成新烹饪方法包括两个步骤：构建烹饪ai大模型和调用烹饪ai大模型，所述内置ai虚拟人系统生成特定ai虚拟人包括两个步骤：构建特定ai虚拟人和调用特定ai虚拟人，所述构建特定ai虚拟人包括七个步骤：人物生成、语音生成、嘴唇同步、动作生成、合成显示、测试验证和部署维护，所述人物生成采用换脸技术，所述语音生成采用基于深度学习的端到端模型，所述动作生成采用基于深度学习的序列到序列模型，当用户通过用户移动终端或所述显示屏确认所述新烹饪方法进行烹饪时，所述显示屏或用户移动终端输出特定ai虚拟人。

3、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述构建烹饪ai大模型包括六个步骤：收集烹饪数据、预处理烹饪数据、选择可应用于烹饪的ai大模型、训练烹饪ai大模型、验证测试烹饪ai大模型和在云平台部署维护烹饪ai大模型，用户通过语音、视频、文本、图片或3d模型格式输入的烹饪需求信息通过调用烹饪ai大模型生成新烹饪方法，所述调用烹饪ai大模型包括组装查询语句、ai大模型进行推理运算和ai大模型返回结果，所述新烹饪方法由所述烹饪ai大模型推理运算完成后通过云平台发送至用户移动终端和所述智能烹饪装置；

4、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述构建烹饪ai大模型包括六个步骤：收集烹饪数据、预处理烹饪数据、选择可应用于烹饪的ai大模型、训练烹饪ai大模型、验证测试烹饪ai大模型和在智能烹饪装置的储存模块部署维护烹饪ai大模型，用户通过语音、视频、文本、图片或3d模型格式输入的烹饪需求信息通过调用烹饪ai大模型生成新烹饪方法，所述调用烹饪ai大模型包括组装查询语句、ai大模型进行推理运算和ai大模型返回结果，所述新烹饪方法由所述烹饪ai大模型推理运算完成后通过无线通信模块发送至用户移动终端和所述智能烹饪装置的所述处理器；

5、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述构建特定ai虚拟人包括七个步骤：人物生成、语音生成、嘴唇同步、动作生成、合成显示、测试验证和部署维护，用户通过语音、视频、文本、图片或3d模型格式输入的虚拟人需求信息通过内置ai虚拟人系统生成特定ai虚拟人，所述调用特定ai虚拟人包括把文字指令内容传给内置ai虚拟人系统、把文字指令内容传给内置ai虚拟人系统并由内置ai虚拟人系统来进行视频合成及输出视频合成。

6、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述构建烹饪ai大模型包括：

7、第一步、收集烹饪数据：收集通过语音、视频、文本、图片或3d模型呈现的所有有关食材烹饪方法的信息；

8、第二步、预处理烹饪数据：把采集到的所有有关食材烹饪方法的信息进行处理，确保信息的完整性和可用性，包括把不同格式的信息统一转化成文本，并且对文本信息按照一定的格式进行编辑处理，以方便ai大模型的后续训练；

9、第三步、选择可应用于烹饪的ai大模型：对国内、国外的第三方ai大模型进行选择，用准确性、响应速度、多样性指标来衡量；

10、第四步、训练烹饪ai大模型：通过第二步整理好烹饪数据集，然后把烹饪数据集用第三方ai大模型进行微调fine-tuning训练，训练完成后生成具备烹饪方法所有相关数据的烹饪ai大模型；

11、第五步、验证测试烹饪ai大模型：对第四步生成的烹饪ai大模型进行特定任务的效果检测评估，如果评估效果不通过，则继续重复第一步、第二步、第三步、第四步的步骤，重新训练，直到效果评测通过，生成烹饪ai大模型并储存在云平台或智能烹饪装置的储存模块内；

12、第六步、部署维护烹饪ai大模型：将新生成的ai大模型部署到云平台或智能烹饪装置的储存模块内，并且进行持续维护和更新，定期更新数据，以确保数据的及时性和准确性。

13、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述第三步选择可应用于烹饪的ai大模型，选择的是baichuan2-13b的ai大模型，该ai大模型参数如下：隐藏层维度：5,120，层数：40，注意力头数：40，词表大小：64,000，总参数量：13,264,901,120，训练数据(tokens)：1.4万亿，位置编码：alibi，最大长度：4,096；

14、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述第四步训练烹饪ai大模型的训练过程如下：首先，从huggingface中下载baichuan13b的模型权重，然后将belle数据集train_0.5m_cn下载到本地并放到项目目录下的dataset文件夹下，最后运行sft_lora.py脚本，接着，将百川llm采用qlora的nf4和双重量化方式进行量化，最后，采用lora进行指令微调。

15、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述构建特定ai虚拟人包括：

16、第一步、人物生成：通过用户上传的多张头像照片生成虚拟数字人的模型。人物生成子模块负责根据用户输入的照片生成特定虚拟人的形象，特定虚拟人生成技术采用换脸技术。

17、第二步、语音生成：通过输入的文本生成模拟语音模型。语音生成子模块负责根据输入的文本生成虚拟数字人的语音输出。

18、第三步、嘴唇生成：根据生成的语音生成对应的嘴唇模型生成。嘴唇生成模块负责把生成的语音和特定虚拟人的嘴唇同步，以便使特定虚拟人聊天显得更加真实自然。

19、第四步、动作生成：通过用户选择的内置动作模版生成模拟动作模型。动作生成子模块负责根据用户选择的内置动作模版生成模拟动作，包括转换和渲染两个子步骤。

20、第五步、合成显示：合成显示模块负责将虚拟数字人的语音和动作输出合成为视频，并显示在不同的设备上，包括2d和3d的显示设备。

21、第六步、验证测试：会对第五步生成的特定ai虚拟人视频进行特定任务的效果检测评估，如果评估效果不通过，则继续重复第一步、第二步、第三步、第四步、第五步的步骤，重新训练，直到效果评测通过。

22、第七步、部署维护：将新生成的特定ai虚拟人部署到智能烹饪器具的操作系统上，并且进行持续维护和更新。

23、作为本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法的改进，所述调用特定ai虚拟人具体包括下列步骤：

24、第一步、产生特定ai虚拟人的文字指令内容，可以通过烹饪ai大模型产生或者是系统程序根据业务逻辑产生对应的文字指令内容。

25、第二步、通过api调用，把文字指令内容传给内置ai虚拟人系统，由内置ai虚拟人系统来进行视频生成，这里面包含以下几个过程：

26、1)文字转语音：把文字内容通过内置ai虚拟人系统的语音生成模块转化成特定ai虚拟人的语音，并且可以克隆用户上传的语音。

27、2)嘴唇生成：把第一步生成的语音内容通过算法实现特定ai虚拟人的嘴唇同步，可以实现中英文都能同步。

28、3)动作生成：选择用户上传的动作模版，把特定ai虚拟人根据用户的动作模版进行相应的动作姿势输出，并且结合第二步的嘴唇同步。

29、4)视频合成：把前面三步生成的内容输出为标准的视频格式，并且返回。

30、本发明提供了一种智能烹饪装置，其特征在于，设有信息收集模块、处理器、内置ai虚拟人系统、显示屏、储存模块和无线通信模块，所述内置ai虚拟人系统位于所述储存模块内，所述信息收集模块、所述无线通信模块、所述储存模块、所述内置ai虚拟人系统、所述显示屏与所述处理器电性连接，所述信息收集模块用于收集用户通过语音、视频、文本、图片或3d模型格式输入的所有有关食材烹饪方法的信息和虚拟人需求信息，所述处理器与云平台、用户移动终端之间通过所述无线通信模块连接，所述处理器用于执行权利要求1或2或3中的所述烹饪ai大模型生成的新烹饪方法并提示用户进行烹饪操作指令或提示权利要求1中的位于所述储存模块内的内置ai虚拟人系统生成的特定ai虚拟人进行烹饪操作指令。

31、作为本发明智能烹饪装置的改进，所述智能烹饪装置设有炒、爆、熘、炸、烹、煎、贴、烧、焖、炖、蒸、汆、煮、烩、炝、拌、腌、烤、卤、冻、拔丝、蜜汁、熏、卷、滑或焗的智能烹饪装置工位。

32、作为本发明智能烹饪装置的改进，所述智能烹饪装置的所述炒、爆、熘、炸、烹、煎、贴、烧、焖、炖、蒸、汆、煮、烩、炝、拌、腌、烤、卤、冻、拔丝、蜜汁、熏、卷、滑或焗的智能烹饪装置工位设有对应的操作检测反馈系统，所述操作检测反馈系统用于检测用户在智能烹饪装置所进行的烹饪操作是否符合烹饪ai大模型的烹饪方法的要求。

33、本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法及其智能烹饪装置，其有益效果有：本发明一种基于烹饪ai大模型和内置ai虚拟人系统的烹饪方法及其智能烹饪装置是通过智能烹饪装置的所述信息收集模块接收用户通过语音、视频、文本、图片或3d模型格式输入的烹饪需求信息和虚拟人需求信息，并将此烹饪需求信息和此虚拟人需求信息分别推送至烹饪ai大模型和所述内置ai虚拟人系统，从而产生新的烹饪方法和生成特定ai虚拟人，用户可以与所述特定ai虚拟人互动，特定ai虚拟人可以为虚拟亲人、朋友、明星或大厨等的人物形象，特定ai虚拟人可以通过视频、声音等多种多媒体格式呈现，用户或特定虚拟人操控智能烹饪装置烹饪出满足用户需求的食物，用户不仅仅可以享用通过人工智能技术烹饪出来的可口食物，还可以享受舒适的烹饪过程，内置ai虚拟人系统生成特定ai虚拟人由智能烹饪装置内部生成，可以不受流量限制，成本低。