技术特征：
1.一种菜谱生成方法，其特征在于，包括：获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；基于所述目标烹饪行为，生成目标菜谱。2.根据权利要求1所述的菜谱生成方法，其特征在于，所述基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为，包括：从所述视频信息中，确定目标图像序列；对所述目标图像序列进行特征提取，得到图像特征；对所述音频信息进行特征提取，得到音频特征；基于所述图像特征和所述音频特征，得到所述目标烹饪行为。3.根据权利要求2所述的菜谱生成方法，其特征在于，所述目标图像序列包括：低频图像序列和高频图像序列；所述对所述目标图像序列进行特征提取，得到图像特征，包括：将所述低频图像序列进行特征提取，得到低频图像特征；将所述高频图像序列进行特征提取，得到高频图像特征；所述基于所述图像特征和所述音频特征，得到所述目标烹饪行为，包括：基于所述低频图像特征、所述高频图像特征和所述音频特征，得到所述目标烹饪行为。4.根据权利要求2所述的菜谱生成方法，其特征在于，所述基于所述图像特征和所述音频特征，得到所述目标烹饪行为，包括：将所述图像特征和所述音频特征进行特征融合，得到融合特征；将所述图像特征和所述音频特征分别与所述融合特征进行特征融合，得到新的图像特征和新的音频特征；基于所述新的图像特征和所述新的音频特征，得到所述目标烹饪行为。5.根据权利要求4所述的菜谱生成方法，其特征在于，所述将所述图像特征和所述音频特征进行特征融合，得到融合特征，包括：以所述图像特征和所述音频特征中的一个特征的维度为基准，调整另一个特征的维度；将调整后的特征与所述一个特征进行融合，得到所述融合特征；所述将所述图像特征和所述音频特征分别与所述融合特征进行特征融合，得到新的图像特征和新的音频特征，包括：将所述融合特征作为所述新的图像特征和所述新的音频特征中的一个特征；将所述融合特征的维度调整为与所述图像特征和所述音频特征中的另一个特征的维度相同，并与所述另一个特征进行融合，得到所述新的图像特征和所述新的音频特征中的另一个特征。6.根据权利要求1所述的菜谱生成方法，其特征在于，所述基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为，包括：将所述视频信息和所述音频信息输入到行为识别模型的特征提取层，输出图像特征和音频特征；
将所述图像特征和所述音频特征输入到所述行为识别模型的融合层，所述融合层将所述图像特征和所述音频特征进行特征融合，得到融合特征，且将所述图像特征和所述音频特征分别与所述融合特征，得到新的图像特征和新的音频特征；将所述新的图像特征和所述新的音频特征输入到所述行为识别模型的识别层，得到所述目标烹饪行为；其中，所述行为识别模型为，以样本视频信息和样本音频信息为样本，以预先确定的与所述样本视频信息和所述样本音频信息对应的样本烹饪行为为样本标签，训练得到。7.根据权利要求1-6任一项所述的菜谱生成方法，其特征在于，所述基于所述目标烹饪行为，生成目标菜谱，包括：基于所述目标烹饪行为，生成语音提示信息；基于所述语音提示信息，生成用于语音播报的目标菜谱。8.一种烹饪方法，其特征在于，包括：接收用户的第一输入；响应于所述第一输入，获取目标菜谱，所述目标菜谱为通过权利要求7所述菜谱生成方法生成的；播放所述目标菜谱。9.根据权利要求8所述的烹饪方法，其特征在于，所述播放所述目标菜谱，包括：获取用户在烹饪过程中的实时视频信息和实时音频信息；基于所述实时视频信息和所述实时音频信息，识别用户的实时烹饪行为；基于所述实时烹饪行为，确定与下一个目标烹饪行为对应的语音提示信息的播放时刻。10.根据权利要求8所述的烹饪方法，其特征在于，在所述获取目标菜谱后，所述播放所述目标菜谱之前，所述方法还包括：基于所述目标菜谱，输出备菜信息；接收用户的第二输入；所述播放所述目标菜谱，包括：响应于所述第二输入，播放所述目标菜谱。11.一种菜谱生成装置，其特征在于，包括：获取模块，用于获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；识别模块，用于基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；生成模块，用于基于所述目标烹饪行为，生成目标菜谱。12.一种烹饪装置，其特征在于，包括：接收模块，用于接收用户的第一输入；响应模块，用于响应于所述第一输入，获取目标菜谱，所述目标菜谱为通过权利要求7所述菜谱生成方法生成的；处理模块，用于播放所述目标菜谱。13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算
机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7所述的菜谱生成方法，或实现如权利要求8至10任一项所述的烹饪方法的步骤。14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的菜谱生成方法，或实现如权利要求8至10所述的烹饪方法的步骤。
技术总结
本发明涉及烹饪领域，提供一种菜谱生成方法和烹饪方法，该菜谱烹饪方法包括：获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；基于所述目标烹饪行为，生成目标菜谱。该菜谱烹饪方法通过结合音频信息，将视频信息中的行为进行更准确的区分，从而增加烹饪行为识别的准确率，生成的目标菜谱更加精确，有助于用户使用目标菜谱进行烹饪时，提升烹饪效果，提高烹饪过程的趣味性。高烹饪过程的趣味性。高烹饪过程的趣味性。
技术研发人员：陈磊 陈蔚 尹宇婧 魏中科 全永兵
受保护的技术使用者：佛山市顺德区美的洗涤电器制造有限公司
技术研发日：2021.08.04
技术公布日：2023/2/20