食物推荐方法、装置、电子设备及存储介质与流程

1.本发明涉及食品科学技术领域，尤其涉及一种食物推荐方法、装置、电子设备及存储介质。


背景技术：

2.人们对于健康生活的关注度随着生活水平的提升逐年增多，身心健康是健康生活的基础，而食物不仅可以保障人的身体需求，还有助于改善人的情绪，对于保障人的心理健康至关重要。
3.目前，大多数家庭中冰箱内储存的食物仅用于满足家庭成员一日三餐的吃饭需求，当人的心情发生变化时，特别是出现一些负面情绪时，此类负面情绪的长久存在对保障身心健康存在不利影响，而目前的冰箱无法向用户提供相应的食物以达到改善用户的心情，使用户身心健康的目的，因此，如何改善当前状况成为了亟待解决的问题。


技术实现要素：

4.本发明提供一种食物推荐方法、装置、电子设备及存储介质，用以解决现有技术中情绪判断不准确的缺陷，实现食物的精准推荐。
5.本发明提供一种食物推荐方法，包括：
6.采集待推荐人员的语音数据和人脸图像；
7.基于所述语音数据和人脸图像进行情绪识别，得到所述待推荐人员的情绪识别结果；
8.基于所述情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向所述待推荐人员推荐食物。
9.根据本发明提供的一种食物推荐方法，所述基于所述语音数据和人脸图像进行情绪识别，得到所述待推荐人员的情绪识别结果，包括：
10.将所述语音数据输入至语音情绪识别模型，得到所述语音情绪识别模型输出的语音情绪识别结果；
11.将所述人脸图像输入至图像情绪识别模型，得到所述图像情绪识别模型输出的图像情绪识别结果；
12.基于所述语音情绪识别结果和所述图像情绪识别结果，确定所述待推荐人员的情绪识别结果。
13.根据本发明提供的一种食物推荐方法，所述将所述语音数据输入至语音情绪识别模型，得到所述语音情绪识别模型输出的语音情绪识别结果，包括：
14.将所述语音数据输入至语音情绪识别模型，由所述语音情绪识别模型对所述语音数据进行声学情绪特征提取，对所述声学情绪特征进行情绪分析，得到所述语音情绪识别模型输出的语音情绪识别结果。
15.根据本发明提供的一种食物推荐方法，所述将所述人脸图像输入至图像情绪识别
模型，得到所述图像情绪识别模型输出的图像情绪识别结果，包括：
16.将所述人脸图像输入至图像情绪识别模型，由所述图像情绪识别模型对所述人脸图像进行图像情绪特征提取，对所述图像情绪特征进行情绪分析，得到所述图像情绪识别模型输出的图像情绪识别结果。
17.根据本发明提供的一种食物推荐方法，所述基于所述语音情绪识别结果和所述图像情绪识别结果，确定所述待推荐人员的情绪识别结果，包括：
18.基于所述语音情绪识别结果中的各语音候选情绪的情绪得分，以及所述图像情绪识别结果中的各图像候选情绪的情绪得分，确定各候选情绪的情绪汇总得分，所述各候选情绪包括所述各语音候选情绪和所述各图像候选情绪；
19.基于各候选情绪的情绪汇总得分，确定所述待推荐人员的情绪识别结果。
20.根据本发明提供的一种食物推荐方法，所述现有食物集合基于如下步骤确定：
21.采集食物图像；
22.对所述食物图像进行目标食物检测，得到所述食物图像中包含的各类食物的情绪功效信息；
23.基于各类食物与情绪功效信息的对应关系，确定现有食物集合。
24.根据本发明提供的一种食物推荐方法，所述对所述食物图像进行目标食物检测，得到所述食物图像中包含的各类食物的情绪功效信息，包括：
25.将所述食物图像输入至目标食物检测模型，得到所述目标食物检测模型输出的各类食物的情绪功效信息；
26.所述目标食物检测模型基于样本食物图像、所述样本食物图像中包含的各类样本食物的情绪功效标签以及预先构建的食物情绪关系列表训练得到。
27.本发明还提供一种食物推荐装置，包括：
28.采集单元，用于采集待推荐人员的语音数据和人脸图像；
29.情绪识别单元，用于基于所述语音数据和人脸图像进行情绪识别，得到所述待推荐人员的情绪识别结果；
30.食物推荐单元，用于基于所述情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向所述待推荐人员推荐食物。
31.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的食物推荐方法的步骤。
32.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的食物推荐方法的步骤。
33.本发明提供的食物推荐方法、装置、电子设备及存储介质，通过待推荐人员的语音数据和人脸图像对待推荐人员进行情绪识别，克服了通过单一的表情识别或者语音识别得到的情绪识别结果不准确的缺陷，通过多模态的情绪识别能够较为准确地判断待推荐人员的情绪，从而在后续的食物推荐过程中能够基于待推荐人员的情绪识别结果向其精准推荐食物，以达到改善其心情的目的，在满足了待推荐人员的实际需求的基础上，实现了待推荐人员的健康生活。
附图说明
34.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明提供的食物推荐方法的流程示意图；
36.图2是本发明提供的食物推荐方法的总体流程图；
37.图3是本发明提供的食物推荐装置的结构示意图；
38.图4是本发明提供的电子设备的结构示意图。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.在情绪分析领域，进行情绪分析时通常是通过采集待分析对象的表情，并对其进行表情识别，从而得到待分析对象的情绪分析结果，或者采集待分析对象的语音数据，并对其进行语音识别，得到待分析对象的情绪分析结果。
41.但是，由于情绪是变化莫测的，通过单一的表情识别或者语音识别很难准确地判断待分析对象的情绪，从而导致基于此情绪分析结果推荐的食物并不符合用户心情，无法满足用户的实际需求，更无法达到使用户身心愉悦的目的。
42.针对上述情况，本发明提供一种食物推荐方法，图1是本发明提供的食物推荐方法的流程示意图，如图1所示，该方法的执行主体可以是能够冷藏食物的设备内置的处理器，此处的设备可以是冰箱、冰柜、冷藏柜等，以下以处理器为例进行说明，该方法包括：
43.步骤110，采集待推荐人员的语音数据和人脸图像；
44.具体地，推荐食物首先需要确定推荐对象，即待推荐人员，确定待推荐人员后，即可进一步确定待推荐人员的情绪，如此即可根据待推荐人员的情绪向其精准推荐能够改善其情绪的食物，从而达到使待推荐人员身心愉悦的目的。
45.而待推荐人员的情绪可以根据待推荐人员在当前时段内的声音以及表情确定，例如，若待推荐人员在当前时段内的声音较为高昂，则表明待推荐人员的情绪处于兴奋激动状态；反之，若待推荐人员在在当前时段内的声音较为低沉，则表明推荐人员的情绪处于沮丧难过状态；若待推荐人员在当前时段内的表情较为舒缓，则表明待推荐人员的情绪处于愉悦放松状态；反之，若待推荐人员在当前时段内的表情较为紧绷，则表明推荐人员的情绪处于紧张状态。
46.进一步地，待推荐人员的声音以及表情可以分别通过待推荐人员的语音数据以及人脸图像进行反映，因此，在向待推荐人员推荐食物之前，首先需要采集待推荐人员的语音数据以及人脸图像，以便后续基于此两者分析确定待推荐人员的情绪。此处的语音数据可以通过设置于设备上的语音采集单元获取，人脸图像可以通过设置于设备上的图像采集单元获取。
47.步骤120，基于语音数据和人脸图像进行情绪识别，得到待推荐人员的情绪识别结果；
48.具体地，经过步骤110采集到待推荐人员的语音数据以及人脸图像后，即可执行步骤120，根据待推荐人员的语音数据以及人脸图像，对待推荐人员进行情绪分析，即基于此两者识别待推荐人员的情绪，从而得到待推荐人员的情绪识别结果。
49.对待推荐人员进行情绪识别的过程具体可以是，首先，分别根据待推荐人员的语音数据和人脸图像分析待推荐人员的情绪，然后，综合从语音数据中分析得到的情绪结果以及从人脸图像中分析得到的情绪结果，得到待推荐人员的情绪识别结果。
50.需要说明的是，从语音数据和人脸图像中分析得到的情绪结果中可能包含多种情绪以及各种情绪的情绪得分，此情绪得分的高低表明了待推荐人员的情绪属于此种情绪的概率大小，情绪得分越高概率越大，反之，情绪得分越低概率越小。
51.在综合上述两者时，可以对此两者中同一情绪的得分进行求和，从而得到各种情绪的情绪汇总得分，并将情绪汇总得分最高的情绪作为待推荐人员的情绪识别结果。
52.例如，根据待推荐人员的语音数据进行情绪识别，得到的待推荐人员的情绪包含生气、难过以及害怕三类，其中，生气的情绪得分为60％，难过的情绪得分为30％，害怕的情绪得分为10％；根据待推荐人员的人脸图像进行情绪识别，得到的待推荐人员的情绪包含生气和难过两类，其中，生气的情绪得分为70％，难过的情绪得分为30％，综合可得，生气的情绪汇总得分为130％，难过的情绪汇总得分为60％，害怕的情绪汇总得分为10％，将情绪汇总得分最高的生气作为待推荐人员的情绪识别结果，即根据语音数据和人脸图像进行情绪识别得到的待推荐人员的情绪为生气。
53.步骤130，基于情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向待推荐人员推荐食物。
54.具体地，在步骤120中，对待推荐人员的语音数据以及人脸图像进行情绪识别确定待推荐人员的情绪识别结果后，即可根据待推荐人员的情绪识别结果向待推荐人员推荐能够改善其情绪的食物，从而达到使待推荐人员身心愉悦的目的，进而实现待推荐人员的健康生活。
55.而在此之前，还必须确定现有食物集合中各类食物的情绪功效信息，此处的情绪功效信息即食物具备的能够改善对应情绪的功能信息，例如，樱桃和巧克力具有能够改善“难过”这一类心情的功能，绿色蔬菜和葵花子等碱性食物具有能够舒缓“紧张”情绪的功能，白芍和佛手具有能够改善“生气”这一类心情的功能。
56.现有食物集合即对食物图像进行目标食物检测后生成的食物集合，食物图像即设备中储藏的食物的图像，需要说明的是，对食物图像的目标食物检测是有针对性的，并不是对食物图像中的每一食物均进行检测，而是针对食物图像中具有情绪改善功能的食物进行检测，即对食物图像中具有情绪功效信息的食物进行检测，例如，樱桃、巧克力、绿色蔬菜、葵花子、白芍、佛手等，有针对性的目标食物检测可在前期筛除大量的不具备情绪改善功能的食物，大大减少了非必要的食物检测，加快了现有食物集合的生成，推进了食物推荐的整体流程。
57.本发明提供的食物推荐方法，通过待推荐人员的语音数据和人脸图像对待推荐人员进行情绪识别，克服了通过单一的表情识别或者语音识别得到的情绪识别结果不准确的
缺陷，通过多模态的情绪识别能够较为准确地判断待推荐人员的情绪，从而在后续的食物推荐过程中能够基于待推荐人员的情绪识别结果向其精准推荐食物，以达到改善其心情的目的，在满足了待推荐人员的实际需求的基础上，实现了待推荐人员的健康生活。
58.基于上述实施例，步骤120包括：
59.将语音数据输入至语音情绪识别模型，得到语音情绪识别模型输出的语音情绪识别结果；
60.将人脸图像输入至图像情绪识别模型，得到图像情绪识别模型输出的图像情绪识别结果；
61.基于语音情绪识别结果和图像情绪识别结果，确定待推荐人员的情绪识别结果。
62.具体地，在采集到待推荐人员的语音数据和人脸图像后，步骤120中，根据语音数据和人脸图像对待推荐人员进行情绪识别，得到待推荐人员的情绪识别结果，这一过程可以通过语音情绪识别模型和图像情绪识别模型实现。
63.基于语音数据的情绪识别的过程可以是，将语音数据输入至语音情绪识别模型，由语音情绪识别模型对输入的待推荐人员的语音数据进行情绪识别，从而得到语音情绪识别模型输出的语音情绪识别结果。
64.需要说明的是，在将语音数据输入至语音情绪识别模型之前，还可以根据样本语音数据以及样本语音数据的情绪标签，预先训练得到语音情绪识别模型，语音情绪识别模型的训练过程包括如下步骤：首先，收集大量的样本语音数据，并对样本语音数据表征的情绪进行标注，形成样本语音数据的情绪标签；随即，基于样本语音数据，以及样本语音数据的情绪标签，对初始语音情绪识别模型进行训练，从而得到训练完成的语音情绪识别结果，需要说明的是，此处的初始语音情绪识别模型可以是在预训练的分类器的基础上构建的。
65.基于人脸图像的情绪识别的过程可以是，将人脸图像输入至图像情绪识别模型，由图像情绪识别模型对输入的待推荐人员的人脸图像进行情绪识别，从而得到图像情绪识别模型输出的图像情绪识别结果。
66.需要说明的是，在将人脸图像输入至图像情绪识别模型之前，还可以根据样本人脸图像以及样本人脸图像的情绪标签，预先训练得到图像情绪识别模型，图像情绪识别模型的训练过程包括如下步骤：首先，收集大量的样本人脸图像，并对样本人脸图像表征的情绪进行标注，形成样本人脸图像的情绪标签；随即，基于样本人脸图像，以及样本人脸图像的情绪标签，对初始图像情绪识别模型进行训练，从而得到训练完成的图像情绪识别结果，需要说明的是，此处的初始图像情绪识别模型也可以是在预训练的分类器的基础上构建的。
67.需要说明的是，确定语音情绪识别结果的过程和确定图像情绪识别结果的过程不分先后，同步执行。
68.此后，即可对语音情绪识别结果和图像情绪识别结果进行汇总，以得到待推荐人员的情绪识别结果，例如，可以直接对语音情绪识别结果和图像情绪识别结果进行求和，根据求和结果确定待推荐人员的情绪识别结果；针对当前时段内采集到的待推荐人员的语音数据和人脸图像的比例明显相差较大的情况，还可以为基于此语音数据确定的语音情绪识别结果和基于此人脸图像确定的图像情绪识别结果分别设置相应的权重，从而在综合语音情绪识别结果和图像情绪识别结果这一环节，可对语音情绪识别结果和图像情绪识别结果
进行加权求和，从而得到待推荐人员的情绪识别结果。
69.基于上述实施例，步骤120中，将语音数据输入至语音情绪识别模型，得到语音情绪识别模型输出的语音情绪识别结果，包括：
70.将语音数据输入至语音情绪识别模型，由语音情绪识别模型对语音数据进行声学情绪特征提取，对声学情绪特征进行情绪分析，得到语音情绪识别模型输出的语音情绪识别结果。
71.具体地，考虑到语音数据中实际能够表征待推荐人员情绪的是其内蕴含的声学特征，例如，pitch(情感力度)、声音的颤抖幅度及其持续时长等，此类声学特征可称之为声学情绪特征，待推荐人员的声学情绪特征可反映出待推荐人员的情绪，例如，当待推荐人员处于开心状态或者唤起状态变高时，pitch也会升高；又例如，当待推荐人员处于难过抑郁的状态时，声音的颤抖幅度会减小，其持续时长也会随之缩短。
72.因此，本发明实施例中，在将语音数据输入至语音情绪识别模型，由语音情绪识别模型对输入的语音数据进行情绪识别的过程具体可以是，首先，对输入的待推荐人员的语音数据进行声学情绪特征提取，提取待推荐人员的语音数据中蕴含的声学情绪特征，得到待推荐人员的声学情绪特征；随即，对声学情绪特征进行情绪分析，得到待推荐人员的语音情绪识别结果，并由语音情绪识别模型输出语音情绪识别结果。
73.基于上述实施例，步骤120中，将人脸图像输入至图像情绪识别模型，得到图像情绪识别模型输出的图像情绪识别结果，包括：
74.将人脸图像输入至图像情绪识别模型，由图像情绪识别模型对人脸图像进行图像情绪特征提取，对图像情绪特征进行情绪分析，得到图像情绪识别模型输出的图像情绪识别结果。
75.具体地，考虑到通过人脸图像确定待推荐人员的图像情绪识别结果的过程，实际上是借助人脸图像中包含的待推荐人员的表情特征进行情绪识别的过程，此处的表情特征可以是待推荐人员处于对应情绪时，其人脸图像所反映的眼部、唇部以及脸部等部位的特征，此类特征均可称之为图像情绪特征，图像情绪特征可反映出待推荐人员的情绪，例如，当人脸图像中的眉毛处于蹙眉状态时，表明待推荐人员可能处于厌恶这一情绪状态；又例如，当人脸图像中的唇部处于微微上扬的状态时，表明待推荐人员可能处于高兴这一情绪状态。
76.因此，本发明实施例中，将人脸图像输入至图像情绪识别模型，由图像情绪识别模型对输入的人脸图像进行情绪识别的过程具体可以是，首先，对输入的待推荐人员的人脸图像进行图像情绪特征提取，提取待推荐人员的人脸图像中包含的图像情绪特征，得到待推荐人员的图像情绪特征；随即，对图像情绪特征进行情绪分析，得到待推荐人员的图像情绪识别结果，并由图像情绪识别模型输出图像情绪识别结果。
77.基于上述实施例，步骤120中，基于语音情绪识别结果和图像情绪识别结果，确定待推荐人员的情绪识别结果，包括：
78.基于语音情绪识别结果中的各语音候选情绪的情绪得分，以及图像情绪识别结果中的各图像候选情绪的情绪得分，确定各候选情绪的情绪汇总得分，各候选情绪包括各语音候选情绪和各图像候选情绪；
79.基于各候选情绪的情绪汇总得分，确定待推荐人员的情绪识别结果。
80.具体地，在经过上述步骤得到待推荐人员的语音情绪识别结果和图像情绪识别结果后，由于语音情绪识别结果和图像情绪识别结果中均包含多个候选情绪，分别为语音候选情绪和图像候选情绪，且每一语音候选情绪和每一图像候选情绪均携带有一个与之匹配的情绪得分，此情绪得分用于表征待推荐人员的情绪属于此种情绪的可能程度，情绪得分越高可能性越大，反之，情绪得分越低可能性越小。
81.因此，本发明实施例中，在根据语音情绪识别结果和图像情绪识别结果，确定待推荐人员的情绪识别结果时，具体可以是确定语音情绪识别结果中各语音候选情绪的情绪得分，以及图像情绪识别结果中各图像候选情绪的情绪得分，然后，按照情绪种类对各语音候选情绪的情绪得分和各图像候选情绪的情绪得分进行求和，得到各候选情绪的情绪汇总得分，此处的各候选情绪既包括各语音候选情绪，又包括各图像候选情绪，是两者的总称。
82.例如，语音情绪识别结果中包括生气、难过和害怕三类语音候选情绪，其中，生气的情绪得分为60％，难过的情绪得分为30％，害怕的情绪得分为10％；图像情绪识别结果中包含生气和难过两类图像候选情绪，其中，生气的情绪得分为70％，难过的情绪得分为30％，按照情绪种类对各语音候选情绪的情绪得分和各图像候选情绪的情绪得分进行求和，得到各类候选情绪的情绪汇总得分，其中，生气的情绪汇总得分为130％，难过的情绪汇总得分为60％，害怕的情绪汇总得分为10％。
83.此后，即可从各候选情绪的情绪汇总得分中确定最高的情绪汇总得分，并将此情绪汇总得分对应的候选情绪作为待推荐人员的情绪识别结果，例如，各类情绪汇总得分中生气的情绪汇总得分最高，因此，可以直接将生气作为待推荐人员的情绪识别结果。
84.基于上述实施例，所述现有食物集合基于如下步骤确定：
85.采集食物图像；
86.对食物图像进行目标食物检测，得到食物图像中包含的各类食物的情绪功效信息；
87.基于各类食物与情绪功效信息的对应关系，确定现有食物集合。
88.具体地，在确定待推荐人员的情绪识别结果后，若要向待推荐人员推荐食物，则还需确定现有食物集合，此后，即可基于待推荐人员的情绪识别结果，以及现有食物集合中各类候选食物的情绪功效信息，实现食物的精准推荐。
89.现有食物集合的确定过程包括如下步骤：
90.首先，采集食物图像，此处的食物图像可以是设置于设备上的图像采集单元拍摄的，食物图像中包含了设备内储藏的所有食物的图像，食物图像可以是一张也可以是多张，本发明实施例对此不做具体限定；
91.随即，对采集到的所有食物图像进行目标食物检测，即可得到食物图像中包含的各类食物的情绪功效信息；需要说明的是，此处的各类食物并不是食物图像中所囊括的全部食物，仅是一部分食物，即对食物图像的目标食物检测是有针对性的，并不是对食物图像中的每一食物均进行检测，而是针对食物图像中具有情绪功效信息的食物进行检测，例如，樱桃、巧克力、绿色蔬菜、葵花子、白芍、佛手等，从而得到食物图像中包含的各类食物的情绪功效信息；
92.此后，即可根据食物图像中包含的各类食物与情绪功效信息的对应关系，构建现有食物集合。
93.需要说明的是，构建现有食物集合的步骤仅需在最初时刻执行，或者是在确定设备内储藏的食物发生变更后，即食物图像发生变更后再次执行。
94.本发明实施例提供的方法，对食物图像进行目标食物检测，可在前期筛除大量的不具备情绪改善功能的食物，使得检测更具针对性，大大减少了非必要的食物检测，加快了现有食物集合的生成，推进了食物的推荐的整个流程。
95.基于上述实施例，对食物图像进行目标食物检测，得到食物图像中包含的各类食物的情绪功效信息，包括：
96.将食物图像输入至目标食物检测模型，得到目标食物检测模型输出的各类食物的情绪功效信息；
97.目标食物检测模型基于样本食物图像、样本食物图像中包含的各类样本食物的情绪功效标签以及预先构建的食物情绪关系列表训练得到。
98.具体地，在采集到食物图像后，对食物图像进行目标食物检测这一过程可通过目标食物检测模型实现，目标食物检测的过程可以是，将食物图像输入至目标食物检测模型，由目标食物检测模型对输入的食物图像进行目标食物检测，从而得到目标食物检测模型输出的各类食物的情绪功效信息。
99.而在将食物图像输入至目标食物检测模型之前，还可以根据样本食物图像、样本食物图像中包含的各类样本食物的情绪功效标签以及预先构建的食物情绪关系列表，训练得到目标食物检测模型，目标食物检测模型的训练过程包括如下步骤：
100.首先，构建食物情绪关系列表，此列表中包含了大量的食物及其情绪功效信息，同时，收集大量的样本食物图像，并标注样本食物图像中包含的各类样本食物的情绪功效信息，形成样本食物图像中包含的各类样本食物的情绪功效标签；
101.随即，基于样本食物图像、样本食物图像中包含的各类样本食物的情绪功效标签以及预先构建的食物情绪关系列表，对初始目标食物检测模型进行训练，从而得到训练完成的目标食物检测模型，在此过程中，基于预先构建的食物情绪关系列表的训练可以使得目标食物检测模型在进行目标食物检测时，更具针对性，从而提高了目标食物检测的精度。
102.基于上述实施例，图2是本发明提供的食物推荐方法的总体流程图，如图2所示，该方法包括：
103.步骤210，采集待推荐人员的语音数据和人脸图像；
104.步骤220，将语音数据输入至语音情绪识别模型，由语音情绪识别模型对语音数据进行声学情绪特征提取，对声学情绪特征进行情绪分析，得到语音情绪识别模型输出的语音情绪识别结果；
105.步骤230，将人脸图像输入至图像情绪识别模型，由图像情绪识别模型对人脸图像进行图像情绪特征提取，对图像情绪特征进行情绪分析，得到图像情绪识别模型输出的图像情绪识别结果；
106.步骤240，基于语音情绪识别结果中的各语音候选情绪的情绪得分，以及图像情绪识别结果中的各图像候选情绪的情绪得分，确定各候选情绪的情绪汇总得分，各候选情绪包括各语音候选情绪和各图像候选情绪；
107.步骤250，基于各候选情绪的情绪汇总得分，确定待推荐人员的情绪识别结果；
108.步骤260，采集食物图像；
109.步骤270，将食物图像输入至目标食物检测模型，得到目标食物检测模型输出的各类食物的情绪功效信息，目标食物检测模型基于样本食物图像、样本食物图像中包含的各类样本食物的情绪功效标签以及预先构建的食物情绪关系列表训练得到；
110.步骤280，基于各类食物与情绪功效信息的对应关系，确定现有食物集合；
111.步骤290，基于情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向待推荐人员推荐食物。
112.本发明提供的食物推荐方法，通过待推荐人员的语音数据和人脸图像对待推荐人员进行情绪识别，克服了通过单一的表情识别或者语音识别得到的情绪识别结果不准确的缺陷，通过多模态的情绪识别能够较为准确地判断待推荐人员的情绪，从而在后续的食物推荐过程中能够基于待推荐人员的情绪识别结果向其精准推荐食物，以达到改善其心情的目的，在满足了待推荐人员的实际需求的基础上，实现了待推荐人员的健康生活。
113.下面对本发明提供的食物推荐装置进行描述，下文描述的食物推荐装置与上文描述的食物推荐方法可相互对应参照。
114.图3是本发明提供的食物推荐装置的结构示意图，如图3所示，该装置包括：
115.采集单元310，用于采集待推荐人员的语音数据和人脸图像；
116.情绪识别单元320，用于基于所述语音数据和人脸图像进行情绪识别，得到所述待推荐人员的情绪识别结果；
117.食物推荐单元330，用于基于所述情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向所述待推荐人员推荐食物。
118.本发明提供的食物推荐装置，通过待推荐人员的语音数据和人脸图像对待推荐人员进行情绪识别，克服了通过单一的表情识别或者语音识别得到的情绪识别结果不准确的缺陷，通过多模态的情绪识别能够较为准确地判断待推荐人员的情绪，从而在后续的食物推荐过程中能够基于待推荐人员的情绪识别结果向其精准推荐食物，以达到改善其心情的目的，在满足了待推荐人员的实际需求的基础上，实现了待推荐人员的健康生活。
119.基于上述实施例，情绪识别单元320用于：
120.将所述语音数据输入至语音情绪识别模型，得到所述语音情绪识别模型输出的语音情绪识别结果；
121.将所述人脸图像输入至图像情绪识别模型，得到所述图像情绪识别模型输出的图像情绪识别结果；
122.基于所述语音情绪识别结果和所述图像情绪识别结果，确定所述待推荐人员的情绪识别结果。
123.基于上述实施例，情绪识别单元320用于：
124.将所述语音数据输入至语音情绪识别模型，由所述语音情绪识别模型对所述语音数据进行声学情绪特征提取，对所述声学情绪特征进行情绪分析，得到所述语音情绪识别模型输出的语音情绪识别结果。
125.基于上述实施例，情绪识别单元320用于：
126.将所述人脸图像输入至图像情绪识别模型，由所述图像情绪识别模型对所述人脸图像进行图像情绪特征提取，对所述图像情绪特征进行情绪分析，得到所述图像情绪识别模型输出的图像情绪识别结果。
127.基于上述实施例，情绪识别单元320用于：
128.基于所述语音情绪识别结果中的各语音候选情绪的情绪得分，以及所述图像情绪识别结果中的各图像候选情绪的情绪得分，确定各候选情绪的情绪汇总得分，所述各候选情绪包括所述各语音候选情绪和所述各图像候选情绪；
129.基于各候选情绪的情绪汇总得分，确定所述待推荐人员的情绪识别结果。
130.基于上述实施例，所述装置还包括现有食物集合确定单元，用于：
131.采集食物图像；
132.对所述食物图像进行目标食物检测，得到所述食物图像中包含的各类食物的情绪功效信息；
133.基于各类食物与情绪功效信息的对应关系，确定现有食物集合。
134.基于上述实施例，现有食物集合确定单元用于：
135.将所述食物图像输入至目标食物检测模型，得到所述目标食物检测模型输出的各类食物的情绪功效信息；
136.所述目标食物检测模型基于样本食物图像、所述样本食物图像中包含的各类样本食物的情绪功效标签以及预先构建的食物情绪关系列表训练得到。
137.图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行食物推荐方法，该方法包括：采集待推荐人员的语音数据和人脸图像；基于所述语音数据和人脸图像进行情绪识别，得到所述待推荐人员的情绪识别结果；基于所述情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向所述待推荐人员推荐食物。
138.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
139.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的食物推荐方法，该方法包括：采集待推荐人员的语音数据和人脸图像；基于所述语音数据和人脸图像进行情绪识别，得到所述待推荐人员的情绪识别结果；基于所述情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向所述待推荐人员推荐食物。
140.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的食物推荐方法，该方法包括：采集待推荐人员的语音数据和人脸图像；基于所述语音数据和人脸图像进行情绪识
别，得到所述待推荐人员的情绪识别结果；基于所述情绪识别结果，以及现有食物集合中各类食物的情绪功效信息，向所述待推荐人员推荐食物。
141.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
142.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
143.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。