一种智能膳食营养调查和评价方法、装置和系统

本发明属于人工智能领域，尤其涉及一种智能膳食营养调查和评价方法、装置和系统。

背景技术：

1、健康教育对于健康生活方式和合理饮食结构的改变至关重要,但是在开展准确有效的健康教育前，需了解不同居民的饮食情况。但传统的膳食调查方法在实际应用过程中都有一定的缺陷，如称重法虽细致精确，但耗费人力物力，成本高，不适用于做大规模的人群膳食调查；记账法的调查结果较为粗略，不适用于精确分析个体的膳食摄入情况；回顾法虽简单易行，但依赖于个人短期记忆，还需对调查员进行严格培训，否则调查结果的差异较大；食物频数法主要用于膳食结构与膳食模式调查，调查用时较长，调查结果会受到调查对象的依从度的影响，且调查结果不能提供每天饮食变化的信息；化学分析法操作复杂，不适用于普通居民在家里操作。因此，需要研发一种高效、精准、低成本、便捷的膳食营养调查和评价方法及系统。

2、

3、

技术实现思路

1、鉴于上述问题，本发明提供一种智能膳食营养调查和评价系统，通过图像分析技术与机器学习方法完成食物重量的估算与校准的程序，能避免大规模人群调查过程中需要费时、费力开展的组织协调、人群动员、入户登记、数据录入、质量控制等一系列的问题和困难，降低工作成本，提高工作效率和质量。本发明解决其技术问题所采用的技术方案是：

2、一种智能膳食营养调查和评价方法，其特征在于所述方法包括如下步骤：

3、步骤10，拍摄饮食图像，并上传所述图像；

4、步骤20，对所述图像进行分析，获得饮食种类信息；其中，步骤20具体包括：

5、步骤201，选择imagenet数据集上预训练的inception-v3模型作为图片特征提取模型，并对所述模型进行优化，具体包括：

6、利用公式一计算擦除背景后的图像特征protoc，利用公式二计算背景特征protob；

7、protoc＝φtb-reseca(fext⊙y↓)                         公式一

8、protob＝φtb-reseca(fext⊙(1-y↓))                     公式二

9、其中，fext表示初始图像特征，φtb-reseca表示进行注意力机制处理，y表示所述图像的像素值矩阵，‘↓’表示将y降采样到与初始图像特征fext相同的大小；

10、将初始图像特征fext与擦除背景后的图像特征protoc视为正对组，将初始图像特征fext与背景特征protob视为负对组，设计自对比损失函数，实现最大化正对组权值并最小化负对组权值，其中，正对组和负对组的自对比损失函数分别利用公式三和公式四计算，公式三和公式四中的cos函数用公式五表示；

11、cosc＝cos(fext,protoc)                                公式三

12、cosb＝cos(fext,protob)                                公式四

13、

14、lsc＝-log(cosc+ε)-log(1-cosb+ε)          公式六

15、其中，ε是一个小的恒定值，确保对数log(·)非零，并设置为1×10-5，lsc是辅助损失；

16、步骤202，将所述图像输入到步骤201获得的inception-v3模型中，经过卷积层特征提取后得到图像特定维度特征，使用注意力机制中的softmax函数为所述图像特定维度特征赋予权重，将所述图像特定维度特征与对应的权重相乘得到新的图像特定维度特征；

17、步骤203，利用所述新的图像特定维度特征进行图像分类，获得所述图像对应的饮食种类信息；

18、步骤30，对所述图像进行分析，获得饮食重量信息，其中营养数据平台中存储有饮食种类与饮食密度的对应关系一，每种饮食种类的轮廓内的像素点数和饮食面积的对应关系二；其中，步骤30具体包括：

19、步骤301，将所述图像转化为灰度图；将选定的餐盘颜色作为染色阈值，对所述灰度图进行整体染色；使用局部变化的图像分割方法，对饮食边缘进行识别分析；通过轮廓提取算法对饮食进行轮廓提取获得饮食轮廓；

20、步骤302，统计步骤301中的饮食轮廓内包括的像素点数，根据对应关系二计算相应的饮食面积；通过耙子工具测量所述图像中饮食的饮食高度；将所述饮食面积和所述饮食高度相乘，获得饮食体积；

21、步骤303，根据对应关系一获得对应的饮食密度；

22、步骤304，将步骤302获得的饮食体积和步骤303获得的饮食密度相乘，获得饮食重量信息；

23、步骤40，通过所述饮食种类信息和饮食重量信息获得用户饮食的营养数据；所述营养数据平台将所述营养数据和用户id关联存储在服务器中，并发送所述营养数据和用户id；

24、步骤50，根据所述营养数据和所述用户id对应的用户信息，对所述用户饮食的营养数据进行评价，并根据评价结果生成相应的饮食建议信息，并将所述饮食建议信息发送给所述用户和所述服务器；

25、步骤60，根据存储的所述营养数据和饮食建议信息，周期性地为所述用户生成营养报告和饮食建议报告。

26、优选的，所述步骤30进一步包括：步骤305，使用mlr和svm两种机器学习方法对所述饮食重量信息进行校准。

27、优选的，所述步骤50中所述的用户id对应的用户信息包括下述一种或多种：用户性别、年龄、身高、体重、健康数据。

28、一种实现上述任一项所述方法的智能膳食营养调查和评价装置，包括：

29、饮食图像上传模块，用于拍摄饮食图像，并上传所述图像；

30、饮食种类信息获取模块，用于对所述图像进行分析，获得饮食种类信息；具体包括：

31、模型获取子模块，用于选择imagenet数据集上预训练的inception-v3模型作为图片特征提取模型，并对所述模型进行优化，具体包括：

32、利用公式一计算擦除背景后的图像特征protoc，利用公式二计算背景特征protob；

33、protoc＝φtb-reseca(fext⊙y↓)                         公式一

34、protob＝φtb-reseca(fext⊙(1-y↓))                     公式二

35、其中，fext表示初始图像特征，φtb-reseca表示进行注意力机制处理，y表示所述图像的像素值矩阵，‘↓’表示将y降采样到与初始图像特征fext相同的大小；

36、将初始图像特征fext与擦除背景后的图像特征protoc视为正对组，将初始图像特征fext与背景特征protob视为负对组，设计自对比损失函数，实现最大化正对组权值并最小化负对组权值，其中，正对组和负对组的自对比损失函数分别利用公式三和公式四计算，公式三和公式四中的cos函数用公式五表示；

37、cosc＝cos(fext,protoc)                               公式三

38、cosb＝cos(fext,protob)                               公式四

39、

40、lsc＝-log(cosc+ε)-log(1-cosb+ε)       公式六

41、其中，ε是一个小的恒定值，确保对数log(·)非零，并设置为1×10-5，lsc是辅助损失；

42、图像特定维度特征获取子模块，用于将所述图像输入inception-v3模型中，经过卷积层特征提取后得到图像特定维度特征，使用注意力机制中的softmax函数为所述图像特定维度特征赋予权重，将所述图像特定维度特征与对应的权重相乘得到新的图像特定维度特征；

43、饮食种类分类子模块，用于利用所述新的图像特定维度特征进行图像分类，获得所述图像对应的饮食种类信息；

44、饮食重量信息获取模块，用于对所述图像进行分析，获得饮食重量信息，其中营养数据平台中存储有饮食种类与饮食密度的对应关系一，每种饮食种类的轮廓内的像素点数和饮食面积的对应关系二；其中，具体包括：

45、饮食轮廓提取子模块，用于将所述图像转化为灰度图；将选定的餐盘颜色作为染色阈值，对所述灰度图进行整体染色；使用局部变化的图像分割方法，对饮食边缘进行识别分析；通过轮廓提取算法对饮食进行轮廓提取获得饮食轮廓；

46、饮食体积计算子模块，用于统计饮食轮廓内包括的像素点数，根据对应关系二计算相应的饮食面积；通过耙子工具测量所述图像中饮食的饮食高度；将所述饮食面积和所述饮食高度相乘，获得饮食体积；

47、饮食密度计算子模块，用于根据对应关系一获得对应的饮食密度；

48、饮食重量信息计算子模块，用于将获得的饮食体积和获得的饮食密度相乘，获得饮食重量信息；

49、营养数据获取模块，用于通过所述饮食种类信息和饮食重量信息获得用户饮食的营养数据；所述营养数据平台将所述营养数据和用户id关联存储在服务器中，并发送所述营养数据和用户id；

50、饮食建议信息获取模块，用于根据所述营养数据和所述用户id对应的用户信息，对所述用户饮食的营养数据进行评价，并根据评价结果生成相应的饮食建议信息，并将所述饮食建议信息发送给所述用户和所述服务器；

51、报告生成模块，用于根据存储的所述营养数据和饮食建议信息，周期性地为所述用户生成营养报告和饮食建议报告。

52、一种实现上述任一项所述方法的智能膳食营养调查和评价系统，包括：用户终端、营养数据平台、饮食建议平台、服务器，其特征在于：

53、用户终端，用于拍摄饮食图像，并将所述图像上传到营养数据平台；

54、营养数据平台，用于对所述图像进行分析，获得饮食种类信息；具体包括：

55、选择imagenet数据集上预训练的inception-v3模型作为图片特征提取模型，并对所述模型进行优化，具体包括：

56、利用公式一计算擦除背景后的图像特征protoc，利用公式二计算背景特征protob；

57、protoc＝φtb-reseca(fext⊙y↓)                         公式一

58、protob＝φtb-reseca(fext⊙(1-y↓))                     公式二

59、其中，fext表示初始图像特征，φtb-reseca表示进行注意力机制处理，y表示所述图像的像素值矩阵，‘↓’表示将y降采样到与初始图像特征fext相同的大小；

60、将初始图像特征fext与擦除背景后的图像特征protoc视为正对组，将初始图像特征fext与背景特征protob视为负对组，设计自对比损失函数，实现最大化正对组权值并最小化负对组权值，其中，正对组和负对组的自对比损失函数分别利用公式三和公式四计算，公式三和公式四中的cos函数用公式五表示；

61、cosc＝cos(fext,protoc)                                公式三

62、cosb＝cos(fext,protob)                                公式四

63、

64、lsc＝-log(cosc+ε)-log(1-cosb+ε)       公式六

65、其中，ε是一个小的恒定值，确保对数log(·)非零，并设置为1×10-5，lsc是辅助损失；

66、将所述图像输入inception-v3模型中，经过卷积层特征提取后得到图像特定维度特征，使用注意力机制中的softmax函数为所述图像特定维度特征赋予权重，将所述图像特定维度特征与对应的权重相乘得到新的图像特定维度特征；

67、利用所述新的图像特定维度特征进行图像分类，获得所述图像对应的饮食种类信息；

68、对所述图像进行分析，获得饮食重量信息，其中营养数据平台中存储有饮食种类与饮食密度的对应关系一，每种饮食种类的轮廓内的像素点数和饮食面积的对应关系二；其中，具体包括：

69、将所述图像转化为灰度图；将选定的餐盘颜色作为染色阈值，对所述灰度图进行整体染色；使用局部变化的图像分割方法，对饮食边缘进行识别分析；通过轮廓提取算法对饮食进行轮廓提取获得饮食轮廓；

70、统计饮食轮廓内包括的像素点数，根据对应关系二计算相应的饮食面积；通过耙子工具测量所述图像中饮食的饮食高度；将所述饮食面积和所述饮食高度相乘，获得饮食体积；

71、根据对应关系一获得对应的饮食密度；

72、将获得的饮食体积和获得的饮食密度相乘，获得饮食重量信息；

73、通过所述饮食种类信息和饮食重量信息获得用户饮食的营养数据；所述营养数据平台将所述营养数据和用户id关联存储在服务器中，并将所述营养数据和用户id发送到营养建议平台；

74、营养建议平台，根据所述营养数据和所述用户id对应的用户信息，对所述用户饮食的营养数据进行评价，并根据评价结果生成相应的饮食建议信息，并将所述饮食建议信息发送给所述用户和所述服务器；

75、服务器，根据存储的所述营养数据和饮食建议信息，周期性地为所述用户生成营养报告和饮食建议报告。

76、一种电子装置，其包括处理器和存储器，其中，存储器上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。

77、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。

78、相对于现有技术，本发明的优点及积极效果为：构建基于食物图像分析的人群智能膳食营养调查和评价系统，开发前调研、选择合适的数据集、扩大数据库的样本、考虑中国居民的口味，调料、饮料、零食的摄入情况，兼顾了各地区的特色和烹饪方式，进一步增加了膳食调查的精确度。简化了其他手机软件中需要复杂手动操作的流程，使居民操作起来更加简便，增加居民膳食营养调查的可行性、便捷性和可操作性(即使对于老年人、婴幼儿、残疾人等操作不便或需要他人代填的人群依然具有适用性)，在降低人群膳食调查工作成本的同时，提升膳食调查数据收集的效率，提高收集数据的质量，控制图像识别误差率在25％以内，对食物重量估算的精确值达到85％以上。此外，本发明还可以向有关部门汇总数据，并根据需要，请营养专家结合居民个人的饮食习惯做出相应的指导与建议，实现膳食调查平台和健康管理评价的良好互动和对接，及时反馈，指导合理膳食，防治营养相关疾病。