一种基于描述符的用餐营养识别方法、系统、设备及介质与流程

本发明涉及图像识别，尤其涉及一种基于描述符的用餐营养识别方法、系统、设备及介质。

背景技术：

1、在菜品图像识别领域，主要基于图像处理和机器学习方法进行特征提取和分类。在真实场景中，菜品图像可能受到噪声、模糊、遮挡和其他干扰因素的影响，这会对特征提取和识别过程造成困难。然而，现有的菜品图像识别技术在处理光照变化和视角变化时可能表现不稳定，导致识别结果的可靠性下降，而且现有的菜品图像识别技术往往缺乏针对菜品特定特征的定制化方法，导致模型在训练和识别过程中对于少数类别的菜品表现不佳，容易产生分类偏差。

技术实现思路

1、本发明的目的在于提供一种基于描述符的用餐营养识别方法、系统、设备及介质，通过特征提取算法，全面地描述菜品的视觉特征，获取菜品类别和菜品重量，以解决上述现有问题的至少之一。

2、本发明提供了一种基于描述符的用餐营养识别方法，所述方法具体包括：

3、建立菜品数据库，所述菜品数据库包括菜品类别及每个菜品类别的菜品信息；

4、获取菜品图像，根据特征提取算法将所述菜品图像转换为描述符集合；

5、根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别；

6、根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量；

7、根据所述取餐食物和所述餐后剩余食物的菜品类别和每个菜品类别的重量确定营养摄取量。

8、进一步的，所述根据特征提取算法将所述菜品图像转换为描述符集合，具体包括：

9、基于sift算法，确定所述菜品图像的第一特征点集合，提取所述第一特征点集合中每个第一特征点的周围的局部特征，生成sift描述符；

10、基于surf算法，确定所述菜品图像的第二特征点集合，提取所述第二特征点集合中每个第二特征点的周围的局部特征，生成surf描述符；

11、基于lbp算法，计算所述菜品图像中每个像素周围邻域的局部二值模式，提取lbp特征，生成lbp描述符；

12、将所述sift描述符、所述surf描述符和所述lbp描述符合并为描述符集合。

13、更进一步的，所述基于sift算法，确定所述菜品图像的第一特征点集合，提取所述第一特征点集合中每个第一特征点的周围的局部特征，生成sift描述符，具体包括：

14、对所述菜品图像进行不同尺度的高斯模糊和降采样，获得第一高斯金字塔；

15、使所述第一高斯金字塔的每组中每相邻两层高斯模糊图像相减，获得高斯差分金字塔；

16、基于高斯差分函数，计算所述高斯差分金字塔的每组中每相邻两层的高斯模糊图像之间的差异，确定第一特征点集合；

17、对所述第一特征点集合中每个第一特征点的邻域内像素点进行梯度计算，然后采用直方图统计每个第一特征点的邻域内像素点的梯度方向和梯度幅值，确定每个第一特征点的位置、尺度和方向；

18、根据每个第一特征点的位置、尺度和位置确定每个第一特征点的特征向量，对每个第一特征点的特征向量进行排序，获得sift描述符。

19、更进一步的，所述基于surf算法，确定所述菜品图像的第二特征点集合，提取所述第二特征点集合中每个第二特征点的周围的局部特征，生成surf描述符，具体包括：

20、对所述菜品图像进行不同尺度的高斯模糊和降采样，获得第二高斯金字塔；

21、基于hessian矩阵，计算所述第二高斯金字塔的每个像素点及每个像素点的三维领域内邻近26个像素点之间的特征值大小，确定第二特征点集合；

22、计算所述第二特征点集合中每个第二特征点的邻域内像素点的haar小波响应，确定每个第二特征点的主方向；

23、分别以每个第二特征点为中心，将坐标轴旋转到每个第二特征点的主方向并获得新坐标轴；

24、在所述新坐标轴中选取区域并划分为多个子区域，计算每个子区域在水平方向和垂直方向的haar小波响应后进行高斯加权，获得每个子区域的特征向量；

25、将每个子区域的特征向量进行组合，获得surf描述符。

26、更进一步的，所述基于lbp算法，计算所述菜品图像中每个像素周围邻域的局部二值模式，提取lbp特征，生成lbp描述符，具体包括：

27、基于加权平均法，将所述菜品图像转换为灰度图像；

28、比较所述灰度图像中每个像素点及每个像素点的邻域内的像素点之间的灰度值，将大于等于当前像素点的邻域内的像素点的二值编码位置设为1，将小于当前像素点的邻域内的像素点的二值编码位置设为0，生成二值编码；

29、将所述二值编码进行旋转操作，使所述二值编码的二进制序列从小到大进行排序，生成lbp特征；

30、将所述灰度图像中每个像素点的所述lbp特征进行组合，生成lbp描述符。

31、进一步的，所述根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别，具体包括：

32、分别计算所述描述符集合中的sift描述符、surf描述符和lbp描述符与所述菜品数据库的每个菜品的描述符之间的相似度；

33、根据所述相似度的大小，分别确定所述菜品数据库中与所述sift描述符、所述surf描述符和所述lbp描述符相似度最高的前k个描述符；

34、根据前k个描述符中每个描述符对应的菜品类别，确定每个菜品类别的频率；

35、根据每个菜品类别的频率的大小分别确定所述sift描述符、所述surf描述符和所述lbp描述符对应的菜品类别。

36、判断所述sift描述符、所述surf描述符和所述lbp描述符对应的菜品类别是否一致，若不一致，基于场景属性、光照条件和菜品种类确定所述sift描述符、所述surf描述符和所述lbp描述符之间的权重，根据所述sift描述符、所述surf描述符和所述lbp描述符之间的权重确定目标菜品类别。

37、进一步的，所述根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量，具体包括：

38、根据所述描述符集合，获取颜色特征、纹理特征和形状特征；

39、构建所述颜色特征、所述纹理特征和所述形状特征分别与已知重量的菜品样本之间的关联数据，形成第一数据集；

40、通过回归模型训练所述第一数据集，生成菜品重量识别模型；

41、根据所述菜品重量识别模块确定取餐食物和餐后剩余食物的每个菜品类别的重量。

42、本发明还提供了一种基于描述符的用餐营养识别系统，所述系统具体包括：

43、菜品数据库，所述菜品数据库用于存储菜品类别及每个菜品类别的菜品信息；

44、智能秤模块，所述智能秤模块包括取餐盘、第一重量传感器和菜品显示屏，所述第一重量传感器用于测量所述取餐盘上的取餐食物的重量，所述菜品显示屏用于显示取餐食物的菜品信息；

45、餐具回收模块，所述餐具回收模块包括第二重量传感器，所述第二重量传感器用于测量餐具上的餐后剩余食物的重量；

46、食物监视模块，包括第一摄像头和第二摄像头，分别设置于所述智能秤模块和所述餐具回收模块上，用于获取菜品图像，根据特征提取算法将所述菜品图像转换为描述符集合；

47、营养摄取量计算模块，所述营养摄取量计算模块用于根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别；根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量；根据所述取餐食物和所述餐后剩余食物的菜品类别和每个菜品类别的重量确定营养摄取量；

48、健康信息管理模块，所述健康信息管理模块用于管理每个用户的健康信息；

49、餐前营养干预模块，所述餐前营养干预模块用于根据所述营养摄取量计算模块提供的取餐食物的营养量和所述健康信息管理模块提供的用户健康信息，当营养量超标或者食物中含有过敏源时自动发出告警；

50、餐后营养指导模块，所述餐后营养指导模块用于根据所述营养摄取量计算模块提供的营养摄取量和所述健康信息管理模块提供的用户健康信息，生成并推送个人营养分析报告；

51、移动端模块，所述移动端模块用于显示所述取餐食物、所述餐后剩余食物的菜品信息和所述个人营养分析报告。

52、本发明还提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中任一项所述的一种基于描述符的用餐营养识别方法。

53、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的一种基于描述符的用餐营养识别方法。

54、与现有技术相比，本发明具有以下技术效果的至少之一：

55、1、通过特征提取算法，综合考虑了颜色特征、纹理特征和形状特征，能够更全面地描述菜品的视觉特征，提高了识别的准确性。

56、2、基于场景属性、光照条件和菜品种类，根据sift算法、surf算法和lbp算法各自的优劣势，调整各个算法在不同场景的权重，提高了识别模型的适用性。

57、3、通过个人用户的健康信息和摄取营养量，提供个人营养分析报告，有利于指导用户可以注意平时的饮食结构，建立科学饮食思维和习惯。