图像识别方法、装置、电子设备及可读存储介质与流程

本发明实施例涉及智能家居领域，尤其涉及一种图像识别方法、装置、电子设备及可读存储介质。

背景技术：

1、随着大众生活水平的提高，越来越多的人在家中购入智能家居设备以提升生活质量。

2、例如，智能冰箱可以识别食材类别，进而智能的对储藏的食材进行分类管理。

3、传统的图像识别方法只能识别整个图像中的食材类别，，导致图像中包括多种食材，且背景比较复杂时，无法准确对图像中每一种食材进行识别。

技术实现思路

1、鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像识别方法、装置、电子设备及可读存储介质。

2、第一方面，本申请实施例公开了一种图像识别方法，所述方法包括：

3、获取待识别图像；所述待识别图像为包含食材的图像；；

4、对所述待识别图像进行目标检测，确定待识别目标区域；

5、提取所述待识别目标区域的关键位置信息；所述关键位置信息为用于确定待识别目标区域位置的信息；

6、基于所述关键位置信息为所述待识别目标区域标注锚点，并将标注了锚点的待识别图像输入训练后的第一模型中，获得仅包括待识别目标区域的子图像；

7、将所述子图像输入训练后的第二模型中，输出所述待识别目标区域的食材分类结果。

8、可选地，所述提取所述待识别目标区域的关键位置信息，包括：

9、通过对所述待识别目标区域的检测，获取所述待识别目标区域中的边缘、角点以及关键点的位置特征信息；

10、根据所述位置特征信息确定所述待识别目标区域中的边缘、角点以及关键点各自对应的坐标信息，将所述坐标信息作为关键位置信息。

11、可选地，所述基于所述关键位置信息为所述待识别目标区域标注锚点，包括：

12、根据所述坐标信息为所述待识别目标区域标注锚点。

13、可选地，将标注了锚点的待识别图像输入第一模型中，获得仅包括待识别目标区域的子图像，包括：

14、将标注了锚点的待识别图像输入第一模型中，基于所述锚点以及预设的比例要求输出待识别图像的候选框；

15、基于所述候选框在待识别图像中的位置映射，确定子图像的位置信息；

16、基于所述子图像的位置信息从所述待识别图像中截取子图像。

17、可选地，所述将标注了锚点的待识别图像输入第一模型中，基于所述锚点以及预设的比例要求输出待识别图像的候选框，包括：

18、根据所述锚点的标注位置，确定针对一种食材的锚点集合；

19、通过每个所述锚点集合中每个锚点的坐标信息以及预设比例要求，获得待识别图像的多个候选框。

20、可选地，所述提取所述待识别目标区域的关键位置信息，包括：

21、基于所述待识别区域的位置信息确定参考目标框；

22、根据所述参考目标框的中心点的坐标信息，确定待识别目标区域的关键位置信息。

23、可选地，所述根据所述参考目标框的中心点的坐标信息，确定待识别目标区域的关键位置信息，包括：

24、获取所述中心点的位置信息，将所述中心点的位置信息作为待识别目标区域的关键位置信息；

25、所述基于所述关键位置信息为所述待识别目标区域标注锚点，包括：

26、选取距离中心点预设距离范围的多个候选位置作为候选锚点位置；

27、根据预设的锚点数量要求，从所述候选锚点位置中确定目标锚点位置进行锚点标注。

28、第二方面，本申请实施例公开了一种图像识别装置，所述装置包括：

29、获取模块，用于获取待识别图像；

30、目标检测模块，用于对所述待识别图像进行目标检测，确定待识别目标区域；

31、提取模块，用于提取所述待识别目标区域的关键位置信息；所述关键位置信息为用于确定待识别目标区域位置的信息；

32、标注模块，用于基于所述关键位置信息为所述待识别目标区域标注锚点，并将标注了锚点的待识别图像输入训练后的第一模型中，获得仅包括待识别目标区域的子图像；

33、分类模块，用于将所述子图像输入训练后的第二模型中，输出所述待识别目标区域的分类结果。

34、第三方面，本申请实施例还公开了一种电子设备，包括处理器和存储器、所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像识别方法的步骤。

35、第四方面，本申请实施例还公开了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像识别方法的步骤。

36、本申请实施例中，获取待识别图像；所述待识别图像为包含食材的图像；对所述待识别图像进行目标检测，确定待识别目标区域；提取所述待识别目标区域的关键位置信息；所述关键位置信息为用于确定待识别目标区域位置的信息；基于所述关键位置信息为所述待识别目标区域标注锚点，并将标注了锚点的待识别图像输入训练后的第一模型中，获得仅包括待识别目标区域的子图像；将所述子图像输入训练后的第二模型中，输出所述待识别目标区域的食材分类结果。本申请的方法通过使用目标检测技术为食材制定锚点，在包含多种食材的情况下，通过锚点可以更准确地定位和识别每个食材目标。将标注了锚点的图像输入模型提取食材信息，可以提高识别的准确性和速度，解决了传统图像识别方法中的识别准确性和速度问题，使得图像食材识别更加准确和高效。

技术特征：

1.一种图像识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述提取所述待识别目标区域的关键位置信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述关键位置信息为所述待识别目标区域标注锚点，包括：

4.根据权利要求1所述的方法，其特征在于，所述将标注了锚点的待识别图像输入第一模型中，获得仅包括待识别目标区域的子图像，包括：

5.根据权利要求4所述的方法，其特征在于，所述将标注了锚点的待识别图像输入第一模型中，基于所述锚点以及预设的比例要求输出待识别图像的候选框，包括：

6.根据权利要求1所述的方法，其特征在于，所述提取所述待识别目标区域的关键位置信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述参考目标框的中心点的坐标信息，确定待识别目标区域的关键位置信息，包括：

8.一种图像识别装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器、所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的图像识别方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的图像识别方法的步骤。

技术总结
本发明提供了一种图像识别方法、装置、电子设备及可读存储介质，获取待识别图像；所述待识别图像为包含食材的图像；对所述待识别图像进行目标检测，确定待识别目标区域；提取所述待识别目标区域的关键位置信息；所述关键位置信息为用于确定待识别目标区域位置的信息；基于所述关键位置信息为所述待识别目标区域标注锚点，并将标注了锚点的待识别图像输入训练后的第一模型中，获得仅包括待识别目标区域的子图像；将所述子图像输入训练后的第二模型中，输出所述待识别目标区域的食材分类结果。通过使用目标检测技术为食材制定锚点，在包含多种食材的情况下，通过锚点可以更准确地定位和识别每个食材目标，提高识别的准确性和速度。

技术研发人员：孙聪,唐杰,李世新,林进华
受保护的技术使用者：珠海格力电器股份有限公司
技术研发日：
技术公布日：2024/3/11