基于图像识别的智能橱柜及橱柜智能提示方法与流程

1.本技术涉及物联网设备技术领域，尤其涉及基于图像识别的智能橱柜及橱柜智能提示方法。


背景技术：

2.目前，在智能厨具领域出现了多种可以引导用户做菜的智能料理机或智能冰箱。通过智能料理机或智能冰箱引导用户做菜时，一般是先随机推荐若干个菜品名称，然后用户选中其中一个或多个菜品名称后，智能料理机或智能冰箱则播放所选中菜品名称相应的做菜图片集以具体引导用户做菜，而且将做菜的每一分解步骤都以图片的方式显示。但是，基于这一随机推荐菜品名称的方式，未充分考虑到当前的实际做菜人员的具体身份信息，也没有对目前已有菜品原材料进行统计，使得所得到菜品名称是随机性较大，而且得到的做菜图片集因显示状态单一，用户需要先去显示屏处查看图片后再实际操作做菜，导致用户获取做菜提示信息的效率低下。


技术实现要素：

3.本技术实施例提供了一种基于图像识别的智能橱柜及橱柜智能提示方法，旨在解决现有技术中智能家电如智能料理机或智能冰箱在引导用户做菜，是先随机推荐若干个菜品名称，然后用户选中其中一个或多个菜品名称后，智能料理机或智能冰箱则播放所选中菜品名称相应的做菜图片集以具体引导用户做菜，得到的做菜图片集因显示状态单一，用户需要先去显示屏处查看图片后再实际操作做菜，导致用户获取做菜提示信息的效率低下的问题。
4.第一方面，本技术实施例提供了一种基于图像识别的智能橱柜的橱柜智能提示方法，应用于智能橱柜，所述智能橱柜至少包括橱柜柜体、设置在橱柜柜体上的燃气灶及智能抽油烟机、设置在所述橱柜柜体或智能抽油烟机上的摄像头、设置在所述橱柜柜体或所述智能抽油烟机上的显示屏，和设置在所述橱柜柜体内的主机，其包括：若检测已采集到当前用户头像，将所述当前用户头像与本地用户图片库进行比对以确定身份验证结果；当所述身份验证结果为验证通过时，则通过图像采集获取至少一帧已选物品图像；通过图像识别获取所述已选物品图像中包括的物品以组成物品清单；若所述物品清单为空集，获取所述当前用户头像对应当前用户喜好标签、当日日期及当日天气数据，根据所述当前用户喜好标签、当日日期及当日天气数据生成物品组合结果；若所述物品清单为非空集，根据所述物品清单得到物品组合结果；其中，所述物品组合结果包括至少一组物品组合；根据预设的筛选策略从所述物品组合结果中获取目标物品组合；
获取与所述目标物品组合对应的加工教学音视频数据，并输出以播放所述加工教学音视频数据。
5.第二方面，本技术实施例提供了一种基于图像识别的智能橱柜，其至少包括橱柜柜体、设置在橱柜柜体上的燃气灶及智能抽油烟机、设置在所述橱柜柜体或智能抽油烟机上的摄像头、设置在所述橱柜柜体或智能抽油烟机上的显示屏，和设置在所述橱柜柜体内的主机；所述基于图像识别的智能橱柜用于实现上述第一方面所述的基于图像识别的智能橱柜的橱柜智能提示方法。
6.第三方面，本技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于图像识别的智能橱柜的橱柜智能提示方法。
7.第四方面，本技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于图像识别的智能橱柜的橱柜智能提示方法。
8.本技术实施例提供了一种基于图像识别的智能橱柜的橱柜智能提示方法、装置及设备，方法包括若检测已采集到当前用户头像，将所述当前用户头像与本地用户图片库进行比对以确定身份验证结果；当所述身份验证结果为验证通过时，则通过图像采集获取至少一帧已选物品图像；通过图像识别获取所述已选物品图像中包括的物品以组成物品清单；若所述物品清单为空集，获取所述当前用户头像对应当前用户喜好标签、当日日期及当日天气数据，根据所述当前用户喜好标签、当日日期及当日天气数据生成物品组合结果；若所述物品清单为非空集，根据所述物品清单得到物品组合结果；其中，所述物品组合结果包括至少一组物品组合；根据预设的筛选策略从所述物品组合结果中获取目标物品组合；获取与所述目标物品组合对应的加工教学音视频数据，并输出以播放所述加工教学音视频数据。实现了主机通过摄像头拍摄得到的已选物品图像智能推荐物品组合结果，还根据筛选策略从物品组合结果中获取目标物品组合后得到对应的加工教学音视频数据，用户基于查看加工教学音视频数据可以高效的获取做菜提示信息，无需先去显示屏处查看图片后再实际操作做菜。
附图说明
9.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1为本技术实施例提供的基于图像识别的智能橱柜的结构示意图；图2为本技术实施例提供的基于图像识别的智能橱柜的橱柜智能提示方法的流程示意图；图3为本技术实施例提供的基于图像识别的智能橱柜的示意性框图；图4为本技术实施例提供的计算机设备的示意性框图。
具体实施方式
11.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
12.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
13.还应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
14.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
15.为了更清楚的理解本技术的技术方案，下面对基于图像识别的智能橱柜进行详细介绍。
16.本技术中的所述基于图像识别的智能橱柜1的主体结构与现有的橱柜相同，如图1所示，也是包括橱柜柜体10（橱柜柜体是包括柜体是划分为多个柜格，每一柜格均有柜体空间及柜门）、设置在橱柜柜体10上的燃气灶20及智能抽油烟机30。本技术中的所述基于图像识别的智能橱柜1上还包括设置在所述橱柜柜体10或智能抽油烟机30上的摄像头40、设置在所述橱柜柜体10或智能抽油烟机30上的显示屏50，和设置在所述橱柜柜体10内的主机11。其中，所述主机11内搭载有中央处理器或微处理器，所述主机11内还设置有无线通讯模块(如wi-fi模块、5g通讯模块及低功耗蓝牙模块)；所述摄像头40、显示屏50（可以是触控一体的触摸屏，而且具有声音外放的扬声功能）均与所述主机11连接（具体是与主机中的中央处理器或微处理器连接），所述燃气灶20及所述智能抽油烟机30均与所述主机11连接。在本技术中，由于在基于图像识别的智能橱柜1上设置了摄像头40，可以对当前橱柜的实际使用者进行识别，从而对其做菜过程中通过音视频数据播放起到智能提示的作用。
17.请参阅图2，图2为本技术实施例提供的基于图像识别的智能橱柜的橱柜智能提示方法的流程示意图，该基于图像识别的智能橱柜的橱柜智能提示方法应用于智能橱柜中。
18.如图2所示，该方法包括步骤s101~s107。
19.s101、若检测已采集到当前用户头像，将所述当前用户头像与本地用户图片库进行比对以确定身份验证结果。
20.在本实施例中，是以智能橱柜为执行主体来描述技术方案。当基于智能橱柜上的摄像头采集到当前用户头像时，则可以对用户身份进行验证，以判断智能橱柜的实际用户，例如是否是该家庭经常做饭的用户1、用户2等。一般采集基于摄像头采集到当前用户头像对应的头像图片后，可基于主机中本地存储的人脸识别模型（如主机中存储有已完成训练的卷积神经网络）进行特征提取得到当前人脸特征，并与预先存储的本地用户图片库各用户图片的人脸特征计算相似度以输出最终的身份验证结果。
21.由于本地用户图片库中无需存储多张用户图片，一般存储该智能橱柜所设置家庭中的家庭主要成年成员，如相对于家庭中作为未成年儿子身份的家庭用户来说，家庭主要成年成员有父亲、母亲、爷爷、奶奶、外公、外婆等。这样，本地用户图片库中只需要存储这些常用的家庭成年成员的图片库，即可用作用户身份识别的图片库，有效的节省了存储空间。
22.其中，所述智能橱柜中的智能抽油烟机可以与主机设置为联动模式，即一般用户需要开启做菜时，先开启了智能抽油烟机时触发的开机信号也能触发所述智能橱柜中的主机联动式的同时开机，这样与主机连接的摄像头及显示屏等均启动开机呈工作状态。
23.s102、当所述身份验证结果为验证通过时，则通过图像采集获取至少一帧已选物品图像。
24.在本实施例中，之所以要对当前用户头像进行采集后进行身份验证，也是为了确保该智能橱柜在用于做菜时其实际使用者是家庭成年成员，避免了未成年使用者使用而易导致发生火灾、或使用者被烫伤烧伤等安全隐患。当所述身份验证结果为验证通过时，则表示智能橱柜的实际使用者是家庭成年成员，此时实际使用者可以从家庭冰箱等其他位置取出待加工的物品（主要是做菜的食物原材料）并放置于智能橱柜的橱柜柜体的指定区域摆放整齐后可被摄像头采集到时，则基于摄像头采集获取至少一帧摆放于指定区域的已选物品的已选物品图像，从而可以进一步基于图像识别获取到当前待加工的物品。
25.在一实施例中，步骤s101之后还包括：当所述身份验证结果为验证未通过时，则通过图像采集获取实时用户头像；若确定所述实时用户头像对应的用户年龄低于预设的年龄阈值，生成预警信息并发送至预设的接收终端，并生成警示提示音以播放。
26.在本实施例中，当所述身份验证结果为验证未通过时，则表示可能是家庭未成年成员靠近并有使用该智能橱柜的意图，此时为了及时的避免风险，可以通过摄像头采集获取实时用户头像。在提取了所述实时用户头像对应的实时人脸特征后，与预先存储的本地用户图片库各用户图片的人脸特征计算相似度以输出最终的身份验证结果。此时因为预先存储的本地用户图片库未存储该家庭未成年成员的图片，故得到的身份验证结果一定是验证未通过，此时还可以进一步在主机本地获取到预先训练的年龄预测模型（具体如卷积神经网络）对实时用户头像进行年龄预估，得到一个所述实时用户头像对应的用户年龄。若确定所述实时用户头像对应的用户年龄低于预设的年龄阈值，则表示该用户是被禁止单独使用该智能橱柜的用户，此时为了及时提示监护人来解除风险，需要生成预警信息并发送至预设的接收终端，并生成警示提示音以播放。这样监护人接收到了预警信息和/或听到了警示提示音后，及时的来到所述智能橱柜旁来消除风险。
27.s103、通过图像识别获取所述已选物品图像中包括的物品以组成物品清单。
28.在本实施例中，可以在智能橱柜的主机中存储目标检测模型（如yolov3、yolov5等）作为图像识别模型以获取所述已选物品图像中包括的物品以组成物品清单。例如，通过目标检测模型（更具体如多目标检测模型）获取所述已选物品图像中所包括的每一物品，与每一物品对应的预测框（每一物品对应的预测框能将该物品整体包围住），每一物品对应预测框的左上角坐标，每一物品对应的预测框的长宽值，每一物品对应预测框所属分类类别（如属于猪肉、鸡肉、牛肉、青椒、大蒜等），以及每一物品对应预测框所属分类类别的置信度。在基于图像识别获取到了所述已选物品图像中包括的物品后，可进行以各物品的物品名称进行组合，得到物品清单。
29.在一实施例中，所述通过图像识别获取所述已选物品图像中包括的物品以组成物品清单之后，包括：获取已存储的历史剩余物品清单并增加至所述物品清单，以更新所述物品清单。
30.在本实施例中，所述智能橱柜的柜格内柜体空间可以存放一些不用存储于冰箱内的物品（如酱油、陈醋等调味品；大蒜、葱、脱水处理过的紫菜饼、黄花菜、干红枣、干海带、干黄豆、绿豆、红豆等），这些物品在入柜时，可以通过至少以下两种方式进行盘点：第一种方式是通过摄像头拍摄这一批物品的购物小票，以获取这一批物品的物品名称、物品数量或重量、物品购买时间等信息，通过这一方式即可基于图像识别对放置于智能橱柜的柜格内物品进行盘点。
31.第二种方式是将智能橱柜内增加rfid读取器（其与主机连接以传输数据），并且在每一袋放置于柜格内物品的包装袋上粘贴rfid电子标签（与服装店中售卖衣服时应用的rfid电子标签一样，其中存储有物品入柜时间和日期、物品名称、物品保鲜日期等信息）。当可放置于柜格内的一袋物品入柜后，即可及时的通过rfid读取器对当前仍处于柜格内的物品进行一次盘点，从而得到智能橱柜的柜格内的物品余量。
32.由于主机中存储了对智能橱柜的柜格内物品盘点得到的历史剩余物品清单，故此时可以将已存储的历史剩余物品清单增加至所述物品清单，以更新所述物品清单。例如历史剩余物品清单中包括物品a1、物品a2、物品a3、物品a4及物品a5，所述物品清单包括物品a3、物品a4、物品a5、物品a6及物品a7，将历史剩余物品清单与物品清单包进行合并和去重后，得到的最新状态的物品清单包括a1、物品a2、物品a3、物品a4、物品a5、物品a6和物品a7。
33.s104、若所述物品清单为空集，获取所述当前用户头像对应当前用户喜好标签、当日日期及当日天气数据，根据所述当前用户喜好标签、当日日期及当日天气数据生成物品组合结果。
34.在本实施例中，若所述物品清单为空集，表示用户当前也是不知道加工何种菜品，可由智能橱柜的主机的存储空间中先检索是否可以获取到与所述当前用户头像所对应用户的当前用户喜好标签（如喜好吃辣、最爱牛肉等标签），并同时获取到当日日期（可具体到包括系统时间，也可以只是简单获取到年月日信息）及当日天气数据（如当日的平均气温，天气类型，具体对应的节气），最后综合考虑到当前用户喜好标签、当日日期及当日天气数据生成若干个物品组合从而组成物品组合结果。
35.更具体的，可以将所述当前用户喜好标签中包括的用户标签转换成对应的词向量，而且将当日日期（如当日日期为xx年xx1月xx2日，则当日日期对应向量[xx xx1 xx2]）及当日天气数据均直接以具体数值作为取值向量（如当日的平均气温为35℃则对应转换为35，天气类型为晴天则基于预设的天气类型-数值对应表转换为数值1，具体对应的节气为立秋则基于预设的节气类型-数值对应表转换为数值13，当日天气数据对应向量[35 1 13]），将当前用户喜好标签对应的若干个词向量、当日日期对应的取值向量及当日天气数据分别对应的向量串接后组成一个综合输入向量，将该综合输入向量输入至预先训练的推荐模型（如深度神经网络）进行运算，得到一个输出结果可以对应成若干个物品组合从而组成物品组合结果。可见，当用户未在橱柜柜体的指定区域摆放已选物品，此时也可以基于用户喜好并结合当日天气等因素进行智能推荐，得到物品组合结果。用户在得到该物品组合结果后，可以选择自行前往超市去购买这些物品，也可以是将该物品组合结果推送至用户使用的智能终端上，并由智能终端基于物品组合结果自动在网上购物商城的应用程序中下单购买重量适合的物品，从而实现物品组合实物的及时获取。
[0036]
s105、若所述物品清单为非空集，根据所述物品清单得到物品组合结果；其中，所
述物品组合结果包括至少一组物品组合。
[0037]
在本实施例中，在获取到了最新状态的所述物品清单后，是已知了目前所有可被加工的物品名称。此时可以由主机以所述物品清单为数据基础进行元素的组合，得到均为非空集的物品组合。而且这一组合过程是在主机中自动进行，而非人工组合方式，提高了物品组合结果的获取效率。
[0038]
在一实施例中，步骤s105包括：获取所述物品清单中包括的所有物品名称，并对应将所有物品名称进行有放回方式的组合，得到均为非空集的物品组合以组成物品组合结果。
[0039]
在本实施例中，在对物品清单中包括的物品名称进行组合时，所涉及的组合是数学定义排列组合中的组合一词，是从多个（如n个）不同元素取出若干个（如m个，其中m小于或等于n，且m和n均为正整数）元素。例如，仍参考上述示例，最新状态的物品清单包括物品a1、物品a2、物品a3、物品a4、物品a5、物品a6和物品a7，则基于所述物品清单得到物品组合结果包括种物品组合，即一共127种物品组合。可见，基于这一组合方式，可以将所有可能的组合方式都得到，实现了穷举所有可能的物品组合。
[0040]
s106、根据预设的筛选策略从所述物品组合结果中获取目标物品组合。
[0041]
在本实施例中，由于所述物品组合结果中包括至少一组物品组合，此时可以由主机根据预设的筛选策略从所述物品组合结果中筛选出至少一组物品组合作为目标物品组合，从而实现了自动筛选，避免了低效率的人工筛选。
[0042]
在一实施例中，作为步骤s106的第一实施例，步骤s106包括：获取所述物品组合结果中各物品组合对应的推荐热度值并按推荐热度值进行降序排序，得到物品组合排序结果；获取所述物品组合排序结果中推荐热度值的排序值未超出预设排序阈值的物品组合，以组成目标物品组合。
[0043]
在本实施例中，当在主机中获取到了所述物品组合结果后，作为第一具体实施例，可以先由主机将所述物品组合结果上传至与主机通讯连接的后台服务器（也可以是云服务器）。由于在后台服务器（或云服务器）中存储了各种物品组合的推荐热度值（推荐热度值越高，表示越多用户希望学习参考该物品组合对应的加工教学视音频；推荐热度值越低，表示越少用户希望学习参考该物品组合对应的加工教学视音频），这样在后台服务器中以所述物品组合结果中每一物品组合对应的物品名称组合为检索条件获取到每一个物品组合对应的推荐热度值。如参考上述示例物品清单包括物品a1、物品a2、物品a3、物品a4、物品a5、物品a6和物品a7，则假设其中3种物品组合为物品a1+物品a2+物品a3、物品a1+物品a4+物品a5+物品a6及物品a1+物品7，其中物品a1+物品a2+物品a3这一物品组合对应的推荐热度值为data1，物品a1+物品a4+物品a5+物品a6对应的推荐热度值为data2，物品a1+物品7对应的推荐热度值为data3，此时可将各物品组合按推荐热度值进行降序排序，得到物品组合排序结果。通过上述排序处理后，得到的物品组合排序结果中是推荐热度值越高的物品组合则排名越靠前，也表示越多用户希望学习参考该物品组合对应的加工教学视音频。
[0044]
在得到了物品组合排序结果，为了快速筛选出其中推荐热度值较高的topk个物品组合进行推荐，可直接获取所述物品组合排序结果中推荐热度值的排序值未超出预设排序阈值（如将排序阈值设置为5，则topk中的k等于该排序阈值5）的物品组合，以组成目标物品
组合。所得到的目标物品组合，则是可以智能橱柜的当前用户进行推荐的热门菜加工组合。
[0045]
具体实施时，为了实现更加精细化的数据推荐和智能提示，还可以对目标物品组合中包括的每一个物品组合进一步检索出至少3种加工方式，并针对每一加工方式赋予一个预估热量值（也可以理解为预估卡路里值），每一物品组合对应的多种加工方式也以预估热量值的升序顺序进行排列。可见，基于这一方式可以针对目标物品组合中的每一个物品组合进一步推荐至少3种加工方式的推荐数据，且与每一个物品组合对应的3种加工方式的推荐数据以预估热量值的升序顺序进行排列，用户在接收到这些数据后可以基于实际需求选择物品组合及与物品组合对应的加工方式。
[0046]
在一实施例中，作为步骤s106的第二实施例，步骤s106包括：将所述物品组合结果中各物品组合与预设数据库进行比对和匹配，得到各物品组合的配菜及调料品比对结果；将所述物品组合结果中各物品组合基于对应的配菜及调料品比对结果进行物品补充，以更新所述物品组合结果中各物品组合；获取所述物品组合结果中各物品组合对应的预估卡路里值并按预估卡路里值进行升序排序，得到另一物品组合排序结果；获取所述另一物品组合排序结果中预估卡路里值的排序值未超出预设排序阈值的物品组合，以组成目标物品组合。
[0047]
在本实施例中，当在主机中获取到了所述物品组合结果后，作为第二具体实施例，可以在主机本地将所述物品组合结果中各物品组合与预设数据库进行比对和匹配，得到各物品组合的配菜及调料品比对结果。例如以其中一个物品组合为物品a6+物品a7为例，若物品a6和物品a7均为主菜（表示这两个物品进行组合后存在无法加工为一样菜品的情况，需要补充一些配菜和调料才能加工），且在预设数据库中存储有一条物品组合包括物品a6和物品a7并进一步包括物品a8（如对应调料）和物品a9（如对应配菜），则将物品a8+物品a9作为物品a6和物品a7这一个物品组合对应的配菜及调料品比对结果。继续参考上述示例，得到了各物品组合的配菜及调料品比对结果后，将所述物品组合结果中各物品组合基于对应的配菜及调料品比对结果进行物品补充，以更新所述物品组合结果中各物品组合（例如与物品a6和物品a7这一个物品组合对应增加配菜及调料品比对结果物品a8和物品a9后，更新状态的物品组合为物品a6、物品a7、物品a8和物品a9）。
[0048]
由于还可以在主机的预设数据库中存储各种物品组合的预估卡路里值，这样在预设数据库中以更新后的所述物品组合结果中每一物品组合对应的物品名称组合为检索条件获取到每一个物品组合对应的预估卡路里值。如参考上述示例，其中3种物品组合为物品a1+物品a2+物品a3、物品a1+物品a4+物品a5+物品a6及物品a1+物品7，其中物品a1+物品a2+物品a3这一物品组合对应的预估卡路里值为cal1，物品a1+物品a4+物品a5+物品a6对应的预估卡路里值为cal2，物品a1+物品7+物品a8+物品a9对应的预估卡路里值为cal3，此时可将各物品组合按预估卡路里值进行升序排序，得到另一物品组合排序结果。通过上述排序处理后，得到的物品组合排序结果中是预估卡路里值越低的物品组合则排名越靠前，也表示越多用户希望学习参考该物品组合对应的加工教学视音频以加工得到低热量值的菜品。
[0049]
在得到了物品组合排序结果，为了快速筛选出其中预估卡路里值较低的topk个物品组合进行推荐，可直接获取所述另一物品组合排序结果中预估卡路里值的排序值未超出
预设排序阈值（如将排序阈值设置为5，则topk中的k等于该排序阈值5）的物品组合，以组成目标物品组合。所得到的目标物品组合，则是可以智能橱柜的当前用户进行推荐的低热量值菜加工组合。
[0050]
s107、获取与所述目标物品组合对应的加工教学音视频数据，并输出以播放所述加工教学音视频数据。
[0051]
在本实施例中，在获取了所述目标物品组合后，还可进一步在主机本地的存储空间或与主机通讯连接的后台服务器（或云服务器）中检索获取到与各目标物品组合分别对应的加工教学音视频数据，然后以播放列表的方式显示在所述智能橱柜的显示屏上，当用户选中播放列表中一个加工教学音视频数据时，则播放所述加工教学音视频数据以引导用户对目标物品组合对应加工成菜品，从而实现数据的智能推荐及播放。
[0052]
在一实施例中，步骤s107之后还包括：获取所采集的物品加工录制视频，将所述物品加工录制视频上传至后台服务器或云服务器。
[0053]
在本实施例中，用户在观看并参考所述加工教学音视频数据进行菜品加工时，还可以由所述智能橱柜的摄像头采集所述物品加工录制视频实现加工过程的实时录制。在完成了整个加工过程的录制后，还可以将所述物品加工录制视频上传至后台服务器或云服务器以实现数据分享及共享。其他对该物品加工录制视频有兴趣的用户则可以在线观看所述物品加工录制视频。
[0054]
该方法实现了基于拍摄得到的已选物品图像智能推荐物品组合结果，还根据筛选策略从物品组合结果中获取目标物品组合后得到对应的加工教学音视频数据，用户基于查看加工教学音视频数据可以高效的获取做菜提示信息，无需先去显示屏处查看图片后再实际操作做菜。
[0055]
本技术实施例还提供一种基于图像识别的智能橱柜，该基于图像识别的智能橱柜用于执行前述基于图像识别的智能橱柜的橱柜智能提示方法的任一实施例。具体地，请同时参阅图1和图3，图1是本技术实施例提供的基于图像识别的智能橱柜的示意性框图，图3是本技术实施例提供的基于图像识别的智能橱柜的示意性框图。
[0056]
其中，如图1和图3所示，基于图像识别的智能橱柜1，其至少包括橱柜柜体10、设置在橱柜柜体10上的燃气灶20及智能抽油烟机30、设置在所述橱柜柜体10或智能抽油烟机30上的摄像头40、设置在所述橱柜柜体10或所述智能抽油烟机30上的显示屏50，和设置在所述橱柜柜体内的主机11。其中，其中，所述主机11内搭载有中央处理器或微处理器，所述主机11内还设置有无线通讯模块(如wi-fi模块、5g通讯模块及低功耗蓝牙模块)；所述摄像头40、显示屏50（可以是触控一体的触摸屏，而且具有声音外放的扬声功能）均与所述主机11连接（具体是与主机中的中央处理器或微处理器连接），所述燃气灶20及所述智能抽油烟机30均与所述主机11连接。在本技术中，由于在基于图像识别的智能橱柜1上设置了摄像头40，可以对当前橱柜的实际使用者进行识别，从而对其做菜过程中通过音视频数据播放起到智能提示的作用。
[0057]
所述基于图像识别的智能橱柜用于实现基于图像识别的智能橱柜的橱柜智能提示方法时，具体如下：11）若摄像头40检测已采集到当前用户头像，将所述当前用户头像与主机11中的
本地用户图片库进行比对以确定身份验证结果；12）当在主机11中所述身份验证结果为验证通过时，则通过摄像头40的图像采集获取至少一帧已选物品图像；13）通过主机11进行图像识别获取所述已选物品图像中包括的物品以组成物品清单；14）若所述物品清单为空集，通过主机11获取所述当前用户头像对应当前用户喜好标签、当日日期及当日天气数据，根据所述当前用户喜好标签、当日日期及当日天气数据生成物品组合结果；15）若所述物品清单为非空集，主机11根据所述物品清单得到物品组合结果；其中，所述物品组合结果包括至少一组物品组合；16）主机11根据预设的筛选策略从所述物品组合结果中获取目标物品组合；17）获取与所述目标物品组合对应的加工教学音视频数据，并输出以播放所述加工教学音视频数据。
[0058]
在本实施例中，当基于智能橱柜（智能橱柜即基于图像识别的智能橱柜1）上的摄像头40采集到当前用户头像时，则可以对用户身份进行验证，以判断智能橱柜的实际用户，例如是否是该家庭经常做饭的用户1、用户2等。一般采集基于摄像头40采集到当前用户头像对应的头像图片后，可基于主机11中本地存储的人脸识别模型（如主机11中存储有已完成训练的卷积神经网络）进行特征提取得到当前人脸特征，并与预先存储的本地用户图片库各用户图片的人脸特征计算相似度以输出最终的身份验证结果。
[0059]
由于本地用户图片库中无需存储多张用户图片，一般存储该智能橱柜所设置家庭中的家庭主要成年成员，如相对于家庭中作为未成年儿子身份的家庭用户来说，家庭主要成年成员有父亲、母亲、爷爷、奶奶、外公、外婆等。这样，本地用户图片库中只需要存储这些常用的家庭成年成员的图片库，即可用作用户身份识别的图片库，有效的节省了存储空间。
[0060]
其中，智能橱柜中的智能抽油烟机30可以与主机11设置为联动模式，即一般用户需要开启做菜时，先开启了智能抽油烟机30时触发的开机信号也能触发所述智能橱柜中的主机11联动式的同时开机，这样与主机11连接的摄像头40及显示屏等均启动开机呈工作状态。
[0061]
在步骤12）中之所以要对当前用户头像进行采集后进行身份验证，也是为了确保该智能橱柜在用于做菜时其实际使用者是家庭成年成员，避免了未成年使用者使用而易导致发生火灾、或使用者被烫伤烧伤等安全隐患。当所述身份验证结果为验证通过时，则表示智能橱柜的实际使用者是家庭成年成员，此时实际使用者可以从家庭冰箱等其他位置取出待加工的物品（主要是做菜的食物原材料）并放置于智能橱柜的橱柜柜体的指定区域摆放整齐后可被摄像头采集到时，则基于摄像头采集获取至少一帧摆放于指定区域的已选物品的已选物品图像，从而可以进一步基于图像识别获取到当前待加工的物品。
[0062]
在一实施例中，步骤11）之后还包括：当所述身份验证结果为验证未通过时，则通过图像采集获取实时用户头像；若确定所述实时用户头像对应的用户年龄低于预设的年龄阈值，生成预警信息并发送至预设的接收终端，并生成警示提示音以播放。
[0063]
在本实施例中，当所述身份验证结果为验证未通过时，则表示可能是家庭未成年
成员靠近并有使用该智能橱柜的意图，此时为了及时的避免风险，可以通过摄像头采集获取实时用户头像。在提取了所述实时用户头像对应的实时人脸特征后，与预先存储的本地用户图片库各用户图片的人脸特征计算相似度以输出最终的身份验证结果。此时因为预先存储的本地用户图片库未存储该家庭未成年成员的图片，故得到的身份验证结果一定是验证未通过，此时还可以进一步在主机本地获取到预先训练的年龄预测模型（具体如卷积神经网络）对实时用户头像进行年龄预估，得到一个所述实时用户头像对应的用户年龄。若确定所述实时用户头像对应的用户年龄低于预设的年龄阈值，则表示该用户是被禁止单独使用该智能橱柜的用户，此时为了及时提示监护人来解除风险，需要生成预警信息并发送至预设的接收终端，并生成警示提示音以播放。这样监护人接收到了预警信息和/或听到了警示提示音后，及时的来到所述智能橱柜旁来消除风险。
[0064]
在步骤13）中，可以在智能橱柜的主机中存储目标检测模型（如yolov3、yolov5等）作为图像识别模型以获取所述已选物品图像中包括的物品以组成物品清单。例如，通过目标检测模型（更具体如多目标检测模型）获取所述已选物品图像中所包括的每一物品，与每一物品对应的预测框（每一物品对应的预测框能将该物品整体包围住），每一物品对应预测框的左上角坐标，每一物品对应的预测框的长宽值，每一物品对应预测框所属分类类别（如属于猪肉、鸡肉、牛肉、青椒、大蒜等），以及每一物品对应预测框所属分类类别的置信度。在基于图像识别获取到了所述已选物品图像中包括的物品后，可进行以各物品的物品名称进行组合，得到物品清单。
[0065]
在一实施例中，步骤13）之后，还包括：获取已存储的历史剩余物品清单并增加至所述物品清单，以更新所述物品清单。
[0066]
在本实施例中，所述智能橱柜的柜格内柜体空间可以存放一些不用存储于冰箱内的物品（如酱油、陈醋等调味品；大蒜、葱、脱水处理过的紫菜饼、黄花菜、干红枣、干海带、干黄豆、绿豆、红豆等），这些物品在入柜时，可以通过至少以下两种方式进行盘点：第一种方式是通过摄像头拍摄这一批物品的购物小票，以获取这一批物品的物品名称、物品数量或重量、物品购买时间等信息，通过这一方式即可基于图像识别对放置于智能橱柜的柜格内物品进行盘点。
[0067]
第二种方式是将智能橱柜内增加rfid读取器（其与主机连接以传输数据），并且在每一袋放置于柜格内物品的包装袋上粘贴rfid电子标签（与服装店中售卖衣服时应用的rfid电子标签一样，其中存储有物品入柜时间和日期、物品名称、物品保鲜日期等信息）。当可放置于柜格内的一袋物品入柜后，即可及时的通过rfid读取器对当前仍处于柜格内的物品进行一次盘点，从而得到智能橱柜的柜格内的物品余量。
[0068]
由于主机中存储了对智能橱柜的柜格内物品盘点得到的历史剩余物品清单，故此时可以将已存储的历史剩余物品清单增加至所述物品清单，以更新所述物品清单。例如历史剩余物品清单中包括物品a1、物品a2、物品a3、物品a4及物品a5，所述物品清单包括物品a3、物品a4、物品a5、物品a6及物品a7，将历史剩余物品清单与物品清单包进行合并和去重后，得到的最新状态的物品清单包括a1、物品a2、物品a3、物品a4、物品a5、物品a6和物品a7。
[0069]
在步骤14）中，若所述物品清单为空集，表示用户当前也是不知道加工何种菜品，可由智能橱柜的主机的存储空间中先检索是否可以获取到与所述当前用户头像所对应用户的当前用户喜好标签（如喜好吃辣、最爱牛肉等标签），并同时获取到当日日期（可具体到
包括系统时间，也可以只是简单获取到年月日信息）及当日天气数据（如当日的平均气温，天气类型，具体对应的节气），最后综合考虑到当前用户喜好标签、当日日期及当日天气数据生成若干个物品组合从而组成物品组合结果。
[0070]
更具体的，可以将所述当前用户喜好标签中包括的用户标签转换成对应的词向量，而且将当日日期（如当日日期为xx年xx1月xx2日，则当日日期对应向量[xx xx1 xx2]）及当日天气数据均直接以具体数值作为取值向量（如当日的平均气温为35℃则对应转换为35，天气类型为晴天则基于预设的天气类型-数值对应表转换为数值1，具体对应的节气为立秋则基于预设的节气类型-数值对应表转换为数值13，当日天气数据对应向量[35 1 13]），将当前用户喜好标签对应的若干个词向量、当日日期对应的取值向量及当日天气数据分别对应的向量串接后组成一个综合输入向量，将该综合输入向量输入至预先训练的推荐模型（如深度神经网络）进行运算，得到一个输出结果可以对应成若干个物品组合从而组成物品组合结果。可见，当用户未在橱柜柜体的指定区域摆放已选物品，此时也可以基于用户喜好并结合当日天气等因素进行智能推荐，得到物品组合结果。用户在得到该物品组合结果后，可以选择自行前往超市去购买这些物品，也可以是将该物品组合结果推送至用户使用的智能终端上，并由智能终端基于物品组合结果自动在网上购物商城的应用程序中下单购买重量适合的物品，从而实现物品组合实物的及时获取。
[0071]
在步骤15）中在获取到了最新状态的所述物品清单后，是已知了目前所有可被加工的物品名称。此时可以由主机以所述物品清单为数据基础进行元素的组合，得到均为非空集的物品组合。而且这一组合过程是在主机中自动进行，而非人工组合方式，提高了物品组合结果的获取效率。
[0072]
在一实施例中，步骤15）包括：获取所述物品清单中包括的所有物品名称，并对应将所有物品名称进行有放回方式的组合，得到均为非空集的物品组合以组成物品组合结果。
[0073]
在本实施例中，在对物品清单中包括的物品名称进行组合时，所涉及的组合是数学定义排列组合中的组合一词，是从多个（如n个）不同元素取出若干个（如m个，其中m小于或等于n，且m和n均为正整数）元素。例如，仍参考上述示例，最新状态的物品清单包括物品a1、物品a2、物品a3、物品a4、物品a5、物品a6和物品a7，则基于所述物品清单得到物品组合结果包括种物品组合，即一共127种物品组合。可见，基于这一组合方式，可以将所有可能的组合方式都得到，实现了穷举所有可能的物品组合。
[0074]
在步骤16）中，由于所述物品组合结果中包括至少一组物品组合，此时可以由主机根据预设的筛选策略从所述物品组合结果中筛选出至少一组物品组合作为目标物品组合，从而实现了自动筛选，避免了低效率的人工筛选。
[0075]
在一实施例中，作为步骤16）的第一实施例，步骤16）包括：获取所述物品组合结果中各物品组合对应的推荐热度值并按推荐热度值进行降序排序，得到物品组合排序结果；获取所述物品组合排序结果中推荐热度值的排序值未超出预设排序阈值的物品组合，以组成目标物品组合。
[0076]
在本实施例中，当在主机中获取到了所述物品组合结果后，作为第一具体实施例，可以先由主机将所述物品组合结果上传至与主机通讯连接的后台服务器（也可以是云服务
器）。由于在后台服务器（或云服务器）中存储了各种物品组合的推荐热度值（推荐热度值越高，表示越多用户希望学习参考该物品组合对应的加工教学视音频；推荐热度值越低，表示越少用户希望学习参考该物品组合对应的加工教学视音频），这样在后台服务器中以所述物品组合结果中每一物品组合对应的物品名称组合为检索条件获取到每一个物品组合对应的推荐热度值。如参考上述示例物品清单包括物品a1、物品a2、物品a3、物品a4、物品a5、物品a6和物品a7，则假设其中3种物品组合为物品a1+物品a2+物品a3、物品a1+物品a4+物品a5+物品a6及物品a1+物品7，其中物品a1+物品a2+物品a3这一物品组合对应的推荐热度值为data1，物品a1+物品a4+物品a5+物品a6对应的推荐热度值为data2，物品a1+物品7对应的推荐热度值为data3，此时可将各物品组合按推荐热度值进行降序排序，得到物品组合排序结果。通过上述排序处理后，得到的物品组合排序结果中是推荐热度值越高的物品组合则排名越靠前，也表示越多用户希望学习参考该物品组合对应的加工教学视音频。
[0077]
在得到了物品组合排序结果，为了快速筛选出其中推荐热度值较高的topk个物品组合进行推荐，可直接获取所述物品组合排序结果中推荐热度值的排序值未超出预设排序阈值（如将排序阈值设置为5，则topk中的k等于该排序阈值5）的物品组合，以组成目标物品组合。所得到的目标物品组合，则是可以智能橱柜的当前用户进行推荐的热门菜加工组合。
[0078]
具体实施时，为了实现更加精细化的数据推荐和智能提示，还可以对目标物品组合中包括的每一个物品组合进一步检索出至少3种加工方式，并针对每一加工方式赋予一个预估热量值（也可以理解为预估卡路里值），每一物品组合对应的多种加工方式也以预估热量值的升序顺序进行排列。可见，基于这一方式可以针对目标物品组合中的每一个物品组合进一步推荐至少3种加工方式的推荐数据，且与每一个物品组合对应的3种加工方式的推荐数据以预估热量值的升序顺序进行排列，用户在接收到这些数据后可以基于实际需求选择物品组合及与物品组合对应的加工方式。
[0079]
在一实施例中，作为步骤16）的第二实施例，步骤16）包括：将所述物品组合结果中各物品组合与预设数据库进行比对和匹配，得到各物品组合的配菜及调料品比对结果；将所述物品组合结果中各物品组合基于对应的配菜及调料品比对结果进行物品补充，以更新所述物品组合结果中各物品组合；获取所述物品组合结果中各物品组合对应的预估卡路里值并按预估卡路里值进行升序排序，得到另一物品组合排序结果；获取所述另一物品组合排序结果中预估卡路里值的排序值未超出预设排序阈值的物品组合，以组成目标物品组合。
[0080]
在本实施例中，当在主机中获取到了所述物品组合结果后，作为第二具体实施例，可以在主机本地将所述物品组合结果中各物品组合与预设数据库进行比对和匹配，得到各物品组合的配菜及调料品比对结果。例如以其中一个物品组合为物品a6+物品a7为例，若物品a6和物品a7均为主菜（表示这两个物品进行组合后存在无法加工为一样菜品的情况，需要补充一些配菜和调料才能加工），且在预设数据库中存储有一条物品组合包括物品a6和物品a7并进一步包括物品a8（如对应调料）和物品a9（如对应配菜），则将物品a8+物品a9作为物品a6和物品a7这一个物品组合对应的配菜及调料品比对结果。继续参考上述示例，得到了各物品组合的配菜及调料品比对结果后，将所述物品组合结果中各物品组合基于对应
的配菜及调料品比对结果进行物品补充，以更新所述物品组合结果中各物品组合（例如与物品a6和物品a7这一个物品组合对应增加配菜及调料品比对结果物品a8和物品a9后，更新状态的物品组合为物品a6、物品a7、物品a8和物品a9）。
[0081]
由于还可以在主机的预设数据库中存储各种物品组合的预估卡路里值，这样在预设数据库中以更新后的所述物品组合结果中每一物品组合对应的物品名称组合为检索条件获取到每一个物品组合对应的预估卡路里值。如参考上述示例，其中3种物品组合为物品a1+物品a2+物品a3、物品a1+物品a4+物品a5+物品a6及物品a1+物品7，其中物品a1+物品a2+物品a3这一物品组合对应的预估卡路里值为cal1，物品a1+物品a4+物品a5+物品a6对应的预估卡路里值为cal2，物品a1+物品7+物品a8+物品a9对应的预估卡路里值为cal3，此时可将各物品组合按预估卡路里值进行升序排序，得到另一物品组合排序结果。通过上述排序处理后，得到的物品组合排序结果中是预估卡路里值越低的物品组合则排名越靠前，也表示越多用户希望学习参考该物品组合对应的加工教学视音频以加工得到低热量值的菜品。
[0082]
在得到了物品组合排序结果，为了快速筛选出其中预估卡路里值较低的topk个物品组合进行推荐，可直接获取所述另一物品组合排序结果中预估卡路里值的排序值未超出预设排序阈值（如将排序阈值设置为5，则topk中的k等于该排序阈值5）的物品组合，以组成目标物品组合。所得到的目标物品组合，则是可以智能橱柜的当前用户进行推荐的低热量值菜加工组合。
[0083]
在步骤17）中，在获取了所述目标物品组合后，还可进一步在主机本地的存储空间或与主机通讯连接的后台服务器（或云服务器）中检索获取到与各目标物品组合分别对应的加工教学音视频数据，然后以播放列表的方式显示在所述智能橱柜的显示屏上，当用户选中播放列表中一个加工教学音视频数据时，则播放所述加工教学音视频数据以引导用户对目标物品组合对应加工成菜品，从而实现数据的智能推荐及播放。
[0084]
在一实施例中，步骤17）之后还包括：获取所采集的物品加工录制视频，将所述物品加工录制视频上传至后台服务器或云服务器。
[0085]
在本实施例中，用户在观看并参考所述加工教学音视频数据进行菜品加工时，还可以由所述智能橱柜的摄像头采集所述物品加工录制视频实现加工过程的实时录制。在完成了整个加工过程的录制后，还可以将所述物品加工录制视频上传至后台服务器或云服务器以实现数据分享及共享。其他对该物品加工录制视频有兴趣的用户则可以在线观看所述物品加工录制视频。
[0086]
该基于图像识别的智能橱柜实现了基于拍摄得到的已选物品图像智能推荐物品组合结果，还根据筛选策略从物品组合结果中获取目标物品组合后得到对应的加工教学音视频数据，用户基于查看加工教学音视频数据可以高效的获取做菜提示信息，无需先去显示屏处查看图片后再实际操作做菜。
[0087]
上述基于图像识别的智能橱柜可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
[0088]
请参阅图4，图4是本技术实施例提供的计算机设备的示意性框图。参阅图4，该计算机设备500包括通过装置总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
[0089]
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于图像识别的智能橱柜的橱柜智能提示方法。
[0090]
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
[0091]
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于图像识别的智能橱柜的橱柜智能提示方法。
[0092]
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0093]
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本技术实施例公开的基于图像识别的智能橱柜的橱柜智能提示方法。
[0094]
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
[0095]
应当理解，在本技术实施例中，处理器502可以是中央处理单元 (central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0096]
在本技术的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本技术实施例公开的基于图像识别的智能橱柜的橱柜智能提示方法。
[0097]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0098]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些
特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0099]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本技术实施例方案的目的。
[0100]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0101]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，后台服务器，或者网络设备等 ) 执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u 盘、移动硬盘、只读存储器 (rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0102]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。