一种冰箱食材录入方法与流程

本发明涉及冰箱应用设计领域，尤其涉及一种冰箱食材录入方法。

背景技术：

随着家电智能化的发展，冰箱也开始智能化，目前市场上带显示屏、有食谱管理功能的智能冰箱越来越多；

但是目前智能冰箱的食材录入方式,主要是人工手动输入，人工录入的缺点在于录入速度慢，且繁琐;也有采用语音录入的方法，然而由于语音录入存在各地口音的问题，准确度也不够高。

有许多冰箱支持扫描条形码添加冰箱食品的功能，冰箱可以通过红外摄像头扫描食品包装上的条形码，读取食品的名称、生产日期、保质期等信息，然后将这些信息保存到服务器，作为对食品进行管理的依据。但是使用这种方法录入食品信息用户体验感很差，也没有一丝乐趣，并且该录入方式目前尚不完善。

技术实现要素：

为了解决上述问题，本发明提出了一种冰箱食材录入方法，能够增加用户与冰箱的互动，增加录入过程的趣味性，提高了用户体验感。

为了达到上述目的，本发明提出了一种冰箱食材录入方法，该方法包括：

获取冰箱内存放的食材图像。

显示包含该食材图像和预测食材种类选择窗口的显示界面。

检测对显示界面的操作用于确定食材的种类。

录入所确定的食材种类。

可选地，通过以下一种或多种方式获取预测食材种类：

将预存的食用频次大于食用频次预设值的m个食材种类作为预测食材种类，其中，m≥1，m为正整数。

将预先在预设的预测食材种类备选框中输入的一个或多个食材种类作为预测食材种类。以及，

将图像识别出的置信度大于第一置信度预设值的n个食材种类作为预测食材种类，其中，n≥1，n为正整数。

可选地，该方法还包括：

图像识别食材图像中的食材种类。

当预测食材种类的置信度大于等于第二置信度预设值时，确定食材为预测食材种类。

当预测食材种类的置信度小于第二置信度预设值且大于第一置信度预设值时，通过预测食材种类选择窗口显示预测食材种类。

可选地，检测对显示界面的操作用于确定食材的种类包括：

检测施加在预测食材种类选择窗口的触摸操作。

确定食材为触摸操作所对应的预测食材种类。

可选地，在检测施加在预测食材种类选择窗口的触摸操作之前，还包括：

检测施加在食材图像上食材位置的触摸操作。

根据触摸操作在食材图像上的位置确定触摸操作所选择的食材。

显示当前所选择食材的预测食材种类选择窗口。

可选地，检测对显示界面的操作用于确定食材的种类还包括：

检测显示界面上的预测食材种类的拖动操作。

确定拖动操作在食材图像上的最终停留位置。

将食材图像上的最终停留位置所对应的食材确定为所拖动的预测食材种类，并进行食材信息录入。

可选地，

预测食材种类的选择窗口中还包括通过手动和/或语音输入食材种类的录入窗口。

在预设时间内未检测到预测食材种类的录入操作时，检测录入窗口的录入食材种类，并将食材种类确定为触摸操作选择的食材的食材种类。

可选地，该方法还包括：在食材图像上的最终停留位置所对应的食材上显示录入的食材种类。

可选地，预测食材种类选择窗口中的预设食材种类在预设位置以滚动条的形式进行显示。

滚动条中显示的预测食材种类的排列顺序包括以下一种或者几种组合：

随机排列。

按照图像识别出的预测食材的置信度的高低顺序排列。

按照食材的食用频次的高低顺序排列。

可选地，该方法还包括：

检测滚动条上任意位置的滑动操作，在确定滑动操作为有效操作时，控制滚动条在滑动操作的滑动方向上滚动。

与现有技术相比，本发明包括：获取冰箱内存放的食材图像；显示包含该食材图像和预测食材种类选择窗口的显示界面；检测对显示界面的操作用于确定食材的种类；录入确定的食材种类。通过本发明的方案，能够增加用户与冰箱的互动，增加录入过程的趣味性，提高了用户体验感。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。

图1为本发明实施例的冰箱食材录入方法流程图；

图2为本发明实施例的冰箱食材录入方法示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。

为了达到上述目的，本发明提出了一种冰箱食材录入方法，如图1、图2所示，该方法包括步骤s101-s104：

s101、获取冰箱内存放的食材图像。

在本发明实施例中，在每次用户将食材放入冰箱，且冰箱门关闭以后，可以通过冰箱内预设的摄像头对冰箱内存放的食材进行拍照，获取冰箱内所存放食材的食材图像。

s102、显示包含该食材图像和预测食材种类选择窗口的显示界面。

在本发明实施例中，冰箱上可以预先设置供用户观看的显示屏，该显示屏可以安装在冰箱门上，也可以安装于冰箱侧面，对于其具体安装位置不做限制。通过该显示屏，可以将步骤s101中所拍摄的食材图像显示出来。此时，用户可以对冰箱内的食材一目了然，因此，用户可以根据食材图像在食材录入界面上对冰箱内食材进行一一录入，使得食材录入更有针对性，且增加了食材录入的趣味性。另外，显示屏上还可以显示食材图像上所示食材的预测食材种类选择窗口，通过该预测食材种类选择窗口可以确定当前食材的食材种类，以供用户根据照片上的食材情况进行选择录入。例如，在预测食材种类选择窗口中罗列了白菜、玉米、茄子、土豆等多种预设食材，用户可以根据照片上的食材图像有针对性地对冰箱内放入的食材进行录入。

可选地，通过以下一种或多种方式获取预测食材种类：

方式一、将预存的食用频次大于食用频次预设值的m个食材种类作为预测食材种类，其中，m≥1，m为正整数。

在本发明实施例中，冰箱可以统计冰箱内所存放食材的食用频次，并且对统计出的多种食材的食用频次进行排序，可以将食用频次最高的几个食材作为预测食材种类罗列在预测食材种类选择窗口中。这里，冰箱对所存放食材的食用频次的统计可以通过统计每种食材的录入次数，或者统计每种食材的取出次数来实现，当然，在其它实施例中，还可以选择其他的方法进行统计，在此对于具体统计方法或算法不做限制。

方式二、将预先在预设的预测食材种类备选框中输入的一个或多个食材种类作为预测食材种类。

在本发明实施例中，还可以预先设置备选食材种类的输入窗口，即上述的预测食材种类备选框，通过该输入窗口，用户可以预先输入一种或多种食材作为备选食材或预设食材种类，以便用户在食材录入时针对该预测食材种类进行选择，节省了用户每次的录入时间。

方式三、将图像识别出的置信度大于第一置信度预设值的n个食材种类作为预测食材种类，其中，n≥1，n为正整数。

在本发明实施例中，冰箱内部还可以预先设置图像识别装置，通过该图像识别装置可以识别出食材图像上的一种或多种食材种类，并可以根据食材的清晰程度或辨识度等确定图像识别的置信度，将该置信度进行排序，获取置信度最高的或者较高的几种食材种类，作为预测食材种类；或者设置一个置信度预设值作为临界值，如上述的第一置信度预设值，当图像识别出的置信度大于该第一置信度预设值时，说明图像识别装置对当前食材的识别度较高，可以作为预测食材种类罗列在预测食材种类选择窗口中供用户选择或确定。在本发明实施例中，通过图像识别置信度的设置还进一步提高了冰箱自动录入食材的准确性，可以更有效地辅助用户进行食材录入，提高了工作效率。

可选地，预测食材种类选择窗口中的预设食材种类在预设位置可以以滚动条的形式进行显示。

在本发明实施例中，为了便于用户观看，该预测食材种类选择窗口在显示屏上的显示形式可以是滚动条，在该滚动条中可以依次展示每种食材的信息，并且每种食材信息中可以包括食材种类的名称、图片、标记符号和/或存入时间等，该存入时间可以作为食材保鲜度、变质提醒的依据。另外，该滚动条的显示位置可以是预设位置，也可以是任意位置，并且该滚动条可以是可拖动的，根据用户需要拖动到不同的位置。

可选地，滚动条中显示的预测食材种类的排列顺序包括以下一种或者几种组合：随机排列、按照图像识别出的预测食材的置信度的高低顺序排列和/或按照食材的食用频次的高低顺序排列。

在本发明实施例中，对于滚动条中预测食材种类的具体排列顺序不做具体限制，任何能够显示预设食材种类的显示顺序都在本发明实施例的保护范围之内。

可选地，该方法还包括：

检测滚动条上任意位置的滑动操作，在确定滑动操作为有效操作时，控制滚动条在滑动操作的滑动方向上滚动。

在本发明实施例中，当滚动条的当前显示界面上不能完全显示全部预设食材种类时，可以对部分食材种类进行隐藏，当冰箱检测到对滚动条的滑动操作时该滚动条进行滚动，从而使得用户可以观看到隐藏部分的食材种类。在其它实施例中，还可以在滚动条的两端设置滚动按键，冰箱可以检测该滚动按键上的按动操作，在确定该按动操作为有效操作时，控制滚动条在与滚动按键相匹配的方向上按照预设的速度循环滚动。在另一个实施例中，上述的滚动条还可以不通过检测对滚动条的操作进行滚动，即在滚动条上显示出识别出的食材种类之后，滚动条自动在某一个预设的方向上按照预设速度循环滚动，该滚动速度可以设置，并且在用户点击该滚动条上的任意食材种类或任意位置时，该滚动条会暂停滚动。

另外，在其它实施例中，与上述的滚动条的显示方案不同，该预测食材种类选择窗口可以不是一个整体的滚动条或展示条，不用同时将全部预测食材种类展示出来；其可以是多个小的显示窗口，分别显示在食材图像上不同食材位置的显示窗口，并且仅显示针对当前位置食材的预设食材种类。为了观看更直观，该多个小的显示窗口可以直接显示在每个食材位置处；为了不影响观看效果，避免显示画面太混乱，也可以仅在用户点击相应的食材时才显示出来。另外需要说明的是，该显示方案可以与上述的滚动条的显示方案同时存在，可以将滚动条的显示方案作为主要显示方案，该方案作为辅助显示方案。

可选地，该方法还包括：

对滚动条中显示的不同的食材种类设置不同的显示背景；其中，不同的显示背景包括不同的显示颜色、不同的显示图案和/或不同的显示效果；和/或，对不同状态信息下的食材种类设置不同的显示时间；其中，该状态信息包括：食材的识别置信度的高低、食材所存入时间的先后和/或食材的食用频次的高低。

在本发明实施例中，为了使滚动条中的各种食材种类的显示更加醒目，增加用户录入食材的兴趣性，可以将滚动条中显示的不同的食材种类设置为不同的显示背景。另外，为了便于用户对冰箱内食材信息的直观了解，可以在滚动调整显示各种食材时按照不同的顺序或不同的时间进行显示，例如，优先显示食用频次最该的食材，或者优先显示录入时间最早的食材等。

s103、检测对显示界面的操作用于确定食材的种类。

在本发明实施例中，在上述的食材图像和预测食材种类选择窗口的基础上，便可以通过检测对显示界面上的食材图像的操作或对预测食材种类选择窗口中的食材种类的选择操作来确定食材种类了。

可选地，检测对显示界面的操作用于确定食材的种类包括：

检测施加在预测食材种类选择窗口的触摸操作；确定食材为触摸操作所对应的预测食材种类。

在本发明实施例中，无论冰箱内是否预先设置了图像识别装置，只要直接检测对预测食材种类选择窗口中的食材种类的选择操作，均可以通过该选择操作确定录入的食材。如果冰箱中预先设置了图像识别装置，还可以通过图像识别装置的图像识别功能辅助用户完成食材种类的确定工作，具体可以通过以下方式实现。

可选地，该方法还包括步骤s201-s202：

s201、图像识别食材图像中的食材种类。

在本发明实施例中，通过前述内容已知，预设的图像识别装置可以通过图像识别功能对冰箱内的食材进行识别，并针对不同食材的识别结果确定图像识别的置信度，在此对于具体的识别方法不做限制。

s202、当预测食材种类的置信度大于等于第二置信度预设值时，确定食材为预测食材种类。

在本发明实施例中，如果图像识别装置对于某一食材进行了识别，并且确定对该食材的识别置信度很高，即大于或等于第二置信度预设值，则这时可以直接将识别后的预测食材种类作为当前识别的食材的食材种类，并进行食材录入，不用用户再次通过操作进行食材录入。

s203、当预测食材种类的置信度小于第二置信度预设值且大于第一置信度预设值时，通过预测食材种类选择窗口显示预测食材种类。

在本发明实施例中，如果图像识别装置对于某一食材进行了识别，并且确定对该食材的识别置信度不高，即小于第二置信度预设值，则这时可以将识别后的预测食材种类放入预测食材种类选择窗口中，以便用户通过预测食材种类选择窗口对识别后的食材再次确认，从而正确录入全部食材种类。

在本发明实施例中，在通过图像识别装置对冰箱内食材进行图像识别的基础上，还可以通过以下方案检测对显示界面的操作，以便确定食材的种类。

可选地，在检测施加在预测食材种类选择窗口的触摸操作之前，还包括步骤s301-s302：

s301、检测施加在食材图像上食材位置的触摸操作。

在本发明实施例中，为了提高录入效率，用户可以直接对食材图像上的某一食材进行操作，例如，当用户认为食材图像上的土豆识别不正确时，可以直接对食材图像上的土豆进行触摸操作，该触摸操作可以包括点击、滑动等操作。这时，冰箱会检测到用户对土豆所在位置的触摸操作。

s302、根据触摸操作在食材图像上的位置确定触摸操作所选择的食材。

在本发明实施例中，冰箱检测到上述的触摸操作以后，会进一步对触摸位置进行确认，以便将该触摸位置与食材图像上的食材相对应，从而确定用户的触摸操作所选择的食材。例如，如果一开始在进行图像识别以后冰箱可能会将每种食材可能的食材种类显示在相应的食材位置处，如食材a、b、c、……等等，当用户触摸某一食材以后，如食材a，其他的食材种类（该食材的名称、代号等）如b、c、……等等可以暂时不显示，仅显示当前选择的食材a的食材种类。另外，如果用户确认当前显示的食材不是他所选择的食材，如用户想选择的是a，但当前显示的是b，则用户可以在预设的时间内从新对要选择的时才进行触摸，以便冰箱再次确认触摸位置，用户与冰箱之间可以重复上述操作，直至冰箱最终显示出用户想要的食材种类，或者确认出用户想要点击的位置。另外，上述的预设时间是为了避免用户动作太慢冰箱会自动默认当前所显示的食材种类所对应的位置正是用户想要触摸的食材种类的位置。该方案可以更清楚地向用户确认用户当前在食材图像上的触摸位置。

s303、显示当前所选择食材的预测食材种类选择窗口。

在本发明实施例中，在确定了用户的触摸操作所选择的食材以后，可以判断触摸操作选择的食材是否为已识别出的食材；当触摸操作选择的食材为已识别出的食材时，可以进一步跳出当前所选择食材识别正确与否的确定窗口；如果确定所选择的食材识别正确，可以直接将当前识别的食材种类作为该食材的食材种类进行录入；如果确定所选择的食材识别不正确，可以在当前食材的位置显示出预测食材种类选择窗口，并且该预测食材种类选择窗口中会罗列出该食材可能的一个或多个预测食材种类供用户进行选择。

这里仍以步骤s302的举例为例进行说明，当触摸了a食材位置以后，再确认位置触摸正确的情况下，当前只显示a食材的食材种类，这时会跳出针对食材a是否识别正确的确认窗口，或者采用语音提示的方式提示用户当前显示的a食材种类是否正确。一般如果该食材一开始识别正确，用户是不会对该食材进行操作的，通常仅是针对识别不正确的时才进行操作，当然误操作的情况另当别论，食材识别是否正确的确认过程也是为了避免误操作，下面仅对当前食材识别不正确的情况进行详细说明。当用户确认a食材的食材种类不正确时，冰箱会在所触摸的食材位置处显示出该食材的预测食材种类选择窗口，例如，一个罗列了b、c、d、e……等多种预设食材种类的窗口，或者滚动条、展示条等。用户可以通过再次对该窗口、滚动条或展示条里的食材种类b、c、d、e……进行选择，冰箱会对用户的选择结果进行检测和确认，以确定出当前所触摸位置处对应食材的正确食材种类。

但食材种类选择窗口中的食材种类可能包含正确的食材种类，也可能未包含正确的食材种类，可以通过以下方案对这两种情况分别处理。

情况一、当正确的食材种类显示在预测食材种类选择窗口中时，用户可以直接对该正确食材种类进行触摸操作进行选择，冰箱可以根据对预测食材种类的选择结果，确定触摸操作选择的食材的食材种类，具体可以通过以下方案实现。

可选地，根据对预测食材种类的选择结果，确定触摸操作选择的食材的食材种类包括：

检测对一个或多个预测的食材种类中的一种预测的食材种类的点击确认指令。

当在预设时间内检测到一个或多个预测的食材种类中的任意一种预测的食材种类的点击确认指令时，确定预测的食材种类中包括当前所选择食材的食材种类，并将点击确认的该种预测的食材种类确定为触摸操作选择的食材的食材种类。

当在预设时间内未检测到一个或多个预测的食材种类中的任意一种预测的食材种类的点击确认指令时，确定预测的食材种类中不包括当前所选择食材的食材种类，并检测下述的食材种类的录入窗口的录入信息；将录入信息中所包含的食材种类确定为触摸操作选择的食材的食材种类。

情况二、当正确的食材种类未显示在预测食材种类选择窗口中时，用户可以通过下述的手动或语音录入窗口自行录入食材种类，还可以通过下述的拖动方案实现当前食材的食材种类录入。

可选地，检测对显示界面的操作用于确定食材的种类还包括步骤s401-s403：

s401、检测显示界面上的预测食材种类的拖动操作。

在本发明实施例中，当预测食材种类选择窗口中不包含当前食材的正确食材种类时，为了节省用户的录入操作或提高录入效率，用户可以在当前显示屏中选择已显示出的食材种类进行拖动，例如从上述的滚动条中，或者其他食材位置上的预测食材种类选择窗口中显示的食材种类中选择正确的食材种类，并拖动到当前需要确定的食材上作为该食材的食材种类。这时，冰箱需要对显示屏上的拖动操作进行检测。具体包括：检测对任意预测食材种类选择窗口中一个或多个预测的食材种类中的任意一种预测的食材种类的拖动操作，或者，检测对滚动条中的任意一种食材种类的拖动操作。

s402、确定拖动操作在食材图像上的最终停留位置。

在本发明实施例中，当检测到显示界面上的预测食材种类的拖动操作以后，可以确定该拖动操作所拖动的食材种类在食材图像上的最终停留位置；以确定该最终停留位置在食材图像上所对应的食材。

s403、将食材图像上的最终停留位置所对应的食材确定为所拖动的预测食材种类，并进行食材信息录入。

在本发明实施例中，确定了拖动操作的最终停留位置所对应的食材以后，便可以将拖动操作所拖动的食材种类直接作为最终停留位置所对应的食材的食材种类进行食材信息录入了。

可选地，预测食材种类的选择窗口中还包括通过手动和/或语音输入食材种类的录入窗口。

在预设时间内未检测到预测食材种类的录入操作时，检测录入窗口的录入食材种类，并将食材种类确定为触摸操作选择的食材的食材种类。

在本发明实施例中，当正确的食材种类未显示在预测食材种类选择窗口中时，即在预设时间内未检测到预测食材种类选择窗口中的一个或多个预测的食材种类中的任意一种预测的食材种类的点击确认指令时，用户可以通过预设的录入窗口自行录入食材种类，通过该录入窗口，可以以手动输入或语音输入等多种方式实现录入工作，并且手动输入时可以输入文字、数字、字符、图画等。

s104、录入确定的食材种类。

在本发明实施例中，通过以上各种方案检测到对显示界面的录入操作以后，对录入操作的对应食材以及对应的食材种类进行录入，以完成冰箱食材种类的录入工作。

可选地，该方法还包括：在食材图像上的最终停留位置所对应的食材上显示录入的食材种类。

在本发明实施例中，当完成各种食材的录入工作以后，可以在食材图像上相应的食材位置处显示相应的食材种类，以便用户对冰箱内的食材信息一目了然，便于用户进行食材采购或取用。

可选地，该方法还包括：每次冰箱门关闭后，冰箱内置摄像头对冰箱内存放的食材再次拍照；通过图像识别装置将新拍的食材照片与上一次冰箱门关闭后拍摄的食材照片进行比较，当确定新拍的食材照片中缺少一种食材时，将所缺少的食材从录入的食材信息中删除。同时将该食材的食材种类和取出时间放入预设的历史食用食材记录数据库中。

可选地，该方法还包括：通过预设的积分系统对用户当次的食材录入情况进行积分。例如，当用户当次的食材录入时间小于或等于预设的时间阈值时，进行一次积分。该方案可以增加用户食材录入过程的游戏性，并减少人工输入时的单调性，提高了用户的体验感。另外，在本发明实施例中，还可以将现在流行的对对碰、连连看等游戏结合到食材录入过程中，例如，当用户对预测食材种类选择窗口中或滚动条中的食材进行选择时，对于未被选择的食材可以以对对碰的形式使其消逝，并配以相应的音乐烘托气氛，用户可以边录入边游戏，使得整个食材的录入过程更加新鲜有趣。

可选地，该方法还包括：将冰箱录入操作系统与移动终端应用app相结合，通过移动终端完成冰箱食材的录入工作。这一方案使得冰箱智能功能不再是鸡肋，进一步增加了用户各个智能终端之间的互通互用，使得用户生活更加智能化，并可以使用户随时进行冰箱食材的查看或录入，增加了食材录入的灵活性。

与现有技术相比，本发明包括：获取冰箱内存放的食材图像；显示包含该食材图像和预测食材种类选择窗口的显示界面；检测对显示界面的操作用于确定食材的种类；录入确定的食材种类。通过本发明的方案，能够增加用户与冰箱的互动，增加录入过程的趣味性，提高了用户体验感。并且多种食材录入方式相结合，在提高录入速度并减少录入操作的同时，提高了录入的准确性。

需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。