一种冰箱的食材确定方法及食材确定装置与流程

文档序号:15376883发布日期:2018-09-07 23:33阅读:146来源:国知局

本发明涉及冰箱领域,尤其涉及一种冰箱的食材确定方法及食材确定装置。



背景技术:

随着科技的不断发展,冰箱的智能程度也在不断的提高。日前,已经出现了可自动识别确定存储腔内食材种类的冰箱,比如通过条码扫描、rfid识别等方式实现对存入冰箱的食材进行录入与管理,但是这种方式或者需要人工参与,或者需要在食材的外包装上设置相应的标识/装置,并不能够很好的推广普及。为了改进,出现了采用图像识别技术的冰箱,通过对每次冰箱门体关闭后存储腔内食材的图片进行图像识别以确定其种类,但是在实际的用户使用过程中,每次冰箱开门存储操作后会改变物体的放置状态与位置,而且会导致部分食材相互重叠或者遮挡而使露出的部分较少则可能导致无法再次识别,因此识别判断的一致性和准确率很低。



技术实现要素:

本发明旨在在于至少部分解决上述技术问题之一。

本发明的一个目的在于提供了一种冰箱的可以提高存储腔内食材识别准确率的食材确定方法。

本发明的另一个目的在于提供一种冰箱的可提高存储腔内食材识别准确率的食材确定装置。

有鉴于此,根据本发明的一个目的,提供了一种冰箱的食材确定方法,包括:

获取冰箱存储腔内食材的第一状态图像信息及其食材种类;

提取所述第一状态图像信息中食材的区别特征信息;

获取存取操作后存储腔内食材的第二状态图像信息;

根据所述食材的区别特征信息确定所述第二状态图像中的食材种类。

针对某一用户而言,其冰箱中的食材是相对固定,也是相对确定的,其中不同种类食材之间的区别特征也是有限的,根据本发明提供的食材确定方法,通过获取第一状态图像信息及其中的食材种类并通过提取第一状态图像信息中食材的区别特征,仅对这些有限的区别特征进行提取与处理,并根据该区别特征进行追踪从而确定用户进行存取操作后获取的第二状态图像中的食材种类,减少了食材种类特征的大数据比对识别,同时还提高了食材识别的准确率。

进一步的,获取存取操作后存储腔内食材的第二状态图像信息步骤后包括:

基于所述食材种类建立与所述区别特征信息相对应的预设关系;

根据所述预设关系确定第二状态图像信息中食材种类。

通过建立食材种类与区别特征信息的预设关系,然后针对从第二状态图像信息中获取的区别特征再根据该建立的预设关系进行反向确定该食材的种类,以此提高识别的准确性与效率。

进一步的,获取冰箱存储腔内食材的第一状态图像信息步骤之后包括:

根据所述第一状态图像信息确定食材的种类;

在所述食材的种类确定之后提取第一状态图像信息中食材的区别特征信息。

通过在图像识别的基础之上利用建立的预设关系进行食材确定,减少人工的参与,提高冰箱的智能程度。

进一步的,在所述食材的种类确定之后提取第一状态图像信息中食材的区别特征信息步骤包括:

在所述食材的种类确定后提取其第一区别特征信息;

根据所述食材的第一区别特征信息进行筛选,去除相近和/或相同的第一区别特征信息后形成与所述食材相对应的第二区别特征信息。

如此,避免不同食材中提取的相近和/或相同的区别特征对食材种类确定的准确度影响。

进一步的,所述根据所述食材的第一区别特征信息进行筛选,去除相近和/或相同的第一区别特征信息后形成所述食材相对应的第二区别特征信息步骤包括:

在存储腔内所有食材的第一区别特征提取完成后去除相近和/或相同的第一区别特征信息,形成与所述食材相对应的第二区别特征信息。

如此,进一步避免不同食材中提取的相近和/或相同的区别特征对食材种类确定的准确度影响。

进一步的,基于所述食材种类建立与所述区别特征信息相对应的预设关系步骤之后包括:

在所述第二状态图像信息无法确定所述食材种类时根据所述预设关系确定第二状态图像信息中所述食材种类。

当用户进行存取操作后,部分食材可能因为重叠或者遮挡,导致其在第二状态图像信息中的信息不足以供图像识别装置根据既有的食材种类数据库确定其种类时,则根据第一状态图像信息中获取的食材区别特征进行食材种类的确定,而对能够通过图像识别装置识别的则直接按照识别结果确定食材的种类,而对剩下的其它食材再根据之前建立的食材种类与区别特征关系确定其种类,从而可以在图像识别的基础上进一步提高食材种类识别的准确性。

进一步的,所述第二状态图像信息中包括n(n为大于1的正整数)种食材,其中n(n为大于1且小于等于n的正整数)种食材包含相近和/或相同的区别特征信息,则根据n-1种食材的种类确定另外一种食材的种类。

通过间接根据先前建立的预设关系来确定食材的种类,也就是通过反向排除确定法来确定食材的种类,避免无法直接根据预设关系来确定食材种类的情况。

进一步的,所述方法包括:

在确定第二状态图像信息中的食材种类后,提取第二状态图像信息中所述食材的区别特征信息。

当用户进行存取操作后,部分食材的存储位置可能会发生变化,在第一状态图像信息获取时因为遮挡或重叠未能够通过第一状态图像信息获取的区别特征可能会在第二状态图像信息中裸露出来。此时,在食材种类确定后,提取第二状态图像信息中所述食材的区别特征信息来补充该食材的区别特征信息,以便在下一次存储操作后对食材种类进行再一次的识别确定,进一步提高食材识别的准确率。

进一步的,所述方法还包括:

所述食材的区别特征信息提取后暂存,在达到预设条件时清除所述食材的区别特征信息。

因为冰箱中的食材都该用户特定的,而且是暂时存储的,一旦被取用则与该食材相对应的区别特征便毫无意义,因此,当达到预设条件时,需要清除所述食材的区别特征,避免占用存储资源,保证区别特征信息的有效性与区别特征信息存储空间的利用率。

作为本发明的另一个目的,还提供了一种冰箱的食材确定装置,包括:

获取模块,用于获取冰箱存储腔内食材的第一状态图像信息及其食材种类,以及第二状态图像信息;

处理模块,用于提取所述第一状态图像信息中食材的区别特征信息,并根据所述食材的区别特征信息确定所述第二状态图像中的食材种类。

本发明提供的冰箱的食材确定装置,通过获取第一状态图像信息及其中的食材种类并通过提取第一状态图像信息中食材的区别特征,仅对这些有限的区别特征进行提取与处理,并根据该区别特征进行追踪从而确定用户进行存取操作后获取的第二状态图像中的食材种类,减少了食材种类特征的大数据比对识别,同时还提高了食材识别的准确率。

附图说明

图1是本发明第一方面实施例提供的一种冰箱食材确定方法的示意性流程图;

图2是本发明第一方面实施例的一个实施例示意性流程图;

图3是本发明第一方面实施例的改进实施例示意性流程图;

图4是本发明第二方面实施例提供的一种冰箱食材确定装置结构示意图;

图5是本发明中预设特征与区别特征的关系表示示意图。

具体实施方式

下面结合具体实施方式与附图对本发明的内容做进一步的解释说明,以便更加清楚的阐明本发明的技术方案以及取得的有益效果。

作为本发明第一方面实施例,提供了一种冰箱的食材确定方法,如图1所示,包括:

获取冰箱存储腔内食材的第一状态图像信息及其食材种类;

提取所述第一状态图像信息中食材的区别特征信息;

获取存取操作后存储腔内食材的第二状态图像信息;

根据所述食材的区别特征信息确定所述第二状态图像中的食材种类。

针对某一用户而言,其冰箱中的食材是相对固定,也是相对确定的,其中不同种类食材之间的区别特征也是有限的,获取第一状态图像信息及其中的食材种类并通过提取第一状态图像信息中食材的区别特征,仅对这些有限的区别特征进行提取与处理,并根据该区别特征进行追踪从而确定用户进行存取操作后获取的第二状态图像中的食材种类,减少了食材种类特征的大数据比对识别,同时还提高了食材识别的准确率。

进一步的,获取存取操作后存储腔内食材的第二状态图像信息步骤后包括:基于所述食材种类建立与所述区别特征信息相对应的预设关系;

根据所述预设关系确定第二状态图像信息中食材种类。

举例来说,冰箱存储腔中存放有苹果与橘子两种食材,通过获取的第一状态图像信息中得知苹果具有区别特征a与c,橘子具有区别特征b与d,则建立苹果与区别特征a和c之间的预设关系,橘子与区别特征b和d之间的预设关系,当经历某次存取操作后获取存取腔内食材的第二状态图像信息,获知该第二状态图像信息中至少具有区别特征a与b时,则根据前述建立的预设关系确定此时的存储腔内的食材包括苹果与橘子。

通过建立食材种类与区别特征信息的预设关系,然后针对从第二状态图像信息中获取的区别特征再根据该建立的预设关系进行反向确定该食材的种类,以此提高识别的准确性与效率。

可选的,所述获取冰箱存储腔内食材的第一状态图像信息及其食材种类步骤中,所述第一状态图像信息中的食材种类是人工输入的,例如可以是在用户将食材存入冰箱后手动输入或者选择设置所述第一状态图像信息中的食材种类。

优选的一个实施例中,如图2所示,所述食材种类是根据第一状态图像信息获得确定的,也就是说,获取冰箱存储腔内食材的第一状态图像信息步骤之后包括:

根据所述第一状态图像信息确定食材的种类;

在所述食材的种类确定之后提取第一状态图像信息中所述食材的区别特征信息。

具体的,所述冰箱上设有图像识别装置,该图像识别装置中包含用于判断确定食材种类的特征库,例如在用户将食材存入冰箱后拍照获取存储腔内食材的第一状态图像信息,然后该图像识别装置根据所述第一状态图像信息直接识别确定其中的食材种类,并在所述食材的种类确定之后提取第一状态图像信息中所述食材的区别特征信息。通过在图像识别的基础之上利用建立的预设关系进行食材确定,减少人工的参与,提高冰箱的智能程度。

进一步的,在所述食材的种类确定之后提取第一状态图像信息中食材的区别特征信息步骤包括:

在所述食材的种类确定后提取其第一区别特征信息;

根据所述食材的第一区别特征信息进行筛选,去除相近和/或相同的第一区别特征信息后形成与所述食材相对应的第二区别特征信息。

可选的,每提取一种食材的第一区别特征后,将该第一区别特征与之前已经提取的其他食材的第一区别特征进行比较筛选,将其中相近和/或相同的第一区别特征信息去除后形成与所述食材相对应的第二区别特征信息。

举例来说,冰箱存储腔内存储有橙子、橘子、胡柚,在通过第一状态图像信息的区别特征提取过程中,三种食材的先后顺序分别为橙子、橘子、胡柚,其中,通过第一状态图像信息获知橙子具有第一区别特征a、b、c,则无需去除特征,直接将a、b、c作为橙子的第二区别特征,然后通过第一状态图像信息获知橘子具有第一区别特征a、d、e,则由于橙子的第一区别特征中具有a,因此去除a,将d、e作为橘子的第二区别特征,最后通过第一状态图像信息获知胡柚具有第一区别特征b、d、f,由于橙子、橘子的第一区别特征中分别包含b、d,因此去除区别特征b、d,将f作为胡柚的第二区别特征。使得最终建立的预设关系中,橙子所对应的区别特征为a、b、c,橘子所对应的区别特征为d、e,胡柚对对应的区别特征为f。

如此,避免不同食材中提取的相近和/或相同的区别特征对食材种类确定的准确度影响。

优选的,在存储腔内所有食材的第一区别特征提取完成后形成与所述食材相对应的第二区别特征信息。也就是说,根据所述食材的第一区别特征信息进行筛选,去除相近和/或相同的第一区别特征信息后形成与所述食材相对应的第二区别特征信息步骤包括:

存储腔内所有食材的第一区别特征提取完成后去除相近和/或相同的第一区别特征信息形成与所述食材相对应的第二区别特征信息。

仍旧以上述的橙子、橘子、胡柚为例,通过第一状态图像信息获知橙子具有第一区别特征a、b、c,橘子具有第一区别特征a、d、e,胡柚具有第一区别特征b、d、f,那么,此时无论三种食材的区别特征提取顺序如何,最终建立的预设关系中,橙子所对应的区别特征为c,橘子所对应的区别特征为e,胡柚对对应的区别特征为f。

如此,相比前述可选的区别特征形成方式,能够避免在第二状态图像信息中出现区别特征a或b或c时可能导致食材种类误判的情况,提高了食材种类识别的准确性。

在对上述实施例改进的一个实施例中,如图2所示,获取存取操作后存储腔内食材的第二状态图像信息步骤之后包括:

在所述第二状态图像信息无法确定所述食材种类时根据所述食材的区别特征信息确定所述食材种类。

以前述的橙子、橘子、胡柚为例进行举例说明,通过第一状态图像信息获知橙子具有第一区别特征a、b、c,橘子具有第一区别特征a、d、e,胡柚具有第一区别特征b、d、f,在获取存储操作后存储腔内食材的第二状态图像信息后,冰箱上的图像识别装置通过该第二状态图像信息发现其特征库中包含橙子的特征信息,则直接确定为橙子,而无需查找其是否包含第一区别特征a、b、c,再查找第二状态图像信息中的区别特征是否包含e或者f,并根据先前设立的橘子或者胡柚与e或者f建立的预设关系来确定是否包含橘子或者胡柚。

当用户进行存取操作后,部分食材可能因为重叠或者遮挡,导致其在第二状态图像信息中的信息不足以供图像识别装置根据既有的食材种类数据库确定其种类时,则根据第一状态图像信息中获取的食材区别特征进行食材种类的确定,而对能够通过图像识别装置识别的则直接按照识别结果确定食材的种类,而对剩下的其它食材再根据之前建立的食材种类与区别特征关系确定其种类,从而可以在图像识别的基础上进一步提高食材种类识别的准确性。

作为补充,在上述改进的一个实施例中,所述第二状态图像信息中包括n(n为大于1的正整数)种食材,其中n(n为大于1且小于等于n的正整数)种食材包含相近和/或相同的区别特征信息,则根据n-1种食材的种类确定另外一种食材的种类。

还是以橙子、橘子、胡柚为例进行举例说明,通过第一状态图像信息获知橙子具有第一区别特征a、b、c,橘子具有第一区别特征a、d、e,胡柚具有第一区别特征b、d、f,其中任意两者之间包含相同的区别特征,在获取的第二状态图像信息中的三种食材包括区别特征f、e、a,其中区别特征f和e对应的胡柚和橘子可以直接确定,再根据反向排除法可以确定另外一种食材为橙子。

通过间接根据先前建立的预设关系来确定食材的种类,也就是通过反向排除法来确定食材的种类,避免无法直接根据预设关系来确定食材种类的情况。

当用户进行存取操作后,部分食材的存储位置可能会发生变化,在第一状态图像信息获取时因为遮挡或重叠未能够通过第一状态图像信息获取的区别特征可能会在第二状态图像信息中裸露出来。因此,在获取存取操作后的存储腔内食材的第二状态图像信息步骤后,还包括:

根据所述第二状态图像信息确定食材种类后,提取第二状态图像信息中所述食材的区别特征信息。

此时,在食材种类确定后,提取第二状态图像信息中所述食材的区别特征信息来补充该食材的区别特征信息,以便在下一次存储操作后对食材种类进行再一次的识别确定,进一步提高食材识别的准确率。

进一步的,所述方法还包括:

所述食材的区别特征信息提取后暂存,在达到预设条件时清除所述食材的区别特征信息。

具体的,所述预设条件可以是存储腔不包括所述食材时,也可以是在进行某一次数阈值存储操作后,比如50次存储操作后,也可以是时间阈值,比如在十天后。

因为冰箱中的食材都该用户特定的,而且是暂时存储的,一旦被取用则与该食材相对应的区别特征便毫无意义,因此,当达到预设条件时,需要清除所述食材的区别特征,避免占用存储资源,保证区别特征信息的有效性与区别特征信息存储空间的利用率。

作为本发明第二方面的实施例,还提供了一种冰箱的食材确定装置,如图4所示,包括:获取模块,用于获取冰箱存储腔内食材的第一状态图像信息及其食材种类,以及第二状态图像信息;

处理模块,用于提取所述第一状态图像信息中食材的区别特征信息,并根据所述食材的区别特征信息确定所述第二状态图像中的食材种类。

进一步的,所述处理模块还用于,在获取存取操作后存储腔内食材的第二状态图像信息后,建立基于所述食材与相对应的区别特征的预设关系,并根据所述预设关系确定第二状态图像信息中食材的种类。

进一步的,所述处理模块还用于,在获取冰箱存储腔内食材的第一状态图像信息步骤后,根据所述第一状态图像信息确定食材的种类,并在所述食材的种类确定之后提取第一状态图像信息中所述食材的区别特征信息。

进一步的,所述处理模块还包括筛选单元,所述处理模块在所述食材的种类确定后提取其第一区别特征信息,所述筛选单元对所述食材的第一区别特征信息进行筛选,去除相近和/或相同的第一区别特征信息后形成与所述食材相对应的第二区别特征信息。

进一步的,所述筛选单元还用于,在存储腔内所有食材的第一区别特征提取完成后去除相近和/或相同的第一区别特征信息,形成与所述食材相对应的第二区别特征信息。

进一步的,所述处理模块还用于在所述第二状态图像信息无法确定所述食材种类时根据所述预设关系确定第二状态图像信息中所述食材种类。

进一步的,所述第二状态图像信息中包括n(n为大于1的正整数)种食材,其中n(n为大于1且小于等于n的正整数)种食材包含相近和/或相同的区别特征信息,所述处理模块根据n-1种食材的种类确定另外一种食材的种类。

进一步的,所述处理模块还用于在确定第二状态图像信息中的食材种类后,提取第二状态图像信息中所述食材的区别特征信息。

进一步的,所述处理模块还包括判断单元,所述处理模块用于将所述食材的区别特征信息提取后暂存,并在所述判断单元判定达到预设条件时清除所述食材的区别特征信息。

此处需要特别说明的是,在本发明中,图像识别装置是根据其特征库中的预设特征进行判断确定食材种类的,具体的,该预设特征用来区别不同食材种,而且其相对于同一种类的食材而言是具有普遍性的。而此处的区别特征是指某一用户冰箱存储腔内食材所特有的,除用来供图像识别装置使用的预设特征之外的特征均可作为所述区别特征,且所述区别特征包括但不限于食材上的斑点、纹路、污渍、形状、颜色等。举例来说,番茄普遍是红色的,因而其图像识别特征库中的预设特征必定为红色的特征,而一个番茄可能未完全成熟而又部分区域呈现绿色,这块区域就可以成为其区别特征。预设特征与区别特征两者之间的关系以图5进行示意表示。

此外,术语“第一”、“第二”仅用于描述的目的,而不能理解为指示或暗示相对重要性,其中的第一状态图像信息、第二状态图像信息是相对而言,仅指时间上的先后;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的描述中,需要理解的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。

在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。

所属领域的技术人员可以清楚地了解到,为了描述的方便和间接,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

应该理解到,在本申请所提供的几个实施例中,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者集成到另一个系统,或一些特征可以忽略,或不执行。

作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的不见可以是或者也可以不是物联模块,即可以位于一个地方,或者也可以分不到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或者部分可以以软件产品的形式体现处理,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的戒指。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1