垃圾分类处理方法、装置、终端及存储介质与流程

本发明涉及智能分类技术领域，尤其涉及一种垃圾分类处理方法、装置、终端及存储介质。

背景技术：

近年来，随着人们生活质量的提高，人们越来越关注垃圾的分类处理。垃圾的分类处理已经在国内大中型城市逐步推广。由于考虑到垃圾的分类教育普及不够等问题，在实际的垃圾分类处理过程中，通过在智能垃圾桶产品中集成物体检测算法来进行垃圾的简单分类。

然而，由于垃圾的物品种类繁多，传统的物体检测算法难以有效对垃圾进行准确分类，且传统的物体检测算法较固化，无法根据实际情况自动改进判断策略。

因此，有必要提出一种能够对垃圾进行精确分类且能够根据实际情况自动改进判断策略的方法。

技术实现要素：

鉴于以上内容，有必要提出一种垃圾分类处理方法、垃圾分类处理装置、终端及计算机可读存储介质，能够解决实际垃圾物品种类繁多时，传统的物体检测算法难以有效对垃圾进行准确分类，且传统的物体检测算法较固化，无法根据实际情况自动改进判断策略的问题。

本发明实施例第一方面提供一种垃圾分类处理方法，应用于智能垃圾桶，所述垃圾分类处理方法包括：

获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；

当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；

将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；

当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；

当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；

根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；

当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；

当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；

将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。

进一步地，在本发明实施例提供的上述垃圾分类处理方法中，在所述通过物品分类模型识别所述图像中的目标物品的第一物品种类的步骤之前，所述方法还包括：

计算所述图像的质量评价值；

检测所述质量评价值是否满足预设质量阈值；

当检测结果为所述质量评价值不满足所述预设质量阈值时，重新采集所述目标物品的图像直到重新采集的图像的质量评价值满足所述预设质量阈值；

将满足所述预设质量阈值的图像中的目标区域分割出来，得到目标图像；

对所述目标图像进行后处理，所述后处理包括以下中的一种或多种：白平衡处理、均衡化处理。

进一步地，在本发明实施例提供的上述垃圾分类处理方法中，所述根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类的步骤包括：

将所述第二物品种类输入至预先训练好的名称相似度获取模型中，得到关于所述第二物品种类的近义词集；

检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致；

当检测结果为所述近义词集中存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致时，确定存在与所述第二物品种类对应的已知物品种类。

进一步地，在本发明实施例提供的上述垃圾分类处理方法中，所述方法还包括：

当检测结果为存在与所述第二物品种类对应的已知物品种类时，将所述已知物品种类输入至垃圾分类模型中，得到所述目标物品对应的垃圾种类；

控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口；

检测所述垃圾投放入口是否感应生成物品投放信号；

当检测到所述垃圾投放入口生成物品投放信号时，控制所述智能垃圾桶关闭所述垃圾投放入口。

进一步地，在本发明实施例提供的上述垃圾分类处理方法中，所述方法还包括：

当所述第二语音信息表示所述第一物品种类错误时，将第一物品种类识别错误的图像及对应的第二物品种类存储至所述垃圾分类数据库中；

计算预设时间段内存储的图像的数量；

判断所述数量是否超出预设数量阈值；

当判断结果为所述数量超出所述预设数量阈值时，将存储的图像及对应的第二物品种类作为新的训练数据集，并基于所述新的训练数据集更新所述物品分类模型。

进一步地，在本发明实施例提供的上述垃圾分类处理方法中，在所述通过语音检测模型检测所述第一语音信息是否满足预设激活条件的步骤之前，所述方法还包括：

计算所述第一语音信息的清晰度；

判断所述第一语音信息的清晰度是否超出预设清晰度阈值；

当所述第一语音信息的清晰度没有超出所述预设清晰度阈值时，重新获取用户的第一语音信息。

进一步地，在本发明实施例提供的上述垃圾分类处理方法中，所述物品分类模型的训练方法包括：

爬取不同物品种类的多张物品图像得到原始数据集；

将所述原始数据集分为训练集与验证集；

将所述训练集输入至预设深度学习模型中进行训练，得到物品分类模型；

将所述验证集输入至物品分类模型中进行验证，得到验证通过率；

检测所述验证通过率是否超过预设通过率阈值；

当检测结果为所述验证通过率超过预设通过率阈值时，确定物品分类模型训练完成。

本发明实施例第二方面还提供一种垃圾分类处理装置，应用于智能垃圾桶，所述垃圾分类处理装置包括：

条件检测模块，用于获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；

种类确定模块，用于当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；

信息确认模块，用于将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；

垃圾投放模块，用于当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；

种类接收模块，用于当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；

种类检测模块，用于根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；

入口打开模块，用于当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；

类别确定模块，用于当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；

模型更新模块，用于将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。

本发明实施例第三方面还提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述任意一项所述垃圾分类处理方法。

本发明实施例第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任意一项所述垃圾分类处理方法。

本发明实施例提供一种垃圾分类处理方法、垃圾分类处理装置、终端及计算机可读存储介质，获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。通过本发明实施例，使用摄像单元和语音单元来完成人机交互，提高垃圾分类的准确性；采用二级分类方法，先进行物品种类分类，再根据所述物品种类确定垃圾种类，提高垃圾分类的准确性；根据所述垃圾分类模型识别出的所有目标物品的种类对应的垃圾种类，通过所述控制单元开启所述垃圾投放箱的对应入口，从而避免用户不遵守规则而导致的垃圾乱投放的情况；且在所述目标物品的物品种类为未知物品种类时，通过红外扫描单元检测目标物品投放对应的垃圾种类从而获得未知物品种类对应的垃圾种类，从而进行垃圾分类模型的实时自动更新。

附图说明

图1是本发明第一实施方式提供的垃圾分类处理方法的流程图。

图2是本发明实施例提供的终端的结构示意图。

图3是图2所示的终端的示例性的功能模块图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

图1是本发明第一实施方式提供的垃圾分类处理方法的流程图。所述垃圾分类方法应用于智能垃圾桶，所述智能垃圾桶包括：摄像单元、语音单元、红外扫描单元、控制单元以及垃圾投放箱。其中，所述摄像单元用于采集目标物品的图像；所述语音单元用于接收用户输出的语音信息，或者，所述语音单元用于向用户输出语音信息；所述红外扫描单元用于检测目标物品是否被投放入垃圾投放箱；所述垃圾投放箱包含垃圾投放入口，所述垃圾投放入口用于投放垃圾至垃圾投放箱，对应于预设类别的垃圾，存在与之对应的预设类别的垃圾投放箱。在一实施例中，所述预设类别的垃圾投放箱可以包括干垃圾投放箱、湿垃圾投放箱、有害垃圾投放箱以及可回收垃圾投放箱，在此不作具体限制。

如图1所示，本发明实施例提供一种垃圾分类处理方法，所述垃圾分类处理方法可以包括如下步骤：

s11、获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件，当检测结果为所述第一语音信息满足预设激活条件时，执行步骤s12。

在本发明的至少一实施例中，通过语音单元采集用户输入的第一语音信息。通过语音检测模型检测所述第一语音信息是否满足预设激活条件。其中，所述语音检测模型为利用深度学习网络进行训练得到的针对语音检测的模型。所述预设激活条件为系统用户预先设置的语音指令，可以包括预设关键词，例如：垃圾分类、垃圾识别、垃圾投放等关键词。

在实际输入所述第一语音信息的过程中，可能由于各种原因(例如，用户输入语音信息时音量较小、周围环境嘈杂等问题)导致用户输入的语音信息不清晰，此时，可以提示用户重新输入语音信息(例如，输出“我没听清，请重新输入”的语音提示)，避免因语音信息不清晰而导致无法正确进行语音检测模型的识别。因而，在所述通过语音检测模型检测所述第一语音信息是否满足预设激活条件的步骤之前，所述方法还包括：计算所述第一语音信息的清晰度；判断所述第一语音信息的清晰度是否超出预设清晰度阈值；当所述第一语音信息的清晰度没有超出所述预设清晰度阈值时，重新获取用户的第一语音信息。其中，语音的清晰度描述的是噪声环境下说话的可懂程度。所述预设清晰度阈值为系统用户预先设置的阈值，例如，所述预设清晰度阈值可以为95％。在一实施例中，计算所述第一语音信息的清晰度的步骤可以包括：对所述第一语音信息进行语音活动检测，得到所述第一语音信息携带的环境噪声信息；计算所述环境噪声信息与所述第一语音信息的比值；根据所述比值得到所述第一语音信息的清晰度。其中，所述环境噪声信息可以通过噪声信息的振幅或能量等物理性的变化量体现。

当判断结果为所述第一语音信息满足预设激活条件时，则执行采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的物品种类的步骤。在本发明的至少一实施例中，在所述采集目标物品的图像的步骤之前，所述方法还包括：开启摄像单元，并初始化已训练好的物品分类模型。优选地，在所述语音单元未接收到满足预设激活条件的语音指令时，所述摄像单元处于关闭状态，从而达到节省电能的目的。

在本发明的至少一实施例中，所述已训练好的物品分类模型的训练方法可以包括：构建原始数据集；将所述原始数据集分为训练集和验证集；将所述训练集输入至预设深度学习模型进行训练，得到物品分类模型，并利用所述验证集对生成的所述物品分类模型进行验证；若验证通过率大于预设通过率阈值，则训练完成，否则增加所述验证集中目标物品的图像数量，以重新进行训练及验证。

其中，所述预设通过率阈值为用户预先设置的，例如，所述预设通过率阈值为99％。所述构建原始数据集的方法包括：使用网络爬虫技术爬取多张有关物品的图像；对所述多张有关物品的图像进行物品种类标注；基于多张有关物品的图像及对应的物品种类构建原始数据集。使用网络爬虫技术从主流图像搜索引擎和图像分享网站中随机或任意获取多张有关物品的图像。其中，所述主流图像搜索引擎可以是，例如百度、谷歌等，所述图像分享网站可以是，例如flickr、instagram等。

在一可选的实施例中，在所述基于多张有关物品的图像及对应的物品种类构建原始数据集的步骤之后，所述方法还包括：计算每一物品种类的目标物品的图像的数量；判断所述数量是否小于预设数量阈值；当判断结果为所述数量小于预设数量阈值时，通过扰动法增加与所述数量对应的物品种类的目标物品的数量。采用扰动法对该物品种类的目标物品的图像进行扰动，以此来增加该物品种类的目标物品的图像数量，避免由于某一物品种类的目标物品的图像的样本数量不足，导致训练得到的物品分类模型对该物品种类的目标物品的图像的泛化能力较差。关于扰动法为现有技术，本发明在此不再赘述。

s12、采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类。

在本发明的至少一实施例中，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类。其中，所述物品分类模型为用户预先设置的，用于对目标物品进行分类的模型。

为了提高所述物品分类模型的识别准确率，在所述通过物品分类模型识别所述图像中的目标物品的物品种类的步骤之前，所述方法还包括：计算所述图像的质量评价值；检测所述质量评价值是否满足预设质量阈值；当检测结果为所述质量评价值不满足所述预设质量阈值时，重新采集所述目标物品的图像直到重新采集的图像的质量评价值满足所述预设质量阈值；将满足所述预设质量阈值的图像中的目标区域分割出来，得到目标图像；对所述目标图像进行后处理，所述后处理包括以下中的一种或多种：白平衡处理、均衡化处理。

在一实施例中，所述计算所述图像的质量评价值的步骤包括：获取所述图像的平均亮度、噪声强度及特征值清晰度；分别根据所述平均亮度、噪声强度及特征值清晰度计算得到图像亮度评价值、图像噪声评价值以及图像清晰度评价值；对所述图像亮度评价值、图像噪声评价值以及图像清晰度评价值进行加权计算得到图像的质量评价值。其中，所述图像的平均亮度、噪声强度及特征值清晰度可以分别通过预设的神经网络进行计算，在此不再赘述。所述平均亮度、噪声强度及特征清晰度分别与所述图像亮度评价值、图像噪声评价值以及图像清晰度评价值存在对应关系。示例性地，对于图像的平均亮度l，设定分界阈值a、b、c及d，当图像的平均亮度l在不同分界范围内时，存在对应的图像亮度评价值。

具体地，可以通过例如，方差、均值等方式计算所述目标物品的图像质量，将方差小于预设方差阈值的目标物品的图像剔除，或者，将均值小于预设均值阈值的目标物品的图像剔除。在实际场景中，具有特征的区域在一张图像中占据的比例可能比较小，例如，在所述目标物品的图像中，仅位于整幅图像中间位置有物品特征，其余位置可能都是空白，因而，选取包含物品特征的有用区域，并将所述目标物品的图像中的有用区域作为目标区域分割出来，有利于加速所述物品分类模型在训练过程中的特征提取。在一实施例中，可以使用yoko目标检测算法检测出所述目标物品的图像中的目标区域，再将所述目标区域从所述目标物品的图像中分割出来。在一实施例中，所述后处理可以为白平衡处理和均衡化处理等。可以使用开源的白平衡工具对所述目标图像进行白平衡处理，还可以使用开源的均衡化工具对所述目标图像进行均衡化处理。

s13、将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确，当所述第二语音信息表示所述第一物品种类正确时，执行步骤s14，当所述第二语音信息表示所述第一物品种类错误时，执行步骤s15。

通过语音单元将所述第一物品种类通过语音提示的方式输出至用户，并提示用户确认所述第一物品种类是否正确，可以通过语音单元接收用户输入的第二语音信息确认所述第一物品种类是否正确。其中，所述第二语音信息可以为“正确”或“错误”，在此不作限制。

s14、通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放。

在本发明的至少一实施例中，当所述第二语音信息表示所述第一物品种类正确时，将所述第一物品种类输入至垃圾分类模型中，得到所述目标物品对应的垃圾种类；控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户投放。可以理解的是，在所述控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口的步骤之后，所述方法还包括：检测所述垃圾投放入口是否感应生成所述目标物品的投放信号；当所述垃圾投放入口感应生成所述目标物品的投放信号时，控制所述智能垃圾桶关闭所述垃圾投放入口。

其中，所述垃圾分类模型为预先采用大量的训练数据训练好的，用于对确定物品种类的垃圾进行垃圾分类的模型。将所述物品种类输入至所述垃圾分类模型中，得到所述目标物品对应的垃圾种类。例如，当所述目标物品的物品种类为饮料瓶时，对应的垃圾种类为可回收垃圾。所述智能垃圾桶对应的垃圾投放入口可以包括：干垃圾投放入口、湿垃圾投放入口、有害垃圾投放入口以及可回收垃圾投放入口。对于每一个类型的垃圾投放入口，都可以设置有一红外扫描单元；优选地，对于多个类型的垃圾投放入口，可以设置一个红外扫描单元，从而节省成本。

在本发明的至少一实施例中，通过控制单元控制所述智能垃圾桶打开对应的垃圾投放入口，并开启红外扫描单元，通过所述红外扫描单元感应所述垃圾投放入口是否存在目标物品的投放，并在感应到目标物品投放时，生成相应的物品投放信号。优选地，在所述根据所述垃圾种类控制智能垃圾桶打开对应的垃圾投放入口的步骤之后，所述方法还包括：通过语音单元输出语音提示，提示用户将所述目标物品投放至智能垃圾桶对应打开的垃圾投放入口中。

可以理解的是，根据所述垃圾分类模型识别出所述第一物品种类对应的垃圾种类，通过所述控制单元开启所述智能垃圾桶对应的垃圾投放入口，由用户将目标物品投放至对应垃圾投放入口中，从而避免用户不遵守规则而导致的垃圾乱投的情况。

在本发明的至少一实施例中，所述检测所述垃圾投放入口是否感应生成物品投放信号的步骤还包括：检测所述垃圾投放入口是否感应生成除所述目标物品外的其他物品的投放信号；当所述垃圾投放入口感应生成所述其他物品的投放信号时，根据所述第一语音信息获取用户的身份信息；更新与所述身份信息对应的标签，其中，所述标签包括垃圾投放错误次数标签。在其他实施例中，还可以定期将包含标签的用户身份信息输出至相关垃圾处理部门，由相关垃圾处理部门对垃圾投放错误次数过多的用户进行批评教育，从而在根源上提高用户对垃圾进行正确投放的意识。

s15、接收用户输入的所述目标物品的第二物品种类。

在本发明的至少一实施例中，当所述第二语音信息表示所述第一物品种类错误时，通过语音单元提示用户输出所述目标物品的第二物品种类。例如，提示的内容可以为：“请您说出物品的种类”。

s16、根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类，当不存在与所述第二物品种类对应的已知物品种类时，执行步骤s17。

在本发明的至少一实施例中，根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类。其中，所述垃圾分类数据库中包括有关物品的名称、有关物品的图像、有关物品的物品种类名称以及有关物品对应的垃圾种类名称等数据，彼此之间关联存储。

具体地，所述根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类的步骤包括：将所述第二物品种类输入至预先训练好的名称相似度获取模型中，得到关于所述第二物品种类的近义词集；检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致；当检测结果为所述近义词集中存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致时，确定存在与所述第二物品种类对应的已知物品种类。例如，当输入的第二物品种类的物品种类名称为“矿泉水瓶”，通过所述名称相似度获取模型得到“矿泉水瓶”的近义词集包含：“塑料瓶”、“饮用水瓶”、“饮料瓶”等。假设所述垃圾分类数据库中存在已知物品种类的物品种类名称为“饮料瓶”。通过所述检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致的步骤可得到，所述近义词集中存在“饮料瓶”与已知物品种类的物品种类名称“饮料瓶”一致，则确定“矿泉水瓶”为已知物品种类。

在本发明的至少一实施例中，所述方法还包括：当检测结果为存在与所述第二物品种类对应的已知物品种类时，将所述已知物品种类输入至垃圾分类模型中，得到所述目标物品对应的垃圾种类；控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口；检测所述垃圾投放入口是否感应生成物品投放信号；当检测到所述垃圾投放入口生成物品投放信号时，控制所述智能垃圾桶关闭所述垃圾投放入口。

在本发明的至少一实施例中，所述方法还包括：当所述第二语音信息表示所述第一物品种类错误时，将第一物品种类识别错误的图像及对应的第二物品种类存储至所述垃圾分类数据库中；计算预设时间段内存储的图像的数量；判断所述数量是否超出预设数量阈值；当判断结果为所述数量超出所述预设数量阈值时，将存储的图像及对应的第二物品种类作为新的训练数据集，并基于所述新的训练数据集更新所述物品分类模型。其中，所述预设数量阈值为预先设置的，例如，所述预设数量阈值为10个。

s17、控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号，当检测到所述垃圾投放入口生成物品投放信号时，执行步骤s18。

在本发明的至少一实施例中，当不存在与所述第二物品种类对应的已知物品种类时，根据所述垃圾分类模型无法准确识别出所述目标物品对应的垃圾分类，无法通过所述控制单元控制所述智能垃圾桶打开对应的垃圾投放入口，因而，采用通过控制单元控制所述智能垃圾桶打开所有垃圾投放入口的方式，由用户手动完成垃圾分类投放。在控制智能垃圾桶打开所有垃圾投放入口的同时，检测所述红外扫描单元是否感应生成所述目标物品的投放信号，当检测结果为所述红外扫描单元未生成所述目标物品的投放信号时，在预定时间间隔内关闭所述垃圾投放入口。其中，所述预定时间间隔为预先设置的，例如，所述预定时间间隔为10秒。当检测结果为所述红外扫描单元生成所述目标物品的投放信号时，执行步骤s18。

s18、将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类。

在本发明的至少一实施例中，当检测到所述垃圾投放入口生成物品投放信号时，通过所述控制单元关闭所述红外扫描单元以及关闭智能垃圾桶对应的所有垃圾投放入口。在控制智能垃圾桶关闭所有垃圾投放入口的步骤之后，所述方法还包括：将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类。

s19、将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。

在本发明的至少一实施例中，将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。在将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库的步骤之后，所述方法还包括：按照预设时间段确定所述垃圾分类数据库中存储的所述垃圾种类的数量；检测所述垃圾种类的数量是否超出预设数量阈值；当检测结果为所述垃圾种类的数量超出预设数量阈值时，将新增的所述垃圾种类和目标物品的第二物品种类作为新增训练集合，并将所述新增训练集合输入至所述垃圾分类模型中进行重训练，得到更新后的所述垃圾分类模型。其中，所述预设时间段与预设数量阈值均为系统用户预先设置的，例如，所述预设时间段为5天，所述预设数量阈值为10个。

本发明实施例提供一种垃圾分类处理方法，使用摄像单元和语音单元来完成人机交互，提高垃圾分类的准确性；采用二级分类方法，先进行物品种类分类，再根据所述物品种类确定垃圾种类，提高垃圾分类的准确性；根据所述垃圾分类模型识别出的所有目标物品的种类对应的垃圾种类，通过所述控制单元开启所述智能垃圾桶对应的垃圾投放入口，从而避免用户不遵守规则而导致的垃圾乱投放的情况；且在所述目标物品的物品种类为未知物品种类时，通过红外扫描单元检测目标物品投放对应的垃圾种类从而获得未知物品种类对应的垃圾种类，从而进行垃圾分类模型的实时自动更新。

以上是对本发明实施例所提供的方法进行的详细描述。根据不同的需求，所示流程图中方块的执行顺序可以改变，某些方块可以省略。

图2是本发明实施例提供的终端的结构示意图，如图2所示，终端1包括存储器10，存储器10中存储有所述垃圾分类处理装置100。当所述垃圾分类处理装置100可以获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。通过本发明实施例，使用摄像单元和语音单元来完成人机交互，提高垃圾分类的准确性；采用二级分类方法，先进行物品种类分类，再根据所述物品种类确定垃圾种类，提高垃圾分类的准确性；根据所述垃圾分类模型识别出的所有目标物品的种类对应的垃圾种类，通过所述控制单元开启所述智能垃圾桶对应的垃圾投放入口，从而避免用户不遵守规则而导致的垃圾乱投放的情况；且在所述目标物品的物品种类为未知物品种类时，通过红外扫描单元检测目标物品投放对应的垃圾种类从而获得未知物品种类对应的垃圾种类，从而进行垃圾分类模型的实时自动更新。

本实施方式中，终端1还可以包括显示屏20及处理器30。存储器10、显示屏20可以分别与处理器30电连接。

所述的存储器10可以是不同类型存储设备，用于存储各类数据。例如，可以是终端1的存储器、内存，还可以是可外接于该终端1的存储卡，如闪存、sm卡(smartmediacard，智能媒体卡)、sd卡(securedigitalcard，安全数字卡)等。此外，存储器10可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。存储器10用于存储各类数据，例如，所述终端1中安装的各类应用程序(applications)、应用上述垃圾分类处理方法而设置、获取的数据等信息。

显示屏20安装于终端1，用于显示信息。

处理器30用于执行所述垃圾分类处理方法以及所述终端1内安装的各类软件，例如操作系统及应用显示软件等。处理器30包含但不限于处理器(centralprocessingunit，cpu)、微控制单元(microcontrollerunit，mcu)等用于解释计算机指令以及处理计算机软件中的数据的装置。

所述的垃圾分类处理装置100可以包括一个或多个的模块，所述一个或多个模块被存储在终端1的存储器10中并被配置成由一个或多个处理器(本实施方式为一个处理器30)执行，以完成本发明实施例。例如，参阅图3所示，所述垃圾分类处理装置100可以包括条件检测模块101、种类确定模块102、信息确认模块103、垃圾投放模块104、种类接收模块105、种类检测模块106、入口打开模块107、类别确定模块108以及模型更新模块109。本发明实施例所称的模块可以是完成一特定功能的程序段，比程序更适合于描述软件在处理器30中的执行过程。

可以理解的是，对应上述垃圾分类处理方法中的各实施方式，垃圾分类处理装置100可以包括图3中所示的各功能模块中的一部分或全部，各模块的功能将在以下具体介绍。需要说明的是，以上垃圾分类处理方法的各实施方式中相同的名词、相关名词及其具体的解释说明也可以适用于以下对各模块的功能介绍。为节省篇幅及避免重复起见，在此就不再赘述。

条件检测模块101可以用于获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件。

种类确定模块102可以用于当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类。

信息确认模块103可以用于将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确。

垃圾投放模块104可以用于当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放。

种类接收模块105可以用于当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类。

种类检测模块106可以用于根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类。

入口打开模块107可以用于当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号。

类别确定模块108可以用于当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类。

模型更新模块109可以用于将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器30执行时实现上述任一实施方式中的垃圾分类处理方法的步骤。

所述垃圾分类处理装置100如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器30执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)等。

所称处理器30可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器30是所述垃圾分类处理装置100/终端1的控制中心，利用各种接口和线路连接整个垃圾分类处理装置100/终端1的各个部分。

所述存储器10用于存储所述计算机程序和/或模块，所述处理器30通过运行或执行存储在所述存储器10内的计算机程序和/或模块，以及调用存储在存储器10内的数据，实现所述垃圾分类处理装置100/终端1的各种功能。所述存储器10可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端1的使用所创建的数据等。

在本发明所提供的几个具体实施方式中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。

以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。