基于众包智能的垃圾分类系统

1.本发明涉及一种垃圾分类系统，尤其是涉及一种基于众包智能的垃圾分类系统。


背景技术：

2.随着经济的持续高速发展与城市化的迅速扩大，垃圾产生量急剧增加。由此带来的生活垃圾任意堆放、垃圾大量侵占土地、环境污染严重和资源大量浪费等问题，己成为影响环境保护和可持续发展的重要因素。根据实际特点，采取不同分类及收运方法，有效解决现代城市生活垃圾混合清运单一模式，已成为当前亟待解决的问题之一。
3.公开号为cn109368092a的中国专利申请中公开了一种智能分类垃圾箱，该智能分类垃圾箱包括箱体、红外检测器、微型摄像头、控制模块(采用单片机实现)和云服务器，箱体上设有垃圾投放口，箱体内设置有多个子箱体平铺放于投放口下方，箱体内设置有与控制模块连接的分拨装置，红外检测器设于垃圾投放口处，用于实时检测垃圾投放口是否有垃圾投放，控制模块与云服务器通过无线网络进行通信，云服务器中设置有图像识别模块，当有垃圾通过垃圾投放口放入箱体内时，红外检测器发送信号给控制模块，控制模块控制微型摄像头开启，微型摄像头对进入箱体的垃圾进行摄像并将摄像所得的图片文件输出至控制模块，控制模块将图片文件传送至云服务器，云服务器处的图像识别模块对图片文件进行识别，确定垃圾类别反馈至控制模块，控制模块根据垃圾类别控制分拨装置将垃圾拨入对应类别子箱体内，实现垃圾分类投放。
4.但是，上述智能分类垃圾箱存在以下问题：首先，图像识别模块的实际的准确率不可能达到百分之百，由于目前居民垃圾分类能力以及意识还比较薄弱，投放的垃圾中经常会混杂有不同类别的垃圾，一旦图像识别模块不能识别垃圾类别，分拨装置将无法被驱动，垃圾将会一直投放不成功。其次，图像识别模块需要采用大量垃圾相关的标注图片数据进行训练后才能用于垃圾分类，但是当前传统的获取标注图片数据的方式是人工对图片进行标注，这种方式不仅费时费力还成本高，且人工标注图片数量比较有限，难以维持图像识别模块的持续更新，最终导致图像识别模块识别精度降低，垃圾分类准确性降低。


技术实现要素：

5.本发明所要解决的技术问题是提供一种在图像识别模块不能识别垃圾类别时，能够通过众包审核方式从外界获取垃圾识别结果，以保证垃圾分类投放的顺利进行，并且能够采用众包标注方式构建训练数据集，从而采用训练数据集对图像识别模块进行更新训练，保证图像识别模块识别准确性的基于众包智能的垃圾分类系统。
6.本发明解决上述技术问题所采用的技术方案为：一种基于众包智能的垃圾分类系统，包括箱体、控制模块、采集传输模块和云服务器，所述的云服务器上设置有图像识别模块，所述的箱体包括若干个标示有垃圾类别的子箱，每个所述的子箱处分别设置有用于识别是否有垃圾投放的传感器、用于接收投放垃圾的识别位置和在投放垃圾分类正确时用于将垃圾拨入子箱内的拨料装置，每个所述的传感器和每个所述的拨料装置分别与所述的控
制模块连接，所述的采集传输模块由设置在每个所述的子箱上方的用于拍摄垃圾图像的摄像装置组成，每个所述的摄像装置分别与所述的控制模块连接，所述的控制模块和所述的云服务器通过无线网络进行通讯，所述的智能垃圾分类系统还包括人机交互界面、众包模块和数据管理模块，所述的人机交互界面能够用于投放者选择垃圾类别、刷卡进行身份验证以及显示垃圾投放相关信息，所述的人机交互界面与所述的控制模块连接，所述的图像识别模块和所述的众包模块均用于对投放垃圾进行分类识别，当投放者垃圾投放分类不准确或者投放垃圾中存在非同类垃圾混装时，所述的控制模块能通过所述的人机交互界面提醒投放者进行重新投放或者重新分类、所述的图像识别模块和所述的众包模块进行垃圾识别的优先级由高到低，所述的众包模块用于在所述的图像识别模块未能成功识别垃圾，投放者通过所述的人机交互界面申请远程协助时，以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查后给出识别结果；所述的数据管理模块与所述的图像识别模块连接，所述的众包模块包括众包审核子模块和众包标注子模块，所述的众包审核子模块与所述的图像识别模块连接，所述的众包标注子模块与所述的数据管理模块连接，所述的众包审核子模块用于以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查给出识别结果，所述的数据管理模块用于收集申请远程协助的投放垃圾图片并发布至所述的众包标注子模块中，所述的众包标注子模块用于将投放垃圾图片作为众包任务分发给具有标注资格的众包标注人员，众包标注人员接受众包任务后，从所述的众包标注子模块中预设的候选标签集合选择相应的标签对投放垃圾图片进行标注，得到附带有标签的图片，即图片标签，并发送给所述的数据管理模块，其中候选标签集合中的各标签分别代表各个垃圾类别，所述的数据管理模块基于投放垃圾图片以及图片标签来构建训练数据集提供给所述的云服务器，用于对所述的图像识别模块进行训练更新，所述的众包标注人员需要在所述的众包标注子模块中进行注册以取得标注资格，注册时需要写明其专业和兴趣，且所述的众包标注人员完成众包任务后生成的图片标签将作为其历史图片标签进行保存，每个众包标注人员的专业、兴趣和其历史图片标签构成其个人信息。
7.构建训练数据集的具体过程为：
8.s1、将已在所述的众包标注子模块中注册且具有历史图片标签的众包标注人员作为当前众包标注人员，统计当前众包标注人员的总数量，将其记为n，计算所有当前众包标注人员中每两个的相似度，将第r个当前众包标注人员与第t个当前众包标注人员之间的相似度记为w
rt
，其中r,t∈{1,2
…
n}，且r≠t，采用公式(1)计算得到w
rt
，
[0009][0010]
其中，n(r)为第r个当前众包标注人员的专业和兴趣的集合，n(t)为第t个当前众包标注人员的专业和兴趣集合，l(r)为第r个当前众包标注人员的历史图片标签中附带的标签的集合，l(t)为第t个当前众包标注人员的历史图片标签中附带的标签的集合，α和β分别为权重参数，取值范围均为[0,1]，符号∩为求两个集合的交集，符号||表示计算集合中元素的个数；
[0011]
s2、对步骤s1得到的所有相似度进行排序，确定值最大的5个相似度，获取这5 个
相似度相关的众包标注人员的历史图片标签对应的图片，采用这些图片构成待推荐图片集result，result中图片总数量记为s；
[0012]
s3、将n个当前众包标注人员中第curr个当前众包标注人员的历史图片标签附带的标签构成的标签集记为l(curr)，curr∈{1,2
…
n}，将第curr个当前众包标注人员与待推荐图片集result中第a幅图片的相似度记为sim
curr,a
，其中a∈{1,2
…
s}，采用公式(2) 计算得到sim
curr,a
：
[0013][0014]
其中，l'(a)是待推荐图片集result中第a幅图片当前被标注的所有标签集合，符号 ||表示计算集合中元素的个数，x表示集合l'(a)与集合l(curr)的交集中的任意标签，∑为求和符号，num(x)是标签x在集合l'(a)中的出现次数，采用待推荐图片集result中相似度高于相似度阈值的图片构成最终推送图片数据集final,n为最终推送图片数据集final中图片的总数量，相似度阈值的取值范围为[0.3,0.5]，众包标注子模块将最终推送图片数据集final中的每一张图片分别推送给k个众包标注人员进行分类标注，k为整数，取值范围为[5,10]；
[0015]
s4、k个众包标注人员分别对其收到的每一张图片进行标注，将此时得到的所有图片的标注结果称为众包数据集d，其中，x
i
表示最终推送图片数据集 final的第i张图片，i∈{1,2
…
n}，y
i
表示x
i
的标签集，由x
i
被k个众包标注人员分别标注后得到的k个标签构成，y
ik
表示第k个众包标注人员对x
i
进行标注的标签，k∈{1,2
…
k}，该标签由第k个众包标注人员在众包标注子模块中预设的候选标签集合{y1,y2,
…
,y
c
}中选定，c表示候选标签集合中标签的总类别，y
j
表示候选标签集合中第j类标签，j∈{1,2
…
c}；
[0016]
s5、统计y
i
中标签的类别数量，将其记为h
i
，然后分别统计y
i
中各类标签出现的次数，将y
i
中每类类标签出现的次数分别除以k，得到y
i
中每类标签的出现频率，将y
i
中第h
i
类标签的出现频率记为f
hi
，h
i
∈{1,2
…
h
i
}，将第i张图片x
i
的标注结果熵记为e
i
， e
i
采用公式(3)计算得到：
[0017][0018]
其中，log为取对数符号；
[0019]
s6、确定最终推送图片数据集final的第i张图片x
i
的标签集y
i
中出现次数最多的标签，将该标签作为最终推送图片数据集final的第i张图片x
i
的过渡标签如果出现次数最多的标签存在两种或者两种以上，则随机选择一种标签作为过渡标签此时，最终推送图片数据集final中的每张图片分别对应一个过渡标签，采用最终推送图片数据集final中的图片及每张图片的过渡标签构建得到众包数据集
[0020]
s7、采用3折交叉验证对众包数据集进行处理，即将众包数据集随机划分为3 份，将三份分别称为第一份数据、第二份数据和第三份数据；采用第一份数据和第二份数据
作为训练数据对使用resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第三份数据中的每张图片进行预测，得到这些图片的预测标签；采用第二份数据和第三份数据作为训练数据对使用resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第一份数据中的每张图片进行预测，得到这些图片的预测标签；采用第一份数据和第三份数据作为训练数据对使用resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第二份数据中的每张图片进行预测，得到这些图片的预测标签；由此得到最终推送图片数据集final中所有图片对应的预测标签，采用最终推送图片数据集 final中所有图片及所有图片对应的预测标签构成众包数据集所有图片对应的预测标签构成众包数据集表示最终推送图片数据集final的第i张图片x
i
的预测标签；
[0021]
s8、将最终推送图片数据集final中每张图片的过渡标签和预测标签分别进行比对，如果某张图片的过度标签和预测标签一致，该图片的标注结果熵小于0.1，则选择该图片作为一幅训练图片，否则将该图片作为不满足条件的数据不选择，将此时得到的训练图片的总数量记为m，采用此时得到的m张训练图片构成训练数据集x'
z
表示m张训练图片中第z张图片，y'
z
为x'
z
对应的过渡标签；
[0022]
s9、采用训练数据集d'对使用resnet34网络构建的分类器进行训练，得到训练后的分类器，然后采用该分类器对最终推送图片数据集final中未被选择的图片进行预测，得到这些图片的预测标签，未被选择的图片及其预测标签构成一组训练数据，然后将训练数据集d'与未被选择的图片及其预测标签构成的训练数据合并，得到最终的训练数据集。
[0023]
与现有技术相比，本发明的优点在于通过设置人机交互界面、众包模块和数据管理模块，人机交互界面能够用于投放者选择垃圾类别、刷卡进行身份验证以及显示垃圾投放相关信息，人机交互界面与控制模块连接，图像识别模块和众包模块均用于对投放垃圾进行分类识别，当投放者垃圾投放分类不准确或者投放垃圾中存在非同类垃圾混装时，控制模块能通过人机交互界面提醒投放者进行重新投放或者重新分类、图像识别模块和众包模块进行垃圾识别的优先级由高到低，众包模块用于在图像识别模块未能成功识别垃圾，投放者通过人机交互界面申请远程协助时，以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查后给出识别结果；数据管理模块与图像识别模块连接，众包模块包括众包审核子模块和众包标注子模块，众包审核子模块与图像识别模块连接，众包标注子模块与数据管理模块连接，众包审核子模块用于以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查给出识别结果，数据管理模块用于收集申请远程协助的投放垃圾图片并发布至众包标注子模块中，众包标注子模块用于将投放垃圾图片作为众包任务分发给具有标注资格的众包标注人员，众包标注人员接受众包任务后，从众包标注子模块中预设的候选标签集合选择相应的标签对投放垃圾图片进行标注，得到附带有标签的图片，即图片标签，并发送给数据管理模块，其中候选标签集合中的各标签分别代表各个垃圾类别，数据管理模块基于投放垃圾图片以及图片标签来构建训练数据集提供给云服务器，用于对图像识别模块进行训练更新，众包标注人员需要在众包标注子模块中进行注册以取得标注资格，注册时需要写明其专业和兴趣，且众包标注人员完成众包任务后生成的图片标签将作为其历史图片标签进行保存，每个众包标注人员的专业、兴趣和其历史图片标签构成其个人信息，由此本发明在图像识别模块不能识别垃圾类
别时，能够通过众包审核方式从外界获取垃圾识别结果，以保证垃圾分类投放的顺利进行，并且能够采用众包标注方式构建训练数据集，从而采用训练数据集对图像识别模块进行更新训练，保证图像识别模块识别准确性。
附图说明
[0024]
图1为本发明的基于众包智能的垃圾分类系统的结构原理框图。
具体实施方式
[0025]
以下结合附图实施例对本发明作进一步详细描述。
[0026]
实施例：如图1所示，一种基于众包智能的垃圾分类系统，包括箱体、控制模块、采集传输模块和云服务器，云服务器上设置有图像识别模块，箱体包括若干个标示有垃圾类别的子箱，每个子箱处分别设置有用于识别是否有垃圾投放的传感器、用于接收投放垃圾的识别位置和在投放垃圾分类正确时用于将垃圾拨入子箱内的拨料装置，每个传感器和每个拨料装置分别与控制模块连接，采集传输模块由设置在每个子箱上方的用于拍摄垃圾图像的摄像装置组成，每个摄像装置分别与控制模块连接，控制模块和云服务器通过无线网络进行通讯，智能垃圾分类系统还包括人机交互界面、众包模块和数据管理模块，人机交互界面能够用于投放者选择垃圾类别、刷卡进行身份验证以及显示垃圾投放相关信息，人机交互界面与控制模块连接，图像识别模块和众包模块均用于对投放垃圾进行分类识别，当投放者垃圾投放分类不准确或者投放垃圾中存在非同类垃圾混装时，控制模块能通过人机交互界面提醒投放者进行重新投放或者重新分类、图像识别模块和众包模块进行垃圾识别的优先级由高到低，众包模块用于在图像识别模块未能成功识别垃圾，投放者通过人机交互界面申请远程协助时，以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查后给出识别结果；数据管理模块与图像识别模块连接，众包模块包括众包审核子模块和众包标注子模块，众包审核子模块与图像识别模块连接，众包标注子模块与数据管理模块连接，众包审核子模块用于以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查给出识别结果，数据管理模块用于收集申请远程协助的投放垃圾图片并发布至众包标注子模块中，众包标注子模块用于将投放垃圾图片作为众包任务分发给具有标注资格的众包标注人员，众包标注人员接受众包任务后，从众包标注子模块中预设的候选标签集合选择相应的标签对投放垃圾图片进行标注，得到附带有标签的图片，即图片标签，并发送给数据管理模块，其中候选标签集合中的各标签分别代表各个垃圾类别，数据管理模块基于投放垃圾图片以及图片标签来构建训练数据集提供给云服务器，用于对图像识别模块进行训练更新，众包标注人员需要在众包标注子模块中进行注册以取得标注资格，注册时需要写明其专业和兴趣，且众包标注人员完成众包任务后生成的图片标签将作为其历史图片标签进行保存，每个众包标注人员的专业、兴趣和其历史图片标签构成其个人信息。
[0027]
本实施例中，构建训练数据集的具体过程为：
[0028]
s1、将已在众包标注子模块中注册且具有历史图片标签的众包标注人员作为当前众包标注人员，统计当前众包标注人员的总数量，将其记为n，计算所有当前众包标注人员中每两个的相似度，将第r个当前众包标注人员与第t个当前众包标注人员之间的相似度记
为w
rt
，其中r,t∈{1,2
…
n}，且r≠t，采用公式(1)计算得到w
rt
，
[0029][0030]
其中，n(r)为第r个当前众包标注人员的专业和兴趣的集合，n(t)为第t个当前众包标注人员的专业和兴趣集合，l(r)为第r个当前众包标注人员的历史图片标签中附带的标签的集合，l(t)为第t个当前众包标注人员的历史图片标签中附带的标签的集合，α和β分别为权重参数，取值范围均为[0,1]，符号∩为求两个集合的交集，符号||表示计算集合中元素的个数；
[0031]
s2、对步骤s1得到的所有相似度进行排序，确定值最大的5个相似度，获取这5 个相似度相关的众包标注人员的历史图片标签对应的图片，采用这些图片构成待推荐图片集result，result中图片总数量记为s；
[0032]
s3、将n个当前众包标注人员中第curr个当前众包标注人员的历史图片标签附带的标签构成的标签集记为l(curr)，curr∈{1,2
…
n}，将第curr个当前众包标注人员与待推荐图片集result中第a幅图片的相似度记为sim
curr,a
，其中a∈{1,2
…
s}，采用公式(2) 计算得到sim
curr,a
：
[0033][0034]
其中，l'(a)是待推荐图片集result中第a幅图片当前被标注的所有标签集合，符号||表示计算集合中元素的个数，x表示集合l'(a)与集合l(curr)的交集中的任意标签，∑为求和符号，num(x)是标签x在集合l'(a)中的出现次数，采用待推荐图片集result中相似度高于相似度阈值的图片构成最终推送图片数据集final,n为最终推送图片数据集final中图片的总数量，相似度阈值的取值范围为[0.3,0.5]，众包标注子模块将最终推送图片数据集final中的每一张图片分别推送给k个众包标注人员进行分类标注，k为整数，取值范围为[5,10]；
[0035]
s4、k个众包标注人员分别对其收到的每一张图片进行标注，将此时得到的所有图片的标注结果称为众包数据集d，其中，x
i
表示最终推送图片数据集 final的第i张图片，i∈{1,2
…
n}，y
i
表示x
i
的标签集，由x
i
被k个众包标注人员分别标注后得到的k个标签构成，y
ik
表示第k个众包标注人员对x
i
进行标注的标签，k∈{1,2
…
k}，该标签由第k个众包标注人员在众包标注子模块中预设的候选标签集合{y1,y2,
…
,y
c
}中选定，c表示候选标签集合中标签的总类别，y
j
表示候选标签集合中第j类标签，j∈{1,2
…
c}；
[0036]
s5、统计y
i
中标签的类别数量，将其记为h
i
，然后分别统计y
i
中各类标签出现的次数，将y
i
中每类类标签出现的次数分别除以k，得到y
i
中每类标签的出现频率，将y
i
中第h
i
类标签的出现频率记为h
i
∈{1,2
…
h
i
}，将第i张图片x
i
的标注结果熵记为e
i
， e
i
采用公式(3)计算得到：
[0037][0038]
其中，log为取对数符号；
[0039]
s6、确定最终推送图片数据集final的第i张图片x
i
的标签集y
i
中出现次数最多的标签，将该标签作为最终推送图片数据集final的第i张图片x
i
的过渡标签如果出现次数最多的标签存在两种或者两种以上，则随机选择一种标签作为过渡标签此时，最终推送图片数据集final中的每张图片分别对应一个过渡标签，采用最终推送图片数据集final中的图片及每张图片的过渡标签构建得到众包数据集
[0040]
s7、采用3折交叉验证对众包数据集进行处理，即将众包数据集随机划分为3 份，将三份分别称为第一份数据、第二份数据和第三份数据；采用第一份数据和第二份数据作为训练数据对使用resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第三份数据中的每张图片进行预测，得到这些图片的预测标签；采用第二份数据和第三份数据作为训练数据对使用resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第一份数据中的每张图片进行预测，得到这些图片的预测标签；采用第一份数据和第三份数据作为训练数据对使用resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第二份数据中的每张图片进行预测，得到这些图片的预测标签；由此得到最终推送图片数据集final中所有图片对应的预测标签，采用最终推送图片数据集 final中所有图片及所有图片对应的预测标签构成众包数据集成众包数据集表示最终推送图片数据集final的第i张图片x
i
的预测标签；
[0041]
s8、将最终推送图片数据集final中每张图片的过渡标签和预测标签分别进行比对，如果某张图片的过度标签和预测标签一致，且该图片的标注结果熵小于0.1，则选择该图片作为一幅训练图片，否则将该图片作为不满足条件的数据不选择，将此时得到的训练图片的总数量记为m，采用此时得到的m张训练图片构成训练数据集x'
z
表示m张训练图片中第z张图片，y'
z
为x'
z
对应的过渡标签；
[0042]
s9、采用训练数据集d'对使用resnet34网络构建的分类器进行训练，得到训练后的分类器，然后采用该分类器对最终推送图片数据集final中未被选择的图片进行预测，得到这些图片的预测标签，未被选择的图片及其预测标签构成一组训练数据，然后将训练数据集d'与未被选择的图片及其预测标签构成的训练数据合并，得到最终的训练数据集。