本发明涉及一种基于深度学习的商品图像标注方法及其装置,属于图像识别领域。
背景技术:
当今深度学习技术掀起了ai(人工智能)的新浪潮。广泛用于医学、图像处理、语音识别、机器翻译等领域。深度学习的提出使得人工神经网络重新成为机器学习最重要的算法之一,在传统的人工神经网络训练中增加了一个预训练阶段,即用无监督学习对每一层网络进行一次专门的训练,然后才用有监督学习对整个网络进行总体训练,也就是说计算机通过深度神经网络,模拟人脑的机制来学习、判断、决策。通过深度学习方法,人工神经网络的效果一举赶上甚至显著超过了支持向量机等其他机器学习方法。近年来,在ibm、谷歌、微软、科大讯飞、百度等公司很多工业级图像和语音处理应用上取得了非常好的效果。
在深度学习的初始训练中,往往需要大量的数据,以提高对图像中物品的识别准确性。而这些用于初始训练的数据,往往需要经过人工识别,并对图像进行标注,才能保证后续训练过程中的准确性。在无人值守商铺运营中,为了更好的让机器识别出图像中所含商品的种类,需要建立含有大量商品图像的初始训练数据库。而这一过程需要大量的人力、时间去标注图像中的商品信息(商品信息包括商品的种类以及商品在图像中的位置)。这一繁琐的过程增加了无人值守商铺的使用成本,增加了无人值守店铺的推广。
技术实现要素:
根据本发明的一个方面,提供了一种基于深度学习的商品图像标注方法,该方法能提高对商品图像的标注效率,减少人工的投入,降低成本。
包括以下步骤:
步骤s10:对原始训练数据库采用深度学习方法训练神经网络模型,得到商品标注模型;
步骤s20:通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置,得到批注数据库;
步骤s30:将批注数据库加入原始训练数据库中,重复步骤s10,得到标注模型,采用标注模型对待批注商品图像进行批注。
优选地,还包括以下步骤:
步骤s40:在原始待批注图像中增加i种商品的图像重复步骤s10,得到其他种类商品标注模型,其中i=2~n;
步骤s50:i取i+1后,重复步骤s40,得到n个第i类商品批注模型,由n个第i类商品批注模型构建得到商品自动批注模型,用商品自动批注模型对待批注商品图像进行批注。
优选地,原始训练数据库的获取包括以下步骤:
步骤s11:通过商品图像采集装置获取商品的训练图像;
步骤s12:人工标注训练图像中的商品种类以及图中位置;
步骤s13:将训练图像、图中商品种类及图中位置一一对应的映射关系,存储在训练数据库中。
优选地,商品图像采集装置包括摄像头、底座和转盘,转盘转动安装于底座的顶面上,待批注商品设置于转盘上,摄像头拍摄转盘设置。
优选地,摄像头包括第一摄像头和第二摄像头,第一摄像头和第二摄像头成锐角分列于转台两侧。
根据本发明的又一个方面,提供了基于深度学习的商品图像标注装置,包括:
原始训练模块,用于对原始训练数据库采用深度学习方法训练神经网络模型,得到商品标注模型;
初次批注模块,用于通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置,得到批注数据库;
批注模块,用于将批注数据库加入原始训练数据库中,返回原始训练模块,得到标注模型,采用标注模型对待批注商品图像进行批注。
优选地,还包括:
增图模块,用于在原始待批注图像中增加i种商品的图像后,返回原始训练模块,得到其他种类商品标注模型,其中i=2~n;
重复模块,用于i取i+1后,返回增图模块,得到n个第i类商品批注模型,由n个第i类商品批注模型构建得到商品自动批注模型,用商品自动批注模型对待批注商品图像进行批注。
优选地,原始训练模块包括:
图像获取模块,用于通过商品图像采集装置获取商品的训练图像;
人工标注模块,用于人工标注训练图像中的商品种类以及图中位置;
储存模块,用于将训练图像、图中商品种类及图中位置一一对应的映射关系,存储在训练数据库中。
优选地,商品图像采集装置包括摄像头、底座和转盘,转盘转动安装于底座的顶面上,待批注商品设置于转盘上,摄像头拍摄转盘设置。
优选地,摄像头包括第一摄像头和第二摄像头,第一摄像头和第二摄像头成锐角分列于转台两侧。
本发明能产生的有益效果包括:
1)本发明所提供的基于深度学习的商品图像标注方法,通过深度学习方法对神经网络进行训练,提高了所得模型对商品图像中商品种类和位置的准确辨识,减少了人工投入,提高识别效率。能更好地运营无人零售超市,扩充无人超市的商品种类,更有效的为顾客提供消费服务。
2)本发明所提供的基于深度学习的商品图像标注装置,能快速获取大量商品的批注模型,减少人工投入,提高识别效率,缩短识别所需时间。能更好地运营无人零售超市,扩充无人超市的商品种类,更有效的为顾客提供消费服务。
附图说明
图1为本发明提供的基于深度学习的商品图像标注方法流程示意框图;
图2为本发明优选实施例中提供的商品图像采集装置示意图;
图3为本发明提供的基于深度学习的商品图像标注装置示意图;
部件和附图标记列表:
具体实施方式
下面结合实施例详述本发明,但本发明并不局限于这些实施例。
参见图1,本发明提供的基于深度学习的商品图像标注方法,包括以下步骤:
步骤s10:对原始训练数据库采用深度学习方法训练神经网络模型,得到商品标注模型;
步骤s20:通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置,得到批注数据库;
步骤s30:将批注数据库加入原始训练数据库中,重复步骤s10,得到标注模型,采用标注模型对待批注商品图像进行批注。
利用已自动标注的大批量商品图像作为训练数据集,通过深度学习,能不断的将批注后所得结果返回训练阶段,作为训练数据库使用,通过学习初次商品标注模型所得结果,降低神经网络模型在后续识别过程中出错的可能。随着程序的进行,不断提高准确度。采用该方法能减少人工投入,提高批注效率。批注效率的提高有利于大面积推广无人值守的各类店铺。标注模型用于识别商品图像时,识别效果较高。原始训练数据库的获取可以为商业购买。
优选的,该方法还包括以下步骤:
步骤s40:在原始待批注图像中增加i种商品的图像重复步骤s10,得到其他种类商品标注模型,其中i=2~n,n为自然整数;
步骤s50:i取i+1后,重复步骤s40,得到n个第i类商品批注模型,由n个第i类商品批注模型构建得到商品自动批注模型,用商品自动批注模型对待批注商品图像进行批注。
此处的i的取值可以根据所要处理的商品种类进行设定。通过多次循环构建能识别i中商品图像的数据库。将人工从标注商品图像中彻底解放出来。随着循环不断的进行,能提高模型结果的准确性。优选的i≤20。每次增加的商品种类较少,有利于防止批注结果差别较大问题的出现。
具体的,通过不断的增加一个个小批量的商品种类,利用上述的步骤,训练其他种类商品标注模型来自动标注大批量的商品图像,再不断的提升该其他种类商品标注模型的识别检测精度。这样不断的增加一个小批量的商品种类,结合训练的多个网络模型,达到全自动识别标注商品图像的目标。既提高了工作效率也降低成本。
优选的,原始训练数据库的获取包括以下步骤:
步骤s11:通过商品图像采集装置获取商品的训练图像;
步骤s12:人工标注训练图像中的商品种类以及图中位置;
步骤s13:将训练图像、图中商品种类及图中位置一一对应的映射关系,存储在训练数据库中。
具体的:人工标注i个(例如20类商品)的商品图像(标注信息包括商品的种类以及商品在图像中的位置)。此处商品的种类和品牌为一一对应关系。也可以根据需要批注同一种商品的多个品牌。由于不同品牌的同种商品存在外观上的较大差别,为了提高标注准确度,优选从铺货、标注到标注,同一种商品只采用同一品牌。
优选的,参见图2,商品图像采集装置包括摄像头、底座12和转盘11。底座12的底面固定设置于台面上。转盘11转动安装于底座12的顶面上。待拍摄的商品放置于转盘11表面上。摄像头朝向转盘11拍摄设置。
优选的,摄像头包括第一摄像头21和第二摄像头22,第一摄像头21和第二摄像头22成锐角分列于转台两侧。按此设置能保证对待批注商品图像的完整获得。使用时,转盘11每转动一个角度(例如45°),第一、第二摄像头22、22分别抓拍一张图像。从而获得商品各个角度的清晰图像。例如每次拍摄后,转台转过45°,则转盘11旋转一周后,两个摄像头总共抓拍16张商品图像。
优选的,第一摄像头21和第二摄像头22与显示器相连接,获取多个图像后集齐后作为原始训练数据库或其他数据库均可。
使用时,打开软件,设置好商品图像采集系统中网络摄像头的ip及端口,连接摄像头,在软件页面显示出摄像头的实时图像;然后通过摄像头抓取商品图像采集系统转台上的商品图像,获取不同角度的商品图像;之后将每张商品图像通过预先训练的神经网络,标注出商品的种类以及位置信息,从而实现商品的自动标注。
参见图3,本发明的另一方面还提供了一种基于深度学习的商品图像标注方法装置,包括
原始训练模块100,用于对原始训练数据库采用深度学习方法训练神经网络模型,得到商品标注模型;
初次批注模块200,用于通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置,得到批注数据库;
批注模块300,用于将批注数据库加入原始训练数据库中,返回原始训练模块100,得到标注模型,采用标注模型对待批注商品图像进行批注。
优选地,还包括:
增图模块,用于在原始待批注图像中增加i种商品的图像后,返回原始训练模块100,得到其他种类商品标注模型,其中i=2~n;
重复模块,用于i取i+1后,返回增图模块,得到n个第i类商品批注模型,由n个第i类商品批注模型构建得到商品自动批注模型,用商品自动批注模型对待批注商品图像进行批注。
优选地,原始训练模块100包括:
图像获取模块,用于通过商品图像采集装置获取商品的训练图像;
人工标注模块,用于人工标注训练图像中的商品种类以及图中位置;
储存模块,用于将训练图像、图中商品种类及图中位置一一对应的映射关系,存储在训练数据库中。
优选地,商品图像采集装置包括摄像头、底座12和转盘11,转盘11转动安装于底座12的顶面上,待批注商品设置于转盘11上,摄像头拍摄转盘11设置。
优选地,摄像头包括第一摄像头21和第二摄像头22,第一摄像头21和第二摄像头22成锐角分列于转台两侧。
不断的增加一个个不同种类的小批量商品,最终实现全自动识别标注商品图像的目的。
以上,仅是本发明的几个实施例,并非对本发明做任何形式的限制,虽然本发明以较佳实施例揭示如上,然而并非用以限制本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案的范围内,利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例,均属于技术方案范围内。