本发明涉及图像识别领域，尤其是一种基于图像识别的货架促销信息识别方法、装置和系统。
背景技术
快消品企业对获取线下各终端销售渠道的促销信息统计的需求一直非常迫切，需要定期对线下各渠道进行门店拜访，并采集商品的促销信息，以了解促销策略在渠道终端是否执行到位，对企业的促销策略以及市场管理的决策意义重大。
品牌商要了解其商品在各大商场超市货架上促销信息的情况，需要安排专门的销售代表或职员到指定的商场超市对摆放其商品的货架进行促销信息采集、进行统计并将统计结果反馈到公司，目前的解决方法有如下两种：
1、销售代表或相关职员在货架前进行人工统计促销信息，即在现场人工采集促销信息挂牌、促销贴纸的文字信息等，工作完成后将信息统计汇总并上交；
2、销售代表或相关职员在货架前拍照采集其相关的促销信息照片，采集完成后在图片中记录所需统计的相关促销信息等，工作完成后将信息统计汇总并上交。
现有方案中通常需要花费大量人力来实现核计工作，工作效率低，质量因人而异，难以统一把控，而且局限于人力成本，往往只能抽样采集部分数据，在数据完整性上难以满足大量数据分析的要求。而现有技术中，例如一种基于图像识别技术的货架识别方法(cn107045641a)，其仅仅提供货架整体信息的识别方法，难以针对促销信息的特点进行准确地识别。
技术实现要素：
为了解决上述技术问题，本发明的目的是：提供一种基于图像识别技术的实现提取货架促销信息进行识别的方法。
为了解决上述技术问题，本发明的另一目的是：提供一种基于图像识别技术的实现提取货架促销信息进行识别的装置。
为了解决上述技术问题，本发明的另一目的是：提供一种基于图像识别技术的实现提取货架促销信息进行识别的系统。
本发明所采用的技术方案是：一种基于图像识别的货架促销信息识别方法，包括有以下步骤：
采用摄像头进行360度摄像采集货架图片作为训练图片集；
获取训练图片集中图片的标注信息，所述标注信息包括有促销标识位置标注信息和文本行标注信息；
获取用于文本识别模型训练的训练文本；
将训练图片集和训练文本输入至训练机，进行促销标识检测训练、文本行检测训练和文本识别模型训练，得到具备促销标识识别能力、文本行识别能力和文本识别能力的识别引擎；
采集货架图片作为测试图片集并对其进行测试图片集图片数据预处理；
将图片数据预处理后的测试图片集输入至识别引擎进行识别得到促销信息。
进一步，所述促销标识检测训练的具体步骤为：
根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备促销标识识别能力的促销标识识别模型。
进一步，所述文本行检测训练的具体步骤为：
根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备文本行识别能力的文本行识别模型。
进一步，所述文本识别模型训练的具体步骤为：
基于训练文本生成带有文字标注信息和数字标注信息的训练文本集，然后使用训练文本集对基于attension机制的cnn-lstm网络进行训练，从而得到具备文本识别能力的文本识别模型。
本发明所采用的另一技术方案是：一种基于图像识别的货架促销信息识别装置，包括有：
图像采集模块，用于采用摄像头进行360度摄像采集货架图片作为训练图片集或测试图片集；
标注模块，用于获取训练图片集中图片的标注信息，所述标注信息包括有促销标识位置标注信息和文本行标注信息；
文本采集模块，用于获取用于文本识别模型训练的训练文本；
训练模块，用于将训练图片集和训练文本输入至训练机，进行促销标识检测训练、文本行检测训练和文本识别模型训练，得到具备促销标识识别能力、文本行识别能力和文本识别能力的识别引擎；
预处理模块，用于对测试图片集进行图片数据预处理；
识别引擎，用于对图片数据预处理后的测试图片集进行识别得到促销信息。
进一步，所述识别引擎包括有促销标识识别模型、文本行识别模型和文本识别模型。
进一步，所述训练模块包括有促销标识检测训练子模块，用于根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备促销标识识别能力的促销标识识别模型。
进一步，所述训练模块包括有文本行检测训练子模块，用于根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备文本行识别能力的文本行识别模型。
进一步，所述训练模块包括有文本识别模型训练子模块，用于基于训练文本生成带有文字标注信息和数字标注信息的训练文本集，然后使用训练文本集对基于attension机制的cnn-lstm网络进行训练，从而得到具备文本识别能力的文本识别模型。
本发明所采用的另一技术方案是：一种基于图像识别的货架促销信息识别系统，包括有：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述的一种基于图像识别的货架促销信息识别方法。
本发明的有益效果为：本发明中通过对训练模型输入训练图片集进行训练，得到具备识别促销信息能力的识别引擎，只需要获取人工标注信息即可自动完成促销信息的识别，识别速度快、准确率高，能获取完整的促销信息数据，利于后续的数据统计分析和决策，提高工作效率。
附图说明
图1为本发明方法的步骤流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
参照图1，一种基于图像识别的货架促销信息识别方法，包括有以下步骤：
采用摄像头进行360度摄像采集货架图片作为训练图片集；利用高清摄像头和旋转底座装置，全天候自动采集货架图像；
获取训练图片集中图片的标注信息，所述标注信息包括有促销标识位置标注信息和文本行标注信息；
所述标注信息可通过标注软件系统实现：由管理员将包含促销标识的货架图片集上传并指派任务，标注人员在个人任务列表中进入标注界面，把图片中促销标识的位置用方框标注；由管理员将切割下的促销标识图片集上传并指派任务，标注人员在个人任务列表中对图片中的每个文本行用方框标注。标注完成结果提交后系统评估正确率，管理员根据正确率决定标注人员是否需要重新标注，保证了本方法上述步骤中获取训练图片集中图片的标注信息的准确性；
该软件系统可使用员工账号登录，采用pc客户端或移动客户端的形式，系统根据手机定位确定工作人员所在位置(gps防伪)，工作人员对货架拍照并上传现拍照片(图片防伪)，系统在云端快速地进行货架核查工作、生成报告，并将报告同步到企业管理人员的app端中，企业管理人员可对图片进行信息复查；
获取用于文本识别模型训练的训练文本；
训练文本的来源可有多种，例如使用爬虫将微博或其他社交网络上的文字文本信息进行爬取，然后根据爬取的文本信息以及所需图片尺寸、字体等要求，使用类验证码生成方式生成对应文本图片，构成训练文本；
将训练图片集和训练文本输入至训练机，进行促销标识检测训练、文本行检测训练和文本识别模型训练，得到具备促销标识识别能力、文本行识别能力和文本识别能力的识别引擎；
采集货架图片作为测试图片集并对其进行测试图片集图片数据预处理；
将图片数据预处理后的测试图片集输入至识别引擎进行识别得到促销信息；所述识别引擎在经过训练后已具备检测识别优惠信息标识的功能，将货架图片放到识别引擎后，引擎首先把货架上所有的促销标识通过促销标识检测网络逐个框出，再根据框中的图片信息通过文本行检测网络检测出每一行文本的位置，最后对每一行文本图片通过文本识别模型进行识别，提取出所有的优惠信息，并生成相应的数据或报告；
本发明中通过对训练模型输入训练图片集进行训练，得到具备识别促销信息能力的识别引擎，只需要获取人工标注信息即可自动完成促销信息的识别，识别速度快、准确率高，能获取完整的促销信息数据，利于后续的数据统计分析和决策，提高工作效率。
进一步作为优选的实施方式，所述促销标识检测训练的具体步骤为：
根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备促销标识识别能力的促销标识识别模型；
货架识别主要用到目标检测的方法，获取带标注的数据，用作只有一类对象的训练集并对rfcn检测识别网络进行训练，训练出可以将促销标识从货架图片中检测出来的模型，促销标识检测作为后续步骤的基础。
进一步作为优选的实施方式，所述文本行检测训练的具体步骤为：
根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备文本行识别能力的文本行识别模型。
进一步作为优选的实施方式，所述文本识别模型训练的具体步骤为：
基于训练文本生成带有文字标注信息和数字标注信息的训练文本集，然后使用训练文本集对基于attension机制的cnn-lstm网络进行训练，从而得到具备文本识别能力的文本识别模型；
针对促销信息采用基于attension机制的cnn-lstm网络进行训练，有效提升网络的鲁棒性，具备识别不定长文本信息的文本图片的能力；避免了现有的文本识别网络中在针对促销信息进行识别时，只能将定长的文本图片进行识别的缺点。
对应上述一种基于图像识别的货架促销信息识别方法，本发明还提供一种基于图像识别的货架促销信息识别装置，包括有：
图像采集模块，用于采用摄像头进行360度摄像采集货架图片作为训练图片集或测试图片集；
标注模块，用于获取训练图片集中图片的标注信息，所述标注信息包括有促销标识位置标注信息和文本行标注信息；
文本采集模块，用于获取用于文本识别模型训练的训练文本；
训练模块，用于将训练图片集和训练文本输入至训练机，进行促销标识检测训练、文本行检测训练和文本识别模型训练，得到具备促销标识识别能力、文本行识别能力和文本识别能力的识别引擎；
预处理模块，用于对测试图片集进行图片数据预处理；
识别引擎，用于对图片数据预处理后的测试图片集进行识别得到促销信息。
进一步作为优选的实施方式，所述识别引擎包括有促销标识识别模型、文本行识别模型和文本识别模型。
进一步作为优选的实施方式，所述训练模块包括有促销标识检测训练子模块，用于根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备促销标识识别能力的促销标识识别模型。
进一步作为优选的实施方式，所述训练模块包括有文本行检测训练子模块，用于根据训练图片集中的图片以及标注信息对rfcn检测识别网络进行训练，从而得到具备文本行识别能力的文本行识别模型。
进一步作为优选的实施方式，所述训练模块包括有文本识别模型训练子模块，用于基于训练文本生成带有文字标注信息和数字标注信息的训练文本集，然后使用训练文本集对基于attension机制的cnn-lstm网络进行训练，从而得到具备文本识别能力的文本识别模型。
对应上述一种基于图像识别的货架促销信息识别方法，本发明还提供一种基于图像识别的货架促销信息识别系统，包括有：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述的一种基于图像识别的货架促销信息识别方法。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。