一种应用于个体商贩的商品出入库管理系统及方法

1.本发明属于物联网技术和人工智能技术领域。


背景技术：

2.目前针对于流动商贩的商品进出库，往往还是依靠于人工记账，在客流高峰时，经营者难免分身乏术，无法对销售情况进行人工记录，这样就使得商贩无法对一天的销售情况进行统计，影响了商家的进一步决策。而现有的商品管理系统大多应用于超市或无人贩卖机，且这些商品管理系统并不便携化、还没有云通信的功能，因此无法满足人们随时随地使用商品管理系统进行摊位的系统初始化与管理等需求。
3.同时，由于流动商贩所销售的大多数是价格较低的商品，而传统的商品管理系统过于昂贵，难以应用。并且现有商品管理系统不便于用户随时查看与修改自己的摆摊状况，无法帮助用户及时准确的了解自己摊位的营收状况。


技术实现要素：

4.本发明是为了解决现有商品管理系统不便携、没有运动通信功能、且不适用于流动商贩使用的问题，现提供一种应用于个体商贩的商品出入库管理系统及方法。
5.一种应用于个体商贩的商品出入库管理系统，包括：用于采集商品图像的采集单元，用于对商品图像进行识别，并对识别结果进行非极大值抑制，获得商品种类和数量的识别单元，用于将商品种类和数量录入数据库进行保存的管理单元。
6.进一步的，上述识别单元内嵌有利用yolo算法训练好的卷积神经网络，该卷积神经网络的输入为商品图像，输出为商品类别概率值。
7.进一步的，上述一种应用于个体商贩的商品出入库管理系统还包括用于对商品图像进行滤波、然后将滤波后的商品图像发送至识别单元的预处理单元。
8.进一步的，上述一种应用于个体商贩的商品出入库管理系统还包括用于将商品种类和数量显示出来的展示单元。
9.进一步的，上述一种应用于个体商贩的商品出入库管理系统还包括用于采集商品重量、并将商品重量发送至管理单元的扩展单元，展示单元将商品重量进行保存。
10.一种应用于个体商贩的商品出入库管理方法，包括以下步骤：首先，采集商品图像，然后，对商品图像进行识别，并对识别结果进行非极大值抑制，获得商品种类和数量，最后，将商品种类和数量录入数据库进行保存。
11.进一步的，上述对商品图像进行识别时，利用yolo算法训练卷积神经网络，该卷积神经网络的输入为商品图像，输出为商品类别概率值。
12.进一步的，上述采集商品图像之后，对商品图像进行滤波、然后再对商品进行识别。
13.进一步的，在上述所有步骤之后，将商品种类和数量通过手机显示出来。
14.进一步的，上述采集商品图像的同时，还采集商品重量，并将商品重量录入数据库
进行保存。
15.本发明所述的一种应用于个体商贩的商品出入库管理系统及方法，不需要一般商场里的条形码进行统计，而是改用商品图像进行记录，能够替代人工实现摆摊商品的入库与结算，同时能够使用微信小程序查询一天的交易结果，这样既减轻了摆摊者的负担，也提高了工作的效率。
附图说明
16.图1为一种应用于个体商贩的商品出入库管理系统的整体框图；
17.图2为具体实施方式一所述硬件采集系统的框图；
18.图3为硬件采集系统与微信小程序之间的结构关系框图；
19.图4为一种应用于个体商贩的商品出入库管理方法的流程图。
具体实施方式
20.具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种应用于个体商贩的商品出入库管理系统，包括：硬件采集系统和云服务器。
21.硬件采集系统基于stm32开发板，其内部嵌有用于采集商品图像的采集单元，用于对商品图像进行滤波、然后将滤波后的商品图像发送至识别单元的预处理单元，用于对商品图像进行识别，并对识别结果进行非极大值抑制，获得商品种类和数量的识别单元，以及用于将商品种类和数量显示出来的展示单元。其中采集单元为摄像头，识别单元为主控芯片，展示单元为触摸屏。还包括用于与云服务器进行通信的wifi模块。
22.识别单元内嵌有利用yolo算法训练好的卷积神经网络，基于深度学习的yolo
‑
v3能够减少重叠识别、提高检测速度，该算法因其快速和准确而近年来被广泛使用。为了提高分类的精度，本实施方式相比较于原有的yolov3对原有的卷积层进行了优化，将原作者论文中卷积层采用的leaky relu函数用dynamic relu函数代替，以较小的运算代价换取了更好的商品分类效果。
23.具体的，yolo算法利用卷积神经网络将输入的商品图片分割成s
×
s阵列形势的单元格，然后每个单元格负责去检测那些中心点落在该单元格内的目标，每个单元格会预测b个边界框(bounding box)以及边界框的置信度(confidence score)。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小pr(object)，当该边界框是背景时(即不包含目标)，此时pr(object)＝0，当该边界框包含目标时，pr(object)＝1。二是这个边界框的准确度，可以用预测框与实际框(ground truth)的iou(intersection over union，交并比)来表征，记为iou。因此边界框的置信度可以定义为pr(object)*iou。边界框的大小与位置可以用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。而每个边界框的预测值实际上包含5个元素：(x,y,w,h,c)，最后一个值c为该边界框的置信度。
24.针对于分类问题，对于每一个单元格要给出预测出的c个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率。但是这些概率值其实是在各个边界框置信度下的条件概率，即pr(class|object)。边界框类别置信度表征的是该边界框中目标属于各个类别的可能性大小及边界框匹配目标的好坏。
25.综上所述，卷积神经网络的输入为商品图像，输出为商品类别概率值。因此，在对识别结果进行非极大值抑制之后，就能够获得商品种类。
26.卷积神经网络为darknet
‑
53网络，其框架如下表所示：
[0027][0028][0029]
进一步的，在实际操作时还能够扩展用于采集商品重量、并将商品重量发送至管理单元的扩展单元，展示单元将商品重量进行保存。该部分不仅能够按商品件数进行出入
库管理，对于水果蔬菜等称重商品也能进行管理。
[0030]
用户后台管理方面，在云服务器端设有用于将商品种类和数量录入数据库进行保存的管理单元。如图3所示，本实施方式利用微信小程序实现了用户管理的界面，实现了每天的物品出售和库存情况的统计，如商品的数量或重量的增减。具体的，云服务器采用阿里云服务器。使用的系统centos7，java运行环境为jdk1.8，使用的数据库为mysql 8.0.11版本。使用springboot框架以及mybatis框架的jar包部署在服务器上，使用shell脚本运行jar包。
[0031]
具体的，如图2所示，硬件采集系统采用了stm32f429igt6作为主控芯片。通过使用stm32f429igt6，实现了针对基于gt9157触控芯片的电容触摸屏的应用开发，通过f429自带的ltdc液晶控制器，实现从主控芯片的输出数据的显示。同时通过gt9157的芯片应用，实现了对触摸屏的控制，实现了用户与机器的人机交互功能。针对摄像功能，采用了ov2640模块，实现了图像的采集、屏幕显示(rgb565模式)以及拍照(使用jpeg模式)的功能，最大可输出200w像素(分辨率1600x1200)的图像。针对wifi传输的需求，选择了esp8266，该模块的特点是其固件本身已经实现了简易的tcp/ip协议以及udp协议等传输协议，基于此设备，可以实现与云服务器的数据传输与通信的功能。
[0032]
摄像头采用rgb565模式，以供主控芯片采集图像数据并显示到液晶屏；拍照上传时采用jpeg模式，保证图片数据的压缩，以减少上传和服务器端处理的压力。对于屏幕显示摄像头数据，因为stm32f429芯片自带有dcmi接口，因此首先需要将芯片的dcmi接口时钟使能。然后向ov2640写入寄存器配置，在使用过程中更改摄像的输出图片模式也是通过重新向寄存器写入配置实现的，写入寄存器的时序时sccb时序，该时序与iic时序非常接近。之后初始化dcmi接口，包括设置传输模式、行同步、场同步等参数。最后初始化dma，用于搬运dcmi的数据到显存空间进行显示。这样就完成了屏幕的摄像头数据显示。对于传输jpeg数据，首先设置dcmi接口时钟使能，然后写入的寄存器配置应是jpeg输出的相应配置，之后配置dcmi接口时，对于传输模式可以设置为拍照模式，以获得更好的成像效果，最后通过uart传输从ov2640获得的图像数据。
[0033]
本实施方式利用stm32作为硬件平台的主控芯片实现数据的采集、计算与通信的功能，通过ov2640数字摄像头实现商品图片数据的采集，通过esp8266模块实现与云服务器的tcp/ip通信以完成图片数据的传输与命令帧的发送与接收。在软件平台上，通过设计服务器数据库与小程序，实现了用户在手机端即可管理自己的流动摊位记录的目标。商品识别上，使用基于深度学习的yolo
‑
v3算法，完成了商品的种类与数量的识别。本发明在图片拍摄结果较好的环境下，可较好地实现了预期的商品入库、结算与小程序后台管理的功能。相比较于传统的商品出入库等信息管理系统来说，由于流动摊位所出售的商品大多没有超市所售商品的条形码等信息，人工粘贴条形码又费时费力，本实施方式能够针对于流动商贩所售商品给的特点，进行有效的商品进出库管理。
[0034]
具体实施方式二：参照图4具体说明本实施方式，本实施方式所述的一种应用于个体商贩的商品出入库管理方法，包括以下步骤：
[0035]
采集商品图像，采集商品重量。
[0036]
对商品图像进行滤波预处理，获得预处理之后的商品图像。
[0037]
对预处理之后的商品图像送入利用yolo算法训练好的卷积神经网络进行识别，所
述卷积神经网络为darknet
‑
53网络。
[0038]
对识别结果进行非极大值抑制，获得商品图像中的商品种类和数量。
[0039]
将商品重量、种类和数量录入mysql数据库进行保存。
[0040]
将商品重量、种类和数量通过手机显示出来。
[0041]
本实施方式中，手机中嵌有微信小程序，程序的售页面内容包含了正在出售物品的种类、图片信息、售价以及库存(库存可以用商品数量和重量来体现)。统计页面是用于每日的售卖统计，当摆摊结束时，可以清楚的查看当日的销售情况。账单页面记录了每日的成交额并且通过折线图的形式展现，通过选择日期可以查询不容日期的销售额。