一种鲁棒的烟草陈列图像处理方法和装置与流程

本发明涉及深度学习，尤其涉及一种鲁棒的烟草陈列图像处理方法和装置。

背景技术：

1、在烟草售卖过程中，各大烟草公司需要获取零售店铺的香烟实时售卖数据，结合售卖人群分析消费人群画像，总结香烟售卖的规律，并以此来改进零售店铺的香烟售卖方式，优化香烟推广策略。

2、为获取零售店铺的香烟实时售卖数据，常用的技术方案为在零售店铺的烟柜位置架设摄像头，通过摄像头实时采集烟柜区域画面，将采集到的烟柜图片送入已训练好的香烟检测模型，获取烟柜内所有在售香烟的位置及香烟的规格，此处的香烟检测模型一般为基于深度学习技术的目标检测模型，如yolo、centernet等。但直接使用深度学习模型实时获取零售店铺烟柜中所有的香烟规格还存在诸多问题，例如使用香烟检测模型对视频流上的香烟规格进行检测识别时，由于销售人员对烟柜进行整理或其他操作时造成遮挡，容易出现漏检和误检，导致烟柜内的香烟规格识别不稳定，降低其识别准确率。

3、在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

4、现有获取零售店铺的香烟实时售卖数据的方法受外部环境因素影响，容易出现漏检和误检，导致烟柜内的香烟规格识别不稳定，降低其识别准确率。

技术实现思路

1、本发明的目的在于提供一种鲁棒的烟草陈列图像处理方法和装置，以解决现有技术中存在的获取零售店铺的香烟实时售卖数据的方法受外部环境因素影响，容易出现漏检和误检，导致烟柜内的香烟规格识别不稳定，降低其识别准确率的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本发明提供了以下技术方案：

3、本发明提供的一种鲁棒的烟草陈列图像处理方法，包括步骤：

4、s100：在采集到烟柜区域的k帧图像之后，获取所述k帧图像的香烟检测表和所述k帧图像中的每一帧图像的香烟检测信息，所述香烟检测信息包括香烟检测框和香烟规格；其中，k为不小于1的整数；

5、s200：获取第k+1帧图像，并将所述第k+1帧图像与第k帧图像进行匹配，得到所述第k+1帧的检测框匹配结果；

6、s300：若所述检测框匹配结果为所述第k帧图像上的检测框与所述第k+1帧图像上的检测框相对应，则将所述第k+1帧图像增加至所述香烟检测表中，并输出所述第k+1帧图像的所述香烟规格。

7、优选的，若所述检测框匹配结果为所述第k帧图像上的检测框与所述第k+1帧图像上的检测框未相对应，则将所述第k+1帧图像更新至所述香烟检测表中。

8、优选的，若所述检测框匹配结果为所述第k帧图像上的检测框少于所述第k+1帧图像上的检测框，则在所述香烟检测表中新增第一新增检测框，并将所述第k+1帧图像增加至所述表中，以及处理所述第k+1帧图像，输出处理后的所述第k+1帧图像的香烟规格。

9、优选的，所述处理所述第k+1帧图像，输出处理后的所述第k+1帧图像的香烟规格的步骤为：

10、s311：获取所述第一新增检测框在所述第k+1帧图像上对应的所述检测框的所述香烟规格，作为第一香烟规格；

11、s312：将所述第一新增检测框在所述香烟检测表中的之前所述k帧图像的所述香烟规格均赋值成所述第一香烟规格；

12、s313：对包括所述第k+1帧图像的k个所述香烟规格进行投票，得到所述第一新增检测框的投票规格，并标记为新增规格；

13、s314：输出处理后的所述第k+1帧图像中除了所述投票规格为新增规格以外的所有所述香烟规格。

14、优选的，若要输出所述投票规格为“新增规格”的所述香烟规格，则

15、获取所述第k+1帧图像之后的连续k-1帧图像，将所述连续k-1帧图像与所述第k+1帧图像进行匹配；

16、若所述第一新增检测框与第k+2帧图像的所述检测框相对应，则将所述第k+2帧图像的所述检测框的所述香烟规格替换掉所述第一新增检测框的k个所述第一香烟规格的最末一位；以此类推，对连续k-1帧图像的香烟规格进行更新；

17、将更新后的所述第一新增检测框的所述香烟规格重新进行投票，得到所述第一新增检测框的新的所述投票规格；

18、若新的所述投票规格不为“未知”，对处理后的第2k帧图像上的所述第一新增检测框取消“新增规格”标记，并输出其新的所述投票规格。

19、优选的，若所述检测框匹配结果为所述第k帧图像上的检测框多于所述第k+1帧图像上的检测框，则在所述香烟检测表中对所述第k帧图像进行处理，并将所述第k+1帧图像增加至所述表中，根据处理后的所述第k帧图像与所述第k+1帧图像进行相似度比较，输出比较后的所述第k+1帧图像的香烟规格。

20、优选的，所述输出比较后的所述第k+1帧图像的香烟规格为：

21、s321：根据所述第k帧图像上未与所述第k+1帧图像上相匹配的所述检测框，将该所述检测框在所述k帧图像上的投票规格作为第二香烟规格；

22、s322：根据该所述检测框在所述k帧图像上对应的k个所述香烟规格，寻找所述k个所述香烟规格中与所述第二香烟规格相同且距离所述第k+1帧图像最近的所述香烟规格，并保存其所对应的第i帧图像；

23、s323：将该所述检测框在所述第i帧图像上的对应的区域图像截取为第一子图，该所述检测框在所述第k+1帧图像上的对应的区域图像截取为第二子图；

24、s324：计算所述第一子图与所述第二子图的相似度，若该相似度高于第一相似阈值，则在所述香烟检测表中将所述第k+1帧图像上所述第二子图对应的所述香烟检测框的所述香烟规格赋值为所述第二香烟规格；

25、s325：对包括k+1帧图像的所述k个所述香烟规格进行投票，输出比较后的所述第k+1帧图像中除了所述投票规格为新增规格以外的所有所述香烟规格。

26、优选的，所述步骤s100中，所述输出所述第k+1帧图像的所述香烟规格包括：

27、对所述k+1帧图像在所述香烟检测表中k个所述香烟规格进行投票，得到投票规格；

28、其中，投票规则为若所述k个所述香烟规格中有超过k/2个所述香烟规格为同一规格时，则该同一规格为所述k个所述香烟规格的所述投票规格；反之，所述投票规格为未知；

29、输出所述第k+1帧图像中不为“未知”的所述投票规格。

30、优选的，所述步骤s100中，获取所述k帧图像的香烟检测表的步骤为：

31、根据所述k帧图像中的每一帧图像的每一个香烟的所述香烟检测信息，在所述香烟检测表上记录每一个所述香烟在所述k帧图像中对应的k个所述香烟检测框和k个所述香烟规格；

32、其中，所述香烟检测表包括香烟检测框队列和香烟规格队列；所述香烟检测框队列与香烟规格队列均为长度为k的先进先出队列，k为不小于1的整数。

33、此外，本发明还提供了一种鲁棒的烟草陈列图像处理装置，包括获取模块、第一匹配模块、更新模块、投票模块和输出模块；

34、所述获取模块、第一匹配模块、更新模块、投票模块、输出模块通信连接；

35、所述获取模块，用于采集烟柜区域的实时视频流，获取k帧图像的香烟检测表和所述k帧图像中的每一帧图像的香烟检测信息；

36、所述第一匹配模块，用于第k帧图像与第k+1帧图像进行检测框匹配，得到所述第k+1帧的检测框匹配结果；

37、所述更新模块，用于根据所述检测框匹配结果，对所述香烟检测表上的所述第k+1帧的所述香烟检测信息进行更新；

38、所述投票模块，用于对所述香烟检测表上更新后的所述香烟检测信息重新进行投票，得到所述香烟检测表上的所述第k+1帧的投票规格；

39、所述输出模块，用于输出重新投票后的所述第k+1帧中不为“未知”的所述投票规格。实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

40、本发明利用现有的目标检测识别技术，通过采集烟柜区域的实时视频流，对采集到的视频帧进行目标检测，得到每个视频帧中的香烟检测信息和香烟检测表。针对连续多帧视频流，将当前帧图像与其上一帧图像的香烟检测信息进行匹配，根据检测框匹配结果对香烟检测表进行更新，并将当前帧增加至香烟检测表，经过投票处理后输出当前帧稳定的香烟检测信息。