一种基于CIS图像采集的条烟分拣检测系统和方法与流程
本发明涉及工业检测领域，尤其涉及一种基于cis(contactimagesensor，接触式图像传感器)图像采集单元的条烟分拣检测系统和方法。
背景技术：
我国烟草行业一直实行“统一领导、垂直管理、专营专卖”的制度。烟草的物流网络支撑着全国烟草从生产到零售和消费的整个进程。在烟草流通的过程中，起始于各个卷烟厂，各种类卷烟汇聚于烟草配送中心，之后批发至零售商，最后进入消费者手中。
卷烟分拣作为整个烟草流通过程中最复杂的环节，其职能是按客户下达的订单分拣出相应数量和种类的卷烟。卷烟分拣方式主要包括手工分拣、半自动分拣和自动分拣。手工分拣是基于零售户订单需求，用手工进行拣选、配货的一种分拣方式。由于人力成本高、劳动强度大、分拣效率低，人工分拣目前只在一些偏远地区有应用。自动分拣是为了满足超大规模的配送分拣要求、将订单数据进行系统分析研究，采用不同的条烟分拣设备进行高效处理的一种卷烟分拣方式。由于分拣系统复杂、造价高、系统维护难度大、运行成本高，自动分拣目前没有推广。半自动分拣是指利用计算机信息处理技术、自动控制技术与自动化设备配合，非关键工序使用作业人员，将订单需求和条烟拣选处理的分拣方式。由于分拣速度快，人力成本低，半自动分拣方式现在普遍被使用。首先人工将各种类条烟放在分拣机中(一个分拣机只分拣同一种条烟)，然后根据客户订单分拣条烟，然后通过传送装置进行传送到最后的封装。如：客户订单为：10条黄鹤楼、5条中华、8条芙蓉王，则对应这三种条烟的分拣机分拣出相应数量的条烟到传送装置上，通过传送装置进行传送到最后的封装。由于分拣机和传输装置的传输速率问题，可能会导致订单与分拣产品不符的问题。因此研究出准确稳定的条烟分拣检测系统和方法是很有必要的。
技术实现要素：
针对现有技术的缺陷，本发明的目的在于提供一种基于cis图像采集的条烟分拣检测检测系统和方法，旨在解决条烟分拣过程中订单与分拣产品不符的问题。
本发明提供了一种基于cis图像采集的条烟分拣检测系统，包括：传送装置、图像采集装置、数据处理模块和显示装置；图像采集装置位于所述传送装置的正上方，且图像采集装置与数据处理模块连接；当条烟通过传送装置进行运输且当条烟经过图像采集装置下方时，图像采集装置对条烟进行图像采集，并将图像传输给数据处理模块，数据处理模块对其进行分析检测。
更进一步地，图像采集装置包括：三个cis图像采集单元和两个条形光源，第一cis图像采集单元设置在传送装置的正上方，第二cis图像采集单元和第三cis图像采集单元分别设置在传送装置的两侧，第一cis图像采集单元两侧各安装有一个条形光源，用于使得被采集的条烟的图像亮度均匀，第一cis图像采集单元用于采集条烟上表面的图像；第二cis图像采集单元和第三cis图像采集单元分别用于采集条烟两个侧面的图像。
更进一步地，三个cis图像采集单元结构相同，均包括：fpga模块，分别与所述fpga模块连接的cis图像采集模块、模数转换模块、存储模块、采集速度匹配模块和图像输出模块，以及用于提供工作电源的电源模块；cis图像采集模块用于对条烟进行图像采集并输出一系列模拟数据；所述模数转换模块用于将模拟数据转化为数字信号；所述fpga模块用于实现整个系统的时序控制；所述采集速度匹配模块用于根据传送装置的传送速度调整cis图像模块采集图像速率；所述存储模块用于缓存采集到的数字图像数据；所述图像输出模块用于将采集到的条烟图像发送给所述数据处理模块。
本发明还提供了一种基于cis图像采集的条烟分拣检测方法，包括下述步骤：
s1：通过cis图像采集单元对条烟进行图像采集；
s2：对采集的条烟图像进行处理，获得条烟图像的特征；
s3：根据所述条烟图像的特征和条烟标志图像数据库确定条烟的种类和数量；
s4：根据条烟的种类和数量判断分拣条烟是否与原有订单相符，并显示结果。
更进一步地，条烟标志图像数据库的建立具体包括：
(1.1)利用ccd相机采集条烟标志并获得条烟标志图像；
(1.2)利用形态学方法对条烟标志图像进行处理，获得条烟标志轮廓图像；
(1.3)利用图像金字塔方法对条烟标志轮廓图像进行处理，获得条烟标志特征集；所述条烟标志特征集包含不同种类的条烟的标志；
(1.4)对条烟标志特征集进行标记。
更进一步地，步骤(1.3)具体为：
(1.31)将条烟标志轮廓图像进行灰度化处理，获得条烟标志轮廓灰度图像；
(1.32)对条烟标志灰度图像进行hessian变换，获得条烟标志变换图像；
(1.33)通过改变hessian变换中算子的尺度大小并重复步骤(1.32)，获得一系列的条烟标志变换图像，构成图像金字塔；
(1.34)在图像金字塔中寻找条烟标志特征点，获得条烟标记特征；
(1.35)对不同的条烟的标志重复步骤(1.31)～(1.34)，获得对应的条烟标志特征，构成条烟标志特征集。
更进一步地，步骤s2具体为：
s21对条烟图像进行灰度化处理，获得条烟灰度图像；
s22对条烟灰度图像进行hessian变换，获得条烟变换图像；
s23通过改变hessian变换中算子的尺度大小并重复步骤s22，获得一系列的条烟变换图像，构成图像金字塔；
s24在所述图像金字塔中寻找条烟特征点，并获得条烟图像的特征。
更进一步地，步骤s3具体为：
s31通过将条烟图像的特征与所述条烟标志图像数据库中的模板图进行比对实现条烟特征的初步匹配；
s32通过在所述初步匹配中剔除错误匹配来实现匹配校正；
s33根据匹配校正后的结果确定条烟种类和数量，并根据条烟种类和数量生成测试订单。
更进一步地，根据匹配校正后的结果确定条烟种类具体为：
步骤s32中获得正确匹配对数，将正确匹配对数与匹配个数阈值(根据条烟图像特征点的个数设定，通常取值为条烟图像特征点个数的百分之六十)进行比较，若正确匹配对数大于等于匹配个数阈值，则确定了条烟的种类，若正确匹配对数小于匹配个数阈值，则下一种条烟标志特征与条烟特征进行匹配，直至确定条烟种类。
更进一步地，在步骤s4中，通过比较测试订单与原有订单中的字符串来判断测试订单与原有订单是否一致，并将判断结果显示出来。
通过本发明所构思的以上技术方案，与现有技术相比，由于利用cis图像采集系统进行采图，能够提高图像采集的速率，增强实时性，并且降低成本的有益效果；由于本发明提供的分拣方法，确保了订单的准确性且保证了分拣效率，之后若要增加检测条烟的种类，即只需更新条烟标志图像数据库即可，提高了通用性和实用性，很好的满足了现在工业检测领域的需求。
附图说明
图1为本发明基于cis图像采集的条烟分拣系统的示意图；
图2为本发明基于cis图像采集的条烟分拣方法的控制流程示意图；
图3为本发明中cis图像采集单元的原理框图；
图4为本发明中条烟标志图像数据库建立的流程示意图；
图5为本发明中条烟特征集构成的流程示意图；
图6为本发明中方盒滤波器9*9模板示意图；其中，(a)中采用
图7为本发明中harr小波模板示意图；
图8为本发明中获得条烟特征的流程示意图；
图9为本发明中识别条烟的流程示意图；
图10为本发明中kd树的示意图；其中，(a)数据样本集，(b)寻找(2.1,3.1)的最近邻点，(c)寻找(2,4.5)的最近邻点；
图11为本发明中确定多个条烟种类的示意图；其中，(a)检测多个条烟种类，(b)在条烟标志图像数据库确定起始匹配位置。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的一种基于cis图像采集单元的条烟分拣检测系统，包括：传送装置，图像采集装置，数据处理模块和显示装置；不同种类的条烟通过传送装置进行运输，当条烟经过图像采集装置下方时，图像采集装置对条烟图像进行采集并传输给数据处理模块，数据处理模块对采集的图像进行条烟类别判别、计数以及与原有订单对比的处理。
在本发明实施例中，图像采集装置包括：三个cis图像采集单元和两个条形光源，第一cis图像采集单元设置在传送装置的正上方，第二cis图像采集单元和第三cis图像采集单元分别设置在传送装置的两侧，第一cis图像采集单元两侧各安装有一个条形光源，用于使得被采集的条烟的图像亮度均匀，第一cis图像采集单元用于采集条烟上表面的图像；第二cis图像采集单元、第三cis图像采集单元分别用于采集条烟两个侧面的图像。
由于条烟分拣检测系统在检测过程对于系统实时性要求较高，因此图像采集的速度要快，而cis图像采集单元具有采集速度快、结构简单、使用方便、成本低的特点，所以采用cis图像采集单元对条烟图像进行采集。
在本发明实施例中，cis图像采集单元包括：fpga模块，分别与fpga模块连接的cis图像采集模块、模数装换模块、存储模块、采集速度匹配模块和图像输出模块，以及用于提供工作电压的电源模块；所述模数转换模块用于将模拟数据转换为数字信号；所述fpga模块用于实现整个系统的时序控制；所述采集速度匹配模块用于根据传送装置的传送速度调整cis图像模块采集图像速率；所述存储模块用于缓存采集到的数字图像数据；所述图像输出模块用于将采集到的条烟图像发送给所述数据处理模块。
条形光源用于在图像采集过程中提供光照，避免因为外界环境的原因，导致光照不足，从而影响采集的图像的质量。比如可以采用额定电压24v，额定功率5w-10w的条形光源。
本发明还提供一种基于cis图像采集单元的条烟分拣检测方法，包括下述步骤：
(1)建立条烟标志图像数据库；
(2)通过cis图像采集单元对条烟进行图像采集；
(3)对条烟图像进行处理，获得条烟图像的特征；
(4)确定条烟的种类以及数量；
(5)判断分拣条烟是否与原有订单相符。
在本发明实施例中，步骤(1)是独立于步骤(2)、(3)。步骤(1)可以在步骤(2)之前，也可以在步骤(3)之后。
在本发明实施例中，步骤(1)具体为：
(1.1)利用图像采集工具(ccd相机，cis图像采集单元等)采集条烟标志，获得条烟标志图像。
(1.2)利用形态学方法对条烟标志图像进行处理，获得条烟标志轮廓图像。
(1.3)利用图像金字塔对条烟标志轮廓图像进行处理，获得条烟标志特征集。
(1.4)对条烟标志特征集进行标记。
在本发明实施例中，步骤(1.3)获得条烟标志特征集具体为：
(1.31)将条烟标志轮廓图像进行灰度化处理，获得条烟标志轮廓灰度图像。
(1.32)对条烟标志灰度图像进行hessian变换，获得条烟标志变换图像。
(1.33)改变尺度的大小，获得一系列的条烟标志变换图像，获得图像金字塔。
(1.34)在图像金字塔中寻找条烟标志特征点，获得条烟标记特征。
(1.35)对不同的条烟的标志重复步骤(1.31)-(1.34)，获得对应的条烟标志特征，构成条烟标志特征集。
在本发明实施例中，步骤(3)中所述获取条烟图像的特征具体为：
(3.1)读取条烟图像，并对其进行灰度化处理，获得条烟灰度图像。
(3.2)对条烟灰度图像进行hessian变换，获得条烟变换图像。
(3.3)改变尺度大小，获得一系列的条烟变换图像，构成图像金字塔。
(3.4)在图像金字塔中寻找条烟特征点，获得条烟特征。
在本发明实施例中，步骤(4)所述确定条烟的种类和数量具体为：
(4.1)利用kd树初步匹配条烟特征以及条烟标志数据库。
(4.2)利用随机抽样一致算法进行匹配校正，剔除错误匹配。
(4.3)将步骤(4.2)中的获得正确匹配对数与匹配个数阈值进行比较，并统计条烟数量。
通过本发明所构思的以上技术方案，与现有技术相比，由于利用cis图像采集系统进行采图，能够提高图像采集的速率，增强实时性，并且降低成本的有益效果；由于本发明提供的分拣方法，确保了订单的准确性且保证了分拣效率，通用性和实用性较高，很好的满足了现在工业检测领域的需求。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明涉及一种基于cis(contactimagesensor，接触式图像传感器)图像采集的条烟分拣检测系统和方法。如图1所示，本发明提供的基于cis图像采集单元的条烟分拣检测系统包括：传送装置1，图像采集装置2、数据处理模块3和显示装置4；图像采集装置2位于传送装置1的正上方，同时图像采集装置2通过数据线与数据处理模块3连接。条烟通过传送装置1进行运输，当条烟经过图像采集装置2下方时，图像采集装置2对条烟进行图像采集，然后将图像传输给数据处理模块3，数据处理模块3对其进行分析检测。
图像采集装置2包括3个cis图像采集单元21和两根均匀条形光源22；图像采集装置内部上方正中央安装有第一cis图像采集单元21，在装置内部两侧各安装有一根均匀条形光源，第二cis图像采集单元21和第三cis图像采集单元21分别设置在传送装置的两侧。如图3，图像采集装置21包括：cis图像采集模块、模数转换模块、fpga模块(field-programmablegatearray，现场可编程门阵列)、存储模块、电源模块、采集速度匹配模块、图像输出模块。系统工作时，cis图像采集模块对下方经过的条烟进行图像采集并输出一系列模拟数据，经过模数转化器转化为数字信号，fpga负责整个系统的时序控制，采集速度匹配模块根据传送装置的传送速度调整cis图像模块采集图像速率，fpga将采集到的数字图像数据缓存到存储模块中，然后通过图像输出模块将采集到的条烟图像发送到数据处理模块，电源模块为整个系统供电，需要外部5v供电。均匀条形光源是一种各发光点光照强度一样的条形光源，目的在于使条烟图像亮度均匀，避免因为图像各部分亮度不一致，而影响之后的检测结果。
本发明通过图像采集装置进行图像采集，提高实时性且降低成本，本系统和方法分拣条烟，确保了订单的准确性且保证了分拣效率。
在本发明提供的基于cis图像采集单元的条烟分拣系统中，通过cis图像采集单元的扫描，获得条烟的彩色图像，通过对彩色图像进行灰度化处理，然后对条烟灰度图像进行处理，获得条烟的特征，然后和已建立好的条烟标志图像数据库进行匹配，确定条烟的种类以及数量，最后生成检测订单与原有订单比较，判断分拣产品是否与原有订单相符，并通过显示装置将结果公示。
本发明还提供了一种基于cis图像采集单元的条烟分拣检测方法，具体步骤如下：
(1)建立条烟标志图像数据库
s11利用图像采集工具(ccd相机，cis图像采集单元等)采集条烟标志，获得条烟标志图像。
s12利用形态学方法对条烟标志图像进行处理，获得条烟标志轮廓图像。
s13利用图像金字塔对条烟标志轮廓图像进行处理，获得条烟标志特征集。
s131将条烟标志轮廓图像进行灰度化处理，获得条烟标志轮廓灰度图像。
s132对条烟标志灰度图像进行hessian变换，获得条烟标志变换图像。
s133改变尺度的大小，获得一系列的条烟标志变换图像，获得图像金字塔。
s134寻找条烟标志特征点，获得条烟标记特征。
s135对不同的条烟的标志重复步骤s131-s134，获得对应的条烟标志特征，构成条烟标志特征集。
s14对条烟标志特征集进行标记。
条烟标志图像数据库包括不同种类的条烟标志特征集，特征集包括条烟标志特征，其中条烟标志特征有两类：一类用于区分条烟种类、一类用于区分同一种类条烟下的不同种类。
(2)通过cis图像采集系统对条烟进行图像采集
图像采集装置是通过cis图像采集单元进行图像采集，cis图像采集单元扫描一次能获得若干行图像信息(每一次扫描的行数根据传送装置的速度和采集图像的分辨率设定)，从而获得了条烟图像。
(3)对条烟图像进行处理，获得条烟图像的特征
s31读取条烟图像，并对其进行灰度化处理，获得条烟灰度图像。
s32对条烟灰度图像进行hessian变换，获得条烟变换图像。
s33改变尺度大小，获得一系列的条烟变换图像，构成图像金字塔。
s34寻找条烟特征点，获得条烟特征。
(4)利用条烟标志图像数据库确定条烟种类以及数量
s41利用kd树初步匹配条烟特征以及条烟标志数据库。
s42利用随机抽样一致算法进行匹配校正，剔除错误匹配。
s43确定条烟种类以及数量后生成测试订单。
(5)生成检测订单且与原有订单进行比较，判断检测订单与原有订单是否相符
本发明提供的基于cis图像采集单元的条烟分拣系统和方法，至少能带来以下有益效果：在本发明中，利用cis图像采集单元进行图像采集，提高了图像采集的速率，增强了实时性，并且降低了成本。同时，本发明提供的条烟分拣方法，能够满足不同种类条烟的分拣，通用性较高，并且在保证检测速率的情况下，分拣的准确率较高，很好的满足了现在工业检测领域的需求。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图和实施例对本发明进行具体的描述。下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
如图1所示，本发明提供一种基于cis图像采集单元的条烟分拣系统。从图中可以看出，本系统包括：传送装置1，图像采集装置2，数据处理模块3和显示装置4。具体流程如下：条烟通过传送装置进行传送，通过装置箱下方时，cis图像采集管对条烟图像进行图像采集，同时通过usb3.0将图像传给数据处理模块，数据处理模块将获得的条烟图像与已建立好的条烟标志图像数据库进行匹配，获得条烟种类，同时通过计数获得条烟的数量，之后生成检测订单并且与原有订单进行比较，判断分拣产品与订单是否相符，最后通过显示装置将判断结果显示出来。在图像采集过程中，传送装置通过电缆给cis图像采集单元实时传输当前传送装置的速度，以此来调节cis图像采集管的采集频率。
如图2所示，本发明提供一种基于cis图像采集单元的条烟分拣方法。从图中可以看出，本发明包括4个过程：建立条烟标志图像数据库、获得条烟图像的特征、与条烟标志图像数据库匹配确定条烟种类以及数量、生成检测订单且与原有订单进行比较，判断检测订单与原有订单是否相符。
如图4所示，建立条烟标志图像数据库具体步骤包括：
建立条烟标志图像数据库是为了之后分拣过程中更迅速地识别出条烟的种类，若之后增加了新的条烟品种，只需更新条烟标志图像数据库即可，大大提高了分拣系统的实用性和通用性，所以条烟标志图像数据库的建立是很有必要的。
s11利用图像采集工具(ccd相机或cis图像采集单元)采集条烟标志(如：中华牌香烟的“中华”，黄鹤楼牌香烟的“黄鹤楼”)，获得条烟标志图像。
ccd相机特点是采集的图像像素集成度高、功耗小、灵敏度高、性能稳定、抗冲击，cis图像采集单元特点是采集速度快、结构简单、使用方便、成本低。ccd相机相对于cis图像采集单元，采集的图像更清晰，而采集速度相对较慢。在建立条烟标志图像数据库时，对图像质量要求更高，所以采用ccd相机进行图像采集。
在选择条烟标志时，应选择辨识度高，辨识鲜明的标志，如：中华牌香烟的“中华”。同时要注意条烟两面标志是否一致，若不一致，则都要选取，如：中华牌香烟的“中华”和“chunghwa”，因为在之后的过程中，分拣机将条烟送到传送装置上时，cis图像采集系统采集条烟图像时，不能确定采集到哪面。另外由于同一种条烟可能存在软包和硬包的区别，因此两个侧面的标志也要采集，如：中华牌香烟的软盒和硬盒，选取的标志即为“软盒”、“硬盒”。对于中华牌香烟，选取的标志为“中华”、“chunghwa”、“软盒”和“硬盒”。其中“中华”和“chunghwa”目的为了区分条烟种类，“软盒”和“硬盒”目的为了区分中华牌香烟下的种类。对于其他香烟而言，条烟标志的选取也是类似。
在采集条烟标志图像时，我们利用ccd相机(charge-coupleddevice，电荷耦合元件)是为了确保条烟标志图像的清晰度，同时注意利用ccd相机采集标志图像时，条烟标志图像应位于ccd相机的最佳焦距处，且条烟标志位于图像正中(条烟标志位于图像其他位置也可)，这样是为了方便之后的条烟的识别处理。
s12利用形态学方法对条烟标志图像进行处理，获得条烟标志轮廓图像。
形态学闭运算即为首先对图像进行膨胀运算，然后再进行腐蚀运算。膨胀运算是将与物体接触的所有背景点合并到该物体的过程。腐蚀运算是消除物体的所有边界点的一种过程，其结果是使剩下的物体沿其内边缘比原来物体小一个像素。
黑帽运算为图像经过闭运算后的效果图与原图像之差。黑帽运算后的效果图能获得清晰的条烟标志轮廓。
如图5所示，构成条烟标志特征集具体步骤包括
s13利用图像金字塔对条烟标志轮廓图像进行处理，获得条烟标志特征集。
s131将条烟标志轮廓图像进行灰度化处理，获得条烟标志轮廓灰度图像。
s132对条烟标志灰度图像进行hessian变换，获得条烟标志变换图像。
给定图像i中的一点x＝(x，y)((x，y)为像素点的横纵坐标)，hessian矩阵h(x，σ)在x处尺度为σ的定义如下：
这里lxx(x，σ)、lxy(x，σ)、lyx(x，σ)、lyy(x，σ)是分别高斯二阶偏导数
对于lxx(x，σ)、lxy(x，σ)、lyx(x，σ)、lyy(x，σ)计算，把
此时det(h)≈lxxlyy-(wlxy)2(det(h)表示hessian矩阵的行列式；w表示滤波器的相关权重，与滤波器尺寸有关，通常我们取0.9)，通过计算det(h)，获得图像中某一点(x，y)的响应值，然后遍历图像中所有的像素点，获得某一尺度下条烟标志变换图像。
s133改变尺度的大小，获得一系列的条烟标志变换图像，获得图像金字塔。
由于条烟外包装不统一，即条烟的高度的不一致，导致cis图像采集系统采集图像时会存在景深问题，因此要采用不同的尺度图像构成的图像金字塔确保之后的条烟分类更加准确迅速。
图像金字塔是由o组图像组成，每组图像有s层，而对于每层图像的方盒滤波器模板尺寸大小l＝3×(20+1(s+1)+1)，此时对应的尺度
s134寻找条烟标志特征点，获得条烟标记特征。
由于图像金字塔是由不同尺度图像组成的，为了在其中寻找特征点，采用了3×3×3邻域非最大值抑制：图像金字塔某一层图像中的任一像素点作为检测特征点与同一尺度层中相邻8领域内的像素点和在其之上及之下的两个尺度层9个像素点(共26个像素点)进行比较，找出其中特征值(hessian矩阵行列式)最大的像素点，则该点为特征点。通过上诉步骤，我们就可以获得一系列的条烟标志特征点。
由于在传送装置上条烟是任意摆放的，导致cis图像采集系统采集到的图像中条烟标志的位置与方向也是任意的。为了之后有效地分类条烟，所以需要条烟标志特征具有旋转不变性。
统计特征点领域内的harr小波特征，即以特征点为中心，计算半径为6σ(σ为特征点所在的尺度值)的圆形领域内的点在x，y方向的haar小波(haar小波边长取4σ)响应，harr小波模板如图7(图中标记1区域的像素代表1，标记2区域的像素代表-1，没标记区域的像素代表0)。通过模板与图像进行卷积计算出图像在harr小波的x和y方向上的响应值之后，以特征点为中心，张角为π/3的扇形滑动窗口，以步长m(m通常取值为0.2rad)旋转滑动窗口，并对滑动窗口内的图像harr小波响应值dx、dy进行累加，获得一个向量(mw，θw):
然后遍历圆形区域，选择最长向量的方向作为该特征点的主方向。这样，对特征点逐个进行计算，获得每一个特征点的主方向。
以特征点为中心，沿主方向将20σ×20σ(σ为特征点所在的尺度值)划分为4×4个字块，每个字块用尺寸2σ的harr模板进行响应值计算，并统计每个字块中∑dx、σ|dx|、σdy、σ|dy|形成特征向量，这样每个特征点就可以用64维特征向量表示。
对每一个特征点进行64维特征向量表示，将这些特征向量集合获得条烟标志特征。
s135对不同的条烟的标志重复步骤s131-s134，获得对应的条烟标志特征，构成条烟标志特征集。
s14对条烟标志特征集进行标记。
条烟标志特征集包含不同种类的条烟的标志，为了方便之后的条烟分类处理，需要对条烟标志特征进行标记。标记规则为：如果条烟种类为n，每种条烟的特征最多不超过m个，则条烟标志特征标记形如xy(1≤x≤n，1≤y≤m)如：中华牌香烟的特征标志包括“中华”、“chunghwa”、“软盒”、“硬盒”；对于这个四个特征标志的标记分别对应“11”、“12”、“13”、“14”。
如图8所示，获取条烟图像特征具体步骤包括：
s31读取条烟图像，并对其进行灰度化处理，获得条烟灰度图像。
s32对条烟灰度图像进行hessian变换，获得条烟变换图像。
与步骤s132类似，利用矩阵
s33改变尺度大小，获得一系列的条烟变换图像，构成图像金字塔。
与步骤s133类似，选择方盒滤波器尺寸为9*9、15*15、21*21、27*27。通过改变方盒滤波器的尺寸，重复步骤s132，获得一系列条烟变换图像，从而形成1组4层的图像金字塔。
s34寻找条烟特征点，获得条烟特征。
与步骤134类似，采用了3×3×3邻域非最大值抑制：图像金字塔某一层图像中的任一像素点作为检测特征点与同一尺度层中相邻8领域内的像素点和在其之上及之下的两个尺度层9个像素点(共26个像素点)进行比较，找出其中特征值(hessian矩阵行列式)最大的像素点，则该点为特征点。通过上诉步骤，我们就可以获得一系列的条烟标志特征点。统计特征点领域内的harr小波特征，然后选择最长向量的方向作为该特征点的主方向，通过对特征点逐个进行计算，获得每一个特征点的主方向。以特征点为中心，沿主方向寻找64维的特征向量。最后，将这些特征向量集合获得条烟特征。
如图9所示，确定条烟的种类和数量具体步骤包括：
s4将获得的条烟特征和条烟标志图像数据库进行匹配，确定条烟的种类以及数量。具体为：
s41初步匹配条烟特征以及条烟标志数据库。
将条烟标记图像数据库中的图像称作模板图，将用cis图像采集系统采集的条烟图像称作实时图。令模板图中特征点描述子为ri＝(ri1，ri2，...，ri64)，实时图中特征点描述子为si＝(si1，s，...，rs64)。则任意两描述子之间的相似性度量可以表示为：
根据上式可以获得一系列匹配的特征点描述子(ri，si)，它们需要满足
在匹配特征点的过程中，我们采用kd树进行特征点匹配。其基本思想为：
(1)首先搜索二叉树。通过比较分裂节点分裂维的值和待查询节点，得知若待查询节点小于或等于分裂节点分裂维的值就进入左子树，反之就进入右子树分支直到叶子结点。
(2)顺着“搜索路径”就能找到潜在的最近邻的可能点，这个近似点与待查询点处于同一个子空间中。
(3)再回溯到搜索路径中，并判断搜索路径上的剩余结点的其他子结点空间中是否可能有距离查询点更近的样本点。
(4)如果有可能，则需要跳到起来子结点空间中去搜索(将其他子结点加入到搜索路径中)。重复这个过程知道搜索路径为空。
在本发明实施例中，如图10(a)假设我们的样本集是{(2，3)(5，4)(9，6)(4，7)(8，1)(7，2)}，我们的待查询点分别为(2.1，3.1)和(2，4.5)。
如图10(b)，首先我们先查找点(2.1，3.1)，在(7，2)点测试到达(5，4)，之后到达(2，3)，然后查询路径的结点为{(7，2)(5，4)(2，3)}，从查询路径中取出(2，3)作为当前的最佳结点的最近邻点，距离为0.141。
然后回溯到(5，4)，以(2.1，3.1)为圆心，以0.141作为半径画圆，发现该圆不和平面y＝4相交，如图10(b)，所以不跳到(5，4)的右子空间去搜索，因为右子空间中不可能有更近样本点了。
于是回溯到(7，2)，同理，以(2.1，3.1)为圆心，以0.141为半径画圆并不和平面x＝7相交，所以也不用调到(7，2)右子空间中去搜索。
因此，搜索路径为空，结束整个搜索，将(2，3)作为(2.1，3.1)的最近邻点，最近距离为0.141。
下面来查询点(2.4.5)，如图10(c)同样先找到搜索路径。在(7，2)处测试到达(5，4)，在(5，4)处测试到达(4，7)，然后搜索路径中的结点为{(7，2)(5，4)(4，7)}，从搜索路径中取出(4，7)作为当前最佳结点的最近邻点，距离为3.202。
然后回溯至(5，4)，以(2，4.5)为圆心，以3.202为半径画圆与平面y＝4相交，如图，所以需要跳到(5，4)的左子空间去搜索。所以要将(2，3)加入到搜索路径中，现在搜索路径中的结点为{(7，2)(2，3)}；另外(5，4)与(2，4.5)的距离为3.04<3.202，所以将(5，2)设为最近邻点，且距离为3.04。
回溯到(2，3)，(2，3)为叶子节点，直接判断(2，3)是否离(2，4.5)更近，计算获得距离为1.5，所以最近邻点更新为(2，3)，距离为1.5
回溯到(7，2)，同理以(2，4.5)为圆心，以1.5为半径画圆并不和平面x＝7相交，所以不用跳到结点(7，2)的右子空间去搜索。
至此，搜索路径为空，结束整个搜索，将(2，3)作为(2，4.5)的最近邻点，最近邻距离为1.5。
s42进行匹配校正，剔除错误匹配。
由于在关键点匹配中会存在错误的匹配，所以要去除错误的匹配，提高匹配率。利用随机抽样一致算法滤除错误匹配，其步骤为：
(1)随机从数据集中抽出4个样本数据(这4个样本之间不能共线)，计算出变换矩阵h，记作模型m。
变换矩阵
(2)计算数据集中所有数据与模型m的投影误差，若误差小于投影阈值，加入内点集i；
(3)如果当前内点集i元素个数大于最优内点集best，则更新best＝i，同时更新迭代次数k；
(3)如果迭代次数大于k(通常k取20)，则退出；否则迭代次数加1，并重复上述步骤；
通过不断的迭代，可以剔除错误匹配，获得正确匹配，并且统计正确匹配对数。
s43确定条烟种类以及数量后生成测试订单。
将正确匹配对数与匹配个数阈值进行比较，若正确匹配对数大于等于匹配个数阈值，则确定了条烟的种类，若正确匹配对数小于匹配个数阈值，则下一种条烟标志特征与条烟特征进行匹配，直至确定条烟种类。
当需要实时检测多个条烟的种类时，如图11(a)，首先，当前条烟图像特征与条烟标志特征集按照步骤s41-s43进行匹配，从烟1到烟n，直至确定条烟种类；然后，若当前条烟种类确定为烟x后，对于下一条条烟的种类确定，我们采用临近原则，如图11(b)所示，从烟x为起始匹配位置，按照烟x到烟x-1的顺序进行匹配，直到确定条烟种类。最后统计不同种类条烟的数量。
采用上述匹配规则可以节约时间，提高检测的实时性，因为下一条条烟很大程度可能和当前条烟种类一样，避免每次匹配都从烟1开始，导致时间的浪费。
测试订单与原有订单比较，具体步骤如下：
当步骤s4中确定条烟种类和数量后，由于之前步骤s14所述标记条烟标志特征集，则生成的测试订单可以以标记的形式存在，如：10条软中华、5条硬中华，则测试订单为“1310145”，其中“13”、“14”分别表示软中华、硬中华，“10”、“5”分别表示软中华的数量和硬中华的数量。同样以这种形式表示原有订单，之后通过比较字符串判断测试订单与原有订单是否一致，最后将判断结果通过显示装置显示出来。
以上对发明的具体实施例进行了详细描述，但本发明并不限制于以上描述的具体实施例，其只是作为范例。对于本领域技术人员而言，任何对该系统进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。
- 还没有人留言评论。精彩留言会获得点赞！