本发明涉及物流图片处理技术领域,尤其涉及一种物流包裹图片处理方法、装置及系统。
背景技术:
物流包裹信息的采集通常是通过对物流包裹表面的条码进行识别获得的。条码的类型可以是一维码(又称条形码),也可以是二维码(又称二维条码)。其中,条形码是将宽度不等的多个黑条和空白,按照一定的编码规则排列,用以表达一组信息的图形标识符。常见的条形码是由反射率相差很大的黑条(简称条)和白条(简称空)排成的平行线图案。二维码是用某种特定几何图形按一定规律在平面(二维方向上)分布的黑白相间图形,它能够把文字、图像、音频、视频等的相关信息“编码”成一个图像。当用特定软件拍摄这些图像时,这些信息就会显示出来。
相关技术中对物流包裹表面的条码进行识别的过程通常是利用条码扫描器直接对条码进行扫描和识别,或者是先利用相机抓拍包裹表面的图片,从抓拍图片中识别出条码区域,然后再对该条码区域内的条码进行识别。
在实现本发明的过程中,发明人发现相关的物流包裹图片处理方法仅能获得条码的识别结果,而无法获得条码处于合适位置的抓拍图片。
技术实现要素:
有鉴于此,本发明实施例提供一种物流包裹图片处理方法、装置及系统,以解决现有的物流包裹图片处理中无法获得条码处于合适位置的抓拍图片的问题。
第一方面,本发明实施例提供一种物流包裹图片处理方法,包括:
对在视场中移动的包裹抓拍第n张图片;其中,n为自然数;
对所述第n张图片中的条码进行识别,获取所述条码的信息,并将所述条码的信息加入到队列中;其中,所述条码的信息包括所述条码相对于所述第n张图片的相对位置;
预测所述第n张图片中的条码在第n+1张抓拍图中的位置;
对所述包裹抓拍第n+1张图片;
对所述第n+1张图片中的条码进行识别,获取所述第n+1张图片中的条码的信息;其中,所述第n+1张图片中的条码的信息包括所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置;
判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配;
若相匹配,则将所述第n+1张图片中的条码的信息加入到所述队列中;
在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的所述条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片。
结合第一方面,在第一方面的第一种实施方式中,任一图片中的一个条码相对于该图片的相对位置,包括:该条码的外接多边形顶点在该图片中的相对位置。
结合第一方面,在第一方面的第二种实施方式中,所述判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配,包括:判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点与所述预测的位置的中心点之间的距离差是否满足预定的阈值要求,若满足预定的阈值要求,则确定所述判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置相匹配。
结合第一方面或第一方面的第一种实施方式,在第一方面的第三种实施方式中,所述在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的所述条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片,包括:在所述包裹离开所述视场后,根据获得的条码在对应图片中的相对位置,分别计算各抓拍的图片中条码的中心;在各抓拍的图片中,选择条码的中心距离对应图片的中心最近的图片,作为所述最佳图片;或者在各抓拍的图片中,选择条码的中心距离预设区域中心最近的图片,作为所述最佳图片。
结合第一方面的第三种实施方式,在第一方面的第四种实施方式中,所述的物流包裹图片处理方法,还包括:将筛选出的所述最佳图片输出。
结合第一方面至第一方面的第四种实施方式中的任一种实施方式,在第一方面的第五种实施方式中,所述条码的信息还包括所述条码的识别结果;
所述处理方法,还包括:
在所述包裹离开所述视场后,根据所述条码的识别结果中的字符数的多少,对所有抓拍的图片中条码的识别结果进行分类;
从分类结果中挑选出包含类成员数量最多的一类;
在挑选出的所述类中,对所述条码的识别结果进行逐位分析,将在同一位当中出现频率最高的字符作为该位的识别结果,以得到所述条码的最终识别结果。
结合第一方面的第五种实施方式,在第一方面的第六种实施方式中,所述的物流包裹图片处理方法,还包括:将所述条码的最终识别结果叠加在筛选出的最佳图片中。
结合第一方面,在第一方面的第七种实施方式中,若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置不相匹配,则将所述第n+1张图片中的条码的信息加入到另一队列中。
结合第一方面,在第一方面的第八种实施方式中,所述对所述第n张图片中的条码进行识别,获取所述条码的信息,并将所述条码的信息加入到队列中,包括:对所述第n张图片中的条码进行识别,获取多个条码的信息,并将每个条码的信息分别加入到不同的队列中;其中,每个条码的信息包括该条码相对于所述第n张图片的相对位置。
结合第一方面的第八种实施方式,在第一方面的第九种实施方式中,判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配;若相匹配,则将所述第n+1张图片中的条码的信息加入到所述队列中,包括:
针对所述第n+1张图片中的每个条码,判断该条码相对于所述第n+1张图片的相对位置的中心点与该条码在第n+1张抓拍图中的预测位置的中心点之间的距离差是否满足预定阈值要求,若满足预定阈值要求,则确定该条码相对于所述第n+1张图片的相对位置,与该条码在第n+1张抓拍图中的预测位置相匹配,将所述第n+1张图片中的相对位置和预测位置相匹配的每个条码的信息分别加入不同的队列。
结合第一方面的第八种实施方式,在第一方面的第十种实施方式中,所述在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片,包括:
在所述包裹离开所述视场后,针对各抓拍的图片,从多个队列中分别获取该图片中每个条码相对于该图片的相对位置,并计算该图片中多个条码的公共中心;
在各抓拍的图片中,选择多个条码的公共中心距离对应图片的中心最近的图片,作为所述最佳图片;或者
在各抓拍的图片中,选择多个条码的公共中心距离预设区域中心最近的图片,作为所述最佳图片。
第二方面,本发明实施例提供一种物流包裹图片处理装置,包括:
第一拍照模块,用于对在视场中移动的包裹抓拍第n张图片;其中,n为自然数;
第一识别模块,用于对所述第n张图片中的条码进行识别,获取所述条码的信息,并将所述条码的信息加入到队列中;其中,所述条码的信息包括所述条码相对于所述第n张图片的相对位置;
预测模块,用于预测所述第n张图片中的条码在第n+1张抓拍图中的位置;
第二拍照模块,用于对所述包裹抓拍第n+1张图片;
第二识别模块,用于对所述第n+1张图片中的条码进行识别,获取所述第n+1张图片中的条码的信息;其中,所述第n+1张图片中的条码的信息包括所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置;
匹配模块,用于判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配;若相匹配,则将所述第n+1张图片中的条码的信息加入到所述队列中;
筛选模块,用于在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片。
结合第二方面,在第二方面的第一种实施方式中,任一图片中的一个条码相对于该图片的相对位置,包括:该条码的外接多边形顶点在该图片中的相对位置。
结合第二方面,在第二方面的第二种实施方式中,所述匹配模块,包括:
第一确定子模块,用于确定所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点,以及确定所述预测的位置的中心点;
判断子模块,用于判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点与所述预测的位置的中心点之间的距离差是否满足预定的阈值要求;若满足预定的阈值要求,则确定所述判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置相匹配。
结合第二方面或第二方面的第一种实施方式,在第二方面的第三种实施方式中,所筛选模块,包括:
第二确定子模块,用于在所述包裹离开所述视场后,根据获得的条码在对应图片中的相对位置,分别计算各抓拍的图片中条码的中心;
筛选子模块,用于在各抓拍的图片中,选择条码的中心距离对应图片的中心最近的图片,作为所述最佳图片;或者用于在各抓拍的图片中,选择条码的中心距离预设区域中心最近的图片,作为所述最佳图片。
结合第二方面,在第二方面的第四种实施方式中,所述的物流包裹图片处理装置,还包括:图片输出模块,用于将所述筛选模块筛选出的所述最佳图片输出。
结合第二方面至第二方面的第四种实施方式中的任一种实施方式,在第二方面的第五种实施方式中,所述条码的信息还包括所述条码的识别结果;
所述处理装置,还包括:
字符融合模块,用于在所述包裹离开所述视场后,根据所述条码的识别结果中的字符数的多少,对所有抓拍的图片中条码的识别结果进行分类;从分类结果中挑选出包含类成员数量最多的一类;在挑选出的所述类中,对所述条码的识别结果进行逐位分析,将在同一位当中出现频率最高的字符作为该位的识别结果,以得到所述条码的最终识别结果。
结合第二方面的第五种实施方式,在第二方面的第六种实施方式中,所述的物流包裹图片处理装置,还包括:叠加模块,用于将所述条码的最终识别结果叠加在筛选出的最佳图片中。
结合第二方面,在第二方面的第七种实施方式中,所述匹配模块,还用于若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置不相匹配,则将所述第n+1张图片中的条码的信息加入到另一队列中。
结合第二方面,在第二方面的第八种实施方式中,所述第一识别模块,具体用于对所述第n张图片中的条码进行识别,获取多个条码的信息,并将每个条码的信息分别加入到不同的队列中;其中,每个条码的信息包括该条码相对于所述第n张图片的相对位置。
结合第二方面的第八种实施方式,在第二方面的第九种实施方式中,所述匹配模块,具体用于针对所述第n+1张图片中的每个条码,判断该条码相对于所述第n+1张图片的相对位置的中心点与该条码在第n+1张抓拍图中的预测位置的中心点之间的距离差是否满足预定阈值要求,若满足预定阈值要求,则确定该条码相对于所述第n+1张图片的相对位置,与该条码在第n+1张抓拍图中的预测位置相匹配,将所述第n+1张图片中的相对位置和预测位置相匹配的每个条码的信息分别加入不同的队列。
结合第二方面的第八种实施方式,在第二方面的第十种实施方式中,所述筛选模块,具体用于在所述包裹离开所述视场后,针对各抓拍的图片,从多个队列中分别获取该图片中每个条码相对于该图片的相对位置,并计算该图片中多个条码的公共中心;在各抓拍的图片中,选择多个条码的公共中心距离对应图片的中心最近的图片,作为所述最佳图片;或者在各抓拍的图片中,选择多个条码的公共中心距离预设区域中心最近的图片,作为所述最佳图片。
第三方面,本发明实施例提供一种物流包裹图片处理系统,包括:传送带和如前述任一实施方式所述的物流包裹图片处理装置;其中,
所述传送带用于对包裹进行传送;
所述物流包裹图片处理装置,用于在放置在所述传送带上的包裹进入视场时,对其进行拍照和对所拍的图片进行处理。
本发明实施例提供的一种物流包裹图片处理方法、装置及系统,通过对在视场中移动的包裹抓拍第n张图片,对所述第n张图片中的条码进行识别,获取包括所述条码相对于所述第n张图片的相对位置的信息;预测所述第n张图片中的条码在第n+1张抓拍图中的位置,对抓拍的第n+1张图片中的条码进行识别,获取所述条码相对于所述第n+1张图片的相对位置;判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配,若相匹配,则将所述第n+1张图片中的条码的信息加入到所述队列中;在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的所述条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片,这样通过上述步骤对条码进行识别及跟踪匹配,能够从对所述包裹抓拍的所有图片中筛选出最佳图片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明物流包裹图片处理方法实施例一的流程示意图;
图2为本实施例中获得的包裹从进入视场到离开视场的一个图片序列的示意图;
图3为本发明物流包裹图片处理方法实施例一中图片的中心和用户在图片中所设定区域的示意图;
图4为本发明物流包裹图片处理方法实施例一中字符融合的流程示意图;
图5所示为本发明物流包裹图片处理方法实施例一中字符融合的结构示意图;
图6为本发明物流包裹图片处理方法实施例二的流程示意图;
图7为本发明物流包裹图片处理装置实施例一的流程示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明物流包裹图片处理方法实施例一的流程示意图,本实施例适用于包裹在传送带上传输过程中对所述包裹信息的采集,如图1所示,本实施例的方法可以包括:
步骤101、对在视场中移动的包裹抓拍第n张图片。
本实施例中,所述n为自然数。
所述包裹可以是包装盒或包装袋等物品,在所述包裹的表面设有条码,所述条码的数量可以是一个或多个,所述条码的类型可以是一维码(又称条形码),也可以是二维码。本实施例中以所述条码的数量为一个为例进行说明。
当移动的包裹,如在传送带上的包裹,逐渐移动进入图片拍摄设备如相机的视场内时,图片拍摄设备则以预定的拍摄周期,如每隔0.3秒或0.5秒等,对视场中移动的包裹进行图片的抓拍,可获得所述包裹从进入视场到离开视场的一个图片序列,图2为本实施例中获得的包裹从进入视场到离开视场的一个图片序列的示意图。
本实施例中,可根据激光触发信号获取包裹进入视场的信号。
步骤102、对所述第n张图片中的条码进行识别,获取所述条码的信息,并将所述条码的信息加入到队列中。
其中,所述条码的信息包括所述条码相对于所述第n张图片的相对位置。作为一可选实施方式,所述条码的信息中包括的所述相对位置,为所述条码的外接多边形顶点如外接矩形的顶点在图片中的相对位置。
本实施例中,可实时调用条码识别算法获取当前抓拍图片中的条码的识别信息,获取所述条码相对于所述第n张图片的相对位置。
本实施例中,当首次获得条码的信息时,可建立初始队列,并将首次获得的条码信息加入到该初始队列中。当新的图片及条码在该新的图片中的相对位置的结果信息出现时,首先与所述条码的预测位置进行匹配,当两者位置吻合度满足阈值要求,则认为是所述条码为同一条码,将所述条码的信息添加到所述队列中。其中,所述条码的预测位置可根据步骤103所述的方法来实现。
步骤103、预测所述第n张图片中的条码在第n+1张抓拍图中的位置。
由于无法100%保证所有的条码每次都能被准确的识别出来,因此,可采用跟踪算法库去预测该条码在当前图片中的位置,并利用该预测位置评估该条码在x,y方向的移动速度,并预测其下次出现的大致位置。
本实施例中可利用跟踪算法,包括但不限于卡尔曼滤波(kalmanfilter)、粒子滤波(pf:particlefilter)等,实时预测所述第n张图片中的条码在第n+1张抓拍图中的位置。
本实施例中,也可根据所述条码在第n张图片中的相对位置,包裹的移动速度以及相机的抓拍周期来预测所述条码在第n+1张抓拍图中的位置。
步骤104、对所述包裹抓拍第n+1张图片。
本实施例中,在对所述包裹抓拍第n张图片后,在下一个抓拍周期到来时,对所述包裹抓拍第n+1张图片。
步骤105、对所述第n+1张图片中的条码进行识别,获取所述第n+1张图片中的条码的信息。
其中,所述第n+1张图片中的条码的信息包括所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置。作为一可选实施方式,所述条码的信息中包括的所述相对位置,为所述条码的外接多边形顶点如外接矩形的顶点在图片中的相对位置。
本实施例中,可实时调用条码识别算法获取当前抓拍图片中的条码的识别信息,获取所述条码相对于所述第n+1张图片的相对位置。
步骤106、判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配。
本实施例中,可通过判断条码的边缘是否吻合,来判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配。
作为一可选实施方式,可通过判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点与所述预测的位置的中心点之间的距离差是否满足预定的阈值要求,来判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配。经过判断,若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点与所述预测的位置的中心点之间的距离差满足预定的阈值要求,则可确定所述判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置相匹配。
本实施例中,若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述条码在第n+1张抓拍图中的预测位置相匹配,则执行步骤107。
步骤107、将所述第n+1张图片中的条码的信息加入到所述队列中。
本实施例中,若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置相匹配,则可确定所述述第n+1张图片中的条码,与所述述第n张图片中的所述条码是同一条码,因此将该同一条码的信息加入到同一队列中。若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置不相匹配,则将所述第n+1张图片中的条码的信息加入到另一队列中。例如,将不匹配的第n+1张图片的条码的信息加入新建的队列中。
步骤108、从对所述包裹抓拍的所有图片中筛选出最佳图片。
本实施例中,在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的所述条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片。本实施例中,可根据激光触发信号获取包裹离开视场的信号。
本实施例中,作为一可选实施方式,在所述包裹离开所述视场后,可先根据加入到所述队列中的条码在对应图片中的相对位置,分别计算各抓拍的图片中条码的中心,可表示为center={center1,center2,....centern-1,centern};然后在各抓拍的图片中,选择条码的中心距离对应图片的中心最近的图片,作为所述最佳图片、或者在各抓拍的图片中,选择条码的中心距离用户在对应图片中预设区域中心最近的图片,作为所述最佳图片。
图3所示为图片的中心和用户在图片中预设区域的示意图。
本发明实施例提供的物流包裹图片处理方法,通过上述步骤对条码进行识别及跟踪匹配,能够从对所述包裹抓拍的所有图片中筛选出最佳图片。
在前述物流包裹图片处理方法实施例一的基础上,作为一可选实施例,所述物流包裹图片处理方法,还可包括步骤:将筛选出的所述最佳图片输出。本实施例中,可将筛选出的所述最佳图片输出到数据库中,比如输出到个人计算机或手持终端的数据库中。
在前述物流包裹图片处理方法实施例一的基础上,作为另一可选实施例,所述条码的信息还包括所述条码的识别结果;所述处理方法,还包括对所述条码的识别结果进行字符融合的步骤。
本实施例中,对于所述条码而言,假设该条码跟踪数为m,由于外界干扰等因素的影响,无法保障该m次的识别结果会完全一模一样,因此就需要进行字符融合,输出最佳的识别结果。
图4为本发明物流包裹图片处理方法实施例中字符融合的流程示意图,参看图4,具体来讲,本实施例中,对所述条码的识别结果进行字符融合的步骤包括:
s11、对识别结果进行分类。
本实施例中,在所述包裹离开所述视场后,根据所述条码的识别结果中的字符数的多少,对所有抓拍的图片中条码的识别结果进行分类。比如,将所有抓拍的图片中条码的m个识别结果分为n类。
s12、从分类结果中挑选出包含类成员数量最多的一类。
图5所示为本实施例中字符融合的结构示意图。图5中,前6行字符串为从分类结果中挑选出的包含类成员数量(6个)最多的一类,最后一行为字符融合后的最终识别结果。
s13、对识别结果进行逐位分析,得到所述条码的最终识别结果。
本实施例中,在挑选出的所述类中,对所述条码的识别结果进行逐位分析,将在同一位当中出现频率最高的字符作为该位的识别结果,以得到所述条码的最终识别结果。作为一具体实施例,得到所述条码的最终识别结果,可参见图4中的最后一行字符串。
上述对所述条码的识别结果进行字符融合的步骤,可以在对最佳图片进行筛选之前进行,也可在其之后进行。
通过上述步骤,能够准确地确定出所述条码的最终识别结果,识别结果更加精确。
可选地,可将所述条码的最终识别结果进行输出。
作为一可选实施方式,可将所述条码的最终识别结果叠加在筛选出的最佳图片中。
例如,将条码的最终识别结果加在最佳图片的空白位置上,或,用条码的最终识别结果覆盖在最佳图片的对应条码上,或,将条码的最终识别结果加在最佳图片的对应条码的下方等。
图6为本发明物流包裹图片处理方法实施例二的流程示意图,本实施例适用于包裹在传送带上传输过程中对所述包裹信息的采集,如图6所示,本实施例的方法可以包括:
步骤201、对在视场中移动的包裹抓拍第n张图片。
本实施例中,n为自然数。
所述包裹可以是包装盒或包装袋等物品,在所述包裹的表面设有条码,所述条码的数量可以是一个或多个,所述条码的类型可以是一维码(又称条形码),也可以是二维码。本实施例中以所述条码的数量为多个为例进行说明。
当移动的包裹,如在传送带上的包裹,逐渐移动进入图片拍摄设备如相机的视场内时,图片拍摄设备则以预定的拍摄周期,如每隔0.3秒或0.5秒等,对视场中移动的包裹进行图片的抓拍,可获得所述包裹从进入视场到离开视场的一个图片序列。本实施例中,可根据激光触发信号获取包裹进入视场的信号。
步骤202、对所述第n张图片中的条码进行识别,获取多个条码的信息,并将每个条码的信息分别加入到不同的队列中;其中,每个条码的信息包括该条码相对于所述第n张图片的相对位置。
比如,本实施例中,可对所述第n张图片中的条码进行识别,获取第一条码的信息和第二条码的信息,并将所述第一条码的信息加入到第一队列中,将所述第二条码的信息加入到第二队列中。
其中,所述第一条码的信息包括所述第一条码相对于所述第n张图片的相对位置,所述第二条码的信息包括所述第二条码相对于所述第n张图片的相对位置。
作为一可选实施方式,任一图片中的一个条码相对于该图片的相对位置,包括:该条码的外接多边形顶点如外接矩形的顶点在该图片中的相对位置。
本实施例中,可实时调用条码识别算法获取当前抓拍图片中的条码的识别信息,获取所述第一条码和第二条码分别相对于所述第n张图片的相对位置。
本实施例中,当首次获得条码的信息时,可建立初始队列,并将首次获得的条码信息加入到该初始队列中。当新的图片及条码在该新的图片中的相对位置的结果信息出现时,首先与所述条码的预测位置进行匹配,当两者位置吻合度满足阈值要求,则认为是所述条码为同一条码,将所述条码的信息添加到所述队列中。当两者位置吻合度不满足阈值要求,则认为是所述条码为另一条码,则将所述另一条码的信息添加到另一队列中。其中,所述条码的预测位置可根据步骤203所述的方法来实现。
步骤203、预测所述第n张图片中的多个条码在第n+1张抓拍图中的位置。
在一张图片中有多个条码时,可以每个条码对应一个预测位置。
由于无法100%保证所有的条码每次都能被准确的识别出来,因此,可采用跟踪算法库去预测一条码在当前图片中的位置,并利用该预测位置评估该条码在x,y方向的移动速度,并预测其下次出现的大致位置。
本实施例中可利用跟踪算法,包括但不限于卡尔曼滤波(kalmanfilter)、粒子滤波(pf:particlefilter)等,实时预测所述第n张图片中的条码在第n+1张抓拍图中的位置。
本实施例中,也可根据所述条码在第n张图片中的相对位置,包裹的移动速度以及相机的抓拍周期来预测所述条码在第n+1张抓拍图中的位置。
步骤204、对所述包裹抓拍第n+1张图片。
本实施例中,在对所述包裹抓拍第n张图片后,在下一个抓拍周期到来时,对所述包裹抓拍第n+1张图片。
步骤205、对所述第n+1张图片中的多个条码进行识别,获取所述第n+1张图片中的多个条码的信息。
其中,所述第n+1张图片中的第一条码的信息包括所述第n+1张图片中的第一条码相对于所述第n+1张图片的相对位置,所述第n+1张图片中的第二条码的信息包括所述第二条码相对于所述第n+1张图片的相对位置。
作为一可选实施方式,所述第一条码的信息中包括的所述相对位置,为所述第一条码的外接多边形顶点如外接矩形的顶点在图片中的相对位置;所述第二条码的信息中包括的所述相对位置,为所述第二条码的外接多边形顶点如外接矩形的顶点在图片中的相对位置。
步骤206、针对所述第n+1张图片中的每个条码,判断该条码相对于所述第n+1张图片的相对位置的与该条码在第n+1张抓拍图中的预测位置是否相匹配。
本实施例中,针对所述第n+1张图片中的每个条码,判断该条码相对于所述第n+1张图片的相对位置的与该条码在第n+1张抓拍图中的预测位置是否相匹配的过程和方法,与上述方法实施例中的步骤106相似,在此不再赘述。
本实施例中,针对所述第n+1张图片中的每个条码,判断该条码相对于所述第n+1张图片的相对位置的与该条码在第n+1张抓拍图中的预测位置是否相匹配,若相匹配,则执行步骤207。
步骤207、将所述第n+1张图片中的相对位置和预测位置相匹配的每个条码的信息分别加入不同的队列。
比如,经过上述步骤206的判断,若所述第n+1张图片中的第一条码相对于所述第n+1张图片的相对位置,与所述第一条码在第n+1张抓拍图中的预测位置相匹配,则将所述第n+1张图片中的第一条码的信息加入到所述第一队列中;若所述第n+1张图片中的第二条码相对于所述第n+1张图片的相对位置,与所述第二条码在第n+1张抓拍图中的预测位置相匹配,则将所述第n+1张图片中的第二条码的信息加入到所述第二队列中。
步骤208、从对所述包裹抓拍的所有图片中筛选出最佳图片。
本实施例中,在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到各队列中的条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片。本实施例中,可根据激光触发信号获取包裹离开视场的信号。
本实施例中,作为一可选实施方式,在所述包裹离开所述视场后,根据加入到第一队列中的第一条码的信息和加入到第二队列中的第二条码的信息,分别计算各抓拍的图片中第一条码和第二条码的公共中心;在各抓拍的图片中,选择第一条码和第二条码的公共中心距离对应图片的中心最近的图片,作为所述最佳图片;或者在各抓拍的图片中,选择第一条码和第二条码的公共中心距离用户在对应图片中预设区域的中心最近的图片,作为所述最佳图片。
本发明实施例提供的物流包裹图片处理方法,通过上述步骤对抓拍图片中的多个条码分别进行识别及跟踪匹配,能够从对所述包裹抓拍的所有图片中筛选出最佳图片。
在前述物流包裹图片处理方法实施例二的基础上,作为一可选实施例,所述物流包裹图片处理方法,还可包括步骤:将筛选出的所述最佳图片输出。本实施例中,可将筛选出的所述最佳图片输出到数据库中,比如输出到个人计算机或手持终端的数据库中。
在前述物流包裹图片处理方法实施例二的基础上,作为另一可选实施例,所述条码的信息还包括所述条码的识别结果;所述处理方法,还包括对各个条码的识别结果分别进行字符融合的步骤。
本实施例中,对多个条码中的其中一个条码的识别结果进行字符融合的过程和步骤与上述方法实施例中图4所示的步骤相似,在此不再赘述。
在前述物流包裹图片处理方法实施例二的基础上,作为另一可选实施例,还可将所述多个条码的最终识别结果分别叠加在筛选出的最佳图片中。
例如,将第1条码的最终识别结果覆盖在最佳图片的第1条码上,将第2条码的最终识别结果覆盖在最佳图片的第2条码上,……将第m条码的最终识别结果覆盖在最佳图片的第m条码上,m为物流包裹上的条码个数。
或者,也可以将第1条码的最终识别结果加在最佳图片的第1条码下方,将第2条码的最终识别结果加在最佳图片的第2条码下方,……将第m条码的最终识别结果加在最佳图片的第m条码下方,m为物流包裹上的条码个数。
本实施例,通过上述步骤对抓拍图片中的多个条码分别进行识别及跟踪匹配,能够从对所述包裹抓拍的所有图片中筛选出最佳图片。
图7为本发明物流包裹图片处理装置实施例一的流程示意图,本实施例适用于包裹在传送带上传输过程中对所述包裹信息的采集,如图7所示,本实施例的物流包裹图片处理装置可以包括:第一拍照模块11、第一识别模块12、预测模块13、第二拍照模块14、第二识别模块15、匹配模块16、筛选模块17;其中,
第一拍照模块11,用于对在视场中移动的包裹抓拍第n张图片;其中,n为自然数;
第一识别模块12,用于对所述第n张图片中的条码进行识别,获取所述条码的信息,并将所述条码的信息加入到队列中;其中,所述条码的信息包括所述条码相对于所述第n张图片的相对位置;
预测模块13,用于预测所述第n张图片中的条码在第n+1张抓拍图中的位置;
第二拍照模块14,用于对所述包裹抓拍第n+1张图片;
第二识别模块15,用于对所述第n+1张图片中的条码进行识别,获取所述第n+1张图片中的条码的信息;其中,所述第n+1张图片中的条码的信息包括所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置;
匹配模块16,用于判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置是否相匹配;若相匹配,则将所述第n+1张图片中的条码的信息加入到所述队列中;
筛选模块17,用于在所述包裹离开所述视场后,根据预先设置的条码相对于图片的最佳相对位置以及加入到所述队列中的条码的信息,从对所述包裹抓拍的所有图片中筛选出最佳图片。
本实施例中,所述第一拍照模块11和第二拍照模块14,可以是同一个模块,也可以是两个不同的模块,优选为同一个模块。同理,所述第一识别模块12和第二识别模块15可以是同一个模块,也可以是两个不同的模块,优选为同一个模块。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在所述的物流包裹图片处理装置实施例一中,可选地,任一图片中的一个条码相对于该图片的相对位置,包括:该条码的外接多边形顶点在该图片中的相对位置。
在所述的物流包裹图片处理装置实施例一中,可选地,所述匹配模块16,可以包括:
第一确定子模块,用于确定所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点,以及确定所述预测的位置的中心点;
判断子模块,用于判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置的中心点与所述预测的位置的中心点之间的距离差是否满足预定的阈值要求;若满足预定的阈值要求,则确定所述判断所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置相匹配。
本实施例中,若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置相匹配,则可确定所述述第n+1张图片中的条码,与所述述第n张图片中的所述条码是同一条码,因此将该同一条码的信息加入到同一队列中;若所述第n+1张图片中的条码相对于所述第n+1张图片的相对位置,与所述预测的位置不相匹配,则可确定所述述第n+1张图片中的条码,与所述述第n张图片中的所述条码不是同一条码,因此将该不同的条码的信息分别加入到另一队列中。
在所述的物流包裹图片处理装置实施例一中,可选地,所筛选模块17,可以包括:第二确定子模块和筛选子模块;其中,
第二确定子模块,用于在所述包裹离开所述视场后,根据加入到所述队列中的条码的信息,分别计算各抓拍的图片中条码的中心;
筛选子模块,用于在各抓拍的图片中,选择条码的中心距离对应图片的中心最近的图片,作为所述最佳图片;或者在各抓拍的图片中,选择条码的中心距离用户在对应图片中预设区域的中心最近的图片,作为所述最佳图片。
在所述的物流包裹图片处理装置实施例一中,可选地,所述的物流包裹图片处理装置,还可包括:图片输出模块,用于将所述筛选模块筛选出的所述最佳图片输出。本实施例中,可将筛选出的所述最佳图片输出到数据库中,比如输出到个人计算机或手持终端的数据库中。
在所述的物流包裹图片处理装置实施例一中,可选地,所述条码的信息还包括所述条码的识别结果。相应地,所述物流包裹图片处理装置,还可包括:字符融合模块,用于在所述包裹离开所述视场后,根据所述条码的识别结果中的字符数的多少,对所有抓拍的图片中条码的识别结果进行分类;从分类结果中挑选出包含类成员数量最多的一类;在挑选出的所述类中,对所述条码的识别结果进行逐位分析,将在同一位当中出现频率最高的字符作为该位的识别结果,以得到所述条码的最终识别结果。
本实施例中字符融合模块对条码的识别结果进行字符融合的方法和过程与上述方法实施例一中的类似,在此不再赘述。
本实施例,通过上述字符融合技术,能够准确地确定出所述条码的最终识别结果,识别结果更加精确。
在所述的物流包裹图片处理装置实施例一中,可选地,所述的物流包裹图片处理装置,还可包括:叠加模块,用于将所述条码的最终识别结果叠加在筛选出的最佳图片中。
作为一可选实施方式,在抓拍的图片中存在多个条码的情况下,所述第一识别模块,可具体用于对所述第n张图片中的条码进行识别,获取多个条码的信息,并将每个条码的信息分别加入到不同的队列中;其中,每个条码的信息包括该条码相对于所述第n张图片的相对位置。
所述匹配模块,可具体用于针对所述第n+1张图片中的每个条码,判断该条码相对于所述第n+1张图片的相对位置的中心点与该条码在第n+1张抓拍图中的预测位置的中心点之间的距离差是否满足预定阈值要求,若满足预定阈值要求,则确定该条码相对于所述第n+1张图片的相对位置,与该条码在第n+1张抓拍图中的预测位置相匹配,将所述第n+1张图片中的相对位置和预测位置相匹配的每个条码的信息分别加入不同的队列。
所述筛选模块,可具体用于在所述包裹离开所述视场后,针对各抓拍的图片,从多个队列中分别获取该图片中每个条码相对于该图片的相对位置,并计算该图片中多个条码的公共中心;在各抓拍的图片中,选择多个条码的公共中心距离对应图片的中心最近的图片,作为所述最佳图片;或者在各抓拍的图片中,选择多个条码的公共中心距离预设区域中心最近的图片,作为所述最佳图片。
本实施例,通过对抓拍图片中的多个条码分别进行识别及跟踪匹配,能够从对所述包裹抓拍的所有图片中筛选出最佳图片。
本发明实施例还提供一种物流包裹图片处理系统,包括:传送带和如前述任一实施方式所述的物流包裹图片处理装置;其中,所述传送带用于对包裹进行传送;所述物流包裹图片处理装置,用于在放置在所述传送带上的包裹进入视场时,对其进行拍照和对所拍的图片进行处理。
本发明实施例提供的物流包裹图片处理系统,可以用于执行图1或图6所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。