专利名称：闭环的图像比较方法
技术领域：
本发明涉及一种图象处理技术，尤其涉及一种闭环的图像比较方法。
背景技术：
在工业生产中，图像比较系统能实时检测设备或者产品(下面统称为对象)的外 观是否存在异常，提高自动化程度。图像比较系统首先拍摄并存储已知无异常对象(称 为基准对像)的图像(下面称为基准图像)，然后拍摄待确认对象(下面称为比较对象)得 到比较图像，再用比较图像与基准图像进行比较，如果比较图像与基准图像差异小(下 文称命中)，则比较对象与基准对象为同类，也就是说比较对象无异常，否则比较对象与 基准对象为异类，也就是说比较对象异常。其中图像比较的依据的差异性度量通常是图 像样本的距离或夹角。当样本距离或夹角小于指定阈值，则图像比较系统判定比较对象 和基准对象为同类，否则判定为异类。对象位姿变化不大时，上述图像差异性度量即可 为图像比较提供可靠的依据。当对象位姿发生较大变化时，上述系统中所用图像距离比较方法面临复杂的图 像形变问题。这种形变来自于透视变换和镜头畸变等诸多因素。处理好上述形变问题通 常需要准确获得对象位姿与形变模型，而这二者皆难获取。在应对图像形变问题时，传 统的图像比较系统(中国专利公开CN 1565000A、CN 1871622B和CN 101777129A,日 本专利公开JP2000-322577、JP2002-024830和JP2003-058896)通常需要使用比较图像产 生装置或基准图像产生装置。中国专利公开CN 1565000A所述的基准图像选择装置82还 要求先获取对象的三维信息(包含对象位姿信息)。比较图像产生装置和基准图像产生装 置需要获取准确的检测对象的位姿和形变模型。位姿的获取通常需要精密测量设备，这 将带来成本的增加；形变模型包含复杂的透视模型和镜头畸变模型，难以获取。比较图 像产生和基准图像产生本身需要较大的时间开销，且容易带来数值运算误差。在现实世界中，以下假设通常成立1，对于比较对象是否与基准对象为同类的问题，人工判定结果总是正确的，2，位姿的随机误差在误差区间内不服从均勻分布，3，除非有突发事件，位姿的系统误差变化缓慢。假设1就是说图像比较系统判定的正确性总是可以由人工判定结果来检验，这 要求实施人工判定的操作人员具备足够的背景知识。假设2就是说在误差区间内，有 的误差出现的概率高，有的误差出现的概率低，图2是一个位姿误差概率密度分布示意 图，图中阴影区间对应的误差出现的概率较高。例如工业设备现场中，被检测对像通 常受机电设备的控制，其位姿误差往往直接或者间接来自于齿轮或丝杆等传动装置的误 差，也可能来自伺服马达或者液压缸驱动马达的误差。文献(齿轮系统传动误差的蒙特 卡洛模拟分析，仪器仪表学报.200425 (4)陈文华等)指出齿轮系统中各项误差具有不同 概率分布规律的特点。步进马达失步带来误差通常靠近与失步步数有关的离散值。由此 推断，下一次出现的误差更大可能靠近过去较多出现的误差。如图2所示，下一次出现的误差更大可能落在阴影部分所在误差区间。由假设3进一步推论，除非有突发事件， 位姿误差序列具有强的自相关性，下一次的位姿误差更大概率地靠近新近出现的位姿误差。基于以上假设，将过去的位姿误差进行统计，可以预测基准图像在下一次比较 中命中的概率。本文并非断言上述两条假设在所有的应用场合成立。但是认为其在部分 场合下是成立的，本文叙述的发明适用于上述假设成立的场合。
发明内容
本发明的目的就是提供一种闭环的图像比较方法，用以在对象位姿存在较大变 化的情况下，不获取准确的检测对象的位姿和形变模型等数据即可实现快速精确的图像 比较。在处理大位姿误差情况下的图像比较问题时，传统的图像比较系统和方法通常 需要使用比较图像产生装置、基准图像产生装置和(或)基于对像三维信息的基准图像选 择装置，这些装置通常需要获取对象位姿和形变模型。传统的图像比较方法存在以下缺 陷1，需要获取精确的对象位姿数据，2，需要建立描述图像形变与位姿误差映射关系的数学模型，即形变模型，3，图像比较的结果容易受对象位姿数据和形变模型的误差影响，4，比较图像或基准图像产生过程的时间开销大，且容易带来数值误差。本发明所提出的一种闭环的图像比较方法通过一种闭环的图像比较系统实施， 该系统包括图像采集装置，用于采集需要进行比较的图像；基准图像存储装置，用于存储至少一个基准图像；图像比较装置，包含计算装置，用于读取基准图像和比较图像，并根据基准图 像和比较图像之间的差异性度量执行图像比较；基准图像排序/选择执行装置，用于执行对基准图像的排序，并从基准图像存 储装置中选择基准图像提供给图像比较装置；学习/预估装置，用于根据过去的比较结果样本估计或隐含估计未来位姿误差 的概率，在此基础上，若误报事件发生，则至少执行操作A-C之一A，将最新比较图像追加为基准图像并存储到基准图像存储装置，然后对基准 图像的排序进行决策，基准图像排序/选择执行装置在此决策下对基准图像队列实施排 序，B，根据比较结果样本数据，人工判定是否需要追加基准图像，若人工判定操作 得出需要追加基准图像的结论，则执行操作A，C，根据比较结果样本数据，人工判定是否不需要追加基准图像，包含人工无法 判定的情况在内，若人工判定操作未得出不需要追加基准图像的结论，则执行操作A。上述步骤A-C的选择建立在实施者对以下因素的综合考虑操作员培训成本、 开发成本、图像比较准确度和操作员的操作习惯等等。操作B和操作C对操作员的背景 知识有更高的要求。在具体的计算机程序中，也可以将此选择的权利以软件菜单的方法授权给操作员，这样的话，操作员可以选择一个最合适的操作方式满足自己的需求。上述系统在逻辑意义上包含上述装置，这些装置在物理构成上可以归属于同一 个计算机或同一个数字信号处理电路或者同一个集成电路芯片，这种物理构成上的重叠 不影响上述装置在逻辑意义上的独立性和存在性。因为同一个物理意义上的装置在不同 的时刻有可能充当逻辑意义上的不同装置的角色。例如，同一个微处理器先后执行基准 图像排序和距离比较两种操作的计算，这也改变不了图像比较装置和学习/预估装置的 逻辑意义上的独立性和存在性。若操作中涉及到从一个装置传输数据到另外一个装置， 而这些装置在物理构成上为相同装置，则将该传输操作理解为空操作或者数据存储操 作。上述图像采集装置的物理构成通常是数字摄像机，或者摄像机与图像采集卡的 组合，所述图像采集装置通过数字通信方式传送到计算机或者具有图像处理能力的数字 逻辑电路，其中数字通信方式是计算机总线或者计算机网络中的一种；上述摄像机通常使用CMOS图像传感器、CCD图像传感器或者热成像图像传感 器，所述摄像机的镜头使用液态或固态的光学透镜或透镜组。所述基准图像存储装置，通常是磁性介质、光介质或者半导体介质存储器中的 一种，并且是掉电易失性和掉电非易失性存储器中的一种；所述图像存储器通常通过计算机总线与处理器进行连接，或者通过计算机网络 连接。所述闭环的图像比较方法包括以下步骤a,采集比较图像；b，按照基准图像次序，依次选择基准图像；C,依次执行所选基准图像与比较图像的基于差异性度量的图像比较；d，根据过去的比较结果样本估计或隐含估计未来位姿误差的概率，在此基础 上，若误报事件发生，则执行以下步骤之一e,追加基准图像后对基准图像进行排序，f，根据比较结果样本数据，人工判定是否需要追加基准图像，若人工判定操作 得出需要追加基准图像的结论，则执行步骤e，g，根据比较结果样本数据，人工判定是否不需要追加基准图像，包含人工无法 判定的情况在内，若人工判定操作未得出不需要追加基准图像的结论，则执行步骤e。上述比较方法通常在一个计算机系统或者一个具备数字信号处理功能的逻辑电 路上实现。步骤的次序表示后一个步骤需要使用前一个步骤的部分或者全部处理结果， 后一个步骤的至少一部分操作在前一个步骤的至少一部分操作完成之后实施，而不排斥 后一个步骤的一部分操作在前一个步骤的一部分操作完成之前完成。本发明涉及的闭环的图像比较方法无须使用比较图像产生装置和基准图像产生 装置，这避免了获取准确的检测对象位姿和成像系统形变模型的要求，且省略了比较图 像产生或基准图像产生的时间开销。具有以下优点1，无须获取对象位姿数据，2，无须建立描述图像形变与位姿误差映射关系的数学模型，3，无须使用比较图像产生装置和基准图像产生装置，避免了比较图像或基准图像产生过程的时间开销和数值误差，4，本发明所涉及基准图像追加操作，可以动态完善基准图像库，从而提高图像 比较准确度，5，本发明所涉及的闭环的图像比较方法和闭环比较系统将大位姿误差条件下的 图像比较问题简化为小位姿误差条件下的图像比较问题，6，本发明所涉及基准图像排序方法可以减少基准图像数量增加带来的效率损 失。总之，使用本发明在对象位姿较大变化的情况下，不获取准确的对象位姿和形 变模型等数据即可实现快速精确的图像比较。
图1示出用于实施本发明所用的闭环的图像比较系统，以及实施例一与实施例 二的方框图。图2示出典型的位姿误差概率非均勻分布示意图。图3示出本发明和实施例一的1 N比较的操作流程图。图4示出所有实施例用的1 1的基于差异性度量的比较流程图。图5示出实施例二的1 N比较的总体流程图。图6示出实施例三的方框图。图7示出实施例三的1 N比较操作流程图。图8示出实施例四的方框图。图9示出实施例四的1 N比较操作流程图。图10示出实施例五的方框图。图11示出实施例五的1 N比较操作流程图
具体实施例方式以下结合附图及较佳实施例，对依据本发明提出的图像比较方法详细说明如 下。为了描述简单，下面的实施例中均以使用一个比较图像对对象进行比较为例进 行说明。若需要使用一组(多个)比较图像对对象外进行比较，只需要在具体的实施中 将一组比较图像理解为一个新的比较图像的多个区域，而将一组基准图像理解为一个新 的基准图像的多个区域，新的比较区域为该组基准图像各比较区域的并集。使用多个图 像通常可以对对象实施更全面的比较，如使用多个摄像机进行多角度比较。下面的实施例中如涉及到一次排序和二次排序的操作的叙述，参考以下约定一次排序是指，上一轮图像比较(一个比较图像和基准图像队列中的多个基准 图像比较，称1 N比较)之后，还没有获取新一轮比较(1 N)的比较图像之前实施 的对基准图像队列的排序。二次排序是指，当前一轮图像比较(1 N)操作中，比较图像采集完成之后对基 准图像队列实施的排序；所有实施例中，基准图像编号指排序编号，为自然数，数字1表示最先使用的基准图像，数字越小，越先使用。第一实施例图1给出了第一实施例的方框图，图3给出了第一实施例的流程图。参考数字105表示图像采集装置，用于采集需要进行比较的图像；102表示基准 图像存储装置，用于存储至少一个基准图像；104表示基准图像排序/选择执行装置，用 于执行对基准图像的排序和选择；107表示学习/预估装置，用于学习过去的比较结果样 本，预估(或者在排序操作中隐含估计)下一个比较图像对应的误差的概率分布，若发生 误报事件，将最新比较图像追加为基准图像并存储到基准图像存储装置，然后对基准图 像的排序进行决策；106表示图像比较装置，用于执行根据基准图像和比较图像之间的 基于差异性度量的图像比较。表一，比较结果的样本空间权利要求
1.一种闭环的图像比较方法，其特征在于包含以下步骤 a,采集比较图像；b，按照基准图像次序，依次选择基准图像；c,依次执行所选基准图像与比较图像的基于差异性度量的图像比较；d,根据过去的比较结果样本估计或隐含估计未来位姿误差的概率，在此基础上，若 没有图像命中且人工判定比较对象和基准对象为同类，即误报事件发生，则执行以下步 骤之一e,追加基准图像后对基准图像进行排序；f，根据比较结果样本数据，人工判定是否需要追加基准图像，若人工判定操作得出 需要追加基准图像的结论，则执行步骤e ；g，根据比较结果样本数据，人工判定是否不需要追加基准图像，包含人工无法判定 的情况在内，若人工判定操作未得出不需要追加基准图像的结论，则执行步骤e。
2.根据权利要求1所述的方法，其特征在于在步骤c中基于差异性度量的图像比较操作中使用一种预先定义的基准图像和比较图 像之间的差异性度量的定义；实施基于差异性度量的图像比较操作时，根据差异性度量的定义计算出差异性度量 值，并用该差异性度量值与设定的差异性度量阈值相比较；根据差异性度量的定义，若较大的差异性度量值映射较大的图像差异，则当计算的 度量值小于阈值时判定基准图像和比较图像差异小，即基准图像被命中，否则差异大， 即基准图像未被命中；根据差异性度量的定义，若较大的差异性度量值映射较小的图像差异，则当计算的 度量值大于阈值时判定基准图像和比较图像差异小，即基准图像被命中，否则差异大， 即基准图像未被命中。
3.根据权利要求2所述的方法，其特征在于在步骤c中使用图像距离作为基准图像与比较图像的差异性度量； 用于计算图像距离的样本的随机变量是量化的像素灰度值，量化的像素颜色值， 或者图像直方图中的像素灰度值的频率值；当图像距离值小于指定阈值时判定基准图像和比较图像差异小，即基准图像被命 中，否则差异大，即基准图像未被命中；
4.根据权利要求2所述的方法，其特征在所述于在步骤c中使用图像相似度作为基准图像与比较图像的差异性度量； 用于计算图像相似度的样本的随机变量是量化的像素灰度值，量化的像素颜色 值，或者图像直方图中的像素灰度值的频率值；当图像相似度大于指定阈值时判定基准图像和比较图像差异小，即基准图像被命 中，否则差异大，即基准图像未被命中。
5.根据权利要求2所述的方法，其特征在于 误事件发生时，执行步骤g;步骤g中包含以下操作人工判定图像比较参数是否过于严格，若图像比较参数过于严格，则得出不需要追加基准图像的结论，并在此基础上修改基于差异性度量的图像比较所用的参数，否则认 为人工判断不能得出不需要追加基准图像的结论，在此基础上追加基准图像然后对基准 图像进行排序；上述参数修改操作朝着减少误报事件的概率的方向进行。
6.根据权利要求2所述的方法，其特征在于步骤d还包含以下步骤h，在所述追加基准图像的操作执行后，基准图像的数量超过了设置的最大数量，则 删除基准图像队列尾的基准图像。
7.根据权利要求1-6之一所述的方法，其特征在于步骤d还包括以下步骤i，若执行了追加基准图像的操作，则在所述追加基准图像的操作执行后，对基准图 像实施排序，将追加的基准图像排列在基准图像队列首位置。
8.根据权利要求1-6之一所述的方法，其特征在于步骤d还包括以下步骤i，根据上最新一轮的比较结果，若没有命中的基准图像，且人工判定比较图像和基 准图像为异类，则最终判定比较图像和基准图像为异类，完成该轮比较。
9.根据权利要求1-6之一所述的方法，其特征在于步骤d至少包括以下步骤之一 k，根据最新一轮的比较结果，若产生了命中的基准图像，且基准图像数量多于1时，则对基准图像实施排序，然后将所命中的基准图像在基准图像队列中的位置向队首 靠近，最终判定比较图像和基准图像为同类，完成该轮比较；1，根据最新一轮的比较结果，若产生了命中的基准图像，则最终判定比较图像和基 准图像为同类，完成该轮比较。
10.根据权利要求1-6之一所述的方法，其特征在于步骤g还包括步骤mm，步骤g中包含以下操作人工判定图像比较参数是否过于严格，若图像比较参数 没有过于严格，则认为人工判定未得出不需要追加基准图像的结论，在此基础上追加基 准图像然后对基准图像进行排序，否则认为人工判定操作得出了不需要追加基准图像的 结论，并且修改基于差异性度量的图像比较所用的参数，即至少执行步骤ο和步骤ρ之O，朝着减少误报事件的概率的方向修改差异性度量阈值； P，缩小图像比较区域。
11.根据权利要求1-6之一所述的方法，其特征在于 步骤a和步骤b之间包括步骤q q，先提取比较图像的显著特征，然后比较图像和基准图像的显著特征之间的差异， 然后按照显著特征差异的程度对基准图像实施排序； 步骤d中包含步骤r r，若实施了追加基准图像操作，则在追加基准图像之后和新一轮图像比较中的步骤 h完成之前提取并存储所追加基准图像的显著特征。
全文摘要
本发明公开了一种闭环的图像比较方法，主要包括以下步骤采集比较图像、选择基准图像、根据基准图像和比较图像之间的差异性度量执行图像比较、以及根据过去的比较结果样本估计或隐含估计未来位姿误差的概率，在设定的情况下追加基准图像后对基准图像进行排序，并从基准图像存储装置中选择基准图像提供给图像比较装置，以实现在对象位姿存在较大变化的情况下，不获取准确的检测对象的位姿和形变模型等数据即可实现快速精确的图像比较。
文档编号G06T7/00GK102013018SQ20101057136
公开日2011年4月13日 申请日期2010年12月3日 优先权日2010年12月3日
发明者黄晓峰 申请人:黄晓峰