专利名称：闭环的图像比较系统的制作方法
技术领域：
本发明涉及一种图象处理技术，尤其涉及一种闭环的图像比较系统。
背景技术：
在工业生产中，图像比较系统能实时检测设备或者产品(下面统称为对象)的外 观是否存在异常，提高自动化程度。图像比较系统首先拍摄并存储已知无异常对象(称为 基准对像)的图像(下面称为基准图像)，然后拍摄待确认对象(下面称为比较对象)得到 比较图像，再用比较图像与基准图像进行比较，如果比较图像与基准图像差异小(下文称 命中)，则比较对象与基准对象为同类，也就是说比较对象无异常，否则比较对象与基准对 象为异类，也就是说比较对象异常。其中图像比较的依据的差异性度量通常是图像样本的 距离或夹角。当样本距离或夹角小于指定阈值，则图像比较系统判定比较对象和基准对象 为同类，否则判定为异类。对象位姿变化不大时，上述图像差异性度量即可为图像比较提供 可靠的依据。当对象位姿发生较大变化时，上述图像距离比较系统面临复杂的图像形变问 题。这种形变来自于透视变换和镜头畸变等诸多因素。处理好上述形变问题通常需要准 确获得对象位姿与形变模型，而这二者皆难获取。在应对图像形变问题时，传统的图像 比较系统(中国专利公开CN 1565000A、CN 1871622B和CN 101777129A，日本专利公开 JP2000-322577、JP2002-024830和JP2003-058896)通常需要使用比较图像产生装置或基 准图像产生装置。中国专利公开CN 1565000A所述的基准图像选择装置82还要求先获取 对象的三维信息(包含对象位姿信息)。比较图像产生装置和基准图像 产生装置需要获取 准确的检测对象的位姿和形变模型。位姿的获取通常需要精密测量设备，这将带来成本的 增加；形变模型包含复杂的透视模型和镜头畸变模型，难以获取。比较图像产生和基准图像 产生本身需要较大的时间开销，且容易带来数值运算误差。在现实世界中，以下假设通常成立1，对于比较对象是否与基准对象为同类的问题，人工判定结果总是正确的，2，位姿的随机误差在误差区间内不服从均勻分布，3，除非有突发事件，位姿的系统误差变化缓慢。假设1就是说图像比较系统判定的正确性总是可以由人工判定结果来检验，这要 求实施人工判定的操作人员具备足够的背景知识。假设2就是说在误差区间内，有的误差 出现的概率高，有的误差出现的概率低，图2是一个位姿误差概率密度分布示意图，图中阴 影区间对应的误差出现的概率较高。例如工业设备现场中，被检测对像通常受机电设备的 控制，其位姿误差往往直接或者间接来自于齿轮或丝杆等传动装置的误差，也可能来自伺 服马达或者液压缸驱动马达的误差。文献(齿轮系统传动误差的蒙特卡洛模拟分析，仪器 仪表学报.200425 (4)陈文华等)指出齿轮系统中各项误差具有不同概率分布规律的特点。 步进马达失步带来误差通常靠近与失步步数有关的离散值。由此推断，下一次出现的误差 更大可能靠近过去较多出现的误差。如图2所示，下一次出现的误差更大可能落在阴影部分所在误差区间。由假设3进一步推论，除非有突发事件，位姿误差序列具有强的自相关 性，下一次的位姿误差更大概率地靠近新近出现的位姿误差。基于以上假设，将过去的位姿误差进行统计，可以预测基准图像在下一次比较中 命中的概率。本文并非断言上述两条假设在所有的应用场合成立。但是认为其在部分场合 下是成立的，本文叙述的发明适用于上述假设成立的场合。
发明内容
本发明的目的就是提供一种闭环的图像比较系统，用以在对象位姿存在较大变化 的情况下，不获取准确的检测对象的位姿和形变模型等数据即可实现快速精确的图像比较。在处理大位姿误差情况下的图像比较问题时，传统的图像比较系统和方法通常需 要使用比较图像产生装置、基准图像产生装置和(或)基于对像三维信息的基准图像选择 装置，这些装置通常需要获取对象位姿和形变模型。传统的图像比较系统和方法存在以下 缺陷1，需要获取精确的对象位姿数据，2，需要建立描述图像形变与位姿误差映射关系的数学模型，即形变模型，3，图像比较的结果容易受对象位姿数据和形变模型的误差影响，4，比较图像或基准图像产生过程的时间开销大，且容易带来数值误差。本发明所提出的一种闭环图像比较系统，其包括图像采集装置，用于采集需要进行比较的图像；基准图像存储装置，用于存储至少一个基准图像；图像比较装置，包含计算装置，用于读取基准图像和比较图像，并根据基准图像和 比较图像之间的差异性度量执行图像比较；基准图像排序/选择执行装置，用于执行对基准图像的排序，并从基准图像存储 装置中选择基准图像提供给图像比较装置；学习/预估装置，用于根据过去的比较结果样本估计或隐含估计未来位姿误差的 概率，在此基础上，若误报事件发生，则执行操作A-C之一A，将最新比较图像追加为基准图像并存储到基准图像存储装置，然后对基准图像 的排序进行决策，基准图像排序/选择执行装置在此决策下对基准图像队列实施排序，B，根据比较结果样本数据，人工判定是否需要追加基准图像，若人工判定操作得 出需要追加基准图像的结论，则执行操作A，C，根据比较结果样本数据，人工判定是否不需要追加基准图像，包含人工无法判 定的情况在内，若人工判定操作未得出不需要追加基准图像的结论，则执行操作A。 上述步骤A-C的选择建立在实施者对以下因素的综合考虑操作员培训成本、开 发成本、图像比较准确度和操作员的操作习惯等等。操作B和操作C对操作员的背景知识 有更高的要求。在具体的计算机程序中，也可以将此选择的权利以软件菜单的方法授权给 操作员，这样的话，操作员可以选择一个最合适的操作方式满足自己的需求。上述系统在逻辑意义上包含上述装置，这些装置在物理构成上可以归属于同一个 计算机或同一个数字信号处理电路或者同一个集成电路芯片，这种物理构成上的重叠不影响上述装置在逻辑意义上的独立性和存在性。因为同一个物理意义上的装置在不同的时刻 有可能充当逻辑意义上的不同装置的角色。例如，同一个微处理器先后执行基准图像排序 和距离比较两种操作的计算，这也改变不了图像比较装置和学习/预估装置的逻辑意义上 的独立性和存在性。若操作中涉及到从一个装置传输数据到另外一个装置，而这些装置在 物理构成上为相同装置，则将该传输操作理解为空操作或者数据存储操作。上述图像采集装置的物理构成通常是数字摄像机，或者摄像机与图像采集卡的组 合，所述图像采集装置通过数字通信方式传送到计算机或者具有图像处理能力的数字逻辑 电路，其中数字通信方式是计算机总线或者计算机网络中的一种；上述摄像机通常使用CMOS图像传感器、CXD图像传感器或者热成像图像传感器， 所述摄像机的镜头使用液态或固态的光学透镜或透镜组。所述基准图像存储装置，通常是磁性介质、光介质或者半导体介质存储器中的一 种，并且是掉电易失性和掉电非易失性存储器中的一种；所述图像存储器通常通过计算机总线与处理器进行连接，或者通过计算机网络连接。所述闭环图像比较系统使用一种闭环图像比较方法，该方法包括以下步骤a，采集比 较图像；b，按照基准图像次序，依次选择基准图像；C，依次执行所选基准图像与比较图像的基于差异性度量的图像比较；d，根据过去的比较结果样本估计或隐含估计未来位姿误差的概率，在此基础上， 若误报事件发生，则执行以下步骤之一e，追加基准图像后对基准图像进行排序，f，根据比较结果样本数据，人工判定是否需要追加基准图像，若人工判定操作得 出需要追加基准图像的结论，则执行操作e，g，根据比较结果样本数据，人工判定是否不需要追加基准图像，包含人工无法判 定的情况在内，若人工判定操作未得出不需要追加基准图像的结论，则执行操作e。上述比较方法通常在一个计算机系统或者一个具备数字信号处理功能的逻辑电 路上实现。步骤的次序表示后一个步骤需要使用前一个步骤的部分或者全部处理结果，后 一个步骤的至少一部分操作在前一个步骤的至少一部分操作完成之后实施，而不排斥后一 个步骤的一部分操作在前一个步骤的一部分操作完成之前完成。本发明涉及闭环的比较系统无须使用比较图像产生装置和基准图像产生装置，这 避免了获取准确的检测对象位姿和成像系统形变模型的要求，且省略了比较图像产生或基 准图像产生的时间开销。具有以下优点 1，无须获取对象位姿数据，2，无须建立描述图像形变与位姿误差映射关系的数学模型，3，无须使用比较图像产生装置和基准图像产生装置，避免了比较图像或基准图像 产生过程的时间开销和数值误差，4，本发明所涉及基准图像追加操作，可以动态完善基准图像库，从而提高图像比 较准确度，5，本发明所涉及的闭环比较系统将大位姿误差条件下的图像比较问题简化为小位姿误差条件下的图像比较问题，6，本发明所涉及基准图像排序方法可以减少基准图像数量增加带来的效率损失。总之，使用本发明在对象位姿较大变化的情况下，不获取准确的对象位姿和形变 模型等数据即可实现快速精确的图像比较。
图1示出本发明的闭环的图像比较系统，以及实施例一与实施例二的方框图。图2示出典型的位姿误差概率非均勻分布示意图。图3示出本发明和实施例一的1 N比较的操作流程图。图4示出所有实施例用的1 1的基于差异性度量的比较流程图。
图5示出实施例二的1 N比较的总体流程图。图6示出实施例三的方框图。图7示出实施例三的1 N比较操作流程图。图8示出实施例四的方框图。图9示出实施例四的1 N比较操作流程图。图10示出实施例五的方框图。图11示出实施例五的1 N比较操作流程图以下结合附图及较佳实施例，对依据本发明提出的图像比较方法详细说明如下。为了描述简单，下面的实施例中均以使用一个比较图像对对象进行比较为例进行 说明。若需要使用一组(多个)比较图像对对象外进行比较，只需要在具体的实施中将一 组比较图像理解为一个新的比较图像的多个区域，而将一组基准图像理解为一个新的基准 图像的多个区域，新的比较区域为该组基准图像各比较区域的并集。使用多个图像通常可 以对对象实施更全面的比较，如使用多个摄像机进行多角度比较。下面的实施例中如涉及到一次排序和二次排序的操作的叙述，参考以下约定一次排序是指，上一轮图像比较(一个比较图像和基准图像队列中的多个基准图 像比较，称1 N比较)之后，还没有获取新一轮比较(1 N)的比较图像之前实施的对基 准图像队列的排序。二次排序是指，当前一轮图像比较(1 N)操作中，比较图像采集完成之后对基准 图像队列实施的排序；所有实施例中，基准图像编号指排序编号，为自然数，数字1表示最先使用的基准 图像，数字越小，越先使用。第一实施例图1给出了第一实施例的方框图，图3给出了第三实施例的流程图。参考数字105表示图像采集装置，用于采集需要进行比较的图像；102表示基准图 像存储装置，用于存储至少一个基准图像；104表示基准图像排序/选择执行装置，用于执 行对基准图像的排序和选择；107表示学习/预估装置，用于学习过去的比较结果样本，预 估(或者在排序操作中隐含估计)下一个比较图像对应的误差的概率分布，若发生误报事 件，将最新比较图像追加为基准图像并存储到基准图像存储装置然后对基准图像的排序进 行决策；106表示图像比较装置，用于执行根据基准图像和比较图像之间的基于差异性度
权利要求
1.一种闭环的图像比较系统，其特征在于包括 图像采集装置，用于采集需要进行比较的图像； 基准图像存储装置，用于存储至少一个基准图像；图像比较装置，包含计算装置，用于读取基准图像和比较图像，并根据基准图像和比较 图像之间的差异性度量执行图像比较；基准图像排序/选择执行装置，用于执行对基准图像的排序，并从基准图像存储装置 中选择基准图像提供给图像比较装置；学习/预估装置，用于根据过去的比较结果样本估计或隐含估计未来位姿误差的概 率，在此基础上，若没有图像命中且人工判定比较对象和基准对象为同类，即误报事件发 生，则执行操作A-C之一A，将最新比较图像追加为基准图像并存储到基准图像存储装置，然后对基准图像的排 序进行决策，基准图像排序/选择执行装置在此决策下对基准图像队列实施排序，B，根据比较结果样本数据，人工判定是否需要追加基准图像，若人工判定操作得出需 要追加基准图像的结论，则执行操作A，C，根据比较结果样本数据，人工判定是否不需要追加基准图像，包含人工无法判定的 情况在内，若人工判定操作未得出不需要追加基准图像的结论，则执行操作A。
2.根据权利要求1所述的系统，其特征在于图像比较装置中定义一种基准图像和比较图像之间的差异性度量，所述图像比较装置 计算出该差异性度量值，并用该差异性度量值与设定的差异性度量阈值相比较；根据差异性度量的定义，若较大的度量值映射较大的图像差异，则当计算的度量值小 于阈值时判定基准图像和比较图像差异小，即基准图像被命中，否则差异大，即基准图像未 被命中；根据差异性度量的定义，若较大的度量值映射较小的图像差异，则当计算的度量值大 于阈值时判定基准图像和比较图像差异小，即基准图像被命中，否则差异大，即基准图像未 被命中。
3.根据权利要求1所述的系统，其特征在于所述图像采集装置的物理构成是数字摄像机，或者摄像机与图像采集卡的组合，所述 图像采集装置通过数字通信方式传送到计算机或者具有图像处理能力的数字逻辑电路，其 中数字通信方式是计算机总线或者计算机网络中的一种；所述摄像机使用CMOS图像传感器、CCD图像传感器或者热成像图像传感器，所述摄像 机的镜头使用液态或固态的光学透镜或透镜组。
4.根据权利要求1所述的系统，其特征在于所述基准图像存储装置，是磁性介质、光介质或者半导体介质存储器中的一种，并且是 掉电易失性和掉电非易失性存储器中的一种；所述图像存储器通过计算机总线与处理器进行连接，或者通过计算机网络连接。
5.根据权利要求1所述的系统，其特征在于操作A包含以下操作若追加基准图像操作完成后，基准图像数量超过了指定的最大的允许数量，则删除基 准图像队列尾的基准图像。
6.根据权利要求2所述的系统，其特征在于使用图像距离和相似度两者之一作为上述差异性度量的定义，用于计算图像距离的样 本的随机变量是量化的像素灰度值，量化的像素颜色值，或者图像直方图中的像素灰度值 的频率值；若使用图像距离作为基准图像与比较图像的差异性度量定义，当图像距离值小于指定 阈值时判定基准图像和比较图像差异小，即基准图像被命中，否则差异大，即基准图像未被 命中；若使用图像相似度作为基准图像与比较图像的差异性度量定义，则当图像相似度大于 指定阈值时判定基准图像和比较图像差异小，即基准图像被命中，否则差异大，即基准图像 未被命中。
7.根据权利要求2所述的系统，其特征在于在图像比较装置输出结果为命中时，执行下述操作中的一种 图像比较系统判定比较图像和基准图像为同类，图像比较系统结束当前一轮图像比较 任务；在图像比较装置输出结果为命中时，图像比较系统判定比较图像和基准图像为同类， 所述学习/预估装置对基准图像的排序进行决策，将所命中的基准图像在基准图像队列中 的位置向队首靠近，基准图像排序/选择执行装置在此决策下对基准图像队列实施的排 序，图像比较系统结束当前一轮图像比较任务。
8.根据权利要求2所述的系统，其特征在于所述图像比较装置存储基于差异性度量的图像比较所需的比较参数，该参数至少包括 如下之一差异性度量阈值和比较区域。
9.根据权利要求8所述的系统，其特征在于 在误报事件发生时，执行操作C ；操作C中包含以下操作人工判定图像比较参数是否过于严格，若图像比较参数过于严格，则得出不需要追加 基准图像的结论，并在此基础上修改基于差异性度量的图像比较所用的参数，否则认为人 工判断不能得出不需要追加基准图像的结论，并执行操作A ； 上述参数修改操作朝着减少误报事件的概率的方向进行；
10.根据权利要求1-9之一所述的系统，其特征在于 误报事件发生时，执行操作C;操作C包含以下操作人工判定图像比较参数是否过于严格，若图像比较参数没有过 于严格，则认为人工判定未得出不需要追加基准图像的结论，在此基础上追加基准图像然 后对基准图像进行排序，否则认为人工判定操作得出了不需要追加基准图像的结论，并且 修改基于差异性度量的图像比较所用的参数，即至少执行以下操作之一 朝着减少误报事件的概率的方向修改差异性度量阈值； 缩小图像比较区域。
11.根据权利要求1-10之一所述的系统，其特征在于所述图像比较系统包含显著特征提取装置和显著特征比较装置，显著特征提取装置提 取图像的显著特征，显著特征比较装置比较图像和基准图像的显著特征之间的差异；显著特征比较装置通过比较基准图像与比较图像的显著特征的差异，并根据此差异大小对基准图像的排序进行决策，基准图像排 序/选择执行装置在此决策下对基准图像队列 实施的排序。
全文摘要
本发明公开了一种闭环的图像比较系统，包括图像采集装置、基准图像存储装置、图像比较装置、基准图像排序/选择执行装置、学习/预估装置等，该系统读取基准图像和比较图像，并根据基准图像和比较图像之间的差异性度量执行图像比较；以及根据过去的比较结果样本估计或隐含估计未来位姿误差的概率，在设定的情况下追加基准图像后对基准图像进行排序，并从基准图像存储装置中选择基准图像提供给图像比较装置，以实现在对象位姿存在较大变化的情况下，不获取准确的检测对象的位姿和形变模型等数据即可实现快速精确的图像比较。
文档编号G06K9/62GK102087711SQ201010571340
公开日2011年6月8日 申请日期2010年12月3日 优先权日2010年12月3日
发明者黄晓峰 申请人:黄晓峰