图像处理装置以及图像处理方法与流程

本公开涉及图像处理装置以及图像处理方法。

背景技术：

已知利用机器学习算法来理解给定数据。由理解数据确定的内容示例包含基于与shogi,go等等相匹配的未来发展的数据状态，在图像中捕获的对象是否是一个人，以及所述人是如何被捕获的并且捕获的景象中的背景是什么。机器学习在依赖应用于机器学习的数据的，包含信息识别、语音识别、图像识别、以及未来发展的预测的应用中被广泛使用。

用于鉴别材料或使用机器学习算法执行缺陷检查的方法已经被熟知。然而，传统材料鉴别和使用机器学习的传统缺陷检查在如果在不同条件下的同样类型的多个目标包含在一个图像内的情况下是不利的，材料鉴别或缺陷检查的准确度将会不足。

例如，当缺陷检测执行在包含多个目标的图像上时，例如，在螺纹开始位置螺丝钉之间是不同的，即使在螺纹开始位置的不同并不是缺陷，由螺纹开始位置的不同而导致的图像之间的差异也可以被不期望的测定为缺陷。如果对于此测定的阈值设置为容许差异的值，同样放宽了缺陷的限度，其不期望的减少了缺陷检测灵敏度。

基于图像缺陷检查方法按照惯例被已知。例如，日本未审查的专利申请公开no.2005-265661公开了以下方法。在每像素基础上，基于提前供给的合法产品的一组图像计算亮度值的平均值和标准差。在检查中，对于将要被检查图像的每一个像素，计算亮度值的偏离值(从亮度值中减去平均值之后将所述差值除以标准差)，并且偏离值高于预设阈值的像素被确定为异常(异常值)。

然而，如日本未审查的专利申请公开no.2005-265661中所描述的技术不适用于图像中的多个目标并且因此广泛改变的多个目标检查。

本发明具有使用图像来提高图像检查的准确度的目的。

技术实现要素：

根据本发明的一个方面，图像处理装置配置来处理图像。图像处理装置包含计算器和比较器。计算器配置来计算对于多个区域中的每一个的参数以及计算对于描述多个主体形状的多个模型中的每一个，对于具有多个区域的多个模型中的每一个的参数以及计算指示输入以用于学习的输入图像属于多个模型中的哪一个的可能性。比较器配置来基于可能性将输入检查图像与最优化参数的多个模型进行比较。

根据本发明的一个方面，可以提高图像检查的精确度。

附图说明

图1为实施例的图像处理系统100的原理图。

图2为说明本实施例的图像处理装置130的硬件框图200。

图3为说明本实施例的图像处理装置130的功能性框图。

图4为本实施例的将要执行在学习阶段的处理流程图。

图5为参照本实施例图4描述的将要执行在学习步骤s402的处理流程图。

图6为将要执行在本实施例的图像处理方法的检查阶段的处理流程图。

图7为使用本实施例的隐藏变量的模型评估处理700的基于图像解释性图表。

图8为本实施例中集群缺陷评估以执行缺陷评估过程的概念性图。

图9为说明用于实施例的学习图像的图。

图10a和图10b为说明由使用通过学习建立的模型的实际目标的基于图像检查的结果的图。

图11a和图11b为说明使用传统方法的学习模型的结果的图。

附图用于描述本发明的示范性实施例并且不应该理解为限制其保护范围。贯穿于不同附图中的相同或相似的附图标记表示相同或相似的元件。

具体实施方式

以下使用的术语仅用于描述特定实施例的目的并且将不限制本发明。

如在此所使用的，单数形式的“a”,“an”以及“the”也用于包含复数形式，除非上下文以别的方式明确指示。

如附图所示的优选实施例所述，为了清楚而使用特定术语。然而，此专利说明书的公开并不受被选择的特定术语的限制，并且其应该被理解为每个特定元件包含具有相同功能、在类似方式中操作以及达到相似结果的全部技术等效。

本发明的实施例将参照附图在以下详细描述。然而，应该理解实施例并不限制本发明。图1为实施例的图像处理系统100的原理图。图1的图像处理系统100实施为基于图像检查系统。图像处理系统100包含照相机120，图像处理装置130以及输出设备140。照相机120捕获目标110的图像。图像处理装置130使用捕获的图像确定目标110的状态。

由图像处理装置130产生的确定结果被发送到输出设备140。输出设备140操作诸如闹钟的外部设备以给出目标110具有缺陷的通知。实施例中的缺陷意味着图像中的任何可检测缺陷。缺陷的实例包含针孔、毛边以及裂缝。

虽然图像处理装置130被示出直接连接到照相机120，在本实施例中，可替代的，照相机120和图像处理装置130可经过网络被远程安排。在此情况下，图像处理系统100功能相当于远程检查系统，其中相机120可经过有线或诸如以太网，wifi，lte，3g以及4g的无线(没有示出)网络连接到图像处理装置130。在特定实施例中，照相机120可与图像处理装置130集成或者依附于图像处理装置130。

图2为说明本实施例的图像处理装置130的硬件框图200的图。图像处理装置130可以实施为个人计算机，工作站或者专用图像处理装置。图像处理装置130包含cpu(中央处理单元)201，ram(随机存取存储器)202，rom(只读存储器)203以及经由系统总线205相互连接的通信设备204。i/o(输入/输出)总线207经由诸如pci(外部设备互联标准)以及pciexpress的总线桥连接到系统总线205。

显示设备208，诸如hdd(硬盘驱动器)的储存设备209以及每个经由合适协议连接到i/o总线207的照相机120。在另一实施例中，照相机120可经由通信设备204连接。具体的，图像处理装置130经由诸如vga(视频图形阵列)总线，hdmi(高清晰度多媒体接口)总线以及usb(通用串行总线)总线的合适的总线连接到显示设备208以提供输出到显示设备208的视频。另一输入设备206，诸如鼠标和键盘，连接到图像处理装置130以使能外部控制图像处理装置130。

包含除pentium到pentiumiv，atom,core2duo,core2quad,corei系列以及xeon，兼容pentium的cpu和powerpc以及mips的cpu之外的由图像处理装置130使用的cpu的具体实施例。

将要使用包含macos,windows,chrome,android以及其它合适的操作系统的操作系统(os)的实例。图像处理装置130可以存储用诸如汇编语言,c，c++，visualc++，visualbasic,java,perl,以及ruby描述的应用程序，操作于上述os之上并且执行应用程序。

cpu201安装在图像处理装置130上执行存储在ram202或存储设备209中的不同程序使得图像处理装置130中的不同处理被实施在图像处理装置130上。在另一实施例中，上述功能可实施在独立电路(硬件)中。

图3为说明本实施例的图像处理装置130的功能性框图。照相机120同样用于说明如图3中所示实施例中的信息流的清晰性。照相机120对应于本实施例中的图像捕获器。图3的功能块包含i/o单元131，目标图像获取单元132以及学习单元133。i/o单元131根据学习序列以及检查序列分配由照相机120获得的图像到目标图像获取单元132或者学习单元133。目标图像获取单元132暂时存储由i/o单元131发送的图像数据到，例如，专用于存储图像ram202或者图像ram(没有示出)直到下行处理完成。

在本实施例中，由目标图像获取单元132获取的图像可存储在存储单元138中使得，当生成检查结果，图像可以被输出为与附加于上述检查结果输出的图像。图像可与可以由目标110唯一标识的的标识值相关，并且作为检查日志存储在存储单元138中。

学习单元133获取没有缺陷以及提前由照相机120捕获的用于学习的图像，从而学习为合格产品的目标110的图像。目标110可为不同形状的多个主体。可替代的，零件、主体或者其它具有多个形状的物体可捕获在单独目标110的图像中，并且图像的部分可被剪裁和处理。

在本实施例中，由捕获合格产品的目标110的图像，以及学习作为用于目标110的图像的模型的图像而生成图像。在本实施例中，学习不同形状的多个主体的图像以给出k种类型的多个模型(k为自然数)。在本实施例中，功能性单元(即，目标图像获取单元132和学习单元133)获取对应于当关联图像与多个模型时获取多个图像的单元的目标110没有缺陷的图像。在本实施例中功能性单元(即，学习单元133)提供对应于优化器的学习功能。

图像处理装置130进一步包含缺陷评估计算器134，集群单元135，缺陷区域确定器136，以及检查结果生成器137。缺陷评估计算器134计算指示目标110的图像属于由学习单元133获取的模型中的哪一个的概率以及，使用单独或从中确定的多个模型中的一个或多个，在每像素基础上计算缺陷评估。缺陷评估计算器134对应于本实施例中的计算器和比较器。

例如，集群单元135集群通过量级计算的关于像素的缺陷评估以确定具有比预设阈值大的缺陷评估的像素。本实施中对应于检测器的集群单元135。缺陷区域确定器136确定具有大于预设阈值的缺陷评估的像素组的每一个作为缺陷，并且传输此确定结果到检查结果生成器137。缺陷区域确定器136可进一步提供掩藏由于噪音或诸如此类而超过预设在每像素基础上的阈值的数据或者解决此类数据的警告的功能。

检查结果生成器137执行依照由缺陷区域确定器136生成的测定，例如，指示图像上的缺陷的渲染图像过程，生成目标110的标识值以及指示缺陷是否被检测到的信息的列表过程，或者使得图像处理装置130解决警告或显示指示缺陷被找到的图像的过程。

将要产生在本实施例中的检查结果可以为任何体系、格式以及形式只要是否目标110为合格产品或者为有缺陷产品可以被标识以及图像数据按需求被检验。

当描述如图3中示出的功能性单元的功能时，一同在下面详细描述本实施例的图像处理方法。如图4中示出的处理对应于本实施例中的学习阶段并且为将要由图3中示出的学习单元133执行的处理。安装在图像处理装置130上的cpu201装载本实施例的程序进入到ram202并且执行程序以使得图像处理装置130的各自硬件元件操作，由此使得图像处理装置130起到功能性单元的作用，来实施将要在后面描述的图4的处理以及图5的处理。

本实施例的图像处理方法从s400开始。在s401，获得将要学习的图像。如下执行本实施例的统计学过程。从图像中获取像素(x,y)的像素值。平均像素值，其每个为从多个图像中获取的在像素(x,y)处的像素平均值，并且得到像素处的方差。平均像素值对应于本实施例中的第一参数。像素方差对应于本实施例的第二参数。虽然使用在此例中平均值和方差执行本发明的统计学过程，任何描述像素值的概率分布的参数可被使用并且没有特别的限制。

当获取图像时，模型标识值可被分配至相同目标的图像使得当执行关联时执行学习。在另一实施例中，并不将每个模型与对应的模型标识值关联，作为用于识别模型的概率的每个模型的可靠性可在em(expectation-maximization期望值最大化)算法中的参数优化期间被优化，所述算法将会在后面描述。在由模型标识值识别的每个模型的配置中，二维代码或诸如此类代码的被编码到模型标识值中，并且可被嵌入到没有成像目标图像的部分中，使得模型标识值可以与图像的读取同时被读取出。

将要使用的模型数量可由用户任意设置并且没有特定的限制。

此后，使用平均像素值和像素方差作为参数的使用em算法的学习过程执行在s402。本实施例的学习算法中，z-score用作为第一特征。z-score由以下公式(1)给出

在公式(1)中，in(x,y)为第n个将被学习的图像的像素值；μk(x,y)是第k个模型图像的在像素(x,y)处的平均像素值；σ²k(x,y)是第k个模型图像的在像素(x,y)的方差。

在以上描述的公式中，z-score具有给出从在像素(x,y)处的第k个模型图像中的第n个图像偏离值的功能；基于概率模型符合标准正太偏离的假设z-score是表示到平均值的距离。在本实施例中，描述z-score用作为第一特征的实例；然而，第一特征不限于z-score，但是能够为使用像素值的允许概率模型计算的任何特征。

在本实施例中，计算作为em算法的第二特征，输入图像in以及对应于第k个模型的整个图像的联合概率enk由以下公式(2)给出。

z-score被代替为具有平均值0和方差1的标准正太分布，获得每个像素的概率，并且计算在每像素基础或每区域基础上的概率的乘积以计算联合概率enk。在公式(2)中，每个x和y为输入图像的像素数量。在本实施例中，enk由通过整个图像而不是每像素基础的像素值分布计算。在此实例中，计算用于整个图像的联合概率enk。根据本实施例，作为输入图像属于哪一个模型的概率可以根据输入图像的全部部分适当的获得。

进一步，在本实施的em算法中，使用上述概率enk从以下公式(3)中计算其对应于每个输入图像归类为每个模型的期望值的可靠性γnk，。在公式(3)中，n为输入图像的全部数量；k为模型数量。

在本实施例中，模型学习过程执行在s402。模型学习过程将会在后面详细描述。完成模型学习之后，描述模型的第一参数和第二参数存储在存储设备中使得参数能够用于目标的检查，认知，确定以及诸如此类中。

图5为将要执行在s402处的学习过程的详细流程图，其为学习步骤，参照本实施的图4描述图5。在图5中，s501和s502对应于e(期望)-步骤，以及s503对应于m(最大化)-步骤。e-步骤和m-步骤组成实施在本实施中的em算法。图5中的处理从s500开始。在s501，计算z-score，其为由公式(1)给出的第一特征，以及由公式(2)给出的联合概率。

在s502，使用计算的z-score以及联合概率计算由公式(3)给出的模型可靠性。此后，使用可靠性作为加权在s503处计算加权平均像素值和加权像素方差，并且存储到存储设备中。

如上所述的加权平均像素值和加权像素方差由下方公式(4)和公式(5)给出。

在公式(4)和公式(5)中，nk,由公式(6)给出，为可靠性的总和并且为公式(4)和公式(5)的归一化常数。

此后，在s504，确定计算在先前叠代中的每个平均像素值和对应于在s503处计算的平均像素值中的一个之间的差值是否等于或小于预设阈值以及计算在先前叠代中的每个像素方差和对应于在s503处计算的像素方差中的一个之间的差值是否等于或小于预设阈值。当差值小于阈值(在s504为是)时，收敛平均像素值以及收敛像素方差被存储为s505处对应图像的数据使得数据可以用于未来的检查中。

在另一方面，当数值之间的任何差值超过对应的阈值之一时(在s504为否)，使得处理返回到s501以重复计算z-scores，联合概率，以及可靠性γnk。执行上述叠代直到数值之间的每个差值变为等于或小于对应的阈值之一。当s504处的确定结果为“是”时，当前平均像素值和当前加权像素方差存储为s505处的模型数据。然后，处理结束于s506。

学习开始处的像素方差的初始值和平均像素值的初始值可分别为随机数字和1。如果明晰了输入图像归类为了哪个模型之一，诸如当查看输入图像时用户可以归类输入图像，输入图像的值可被用作模型的平均像素值的初始值。

图6为将要执行在本实施例的图像处理方法的检查阶段的处理流程图。图6的处理从s600开始。在s601，目标图像获取单元132获取目标图像；缺陷评估计算器134接收图像并且计算来自公式(1)和公式(2)的z-scores和联合概率。在s602处，缺陷评估计算器134计算联合概率enk以及可靠性γnk来评估模型，其为隐藏变量，目标110属于此处。在一些情况中，仅对于确定模型k可靠性γnk可为1而对于其它模型其为0。在其它情况中，例如，对于处于混合多个模型的方式中的每两个模型，可靠性γnk可为，例如，0.5。。因此，目标110所处的模型数量不限制为一个。

在s603，评估模型之后，使用以下公式(7)计算缺陷评估。

如先前所述，因为znk可为相对于平均值的偏离距离的系数。因此，znk具有当目标在像素(x,y)处具有缺陷时，sn(x,y)的值为大，然而当像素值接近在像素(x,y)的平均值时，sn(x,y)的值接近为零的特征。因此，在s604，集群单元135集群sn(x,y)的值以确定目标的缺陷。根据计算的错误或诸如此类，缺陷区域确定器136可从缺陷检测中消除放置在尺寸等于或小于发生在目标中的缺陷的最小尺寸的区域中的像素。在s604确定之后，处理向生成检查结果以及处理结束的s605进行。

图7为模型评估的示范图，其基于本实施例的处理700。参照图7的描述基于为了描述简化，模型类型的数量为二(k＝2)的假设。在此实例中，如图7中所示给出假设的两个模型，在其每个中的像素符合正太分布，并且将要观察的图像在模型的任何一个中生成。观察的图像属于哪个模型是未知的并且为隐藏变量。当完成学习或者，换句话说，当完成模型评估，得到在图7左方的各自模型的像素平均图像和像素方差图像。基于两个图像，在测试中检测到输入图像是否具有缺陷。

在本实施例中，当学习步骤结束时，确定优化可靠性γnk的平均值和方差并且存储在图5的s505处。图7表示，在(a)，由映射确定在s505的像素平均值和像素方差到像素(x,y)来获得直观的模型数据。

在本实施例中，隐藏变量的模型被评估，选择或者考虑到与从使用图7中(a)处所示的像素值分布的测量图像中安排于此的加权值以及基于由公式(2)给出的联合概率enk以及由公式(3)给出的可靠性γnk。基于这样做的选择评估缺陷数量以使得即使当给出多个图像时也可有高精确缺陷评估。

图8为本实施例中集群缺陷评估以执行缺陷评估过程的概念性图。图8为表示缺陷评估sn(x,y)绘制在对应于对应的像素(x,y)位置处的示意性图。sn(x,y)的值在没有被评估为属于图像缺陷的像素处为很小值。

相比之下，在评估为属于缺陷830的像素处，sn(x,y)的值为较大值。因此，对应于缺陷830的像素组的缺陷评估sn(x,y)810比包围缺陷830的区域大。例如，缺陷评估可按以下执行。为了缺陷评估sn(x,y)预先设置阈值th。超过阈值th的缺陷评估sn(x,y)的区域被评估为缺陷区域。不设置阈值th反而将缺陷评估sn(x,y)与，例如，将要展示的图像的亮度相关联以及执行缺陷评估sn(x,y)的颜色映射从而因此高亮度显示缺陷区域的方案可被使用。

除了上述之外，具有像素的缺陷评估sn(x,y)840的图像可能由一些导致斑点状的方式而产生。在特定实施例中，这样的产生于斑点状方式的像素并不评估为缺陷。然而，可产生用于驱使用户以观察图像以及确认像素不是图像缺陷的输出。

通过实施实例描述以下的本实施例。作为样本图像，使用通过处理“可视检查算法竞赛2014，在图像处理的工业应用上的技术委员会”(可视检查算法竞赛2014，由在图像处理的工业应用上的技术委员会组织，精密工程日本协会)的任务图像而产生的图像。图9为说明用于本实施实例的学习图像的图。如图9中可见的，学习图像包含两个模式图像(k＝2)。图9中所示的图像应用于参照图4和图5所描述的处理以评估从图7中(c)处所示的测量图像中的各自的模型。

使用生成于此方式的模型执行实际目标的基于图像检查。图10a和图10b说明检查的结果。图10a为说明模式可视化为图像的图，其中在左方的图像为表示各自模型的像素平均值的平均图像，而在右方的图像为表示为相同模型的像素方差的方差图像。图10a表示本实施例成功地清楚地分离了模型。

图10b说明根据本实施例生成的缺陷评估映射s。缺陷评估映射s如下生成。根据本实施例的计算应用于将要被检查的目标。在图8中所示的方式中，当分配低亮度(b)至处于sn(x,y)的值为0的每个像素以及将缺陷数量sn(x,y)与亮度相关联时缺陷评估sn(x,y)被映射到像素(x,y)。在图10b中，左方的图像为将要被检查的目标的图像，而右方的图像为缺陷评估映射。图10b表示在目标中显著的缺陷1010被清楚的标识为同样在缺陷评估映射s中的缺陷1020。如上所述，其指示为即使当多个形状学习在混合样式时本实施例也能够充足地增加缺陷检测敏感度。

图11a和图11b为说明使用传统方法表示学习模型的结果的图(其中学习由单个模型执行)(比较实例)。图11a为说明模型可视化为图像的图，其中在左方的图像为各自模型的平均图像，而在右方的图像为相同模型的方差图像。如图11a中所示，具有传统方法的两个模式学习为被不需要的叠加在另一个之上，并且每个平均图像和方差图像呈现出形状，其中混合两个模型。

图11b示出与图11a中所示的使用传统方法的学习的状态执行的检查结果。图11b表示根据本实施例生成的缺陷评估映射s。在传统方法中，缺陷评估映射s的k值固定为1(k＝1)。根据本实施例的计算应用于将要被检查的目标。图11b为由，如图8中所示的方式中，当分配低亮度(b)至处于sn(x,y)的值为0的每个像素以及将缺陷数量sn(x,y)与亮度相关联时缺陷评估sn(x,y)被映射到像素(x,y)而生成的目标图像。缺陷评估映射呈现于图11b的右方。图11b表示虽然在目标中显著的缺陷1110由颜色的阴影可识别为缺陷1120，如图11b中所示，在其它区域中缺陷1120并不充分的可识别。

如上所述，其指示为即使当多个形状被学习为在混合样式中的图像时本实施例也可以充足地增加缺陷检测敏感度。因此，本实施例可以提供图像处理装置，图像处理方法，图像处理系统以及即使当同时学习多个形状时每个也可以充足检测图像中的异常的计算机可读记录介质。

上述实施例是说明性的并且并不限制本发明。因此，可以根据上述教导进行多种的额外修改和更改。例如，此处不同的说明性和示范性实施例的至少一个可彼此结合或者在本公开和所附权利要求的保护范围内彼此替代。进一步，实施例的元件的特征，诸如数字，位置以及形状并不限制实施例并且因此可为优选设置。其因此将被理解为在所附权利要求的保护范围内，除在此特定描述之外的本发明的公开可以被实行。

在此描述的方法步骤，过程或者操作将不会被解释为必须需求其在讨论的或示出的特定顺序中执行，除非特定的标识为执行的顺序或通过上下文清楚的标识。同样将会理解为可使用额外或可替代的步骤。

进一步，如上所描述的任何装置，设备或单元可以实施为硬件装置，诸如专用电路或设备，或者实施为硬件/软件组合，诸如执行在软件程序的处理器。

进一步，如上所述，本发明的上述和其它方法的任何一个可以体现在存储在任何存储介质的计算机程序的形式中。存储介质的实例包含但不限于软盘，硬盘，光盘，磁光盘，磁带，非易失性存储器，半导体存储器，只读存储器(rom)，等等。

可替代的，本发明的上述和其它方法的任何一个可以由专用集成电路(asic)，数字信号处理器(dsp)或者现场可编程门阵列(fpga)实施，可由互相连接传统元件电路的合适网络或由此结合的一个或多个传统通用微处理器或可编程信号处理器准备。

描述实施例的每个功能可由一个或多个处理电路或电路图实施。处理电路图包含可编程处理器，作为包含电路图的处理器。处理电路同样包含诸如专用集成电路(asic)，数字信号处理器(dsp)，现场可编程门阵列(fpga)以及安排为执行所列举功能的传统电路元件。