专利名称：图像处理设备、图像处理方法和计算机程序的制作方法
技术领域：
本发明涉及一种对由成像装置拍摄的多值图像进行投影变换以修正该多值图像 的透视畸变的图像处理技术。
背景技术：
按照常规思路，在用成像装置拍摄测试对象的图像来利用所拍摄的多值图像检查 测试对象并且检测其缺陷的设备中，依照测试对象与成像装置之间的位置关系、透镜的构 造等，会出现各种各样的透视畸变。在很多设备中，会对所拍摄的多值图像适当地进行投影 变换用于防止针对测试对象的检验精度、缺陷检测的精度等的降低，以修正多值图像中包 含的透视畸变。通过适当进行投影变换，能够修正依照测试对象与成像装置之间的位置关 系出现的透视畸变。例如，在日本未审查专利公开第2006-074512号中，将形状是人们熟知的基座外 形的矩形看做是基准多边形，并且将作为基准多边形的矩形与由基座图像的轮廓确定的矩 形进行比较，以获得投影修正参数。使用所获得的投影修正参数，对相机拍摄的多值图像进 行投影变换，以进行修正。
发明内容
一般来说，在对多值图像进行投影变换的情况下，在存在像素的区域内，变换之前 的多值图像和变换之后的多值图像是彼此不同的。即，即使在变换之前的多值图像中存在 像素的区域内，像素也可以不存在于变换之后的多值图像中，或者也有可能出现相反的情 况。因此，当对变换之前的多值图像中不存在像素的区域进行投影变换时，会使变换之后的 多值图像中相应区域的像素变成黑色。不过，当变换之后的整个图像是要在传统的图像处理设备中获得的时候，即使在 变换之后的多值图像中存在黑色像素的情况下，投影变换本身也是通过逐个点地进行每个 像素的坐标变换计算来进行的，以找出变换之后的多值图像中的各个像素与之相对应的变 换之前的多值图像的部分。因此就有了难以减少处理时间，以便以高速完成图像处理的问题。此外，在多值图像除了成像对象以外还具有远处背景并且成像对象的多值图像的 透视畸变较大的情况下，还会有这样的问题除了作为要由投影变换进行变换的对象的图 像之外，还可能包括基于投影变换的预定条件的极性是反极性的不必要的多值图像(虚 像)。本发明涉及一种在对多值图像进行投影变换的情况下能够缩短处理时间并且还 能够抑制虚像出现的图像处理设备、一种该图像处理设备中使用的图像处理方法和一种用 来促使计算机执行该图像处理方法中的处理的计算机程序。按照本发明的一种实施方式，给出了一种图像处理设备，该图像处理设备对通过 用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，该设备包括投影变换 参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多 值图像进行投影变换，以修正透视畸变；投影区域计算装置，用于计算投影区域，该投影区 域是根据投影变换参数计算装置计算出来的投影变换参数，通过将图像处理之前的多值图 像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后的多值 图像像素所在的输出区域相重叠的区域指定为有效区域；以及图像变换装置，用于基于由 有效区域指定装置指定的有效区域和由投影变换参数计算装置计算出来的投影变换参数 进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。此外，按照本发明的另一种实施方式，图像处理设备包括形状信息输入接收装置， 用于接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形 状信息的输入，其中投影变换参数计算装置根据已经由形状信息输入接收装置接收到其输 入的形状信息计算投影变换参数。此外，按照本发明的另一种实施方式，图像处理设备包括用于显示多值图像的图 像显示装置，其中形状信息输入接收装置接收对图像显示装置中显示的图像处理之前的多 值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。此外，按照本发明的另一种实施方式，在图像处理设备中，图像显示装置配备有显 示切换装置，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的 多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。此外，按照本发明的另一种实施方式，图像处理设备包括变换目标区域设定装置， 用于将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域设定为变 换目标区域，其中投影区域计算装置计算根据由投影变换参数计算装置计算出来的投影变 换参数，通过对由变换目标区域设定装置设定的变换目标区域进行投影变换而获得的投影 区域。此外，按照本发明的另一种实施方式，在图像处理设备中，变换目标区域设定装置 将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定 为变换目标区域。此外，按照本发明的另一种实施方式，在图像处理设备中，变换目标区域设定装置 将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状 是由已经由形状信息输入接收装置接收到其输入的形状信息规定的。此外，按照本发明的另一种实施方式，在图像处理设备中，变换目标区域设定装置 具有第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的 多值图像像素所在的区域的外周线相交处的第一交点；第二交点计算装置，用于计算由预 定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交 处的第二交点，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信 息规定的；以及多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的 第一交点和由第二交点计算装置计算出来的第二交点而形成的多边形区域，并且将由多边 形区域计算装置计算出来的多边形区域设定为变换目标区域。此外，按照本发明的另一种实施方式，给出了一种图像处理方法，该图像处理方法 能够对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理，该方法包括 下列步骤计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进 行投影变换，以修正透视畸变；计算投影区域，该投影区域是根据所计算出来的投影变换参 数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像 像素所在的输出区域而获得的；将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及根据所指定的有效区域和所计算出 来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值 图像。此外，按照本发明的另一种实施方式，该图像处理方法包括接收对多值图像上的 成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入的步骤，并且 根据已经接收到其输入的形状信息计算投影变换参数。此外，按照本发明的另一种实施方式，该图像处理方法接收对所显示的图像处理 之前的多值图像上的成像对象在图像处理之前和图像处理之后的形状进行规定的形状信 息的输入。此外，按照本发明的另一种实施方式，该图像处理方法切换和显示图像处理之前 的多值图像、图像处理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形 状信息。此外，按照本发明的另一种实施方式，该图像处理方法包括将包括图像处理之前 的多值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域的步骤，并且计 算根据所计算出来的投影变换参数，通过对所设定的变换目标区域进行投影变换而获得的 投影区域。此外，按照本发明的另一种实施方式，该图像处理方法将由根据投影变换参数定 义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。此外，按照本发明的另一种实施方式，该图像处理方法将包括存在于成像对象的 形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经接收到其输入的 形状信息规定的。此外，按照本发明的另一种实施方式，该图像处理方法包括步骤计算根据投影变 换参数定义的预定直线与图像处理之前的多值图像像素所在的区域的外周线相交处的第 一交点；计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域 的外周线彼此相交处的第二交点，成像对象的形状是由已经接收到其输入的形状信息规定 的；计算通过连接由所计算出来的第一交点和所计算出来的第二交点而形成的多边形区 域；以及将所计算出来的多边形区域设定为变换目标区域。按照本发明的另一种实施方式，还给出了一种计算机程序，该计算机程序能够促 使图像处理设备对通过用成像装置拍摄成像对象的图像而获得的多值图像执行图像处理， 其中使得该图像处理设备起到下列作用投影变换参数计算装置，用于计算预定的投影变 换参数，该投影变换参数用于对图像处理之前的多值图像进行投影变换，以修正透视畸变； 投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计算出 来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理 之后的多值图像像素所在的输出区域而获得的；有效区域指定装置，用于将由投影区域计 算装置计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区 域指定为有效区域；以及图像变换装置，用于基于由有效区域指定装置指定的有效区域和 由投影变换参数计算装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多 值图像生成图像处理之后的多值图像。此外，按照本发明的另一种实施方式，在该计算机程序中，使得图像处理设备起到形状信息输入接收装置的作用，用于接收对多值图像上的成像对象在图像处理之前和图像 处理之后的形状进行规定的形状信息的输入，并且使得投影变换参数计算装置起到这样一 种装置的作用用于根据已经由形状信息输入接收装置接收到其输入的形状信息计算投影 变换参数。此外，按照本发明的另一种实施方式，在该计算机程序中，使得形状信息输入接收 装置起到这样一种装置的作用用于接收对所显示的图像处理之前的多值图像上的成像对 象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。此外，按照本发明的另一种实施方式，在该计算机程序中，使得图像处理设备起到 显示切换装置的作用，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处 理之后的多值图像和已经由形状信息输入接收装置接收到其输入的形状信息。此外，按照本发明的另一种实施方式，在该计算机程序中，使得图像处理设备起到 变换目标区域设定装置的作用，用于将包括图像处理之前的多值图像像素所在的区域中的 特定像素的预定区域设定为变换目标区域，并且使得投影区域计算装置起到这样一种装置 的作用用于计算根据由投影变换参数计算装置计算出来的投影变换参数，通过对由变换 目标区域设定装置设定的变换目标区域进行投影变换而获得的投影区域。此外，按照本发明的另一种实施方式，在该计算机程序中，使得变换目标区域设定 装置起到这样一种装置的作用用于将由根据投影变换参数定义的预定直线分割开的区域 中的包括特定像素的预定区域设定为变换目标区域。此外，按照本发明的另一种实施方式，在该计算机程序中，使得变换目标区域设定 装置起到这样一种装置的作用用于将包括存在于成像对象的形状内的像素的预定区域设 定为变换目标区域，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形 状信息规定的。此外，按照本发明的另一种实施方式，在该计算机程序中，使得变换目标区域设定 装置起到以下作用第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图 像处理之前的多值图像像素所在的区域的外周线相交处的第一交点；第二交点计算装置， 用于计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外 周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息输入接收装置接收到其 输入的形状信息规定的；多边形区域计算装置，用于计算通过连接由第一交点计算装置计 算出来的第一交点和由第二交点计算装置计算出来的第二交点而形成的多边形区域；以及 用于将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域的装置。在本发明的实施方式中，根据所计算出来的投影变换参数，计算投影区域，该投影 区域是通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值 图像像素所在的输出区域而获得的，将所计算出来的投影区域与图像处理之后的多值图像 像素所在的输出区域相重叠的区域指定为有效区域，并且根据所指定的有效区域和所计算 出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多 值图像。从而，不再需要对有效区域之外的多值图像进行投影变换，并且可以缩短处理时 间，以便以高速完成图像处理。此外，接收对多值图像上的成像对象在图像处理之前和图像处理之后的形状进行 规定的形状信息的输入，并且根据已经接收到其输入的形状信息计算投影变换参数。从而可以对图像处理之前的多值图像进行投影变换，以便高精度地计算用于修正透视畸变的投 影变换参数。此外，接收形状信息的输入，该信息对所显示的图像处理之前的多值图像上的成 像对象在图像处理之前和图像处理之后的形状进行规定。从而可以在直观识别接受投影变 换的图像处理之前的多值图像的同时，容易地对成像对象在图像处理之前和图像处理之后 的形状进行规定。此外，对图像处理之前的多值图像、图像处理之后的多值图像和接收到其输入的 形状信息进行切换和显示。从而可以直观识别成像对象在图像处理之前和图像处理之后的 形状信息。此外，将包括图像处理之前的多值图像像素所在的区域中的特定像素的预定区域 设定为变换目标区域，并且根据所计算出来的投影变换参数，计算通过对与所设定的变换 目标区域相对应的图像处理之前的多值图像进行投影变换而获得的投影区域。从而可以抑 制在图像处理之后的多值图像中出现不必要的多值图像(虚像)，该不必要的多值图像基 于投影变换的预定条件的极性是反极性。同时，不必对与不必要的多值图像(虚像)相对 应的图像处理之前的多值图像进行投影变换，并且可以缩短处理时间，以便以高速完成图 像处理。此外，将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像素的 预定区域设定为变换目标区域。从而可以抑制在图像处理之后的多值图像中出现不必要的 多值图像(虚像)，该不必要的多值图像基于投影变换的预定条件的极性是反极性。此外，将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区域， 成像对象的形状是由已经接收到其输入的形状信息规定的。从而可以容易地设定包括成像 对象的变换目标区域。此外，计算根据投影变换参数定义的预定直线与图像处理之前的多值图像像素所 在的区域的外周线相交处的第一交点，并且计算由预定直线分割开的区域当中包括存在于 成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已 经接收到其输入的形状信息规定的。计算通过连接由所计算出来的第一交点和所计算出来 的第二交点而形成的多边形区域，并将所计算出来的多边形区域设定为变换目标区域。从 而可以可靠地抑制在图像处理之后的多值图像中出现不必要的多值图像(虚像)。按照上述构造，计算投影区域，该投影区域是通过将图像处理之前的多值图像像 素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；将由所 计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定 为有效区域；并且根据所指定的有效区域和由投影变换参数计算装置计算出来的投影变换 参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。从而，不 再需要对有效区域之外的区域内的多值图像进行投影变换，并且可以缩短处理时间，以便 以高速完成图像处理。此外，通过将包括特定像素的预定区域设定为变换目标区域，可以抑 制在图像处理之后的多值图像中出现不必要的多值图像(虚像)，该不必要的多值图像根 据投影变换的预定条件的极性是反极性。
图1是示意性表示按照本发明第一实施方式的图像处理设备的构造的框图；图2 是表示按照本发明第一实施方式的图像处理设备的结构实例的功能框图；图3是表示由按照本发明第一实施方式的图像处理设备中的图像处理部分的主控部分执行的处理步骤的 流程图；图4是在图像显示装置中显示的多值图像的示意图；图5A到5C是各自表示用来 输入对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的图表和输 入方法；图6是表示图像处理之前的多值图像以及图像处理之前的多值图像像素所在的区 域与投影区域之间的位置关系的示意图；图7是表示投影区域与图像处理之后的多值图像 像素所在的输出区域之间的位置关系的示意图；图8是图像处理之前的多值图像和图像处 理之后的多值图像的示意图；图9A和9B是各自表示出现了很大透视畸变的图像处理之前 的多值图像和通过修正透视畸变从图像处理之前的多值图像生成的图像处理之后的多值 图像的示意图；图10是表示按照本发明第二实施方式的图像处理设备的结构实例的功能 框图；图11是表示由按照本发明第二实施方式的图像处理设备中的图像处理部分的主控 部分执行的处理步骤的流程图；图12是设有变换目标区域的多值图像的示意图；图13是 表示按照本发明第二实施方式的图像处理设备的变换目标区域设定装置的结构实例的功 能框图；图14是表示由按照本发明第二实施方式的图像处理设备中的图像处理部分的主 控部分执行的设定变换目标区域的处理步骤的流程图；图15是分界线不与图像处理之前 的多值图像像素所在的区域的外周线相交的多值图像的示意图；图16是已经计算出第一 交点的多值图像的示意图；图17是已经计算出第二交点的多值图像的示意图；图18是已 经计算出通过连接第一交点和第二交点形成的多边形区域的多值图像的示意图；图19A和 19B是表示设有变换目标区域的图像处理之前的多值图像和图像处理之前的多值图像像素 所在的区域与投影区域之间的位置关系的示意图；图20是表示投影区域与图像处理之后 的多值图像像素所在的输出区域之间的位置关系的示意图；以及图21是投影变换之后的 多值图像的示意图。
具体实施例方式下面参照附图介绍按照本发明的实施方式的图像处理设备。应当注意，在要参照 的所有附图中，用相同或类似附图标记指代具有相同或类似结构或功能的单元，并且已经 介绍过的那些单元不会再给出详细例子。(第一实施方式)图1是示意性表示按照本发明第一实施方式的图像处理设备的 构造的框图。如图1所示，按照第一实施方式的图像处理设备2与作为用于拍摄多值图像的 成像装置的相机1和用于显示所拍摄的多值图像或经过投影变换的多值图像的显示装置3 相连。图像处理设备2配备有由至少CPU(中央处理单元)、LSI等构成的主控部分21、 存储器22、存储装置23、输入装置M、输出装置25、通信装置沈、辅助存储装置27和上述硬 件部件所连接的内部总线观。主控部分21经由内部总线观与如上所述的图像处理设备2 的硬件部件相连，并且按照存储在存储装置23中的计算机程序5控制这些硬件部件的操作 和执行各种不同的软件功能。存储器22是由诸如SRAM或SDRAM之类的易失性存储器构成 的，在存储器22中，在执行计算机程序5的时候会将加载模块提取到存储器22中，并且在 执行计算机程序5时创建的临时数据等会存储在存储器22中。存储装置23由内置固定存储装置(硬盘或闪存)、ROM等构成。存储在存储装置 23中的计算机程序5是从存储着诸如节目和数据之类的信息段的诸如DVD、CD-R0M或者闪 存之类的便携式记录介质4中下载到辅助存储装置27中的。在执行时，计算机程序5被从 存储装置23中提取到存储器22中并且被运行。应当意识到，计算机程序5可以是经由通
10信装置沈从外部计算机下载的计算机程序。通信装置沈与内部总线观相连，并且能够通过与诸如因特网、LAN或WAN之类的 外部网络相连接来与外部计算机发送和接收数据。具体来说，存储装置23的构造并不局限 于图像处理设备2中的内置型存储装置，而是也可以是经由通信装置沈连接的、为外部服 务器计算机等配备的诸如硬盘之类的外部记录介质。输入装置M代表一个宽泛的概念，总体来讲包括各种各样的获取输入信息的装 置，除了诸如键盘和鼠标之类的数据输入媒介之外，还包括与液晶面板等集成在一起的触 摸板等。输出装置25指的是诸如激光打印机或点式打印机之类的打印装置。相机(成像装置)1是配备有CXD成像器件的CXD相机等。显示装置3是配备有 CRT、液晶平板等的显示装置。诸如相机1和显示装置3之类的部件可以与图像处理设备2 集成为一体，也可以分开地设置。外部控制仪器6是经由通信装置沈连接的控制装置，并 且相当于例如PLC(可编程逻辑控制器)。如本文所使用的那样，外部控制仪器6代表一个 宽泛的概念，总的来说包括各种各样的响应于图像处理设备2的图像处理结果执行后处理 的装置。图2是表示按照本发明第一实施方式的图像处理设备2的结构实例的功能框图。 在图2中，按照第一实施方式的图像处理设备2包括相机1、执行图像处理设备2的处理的 图像处理部分7、存储装置23和输入接收/图像显示部分8。相机1例如作为数码相机并且拍摄例如作为成像对象的要接受检验的电子元件 的图像。相机1获取多值图像并且将该图像输出到图像处理部分7。图像处理部分7包括形状信息设定装置70、投影变换矩阵计算装置71、投影区域 计算装置72、有效区域指定装置73和图像变换装置74。此外，图像处理部分7被构成为包 括主控部分21、存储器22、各种接口等等，如图1中所示。图像处理部分7控制形状信息设 定装置70、投影变换矩阵计算装置71、投影区域计算装置72、有效区域指定装置73和图像 变换装置74的处理操作。存储装置23作为图像存储器，并且根据需要存储由相机1拍摄的原始多值图像和 在图像处理部分7中进行了各种处理之后的多值图像。输入接收/图像显示部分8包括诸如计算机用监视器之类的显示装置3和诸如鼠 标和键盘之类的输入装置24。输入接收部分是例如在显示装置3的显示屏幕上以对话框的 形式给出的，并且包括形状信息输入接收装置80。与输入接收部分相邻地设置了图像显示 装置81，该图像显示装置81显示图像处理之前的多值图像、图像处理之后的多值图像、形 状信息(形状信息输入接收装置80所接收到的输入)。显示切换装置82能够根据输入装 置M中接收到的切换指令切换图像处理之前的多值图像、图像处理之后的多值图像和形 状信息(形状信息输入接收装置80接收到的输入)，并且在图像显示装置81中显示切换后 的屏。接下来，将介绍图像处理部分7的各个组成部分。形状信息设定装置70将形状信息设定为要在投影变换矩阵计算装置71中使用的 信息，形状信息对成像对象在图像处理之前和图像处理之后的形状进行规定，这可以由用 户输入并且由输入接收/图像显示部分8的形状信息输入接收装置80接收。在使用电子 元件作为成像对象的情况下，对成像对象形状进行规定的形状信息可以是形状基本上为长方体的电子元件的上表面四个角的坐标值。应当注意，对成像对象在图像处理之前和图像处理之后的形状进行规定的形状信 息是用于以下用途的信息通过使得图像处理之前的多值图像中指定的四个点与图像处理 之后的多值图像中指定的四个点相对应来计算投影变换矩阵作为整个多值图像的投影变 换参数。成像对象四个角的坐标值不是必须是指定的。通过使用对存在于同一成像平面上 的不同形状进行规定的形状信息作为成像对象，可以对包括该成像对象的整个多值图像进 行投影变换。此外，在图像处理设备2中，接收对成像对象在图像处理之前和图像处理之后 的形状进行规定的形状信息的输入并且根据该形状信息一次计算投影变换参数，能够消除 在处理图像的时候重新计算投影变换参数的必要性，除非需要进行重新调整。在图像处理 的时候不必计算投影变换参数，于是图像处理设备2能够利用一次计算出来的投影变换参 数对成像装置所拍摄的多值图像实时进行图像处理。当形状信息输入接收装置80接收到形状信息的输入时，基于该形状信息(所接收 到的输入)，投影变换矩阵计算装置(投影变换参数计算装置)71计算投影变换矩阵，作为 用于对图像处理之前的多值图像进行投影变换的预定投影变换参数，以修正透视畸变。注意，由投影变换矩阵计算装置71计算出来的投影变换矩阵代表将图像处理之 后的多值图像坐标变换为图像处理之前的多值图像坐标的投影变换矩阵。与坐标变换相关 联的图像处理正常情况下需要预先计算用于将图像处理之后的多值图像坐标(变换目标 坐标)变换为图像处理之前的多值图像坐标(变换源坐标)的变换参数。通过预先计算这 一变换参数，可以完全指定与图像处理之后的多值图像中的各个像素的坐标相应的图像处 理之前的多值图像坐标，从而以高精度进行图像处理，而不会出现诸如图像处理之后的多 值图像中存在坐标没有变换的像素(缺陷像素)之类的问题。投影区域计算装置72计算投影区域，该投影区域是根据投影变换参数计算装置 71计算出来的投影变换矩阵的反变换，通过将图像处理之前的多值图像像素所在的区域投 影变换为图像处理之后的多值图像像素所在的输出区域而获得的。有效区域指定装置73 指定由投影区域计算装置72计算出来的投影区域与图像处理之后的多值图像像素所在的 输出区域相重叠的区域作为有效区域。应当注意，图像处理之前的多值图像像素所在的区 域可以是包括由相机1拍摄的多值图像的所有像素的区域，也可以是仅限于包括存在于由 形状信息规定的成像对象的形状内部的像素的预定区域的区域。这里，图像处理之前的多 值图像是由相机1拍摄的原始多值图像，而图像处理之后的多值图像是由图像处理部分7 在投影变换之后输出的多值图像。图像变换装置74在由有效区域指定装置73指定的有效区域内，仅仅根据投影变 换矩阵进行从图像处理之后的多值图像坐标(变换目的坐标)到图像处理之前的多值图像 坐标(变换源坐标)的坐标变换，从而生成修正过透视畸变的图像处理之后的多值图像。可 以将由图像变换装置74进行过投影变换之后的多值图像输出到外部控制仪器6，同时在图 像显示装置81中将其显示出来。图3是表示由按照本发明第一实施方式的图像处理设备2中的图像处理部分7的 主控部分21执行的处理步骤的流程图。按照本发明第一实施方式的图像处理方法的各个 处理步骤是按照存储在图像处理部分7内部的按照本发明的计算机程序5执行的。在图3中，图像处理部分7的主控部分21获得由相机1拍摄的成像对象的多值图像(步骤S301)。主控部分21接收由用户进行的形状信息的输入，该信息对成像对象在图 像处理之前和图像处理之后的形状进行规定(步骤S302)。图4是在图像显示装置81中显示的多值图像的示意图。图4中所示的多值图像 是包括作为成像对象的电子元件40的多值图像，并且显示了对成像对象在图像处理之前 和图像处理之后的形状进行规定的形状信息41、42。应当注意，形状信息41、42是用于对电 子元件40的形状进行规定的信息，并且可以是例如显示屏幕上的四个坐标，这四个坐标对 应于形状基本上为长方体的电子元件40的上表面的四个角。此外，在图像显示装置81中 显示形状信息41、42的情况下，除了显示屏幕上与电子元件40上表面的四个角相对应的四 个坐标以外，还可以显示连接这四个坐标的虚线，以增强直观度。图5A到5C是为了输入对成像对象在图像处理之前和图像处理之后的形状进行规 定的形状信息而显示的图表和输入方法。在用于输入对成像对象在图像处理之前和图像处 理之后的形状进行规定的形状信息的时候，会在图像显示装置81中显示图5A中所示的图 表51。在图表51中，独立地准备有用于输入对成像对象在图像处理之前的形状进行规定 的形状信息的下拉对话框52a ；编辑按钮53a ；用于输入对成像对象在图像处理之后的形状 进行规定的形状信息的下拉对话框52b ；以及编辑按钮53b。例如，用户用诸如鼠标之类的输入装置M选择下拉对话框52a，以打开下拉列表 52c，并且从下拉列表52c中指定"矩形"。用户指定"矩形"，用诸如鼠标之类的输入装 置24选择编辑按钮53a，并且用诸如鼠标之类的输入装置M指定图像显示装置81中显示 的电子元件40的四个角。除此之外，当从下拉列表52c中指定"矩形"时，用户用诸如鼠 标之类的输入装置M如图5B所示的那样指定四个点，并且输入对电子元件40的形状进行 规定的四个坐标作为形状信息。此外，当从下拉列表52c中选定"矩形"时，用户用诸如鼠 标之类的输入装置M如图5C所示的那样仅仅指定彼此对角的两个点，从而输入四个坐标 作为形状信息，这样就对电子元件40的形状进行了规定。回到图3，当图像处理部分7的主控部分21接收到由用户进行的形状信息(对成 像对象在图像处理之前和图像处理之后的形状进行规定的信息)的输入时(步骤S302)，根 据该形状信息(所接收到的输入)，主控部分21计算用于对图像处理之前的多值图像进行 投影变换的投影变换矩阵，以修正透视畸变(步骤S30;3)。可以借助具有矩阵元素a到h的 投影变换矩阵η将图像处理之前的多值图像的坐标(χ’，r)和图像处理之后的多值图像 的坐标(X，y)表达为方程式1和方程式2。应当注意，投影变换矩阵H代表用于进行从图 像处理之后的多值图像坐标到图像处理之前的多值图像坐标的坐标变换的投影变换矩阵， 该投影变换矩阵是对图像处理之前的多值图像进行投影变换以修正透视畸变所需要的。[数学公式1]
权利要求
1.一种图像处理设备，该图像处理设备对通过用成像装置拍摄成像对象的图像而获得 的多值图像执行图像处理，该设备包括投影变换参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像 处理之前的多值图像进行投影变换，以修正透视畸变；投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计 算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像 处理之后的多值图像像素所在的输出区域而获得的；有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后 的多值图像像素所在的输出区域相重叠的区域指定为有效区域；以及图像变换装置，用于基于由有效区域指定装置指定的有效区域和由投影变换参数计算 装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理 之后的多值图像。
2.按照权利要求1所述的图像处理设备，包括形状信息输入接收装置，用于接收对多值图像上的成像对象在图像处理之前和图像处 理之后的形状进行规定的形状信息的输入，其中投影变换参数计算装置根据已经由形状信息输入接收装置接收到其输入的形状信息 计算投影变换参数。
3.按照权利要求2所述的图像处理设备，包括 用于显示多值图像的图像显示装置，其中形状信息输入接收装置接收对图像显示装置中显示的图像处理之前的多值图像上的 成像对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入。
4.按照权利要求3所述的图像处理设备，其中图像显示装置配备有显示切换装置，该 显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的多值图像和已经 由形状信息输入接收装置接收到其输入的形状信息。
5.按照前述权利要求中的任何一项所述的图像处理设备，包括变换目标区域设定装置，用于将包括图像处理之前的多值图像像素所在的区域中的特 定像素的预定区域设定为变换目标区域，其中投影区域计算装置计算根据由投影变换参数计算装置计算出来的投影变换参数，通过 对由变换目标区域设定装置设定的变换目标区域进行投影变换而获得的投影区域。
6.按照权利要求5所述的图像处理设备，其中变换目标区域设定装置将由根据投影变 换参数定义的预定直线分割开的区域中的包括特定像素的预定区域设定为变换目标区域。
7.按照权利要求6所述的图像处理设备，其中变换目标区域设定装置将包括存在于成 像对象的形状内的像素的预定区域设定为变换目标区域，成像对象的形状是由已经由形状 信息输入接收装置接收到其输入的形状信息规定的。
8.按照权利要求7所述的图像处理设备，其中 变换目标区域设定装置具有第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的多 值图像像素所在的区域的外周线相交处的第一交点；第二交点计算装置，用于计算由预定直线分割开的区域当中包括存在于成像对象的形状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息 输入接收装置接收到其输入的形状信息规定的；以及多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的第一交点和 由第二交点计算装置计算出来的第二交点而形成的多边形区域，并且将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域。
9.一种图像处理方法，该图像处理方法能够对通过用成像装置拍摄成像对象的图像而 获得的多值图像执行图像处理，该方法包括下列步骤计算预定的投影变换参数，该投影变换参数用于对图像处理之前的多值图像进行投影 变换，以修正透视畸变；计算投影区域，该投影区域是根据所计算出来的投影变换参数，通过将图像处理之前 的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而 获得的；将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠 的区域指定为有效区域；以及根据所指定的有效区域和所计算出来的投影变换参数进行坐标变换，以从图像处理之 前的多值图像生成图像处理之后的多值图像。
10.一种计算机程序，该计算机程序能够促使图像处理设备对通过用成像装置拍摄成 像对象的图像而获得的多值图像执行图像处理，其中使得该图像处理设备起到下列作用投影变换参数计算装置，用于计算预定的投影变换参数，该投影变换参数用于对图像 处理之前的多值图像进行投影变换，以修正透视畸变；投影区域计算装置，用于计算投影区域，该投影区域是根据投影变换参数计算装置计 算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像 处理之后的多值图像像素所在的输出区域而获得的；有效区域指定装置，用于将由投影区域计算装置计算出来的投影区域与图像处理之后 的多值图像像素所在的输出区域相重叠的区域指定为有效区域；和图像变换装置，用于基于由有效区域指定装置指定的有效区域和由投影变换参数计算 装置计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理 之后的多值图像。
11.按照权利要求10所述的计算机程序，其中使得图像处理设备起到形状信息输入接收装置的作用，用于接收对多值图像上的成像 对象在图像处理之前和图像处理之后的形状进行规定的形状信息的输入，并且使得投影变换参数计算装置起到这样一种装置的作用用于根据已经由形状信息输入 接收装置接收到其输入的形状信息计算投影变换参数。
12.按照权利要求11所述的计算机程序，其中使得形状信息输入接收装置起到这样一 种装置的作用用于接收对所显示的图像处理之前的多值图像上的成像对象在图像处理之 前和图像处理之后的形状进行规定的形状信息的输入。
13.按照权利要求12所述的计算机程序，其中使得图像处理设备起到显示切换装置的 作用，该显示切换装置用于切换和显示图像处理之前的多值图像、图像处理之后的多值图 像和已经由形状信息输入接收装置接收到其输入的形状信息。
14.按照前述权利要求10至13中任何一个所述的计算机程序，其中使得图像处理设备起到变换目标区域设定装置的作用，用于将包括图像处理之前的多 值图像像素所在的区域中的特定像素的预定区域设定为变换目标区域，和使得投影区域计算装置起到这样一种装置的作用用于计算根据由投影变换参数计算 装置计算出来的投影变换参数，通过对由变换目标区域设定装置设定的变换目标区域进行 投影变换而获得的投影区域。
15.按照权利要求14所述的计算机程序，其中使得变换目标区域设定装置起到这样一 种装置的作用用于将由根据投影变换参数定义的预定直线分割开的区域中的包括特定像 素的预定区域设定为变换目标区域。
16.按照权利要求15所述的计算机程序，其中使得变换目标区域设定装置起到这样一 种装置的作用用于将包括存在于成像对象的形状内的像素的预定区域设定为变换目标区 域，成像对象的形状是由已经由形状信息输入接收装置接收到其输入的形状信息规定的。
17.按照权利要求16所述的计算机程序，其中使得变换目标区域设定装置起到以下作用第一交点计算装置，用于计算根据投影变换参数定义的预定直线与图像处理之前的多 值图像像素所在的区域的外周线相交处的第一交点；第二交点计算装置，用于计算由预定直线分割开的区域当中包括存在于成像对象的形 状内的像素的区域的外周线彼此相交处的第二交点，成像对象的形状是由已经由形状信息 输入接收装置接收到其输入的形状信息规定的；多边形区域计算装置，用于计算通过连接由第一交点计算装置计算出来的第一交点和 由第二交点计算装置计算出来的第二交点而形成的多边形区域；以及用于将由多边形区域计算装置计算出来的多边形区域设定为变换目标区域的装置。
全文摘要
在对通过用相机拍摄成像对象的图像而获得的多值图像执行图像处理的情况下，本发明计算用于对图像处理之前的多值图像进行投影变换的预定的投影变换参数；计算投影区域，该投影区域是根据所计算出来的投影变换参数，通过将图像处理之前的多值图像像素所在的区域投影变换到图像处理之后的多值图像像素所在的输出区域而获得的；将由所计算出来的投影区域与图像处理之后的多值图像像素所在的输出区域相重叠的区域指定为有效区域；和根据所指定的有效区域和所计算出来的投影变换参数进行坐标变换，以从图像处理之前的多值图像生成图像处理之后的多值图像。
文档编号H04N9/31GK102098476SQ20101056815
公开日2011年6月15日 申请日期2010年12月1日 优先权日2009年12月1日
发明者下平真达 申请人:株式会社其恩斯