图像传送方法及图像传送装置制造方法

图像传送方法及图像传送装置制造方法
【专利摘要】本发明公开一种图像传送方法，是来自图像传感器的图像传送方法，所述图像传感器将通过多个摄像元件获得的像素数据按每一定数量汇总为数据块并输出，所述图像传送方法具有：传送区域设定步骤，使用不足一定数量的单位设定关心区域；区域扩展步骤，求算对关心区域进行扩展并将数据块作为一个单位而进行表示的扩展关心区域，并求算从所述关心区域向所述扩展关心区域的扩展范围；摄像步骤，由图像传感器进行摄像；输出步骤，从图像传感器输出扩展关心区域中所包含的数据块；及扩展范围消除步骤，从所输出的数据块消除扩展范围的像素数据而获得关心区域的图像。由此，能够在图像传感器的摄像区域内对作为传送对象的关心区域任意地进行设定，即使在多个关心区域重叠的情况下也适合，能够缩短传送所需要的时间。
【专利说明】图像传送方法及图像传送装置

【技术领域】
[0001] 本发明涉及从图像传感器传送图像数据的图像传送方法及图像传送装置，更详细 而言，涉及对在摄像区域内设定的关心区域的图像数据进行传送的方法及装置。

【背景技术】
[0002] 作为对安装有多个电子元件的基板进行生产的基板生产装置，存在焊料印刷装 置、元件安装装置、回流装置、基板检查装置等。较多的情况是在基板搬送装置中将它们连 接而构筑基板生产线。基板生产装置大多具备相机，以对附加于基板的各种的标记、代码进 行识别，或者对基板、部件的状态进行检查。相机通常具备具有二维配置的摄像元件（Pixel Array :像素阵列）并将各摄像元件的像素数据进行数字转换而输出的图像传感器，并以高 速传送图像。特别是，在基板生产线中，对所摄像的图像的状况进行判定，接着对基板所实 施的处理内容发生变化，因此图像的高速传送成为提高生产效率的重要因素。另外，较多情 况下不需要相机的摄像区域的整体的图像数据，因此也正尝试着设定关心区域而仅对一部 分的图像数据进行传送从而削减传送数据量，谋求进一步的高速化。
[0003] 在专利文献1中公开了设定这种关心区域而输出图像数据的摄像装置（相机）的 一技术例。专利文献1的摄像装置具备：对所设定的区域（关心区域）的区域数进行存储 的自身信息存储部；存储有对所使用的区域进行设定的区域信息的使用区域设定部；根据 来自外部的指令对区域信息进行变更/修正控制的第一及第二应答单元；及基于IEEE (美 国电气电子工程师学会）的标准将在区域信息中设定的图像数据输出的单元。此外，在技 术方案2以后，公开了作为具体的单元而使用数据包通信的各种单元。由此，记载了也具有 多个对被拍摄体进行摄像的区域，能够提高使用的方便性。
[0004] 专利文献1 :日本特开2006 - 109001号公报


【发明内容】

[0005] 然而，根据专利文献1的摄像装置，能够以数据包单位将摄像区域内的一部分的 区域的图像数据输出，不能够进行不足数据包单位的输出。因此，不能够以不足数据包单位 设定区域，设定所希望的任意的关心区域时的操作性降低（使用方便性不佳）。另外，需要 将以数据包单位输出的图像数据暂时存储于存储装置，接着转换为关心区域的图像数据， 从而耗费工时。因此，在使用专利文献1的摄像装置的基板生产线中，生产效率未提高。
[0006] 另外，在专利文献1中，没有公开多个关心区域重叠的情况下的具体的输出方法。 通常，在摄像元件使用CMOS元件、（XD元件等，像素数据输出1次就消失。因此，当分别输 出重叠的两个关心区域的像素数据时，在随后输出的关心区域中重叠的部分的像素数据已 经消失，不能够获得准确的图像。另外，即使假设在摄像元件能够进行二次以上的输出，将 重叠的部分二次输出也是非效率的，与之相应地，输出所需时间延迟。
[0007] 本发明鉴于上述【背景技术】的问题而提出，目的在于提供一种图像传送方法及图像 传送装置，其能够在图像传感器的摄像区域内对作为传送对象的关心区域任意地进行设 定，并且也适合于多个关心区域重叠的情况，能够将传送所需时间缩短。
[0008] 解决上述问题的技术方案1所涉及的图像传送方法的发明是来自图像传感器的 图像传送方法，上述图像传感器使用多个摄像元件对被拍摄体的摄像区域进行摄像，将通 过各上述摄像元件获得的每一定数量的像素数据汇总为数据块，并按每个数据块进行输 出，上述图像传送方法具有：传送区域设定步骤，使用不足上述一定数量的单位在上述摄 像区域内设定作为传送对象的关心区域；区域扩展步骤，求算对上述关心区域进行扩展并 将上述数据块作为一个单位而进行表示的扩展关心区域，并求算从上述关心区域向上述扩 展关心区域的扩展范围；摄像步骤，由上述图像传感器进行摄像，通过对上述摄像区域进行 摄像后的各上述摄像元件获得上述像素数据，将上述扩展关心区域中所包含的像素数据汇 总为上述数据块；输出步骤，从上述图像传感器输出上述扩展关心区域中所包含的数据块； 及扩展范围消除步骤，从所输出的数据块中消除上述扩展范围的像素数据而获得上述关心 区域的图像。
[0009] 技术方案2所涉及的发明以技术方案1为基础，上述图像传送方法还具有区域最 优化步骤，在上述传送区域设定步骤中设定多个关心区域并且在上述区域扩展步骤中求算 出的多个扩展关心区域的一部分重叠的情况下，继上述区域扩展步骤之后而将上述多个扩 展关心区域转换为没有重叠的非重复区域，在上述输出步骤中，取代上述扩展关心区域而 将上述非重复区域中所包含的数据块输出。
[0010] 技术方案3所涉及的发明以技术方案1为基础，上述图像传感器将上述多个摄像 元件在X - Y正交坐标轴上的X轴方向上呈直线状配置多个并且在Y轴方向上配置多列而 进行二维配置，将在X轴方向上呈直线状配置的多个摄像元件按上述一定数量进行划分而 作为块化元件组，将上述块化元件组的像素数据作为上述数据块，在上述传送区域设定步 骤中，设定与X轴及Y轴平行的矩形关心区域，在上述区域扩展步骤中，将上述矩形关心区 域在X轴方向上扩展并求算矩形扩展关心区域，在上述输出步骤中，首先将作为输出对象 的摄像元件的Y轴坐标值固定在上述扩展关心区域的最小值，使X轴坐标值从上述扩展关 心区域的最小值及最大值中的一方向另一方变化而输出第一列数据块，接着使作为上述输 出对象的摄像元件的Y轴坐标值增加与一个摄像元件相当的量并加以固定，使X轴坐标值 从上述扩展关心区域的最小值及最大值中的一方向另一方变化而输出第二列数据块，而且 重复输出各列数据块，直至作为上述输出对象的摄像元件的Y轴坐标值达到上述扩展关心 区域的最大值，由此将上述矩形扩展关心区域中所包含的所有数据块输出。
[0011] 技术方案4所涉及的发明以技术方案3为基础，上述图像传送方法还具有区域最 优化步骤，在上述传送区域设定步骤中设定多个矩形关心区域并且在上述区域扩展步骤中 求算出的多个矩形扩展关心区域的一部分重叠的情况下，继上述区域扩展步骤之后而将上 述多个矩形扩展关心区域转换为没有重叠且在X轴方向上不连续的矩形非重复区域，在上 述输出步骤中，取代上述矩形扩展关心区域而将上述矩形非重复区域中所包含的所有数据 块输出。
[0012] 技术方案5所涉及的发明以技术方案4为基础，上述区域最优化步骤具有：区域 细分子步骤，使用表示上述多个矩形扩展关心区域的边界的所有X轴坐标值及Y轴坐标值， 将上述摄像区域细分为格子状的多个小区域；区域分类子步骤，将各小区域分类为上述扩 展关心区域内的必要小区域和上述扩展关心区域外的不需要的小区域；X轴方向连接子步 骤，连接在X轴方向上连续的多个必要小区域并替换为新的必要小区域；Y轴方向连接子步 骤，连接在Υ轴方向上连续且表示边界的X轴坐标值相同的多个必要小区域并替换为新的 必要小区域；及区域确定子步骤，将X轴方向连接子步骤及Υ轴方向连接子步骤结束后的必 要小区域作为上述矩形非重复区域。
[0013] 解决上述问题的技术方案6所涉及的图像传送装置的发明具有：图像传感器，使 用多个摄像元件对被拍摄体的摄像区域进行摄像，将通过各上述摄像元件获得的每一定数 量的像素数据汇总为数据块，并按每个数据块进行输出；传送区域设定单元，对于通过对上 述摄像区域进行摄像后的多个摄像元件获得的多个上述像素数据，使用不足上述一定数量 的单位在上述摄像区域内设定作为传送对象的关心区域；区域扩展单元，求算对上述关心 区域进行扩展并将上述数据块作为一个单位而进行表示的扩展关心区域，并且求算从上述 关心区域向上述扩展关心区域的扩展范围；输出单元，从上述图像传感器输出上述扩展关 心区域中所包含的数据块；及扩展范围消除单元，从所输出的数据块中消除上述扩展范围 的像素数据而获得上述关心区域的图像。
[0014] 技术方案7所涉及的发明以技术方案6为基础，上述图像传送装置还具有区域最 优化单元，在由上述传送区域设定单元设定多个关心区域并且由上述区域扩展单元求算出 的多个扩展关心区域的一部分重叠的情况下，上述区域最优化单元继上述区域扩展单元之 后进行动作而将上述多个扩展关心区域转换为没有重叠的非重复区域，上述输出单元取代 上述扩展关心区域而将上述非重复区域中所包含的数据块输出。
[0015] 技术方案8所涉及的发明以技术方案6为基础，上述图像传感器具备：多个摄像元 件，在X - Υ正交坐标轴上的X轴方向上呈直线状配置多个并且在Υ轴方向上配置多列而进 行二维配置；多路复用部，对于将在X轴方向上呈直线状配置的多个摄像元件按上述一定 数量进行划分而得到的块化元件组进行切换而进行选择；及个数与一定数量相等的AD转 换器，分别对由多路复用部所选择的块化元件组的各图像元件的像素数据进行数字化，上 述传送区域设定单元设定与X轴及Υ轴平行的矩形关心区域，上述区域扩展单元在X轴方 向上对上述矩形关心区域进行扩展并求算矩形扩展关心区域，上述输出单元首先将作为输 出对象的摄像元件的Υ轴坐标值固定在上述扩展关心区域的最小值，利用上述AD转换器对 第一列块化元件组的各图像元件的像素数据进行数字化并输出，接着将作为上述输出对象 的摄像元件的Υ轴坐标值增加与一个摄像元件相当的量并加以固定，利用上述AD转换器对 第二列块化元件组的各图像元件的像素数据进行数字化并输出，而且重复输出各列块化元 件组的各图像元件的像素数据，直至作为上述输出对象的摄像元件的Υ轴坐标值达到上述 扩展关心区域的最大值，由此将上述矩形扩展关心区域中所包含的所有数据块输出。
[0016] 技术方案9所涉及的发明以技术方案8为基础，上述图像传送装置还具有区域最 优化单元，在由上述传送区域设定单元设定多个矩形关心区域并由上述区域扩展单元求算 的多个矩形扩展关心区域的一部分重叠的情况下，上述区域最优化单元继上述区域扩展单 元之后进行动作而将上述多个矩形扩展关心区域转换为没有重叠且在X轴方向上不连续 的矩形非重复区域，上述输出单元取代上述矩形扩展关心区域而将上述矩形非重复区域中 所包含的所有数据块输出。
[0017] 技术方案10所涉及的发明以技术方案6?9中的任一项为基础，上述扩展范围消 除单元由现场可编程门阵列（Field-Programmable Gate Array)构成。
[0018] 发明效果
[0019] 在技术方案1所涉及的图像传送方法的发明中，能够使用不足一定数量的单位来 设定关心区域，此时能够求算扩展关心区域而从图像传感器输出扩展关心区域中所包含的 数据块，从所输出的数据块消除扩展范围的像素数据而获得关心区域的图像。因此，能够不 管数据块的一定数量而任意地设定关心区域。另外，由于所输出的数据块设成必要最小限， 因此与对摄像区域整体的像素数据进行传送的情况相比能够缩短传送所需时间。
[0020] 在技术方案2所涉及的发明中，在多个扩展关心区域的一部分重叠的情况下，转 换为没有重叠的非重复区域，将非重复区域中所包含的数据块输出。因此，能够输出相对于 多个扩展关心区域不多不少的数据块，能够获得多个关心区域的准确的图像，并且能够缩 短传送所需时间。
[0021] 技术方案3所涉及的发明，图像传感器将多个摄像元件在X - Y正交坐标轴上二 维配置，并设定矩形关心区域，求算在X轴方向上扩展的扩展关心区域，并输出扩展关心区 域中所包含的所有数据块。因此，能够在实用的正交二维摄像区域内任意地设定矩形关心 区域，另外，由于对必要最小限的数据块的像素数据进行传送，因此能够缩短传送所需时 间，实用的效果较大。
[0022] 在技术方案4所涉及的发明中，多个矩形关心区域在实用性的正交二维摄像区域 内重叠的情况下，转换为没有重叠的矩形非重复区域，将非重复区域中所包含的数据块输 出。因此，能够输出不多不少的数据块，并能够获得多个关心区域的准确的图像，并且能够 缩短传送所需时间，实用的效果较大。
[0023] 在技术方案5所涉及的发明中，区域最优化步骤具有5个子步骤，将存在重叠的多 个矩形扩展关心区域转换为没有重叠且在X轴方向上不连续的矩形非重复区域。由此获得 的非重复区域的区域数成为最小而被最优化，因此能够在不对区域不必要地进行细分的情 况下输出数据块，传送控制变得简洁并能够缩短传送所需时间。
[0024] 在技术方案6所涉及的图像传送装置的发明中，由图像传感器、传送区域设定单 元、区域扩展单元、输出单元及扩展范围消除单元构成图像传送装置，因此能够使用不足一 定数量的单位对关心区域进行设定，此时能够求算扩展关心区域而从图像传感器输出扩展 关心区域中所包含的数据块，并从所输出的数据块消除扩展范围的像素数据而获得关心区 域的图像。因此，能够不管数据块的一定数量而任意地设定关心区域。另外，由于所输出的 数据块设成必要最小限，因此与对摄像区域整体的像素数据进行传送的情况相比能够缩短 传送所需时间。本发明作为方法、作为装置均能够进行实施。
[0025] 在技术方案7所涉及的发明中，在多个扩展关心区域的一部分重叠的情况下，转 换为没有重叠的非重复区域，将非重复区域中所包含的数据块输出。因此，能够输出相对于 多个扩展关心区域不多不少的数据块，能够获得多个关心区域的准确的图像，并且能够缩 短传送所需时间。
[0026] 技术方案8所涉及的发明中，图像传感器将多个摄像元件在X - Y正交坐标轴上 二维配置，设定矩形关心区域，求算在X轴方向上扩展的扩展关心区域，输出在扩展关心区 域中所包含的所有数据块。因此，能够在实用性的正交二维摄像区域内任意地设定矩形关 心区域，另外，由于对必要最小限的数据块的像素数据进行传送，因此能够缩短传送所需时 间，实用的效果较大。
[0027] 在技术方案9所涉及的发明中，在实用性的正交二维的摄像区域内多个矩形关心 区域重叠的情况下，转换为没有重叠的矩形非重复区域，将非重复区域中所包含的数据块 输出。因此，能够输出不多不少的数据块，并能够获得多个关心区域的准确的图像，并且能 够缩短传送所需时间，实用的效果较大。
[0028] 在技术方案10所涉及的发明中，扩展范围消除单元由现场可编程门阵列构成。在 传送途中，现场可编程门阵列使不包含扩展范围的数据块直通，而仅将包含扩展范围的数 据块的扩展范围的像素数据消除。相对于此，以往技术中，在将数据块的全部像素数据传送 到存储器装置后，实施将扩展范围的像素数据消除的软件处理。因此，根据本方式，不需要 用于消除扩展范围的像素数据所需的软件处理等的多余时间，能够缩短传送所需时间。

【专利附图】

【附图说明】
[0029] 图1是实施方式的图像传送装置中所使用的图像传感器的硬件结构图。
[0030] 图2是表示实施方式的图像传送装置的整体功能结构的框图。
[0031] 图3A是对关心区域的设定方法及扩展关心区域的求算方法进行说明的图。
[0032] 图3B是对扩展关心区域的像素数据的输出顺序进行说明的图。
[0033] 图4是对实施方式的图像传送方法进行说明的流程图。
[0034] 图5A是对多个关心区域的设定进行说明的图，是表示多个扩展关心区域不重叠 的情况。
[0035] 图5B是对多个关心区域的设定进行说明的图，是表示多个扩展关心区域重叠的 情况。
[0036] 图5C是对多个关心区域的设定进行说明的图，表示将图5B的情况转换为没有重 叠的非重复区域后的情况。
[0037] 图6是对区域最优化步骤的详细的子步骤进行说明的流程图。
[0038] 图7是对开始区域最优化步骤以前的4个扩展关心区域进行例示的图。
[0039] 图8是对实施了区域细分化子步骤及区域分类子步骤后的必要小区域进行例示 的图。
[0040] 图9是对实施X轴方向连接子步骤后的必要小区域进行例示的图。
[0041] 图10是对实施区域确定子步骤后的非重复区域进行例示的图。

【具体实施方式】
[0042] 参考图1?图10对本发明的实施方式的图像传送装置1及图像传送方法进行说 明。图1是用于实施方式的图像传送装置1的图像传感器2的硬件结构图。图像传感器2 由像素阵列21、X轴扫描电路22、Y轴扫描电路23、前处理部24、AD转换器25、及块化输出 部26等构成。
[0043] 像素阵列21被设为将摄像元件211在X - Y正交坐标轴上的X轴方向呈直线状 配置队个并且在Y轴方向上配置Ny列的二维配置。在图1中，例示了 X轴方向上的第三个 以前、Y轴方向上的第三列以前的摄像元件211，实际上摄像元件211全部是（Nx · Ny)个。 在摄像元件211上，能够使用例如浓淡检测用的CMOS元件，并能够获得模拟量的像素数据。 另外，摄像元件211也可以使用CCD元件等其他方式的元件。
[0044] X轴扫描电路22对像素阵列21中的X轴方向上的坐标值（X轴坐标值）进行选 择控制，对来自摄像元件211的像素数据的发送进行切换。Y轴扫描电路23对像素阵列21 中的Y轴方向上的坐标值（Y轴坐标值）进行选择控制，对摄像元件211的列进行切换。由 此，仅从特定的摄像元件211向前处理部24发送像素数据。前处理部24对像素数据进行 放大并发送到AD转换器25。另外，在前处理部24中，能够进行增益调节及偏置调节。
[0045] AD转换器25将模拟量的像素数据转换为例如10位的数字信号而向块化输出部 26发送。不限定于此，AD转换器25也可以具有与10位不同的分辨率。块化输出部26按 每一定数量的K个将数字信号汇总为数据块，按照每个数据块输出。因此，块化输出部26 不能够仅对特定的摄像元件211进行指定而输出该像素数据，而是进行将一定数量K (K个） 的摄像元件221汇总后的数据块单位的输出。
[0046] 为了对图像传感器2的X轴扫描电路22、Y轴扫描电路23、AD转换器25、及块化 输出部26的动作进行控制，在图像传感器2内设置省略了图示的控制部。控制部以基于来 自外部的指令按照数据块单位依次输出像素数据的方式进行控制。
[0047] 例如，对通过来自外部的指令将摄像区域整体即所有摄像元件211设为输出对象 的情况进行说明。控制部首先将Y轴扫描电路23的Y轴坐标值固定在最小值的第一列，将 X轴坐标值从第一个依次增加到第K个，将Y轴坐标值的第一列的最初的K个摄像元件221 的像素数据依次发送到前处理部24。由此，前处理部24及AD转换器25依次动作而将K个 数字信号发送到块化输出部26。接着，块化输出部26动作，将最初的数据块汇总，作为图像 数据而输出。接着，控制部将X轴坐标值从第（K+1)个依次增加到第（2K)个，将第二块的 K个摄像元件221的像素数据依次发送到前处理部24。由此，前处理部24及AD转换器25 动作而将K个数字信号发送到块化输出部26。接着，块化输出部26动作，对第二块的数据 块进行汇总，作为图像数据而输出。
[0048] 对此进行重复，当Y轴坐标值的第一列的Nx个所有像素数据的输出结束时，控制 部接着将Y轴坐标值增加与一个摄像元件相当的量而固定在第二列。并且，控制部将X轴 坐标值从第一个返回到第K个而进行来自块化输出部26的输出。接着，控制部将X轴坐标 值从第（K+1)个变更至第（2K)个而进行来自块化输出部26的输出，以下，依次增加 X轴坐 标值而进行输出。此外，图像传感器2在Y轴坐标值的第三列以后也重复与第一及第二列 同样的动作，从而进行直到作为Y轴坐标值的最大值的第N y列的输出。
[0049] 在实施方式的图像传送装置1及图像传送方法中，在不需要图像传感器2的摄像 区域整体的图像数据的情况下，设定关心区域RI而仅对图像数据的一部分进行传送。图2 是表示实施方式的图像传送装置1的整体功能结构的框图。如图2所示，图像传送装置1 由图像传感器2、传送区域设定单元3、区域扩展单元4、区域存储设定单元5、扩展范围消除 单元（FPGA) 6、及区域最优化单元7等构成，向外部存储装置等的传送目的地传送关心区域 RI的图像。图3A是对关心区域RI的设定方法及扩展关心区域RE的求算方法进行说明的 图，图3B是对扩展关心区域RE的像素数据的输出顺序进行说明的图。
[0050] 传送区域设定单元3是针对通过对摄像区域进行摄像的多个摄像元件211而获 得的多个像素数据，使用不足一定数量K的单位而在摄像区域内设定作为传送对象的关 心区域RI的单元。能够以摄像元件211的一个单位设定关心区域RI。具体而言，传送 区域设定单元3设定由X轴方向的坐标值所表示的任意的始点边界值XS1及终点边界值 XE1 (1彡XS1彡XE1彡Nx)、和由Y轴方向的坐标值所表示的任意的始点边界值YS1及终点 边界值YE1 (1彡YS1彡YE1彡Ny)。因此，关心区域RI与X轴及Y轴平行、且成为包含边界 的矩形。例如与图像传感器2分体的上一级装置承担传送区域设定单元3的作用。传送区 域设定单元3对设定于区域扩展单元4的关心区域RI进行指令。
[0051] 区域扩展单元4将矩形关心区域RI在X轴方向上扩展并求算矩形扩展关心区域 RE。如图3A所示，区域扩展单元4在关心区域RI的X轴方向的始点边界值XS1及终点边 界值XE1与数据块的边界不一致时，将关心区域RI扩展而形成与数据块的边界一致的扩展 关心区域RE，并求算该始点边界值xsl及终点边界值xel。由此，能够从图像传感器2消除 不足数据块单位的输出。
[0052] 此处，
[0053] 始点边界值 xsl = K · ks+1 = XS1 - Exs
[0054] 终点边界值 xel = K · ke = XEl+Exe
[0055] (其中，ks 和 ke 是整数，Exs < K，Exe < K)
[0056] S卩，始点边界值xsl是在一定数量K的倍数上加1而得到的值，并且成为从关心区 域的始点边界值XS1向较小侧扩展了与始点侧扩展范围Exs相当的量而得到的值。另外， 终点边界值xel成为一定数量K的倍数的值，并且成为从关心区域的终点边界值XE1向较 大侧扩展了与终点侧扩展范围Exe相当的量而得到的值。区域扩展单元4例如能够由与图 像传感器2-体地配置的省略图示的控制部的软件来实现。另外，在Y轴方向上成为每1 列的输出，因此不需要对关心区域RI进行扩展，在扩展关心区域RE的设定中使用当初所设 定的始点边界值YS1及终点边界值YE1。
[0057] 区域存储设定单元5存储上述的扩展关心区域RE的X轴方向的始点边界值xsl 及终点边界值xel、和始点侧扩展范围Exs及终点侧扩展范围Exe，而且存储Y轴方向的始 点边界值YS1及终点边界值YE1。而且，区域存储设定单元5将这些值xsl、xel、Exs、Exe、 YS1、YE1设定在图像传感器2及扩展范围消除单元6。区域存储设定单元5例如能够由与 图像传感器2 -体地配置的省略图示的控制部的软件及存储器部来实现。
[0058] 图像传感器2在进行了摄像之后，基于由区域存储设定单元5所设定的始点边界 值xsl及终点边界值xel、和始点边界值YS1及终点边界值YE1，而将扩展关心区域RE中所 包含的数据块依次输出。具体而言，如图3B所示，图像传感器2首先将Y轴坐标值固定在 作为扩展关心区域RE的最小值的始点边界值YS1，使X轴坐标值从作为扩展关心区域的最 小值的始点边界值xsl变化至作为最大值的终点边界值xel，将第一列的4个数据块（图 中的DB1?DB4)依次输出。接着，图像传感器2将Y轴坐标值固定在增加了与一摄像元件 相当的量而得到的坐标值（YS1+1)，并将第二列的4个数据块（图中的DB5?DB8)依次输 出。而且，图像传感器2重复各列的数据块的输出，输出到Y轴坐标值是作为最大值的终点 边界值YE1的最后的数据块（图中的DBlast)为止。因此，利用图像传感器2及区域存储 指令单元5的协同动作来实现本发明的输出单元。
[0059] 扩展范围消除单元6从所输出的数据块将始点侧扩展范围Exe及终点侧扩展范围 Exe的像素数据消除而得到关心区域RI的图像。扩展范围消除单元6由现场可编程门阵 列（FPGA)构成。现场可编程门阵列是可编程逻辑装置的一种。扩展范围消除单元6基于 来自区域存储设定单元5的设定而进行动作。扩展范围消除单元6在数据块的传送途中， 使不包含始点侧扩展范围Exs及终点侧扩展范围Exe的数据块原样直通（通过），仅将包 含始点侧扩展范围Exs及终点侧扩展范围Exe的数据块的扩展范围Exs、Exe的像素数据消 除。由此，被传送到传送目的地的图像数据被限定于关心区域RI，能够获得相对于所设定的 关心区域RI不多不少的图像。
[0060] 区域最优化单元7 -体地组装于区域扩展单元4。在传送区域设定单元3中设定 多个关心区域RI，并在由区域扩展单元4所求算出的多个扩展关心区域RE的一部分重叠的 情况下，区域最优化单元7继区域扩展单元4之后进行动作。区域最优化单元7将多个扩 展关心区域RE转换为没有重叠的非重复区域。在这种情况下，区域存储设定单元5取代扩 展关心区域RE而对非重复区域进行存储及设定。关于区域最优化单元7的功能，在后文中 对照图像传送动作的说明而进行详述。
[0061] 接着，对实施方式的图像传送装置1的图像传送动作即实施方式的图像传送方法 进行说明。图4是对实施方式的图像传送方法进行说明的流程图。在图4的传送区域设定 步骤S1中，传送区域设定单元3使用摄像元件211的不足一定数量K的单位在摄像区域内 设定作为传送对象的关心区域RI。具体而言，对关心区域RI的X轴方向的始点边界值XS1 及终点边界值XE1、和Y轴方向的始点边界值YS1及终点边界值YE1进行设定。图5A是对 多个关心区域RI的设定进行说明的图，表示多个扩展关心区域RE1、RE2不重叠的情况。图 5B是对多个关心区域RI的设定进行说明的图，表示多个扩展关心区域RD1、RD2重叠的情 况。图5C是对多个关心区域RI的设定进行说明的图，表示将图5B的情况转换为没有重叠 的非重复区域RN1?RN3后的情况。对多个关心区域RI进行设定的情况下，针对各个关心 区域RI设定4个边界值XS1、XE1、YS1、YE1。
[0062] 在接下来的区域扩展步骤S2中，区域扩展单元4求算对关心区域RI进行扩展并 对将数据块作为一个单位而进行表示的扩展关心区域RE，并求算从关心区域RI向扩展关 心区域RE的扩展范围。具体而言，求算扩展关心区域RE的始点边界值xsl和终点边界值 xel、和始点侧扩展范围Exs和终点侧扩展范围Exe，并与Y轴方向的始点边界值YS1和终点 边界值YE1 -起存储在区域存储设定单元5中。
[0063] 在接下来的步骤S3中，对扩展关心区域RE是否有重叠进行判定。图3A所例示的 关心区域RI是一个的情况、及图5A所例示的多个扩展关心区域RE1、RE2不重叠的情况下， 不需要接下来的区域最优化步骤S4,进入区域设定步骤S5。
[0064] 在接下来的区域设定步骤S5中，区域存储设定单元5在图像传感器2及扩展范围 消除单元6中设定一个扩展关心区域RE或不重叠的多个扩展关心区域RE1、RE2的X轴方 向的始点边界值xsl及终点边界值xel、和始点侧扩展范围Exs及终点侧扩展范围Exe、乃 至Y轴方向的始点边界值YS1及终点边界值YE1。这样一来，用于进行摄像及图像数据传送 的准备完毕。
[0065] 在接下来的摄像步骤S6中，图像传感器2进行摄像，并通过对摄像区域进行摄像 后的各摄像元件221获得像素数据。并且，在块化输出部26中，将扩展关心区域RE、RE1、 RE2中所包含的像素数据进汇总为数据块。在接下来的输出步骤S7中，图像传感器2从块 化输出部26依次输出数据块。在摄像步骤S6中将像素数据汇总为数据块的动作及在输出 步骤S7输出数据块的动作重复进行与扩展关心区域RE、RE1、RE2的数据块的模块数相当的 次数。
[0066] 在接下来的扩展范围消除步骤S8中，扩展范围消除单元6从传送途中的数据块消 除始点侧扩展范围Exs及终点侧扩展范围Exe的像素数据。由此，能够在传送目的地获得 关心区域RI的图像。接着，在步骤S9中对关心区域RI是否发生了变更进行判定，在变更 了的情况下返回到传送区域设定步骤S1。另外，在未变更的情况下返回到摄像步骤S6,能 够连续地进行下一个摄像。
[0067] 接着，针对两个扩展关心区域RD1、RD2重叠的情况的实施方式的图像传送装置1 的图像传送动作即实施方式的图像传送方法进行说明。在两个扩展关心区域RD1、RD2重叠 的情况下也按照图4的流程而进行动作，而在进行区域最优化步骤S4这一方面有所不同。 如图5B所例示的那样，假定如下情况：在区域扩展步骤S2中将在传送区域设定步骤S1中 设定的两个关心区域进行扩展，获得了第一扩展关心区域RD1的边界值xsl、xel、ysl、yel 及第二扩展关心区域1?2的边界值^2、狀2、782、762。此时，乂轴方向的边界值的大小关 系是xsl < xs2 < xel < xe2, Y轴方向的边界值的大小关系为ysl < ys2 < yel < ye2。 艮P，在X轴方向的xs2?xel的范围、及Y轴方向的ys2?yel的范围内两个扩展关心区域 重叠（图中附加阴影而表示）。
[0068] 此处，假定图像传感器2将第一及第二扩展关心区域RD1、RD2的像素数据以该顺 序分别进行了输出的情况。于是，随后输出的第二扩展关心区域RD2重叠的部分的像素数 据已经消失，因此无法在传送目的地获得准确的图像。因此，在区域最优化步骤S4中，区域 最优化单元7将第一及第二扩展关心区域RD1、RD2转换为图5C所示的没有重叠的3个非 重复区域8附、8吧、8吧。在该例中，成为第一非重复区域8附的边界值181、161、781、782、 第二非重复区域RN2的边界值181、162、782、761、第三非重复区域8吧的边界值182、义62、 yel、ye2〇
[0069] 虽然上述的情况下能够比较容易地求算非重复区域RN1?RN3,但是以下针对即 使在成为基本的关心区域RI的区域数目增加的情况下也适合的区域最优化步骤S4(区域 最优化单元7)的一般方法进行说明。图6是对区域最优化步骤S4的详细的子步骤进行说 明的流程图。另外，图7对开始区域最优化步骤S4以前的4个扩展关心区域Rdl?Rd4进 行例示，图8对实施了区域细分化子步骤Ssl及区域分类子步骤Ss2后的必要小区域进行 例示。而且，图9对实施了 X轴方向连接子步骤Ss3后的必要小区域进行例示，图10对实 施了区域确定子步骤Ss5后的非重复区域Rnl?Rn6进行例示。
[0070] 首先，假定如下情况：设定4个关心区域RI，并扩展为4个扩展关心区域Rdl? Rd4,各自的边界值如图7所例示的那样是下述的值。
[0071] 第一扩展关心区域Rdl的边界值xsl, xel, ysl, yel
[0072] 第二扩展关心区域Rd2的边界值xs2, xe2, ys2, ye2
[0073] 第三扩展关心区域Rd3的边界值xs3, xe3, ys3, ye3
[0074] 第四扩展关心区域Rd4的边界值xs4, xe4, ys4, ye4
[0075] 其中，
[0076] xsl < xs2 < xel < xs4 < xs3 < xe2 < xe4 < xe3
[0077] ysl < ys3 < ys2 < yel < ye3 < ye2 < ys4 < ye4
[0078] 于是，在图6的区域细分子步骤Ssl中，使用第一?第四扩展关心区域Rdl?Rd4 的所有的X轴方向及Y轴方向的边界值，将摄像区域Rtot细分为格子状的多个小区域rs。 X轴方向及Y轴方向的边界值各有8个，分别以升序进行分类并以从小到大的顺序排列，能 够容易地细分为小区域rs。细分后的结果如图8所示，小区域rs的区域数成为49个（= 7X7)，记为小区域rs(x，y)(其中，X = 1?7, y = 1?7)。在图8中，出于方便而在小区 域rs(l，l)、小区域rs(2,6)及小区域rs(6,3)这3个区域上附加阴影进行例示。
[0079] 在接下来的区域分类子步骤Ss2中，将各小区域rs(x，y)分类为第一?第四扩展 关心区域Rdl?Rd4的内部的必要小区域和第一?第四扩展关心区域Rdl?Rd4的外部的 不需要的小区域。在图8中，例如，将小区域rs(l，l)及小区域rs(2，l)分类为第一扩展关 心区域Rdl内的必要小区域，将从小区域rs (3,1)到小区域rs (7,1)的X轴方向上连续的 5个区域分类为不需要的小区域。另外，例如，小区域rs (2, 3)是第一及第二扩展关心区域 Rdl、Rd2重叠的部分，被分类为必要小区域。在图8中，作为分类后的结果，在27个必要小 区域上标记"〇"符号而进行表示。
[0080] 在接下来的X轴方向连接子步骤Ss3中，将在X轴方向上连续的多个必要小区域 连接而替换为新的必要小区域。具体而言，将在X轴方向上连续的必要小区域rs(l，l)及 必要小区域rs(2，l)连接而作为必要小区域rs(nl，l)。同样，将在X轴方向上连续的必要 小区域rs(l，2)及必要小区域rs(2,2)连接而作为必要小区域rs(nl，2)。另外，将必要小 区域rs (5, 2)、必要小区域rs (6, 2)及必要小区域rs (7, 2)这3个区域连接而作为必要小区 域rs(n5,2)。另外，将从必要小区域rs(l，3)到必要小区域rs(7,3)的在X轴方向上连续 的7个区域连接而作为必要小区域rs (nl，3)。以下同样地，将多个必要小区域替换为新的 必要小区域rs(n2,4)、必要小区域rs(n2,5)及必要小区域rs(n4,7)。由此，将在图8中标 记了 "〇"符号后的27个必要小区域rs替换为图9所示的7个新的必要小区域rs。
[0081] 在接下来的Y轴方向连接子步骤Ss4中，将在Y轴方向上连续且表示边界的X轴 坐标值相同的多个必要小区域连接而替换为新的必要小区域。在图9的例中，关于必要小 区域rs(nl，1)及必要小区域rs(nl，2)，始点边界值xsl及终点边界值xel相同，因此将这 两个小区域结合而替换为新的必要小区域rs(nl，nl)。此外，没有X轴方向的始点边界值 及终点边界值成为相同的必要小区域。这样一来，必要小区域rs的区域数成为6个。
[0082] 在接下来的区域确定子步骤Ss5中，将X轴方向连接子步骤Ss3及Y轴方向连接 子步骤Ss4结束后的6个必要小区域rs作为矩形非重复区域Rnl?Rn6。例如，如图10所 示，将必要小区域rs(nl，nl)作为第一非重复区域Rnl，同样针对其他必要小区域rs也变 更为第二?第六非重复区域Rn2?Rn6。此后，进入图4的流程的区域设定步骤S5,在输出 步骤S7中输出非重复区域Rnl?Rn6的数据块。
[0083] 另外，即使不实施X轴方向连接子步骤Ss3以下的步骤，而分别在27个必要小区 域rs输出数据块，也能够在传送目的地获得4个关心区域的图像。但是，此时，传送控制的 设定需要27个图案，传送控制变得复杂而使得传送所需时间延长。相对于此，若在开始摄 像步骤S5以前实施至区域确定子步骤Ss5,则只对6个图案进行传送控制的设定即可，因此 传送控制变得简洁，从而将传送所需时间缩短。
[0084] 根据实施方式的图像传送装置1及图像传送方法，能够以摄像元件211的一个单 位设定关心区域RI，此时求算扩展关心区域RE、RE1、RE2而从图像传感器输出扩展关心区 域RE、RE1、RE2中所包含的数据块，从所输出的数据块消除扩展范围Exs、Exe的像素数据 而获得关心区域RI的图像。因此，能够不管数据块的像素数据数K个而任意地设定关心区 域RI。另外，输出的数据块成为必要最小限，因此与对摄像区域Rtot整体的像素数据进行 传送的情况相比能够进一步缩短传送所需时间。
[0085] 另外，实施方式的图像传送装置1在多个扩展关心区域RD1、RD2、Rdl?Rd4的一 部分重叠的情况下，转换为没有重叠的非重复区域RN1?RN3、Rnl?Rn6,并将非重复区域 RN1?RN3、Rnl?Rn6中包含的数据块输出。因此，能够输出相对于多个扩展关心区域RD1、 RD2、Rdl?Rd4不多不少的数据块，从而获得多个关心区域的准确的图像，并且能够缩短传 送所需时间。
[0086] 而且，实施方式的图像传感器2将多个摄像元件221二维配置于X - Y正交坐标 轴上，实用的效果较大。
[0087] 另外，区域最优化步骤S4具有5个子步骤Ssl?Ss5,将具有重叠的多个矩形扩 展关心区域Rdl?Rd4转换为没有重叠且在X轴方向上不连续的矩形非重复区域Rnl? Rn6。由此获得的非重复区域Rnl?Rn6的区域数成为最小而被最优化，因此图像传送装置 1能够在不对区域不必要地进行细分的情况下输出数据块，传送控制变得简洁，能够缩短传 送所需时间。
[0088] 另外，扩展范围消除单元6由现场可编程门阵列构成，为了将扩展范围Exs、Exe的 像素数据消除，不需要软件处理等多余的时间，能够缩短传送所需时间。
[0089] 另外，实施方式中所说明的图像传感器2是一例，也能够使用其他方式的图像传 感器。另外，传送区域设定单元3、区域扩展单元4、区域存储设定单元5及区域最优化单元 7的各单元能够适当由软件构成，能够进行各种的设定方法、运算处理方法的应用。此外，对 于扩展范围消除单元6,也不限于现场可编程门阵列。此外，本发明能够进行各种各样的应 用、变形。
[0090] 工业实用性
[0091] 本发明的图像传送方法及图像传送装置能够适当地应用于基于由相机（图像传 感器）的摄像而得到的图像数据而在基板上实施规定生产工艺的基板生产装置、基板生产 线。此外，本发明的图像传送方法及图像传送装置能够广泛地用于以基板以外的幅宽的制 品为对象、参照图像传感器的摄像区域的一部分的摄像数据而对生产状况进行监视的工艺 监视装置、基于图像传感器的一部分的摄像数据而判定制品的良否的图像检查装置等。
[0092] 附图标记说明：
[0093] 1:图像传送装置
[0094] 2:图像传感器
[0095] 21 :像素阵列22 :X轴扫描电路23 :Y轴扫描电路
[0096] 24 :前处理部25 :AD转换器 26 :块化输出部
[0097] 3 :传送区域设定单元
[0098] 4:区域扩展单元
[0099] 5:区域存储设定单元
[0100] 6 :扩展范围消除单元（FPGA =现场可编程门阵列）
[0101] 7:区域最优化单元
[0102] K :一定数量RI :关心区域
[0103] RE、RE1、RE2 :扩展关心区域（不重叠）
[0104] RD1、RD2, Rdl?Rd4 :重叠的扩展关心区域
[0105] RN1?RN3, Rnl?Rn6 :非重复区域
[0106] rS，rS(X，Y):小区域、必要小区域
【权利要求】
1. 一种图像传送方法，是来自图像传感器的图像传送方法，所述图像传感器使用多个 摄像元件对被拍摄体的摄像区域进行摄像，将通过各所述摄像元件获得的每一定数量的像 素数据汇总为数据块，并按每个数据块进行输出，所述图像传送方法具有： 传送区域设定步骤，使用不足所述一定数量的单位在所述摄像区域内设定作为传送对 象的关心区域； 区域扩展步骤，求算对所述关心区域进行扩展并将所述数据块作为一个单位而进行表 示的扩展关心区域，并求算从所述关心区域向所述扩展关心区域的扩展范围； 摄像步骤，由所述图像传感器进行摄像，通过对所述摄像区域进行摄像后的各所述摄 像元件获得所述像素数据，将所述扩展关心区域中所包含的像素数据汇总为所述数据块； 输出步骤，从所述图像传感器输出所述扩展关心区域中所包含的数据块；及 扩展范围消除步骤，从所输出的数据块中消除所述扩展范围的像素数据而获得所述关 心区域的图像。
2. 根据权利要求1所述的图像传送方法，其中， 所述图像传送方法还具有区域最优化步骤，在所述传送区域设定步骤中设定多个关心 区域并且在所述区域扩展步骤中求算出的多个扩展关心区域的一部分重叠的情况下，继所 述区域扩展步骤之后而将所述多个扩展关心区域转换为没有重叠的非重复区域， 在所述输出步骤中，取代所述扩展关心区域而将所述非重复区域中所包含的数据块输 出。
3. 根据权利要求1所述的图像传送方法，其中， 所述图像传感器将所述多个摄像元件在X - Y正交坐标轴上的X轴方向上呈直线状配 置多个并且在Y轴方向上配置多列而进行二维配置，将在X轴方向上呈直线状配置的多个 摄像元件按所述一定数量进行划分而作为块化元件组，将所述块化元件组的像素数据作为 所述数据块， 在所述传送区域设定步骤中，设定与X轴及Y轴平行的矩形关心区域， 在所述区域扩展步骤中，将所述矩形关心区域在X轴方向上扩展并求算矩形扩展关心 区域， 在所述输出步骤中，首先将作为输出对象的摄像元件的Y轴坐标值固定在所述扩展关 心区域的最小值，使X轴坐标值从所述扩展关心区域的最小值及最大值中的一方向另一方 变化而输出第一列数据块，接着使作为所述输出对象的摄像元件的Y轴坐标值增加与一个 摄像元件相当的量并加以固定，使X轴坐标值从所述扩展关心区域的最小值及最大值中的 一方向另一方变化而输出第二列数据块，而且重复输出各列数据块，直至作为所述输出对 象的摄像元件的Y轴坐标值达到所述扩展关心区域的最大值，由此将所述矩形扩展关心区 域中所包含的所有数据块输出。
4. 根据权利要求3所述的图像传送方法，其中， 所述图像传送方法还具有区域最优化步骤，在所述传送区域设定步骤中设定多个矩形 关心区域并且在所述区域扩展步骤中求算出的多个矩形扩展关心区域的一部分重叠的情 况下，继所述区域扩展步骤之后而将所述多个矩形扩展关心区域转换为没有重叠且在X轴 方向上不连续的矩形非重复区域， 在所述输出步骤中，取代所述矩形扩展关心区域而将所述矩形非重复区域中所包含的 所有数据块输出。
5. 根据权利要求4所述的图像传送方法，其中， 所述区域最优化步骤具有： 区域细分子步骤，使用表示所述多个矩形扩展关心区域的边界的所有X轴坐标值及Y 轴坐标值，将所述摄像区域细分为格子状的多个小区域； 区域分类子步骤，将各小区域分类为所述扩展关心区域内的必要小区域和所述扩展关 心区域外的不需要的小区域； X轴方向连接子步骤，连接在X轴方向上连续的多个必要小区域并替换为新的必要小 区域； Y轴方向连接子步骤，连接在Y轴方向上连续且表示边界的X轴坐标值相同的多个必要 小区域并替换为新的必要小区域；及 区域确定子步骤，将X轴方向连接子步骤及Y轴方向连接子步骤结束后的必要小区域 作为所述矩形非重复区域。
6. -种图像传送装置，其特征在于， 具有： 图像传感器，使用多个摄像元件对被拍摄体的摄像区域进行摄像，将通过各所述摄像 元件获得的每一定数量的像素数据汇总为数据块，并按每个数据块进行输出； 传送区域设定单元，对于通过对所述摄像区域进行摄像后的多个摄像元件获得的多个 所述像素数据，使用不足所述一定数量的单位在所述摄像区域内设定作为传送对象的关心 区域； 区域扩展单元，求算对所述关心区域进行扩展并将所述数据块作为一个单位而进行表 示的扩展关心区域，并且求算从所述关心区域向所述扩展关心区域的扩展范围； 输出单元，从所述图像传感器输出所述扩展关心区域中所包含的数据块；及 扩展范围消除单元，从所输出的数据块中消除所述扩展范围的像素数据而获得所述关 心区域的图像。
7. 根据权利要求6所述的图像传送装置，其中， 所述图像传送装置还具有区域最优化单元，在由所述传送区域设定单元设定多个关心 区域并且由所述区域扩展单元求算出的多个扩展关心区域的一部分重叠的情况下，所述区 域最优化单元继所述区域扩展单元之后进行动作而将所述多个扩展关心区域转换为没有 重叠的非重复区域， 所述输出单元取代所述扩展关心区域而将所述非重复区域中所包含的数据块输出。
8. 根据权利要求6所述的图像传送装置，其中， 所述图像传感器具备： 多个摄像元件，在X - Y正交坐标轴上的X轴方向上呈直线状配置多个并且在Y轴方 向上配置多列而进行二维配置； 多路复用部，对于将在X轴方向上呈直线状配置的多个摄像元件按所述一定数量进行 划分而得到的块化元件组进行切换而进行选择；及 个数与一定数量相等的AD转换器，分别对由多路复用部所选择的块化元件组的各图 像元件的像素数据进行数字化， 所述传送区域设定单元设定与X轴及Y轴平行的矩形关心区域， 所述区域扩展单元在X轴方向上对所述矩形关心区域进行扩展并求算矩形扩展关心 区域， 所述输出单元首先将作为输出对象的摄像元件的Υ轴坐标值固定在所述扩展关心区 域的最小值，利用所述AD转换器对第一列块化元件组的各图像元件的像素数据进行数字 化并输出，接着将作为所述输出对象的摄像元件的Υ轴坐标值增加与一个摄像元件相当的 量并加以固定，利用所述AD转换器对第二列块化元件组的各图像元件的像素数据进行数 字化并输出，而且重复输出各列块化元件组的各图像元件的像素数据，直至作为所述输出 对象的摄像元件的Υ轴坐标值达到所述扩展关心区域的最大值，由此将所述矩形扩展关心 区域中所包含的所有数据块输出。
9. 根据权利要求8所述的图像传送装置，其中， 所述图像传送装置还具有区域最优化单元，在由所述传送区域设定单元设定多个矩形 关心区域并由所述区域扩展单元求算的多个矩形扩展关心区域的一部分重叠的情况下，所 述区域最优化单元继所述区域扩展单元之后进行动作而将所述多个矩形扩展关心区域转 换为没有重叠且在X轴方向上不连续的矩形非重复区域， 所述输出单元取代所述矩形扩展关心区域而将所述矩形非重复区域中所包含的所有 数据块输出。
10. 根据权利要求6?9中任一项所述的图像传送装置，其中， 所述扩展范围消除单元由现场可编程门阵列构成。
【文档编号】H04N5/225GK104106258SQ201380008434
【公开日】2014年10月15日 申请日期:2013年1月29日 优先权日:2012年2月8日
【发明者】平野笃规, 广田重元, 山下泰弘, 长坂伸夫, 神藤高广 申请人:富士机械制造株式会社