图像处理装置、图像传感器、图像处理装置的控制方法与流程

1.本发明涉及在工厂的生产线等中利用的图像传感器。


背景技术：

2.在工厂的生产线中，广泛利用使用由照相机拍摄到的图像来进行对象物的检测、计测、识别、检查等处理的图像传感器(参照专利文献1)。很多图像传感器具有远程访问功能，操作员或管理者能够从外部的操作终端经由网络与图像传感器连接，确认拍摄到的图像或其处理结果，或者在线进行图像传感器的设定或维护(参照专利文献2)。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2009-47446号公报
6.专利文献2：日本特开2019-175406号公报


技术实现要素：

7.发明所要解决的课题
8.最近，作为用于访问图像传感器的操作终端，能够利用pc(个人计算机)、平板终端、智能手机等各种计算机。因此，即使是与同一图像传感器连接的操作终端，画面尺寸、分辨率、处理性能、能够显示的格式等也可能按每个终端而不同。另外，例如，如经由lan访问的情况和从远程位置经由wan访问的情况那样，传输路径的种类、频带也各种各样，负荷状况也根据所连接的操作终端的数量而变化，因此图像传感器与操作终端之间的传输速度也有可能变化。
9.以往的图像传感器不特别考虑操作终端的规格、网络的传输速度等而传输固定分辨率的图像，因此根据操作终端，有时图像的显示(帧更新)产生延迟，或者图像的显示失败，成为问题。由于搭载于图像传感器的照相机的高精细化，图像的数据尺寸越大，该问题越显著。
10.为了不依赖于操作终端的规格、传输速度而保证帧更新速度，也考虑不将拍摄到的图像(即，在检测、检查等处理中使用的图像)直接向操作终端发送，而是将通过分辨率转换(下采样)削减了数据尺寸后的图像用于向操作终端发送。然而，低分辨率的图像的可视性低，在分辨率转换的过程中有可能丢失重要的信息，因此不希望在不需要的情况下(例如，操作终端的规格、传输速度足够高的情况下)进行分辨率转换。
11.另外，在图像传感器的处理结果的确认画面等中，在图像上重叠显示处理结果(例如，识别出的字符/图形、计测出的尺寸/角度等)的图形，但在使发送用的图像低分辨率化的情况下，还存在产生图像与处理结果的图形的位置偏离的问题。另外，如果在图像上合成处理结果的图形之后，对该合成图像进行分辨率转换而生成发送用的图像，则不会产生位置偏离的问题，但如果采用该步骤，则由于分辨率转换而图形变得不清晰，有可能显著损害处理结果的可视性，因此并不优选。
12.本发明是鉴于上述实际情况而完成的，其目的在于提供一种用于使经由网络与图像传感器连接的终端进行适当品质的图像显示的技术。
13.用于解决课题的手段
14.本公开包括一种图像处理装置，其特征在于，所述图像处理装置具备：图像取得部，其取得拍摄对象物得到的图像；处理部，其使用由所述图像取得部取得的所述图像，执行包括所述对象物的检测、计测、识别以及检查中的至少任一方的处理；以及信息发送控制部，其将包括表示所述处理的结果的信息和所述对象物的图像的数据经由网络发送到终端，所述信息重叠显示在所述对象物的图像上，所述信息发送控制部根据所述终端的性能、所述终端的负荷状况、所述网络的负荷状况、以及所述图像处理装置自身的负荷状况中的至少任一方，变更向所述终端发送的所述对象物的图像即发送图像的分辨率，并且根据变更后的分辨率来调整所述发送图像上的重叠所述信息的坐标。
15.根据该结构，根据终端的性能、终端的负荷状况、网络的负荷状况以及图像处理装置自身的负荷状况中的至少任一方来进行发送图像的分辨率的变更。即，发送图像的分辨率变更不是始终同样地进行，而是在必要的情况下(例如，向低规格的终端发送的情况、处于高负荷的状况的情况等)进行与该状况相应的分辨率变更。当然，在不需要的情况下，也可以不进行图像的分辨率变更。由此，能够根据终端的性能、负荷状况等，实现取得了帧更新速度与图像品质的平衡的适当品质的图像显示。
16.此外，在进行了发送图像的分辨率变更的情况下，还实现分辨率变更后的发送图像和表示处理结果的信息的位置调整。由此，无论发送图像的分辨率如何，都能够适当地进行图像与处理结果的重叠显示，因此无论在使用哪个终端的情况下都能够进行处理结果的正确显示。
17.另外，发送图像和表示处理结果的信息的合成既可以在终端侧执行，也可以在图像处理装置侧执行。在前者的情况下，例如，所述信息发送控制部为了在所述终端侧进行在所述发送图像上重叠所述信息的处理，可以经由网络向所述终端发送包括所述发送图像、所述信息和重叠所述信息的坐标的数据。在后者的情况下，例如，所述信息发送控制部也可以生成在所述发送图像上重叠了所述信息的合成图像数据，将所述合成图像数据经由网络发送到所述终端。
18.另外，所述信息发送控制部也可以根据所述终端的性能、所述终端的负荷状况、所述网络的负荷状况以及所述图像处理装置自身的负荷状况中的至少任一方，变更每单位时间的所述发送图像的传输次数。关于每单位时间的传输次数、即发送图像的帧更新速度，也在必要的情况下(例如，向低规格的终端发送的情况、处于高负荷的状况的情况等)根据该状况进行变更，由此能够实现取得了帧更新速度与图像品质的平衡的适当品质的图像显示。另外，发送图像的分辨率变更和帧更新速度的变更能够独立地控制，既可以仅进行任一方的变更，也可以进行双方的变更。
19.所述信息发送控制部也可以根据所述终端的性能、所述终端的负荷状况、所述网络的负荷状况以及所述图像处理装置自身的负荷状况中的至少任一方，变更所述发送图像的压缩的有无和/或压缩率。关于发送图像的压缩，也在必要的情况下(例如，向低规格的终端发送的情况、处于高负荷的状况的情况等)，根据该状况来变更压缩的有无、压缩率，由此能够实现取得了帧更新速度与图像品质的平衡的适当品质的图像显示。另外，发送图像的
压缩的变更能够与分辨率变更、帧更新速度的变更独立地进行控制，可以仅进行任一方的变更，也可以任意地组合。
20.所述信息和所述发送图像可以在所述终端中通过网络浏览器(web browser)来显示。通过利用网络浏览器，不仅不需要终端用的应用程序的开发而能够削减开发成本，还具有不需要向终端安装应用程序、能够将搭载有网络浏览器的所有种类的设备用作显示用的终端等优点。但是，根据网络浏览器的种类、版本，能够显示的图像格式有可能不同，因此，所述信息发送控制部也可以根据在所述终端中使用的网络浏览器的种类和/或版本，变更所述发送图像的格式。
21.所述信息发送控制部也可以基于将所述终端的性能、所述终端的负荷状况、所述网络的负荷状况以及所述图像处理装置自身的负荷状况中的至少任一方与所述发送图像的分辨率、每单位时间的所述发送图像的传输次数、所述发送图像的压缩的有无以及所述发送图像的压缩率中的至少任一方对应起来的对应表，控制向所述终端的信息发送。另外，也可以是，所述信息发送控制部具有多个对应表，使用由所述终端的用户从所述多个对应表中选择出的对应表来控制向所述终端的信息发送。例如，通过准备使发送图像的品质(分辨率)优先的设定、使发送图像的帧更新速度优先的设定等各种条件设定的对应表，用户能够根据目的、用途容易地切换为适当的显示，便利性提高。
22.本公开包括一种图像传感器，其特征在于，具备：拍摄部，其用于拍摄对象物；以及上述图像处理装置，其使用从所述拍摄部取入的图像来进行处理。
23.本公开是一种图像处理装置的控制方法，其特征在于，所述图像处理装置具备处理部，所述处理部使用拍摄对象物得到的图像，执行包括所述对象物的检测、计测、识别以及检查中的至少任一方的处理，所述图像处理装置能够将包括所述对象物的图像和在所述对象物的图像上重叠显示的表示所述处理的结果的信息的数据经由网络发送到终端，所述控制方法具有如下步骤：根据所述终端的性能、所述终端的负荷状况、所述网络的负荷状况、以及所述图像处理装置自身的负荷状况中的至少任一方，变更向所述终端发送的所述对象物的图像即发送图像的分辨率；根据变更后的分辨率调整所述发送图像上的重叠所述信息的坐标；以及将包括变更分辨率后的所述发送图像和调整坐标后的所述信息的数据经由所述网络发送到所述终端。
24.本公开包括用于使所述图像处理装置具有的处理器执行所述图像处理装置的控制方法的各步骤的程序。
25.本发明可以理解为具有上述单元的至少一部分的图像处理装置，也可以理解为具备拍摄对象物的拍摄部和具有上述单元的至少一部分的图像处理装置的图像传感器，还可以理解为具备该图像传感器和终端的图像传感器系统。另外，本发明可以理解为包括上述处理的至少一部分的图像处理装置的控制方法、图像处理方法、图像发送方法等，或者也可以理解为用于实现该方法的程序、非暂时性地记录有该程序的记录介质。此外，上述单元以及处理的各个能够尽可能地相互组合而构成本发明。
26.发明效果
27.根据本发明，能够使经由网络与图像传感器连接的终端进行适当品质的图像显示。
附图说明
28.[图1]图1是表示图像传感器系统的结构例的图。
[0029]
[图2]图2是表示图像传感器和操作终端的硬件结构的图。
[0030]
[图3]图3是表示图像处理装置的功能结构的图。
[0031]
[图4]图4是表示信息发送控制部的详细结构的图。
[0032]
[图5]图5是表示图像传感器的处理流程的例子的图。
[0033]
[图6]图6是表示信息发送控制部和操作终端的远程访问功能所涉及的处理流程的例子的图。
[0034]
[图7]图7是表示在原始尺寸的图像上重叠了处理结果的例子的图。
[0035]
[图8]图8是表示通过在缩小后的图像上直接重叠处理结果而产生了位置偏离的例子的图。
[0036]
[图9]图9是表示根据图像的缩小率调整了处理结果的重叠位置和重叠尺寸的例子的图。
[0037]
[图10]图10是表示网络浏览器的显示画面的一例的图。
[0038]
[图11]图11的(a)～图11的(e)是表示对应表的例子的图。
[0039]
[图12]图12的(a)是表示使画面更新速度优先的设定的对应表的例子的图，图12的(b)是表示使图像品质优先的设定的对应表的例子的图。
[0040]
[图13]图13是表示用于选择对应表的gui的例子的图。
具体实施方式
[0041]
以下，参照附图对实施方式的图像传感器系统的详细情况进行说明。
[0042]
《应用例》
[0043]
首先，对应用本发明的图像传感器系统的一例进行说明。如图1所示，图像传感器系统1是由1个以上的图像传感器50和1个以上的操作终端10构成的系统，在fa(工厂自动化)中用于生产线的监视、管理、控制等。在以下例示的实施方式中，设想图像传感器50的设计者、使用图像传感器50的生产线的生产线管理者、在生产线的现场进行图像传感器50的调整或处理结果的确认等的现场操作员等分别使用不同的操作终端10来访问图像传感器50，阅览对象物的图像或处理结果的场景。
[0044]
图像传感器50例如设置于工厂的生产线等，是用于利用了图像的各种处理的装置。图像传感器50也被称为视觉传感器(vision sensor)、视觉系统(vision system)等。在图像传感器50所提供的处理中，例如有对象物的检测、计测、识别、检查等，具体而言，可举出传送带或托盘上的对象物的检测、对象物的图像的记录、形状的识别、边缘的检测或宽度/条数的计测、面积的计测、对象物的个数计测、颜色特征的取得、标记或分割、物体识别、条形码或2维码的读取、ocr、个体识别等。作为主要结构，图像传感器50具有拍摄部(照相机)和图像处理装置。图像处理装置是进行照相机的控制、针对从该照相机取入的图像数据的图像处理(例如，前处理、特征量提取等)、基于图像处理的结果的各种处理(例如，检查、字符识别、个体识别等)、与操作终端10的数据收发、针对从操作终端10接收到的数据的处理、向操作终端10输出的数据的生成等的装置。
[0045]
操作终端10是用于访问图像传感器50的外部设备。作为操作终端的一例，可举出
pc、平板终端、智能手机等。本实施方式的图像处理装置通过网络服务器提供远程访问功能，操作终端10能够利用网络浏览器阅览图像传感器50(图像处理装置)提供的信息或利用各种功能。能够在操作终端10上利用的各种功能通过html(hyper text markup language)、javascript来实现。因此，不需要在操作终端10中安装专用的应用程序，只要是搭载有网络浏览器的设备，就能够利用图像传感器50的远程访问功能。
[0046]
在这样的系统中，需要设想各种操作终端10经由各种网络访问图像传感器50的情况。此外，由于在操作终端10中使用通用装置，因此优选的是也设想到操作终端10的资源可能被分配给远程访问之外的处理。另外，优选的是，考虑在图像传感器50的工作中，应该优先进行图像传感器本来的处理(对象物的检测、计测、识别、检查等)，远程访问的处理不阻碍图像传感器本来的处理。因此，本实施方式的图像传感器50(图像处理装置)根据操作终端10的性能、操作终端10的负荷状况、网络的负荷状况、以及图像处理装置自身的负荷状况中的至少任意方，自适应地变更向操作终端10发送的发送图像的分辨率、每单位时间的发送图像的传输次数(帧更新速度)、发送图像的压缩的有无、压缩率等。由此，实现根据操作终端10的性能、操作终端10/网络/图像处理装置的负荷状况等，取得了帧更新速度与图像品质的平衡的适当品质的图像显示。
[0047]
另外，在图像传感器50的处理结果的确认画面等中，在图像上重叠显示处理结果(例如，识别出的字符/图形、计测出的尺寸/角度等)的图形。本实施方式的图像传感器50在向操作终端10发送分辨率变更后的发送图像而不是拍摄到的图像(即，检测、计测、识别、检查等处理中使用的图像)的情况下，还进行分辨率变更后的发送图像与处理结果的图形的对位。由此，即使在变更了发送图像的分辨率的情况下，也能够适当地进行图像与处理结果的图形的重叠显示，因此无论在使用了哪种操作终端10的情况下，都能够进行处理结果的正确显示。
[0048]
《实施方式》
[0049]
(图像传感器系统的结构)
[0050]
对本发明的实施方式的图像传感器系统1的结构例进行说明。如图2所例示的那样，图像传感器系统1具有1个以上的操作终端10和1个以上的图像传感器50，操作终端10和图像传感器50经由网络40相互连接。
[0051]
操作终端10包括中央处理单元(cpu)101、随机存取存储器(ram)102、硬盘驱动器(hdd)103、图形处理单元(gpu)104、输入接口105和通信接口106。另外，gpu 104、输入接口105、通信接口106分别与监视器20、输入装置30、网络40连接。cpu 101、ram 102、hdd 103、gpu 104、输入接口105、通信接口106经由总线107相互连接。另外，图像传感器50具有图像处理装置51和照相机(拍摄部)60，图像处理装置51具有cpu 501、ram 502、hdd 503、输入接口504、通信接口505。输入接口504与照相机60连接。cpu 501、ram 502、hdd 503、输入接口504和通信接口505经由总线506相互连接。
[0052]
另外，图2所示的硬件结构只不过是一个例子。例如，也可以代替hdd而使用固态驱动器(ssd)等其他存储装置。另外，也可以在图像处理装置51中搭载gpu，相反也可以没有操作终端10的gpu。另外，也可以使用如触摸面板显示器那样兼作监视器20和输入装置30的设备。
[0053]
在本实施方式中，在操作终端10中，cpu 101通过将存储在hdd 103中的各种程序
在ram 102中展开并执行，来执行以下说明的各种处理。同样地，在图像传感器50中，cpu 501通过将存储在hdd 503中的各种程序在ram 502中展开并执行，来执行以下说明的各种处理。此外，cpu 101、501的功能中的一部分或者全部既可以通过asic(application specific integrated circuit)、fpga(field-programmable gate array)等来实现，也可以通过云服务器等外部的装置来提供。
[0054]
(图像处理装置的结构)
[0055]
图3是表示图像传感器50的图像处理装置51的功能结构的框图。图像处理装置51具有图像取得部510、处理部511、信息发送控制部512、存储部513。图像取得部510具有从照相机60取得拍摄对象物而得到的图像的功能。处理部511具有使用由图像取得部510取得的对象物的图像，执行作为图像传感器本来的处理的对象物的检测、计测、识别、检查等处理的功能。另外，关于由处理部511进行的处理的内容、步骤，用户能够利用操作终端10进行设定。信息发送控制部512提供承担与对操作终端10的信息提供有关的控制的功能，例如提供将包括表示处理部511的处理结果的信息和对象物的图像的数据发送到操作终端10并使其显示于操作终端10的网络浏览器的功能等。存储部513是存储由图像取得部510取得的图像的数据、处理部511的处理结果的数据等的存储器。
[0056]
图4表示信息发送控制部512的详细结构例。信息发送控制部512具有操作终端信息取得部520、网络信息取得部521、图像传感器信息取得部522、分辨率转换部523、格式转换部524、重叠处理部525、传输速率决定部526、设定存储部527和网络服务器528。
[0057]
操作终端信息取得部520具有取得与操作终端10有关的信息的功能。与操作终端10有关的信息例如可以包括操作操作终端10的用户(访问图像传感器50的用户)的信息、操作终端10的性能(规格)的信息、操作终端10的负荷状况的信息等。网络信息取得部521具有取得与操作终端10和图像传感器50之间的传输路径有关的信息的功能。与传输路径有关的信息例如可以包括传输路径的负荷状况的信息、操作终端10/图像传感器50的网络地址的信息、通信协议的信息等。图像传感器信息取得部522具有取得与图像传感器50(本装置)有关的信息的功能。与图像传感器50有关的信息例如可以包括图像处理装置51的负荷状况的信息、图像传感器50的动作模式(工作中/维护中等状态)的信息等。
[0058]
分辨率转换部523具有进行图像的分辨率转换(主要是下采样)的功能。分辨率转换的算法没有限制。例如，可以是简单的间隔剔除处理，也可以使用双线性或双三次那样的插值。格式转换部524具有变更图像格式的功能。例如，格式转换部524能够进行bmp、png、webp、jpeg等图像格式的相互转换。格式转换部524还可以与图像格式转换处理一起进行图像压缩处理。在如webp或jpeg那样对应于不可逆压缩的格式的情况下，也能够指定压缩率。
[0059]
重叠处理部525具有进行用于将表示处理结果的信息(以下称为“图形”)重叠(覆盖)在向操作终端10发送的发送图像上的处理的功能。发送图像和图形的合成可以在操作终端10侧执行，也可以在图像处理装置51侧执行。在前者的情况下，重叠处理部525进行图形数据的生成和用于定义重叠图形的位置(发送图像上的坐标)的重叠位置信息的生成。在后者的情况下，重叠处理部525在进行了图形数据的生成和重叠位置信息的生成之后，进行将图形重叠于发送图像而得到的合成图像数据的生成。此外，在分辨率转换部523变更了发送图像的分辨率的情况下，重叠处理部525根据发送图像的变更后的分辨率来调整重叠图形的位置、图形的尺寸(线条的大小、字符的字体大小等)，从而避免发送图像和图形之间的
位置偏离。
[0060]
设定存储部527存储有将操作终端的性能、操作终端的负荷状况、网络的负荷状况以及图像处理装置51自身的负荷状况中的至少任意方与发送图像的分辨率、每单位时间的发送图像的传输次数、发送图像的压缩的有无以及发送图像的压缩率中的至少任意方对应起来的对应表。对应表可以在图像传感器50出厂前预设，也可以由用户进行追加、变更。
[0061]
网络服务器528对操作终端10提供利用网络浏览器对图像传感器50远程访问功能。作为所提供的功能，例如可以包括由图像传感器50处理后的图像、处理结果的显示、图像传感器50的各种设定的确认、变更、处理流程的登记、测试等。
[0062]
(图像传感器系统的动作)
[0063]
接下来，参照图5以及图6，对本实施方式的图像传感器系统1中的远程访问功能的动作例进行说明。图5以及图6表示从操作终端10访问工作中的图像传感器50，在操作终端10上确认由图像传感器50处理中的图像、其处理结果的处理的流程。
[0064]
图5作为图像传感器50的处理的一例，示出了形状搜索和二维码识别的流程。形状搜索是通过与预先登记的形状模型的图案匹配来检测对象物表面的规定的形状(图案、标记、凹凸等)的处理。二维码识别是读取印刷在对象物表面的二维码，识别编入二维码中的信息的处理。
[0065]
在步骤s100中，照相机60拍摄对象物，在步骤s101中，图像取得部510从照相机60取入图像(以后，将该图像称为“处理对象图像”)。处理对象图像被存储在存储部513中。然后，在步骤s102中，处理部511对处理对象图像进行图案匹配，检测与模型匹配的形状。在检测成功的情况下，将检测位置(处理对象图像中的x、y坐标)、检测尺寸(纵横的像素数)、旋转角度(与模型的相对角度)等作为处理结果记录于存储部513。接着，在步骤s103中，处理部511识别处理对象图像中包括的二维码。在识别成功的情况下，将二维码的检测位置、检测尺寸、解码后的字符串等作为处理结果记录在存储部513中。步骤s100～s103的处理以规定的周期(例如30fps)反复执行。
[0066]
图6表示图像传感器50的信息发送控制部512和操作终端10的远程访问功能所涉及的处理流程。
[0067]
在步骤s300中，用户对操作终端10进行操作，启动网络浏览器。作为主要的网络浏览器，有internet explorer、microsoft edge、mozilla firefox、google chrome、opera、safari等，可以利用任意的浏览器。
[0068]
在步骤s301中，用户向网络浏览器的地址栏输入图像传感器50(图像处理装置51)的ip地址，建立与图像传感器50的连接。另外，也可以代替输入ip地址，而输入分配给图像传感器50(图像处理装置51)的url，或者选择预先登记在网络浏览器中的书签。
[0069]
当接收到来自操作终端10的访问时，在步骤s200中，操作终端信息取得部520从操作终端10取得操作终端信息。操作终端信息例如可以包括操作终端10的ip地址、操作终端10的主机名、与操作终端10的性能(规格)有关的信息等。操作终端10的性能(规格)例如是指操作终端10的os(操作系统)、操作终端10的网络浏览器的种类和版本、操作终端10的画面尺寸(画面分辨率)、网络浏览器的窗口尺寸、gpu的有无等。另外，操作终端信息也可以包括操作终端10的负荷状况(cpu、存储器等资源的使用状况等)、确定正在利用操作终端10的用户的用户信息(用户账户、用户的类别(设计者/管理者/现场操作员)等)。操作终端信息
取得部520可以从http请求中包含的用户代理取得操作终端信息，也可以通过javascript等取得操作终端信息。
[0070]
在步骤s201中，网络信息取得部521取得操作终端10与图像处理装置51之间的网络的负荷状态。例如，网络信息取得部521可以通过向操作终端10发送命令，计测到接收到来自操作终端10的响应为止的时间，来判断网络的负荷状态。
[0071]
在步骤s202中，图像传感器信息取得部522取得图像处理装置51自身的负荷状况。例如，图像传感器信息取得部522也可以取得图像处理装置51的cpu的使用率，基于此判断图像处理装置51的负荷状况。
[0072]
在步骤s203中，分辨率转换部523基于在步骤s200至s202中取得的信息和设定存储部527的对应表，决定向操作终端10发送的发送图像的尺寸(缩小率)。例如，当操作终端10的画面尺寸或网络浏览器的窗口尺寸小时，可显示的图像的最大尺寸也变小，因此根据画面尺寸或窗口尺寸来决定发送图像的缩小率。另外，在操作终端10的负荷高的情况下，显示图像的渲染可能花费时间，因此也可以根据负荷状况来决定发送图像的缩小率。另外，在网络的负荷高的情况下或图像处理装置51的负荷高的情况下，也可以缩小发送图像的尺寸。在本实施方式中，对于由照相机60拍摄到的处理对象图像的原始尺寸，使用如1/1尺寸、1/2尺寸、1/3尺寸、1/4尺寸
…
那样成为整数分之一那样的缩小率。由此，能够通过简单的间隔剔除处理来缩小图像，能够缩短分辨率转换的处理时间。如果决定了缩小率，则分辨率转换部523从存储部513读入处理对象图像，(在需要的情况下)进行间隔剔除处理，生成发送图像。
[0073]
在步骤s204中，重叠处理部525基于发送图像的分辨率来调整处理结果的重叠位置。图7是在原始尺寸的图像600上重叠了表示处理结果的图形601、602、603的例子。图形601是表示形状搜索的检测结果的框，表示检测到作为搜索对象的心形区域604的位置及其尺寸。图形602、603是表示通过二维码识别读取出的二维码605的框和解码后的字符串。在原始尺寸的图像600的情况下，通过在形状搜索、二维码识别中的检测位置的坐标处描绘检测尺寸大的图形601、602，图形601及602正好重叠在图像600中的心形区域604及二维码605上。但是，如图8所示，在缩小了处理对象图像600的发送图像610的情况下，若基于形状搜索、二维码识别中的检测位置、检测尺寸来描绘图形601～603，则在图像610与图形601～603之间产生位置偏离。因此，如图9所示，重叠处理部525根据发送图像610的缩小率来调整图形611至613的重叠位置和重叠尺寸。例如，当形状搜索的检测位置为x1、y1，检测尺寸为w1、h1，并且发送图像610的缩小率是1/2时，图形611的重叠位置为x1/2、y1/2，重叠尺寸为w1/2、h1/2。
[0074]
在步骤s205中，格式转换部524基于在步骤s200至s202中取得的信息和设定存储部527的对应表，决定向操作终端10发送的发送图像的图像格式，在需要的情况下进行格式转换。例如，由于存在适合于每个网络浏览器的图像格式，因此可以根据网络浏览器的类型来选择图像格式。具体而言，在chrome的情况下可以选择webp，在internet explorer、edge的情况下可以选择bmp，在firefox、opera、safari的情况下可以选择png。另外，在网络的负荷高的情况下，为了削减发送图像的数据尺寸，也可以选择有压缩的图像格式。在该情况下，也可以是网络的负荷越高则越提高压缩率。
[0075]
在步骤s206中，传输速率决定部526基于在步骤s200至s202中取得的信息和设定
存储部527的对应表来决定发送图像的传输速率(每单位时间的图像的传输次数)。例如，也可以是，在负荷低(稳定状态)的情况下，以与图像传感器50的处理周期同步地进行操作终端10的帧更新的方式设定传输速率，在负荷高的情况下，将传输速率减半。
[0076]
在步骤s207中，网络服务器528向操作终端10发送包括在步骤s203至s205中生成的发送图像、图形以及重叠图形的坐标的信息的数据。在步骤s302中，操作终端10的网络浏览器基于接收到的数据，显示在发送图像上重叠了图形的画面。此外，在从网络服务器528发送的数据中，也可以包括处理结果的数据(检测位置、检测尺寸、字符串等)、检查的综合判定(ok(良)/ng(不良))等。
[0077]
图10是操作终端10的网络浏览器的显示画面的一例。在显示画面的主窗口中，在发送图像70上重叠显示有表示处理结果的图形71，在主窗口的左侧，从上到下依次显示有综合判定72、形状搜索的处理结果73、二维码识别的处理结果74。另外，在主窗口的下侧，按时间序列显示有发送图像以及处理结果的历史75(过去的帧)。该历史显示也被称为幻灯片视图。
[0078]
步骤s201～s207的处理以按照步骤s206中决定的传输速率的周期反复进行。在操作终端10中，与该周期同步地进行帧更新(发送图像70和表示处理结果的图形71的更新)。用户通过观察该画面，能够大致实时地确认由图像传感器50得到的图像及其处理结果。
[0079]
(对应表的例子)
[0080]
图11的(a)至图11的(e)示出在设定存储部527中登记的对应表的例子。图11的(a)是定义了操作终端10的画面尺寸与发送图像的分辨率(缩小率)的对应关系的表。另外，在图11的(a)的例子中规定了画面的物理尺寸，但也可以不是物理尺寸，而是以画面分辨率进行规定。图11的(b)是定义了操作终端10的cpu负荷与发送图像的分辨率(缩小率)的对应关系的表。图11的(c)是定义了网络的负荷(响应时间)、发送图像的压缩的有无以及压缩率、传输速率的对应关系的表。在网络的负荷低的情况下，以通常的传输速率发送无压缩的图像，在网络的负荷高的情况下，压缩图像而减小数据尺寸，或者将传输速率减半。图11的(d)是定义了网络的负荷和图像处理装置51的负荷的组合与图像的分辨率(缩小率)的对应关系的表。图11的(e)是定义了网络浏览器的种类与图像格式的对应关系的表。
[0081]
另外，这里列举的对应表只不过是一例，能够任意地定义要组合的项目、设定值等。只要是至少将“操作终端10的os的种类、网络浏览器的种类和/或版本、操作终端10的画面尺寸、网络浏览器的窗口尺寸、gpu的有无、操作终端10的cpu使用率和/或存储器使用率、网络的负荷状况、图像处理装置51的cpu使用率和/或存储器使用率”中的1个或多个项目与“发送图像的分辨率(缩小率)、每单位时间的发送图像的传输次数(传输速率)、发送图像的压缩的有无和/或压缩率、发送图像的格式”中的1个或多个项目的设定值建立对应的表即可。
[0082]
也可以是，具有不同设置值的多个对应关系表被事先登记在设定存储部527中，操作终端10的用户可以选择要使用的对应关系表。图12的(a)、图12的(b)表示设定值不同的2个对应表的例子。图12的(a)是与显示图像的品质(分辨率)相比使画面更新速度优先的设定的对应表，图12的(b)是与画面更新速度相比使显示图像的品质(分辨率)优先的设定的对应表。图13表示用于选择对应表的gui的例子。用户通过按下单选按钮130a、130b，能够选择性地切换画面更新速度优先模式(使用图12的(a)的对应表的模式)和图像品质优先模式
(使用图12的(b)的对应表的模式)。另外，可选择的对应表的数量不限于2个，也可以从3个以上的对应表中选择。
[0083]
(其他)
[0084]
上述实施方式只不过是例示性地说明本发明的结构例，本发明的图像传感器系统并不限定于上述的具体结构。本发明并不限定于上述的具体的方式，能够在其技术思想的范围内进行各种变形。另外，在实施时，适当采用与实施方式相应的具体结构，可以进行各种改良、变形。
[0085]
例如，在上述实施方式中，将形状搜索的结果和二维码识别的结果重叠显示于图像，但图像传感器50的处理以及操作终端10中的显示画面不限于此。例如，既可以重叠显示图像的强度分布(白平衡)，也可以重叠显示rgb各自的浓淡波形(线亮度)，还可以重叠显示检查区域、检测结果(边缘等)、ocr结果、检查结果、计测结果(例如，尺寸、面积、角度)等。另外，在上述实施方式(图10、图13)中例示了工作中的图像传感器50的画面，但也能够访问维护中的图像传感器50，执行由图像传感器50执行的处理的内容、步骤的设定、动作测试等。在该情况下，也从图像传感器50向操作终端10侧进行图像以及处理结果的发送，因此与上述实施方式同样地，根据操作终端10的性能/负荷状况、网络、图像处理装置的负荷状况等适当地控制发送图像的分辨率、传输速率即可。
[0086]
《附记1》
[0087]
一种图像处理装置(51)，其特征在于，具备：
[0088]
图像取得部(510)，其取得拍摄对象物得到的图像；
[0089]
处理部(511)，其使用由所述图像取得部(510)取得的所述图像，执行包括所述对象物的检测、计测、识别及检查中的至少任一方的处理；以及
[0090]
信息发送控制部(512)，其将包括表示所述处理的结果的信息和所述对象物的图像的数据经由网络发送给终端(10)，
[0091]
所述信息(71)重叠显示在所述对象物的图像(70)上，
[0092]
所述信息发送控制部(512)根据所述终端(10)的性能、所述终端(10)的负荷状况、所述网络的负荷状况、以及所述图像处理装置(51)自身的负荷状况中的至少任一方，变更向所述终端(10)发送的所述对象物的图像即发送图像的分辨率，并且根据变更后的分辨率调整所述发送图像上的重叠所述信息的坐标。
[0093]
《附记2》
[0094]
一种图像处理装置(51)的控制方法，其特征在于，
[0095]
所述图像处理装置(51)具备处理部(511)，所述处理部(511)使用拍摄对象物得到的图像来执行包括所述对象物的检测、计测、识别以及检查中的至少任一方的处理，所述图像处理装置(51)能够将包括所述对象物的图像和在所述对象物的图像上重叠显示的表示所述处理的结果的信息的数据经由网络发送到终端(10)，
[0096]
所述控制方法具有如下步骤：
[0097]
步骤(s203)，根据所述终端(10)的性能、所述终端(10)的负荷状况、所述网络的负荷状况、以及所述图像处理装置(51)自身的负荷状况中的至少任一方，变更向所述终端(10)发送的所述对象物的图像即发送图像的分辨率；
[0098]
步骤(s204)，根据变更后的分辨率调整所述发送图像上的重叠所述信息的坐标；
[0099]
步骤(s207)，将包括变更分辨率后的所述发送图像和调整坐标后的所述信息的数据经由所述网络发送给所述终端(10)。
[0100]
标号说明
[0101]
1：图像传感器系统；10：操作终端；50：图像传感器；51：图像处理装置；60：照相机(拍摄部)。