图像处理装置、图像处理方法和程序与流程

本发明涉及图像处理装置、图像处理方法和程序。

本申请基于2019年10月30日向日本申请的日本特愿2019-197193号要求优先权，将其内容援引于此。

背景技术：

作为自动化工具的一种的rpa（roboticprocessautomation，机器人过程自动化）是可自动地执行针对应用等的定型作业的技术，所述应用是通过操作pc（个人计算机）等信息处理装置的用户接口来手动进行的。例如，通过由pc执行记述了作业顺序的场景，从而再现手动进行的作业。利用rpa，能够削减时间成本或人力成本，并减少作业失误。

在应用中存在未提供接口的应用，所述接口用于如api（applicationprogramminginterface，应用编程接口）那样接受来自外部应用的操作。在该情况下，存在以使用cv（computervision，计算机视觉）来推算成为操作对象的应用画面内的位置并且在所推算的坐标中进行用户接口的操作的方式来记述场景的方法。应用画面是应用在显示器装置中显示的画面。通过这样的场景的记述，例如，能够利用cv来推算图标的图像的位置，使pc在所推算的位置中执行点击等操作。在图像的位置的推算中，使用模板匹配等cv的技术（例如，参照非专利文献1、2）。在模板匹配中，在作为检索对象的图像的匹配图像内，检测与作为检测目的的图像的模板图像类似或相同的图像。

现有技术文献

非专利文献

非专利文献1：怡土顺一，"マッチング"，［online］，2007年9月26日，opencv.jp，［2019年10月7日检索］，互联网〈url：http://opencv.jp/sample/matching.html〉

非专利文献2：数字图像处理［改订新版］编辑委员会，“テンプレートマッチングによるパターンの検出”，数字图像处理［改订新版］，公益财团法人图像信息教育振兴协会（cg-arts协会），2015年3月，11章1节，pp.218-220。

技术实现要素：

发明要解决的课题

在用户制作了利用以往的模板匹配的rpa的场景并且pc执行了该场景的情况下，有时由于不能检测到模板图像而发生场景的执行错误。在该情况下，虽然用户能够识别出模板匹配失败这样的结果，但是经常不能掌握失败的原因。此外，有时，用户即使在能够掌握原因的情况下，也不知道为了提高模板匹配的成功率要怎样记述场景才好。

鉴于上述情况，本发明的目的在于，提供能够容易检测显示画面中包含的目的的图像的图像处理装置、图像处理方法和程序。

用于解决课题的方案

本发明的一个方式是一种图像处理装置，其中，具备：搜索场景取得部，取得组合了一个以上搜索处理的搜索场景，所述搜索处理在搜索条件中使用基于成为搜索目的的图像即目的图像的图像特征来搜索图像；以及搜索部，使用所述搜索场景所示出的所述搜索处理的组合来搜索进行搜索的对象的图像即匹配图像，输出搜索结果信息，所述搜索结果信息示出通过搜索而检测到的所述匹配图像中的区域。

本发明的一个方式是上述的图像处理装置，其中，还具备：搜索场景制作部，利用用户的输入来制作所述搜索场景；以及试行部，使用由所述搜索场景制作部制作中的所述搜索场景所示出的所述搜索处理的组合来搜索由所述用户的输入所指定的匹配图像，输出搜索结果信息，所述搜索结果信息示出通过搜索而检测到的所述匹配图像中的区域。

本发明的一个方式是上述的图像处理装置，其中，所述搜索处理的组合包含逻辑或、逻辑与、或加权加法。

本发明的一个方式是上述的图像处理装置，其中，所述搜索条件是所述目的图像中使用的颜色有关的特征、所述目的图像的形状有关的特征、所述匹配图像中的关注区域、或基于用户接口的操作的变化。

本发明的一个方式是一种图像处理方法，其中，具有：取得步骤，取得组合了一个以上搜索处理的搜索场景，所述搜索处理在搜索条件中使用基于成为搜索目的的图像即目的图像的图像特征来搜索图像；以及搜索步骤，使用所述搜索场景所示出的所述搜索处理的组合来搜索进行搜索的对象的图像即匹配图像，输出搜索结果信息，所述搜索结果信息示出通过搜索而检测到的所述匹配图像中的区域。

本发明的一个方式是用于使计算机作为上述任一个图像处理装置发挥作用的程序。

发明效果

利用本发明，能够容易检测显示画面中包含的目的的图像。

附图说明

图1是示出根据本发明的一个实施方式的场景执行装置的结构的功能框图。

图2是示出根据该实施方式的场景制作画面的显示例的图。

图3是示出根据该实施方式的场景制作画面的显示例的图。

图4是示出根据该实施方式的场景制作画面的显示例的图。

图5是示出根据该实施方式的场景执行装置的场景制作处理的流程图。

图6是示出根据该实施方式的场景执行装置的场景执行处理的流程图。

图7是用于说明根据该实施方式的图像识别模块的概要的图。

图8是示出根据该实施方式的搜索场景的示例的图。

图9是示出根据该实施方式的场景执行装置的搜索场景文件制作处理的流程图。

图10是示出根据该实施方式的场景执行装置的图像识别模块执行处理的流程图。

图11是示出根据该实施方式的图像匹配编辑器画面的显示例的图。

图12是示出根据该实施方式的目的图像制作画面的显示例的图。

图13是示出根据该实施方式的搜索场景编辑画面的显示例的图。

图14是示出根据该实施方式的搜索条件设定画面的显示例的图。

图15是示出根据该实施方式的搜索条件设定画面的显示例的图。

图16是示出根据该实施方式的搜索条件设定画面的显示例的图。

图17是示出根据该实施方式的搜索条件设定画面的显示例的图。

图18是示出根据该实施方式的搜索条件设定画面的显示例的图。

图19是示出根据该实施方式的搜索条件设定画面的显示例的图。

图20是示出根据该实施方式的搜索条件设定画面的显示例的图。

图21是示出使用了根据该实施方式的场景执行装置的特征颜色搜索功能的搜索处理的流程图。

图22是示出使用了根据该实施方式的场景执行装置的图标判别功能的搜索处理的流程图。

图23是示出使用了根据该实施方式的场景执行装置的矩形检测功能的搜索处理的流程图。

图24是示出使用了根据该实施方式的场景执行装置的圆形检测功能的搜索处理的流程图。

图25是示出使用了根据该实施方式的场景执行装置的圆形拟合功能的搜索处理的流程图。

图26是示出使用了根据该实施方式的场景执行装置的关注处提取功能的搜索处理的流程图。

图27是示出使用了根据该实施方式的场景执行装置的颜色直方图类似区域搜索功能的搜索处理的流程图。

具体实施方式

以下，一边参照附图一边详细说明本发明的实施方式。

图1是示出根据本发明的一个实施方式的场景执行装置1的结构的功能框图。场景执行装置1是图像处理装置的一例。在图1中，仅提取并示出了与本实施方式有关的功能块。场景执行装置1是pc等信息处理装置，执行rpa（roboticprocessautomation）的场景。rpa是自动化工具的一例。场景执行装置1具备存储部2、输入部3、显示部4、以及处理部5。

存储部2存储场景文件。场景文件是记述了场景的文件。场景示出了处理模块和处理模块的执行顺序。在处理模块中存在用户操作模块和图像识别模块。用户操作模块表示使用用户接口的用户操作。用户操作对象例如是在场景执行装置1中执行的应用程序（以下，也记载为应用。）或os（operationsystem，操作系统）等。图像识别模块表示图像识别处理的执行，其输出在显示部4所显示的画面中对与目的图像匹配的图像进行显示的区域的坐标的信息。目的图像是指检测目的的图像。此外，与目的图像匹配的图像是指与目的图像类似或与目的图像一致的图像。将作为显示部4所显示的画面的图像、并且进行与目的图像匹配的图像的搜索的对象的图像记载为匹配图像。通过图像识别模块所表示的图像识别处理的执行而输出的坐标成为执行顺序在该图像识别模块之后的用户操作模块进行用户操作的位置的基准。再有，在本实施方式中，为了简单起见，以图像识别模块以外的处理模块是用户操作模块的情况为例进行了说明，但是，图像识别模块以外的处理模块也可以是进行判定处理的处理模块、待机规定时间的处理模块等与用户操作模块不同的功能的处理模块。

输入部3使用键盘、定点设备（鼠标、平板电脑等）、按钮、触摸面板等现有的输入装置来构成。输入部3是在将用户的指示输入到场景执行装置1时由用户操作的用户接口。显示部4是crt（cathoderaytube，阴极射线管）显示器、液晶显示器，有机el（electroluminescence，电致发光）显示器等图像显示装置。

处理部5具有场景制作部51、搜索场景制作部52、场景执行管理部53、场景执行部54、以及功能x执行部5。

场景制作部51具有制作信息接收部511、画面显示控制部512、以及场景注册部51。制作信息接收部511接收用户通过输入部3输入的、与场景的制作有关的信息。画面显示控制部512在显示部4中显示场景制作画面。场景制作画面显示了场景制作中可使用的处理模块的列表、以及构成制作中的场景的处理模块及其执行顺序的信息。场景注册部513生成记述了场景的场景文件，所述场景是基于用户使用场景制作画面来进行的处理模块的选择和所选择的处理模块的执行顺序的指定而制作的。向处理模块附加用户通过输入部3输入的属性信息。属性信息示出与处理模块有关的设定内容。场景注册部513向存储部2注册记述了用户所制作的场景的场景文件。

搜索场景制作部52制作图像识别模块的搜索场景文件。图像识别模块使用搜索场景来进行匹配图像的搜索。搜索场景是使用用户指定的搜索条件来进行匹配图像的搜索的一个以上搜索处理的组合。搜索场景文件是记述了搜索场景的文件。构成搜索场景的各搜索处理利用搜索条件来进行图像的搜索，所述搜索条件使用了从目的图像得到的不同特征。搜索场景制作部52具备制作信息接收部521、画面显示控制部522、试行部523、以及搜索场景注册部524。

制作信息接收部521接收用户通过输入部3输入的、与搜索场景制作有关的信息。画面显示控制部522在显示部4中显示在搜索场景的制作中使用的各种画面。试行部523试行在制作中的搜索场景中使用的搜索处理或制作中的搜索场景。搜索场景注册部524生成记述了用户制作的搜索场景的搜索场景文件，向存储部2注册所生成的搜索场景文件。

场景执行管理部53管理场景的执行。场景执行管理部53可以依照用户通过输入部3输入的指示，将场景的执行调度存储在存储部2中。场景执行管理部53依照所存储的执行调度，向场景执行部54指示场景的执行。

场景执行部54具有读出部541、判断部542、操作控制部543、以及图像识别部55。读出部541从由场景执行管理部53指示了执行的场景被记述的场景文件中按执行顺序读出处理模块。判断部542判断读出部541读出的处理模块是用户操作模块还是图像识别模块。操作控制部543在判断部542判断为是用户操作模块的情况下，对输入部3进行控制以使得进行由该用户操作模块示出的用户操作。

图像识别部550在判断部542判断为是图像识别模块的情况下，依照该图像识别模块的搜索场景文件示出的搜索场景来进行图像识别处理。图像识别部550具备搜索场景取得部551、图像取得部552、读出部553、以及搜索部554。搜索场景取得部551从场景文件中读出搜索场景文件。或者，搜索场景取得部551从存储部2中读出在场景文件中记述的搜索场景文件识别信息的搜索场景文件。搜索场景文件识别信息是识别搜索场景文件的信息。图像取得部552取得匹配图像和目的图像。读出部553从搜索场景文件中记述的搜索场景按执行顺序读出执行对象的搜索处理。搜索部554执行读出部553读出的搜索处理。搜索处理的对象是匹配图像或通过执行完毕的其他搜索处理而检测到的匹配图像内的区域，在搜索场景中记述将哪个作为对象。

功能x执行部56依照使用输入部3的操作来执行功能x。功能x是能被用于场景的执行的功能，能够为任意的功能。功能x可以通过cpu（centralprocessingunit，中央处理单元）执行应用程序来实现。例如，功能x能够为表计算、文本编辑、网络浏览器、明信片制作、图形描画等安装于pc的任意的功能。在该图中，将执行功能x的功能x执行部56（x=a，b，c）记载为功能a执行部56a、功能b执行部56b、功能c执行部56c。

图2～图4是示出场景执行装置1中的场景画面的显示例的图。图2所示的场景制作画面100a具有库显示区域101和场景制作区域102。库显示区域101是通过模块名来显示可利用的处理模块的列表的区域。再有，处理模块的列表可以根据处理模块的功能而分层化。模块名是处理模块的名称。在处理模块的列表中，包含用户操作模块和图像识别模块。场景制作区域102是指定处理模块的执行顺序的区域。

用户通过鼠标等输入部3，从库显示区域101中显示的处理模块的一览中，选择追加的处理模块的模块名。将追加的处理模块记载为追加处理模块。在该图中，以追加处理模块是图像识别模块的情况为例来示出。“图像识别”是图像识别模块的模块名。用户通过鼠标将所选择的追加处理模块拖拽（拖放）到场景制作区域102。制作信息接收部511从输入部3接收所选择的追加处理模块的信息和拖拽的结束位置的信息。画面显示控制部512在拖拽的结束位置中追加对追加处理模块的处理模块名进行显示的处理符号。由此，显示了图3所示的场景制作画面100b。

画面显示控制部512在图3所示的场景制作画面100b的场景制作区域102中的拖拽的结束位置中，追加显示对追加处理模块的模块名进行显示的处理符号112-1。结束位置在表示场景的开始的节点111-1和表示场景的结束的节点111-2之间。同样地，能够将用户选择的处理模块追加到场景。在用户通过输入部3输入了搜索场景制作开始的指示的情况下，场景执行装置1显示用于搜索场景制作的画面。使用图11～图20对用于搜索场景制作的画面进行后述。

图4示出了用户操作模块追加后的场景制作画面100c。在场景制作画面100c的场景制作区域102中，追加显示了对用户通过输入部3选择的用户操作模块的模块名进行记述的矩形的处理符号112-2、112-3。箭头113-1～113-4表示处理模块的执行顺序。图4的场景示出了按处理符号112-2、112-1、112-3的顺序，按顺序执行它们表示的处理模块。在用户通过鼠标等输入部3指示了处理符号112-2或处理符号112-3的属性信息输入的情况下，场景执行装置1显示属性信息输入画面。用户通过输入部3向属性信息输入画面输入属性信息。

图5是示出场景执行装置1中的场景制作处理的流程图。场景执行装置1的制作信息接收部511判定是否输入了处理模块的追加（步骤s110）。例如，用户通过鼠标等输入部3，从场景制作画面的库显示区域101中显示的处理模块的一览中，选择追加处理模块，并拖拽到场景制作区域102。在该情况下，制作信息接收部511从输入部3接收所选择的追加处理模块的信息和拖拽的结束位置的信息，判定为输入了处理模块的追加（步骤s110：是）。画面显示控制部512在拖拽的结束位置中追加显示对追加处理模块的处理模块名进行显示的处理符号（步骤s115）。场景制作部51回到步骤s110的处理。

制作信息接收部511在步骤s110中判定为未输入处理模块的追加的情况下（步骤s110：否），判定是否输入了属性设定指示（步骤s120）。例如，用户通过输入部3双击对属性设定对象的处理模块进行表示的处理符号。将属性设定对象的处理模块记载为设定对象处理模块。制作信息接收部511从输入部3接收进行了属性设定指示的操作的处理符号的信息，判定为输入了属性设定指示（步骤s120：是）。画面显示控制部512显示进行了属性设定指示的处理符号所表示的设定对象处理模块的属性输入画面。用户向属性输入画面输入在设定对象处理模块的属性信息中使用的各种变量的设定值（步骤s125）。例如，在图像识别模块之后配置了进行利用鼠标的点击的用户操作的操作模块的情况下，在该操作模块的属性信息中，设定相对于通过图像识别模块检测到的显示区域而表示进行点击的相对位置的变量的值。作为具体例，在目的图像是图标或按钮的情况下，在表示点击的执行的操作模块的属性信息中，设定通过图像识别模块检测到的区域的中心位置，作为表示进行点击的相对位置的变量的值。作为其他具体例，在目的图像是显示在离按钮或输入字段向上或向左规定距离的位置中的图像的情况下，设定离通过图像识别模块检测到的区域向下或向右规定距离的位置，作为表示进行点击的相对位置的变量的值。制作信息接收部511将设定对象处理模块与包含所输入的各种变量的设定值的属性信息相对应地存储。场景制作部51回到步骤s110的处理。

制作信息接收部511在步骤s120中判定为未输入属性设定指示的情况下（步骤s120：否），判定是否输入了场景制作的结束（步骤s130）。制作信息接收部511在判定为未输入场景制作的结束的情况下（步骤s130：否），回到步骤s110的处理。另一方面，制作信息接收部511在判定为输入了场景制作的结束的情况下（步骤s130：是），向场景注册部513指示处理。场景注册部513生成记述了所制作的场景的场景文件，写入到存储部2，结束场景生成流程（步骤s135）。

图6是示出场景执行装置1中的场景执行处理的流程图。场景执行装置1的场景执行管理部53检测到通过输入部3输入了执行对象的场景的信息和执行开始（步骤s210）。或者，场景执行管理部53检测到变为了预先注册的执行调度所示的执行对象的场景的执行定时。读出部541从存储部2读出记述了执行对象的场景的场景文件（步骤s215）。读出部541将场景文件中记述的最初的处理模块作为执行对象模块（步骤s220）。

读出部541从场景文件中读出执行对象模块的信息（步骤s225）。执行对象模块的信息包含执行对象模块的种类、以及执行对象模块的属性信息。判断部542判断执行对象模块的种类是用户操作模块还是图像识别模块（步骤s230）。判断部542在判断为执行对象模块的种类是用户操作模块的情况下（步骤s230：用户操作模块），向操作控制部543指示处理。操作控制部543对输入部3进行控制以使得使用属性信息来进行由执行对象模块示出的用户操作（步骤s235）。

在步骤s230中判断部542判断为执行对象模块的种类是图像识别模块的情况下（步骤s230：图像识别模块），图像识别部550读出图像识别模块的搜索场景文件。图像识别部550依照在搜索场景文件中记述的搜索场景来执行图像识别处理（步骤s240）。

在步骤s235或步骤s240之后，读出部541判定下一执行顺序是否为结束节点（步骤s245）。读出部541在判定为不是结束节点的情况下（步骤s245：否），将下一执行顺序的处理模块作为新的执行对象模块（步骤s250），重复从步骤s225起的处理。另一方面，读出部541在判定为下一执行顺序是结束节点的情况下（步骤s245：是），结束场景的执行（步骤s255）。

接着，对使用图像识别模块的图像识别进行说明。图7是用于说明图像识别模块的概要的图。图像识别模块示出依照搜索场景从匹配图像中检测与目的图像类似或一致的区域并输出表示所检测的区域（检测区域）的坐标的搜索结果信息的处理。匹配图像是显示部4显示的画面的图像，是对与目的图像匹配的（类似或一致的）图像被显示的区域进行搜索的对象的图像。在本实施方式中，场景执行装置1的os是多窗口系统，匹配图像是应用或os在显示部4中显示的窗口画面的图像。目的图像的示例是成为用户操作对象的图标、按钮、文本输入字段。目的图像可以是非用户操作对象的图像。例如，在用户操作对象是按钮或文本输入字段并且在距该用户操作对象的按钮或文本输入字段一定位置处（规定距离之上、规定距离旁边等）存在图像的情况下，可以将该图像作为目的图像。在将从用户操作对象的图标、按钮、文本输入字段等起的相对位置为一定的图像作为目的图像的情况下，能够使用目的图像和相对位置来计算用户操作对象的位置。

组合利用搜索条件的一个以上搜索处理来生成搜索场景，所述搜索条件使用从目的图像得到的图像的特征。于是，用户将目的图像的特征分解为单纯的特征，作为搜索条件。作为搜索条件，使用与目的图像的颜色有关的特征、与目的图像的形状有关的特征、目的图像是匹配图像内的关注区域这样的特征、或匹配图像内的目的图像是颜色基于输入部3的操作而变化的区域的图像这样的特征。例如，假设目的图像是包含红色圆形和蓝色四边形的图标。用户将红色、蓝色、圆形、四边形、在显示区域中存在光标的情况下颜色变化等目的图像的显眼特征分别作为搜索条件，生成这些搜索条件的逻辑与所表示的搜索场景。场景执行装置1使用所生成的搜索场景来搜索匹配图像，检测与目的图像匹配的区域。像这样，场景执行装置1能够使用搜索场景从匹配图像中检测目的图像，所述搜索场景利用与人的识别方式接近的顺序来进行搜索。

例如，图7所示的搜索场景是以下那样的搜索处理的组合。首先，针对匹配图像g1，利用搜索条件c1进行搜索处理，得到了从匹配图像g1中提取了检测到的区域的输出图像g2。此外，针对匹配图像g1利用搜索条件c2进行搜索处理，得到了从匹配图像g1中提取了检测到的区域的输出图像g3。进而，针对输出图像g3利用搜索条件c3进行搜索处理，得到了从输出图像g3中提取了检测到的区域的输出图像g4。然后，得到了针对输出图像g2利用搜索条件c4进行搜索处理的结果与针对输出图像g4利用搜索条件c5进行搜索处理的结果之间的逻辑与的区域的输出图像g5。输出图像g5的区域的坐标被输出为最终的搜索结果信息。在搜索条件c1～c5中使用从目的图像g0得到的特征之中的、用户所选择的特征。

搜索场景被记述在图像识别模块的搜索场景文件中。搜索场景文件包含匹配图像确定信息、目的图像或目的图像确定信息、搜索场景、以及选择算法。匹配图像确定信息是对被用作匹配图像的窗口画面进行确定的信息。在搜索场景文件中不包含匹配图像确定信息的情况下，能够将图像识别模块的执行时变为有效的窗口画面作为匹配图像。目的图像确定信息是对目的图像进行确定的信息。

搜索场景示出了搜索处理的执行顺序、各搜索处理的搜索条件、以及搜索处理的组合方法。搜索条件包含搜索功能的种类、以及对进行利用该搜索功能的搜索时的条件进行示出的搜索参数的值。搜索参数包含对输入图像进行确定的信息、以及输出图像名。输入图像是进行搜索的对象的图像，是作为匹配图像或其他搜索处理的结果而得到的输出图像。输出图像名是对利用搜索处理进行了搜索的结果进行示出的输出图像的图像名。搜索处理的组合方法例如是逻辑或、逻辑与、加权加法等。在加权加法的情况下，搜索处理的组合方法包含对利用各搜索处理检测到的区域内的各像素赋予的权重的信息。

选择算法示出了是将利用最后搜索处理所得的检测区域的坐标输出为图像识别模块的执行结果、还是基于利用最后搜索处理得到的匹配图像的每个像素的得分而将得分最好的区域或得分好于规定的区域的坐标输出为图像识别模块的执行结果。或者，选择算法可以采用用于从利用最后搜索处理得到的多个检测区域、或者基于利用最后搜索处理得到的匹配图像的每个像素的得分而得到的多个区域中选择一个或多个区域的条件。在选择条件中，例如，能够使用最上位置、最左位置等区域的位置的信息、或最大区域、最小区域等区域的大小的信息。再有，在各搜索处理通过逻辑与、逻辑或进行组合并且将利用最后搜索处理所得的检测区域的坐标直接输出为图像识别模块的执行结果的情况下，也可以不设定选择算法。

图8是示出搜索场景的示例的图。图8所示的搜索场景通过搜索顺序和选择算法来表示。在搜索顺序中，记述了按顺序执行将搜索功能f1、f2、f3分别用作搜索条件的搜索处理r1、r2、r3。进而，在搜索顺序中，通过逻辑与和逻辑或记述了搜索处理r1、搜索处理r2和搜索处理r3的组合。然后，通过选择算法来示出选择搜索顺序中的最后搜索处理r3所得的检测区域之中的哪一个。

以往，利用确定的算法在匹配图像中搜索符合的区域。在本实施方式中，用户将在匹配图像内搜索与目的图像匹配的区域上有效的特征组合地设定为搜索条件。由此，用户将适应识别对象的图像识别的算法制作为搜索场景。在构成搜索场景的各搜索处理中使用的搜索条件中，包含在搜索中使用的搜索功能的种类。搜索功能的种类如以下所示。

（1）特征颜色搜索功能：特征颜色搜索功能是对使用了确定颜色的区域进行检测的功能。在匹配图像中存在目的图像的情况下，在这些图像中使用相同的颜色。于是，用户指定在目的图像中考虑为最具特征的颜色，将该颜色作为搜索条件。场景执行装置1从匹配图像中检测搜索条件所示的颜色，检测目的图像的显示区域的候补。这例如在目的图像是图标的图像并且对匹配图像中的背景或匹配图像中包含的其他图标使用了与目的图像的图标相比显眼的颜色的情况下是有效的。

（2）图标判别功能：图标判别功能是利用鼠标移动所造成的图像变化来检测图标的功能。在图标或按钮等ui（用户接口）的情况下，通过使鼠标移动，该ui的轮廓或背景颜色有时会发生变化。于是，在匹配图像上进行鼠标移动，将图像发生变化作为搜索条件。在目的图像是颜色或形状根据光标是否存在于其显示区域上而变化的图标或按钮的情况下是有效的。

（3）矩形检测功能：矩形检测功能是使用轮廓提取来检测四边形的功能。场景执行装置1从匹配图像中提取轮廓，用多段线来近似。场景执行装置1在多段线的顶点（角）存在4个的情况下，检测为四边形。在目的图像是按钮那样的四边形ui的情况下是有效的。

（4）圆形检测功能：圆形检测功能是对匹配图像内的圆形进行检测的功能。场景执行装置1利用现有的圆形检测处理从匹配图像中检测圆形。在目的图像是圆形的图标或ui的情况下或在目的图像中使用圆形的情况下是有效的。

（5）圆形拟合功能：圆形拟合功能是针对利用椭圆拟合得到的匹配图像内的椭圆利用圆度的阈值处理来估计圆形的功能。场景执行装置1从匹配图像中提取轮廓，根据轮廓坐标来估计椭圆的参数。场景执行装置1根据所估计的椭圆的参数来求取圆度。场景执行装置1将圆度比阈值小的椭圆估计为圆形。在目的图像中包含虽然不是完美的圆形但接近圆形的图像的情况下是有效的。例如，能够适用于在目的图像中使用了如新月形那样圆周的一部分不连续的圆弧的情况。

（6）关注处提取功能：关注处提取功能是使用显著图（saliencymap）来提取匹配图像内的关注区域的功能。场景执行装置1求取匹配图像的显著图。显著图是使人类在图像内视觉上关注的区域数值化的图。场景执行装置1利用判别分析法自动地设定阈值，由此求取显著图中的关注区域。例如，在对显眼的图标或ui的区域进行全部检测的情况下是有效的。

（7）颜色直方图类似区域搜索功能：颜色直方图类似区域搜索功能是使用颜色直方图的类似度来在匹配图像中搜索与目的图像类似的区域的功能。在匹配图像中存在目的图像的区域与目的图像相比，颜色直方图的类似度很高。于是，场景执行装置1使用目的图像的颜色直方图的特征作为搜索条件，从匹配图像中搜索包含目的图像的区域。

图9是示出利用场景执行装置1的搜索场景文件制作处理的流程图。场景执行装置1的搜索场景制作部52通过输入部3输入搜索场景制作开始的指示，由此开始图9所示的搜索场景制作处理。

首先，制作信息接收部521取得用户通过输入部3输入的匹配图像确定信息（步骤s310）。例如，用户通过输入部3点击用作匹配图像的窗口画面等来进行指定。制作信息接收部521取得所指定的窗口画面中显示的标题的信息作为匹配图像确定信息。接着，制作信息接收部521取得用户通过输入部3指定的目的图像（步骤s315）。例如，向具有图像编辑功能的功能a执行部56a导入匹配图像，用户可以从该匹配图像中通过输入部3指定作为目的图像的一部分区域。或者，用户可以通过输入部3输入在存储部2中存储的图像的识别信息。再有，在搜索场景中不使用目的图像的情况下，场景执行装置1可以不进行步骤s315的处理。

接着，制作信息接收部521判定用户是否通过输入部3输入了搜索功能的种类（步骤s320）。例如，用户在向搜索场景追加搜索处理的情况下，通过输入部3输入在该搜索处理中使用的搜索功能的种类。制作信息接收部521判定为输入了搜索功能的种类（步骤s320：是）。制作信息接收部521向追加的搜索处理赋予执行顺序。在最初追加的搜索处理的情况下，制作信息接收部521使执行顺序为1。此外，在n个（n为1以上的整数）搜索处理已经制作完毕的情况下，制作信息接收部521使执行顺序为（n+1）。或者，在n个（n为1以上的整数）搜索处理已经制作完毕并且用户输入了制作对象的执行顺序j（j为1以上n以下的整数）的情况下，制作信息接收部521针对执行顺序为j以后的制作完毕的搜索处理，将执行顺序变更为（j+1），使追加的搜索处理的执行顺序为j。画面显示控制部522对搜索条件设定画面进行显示。搜索条件设定画面是用于输入与搜索功能对应的搜索参数的值、以及与其他搜索处理的结果的组合方法的画面。再有，针对上述的（1）～（7）所示的各搜索功能中使用的搜索参数进行后述。此外，以下，也将与其他搜索处理的结果的组合方法记载为运算方法。

制作信息接收部521判定用户是否通过输入部3输入了搜索参数的值或运算方法（步骤s330）。制作信息接收部521在判定为输入了搜索参数的值或运算方法的情况下（步骤s330：是），与搜索处理的执行顺序和搜索功能的种类相对应地存储所输入的搜索参数的值或运算方法（步骤s335）。在运算方法是逻辑或、或逻辑与的情况下，组合的对象的其他搜索处理是稍前的执行顺序的搜索处理或用户所指定的执行顺序的搜索处理。组合的对象的其他搜索处理既可以通过执行顺序来指定，也可以通过输出图像名来指定。此外，在与稍前的执行顺序的搜索处理进行组合的情况下，可以省略组合的对象的搜索处理的设定。此外，在运算方法是加权加法的情况下，还输入权重的值。

制作信息接收部521在步骤s330中判定为未输入搜索参数的设定值和运算方法的情况下（步骤s330：否），或者，在步骤s335的处理之后，进行步骤s340的处理。即，制作信息接收部521判定用户是否通过输入部3输入了搜索处理的试行指示（步骤s340）。制作信息接收部521在判定为输入了搜索处理的试行指示的情况下（步骤s340：是），向试行部523指示搜索处理的试行。试行部523使用在步骤s335中存储的搜索功能的种类、搜索参数的值、以及运算方法所示的搜索条件来对输入图像进行搜索处理（步骤s345）。画面显示控制部522将试行部523进行了搜索处理的结果检测到的区域的信息与匹配图像重叠地显示在显示部4中。

制作信息接收部521在步骤s340中判定为未输入搜索处理的试行指示的情况下（步骤s340：否），或者，在步骤s345的处理之后，进行步骤s350的处理。即，制作信息接收部521判定用户是否通过输入部3输入了搜索条件的设定结束（步骤s350）。制作信息接收部521在判定为用户未通过输入部3输入搜索条件的设定结束的情况下（步骤s350：否），进行从步骤s330起的处理。例如，用户在对通过步骤s345而显示的搜索处理的结果进行确认、未得到用户所意图的结果的情况下，通过输入部3输入变更的搜索参数的值或运算方法，因此，在步骤s330中判定为是。

另一方面，用户在对通过步骤s345而显示的搜索处理的结果进行确认、得到了用户所意图的结果的情况下，输入搜索处理的设定结束。制作信息接收部521在步骤s350中判定为用户通过输入部3输入了搜索条件的设定结束（步骤s350：是）。搜索场景注册部524向搜索场景追加设定了在步骤s330中存储的搜索处理的执行顺序、搜索功能、搜索参数的值、以及运算方法的搜索处理（步骤s355）。搜索场景制作部52进行从步骤s320起的处理。

制作信息接收部521在步骤s320中判定为未输入搜索功能的情况下（步骤s320：否），进行步骤s360的处理。即，制作信息接收部521判定用户是否通过输入部3进行了将搜索场景中包含的搜索处理指定为修正对象的操作（步骤s360）。制作信息接收部521在判定为用户进行了将搜索场景中包含的任一个搜索处理指定为修正对象的操作的情况下（步骤s360：是），向画面显示控制部522通知修正对象的搜索处理。画面显示控制部522进行步骤s325的处理，对搜索条件设定画面进行显示。此时，画面显示控制部522在搜索条件设定画面中，默认地显示针对所指定的搜索处理而设定完毕的各搜索参数的值和运算方法。之后，搜索场景制作部52进行从步骤s330起的处理。但是，在步骤s355中，搜索场景注册部524利用针对所指定的搜索处理而修正的搜索参数的值和运算方法，来变更在搜索场景中设定完毕的该搜索处理的搜索条件。

制作信息接收部521在步骤s360中判定为用户未输入修正对象的搜索处理的选择的情况下（步骤s360：否），进行步骤s365的处理。即，制作信息接收部521判定用户是否通过输入部3输入了在搜索场景中设定的选择算法（步骤s365）。制作信息接收部521在判定为用户通过输入部3输入了选择算法的情况下（步骤s365：是），将所输入的选择算法写入到存储在存储部2中的搜索场景（步骤s370）。

制作信息接收部521在步骤s365中判定为用户未输入选择算法的情况下（步骤s365：否），或者，在步骤s370的处理之后，进行步骤s375的处理。即，制作信息接收部521判定是否输入了搜索场景的试行指示（步骤s375）。例如，当利用步骤s320～步骤s370的处理来组合搜索处理而生成搜索场景时，用户通过输入部3输入搜索场景的试行指示。制作信息接收部521在步骤s375中判定为输入了搜索场景的试行指示（步骤s375：是），向试行部523指示搜索场景的试行。试行部523在试行指示的输入时，从存储部2中读出制作的搜索场景。试行部523将匹配图像和目的图像、以及所读出的搜索场景输出到图像识别部550，指示试行。图像识别部550进行后述的图10的步骤s425～步骤s460的处理，向试行部523通知搜索场景的执行结果。再有，试行部523也可以进行图10的步骤s425～步骤s460的处理。画面显示控制部522在显示部4中显示将搜索场景的执行结果所示的检测区域重叠于匹配图像的搜索结果信息（步骤s380）。

制作信息接收部521在步骤s375中判定为未输入搜索场景的试行的情况下（步骤s375：否），或者，在步骤s380的处理之后，进行步骤s385的处理。即，制作信息接收部521判定用户是否通过输入部3输入了搜索场景的制作结束（步骤s385）。制作信息接收部521在判定为未输入搜索场景的制作结束的情况下（步骤s385：否），进行从步骤s320起的处理。例如，用户在对通过步骤s380而显示的搜索场景的试行结果进行确认、未得到所意图的结果的情况下，通过输入部3追加向搜索场景追加的搜索处理的搜索功能的选择。由此，制作信息接收部521在步骤s320中判定为是。或者，用户通过输入部3输入搜索场景中包含的搜索处理之中的、对参数的值或运算方法进行修正的对象的搜索处理的指定。由此，制作信息接收部521在步骤s320中判定为否，在步骤s360中判定为是。

另一方面，用户在对通过步骤s380而显示的搜索场景的试行结果进行确认、得到了所意图的结果的情况下，通过输入部3输入搜索场景的制作结束。制作信息接收部521判定为用户通过输入部3输入了搜索场景的制作结束（步骤s385：是）。搜索场景注册部524生成图像识别模块的搜索场景文件，存储在存储部2中（步骤s390）。搜索场景文件包含匹配图像确定信息、目的图像或目的图像确定信息、以及搜索场景（各搜索处理的执行顺序、搜索条件和运算方法、以及选择算法）。

在图5的步骤s150中，场景注册部513在场景中包含图像识别模块的情况下，将针对该图像识别模块利用图9所示的处理所制作的搜索场景文件包含于场景文件，或者将存储部2中存储的搜索场景文件的搜索场景文件识别信息包含于场景文件。然后，在图6的步骤s240中，图像识别部550在对作为执行对象模块的图像识别模块进行执行时，从场景文件中读出针对该图像识别模块而生成的搜索场景文件、或者从存储部2中读出场景文件中记述的搜索场景文件识别信息所示的搜索场景文件来执行。

图10是示出利用场景执行装置1的图像识别模块执行处理的流程图。搜索场景取得部551从场景文件中读出执行对象的图像识别模块的搜索场景文件。或者，搜索场景取得部551从存储部2中读出场景文件中记述的搜索场景文件识别信息所示的搜索场景文件（步骤s410）。

图像取得部552取得在搜索场景文件中设定的匹配图像确定信息所示的窗口画面，作为匹配图像（步骤s415）。再有，图像取得部552也可以不使用匹配图像确定信息，而取得现在有效的窗口画面的图像作为匹配图像。进而，图像取得部552取得在搜索场景文件中包含的目的图像、或者在搜索场景文件中记述的目的图像确定信息的目的图像（步骤s420）。

读出部553从搜索场景文件中确定搜索场景中的最初的执行顺序的搜索处理（步骤s425）。将所确定的搜索处理记载为执行对象搜索处理。读出部553从搜索场景中读出执行对象搜索处理的搜索条件和运算方法（步骤s430）。搜索部554取得在搜索条件中设定的输入图像。搜索部554使用搜索条件来对执行对象搜索处理进行执行（步骤s435）。即，搜索部554使用在搜索条件中设定的搜索功能和搜索参数的值，对输入图像执行搜索处理。在输入图像是匹配图像的情况下，将匹配图像整体作为搜索对象。在输入图像是其他搜索处理的输出图像的情况下，将输出图像所示的匹配图像内的检测区域作为搜索对象。

搜索部554在通过执行对象搜索处理检测到的区域中，进行依照运算方法的运算，来取得检测区域的坐标信息（步骤s440）。在运算方法是与其他搜索处理的输出图像的逻辑与、或逻辑或的情况下，计算通过步骤s435的执行对象搜索处理检测到的区域与其他搜索处理的输出图像所示的区域之间的逻辑或、或逻辑与，作为执行对象搜索处理的输出图像。在运算方法是加权加法的情况下，搜索部554将其他搜索处理的输出图像所示的各像素的得分与对通过执行对象搜索处理检测到的区域内的各像素所赋予的得分相加，作为输出图像。再有，对检测到的区域内的各像素所赋予的得分是在运算方法中设定的权重。

读出部553判定现在的执行对象搜索处理是否为搜索场景内的最后搜索处理（步骤s445）。读出部553在判定为不是最后搜索处理的情况下（步骤s445：否），确定在搜索场景中包含的下一执行顺序的搜索处理，作为新的执行对象搜索处理（步骤s450）。图像识别部550回到步骤s430的处理。

读出部553在步骤s445中判定为是最后搜索处理的情况下（步骤s445：是），结束搜索场景的执行（步骤s455）。搜索部554基于在搜索场景中设定的选择算法，来输出对通过最后搜索处理得到的检测区域的坐标进行示出的搜索结果信息、或者对最高得分的像素的区域的坐标进行示出的搜索结果信息（步骤s460）。

接着，说明画面显示控制部522在显示部4中显示的用于搜索场景制作的画面的显示例。图11是示出图像匹配编辑器画面600的显示例的图。图像匹配编辑器画面600包含菜单显示区域601、以及匹配图像显示区域603。在对匹配图像进行设定的情况下，用户通过输入部3从在菜单显示区域601中显示的菜单中，选择图像的设定。当图像的设定被选择时，制作信息接收部521可以显示图像的指定对话605。当用户通过输入部3选择了窗口画面610并且点击了图像的指定对话605的捕获按钮时，制作信息接收部521导入窗口画面610的图像。画面显示控制部522在匹配图像显示区域603中显示所导入的图像。在对目的图像进行设定的情况下，用户通过输入部3从在菜单显示区域601中显示的菜单中，选择目的图像的设定。当目的图像的设定被选择时，制作信息接收部521可以显示后述的图12所示的目的图像制作画面620。在进行搜索场景的制作的情况下，用户通过输入部3从在菜单显示区域601中显示的菜单中，选择搜索场景的编辑。当搜索场景的编辑被选择时，制作信息接收部521可以显示后述的图13所示的搜索场景编辑画面630。

图12是示出对匹配图像进行加工来生成目的图像的情况下显示的目的图像制作画面620的显示例的图。在用户通过输入部3输入了目的图像的生成的情况下，画面显示控制部522在显示部4中显示目的图像制作画面620。目的图像制作画面620包含对匹配图像进行显示的显示区域621、以及对图像加工方法进行显示的加工菜单显示区域622。用户通过输入部3选择在加工菜单显示区域622中显示的加工方法的菜单来进行在显示区域621中显示的匹配图像的加工，生成目的图像。在该图中，通过输入部3输入区域623的修剪，由此截出匹配图像的区域623来生成目的图像。

图13是示出搜索场景编辑画面630的显示例的图。搜索场景编辑画面630包含菜单显示区域631、搜索顺序显示区域632、以及下拉菜单633。在菜单显示区域631中显示用于选择搜索功能的菜单。通过该搜索功能的菜单，能够选择特征颜色搜索功能、图标判别功能、矩形检测功能、圆形检测功能、圆形拟合功能、关注处提取功能和颜色直方图类似区域搜索功能。

在搜索顺序显示区域632中显示了搜索处理的执行顺序（no.）、以及在搜索处理中使用的搜索功能的名称即搜索功能名、搜索参数和运算方法。搜索参数的值和运算方法通过后述的按各搜索功能的搜索条件设定画面来设定。图13所示的运算方法示出了计算与前一执行顺序的搜索处理的输出图像的逻辑与（and）或逻辑或（or）。

在下拉菜单633中显示用于选择在搜索场景中设定的选择算法的菜单。用户在搜索场景的制作开始至制作结束为止的期间内，使用下拉菜单633来选择在搜索场景中设定的选择算法。

当用户通过输入部3从菜单显示区域631的菜单中选择了追加的搜索处理的搜索功能时，图像取得部552在显示部4中显示所选择的搜索功能的搜索条件设定画面（后述的图14～图20）。用户通过输入部3来在搜索条件设定画面中设定搜索参数的值，向场景执行装置1指示使用所设定的值的搜索处理的试行。用户确认搜索处理的试行结果，同时向搜索场景一个一个地追加搜索处理。由此，最终，制作了组合一个以上搜索处理的搜索场景。用户在制作搜索场景时通过输入部3输入选择算法。

图14是示出特征颜色搜索功能的搜索条件设定画面700的显示例的图。搜索条件设定画面700具有参数值输入区域701和搜索结果显示区域702。在参数值输入区域701中设定搜索参数和运算方法。搜索参数是输入图像、输出图像名、特征颜色、最小尺寸和最大尺寸。参数值输入区域701具有下拉菜单703、输入字段704、颜色样本显示按钮705、输入字段707、输入字段708、运算方法选择下拉菜单709、试行按钮710和决定按钮711。

在下拉菜单703中，从匹配图像和其他搜索处理的输出图像名的一览中，选择作为输入图像的图像。向输入字段704输入输出图像名。当用户通过输入部3点击了颜色样本显示按钮705时，画面显示控制部522显示特征颜色选择对话706。画面显示控制部522在特征颜色选择对话706中，显示在目的图像中使用的颜色，作为颜色样本。用户通过输入部3从特征颜色选择对话706中显示的颜色样本中点击有特征的颜色，由此选择用于搜索的特征颜色。分别向输入字段707和708输入最小尺寸和最大尺寸。最小尺寸被用于在与特征颜色的一致被检测到的区域的大小小于其值的情况下从检测矩形候补中移除该区域。最大尺寸被用于在与特征颜色的一致被检测到的区域的大小大于其值的情况下从检测矩形候补中移除该区域。

在运算方法选择下拉菜单709中，从逻辑或、逻辑与、和加权加法中选择任一个运算方法。逻辑或和逻辑与分别是与前一执行顺序的搜索处理的检测区域的逻辑或和逻辑与。试行按钮710被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域701中设定的搜索参数的值。在搜索结果显示区域702中，描画了点击试行按钮710由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示了搜索处理的结果所得的检测区域的信息。进而，在检测区域中，显示了表示是检测区域的矩形、以及向检测区域赋予的号码。号码例如可以为颜色的一致度从高到低的顺序。用户确认在搜索结果显示区域702中显示的搜索处理的结果，根据需要来变更搜索参数的值。决定按钮711被用于将各搜索参数的值决定为现在在参数值输入区域701中设定的值，指示搜索条件的设定结束。

图15是示出图标判别功能的搜索条件设定画面720的显示例的图。搜索条件设定画面720具有参数值输入区域721和搜索结果显示区域722。在参数值输入区域721中设定搜索参数。搜索参数是作为搜索对象的区域的坐标信息（输入图像）和输出图像名。

参数值输入区域721具有下拉菜单723、输入字段724、试行按钮725、以及决定按钮726。在下拉菜单723中，从其他搜索处理的输出图像名的一览中，选择使指针（鼠标的光标）配置于哪一个搜索处理的输出图像所示的检测区域。也就是说，选择将在搜索场景中设定完毕的搜索处理之中的哪一个搜索处理所得到的检测区域用作用于在通过图标判别功能进行搜索时配置鼠标光标的坐标信息。向输入字段724输入输出图像名。所选择的图像相当于输入图像。

试行按钮725被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域721中设定的搜索参数的值。搜索结果显示区域722描画了点击试行按钮725由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示了搜索处理的结果所得的检测区域的信息。进而，在检测区域中，显示了表示是检测区域的矩形、以及向检测区域赋予的号码。决定按钮726被用于将搜索参数的值决定为现在在参数值输入区域721中设定的值，指示搜索条件的设定结束。

图16是示出矩形检测功能的搜索条件设定画面740的显示例的图。搜索条件设定画面740具有参数值输入区域741和搜索结果显示区域742。在参数值输入区域741中设定搜索参数和运算方法。搜索参数是输入图像、输出图像名、最小尺寸和最大尺寸。参数值输入区域741具有下拉菜单743、输入字段744、输入字段746、747、运算方法选择下拉菜单749、试行按钮750和决定按钮75。

在下拉菜单743中，从匹配图像和其他搜索处理的输出图像名的一览中，选择作为输入图像的图像。向输入字段744输入输出图像名。分别在输入字段746和747中设定最小尺寸和最大尺寸。最小尺寸被用于在检测到的矩形的大小小于其值的情况下从检测矩形候补中移除该矩形。最大尺寸被用于在检测到的矩形的大小大于其值的情况下从检测矩形候补中移除该矩形。

在运算方法选择下拉菜单749中，从逻辑或、逻辑与、和加权加法中选择任一个运算方法。逻辑或、和逻辑与分别是与前一执行顺序的搜索处理的检测区域的逻辑或、和逻辑与。试行按钮750被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域741中设定的搜索参数的值。搜索结果显示区域742描画了点击试行按钮750由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示了搜索处理的结果所得的检测区域的信息。进而，在检测区域中，显示了表示是检测区域的矩形、以及向检测区域赋予的号码。决定按钮751被用于将各搜索参数的值决定为现在在参数值输入区域741中设定的值，指示搜索条件的设定结束。

图17是示出圆形检测功能的搜索条件设定画面760的显示例的图。搜索条件设定画面760具有参数值输入区域761和搜索结果显示区域762。在参数值输入区域761中设定搜索参数和运算方法。搜索参数是输入图像、输出图像名、所检测的圆形的最小半径和所检测的圆形的最大半径的值。参数值输入区域761具有下拉菜单763、输入字段764、输入字段766、767、运算方法选择下拉菜单768、试行按钮769和决定按钮770。

在下拉菜单763中，从匹配图像和其他搜索处理的输出图像名的一览中，选择作为输入图像的图像。向输入字段764输入输出图像名。向输入字段766、767分别输入所检测的圆形的最小半径、所检测的圆形的最大半径的值。所检测的圆形的最小半径被用于在检测到的圆形的半径小于其值的情况下从搜索处理所得的检测结果的圆形中移除。所检测的圆形的最大半径被用于在检测到的圆形的半径大于其值的情况下从搜索处理所得的检测结果的圆形中移除。

在运算方法选择下拉菜单768中，从逻辑或、逻辑与、和加权加法中选择任一个运算方法。逻辑或、和逻辑与分别是与前一执行顺序的搜索处理的检测区域的逻辑或、和逻辑与。试行按钮769被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域761中设定的搜索参数的值。在搜索结果显示区域762中描画了点击试行按钮769由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示作为搜索结果而得到的区域的信息。进而，在检测区域中显示了表示是检测区域的矩形、以及向检测区域赋予的号码。用户确认在搜索结果显示区域762中显示的搜索处理的结果，根据需要来变更搜索参数的值。决定按钮770被用于将各搜索参数的值决定为现在在参数值输入区域761中设定的值，指示搜索条件的设定结束。

图18是示出圆形拟合功能的搜索条件设定画面780的显示例的图。搜索条件设定画面780具有参数值输入区域781和搜索结果显示区域782。在参数值输入区域781中设定搜索参数和运算方法。搜索参数是输入图像、输出图像名、容许圆度、最小尺寸和最大尺寸的值。参数值输入区域781具有下拉菜单783、输入字段784～787、运算方法选择下拉菜单788、试行按钮789和决定按钮790。

在下拉菜单783中，从匹配图像和其他搜索处理的输出图像名的一览中，选择作为输入图像的图像。向输入字段784输入输出图像名。向输入字段784～787分别输入容许圆度、所检测的圆形的最小半径和所检测的圆形的最大半径。容许圆度被用于在估计的椭圆的圆度大于其值的情况下从圆形的检测结果中移除。最小尺寸被用于在与检测到的椭圆相接的矩形的大小小于其值的情况下从圆形的检测结果中移除该椭圆。最大尺寸被用于在与检测到的椭圆相接的矩形的大小大于其值的情况下从圆形的检测结果中移除该椭圆。

在运算方法选择下拉菜单788中，从逻辑或、逻辑与和加权加法中选择任一个运算方法。逻辑或和逻辑与分别是与前一执行顺序的搜索处理的检测区域的逻辑或和逻辑与。试行按钮789被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域781中设定的搜索参数的值。在搜索结果显示区域782中描画了点击试行按钮789由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示搜索处理的结果所得的检测区域的信息。进而，在检测区域中显示了表示是检测区域的矩形、以及向检测区域赋予的号码。用户确认在搜索结果显示区域782中显示的搜索处理的结果，根据需要来变更搜索参数的值。决定按钮790被用于将各搜索参数的值决定为现在在参数值输入区域781中设定的值，指示搜索条件的设定结束。

图19是示出使用了关注处提取功能的搜索处理的搜索条件设定画面800的显示例的图。搜索条件设定画面800具有参数值输入区域801和搜索结果显示区域802。在参数值输入区域801中设定搜索参数和运算方法。搜索参数是输入图像、输出图像名、最小尺寸和最大尺寸。参数值输入区域801具有下拉菜单803、输入字段804～806、运算方法选择下拉菜单807、试行按钮808和决定按钮809。

在下拉菜单803中，从匹配图像和其他搜索处理的输出图像名的一览中，选择作为输入图像的图像。向输入字段804输入输出图像名。向输入字段805和806分别输入最小尺寸和最大尺寸。最小尺寸被用于在检测到的矩形的大小小于其值的情况下从检测矩形候补中移除该矩形。最大尺寸被用于在检测到的矩形的大小大于其值的情况下从检测矩形候补中移除该矩形。

在运算方法选择下拉菜单807中，从逻辑或、逻辑与和加权加法中选择任一个运算方法。逻辑或和逻辑与分别是与前一执行顺序的搜索处理的检测区域的逻辑或和逻辑与。试行按钮808被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域801中设定的搜索参数的值。在搜索结果显示区域802中描画了点击试行按钮808由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示搜索处理的结果所得的检测区域的信息。进而，在检测区域中显示了表示是检测区域的矩形、以及向检测区域赋予的号码。号码例如能够为显著图中的得分从高到低的顺序。用户确认在搜索结果显示区域802中显示的搜索处理的结果，根据需要来变更搜索参数的值。决定按钮809被用于将各搜索参数的值决定为现在在参数值输入区域801中设定的值，指示搜索条件的设定结束。

图20是示出颜色直方图类似区域搜索功能的搜索条件设定画面820的显示例的图。搜索条件设定画面820具有参数值输入区域821和搜索结果显示区域822。在参数值输入区域821中设定搜索参数和运算方法。搜索参数是输入图像、输出图像名、有效类似度、最小尺寸和最大尺寸。参数值输入区域821具有下拉菜单823、输入字段824、滑动条826、输入字段827、输入字段828、运算方法选择下拉菜单829、试行按钮830和决定按钮831。

在下拉菜单823中，从匹配图像和其他搜索处理的输出图像名的一览中，选择作为输入图像的图像。向输入字段824输入输出图像名。向输入字段825输入步数。在滑动条826中设定有效类似度。有效类似度设定了从直方图的最大类似度到百分之几为止可视为类似的区域。有效类似度通过滑动条来设定。在输入字段827和828中分别设定最小尺寸和最大尺寸。最小尺寸被用于在检测到的矩形的大小小于其值的情况下从检测矩形候补中移除该矩形。最大尺寸被用于在检测到的矩形的大小大于其值的情况下从检测矩形候补中移除该矩形。

在运算方法选择下拉菜单829中，从逻辑或、逻辑与和加权加法中选择任一个运算方法。逻辑或和逻辑与分别是与前一执行顺序的搜索处理的检测区域的逻辑或和逻辑与。试行按钮830被用于指示搜索处理的试行，所述搜索处理使用了现在在参数值输入区域821中设定的搜索参数的值。在搜索结果显示区域822中描画了点击试行按钮830由此执行的搜索处理的结果。在该图中，与匹配图像重叠地显示搜索处理的结果所得的检测区域的信息。进而，在检测区域中显示了表示是检测区域的矩形、以及向检测区域赋予的号码。用户确认在搜索结果显示区域822中显示的搜索处理的结果，根据需要来变更搜索参数的值。决定按钮831被用于将各搜索参数的值决定为现在在参数值输入区域821中设定的值，指示搜索条件的设定结束。

接着，对场景执行装置1执行的各搜索功能的搜索处理进行说明。以下，以搜索部554进行搜索处理的情况为例进行说明，但是，在试行部523进行搜索处理的试行的情况下也同样地动作。

图21是示出使用了场景执行装置1的特征颜色搜索功能的搜索处理的流程图。读出部553取得通过图14所示的搜索条件设定画面700而设定的特征颜色搜索功能的搜索参数的值。搜索参数是输入图像、输出图像名、特征颜色、最小尺寸和最大尺寸。搜索部554判定在输入图像中是否存在搜索参数与特征颜色（即，由用户选择的颜色）一致的颜色的像素（步骤s1010）。搜索部554在判定为无的情况下（步骤s1010：否），结束处理。搜索部554在判定为有的情况下（步骤s1010：是），判定由检测到的像素构成的检测区域是否满足指定条件（步骤s1015）。指定条件是检测区域的大小为最小尺寸以上且最大尺寸以下这样的条件。搜索部554在判定为检测区域不满足指定条件的情况下（步骤s1015：否），结束处理。搜索部554在判定为检测区域满足指定条件的情况下（步骤s1015：是），将检测区域识别为满足搜索条件的检测区域（步骤s1020）。

图22是示出使用了场景执行装置1的图标判别功能的搜索处理的流程图。读出部553从搜索场景文件中取得匹配图像确定信息、以及通过图15所示的搜索条件设定画面720而设定的图标判别功能的搜索参数的值。搜索参数是输入图像和输出图像名。搜索部554将匹配图像确定信息所示的窗口画面作为对象窗口。搜索部554使对象窗口前置化（步骤s1110）。搜索部554取得输入画面所示的检测区域的坐标，计算包含所取得的检测区域的矩形的坐标。搜索部554从前置化的对象窗口中捕获所计算的坐标位置的矩形，其也包含四周的图像（步骤s1115）。接着，搜索部554对输入部3进行控制以使得将光标配置在对象窗口的所捕获的矩形的位置（步骤s1120）。搜索部554从对象窗口中捕获与步骤s1115相同的区域（步骤s1125）。搜索部554将在步骤s1115中捕获的图像和在步骤s1125中捕获的图像进行比较，判定颜色是否发生了变化（步骤s1130）。搜索部554在判定为颜色没有变化的情况下（步骤s1130：否），判定为所捕获的区域不是图标或ui，结束处理。另一方面，搜索部554在判定为颜色发生了变化的情况下（步骤s1130：是），将所捕获的区域识别为图标或ui（步骤s1135）。

图23是示出使用了场景执行装置1的矩形检测功能的搜索处理的流程图。读出部553取得通过图16所示的搜索条件设定画面740而设定的矩形检测功能的搜索参数的值。搜索参数是输入图像、输出图像名、最小尺寸和最大尺寸。搜索部554在使输入图像灰度化之后（步骤s1210），提取灰度化后的输入图像的边缘（步骤s1215）。搜索部554使用所提取的边缘来提取轮廓（步骤s1220），通过多段线来近似所提取的轮廓（步骤s1225）。

搜索部554判定通过多段线所近似的轮廓的大小是否满足指定条件（步骤s1230）。指定条件是区域的大小为搜索参数所示的最小尺寸以上且最大尺寸以下这样的条件。搜索部554在判定为不满足指定条件的情况下（步骤s1230：否），结束处理。搜索部554在判定为满足指定条件的情况下（步骤s1230：是），判定通过多段线所近似的轮廓的顶点的数量是否为4个（步骤s1235）。搜索部554在判定为轮廓的顶点的数量不是4个的情况下（步骤s1235：否），结束处理。搜索部554在判定为轮廓的顶点的数量是4个的情况下（步骤s1235：是），将通过多段线所近似的轮廓的区域识别为通过搜索处理检测到的矩形（步骤s1240）。

图24是示出使用了场景执行装置1的圆形检测功能的搜索处理的流程图。读出部553取得通过图17所示的搜索条件设定画面760而设定的圆形检测功能的搜索参数的值。搜索参数是输入图像、输出图像名、所检测的圆形的最小半径和所检测的圆形的最大半径的值。搜索部554在使输入图像灰度化之后（步骤s1310），估计圆形的参数，由此检测圆形（步骤s1315）。读出部553判定检测到的圆形的区域是否满足指定条件（步骤s1320）。指定条件是检测到的圆形的区域的半径为搜索参数所示的圆形的最小半径以上且最大半径以下这样的条件。搜索部554在判定为不满足指定条件的情况下（步骤s1320：否），结束处理。搜索部554在判定为满足指定条件的情况下（步骤s1320：是），将检测到的圆形的区域识别为通过搜索处理检测到的圆形（步骤s1325）。

图25是示出使用了场景执行装置1的圆形拟合功能的搜索处理的流程图。读出部553取得通过图18所示的搜索条件设定画面780而设定的圆形拟合功能的搜索参数的值。搜索参数是输入图像、输出图像名、容许圆度、最小尺寸和最大尺寸的值。搜索部554在使输入图像灰度化之后（步骤s1410），提取灰度化后的输入图像的边缘（步骤s1415）。搜索部554使用所提取的边缘来提取轮廓（步骤s1420）。搜索部554判定所提取的轮廓的大小是否在指定范围内（步骤s1425）。指定范围是搜索参数所示的最小尺寸以上且最大尺寸以下的范围。搜索部554在判定为不是指定范围内的情况下（步骤s1425：否），结束处理。搜索部554在判定为指定范围内的情况下（步骤s1425：是），针对指定范围内的大小的轮廓进行椭圆拟合（步骤s1430）。搜索部554判定通过椭圆拟合而估计的椭圆的圆度是否在由搜索参数示出的圆度所示的基准以内（步骤s1435）。搜索部554在判定为圆度不满足基准的情况下（步骤s1435：否），结束处理。搜索部554将经椭圆拟合的区域之中的判定为圆度在基准以内的区域（步骤s1435：是）识别为通过搜索处理检测到的圆形（步骤s1440）。

图26是示出使用了场景执行装置1的关注处提取功能的搜索处理的流程图。读出部553取得通过图19所示的搜索条件设定画面800而设定的关注处提取功能的搜索参数的值。搜索参数是输入图像、输出图像名、最小尺寸和最大尺寸的值。搜索部554从匹配图像制作显著图（步骤s1510）。显著图是指使人类在图像内着眼的区域数值化后的图。在显著图中，能够使用任意的图。作为显著图的计算模型的一例，存在使用亮度信息、颜色信息、梯度方向信息等的图。

搜索部554从显著图中提取输入图像所示的区域，将所提取的区域的显著性的数值扩展为256灰度（步骤s1515）。搜索部554通过判别分析法来对在步骤s1515中扩展为256灰度的显著图的显著性的数值进行二值化，由此分离为关注区域和非关注区域（步骤s1520）。搜索部554判定包围关注区域的矩形是否在指定范围内（步骤s1525）。指定范围是搜索参数所示的最小尺寸以上且最大尺寸以下的范围。例如，在目的图像是图标的情况下，大于指定范围的区域很可能不是图标的显示区域。搜索部554在判定为检测区域不是指定范围内的情况下（步骤s1525：否），结束处理。搜索部554在判定为检测区域为指定范围内的情况下（步骤s1525：是），将该检测区域识别为满足搜索条件的检测区域（步骤s1530）。

图27是示出使用了场景执行装置1的颜色直方图类似区域搜索功能的搜索处理的流程图。读出部553从搜索场景文件中，取得目的图像、以及通过图20所示的搜索条件设定画面820而设定的搜索参数的值。搜索参数是输入图像、输出图像名、有效类似度、最小尺寸和最大尺寸。搜索部554取得目的图像的颜色直方图（步骤s1610）。搜索部554以输入图像整体使区域移动，同时进行步骤s1615～步骤s1630的处理。区域的大小通过搜索参数所示的最小尺寸和最大尺寸来决定。首先，搜索部554计算输入图像中的现在的区域的颜色直方图（步骤s1615）。搜索部554计算在步骤s1610中计算的目的图像的颜色直方图与针对输入图像的区域在步骤s1620中计算出的颜色直方图的类似度（步骤s1620）。搜索部554判定所计算的类似度是否满足搜索参数所示的有效类似度（步骤s1625）。搜索部554在判定为不满足有效类似度的情况下（步骤s1625：否），使输入图像中的区域移动。另一方面，搜索部554在判定为满足有效类似度的情况下（步骤s1625：是），将输入图像上的现在的区域识别为检测区域（步骤s1630）。

根据上述实施方式，用户能够适应目的图像来组合搜索处理。利用该组合，场景执行装置1能够将在搜索场景的执行中途得到的搜索处理结果用作输入图像，继续后续的搜索处理。此外，用户能够在搜索处理的制作中途，确认搜索结果同时制作搜索场景。另外，用户能够针对计算量较小的搜索处理，通过滑动条来变更同时调整搜索参数的值。然后，用户能够针对计算量较大的搜索处理，通过使成为搜索对象的区域缩小到通过其他搜索处理进行了搜索的结果所得的区域，由此使场景执行装置1的处理高速化。

再有，在计算与稍前之外的搜索处理的输出图像的逻辑或、逻辑与或加权加法的情况下，在各搜索功能的搜索条件设定画面的参数值输入区域中，设置有输入计算与哪一个搜索处理的输出结果的逻辑或、逻辑与或加权加法的输入字段。

再有，上述的各搜索功能的搜索参数是一例，场景执行装置1可以使用其他搜索参数，作为上述的搜索参数的代替或附加。在各搜索功能的搜索条件设定画面中包含用于设定在该搜索功能中使用的各搜索参数的值的按钮、输入字段、滑动条、菜单等。

再有，在图14～图20所示的搜索条件设定画面的搜索结果显示区域中，显示在运算方法是逻辑或、或逻辑与的情况下作为搜索结果而得到的区域。在运算方法是加权加法的情况下，画面显示控制部522可以在搜索结果显示区域中与匹配图像重叠、重叠地显示规定以上得分的像素的区域。在该情况下，画面显示控制部522既可以通过与得分对应的颜色或粗细度的线来示出区域，也可以在该区域的附近显示得分，还可以显示向得分从高到低的顺序所赋予的号码。如以下那样计算匹配图像内的各像素的得分。

例如，在进行搜索处理r1、r2、r3的加权加法的情况下，用户向搜索处理r1分配权重w1，向搜索处理r2分配权重w2，向搜索处理r3分配权重w3。其中，w1+w2+w3=1。在该情况下，匹配图像内的某个像素x的得分例如通过w1×p1+w2×p2+w3×p3来计算。在此，pn（n=1，2，3）是0以上1以下的值。例如，可以假设，在包含于通过搜索处理rn检测到的区域中的情况下，pn=1，在不包含的情况下，pn=0。此外，在特征颜色搜索功能的情况下，可以根据与选择颜色的类似度，将pn的值设为0至1的值。此外，在圆形拟合功能的情况下，可以根据圆度，将pn的值设为0至1的值。此外，在关注处提取功能的情况下，可以根据在步骤s1510或步骤s1515中得到的显著图的值，将pn的值设为0至1的值。此外，在颜色直方图类似区域搜索功能的情况下，可以根据在步骤s1625中计算出的颜色直方图的类似度，将pn的值设为0至1的值。

再有，可以在构成一个搜索顺序的搜索处理的组合方法中，包含逻辑与和逻辑或中的一者或两者以及加权加法。在该情况下，场景执行装置1可以向在由逻辑与或逻辑或组合的最后搜索处理中检测到的区域内的像素，赋予1等规定得分。

像这样，场景执行装置1能够向与各搜索条件吻合的区域，赋予与该搜索条件（图像的特征）对应的分数（得分），基于这些分数的合计值来检测与目的图像类似的区域。由用户输入与各搜索条件对应地赋予的分数。场景执行装置1在搜索场景的执行结束时，既可以将分数的合计值最高的区域作为搜索结果信息，也可以将高于阈值的分数的区域作为搜索结果信息。像这样，通过对图像的特征进行数值化并评价，从而能够实现精度高的图像识别。

根据上述实施方式，能够根据目的图像在用户不进行编程的情况下制作搜索场景。因此，能够从匹配图像中检测与用户任意选择的目的图像类似或一致的区域。特别地，在编入到rpa的场景中来使用的情况下是有效的。再有，还能够将本实施方式中的图像处理装载于场景执行装置1以外的图像处理装置。在该情况下，图像处理装置具备存储部2、输入部3、显示部4、搜索场景制作部52和图像识别部550。

此外，在上述中，用户使用场景执行装置1来生成场景，但是，也可以使用与场景执行装置1不同的pc等场景制作装置（信息处理装置）来制作场景。

可以用计算机实现上述实施方式中的场景执行装置1的功能。在该情况下，可以将用于实现该功能的程序记录在计算机可读记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此实现。再有，在此所说的“计算机系统”包括os或周边设备等硬件。此外，“计算机可读记录介质”是指软盘、磁光盘、rom、cd-rom等可移动介质、内置在计算机系统中的硬盘等存储装置。进而，“计算机可读记录介质”还包括如经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间期间内动态地保持程序的介质、如成为该情况下的服务器或客户端的计算机系统内部的易失性存储器那样在一定时间内保持程序的介质。此外，上述程序既可以为用于实现前述功能的一部分的程序，进而也可以为能够通过与已经记录在计算机系统中的程序的组合来实现前述功能的程序。

根据以上说明的实施方式，图像处理装置具有搜索场景取得部和搜索部。图像处理装置例如是场景执行装置1。搜索场景取得部取得组合了一个以上搜索处理的搜索场景，所述搜索处理在搜索条件中使用基于成为搜索的目的的图像即目的图像的图像特征来搜索图像。例如，搜索处理的组合包含逻辑或、逻辑与、或者加权加法。搜索处理的组合还可以包含选择算法。此外，搜索条件是在目的图像中使用的颜色有关的特征、目的图像的形状有关的特征、匹配图像中的关注区域、或者基于用户接口的操作的变化。搜索部使用搜索场景取得部取得的搜索场景所示的搜索处理的组合来搜索进行搜索的对象的图像即匹配图像，输出搜索结果信息，所述搜索结果信息示出通过搜索而检测到的匹配图像中的区域。

图像处理装置还可以具备搜索场景制作部和试行部。搜索场景制作部利用用户的输入来制作搜索场景。试行部使用由搜索场景制作部制作中的搜索场景所示的搜索处理的组合来搜索由用户的输入所指定的匹配图像，输出搜索结果信息，所述搜索结果信息示出通过搜索而检测到的匹配图像中的区域。

以上，参照附图详述了本发明的实施方式，但是，具体的结构不限于该实施方式，还包括不脱离本发明的主旨的范围的设计等。

附图标记的说明

1…场景执行装置，2…存储部，3…输入部，4…显示部，5…处理部，51…场景制作部，52…搜索场景制作部，53…场景执行管理部，54…场景执行部，56…功能x执行部，56a…功能a执行部，56b…功能b执行部，56c…功能c执行部，511…制作信息接收部，512…画面显示控制部，513…场景注册部，521…制作信息接收部，522…画面显示控制部，523…试行部，524…搜索场景注册部，541…读出部，542…判断部，543…操作控制部，550…图像识别部，551…搜索场景取得部，552…图像取得部，553…读出部，554…搜索部。