信息处理装置、信息处理方法和程序与流程

本发明涉及信息处理装置、信息处理方法和存储介质。

背景技术：

传统上，在检查桥梁、堤坝、隧道等的混凝土壁面时，调查工程师靠近混凝土壁面并通过视觉检查来记录诸如裂纹等的缺陷。这种被称作近距离视觉检查的检查操作的作业成本是高的。为此，提出了根据通过拍摄混凝土表面所获得的图像而自动检测缺陷的方法。专利文献1公开了通过使用小波变换从混凝土壁面图像自动检测裂纹的技术。

此外，由于这种自动检测的精度不足，所以会发生错误检测和未检测。为此，调查工程师和/或调查负责人必须确认并适当校正指示自动检测结果的缺陷数据、和混凝土壁面图像。在进行相关的确认和校正时，为了同时浏览混凝土壁面图像和缺陷数据，通常使缺陷数据叠加显示在混凝土壁面图像上。

专利文献2公开了如下技术：为了判断从医学图像提取出的器官的轮廓线是否正确，基于用户的移动来指令操作，使轮廓线移动、变形并显示。

现有技术文献

专利文献

专利文献1：日本特开第2014-228357号公报

专利文献2：日本特开平第10-105678号公报

技术实现要素：

技术问题

然而，当缺陷数据叠加显示在图像上时，难以浏览与缺陷数据对应的部分的图像，从而存在难以判断缺陷数据是否正确的情况。可以通过使用专利文献2中公开的方法使缺陷数据移动和变形而便于浏览。然而，在专利文献2的方法中，用户必须手动调整轮廓线的移动和变形的参数。为此，用户每次都必须对正在显示着的图像调整便于浏览的适当的参数，这使用户的浏览操作复杂化。

鉴于如上所述的这种问题完成了本发明，本发明旨在提供在无需用户复杂操作的情况下，便于对图像中的缺陷数据(对象)和示出该对象的图像进行确认操作的用户界面。

问题的解决方案

因此，本发明提供一种信息处理装置，其特征在于，包括：获得单元，其被构造为获得包括多个对象的第一图像和与所述第一图像中的所述多个对象的各自位置相关的信息；以及确定单元，其被构造为基于所获得的所述多个对象的位置，确定在使指示所述多个对象的第二图像相对于所述第一图像移位显示的情况下的位置。

发明的有益效果

根据本发明，可以提供在无需用户复杂操作的情况下，便于对图像中的区域和与该区域对应的相关联数据进行确认操作的用户界面。

附图说明

图1a是示出信息处理装置的gui应用的窗口的显示例的图。

图1b是示出信息处理装置的gui应用的窗口的显示例的图。

图1c是示出信息处理装置的gui应用的窗口的显示例的图。

图1d是示出信息处理装置的gui应用的窗口的显示例的图。

图2是示出信息处理装置的硬件构造的图。

图3是示出信息处理装置的软件构造的图。

图4是用于解释缺陷数据的图。

图5是用于解释拍摄图像与缺陷数据之间的关系的图。

图6是示出显示处理的流程图。

图7a是用于解释对象缺陷数据的选择方法的另一示例的图。

图7b是用于解释对象缺陷数据的选择方法的另一示例的图。

图8是用于解释移位参数的图。

图9a是用于解释移位参数与移位成本(offsetcost)之间的关系的图。

图9b是用于解释移位参数与移位成本之间的关系的图。

图10是用于解释移位参数的确定方法的另一示例的图。

图11是示出显示窗口的示例的图。

图12是示出显示窗口的示例的图。

图13是用于解释移位参数的计算方法的图。

图14a是示出显示窗口的示例的图。

图14b是示出显示窗口的示例的图。

图15a是示出显示窗口的示例的图。

图15b是示出显示窗口的示例的图。

图16是示出显示窗口的示例的图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施方式。

(第一实施方式)

例如，为了支持诸如桥梁、堤坝、隧道等的混凝土结构的壁面等的检查和管理，根据第一实施方式的信息处理装置存储并显示壁面拍摄图像。另外，信息处理装置显示缺陷区域，该缺陷区域是在检查和管理时必须由管理者进行视觉确认的确认对象。

顺便提及，待管理的对象不限于混凝土结构的壁面。也就是，作为检查和管理的对象的另一示例，使用道路沥青。此外，待管理的缺陷区域是正在发生缺陷、即正在发生状态改变的区域。作为缺陷，存在混凝土结构中的裂纹、游离石灰析出、蜂窝、冷接缝，钢筋露出等。然而，缺陷不限于实施方式中描述的那些。此外，假定拍摄图像是可见光图像(rgb图像)，但是图像的类型不限于此。作为另一示例，拍摄图像可以是通过红外照相机拍摄的热图像、通过线传感器照相机拍摄的图像等。顺便提及，混凝土结构的壁面的拍摄图像是图像的示例。

图1a至图1d是示出信息处理装置的gui应用的窗口的显示例的图。将参照图1a至图1d描述根据本实施方式的信息处理装置的概要。在图1a所示的窗口100中，显示出了混凝土壁面的拍摄图像101，拍摄图像101包括裂纹缺陷区域102。

此外，在图1b所示的窗口110中，根据图1a的拍摄图像101通过自动检测处理而获得的缺陷数据111和112被可视化并被显示。这里，假定在拍摄图像101的与缺陷数据111对应的区域中实际上无变化，缺陷数据111是错误的检测结果。顺便提及，在本实施方式的图中，细线指示可以在混凝土壁面图像上观察到的实际裂纹，粗线指示在应用窗口中显示的变形数据。为了便于在纸上显示，用粗线代表缺陷数据，但是在实际的应用窗口上，优选通过使用诸如用颜色显示缺陷数据等的显示方法显示缺陷数据。

诸如缺陷管理者、数据输入人等的用户在视觉上观察缺陷数据并确认缺陷数据是否与拍摄图像的缺陷对应。此时，为了使用户同时浏览拍摄图像的缺陷和可视化的缺陷数据，优选使缺陷数据可视化并使可视化的缺陷数据叠加显示在拍摄图像上。在图1c所示的窗口120中，显示出了通过在图1a的拍摄图像(第一图像)101上叠加如下图像(第二图像)而获得的图像(第一显示模式)：在该图像中，缺陷数据111和112被可视化并指示出缺陷的位置。这里，由于与拍摄图像中的实际裂纹对应的缺陷区域102与缺陷数据111大致彼此交叠，所以用户难以确认拍摄图像中的裂纹区域。同样地，基于错误的检测结果难以浏览到拍摄图像的与缺陷数据112对应的区域。

在图1d所示的窗口130中，显示出了通过使缺陷数据111和112的显示位置按箭头131的方向移动，然后将这些数据叠加在拍摄图像101上而获得的图像(第二显示模式)。通过显示如图1d所示的数据，容易浏览到缺陷区域102、和缺陷数据112的图像部分。这样，移动缺陷数据并以叠加方式显示缺陷数据的移位显示是有效的显示方法。然而，当如图1d那样移动并显示缺陷数据时，必须通过根据拍摄图像和缺陷数据设定适当的移动方向和移动量(在图1d中为箭头131)来移动缺陷数据。另一方面，根据本实施方式的信息处理装置自动或半自动地确定缺陷数据的适当显示位置，并且显示缺陷数据叠加在该显示位置上的拍摄图像。

图2是示出根据第一实施方式的信息处理装置200的硬件构造的图。信息处理装置200包括cpu201、rom202、ram203、hdd204、显示单元205、输入单元206和通信单元207。cpu201读取存储在rom202中的控制程序并基于读取到的程序进行各种处理。ram203用作cpu201的诸如主存储器、工作区域等的临时存储区域。hdd204存储各种数据、各种程序等。当cpu201读取存储在rom202或hdd204中的程序并执行读取的程序时，实现信息处理装置200的稍后描述的功能和处理。显示单元205显示各种信息。输入单元206包括键盘和鼠标，并且接受用户的各种操作。作为其他示例，输入单元206可以是手写板设备，显示单元205和输入单元206可以组合为平板设备。

图3是示出信息处理装置200的软件构造的图。信息处理装置200包括拍摄图像存储部301、缺陷数据存储部302、接受部303、检测部304、数据管理部305、显示控制部306、选择部307、确定部308。拍摄图像存储部301存储拍摄图像。在本实施方式中，假定拍摄图像是正对混凝土壁面的正对图像，即沿作为拍摄方向的垂直于混凝土壁面的方向拍摄的图像。取决于结构的拍摄时的位置和方位，通常无法拍摄正对混凝土壁面的图像。在这种情况下，信息处理装置200通过对图像的几何变换处理产生正对图像并将该正对图像作为拍摄图像存储在拍摄图像存储部301中。

缺陷数据存储部302存储缺陷数据。如图4所示，缺陷数据存储部302相关联地存储id、缺陷类型和显示位置。这里，id是缺陷数据的识别信息。缺陷类型是指示包括裂纹、析出物等的缺陷类型的信息。坐标是用于识别拍摄图像(在该拍摄图像中检测缺陷)上的位置的信息，具体地，坐标是拍摄图像的坐标系中的坐标值。

对于裂纹缺陷，记录从(xc001_1，yc001_1)到(xc001_n，yc001_n)的n个点的二维坐标的值。顺便提及，坐标值不限于拍摄图像的坐标系中的坐标，而可以是结构所在的真实空间的坐标系中的值。此外，作为备注，还存储裂纹的粗细的信息作为包括在缺陷类型中的裂纹缺陷数据。

id＝e00与析出物的缺陷对应。与裂纹不同，析出物是具有区域的缺陷。因此，将从(xe001_1，ye001_1)到(xe001_q，ye001_q)的坐标记录为显示位置，缺陷数据的范围是由这些坐标围成的范围(图5的e001的范围)。

接下来，参照图5，将描述拍摄图像与缺陷数据之间的关系。拍摄图像是高分辨率图像，以观察诸如裂纹等的微小缺陷。因此，特定结构的整个拍摄图像通常是具有非常大的数据大小的图像。图5所示的拍摄图像500是结构的壁面的大图像(例如，100,000×100,000像素或更大的图像)，并且具有x轴和y轴的图像坐标系。即使浏览整个如此大的拍摄图像500，也难以确认混凝土壁面上的微细缺陷。因此，通常，放大浏览拍摄图像500的一部分。

例如，图5中的窗口510是仅显示拍摄图像500的一部分的应用软件。在窗口510中，放大显示拍摄图像500的一部分，并且与此相对应地，也放大显示叠加在缺陷区域上的缺陷数据c002。因此，用户可以确认详细状态。通常，在确认缺陷时，用户以这种方式放大浏览混凝土壁面图像的任意部分。在用户的确认操作期间，信息处理装置200使拍摄图像的局部区域在窗口中放大显示。

用由从(xc001_1，yc001_1)到(xc001_n，yc001_n)等的n个点(在图中为六个点)的坐标值确定的折线代表图5所示的裂纹c001。如刚描述过的，在本实施方式中，假定用折线代表裂纹缺陷数据。顺便提及，可以用粗细与裂纹粗细对应的线，或者可以用颜色与裂纹粗细对应的线代表裂纹缺陷数据。缺陷数据不限于用折线代表，而可以用曲线代表。当用曲线代表缺陷数据时，虽然可以进行详细的图像表现，但是数据容量会增加。

返回图3，接受部303接受拍摄图像的输入并将拍摄图像存储在拍摄图像存储部301中。顺便提及，拍摄图像可以经由网络等从外部设备输入，并且作为另一示例，信息处理装置200可以包括拍摄单元(未示出)，并且拍摄图像可以从拍摄单元输入。

检测部304从拍摄图像自动检测缺陷区域。虽然缺陷区域的自动检测方法没有特别限制，但是例如可以使用专利文献1中描述的传统技术。此外，作为自动检测方法的另一示例，还可以使用从缺陷图像预先学习缺陷的特征并基于这种学习结果检测缺陷的方法。作为基于学习的、缺陷的自动检测方法，例如可以参照以下文献。

zhang,wenyu,etal.“automaticcrackdetectionandclassificationmethodforsubwaytunnelsafetymonitoring”sensors14.10(2014):19307-19328

基于检测部304的检测结果，数据管理部305将与缺陷区域相关的信息作为缺陷数据记录在缺陷数据存储部302中。更具体地，数据管理部305为缺陷数据分配新的id，并且将该新的id记录在缺陷数据存储部302中。此外，数据管理部305基于检测到的缺陷的形状识别缺陷类型，并且将所识别的缺陷数据与该新的id相关联地记录在缺陷数据存储部302中。数据管理部305还识别缺陷区域在拍摄图像中的位置，并且将所识别的位置与该新的id相关联地记录在缺陷数据存储部302中。

作为另一示例，可以根据用户的操作输入来识别缺陷区域。在这种情况下，信息处理装置200记录与用户操作相对应的缺陷数据。更具体地，显示单元205显示拍摄图像。然后，用户在视觉上确认诸如裂纹等的缺陷的位置，并且通过经由输入单元206指定拍摄图像上的位置来指定缺陷区域。然后，数据管理部305将与由用户指定的缺陷区域相关的信息作为缺陷数据记录在缺陷数据存储部302中。顺便提及，缺陷数据存储部302仅须存储缺陷数据，并且缺陷数据的生成方法不限于实施方式中描述的方法。缺陷数据存储部302可以存储分别通过诸如自动检测、用户输入等的不同方法获得的多个缺陷数据。

用户进行确认这些缺陷数据是否正确的操作。例如，用户在输入缺陷数据之后必须确认输入结果是否正确，或者在缺陷的自动检测处理之后必须确认自动检测结果是否正确。此外，存在即使在缺陷数据的输入操作期间，也期望确认由用户他/她自己输入的缺陷数据的情况。在这种情况下，基于已输入的缺陷数据，可以进行稍后描述的处理以产生显示图像并将该显示图像呈现给用户。在这种情况下，当用户指令显示改变时，信息处理装置200基于已输入的缺陷数据计算显示参数，并且进行用于浏览拍摄图像和缺陷数据的显示。

显示控制部306控制显示单元205上的图像显示。选择部307从叠加显示在拍摄图像上的多个缺陷数据中选择至少一条缺陷数据。由选择部307选择的缺陷数据是在缺陷数据的显示参数的计算处理时待参照的缺陷数据。以下，将由选择部307选择的缺陷数据称作对象缺陷数据。这里，对象缺陷数据是对象数据和对象相关数据的示例。此外，将正在拍摄图像上显示着的且为除了对象缺陷数据以外的缺陷数据(即，除了对象数据以外的相关数据)的缺陷数据称作其他缺陷数据(其他相关数据)。顺便提及，对象缺陷数据是待处理的对象数据的示例。确定部308基于对象缺陷数据计算显示参数。

图6是示出信息处理装置200的显示处理的流程图。顺便提及，作为该处理的前提，假定拍摄图像存储在拍摄图像存储部301中，并且与拍摄图像对应的缺陷数据存储在缺陷数据存储部302中。在s601中，显示控制部306从拍摄图像存储部301读取拍摄图像。另外，显示控制部306从缺陷数据存储部302读取缺陷数据。接着，在s602中，显示控制部306基于缺陷数据在拍摄图像的缺陷区域上叠加显示相应的缺陷数据。更具体地，显示控制部306将缺陷数据叠加在缺陷数据的坐标的位置上。此时，在显示单元205上显示的缺陷数据例如如图1b所示那样叠加在缺陷区域上。为此，拍摄图像的缺陷区域处于难以看到的状态。

接着，在s603中，cpu201响应于输入单元206上的用户操作确认是否接受到显示改变命令。该处理是改变命令的接受处理的示例。在接受到显示改变命令的情况下(在s603中为“是”)，cpu201使处理进展到s604。在未接受到显示改变命令的情况下(在s603中为“否”)，cpu201继续显示状态。在s604中，选择部307基于用户的浏览状态或用户指令从多个缺陷数据当中选择对象缺陷数据。在s605中，确定部308确定移位参数。这里，移位参数是显示参数的示例，并且是指示在移动缺陷数据的显示位置时的移动方向和移动量的值。

接着，在s606中，显示控制部306进行控制，以使缺陷数据移动到由移位参数确定的拍摄图像的显示位置，并且叠加显示移动后的缺陷数据。当显示多个缺陷数据时，显示控制部306进行控制，以使多个缺陷数据中的各个缺陷数据移动、并叠加显示。该处理是显示控制处理的示例。接着，在s607中，cpu201响应于输入单元206上的用户操作确认是否接受到显示改变结束命令。在接受到显示改变结束命令的情况下(在s607中为“是”)，cpu201使处理进展到s608。在未接受到显示改变结束命令的情况下(在s607中为“否”)，cpu201继续显示状态。

在s608中，显示控制部306使缺陷数据的显示位置返回到移动前的显示位置。接着，在s609中，cpu201响应于输入单元206上的用户操作确认是否接受到显示结束命令。在接受到显示结束命令的情况下(在s609中为“是”)，cpu201结束显示处理。在未接受到显示结束命令的情况下(在s609中为“否”)，cpu201使处理进展到s603。

以下，将描述显示处理的细节。在s603中接受到的显示改变命令和在s607中接受到的显示改变结束命令可以分别是按下预定键的用户操作和释放处于按下状态的预定键的用户操作。作为另一示例，当用户按下键一次时，cpu201可以接受到显示改变命令，当用户再次按下键时，cpu201可以接受到显示改变结束命令。

用于输入各个命令的用户操作不限于实施方式中描述的用户操作。作为另一示例，当代替键而利用鼠标等点击预定gui上的图标时，cpu201可以接受到显示改变命令。此外，用户可以通过点击或鼠标悬停指定期望详细浏览的缺陷数据。在这种情况下，cpu201接受到显示改变命令(包括缺陷数据的指定)，并且在s604中，选择部307选择与指定相关的缺陷数据作为对象缺陷数据。

接下来，将描述s604中的该缺陷数据选择处理。例如，如图5所示，拍摄图像上叠加有多个缺陷数据。如果考虑所有这些缺陷数据来设定移位参数，则不一定获得适于用户注意的缺陷数据的显示。因此，在s604中，从多个缺陷数据中，选择在确定移位参数时待使用的缺陷数据作为对象缺陷数据。

选择部307例如基于在输入显示改变命令时的用户的浏览状态来选择对象缺陷数据。如参照图5所述，在拍摄图像500中，用户正在浏览缺陷数据c002。在这种情况下，选择部307选择缺陷数据c002作为对象缺陷数据。即，选择部307选择正在显示着的缺陷数据作为对象缺陷数据。像这样，通过根据用户的浏览状态选择对象缺陷数据，可以确定与对象缺陷数据相对应的移位参数。

对象缺陷数据的选择方法不限于以上，可以使用其他方法。图7a和图7b是用于解释对象缺陷数据的选择方法的其他示例的图。在图7a的窗口710和图7b的窗口720的各者中，显示出了混凝土壁面的拍摄图像。在图7a的窗口710所示的拍摄图像中，存在裂纹712、713和714。针对于该图像，选择部307可以基于正在显示着的拍摄图像与各个缺陷数据的显示位置之间的关系选择对象缺陷数据。例如，选择部307根据窗口710的中心与显示位置之间的距离选择对象缺陷数据。在图7a的示例中，选择显示位置与中心区域715交叠的裂纹缺陷数据712和713作为对象缺陷数据，而不选择缺陷数据714。

考虑到用户倾向于将用户特别注意的缺陷数据和缺陷区域布置在窗口的中心并浏览它们。因此，假定像这样选择存在于正在显示着的拍摄图像的中心附近的缺陷数据。因而，可以选择用户特别注意的缺陷数据作为对象缺陷数据。

作为另一示例，信息处理装置200还可以包括照相机(未示出)，选择部307可以根据拍摄图像获得用户的注视方向并选择显示在注视方向前方的缺陷数据作为对象缺陷数据。

作为另一示例，选择部307可以响应于用户操作而选择对象缺陷数据。在用户通过使用鼠标光标选择了缺陷数据的情况下，选择部307选择所选择的缺陷数据作为对象缺陷数据。另外，如上所述，在用户选择(点击)了缺陷数据或对缺陷数据进行了鼠标悬停的情况下，信息处理装置200可以接受到显示改变命令并进而选择所选择的缺陷数据作为对象缺陷数据。

此外，对象数据的数量不限于一个。例如，选择部307可以选择在显示单元205上显示的所有多个缺陷数据作为对象缺陷数据。在用户通过范围指定而选择了多个缺陷数据的情况下，可以选择所有所选择的缺陷数据作为对象缺陷数据。

作为另一示例，响应于用户的缺陷数据选择，选择部307还可以选择与所选择的缺陷数据相关的其他缺陷数据作为对象缺陷数据。例如，选择部307选择与所选择的缺陷数据和相邻缺陷数据交叠的缺陷数据作为对象缺陷数据。在图7b的窗口720所示的拍摄图像中，存在裂纹722、723和724以及析出物725。这里，假定用户选择裂纹722。在这种情况下，除了裂纹722以外，选择部307选择与裂纹722交叠的析出物725的缺陷数据作为对象缺陷数据。此外，当用户选择析出物缺陷数据725时，选择部307不仅选择缺陷数据725，而且还选择与缺陷数据725交叠的裂纹缺陷数据722和723作为对象缺陷数据。

作为另一示例，考虑到与由用户选择的缺陷数据的连续性，选择部307还可以选择其他缺陷数据作为对象缺陷数据。例如，在图7b的示例中，由于裂纹缺陷数据722和723的各自的端点彼此接近并且裂纹缺陷数据722和723的各自的方向彼此相似，所以存在裂纹缺陷数据722和723实际上是连续裂纹的可能性。在存在相邻裂纹的这种情况下，当用户选择裂纹缺陷数据722时，选择部307不仅选择裂纹缺陷数据722，而且还选择缺陷数据723作为对象缺陷数据。

接下来，将描述s605中的移位参数确定处理。移位参数p是缺陷数据在拍摄图像的平面内移动的参数，并且被定义为式1。

[数1]

图8是用于解释移位参数p的图。如果假定在图8中由虚线指示的缺陷数据800的显示位置是a，缺陷数据800的移动目的地的位置是b，则可以通过从位置a起的移动量r和移动方向θ识别位置b。确定部308基于移位参数p计算移位成本cn(p)，以获得适当的移位参数(可以使用户在比较拍摄图像和缺陷数据的同时容易浏览拍摄图像和缺陷数据的移位)。然后，确定部308根据式2获得使移位成本最小化的移位参数p。

[数2]

移位成本cn(p)包括下述的几种不同标准的移位成本。这里，wn是适用于各种移位成本的权重。以下，在本实施方式中，作为移位成本cn(p)的示例，将描述三种移位。然而，移位成本计算方法不限于此，可以使用其他方法。

首先，将描述第一移位成本c1(p)。将第一移位成本c1(p)定义为与对象缺陷数据的初始位置的交叠成本。移动对象缺陷数据的显示位置的原因是为了便于浏览被对象缺陷数据叠加的区域的拍摄图像。因此，当使对象缺陷数据从对象缺陷数据的初始位置移动时，将对象缺陷数据移动到作为与对象缺陷数据对应的缺陷区域的目的地，或者移动到作为与其他缺陷数据对应的缺陷区域的目的地不是优选的。因此，当将对象缺陷数据移动了移位参数p那么多时，将移位成本c1(p)设定为跟移动后的显示位置与移动前的显示位置之间的交叠像素数成比例的值。

图9a和图9b均是用于解释移位参数p与移位成本c1(p)之间的关系的图。首先，在图9a和图9b的各者中，由虚线指示的位置901和902是与缺陷区域对应的显示位置。另一方面，在图9a中由实线指示的位置911和912是与对象缺陷数据的移位参数p1相对应的移动后的位置。同样地，在图9b中由实线指示的位置921和922是与移位参数p2相对应的移动后的位置。在图9a和图9b的各者中，移位成本c1(p)是与布置在移动后的位置处的对象缺陷数据与缺陷区域之间的交叠像素数成比例的值。

在图9a和图9b的示例中，图9b的位置921和922的交叠像素数大于图9a的位置911和912的交叠像素数。因此，如果假定与图9a的示例对应的移位成本和与图9b的示例对应的移位成本分别是c1(p1)和c1(p2)，则得到关系c1(p1)<c1(p2)。即，可以理解，图8的位置a处的移位参数p1是期望的参数，从而如式(2)所示，最终选择用于降低移位成本的移位参数p1。

接下来，将描述第二移位成本c2(p)。第二移位成本c2(p)是基于位于缺陷数据的移动后的位置处的图像边缘的位置而计算出的值，并且随着与边缘部分的交叠变大而变大。存在混凝土壁面的拍摄图像的图像边缘部分是诸如裂纹、析出物等的缺陷的可能性。因此，像这样的图像边缘部分是用户想要观察的图像部分的可能性高，从而优选的是，相关图像边缘部分不被缺陷数据叠加。

为了计算移位成本c2(p)，首先必须识别拍摄图像的边缘像素。为此，信息处理装置200首先对拍摄图像进行边缘检测处理。对于边缘检测方法，可以使用诸如sobel滤波、canny等的已知方法。确定部308将与边缘像素交叠的交叠像素数和移动了移位参数p的缺陷数据成比例的值设定为移位成本c2(p)的输出值。

接下来，将描述第三移位成本c3(p)。根据距与缺陷数据对应的缺陷区域的距离来计算第三移位成本c3(p)。当缺陷数据的移动量r小时，存在与缺陷区域的交叠无法消除的情况。另一方面，当移动量r过大时，难以理解缺陷区域与缺陷数据之间的对应关系，从而难以比较这些图像。移位成本c3(p)是用于将缺陷数据的移动量调整到预定范围内的成本。

例如通过式3可以计算出移位成本c3(p)。

[数3]

c3(p)＝(r-β)²…式3

在式3中，β是标准移动量并作为常数给出。这里，可以以任意方式设定β。例如，确定部308可以根据拍摄图像和缺陷数据的在浏览时的分辨率(显示倍率)来确定该量。更具体地，确定部308可以在以放大的方式显示时将β设定为相对大的值，并且可以在以缩小的方式显示时将β设定为相对小的值。

作为另一示例，确定部308可以为了简化计算而从预定移位参数p中选择最佳的移位参数p作为移位参数p。例如，如图10所示，在hdd204等中预设有m个移位参数p1至pm，确定部308从m个移位参数当中获得用于使式2最小化的移位参数p。

在移位参数c1(p)和c2(p)中，获得移位参数p的移动量r和移动方向θ。作为另一示例，确定部308可以在将这些移动量和移动方向中的一者设定为固定值的同时计算移位参数。例如，确定部308可以在始终使移动方向θ固定的同时以优化移动量r的方式获得移位参数p。此外，用户可以指定移动方向θ，并且确定部308可以相对于由用户指定的移动方向θ仅计算移动量r。相反地，用户可以指定移动量，并且确定部308可以相对于由用户指定的移动量r仅计算移动方向θ。

接下来，将描述s606中的对象缺陷数据的显示位置改变处理。在s606中，显示控制部306将缺陷数据移动到由在s605中确定的移位参数所确定的显示位置。在本实施方式中，显示控制部306移动正在显示着的所有缺陷数据。

作为另一示例，显示控制部306可以仅移动对象缺陷数据。此外，作为另一示例，显示控制部306可以通过根据移位参数p移动拍摄图像而不移动缺陷数据来改变拍摄图像与缺陷数据之间的位置关系。

所产生的显示图像显示在显示单元205上。图11是示出显示图像显示在应用窗口1100上的示例的图。与图1c相比，图11的缺陷数据111和112处于与移位参数p相对应的移位显示状态。结果，缺陷区域102的在简单交叠显示(图1c)中难以确认的部分处于容易浏览的状态。因此，用户可以比较并确认混凝土壁面的拍摄图像的缺陷区域102和相应的缺陷数据111。另外，用户可以比较并确认拍摄图像的与缺陷数据112(缺陷数据112与错误检测对应)对应的区域和缺陷数据112。

另外，显示控制部306可以一起显示缺陷数据和诸如移位参数等的信息。在图11的示例中，分别用箭头1110的长度和方向指示移动量和移动方向。显示控制部306还可以显示指示缺陷数据和所移位显示的缺陷数据的初始位置之间的对应关系的信息。在图11的示例中，用小箭头1111指示与所移位显示的缺陷数据的初始位置的关系。此外，如图11所示，显示控制部306可以显示指示移位量的数值“5个像素”。作为另一示例，显示控制部306可以用亮度或颜色代表移动量的大小。

如上所述，根据本实施方式的信息处理装置200从缺陷数据中选择对象缺陷数据、基于对象缺陷数据确定对象缺陷数据的移动后的显示位置并使对象缺陷数据移动到所确定的显示位置和进行显示。因而，用户可以比较并确认缺陷区域和相应的缺陷数据。换言之，信息处理装置200能够提供在无需用户复杂操作的情况下，便于对图像中的缺陷(对象)和示出缺陷(对象)的图像进行确认操作的用户界面。

作为第一实施方式的第一变型例，信息处理装置200不仅能够对拍摄图像的缺陷区域和相应的缺陷数据进行与实施方式相关的处理，而且还能够对拍摄图像的预定区域和与该预定区域相关的相关数据进行与实施方式相关的处理。

此外，作为第二变型例，信息处理装置200可以通过参照多个移位参数p切换并显示缺陷数据的显示位置。例如，确定部308计算图10所示的m个移位参数候选中的各个移位参数候选的移位成本。然后，按照成本的降序排列成本等于或小于预定值的移位参数。然后，显示控制部306首先基于具有最低成本的移位参数确定显示位置，并且进行控制以在所确定的显示位置处显示布置有缺陷数据的图像。

这里，当从用户接受到移位显示改变指令时，显示控制部306基于第二移位参数确定显示位置，并且进行控制以在该所确定的显示位置处显示布置有缺陷数据的图像。如刚描述过的，显示控制部306可以在每次从用户接受到指令时通过按排列顺序改变移位参数来改变缺陷数据的显示位置。因而，用户能够使缺陷数据显示在期望的位置处。

此外，作为第三变型例，当选择了多个对象缺陷数据时，信息处理装置200可以单独计算各对象缺陷数据的移位参数。然后，信息处理装置200可以通过使用与各缺陷数据对应的移位参数确定缺陷数据的移动后的显示位置。图12的窗口1200中的缺陷数据111和112分别基于适当的移位参数而移动。这是如下情况：例如归因于混凝土壁面的拍摄图像的图像边缘的影响等，为缺陷数据112计算与缺陷数据111相反的方向上的移位参数。

此外，作为第四变型例，确定部308可以响应于用户操作而校正自动计算的移位参数。显示控制部306在gui上的字段中显示自动计算的移位参数的移动量r和移动方向θ。期望利用与自动计算的移位参数不同的移位参数来显示缺陷数据的用户为了改变字段中显示的移动量r和移动方向θ的值而进行输入。因而，用户可以通过校正自动计算的移位参数来进行浏览。另外，与由用户对移位参数进行校正相关的处理不限于对gui字段的数值输入。作为另一示例，显示控制部306可以在gui条中显示参数，使得用户可以通过移动该条来校正参数。

(第二实施方式)

接下来，将描述根据第二实施方式的信息处理装置200。根据第二实施方式的信息处理装置200获得对象缺陷数据的主线方向，并且基于所获得的主线方向计算移位参数。以下，将以裂纹为例描述该操作。顺便提及，根据第二实施方式的信息处理装置200通过使移动量r固定并获得移动方向θ来确定移位参数p。

图13是用于解释在选择了裂纹对象缺陷数据1300的情况下移位参数p的计算方法的图。首先，确定部308计算对象缺陷数据1300的主线方向。在图13中，用虚线1301指示对象缺陷数据1300的主线方向。尽管主线方向1301可以以任意方式计算，但是例如可以通过连接对象缺陷数据1300的起点和终点而简单地获得该方向。

然后，确定部308获得与主线方向1301正交的方向作为移动方向θ。对于裂纹1300，获得两个移动方向，并且与这些方向对应地，如图13所示计算移位参数p3和p4。

随后，显示控制部306进行控制，以产生缺陷数据移动了移位参数中的一个移位参数的图像并在显示单元205上显示所产生的图像。然后，当用户输入移位参数的改变时，显示控制部306进行控制，以产生缺陷数据移动了另一个移位参数的图像并显示所产生的图像。

顺便提及，根据第二实施方式的信息处理装置200的其他构成、构造和处理与根据第一实施方式的信息处理装置200的其他构成、构造和处理类似。如刚描述过的，根据本实施方式的信息处理装置200能够根据缺陷的主线方向确定移位参数。因此，可以使缺陷数据显示在适当的位置处。

作为第二实施方式的变型例，可以选择多个缺陷数据作为对象缺陷数据。在这种情况下，确定部308计算多个对象缺陷数据(裂纹)中的各个对象缺陷数据(裂纹)的主线方向。然后，确定部308确定以与从多个主线方向中获得的统计主线方向正交的方向作为移动方向θ的移位参数p。这里，统计主线方向是例如通过取多个主线方向的平均值或中央值而获得的方向。

(第三实施方式)

接下来，将描述根据第三实施方式的信息处理装置200。根据第三实施方式的信息处理装置200基于缺陷数据的属性自动地选择对象缺陷数据。所参照的缺陷数据的属性如下。首先，假定缺陷是裂纹，并且各个裂纹具有如图4所示的裂纹粗细属性信息。在这种情况下，选择部307参照粗细属性，并且因以下原因而选择相对细的裂纹作为对象缺陷数据。即，因为难以判断细裂纹是否是裂纹，所以针对细裂纹很可能发生输入操作者错误和自动检测错误。因此，细裂纹是应当详细确认的缺陷。

另外，通常难以判断与析出物等交叠的裂纹是否是裂纹。因此，确定部308参照指示裂纹是否与析出物交叠的属性信息，并且选择具有交叠的裂纹作为对象缺陷数据。在这种情况下，假定在缺陷数据存储部302中存储有指示裂纹是否与析出物交叠的属性信息作为缺陷数据。

此外，检测部304可以自动地检测缺陷数据并进而获得指示检测结果的可靠性的分数。此外，选择部307可以选择与诸如小于阈值的分数等的相对低的分数的缺陷区域对应的缺陷数据作为对象缺陷数据。当可靠性分数低时，用户确认自动检测结果是优选的。通过选择相应的缺陷数据作为对象缺陷数据，可以优先进行详细确认。

顺便提及，根据第三实施方式的信息处理装置200的其他构成、构造和处理与根据其他实施方式的信息处理装置200的其他构成、构造和处理类似。在根据第三实施方式的信息处理装置200中，可以在无需用户操作的情况下选择适当的缺陷区域。

作为第三实施方式的变型例，选择部307可以确定在根据用户的浏览状态选择对象缺陷数据时所要参照的属性信息。例如，选择部307在拍摄图像正在被以高分辨率(放大的尺寸)浏览时选择裂纹缺陷数据，而在拍摄图像正在被以低分辨率(缩小的尺寸)浏览时选择具有析出物等的区域的缺陷数据。当拍摄图像正在被以高分辨率浏览时，很可能的是，用户正在确认诸如裂纹的微细缺陷。相比地，当拍摄图像正在被以低分辨率浏览时，由于正在浏览宽的区域，所以很可能的是，用户正在确认诸如析出物等的扩散缺陷。在这种情形下，可以根据用户的浏览状态改变待选择的对象数据。

(第四实施方式)

接下来，将描述根据第四实施方式的信息处理装置200。在第四实施方式中，作为除了移位参数以外的显示参数的示例，将描述透明度α。显示控制部306计算透明度α作为显示参数，并且改变位于对象缺陷数据周围的缺陷数据的透明度。因而，用户可以更容易浏览对象缺陷数据。这里，显示参数是用于使对象缺陷数据的显示形式与其他缺陷数据的显示形式不同的参数。

图14a和图14b是用于解释本实施方式的图。图14a是示出多个缺陷数据彼此接近显示，即裂纹缺陷数据1401、1402和1403以及析出物缺陷数据1404彼此接近显示的示例。这里，假定通过用户的选择等选择缺陷数据1401作为对象缺陷数据。在这方面，显示控制部306设定除了对象缺陷数据以外的缺陷数据(即，其他缺陷数据)的透明度α的显示参数。假定透明度α是由用户通过数值输入而设定的，或者由用户通过gui上的参数条而输入的。透明度α是指示透明显示的程度的值，并且是具有0％至100％的值的参数。显示控制部306将其他缺陷数据的透明度α设定为预设值(例如，50％)。因而，可以产生其他缺陷数据被透过的显示图像。

图14b是示出通过如上所述的处理，使除了对象缺陷数据1411以外的缺陷数据以透明状态显示的状态的图。用虚线指示的其他缺陷数据1412、1413和1414指示这些其他缺陷数据以透明状态显示。通过以这种方式进行显示，能够使用户仅详细确认对象缺陷数据1411。特别地，对象缺陷数据1411与其他缺陷数据(析出物)1414交叠。因此，通过使其他缺陷数据1414的显示可透过，可以详细确认交叠部分。

此外，显示控制部306可以根据对象缺陷数据与其他缺陷数据之间的距离设定透明度α。例如，显示控制部306随着距对象缺陷数据的距离越近而设定越高的透明度。因而，显示控制部306能够产生如下显示图像：在该显示图像中，位于对象缺陷数据附近的其他缺陷数据是透明(非显示)的，并且该其他缺陷数据在其向周边远离时能够显示出来。结果，用户能够容易浏览对象缺陷数据并能够确认周围的缺陷数据。顺便提及，根据第四实施方式的信息处理装置200的其他构成、构造和处理与根据其他实施方式的信息处理装置200的其他构成、构造和处理类似。如刚描述过的，根据第四实施方式的信息处理装置200能够通过提高其他缺陷数据的透明度改善对象缺陷数据的可见性。

作为第四实施方式的第一变型例，显示控制部306可以改变对象缺陷数据的透明度，而不改变其他缺陷数据的透明度。如刚描述过的，可以使对象缺陷数据的透明度与其他缺陷数据的透明度不同。作为另一示例，显示控制部306可以根据用户指令选择是否将透明对象改变为对象缺陷数据或其他缺陷数据。

如上所述，在第四实施方式中，描述了使用透明度α作为除了移位参数以外的显示参数的示例。作为第二变型例，除了移位参数以外的显示参数不限于透明度α，并且可以使用其他参数。例如，信息处理装置200可以改变模糊强度σ作为显示参数。模糊强度σ是指示gaussian滤波的宽度的参数，并且当设定较大的值时，能够产生模糊图像。随着距对象缺陷数据的距离越近，显示控制部306对其他缺陷数据的模糊强度σ设定越大的值。因而，可以产生使其他缺陷数据模糊的显示图像。

(第五实施方式)

接下来，将描述根据第五实施方式的信息处理装置200。在根据第五实施方式的信息处理装置200中，确定部308首先计算移位参数p。此时，存在移位参数p的移动量r变成小的值的情况。当移动量r是小的值时，缺陷数据几乎不从其初始位置移动。因此，难以浏览被缺陷数据叠加的区域的拍摄图像。在这种情形下，在本实施方式中，当移动量r等于或小于阈值时，显示控制部306改变对象缺陷数据的透明度α。

例如，显示控制部306随着移动量r越小而为对象缺陷数据设定越高的透明度α。随着移动量r越小而设定越高的透明度α的原因是为了便于浏览被对象缺陷数据叠加的区域的拍摄图像。因而，对象缺陷数据与移位参数p相对应地稍微移动，并且与透明度α相对应以透明状态显示。因而，即使当从初始位置起的移动量小时，也可以便于浏览被对象缺陷数据叠加的区域的拍摄图像。

顺便提及，根据第五实施方式的信息处理装置200的其他构成、构造和处理与根据其他实施方式的信息处理装置200的其他构成、构造和处理类似。如刚描述过的，根据第五实施方式的信息处理装置200在改变移位参数的同时改变对象缺陷数据的透明度，从而可以便于浏览被对象缺陷数据叠加的区域的拍摄图像。

作为第五实施方式的变型例，显示参数不限于透明度α。另一示例是模糊强度σ。作为另一显示参数，显示控制部306可以使用周期性地显现(on)和遮蔽(off)对象显示图像的周期显示标志。在这种情况下，当计算移动量r小的移位参数时，显示控制部306将对象缺陷数据的周期显示设定为显现，并且进行控制以使对象缺陷数据闪烁显示。因而，即使当移动量r小时，也可以便于浏览被对象缺陷数据叠加的区域的拍摄图像。

(第六实施方式)

接下来，将描述根据第六实施方式的信息处理装置200。根据第六实施方式的信息处理装置200使不同来源的多个缺陷数据在缺陷区域附近排布显示(arrangeanddisplay)。图15a和图15b是示出使分别在不同时间产生的缺陷数据排布移位显示的示例的图。例如，假定存储的是对象结构的混凝土壁面的与2012年、2014年和2016年的两年一次的检测结果对应的缺陷数据。为了确认结构的老化缺陷，如上所述地记录不同时间的缺陷数据。像这样，假定将这种不同来源的缺陷数据存储在缺陷数据存储部302中。

在图15a中，首先，使与在2016年记录的缺陷数据对应的缺陷数据1510叠加显示在混凝土壁面图像的缺陷区域1500上。图15b示出了在图15a中选择了缺陷数据1510作为对象缺陷数据的状态下，在用户发出显示改变命令时，所显示出来的显示图像。在图15b中，相对于缺陷区域1500显示出了三个缺陷数据1510、1511和1512。缺陷数据1511是与2014年的记录对应的缺陷数据，缺陷数据1512是与2012年的记录对应的缺陷数据。缺陷数据1510、1511和1512按记录年份的顺序移位显示。

根据第六实施方式的信息处理装置200通过第一实施方式中描述的处理来计算与最新的记录对应的缺陷数据1510的移位参数p，并且显示缺陷数据1510。此外，信息处理装置200通过使过去的缺陷数据1511和1512按缺陷数据1510的移位参数p的移动方向θ所在的方向进一步移位来显示缺陷数据1511和1512。在存在多个过去的缺陷数据的情况下，如图15b所示，优选按时间先后顺序显示多个缺陷数据。

此外，信息处理装置200可以沿着时间序列以具有相同间隔的方式显示多个缺陷数据，或者可以以具有与多个缺陷数据的各自拍摄时间相对应的间隔的方式显示这些数据。因而，用户能够容易确认缺陷区域的长期变化。顺便提及，根据第六实施方式的信息处理装置200的其他构成、构造和处理与根据其他实施方式的信息处理装置200的其他构成、构造和处理类似。

将描述第六实施方式的变型例。在输入操作者的输入结果和自动检测结果分别记录在相同缺陷区域的情况下，信息处理装置200可以显示与这两个检测结果对应的两个缺陷数据。图16是示出与由输入操作者输入的缺陷数据对应的缺陷数据1610和与自动检测结果对应的缺陷数据1611在拍摄图像的缺陷区域1600中同时移位显示的示例的图。

在图16中，缺陷数据1610和1611显示在缺陷区域1600的两相反侧。为了以这种方式显示这两个缺陷数据，例如，可以应用第二实施方式中描述的移位参数p3和p4。作为另一示例，如第七实施方式中描述的，信息处理装置200可以使与由输入操作者输入的缺陷数据对应的缺陷数据1610和与自动检测结果对应的缺陷数据1611按同一方向排布显示。

顺便提及，待同时排布显示的缺陷数据不限于实施方式中的那些。作为另一示例，信息处理装置200可以同时显示由多个不同输入操作者输入的缺陷数据。因而，可以比较并确认具有不同产生步骤的多个缺陷数据。

作为第二变型例，信息处理装置200可以以除了移位显示以外的显示方法显示分别在不同时间产生的缺陷数据或显示不同来源的缺陷数据。例如，信息处理装置200可以对在不同时间产生的缺陷数据或不同来源的缺陷数据分配并显示不同的颜色。更具体地，例如，信息处理装置200对分别在不同时间产生的缺陷数据进行颜色编码、将新的缺陷数据设定为下层、将旧的缺陷数据设定为上层并显示它们。因而，可以确认缺陷进展的状态。

如刚描述过的，根据以上各实施方式，可以提供在无需用户的复杂操作的情况下，便于对图像中的区域和与该区域对应的相关联数据进行确认操作的用户界面。

尽管基于本发明的优选实施方式详细描述了本发明，但是本发明不限于这些特定实施方式。也就是，在不脱离本发明的主旨的范围内的各种实施方式也包括在本发明中。例如，可以适当地组合以上实施方式的一部分。也就是，通过将第二实施方式与第一实施方式的第二变型例组合，可以为多个对象区域中的各个对象区域设定与主线方向相对应的单独移位参数。

此外，在以上各实施方式中，描述了指示缺陷的图像在通过拍摄基础构架结构而获得的拍摄图像上叠加显示的情况。然而，本发明不限于这些实施方式。例如，本发明还能够应用于指示血管的位置的图像在包括血管的医学图像中叠加显示的情况。即，本发明能够广泛地应用于指示多个对象(结构中的缺陷、血管等)的位置的图在包括该多个对象的图像上叠加显示的实施方式。因此，以上各实施方式中的“缺陷”是本发明中的“对象”的示例。

(其他实施例)

还能够通过如下处理实现本发明：经由网络或存储介质将用于实现以上实施方式中的一个或更多个功能的程序供给到系统或装置，并且系统或装置中的一个或更多个处理器读取并执行所供给的程序。此外，还能够通过实现一个或更多个功能的电路(例如，asic)来实现本发明。

本申请要求2016年7月6日提交的日本专利申请第2016-134421号的优先权，在此通过引用将其全部内容并入本文。

附图标记说明

200信息处理装置

304检测部

306显示控制部

307选择部

308确定部