图像显示装置、图像显示方法以及存储介质与流程

文档序号:19902386发布日期:2020-02-11 14:02阅读:123来源:国知局
图像显示装置、图像显示方法以及存储介质与流程

本发明涉及图像显示装置、图像显示方法以及程序。



背景技术:

近年来,利用计算机的图像辨识技术得到急速发展,正在进行使用该技术的装置的开发。例如,正在进行从医疗用图像探测病灶、从产品的图像探测损伤这样的探测装置的开发。

在利用计算机的图像辨识的学习时或者验证时,为了确认利用计算机的图像辨识的妥当性,人确认图像辨识结果的情况也很多。但是,表示该结果的图像对于人类而言庞大,对确认作业的负担大。因此,在如确认大量的图像那样的情况下,要求如支援确认者那样的显示装置。



技术实现要素:

提供通过如图像的阅览者易于注意到目标的图像那样的方法显示图像的装置。

作为本发明的一个实施方式的图像显示装置具备命令受理部和图像显示部。命令受理部至少受理第1图像以及第2图像中的任意图像的显示命令。图像取得部取得所述第1图像以及所述第2图像。图像显示部在受理到所述显示命令时,在显示所述第1图像之后显示所述第2图像。所述第1图像是表示所述第2图像内的特征性的区域的图像,或者所述第2图像是表示所述第1图像内的特征性的区域的图像。

附图说明

图1是示出第1实施方式所涉及的图像显示系统的一个例子的框图。

图2是示出原图像、特征图像、以及重叠图像的一个例子的图。

图3是说明最初设想的图像显示方法的图。

图4是说明第1图像显示方法的图。

图5是示出使用第1图像显示方法时的第1实施方式的图像显示装置中的处理的流程图的图。

图6是说明第2图像显示方法的图。

图7是示出使用第2图像显示方法时的第1实施方式的图像显示装置中的处理的流程图的图。

图8是示出第2实施方式所涉及的图像显示系统的一个例子的框图。

图9是示出变更显示形式的情况的重叠图像的显示的一个例子的图。

图10是示出使用第1图像显示方法时的第2实施方式的图像显示装置中的处理的流程图的图。

图11是示出本发明的一个实施方式中的硬件结构的一个例子的框图。

(符号说明)

1:图像生成装置;11:图像读入部;12:图像生成部;13:图像保存部;2:图像存储装置;3:图像显示装置;31:命令受理部;32:图像取得部;33:显示控制部(时间测定部);34:图像显示部;35:判定部;41a至45a:原图像;41b至45b:特征图像;41c至45c:重叠图像;42d:放大图像;5:计算机装置;51:处理器;52:主存储装置;53:辅助存储装置;54:网络接口;55:设备接口;56:总线;6:通信网络;7a和7b:外部装置。

具体实施方式

以下,参照附图,说明本发明的实施方式。

(第1实施方式)

图1是示出第1实施方式所涉及的图像显示系统的一个例子的框图。第1实施方式所涉及的图像显示系统具备图像生成装置1、图像存储装置2、以及图像显示装置3。图像生成装置1具备图像读入部11、图像生成部12、以及图像保存部13。图像显示装置3具备命令受理部31、图像取得部32、显示控制部(时间测定部)33、以及图像显示部34。

第1实施方式所涉及的图像显示系统是用于显示由图像生成装置1生成的图像而使人阅览的系统。例如,在通过深度学习等机械学习生成图像生成模型(图像变换模型)的情况下,设想人确认由学习中的图像生成模型生成的图像的情况。或者设想作为验证而由人确认由已学习的图像生成模型生成的图像的情况。

在使用图像生成模型进行图像生成的情况下,通常,生成膨大的量的图像。因此,图像的阅览所花费的时间变得膨大,另一方面,由于该膨大的量而阅览者缺乏集中力,成为不良现象的探测率降低这样的严重的事态。因此,本实施方式的图像显示装置3在阅览者依次阅览多个图像时,通过如使图像阅览的效率提高那样的方法显示图像。详情后述。

此外,在本说明中,设想使用通过学习生成的图像生成模型进行图像生成的情况,但本实施方式的图像显示装置3显示的图像不限于使用图像生成模型生成的图像。

首先,说明图像生成装置1。图像生成装置1的图像读入部11读入保存于指定场所的图像。指定场所可以是图像生成装置1的内部也可以是外部,还可以是图像存储装置2。以后,将由图像读入部11读入的图像记载为原图像。

图像生成部12使用通过学习生成的图像生成模型,根据原图像生成新的图像。生成表示所提供的图像中的固有的特征的图像的图像生成模型和用于生成该图像生成模型的学习的方法还有作为公知技术一般提供的例子。作为使用卷积神经网络(cnn)的情况的具体例,可以举出guidedbackprop、grad-cam等手法。例如,在使用外观检查用的图像生成模型时,在原图像内的检查品中存在本来不存在的损伤的情况下,根据原图像生成表示该损伤的位置等的图像。本实施方式的图像生成部12使用这样的图像生成模型,根据原图像生成表示原图像的特征性的区域的图像。考虑除了损伤以外,将污垢、混入的异物、变形、从正常位置的偏移等也视为原图像的特征。此外,以后将表示原图像的特征性的区域的图像记载为特征图像。即,特征图像是表示该原图像具有的特征的图像。此外,将原图像内的存在特征的区域记载为特征区域。

图像生成部12将该图像生成模型用作作为软件的一部分的程序模块。通过在图像生成模型中将原图像输入到该程序模块,输出特征图像。设想作为图像生成模型的网络,使用卷积神经网络(cnn)等。原图像被输入到神经网络的输入层,经由各中间层中的运算,从输出层输出结果。此外,使用的图像生成模型可以由图像生成装置1生成,也可以从外部的装置获得。另外,使用的图像生成模型可以是已学习也可以是学习中。

另外,图像生成部12通过重叠原图像和生成的特征图像,生成新的图像。将通过重叠生成的新的图像记载为重叠图像。重叠图像由于被重叠特征图像,所以还是表示原图像的特征性的区域的图像,是特征图像的一种。但是,在本说明中,为方便起见,区分特征图像和重叠图像来说明。此外,图像生成部12也可以使用根据原图像直接输出重叠图像的图像生成模型。

图2是示出原图像、特征图像、以及重叠图像的一个例子的图。图2的(a)是示出原图像的一个例子的图。图2的(a)的原图像41a表示某个检查品的外观。图2的(b)是示出特征图像的一个例子的图。图2的(b)的特征图像41b是由图像生成部12根据原图像41a生成的图像,是表示原图像41a内的异常的存在的可能性的图像。正常部位是透明(白),但对认为异常的部位赋予色彩(黑)。在此,特征图像被表示为黑白图像,但也可以表示为彩色图像。另外,也可以是通过颜色的种类、浓淡等表示异常的可能性的高低(异常度)的热图。图2的(c)是示出重叠图像的一个例子的图。图2的(b)的重叠图像41c成为原图像41a的特征被强调的图像。这样,通过显示重叠图像,能够一次掌握原图像和特征图像这两方,所以人易于进行确认。

此外,如图2所示,处于对应关系的原图像、特征图像、以及重叠图像的符号的数字相同。另外,设为数字之后的字母的a表示原图像、b表示特征图像、c表示重叠图像。例如,与原图像41a对应的特征图像的符号是组合相同的数字的41和意味着特征图像的b而成的41b。

图像保存部13将原图像、通过该原图像生成的特征图像、以及该原图像和该特征图像的重叠图像组合而保存到图像存储装置2。该组合而保存是指,以图像存储装置2可辨识的状态保存与原图像、特征图像、重叠图像的关联性。例如,考虑图像保存部13对各图像赋予包括组合固有的组合识别编号的识别编号。例如,在将把组合识别编号设为“001”并与表示原图像的字母“a”组合而成的“001a”作为识别编号赋予给某个原图像的情况下,对与该原图像对应的特征图像,赋予组合相同的组合识别编号“001”和表示特征图像的字母“b”而成的“001b”作为识别编号。另外,考虑对与该原图像对应的重叠图像,赋予组合相同的组合识别编号“001”和表示重叠图像的字母“c”而成的“001c”作为识别编号。由此,在辨识第1原图像的情况下,能够从多个特征图像以及多个重叠图像提取与第1原图像对应的特征图像以及重叠图像。

接下来,说明图像存储装置2。图像存储装置2将原图像、特征图像、以及重叠图像以能够识别它们的组合的方式对应起来存储。例如,通过使用rdbms(relatinaldatabasemanagemntsystem,关系数据库管理系统)等数据库的功能,在被输入图像的识别编号、组合的识别编号等的情况下,能够从图像存储装置2提取与该组合关联的三个图像的一部分或者全部。

接下来,说明图像显示装置3。图像显示装置3根据图像的显示命令,从存储于图像存储装置2的多个图像取得并显示与该显示命令有关的图像。此时,通过如提高阅览者的阅览效率的方法显示图像。详情与内部结构一起后述。

图像显示装置3的命令受理部31受理图像的显示命令。该显示命令也可以是与原图像、特征图像以及重叠图像的任意图像有关的显示命令。另外,该显示命令至少有二种。一个是包括图像或者组合的识别编号,并与该识别编号有关的图像的显示命令。即,在该显示命令中,指定由图像显示装置3显示的图像。另一个是接下来的图像的显示命令。在该显示命令中,不指定由图像显示装置3显示的图像,而要求使图像显示装置3显示接着当前显示的图像而预定显示的图像。显示图像的顺序根据识别编号等预先决定。例如,预先决定按照组合的识别编号的顺序显示图像这样的显示规则即可。在本实施方式中,设想最初受理指定图像的显示命令但之后受理接下来的图像的显示命令。

此外,还设想阅览者希望再次阅览以前阅览过的图像的情况。因此,命令受理部31也可以受理前一个图像的显示命令。

图像取得部32从图像存储装置2取得与命令受理部31受理的显示命令关联的图像。在受理到指定图像的显示命令的情况下,使用包含于指定图像的显示命令的识别编号,从图像存储装置2取得与该识别编号关联的图像。在受理到接下来的图像的显示命令的情况下,根据预先决定的顺序,从图像存储装置2取得当前显示的图像的接下来的图像。具体而言,图像取得部32将应取得的图像或者与该图像有关的组合的识别编号发送到图像存储装置2。图像存储装置2使用该识别编号提取要求的图像,发送到图像取得部32。

显示控制部33控制利用图像显示部34的图像的显示。在本实施方式中,设想根据从某个时间点(基准时间点)起的经过时间,变更图像的显示方法等。因此,本实施方式的显示控制部33测定经过时间。并且,根据该经过时间和针对该经过时间的阈值(第1预定时间)的比较结果,决定针对图像显示部34的控制内容。

针对经过时间的阈值可以预先决定,也可以设为如此前测定的经过时间的平均等那样基于测定实际结果的值。即,也可以是显示控制部33根据测定实际结果,更新针对经过时间的阈值。

图像显示部34根据显示控制部33的控制内容,显示图像取得部32取得的图像。

(最初设想的图像显示方法)

首先,为了比较,说明申请人最初设想的图像显示方法。

图3是说明最初设想的图像显示方法的图。图3示出从上依次显示重叠图像42c、43c、44c、以及45c。阅览者确认重叠图像42c,命令显示接下来的重叠图像。根据该命令,显示重叠图像43c,阅览者确认重叠图像43c,命令显示接下来的重叠图像。这样,在最初设想的图像显示方法中,反复进行阅览和命令,依次显示重叠图像。

但是,在该图像显示方法中,连续显示与原图像大致相同的重叠图像,阅览者的集中力降低,有可能产生问题。例如,在产生不良现象的概率非常低的产品的外观检查等中,没完没了地连续显示与原图像相同的重叠图像。因此,有可能阅览者变得不知道在观察原图像还是在观察重叠图像。另外,即使显示表示少许的不良现象的重叠图像,阅览者也有可能看漏。因此,本实施方式的图像显示装置通过并非设想的图像显示方法的第1或者第2显示方法,显示图像。

(第1图像显示方法)

图4是说明第1图像显示方法的图。第1图像显示方法是连续显示原图像、与该原图像对应的特征图像、以及与该原图像对应的重叠图像中的至少二个的方法。在图4的例子中,最初示出针对某个检查品的原图像42a。接下来,延迟显示与原图像42a对应的重叠图像42c。然后,根据接下来的图像的显示命令,显示其接下来的原图像43a,进而,延迟显示与原图像43a对应的重叠图像43c。这样,在第1图像显示方法中,相同的种类的图像(例如原图像)不连续显示,而隔着处于对应关系的图像(在图4中重叠图像)显示。此外,图4所示的原图像42a至45a相同,但实际上,在不同的原图像中映出不同的检查品。即,映在各原图像的检查品是不同物体。

此外,也可以将关联的三个图像全部显示。也可以接着原图像显示特征图像或者重叠图像的一方,之后显示剩余的一方。另外,如果是连续显示,则也可以调换显示的图像的顺序。例如,也可以是首先显示重叠图像,接着显示原图像,再接着显示特征图像这样的顺序。

此外,为便于说明,将首先显示的图像记载为先行图像(第1图像),将之后显示的图像记载为后续图像(第2图像)。在图4的例子中,先行图像是原图像,后续图像是重叠图像。如上所述,也可以先行图像是特征图像或者重叠图像,后续图像是原图像。换言之,先行图像是表示后续图像的特征性的区域的图像或者后续图像是表示先行图像的特征性的区域的图像。后续图像在经过预定时间之后显示,但预定时间也可以并非一定恒定。另外,在经过预定时间之前受理到显示命令的情况下,也可以在受理到该显示命令的时间点显示后续图像,还可以直至经过预定时间忽略显示命令。

此外,在图4的例子中,显示从一个方向映出检查品而得到的原图像,但也可以显示从多个方向映出检查品而得到的多个原图像的组。例如,也可以同时排列显示从上下、左右、以及前后这六个方向分别映出检查品而得到的六个原图像。在该情况下,优选与六个原图像对应的各特征图像以及各重叠图像也在与对应的原图像相同的位置显示。

关于第1图像显示方法中的图像显示装置3的内部的处理,与流程图一起说明。图5是示出使用第1图像显示方法时的第1实施方式的图像显示装置中的处理的流程图的图。此外,在本流程图中,记载在经过预定时间之前受理到显示命令的情况下在受理到该指示的时间点显示后续图像的情况。

命令受理部31受理图像显示命令(s101)。图像取得部32取得与图像显示命令关联的图像(s102)。如上所述,在指定图像的显示命令的情况下,根据包含于指定图像的显示命令的识别编号,取得与该识别编号关联的图像。在接下来的图像的显示命令的情况下,取得接下来预定显示的图像。在此,作为关联的图像,取得先行图像和后续图像。

取得的先行图像以及后续图像被送到图像显示部34,图像显示部34显示先行图像(s103)。另外,显示控制部33开始从基准时间点起的经过时间(第1经过时间)的测定(s104)。此外,在本流程图中,基准时间点设想显示先行图像的时间点,在先行图像的显示之后,示出经过时间的测定的开始。但是,基准时间点也可以是受理到显示命令的时间点,在该情况下,在受理到显示命令(s101)之后,开始经过时间的测定。

显示控制部33预先具有针对经过时间的阈值,在命令受理部31受理到接下来的显示命令之前经过时间超过阈值时(s105的“是”),在经过时间超过阈值时显示控制部33对图像显示部34指示后续图像的显示,图像显示部34显示后续图像(s106)。这样,在从原图像的显示起经过一定时间之后,自动地显示对应的后续图像。在经过时间超过阈值之前命令受理部31受理到接下来的显示命令时(s105的“否”),在受理到接下来的显示命令的时间点显示控制部33对图像显示部34指示后续图像的显示,图像显示部34显示后续图像(s107)。这样,先行图像以及后续图像连续显示而流程结束,等待接下来的显示命令的到达。

此外,本说明中的流程图是一个例子,不限于上述例子。也可以根据实施方式要求的规格、变更等,进行步骤的重排、追加、以及省略。例如,在上述流程图中,取得与受理的图像显示命令对应的图像,但也可以预先取得认为今后取得的图像。例如,在取得组合编号001的图像的情况下,可以设想为依次取得图像,预先取得接下来的组合编号002的图像。另外,在已经取得与图像显示命令对应的图像的情况下,也可以省略s102的处理,还可以在s102的处理中取得该图像的接下来的顺序的图像。以后的方法也是同样的。

这样在第1图像显示方法中,无论显示命令是与原图像、特征图像、重叠图像的哪个有关的命令,由于与显示命令有关的图像和与该图像关联的图像连续显示,所以能够向阅览者有效地传达先行图像和后续图像的不同。因此,能够防止阅览者看漏应探测的图像,能够提高阅览者的阅览效率。

(第2图像显示方法)

作为第2图像显示方法,叙述以使阅览者引起注意的方式有效地显示先行图像和后续图像并且缩短阅览所花费的时间的方法。图6是说明第2图像显示方法的图。在第2图像显示方法中,在显示出先行图像时,与第1图像显示方法同样地,延迟显示后续图像。但是,在显示后续图像之后显示的图像根据从显示后续图像至接受到图像显示命令的经过时间(第2经过时间)而不同。

在图6的例子中,最初示出原图像42a,以时间差延迟显示重叠图像42c。在显示重叠图像42c之后,存在显示原图像43a的情况和显示重叠图像43c的情况。在从显示重叠图像42c至接受到图像显示命令的经过时间超过对应的阈值(第2预定时间)的情况下,与第1图像显示方法同样地,显示原图像43a。在该经过时间未超过该阈值的情况下,省略原图像43a的显示,显示重叠图像43c。在阅览者希望提高阅览的速度的情况下,考虑立即发送接下来的图像的显示命令。因此,在第2图像显示方法中,在该经过时间未超过该阈值的情况下,省略先行图像的显示,显示后续图像。由此,能够提高图像的大量阅览的效率。

此外,在图6的例子中,示出如下情况:即使将先行图像的显示省略1次,如果再次有该经过时间未超过该阈值时,则显示先行图像。即使在原图像43a的显示被省略而显示重叠图像43c的情况下,在从显示重叠图像43c至接受到图像显示命令的经过时间超过对应的阈值时,显示原图像44a,在该经过时间未超过该阈值时,显示重叠图像44c。

此外,在上述中,每当显示后续图像时,决定是否省略先行图像,但也可以并非每次都决定。例如,也可以是在连续3次省略先行图像的情况下,以后无论与该经过时间是否超过该阈值都继续省略先行图像的显示。

关于第2图像显示方法中的图像显示装置3的内部的处理,与流程图一起说明。图7是示出使用第2图像显示方法时的第1实施方式的图像显示装置中的处理的流程图的图。此外,在本流程图中,示出每次判断先行图像的省略的情况。

命令受理部31受理图像显示命令(s201)。显示控制部33在后述s204的处理中测定从显示上次的后续图像起的经过时间,在受理到该图像显示命令的时间点下的经过时间超过对应的阈值的情况下(s202的“是”),进行第1图像显示方法的处理s102以后的处理(s203)。即,在从显示后续图像起的经过时间超过该阈值以前命令受理部31未受理到接下来的显示命令的情况下,显示先行图像和后续图像。然后,显示控制部33测定从显示后续图像起的经过时间(s204)。这样,连续显示先行图像以及后续图像而流程结束,等待接下来的显示命令的到达。

另一方面,在从显示上次的后续图像起的经过时间超过对应的阈值以前,命令受理部31受理到接下来的图像显示命令的情况下(s202的“否”),图像取得部32至少取得与图像显示命令关联的后续图像(s205)。然后,图像显示部34显示后续图像(s206)。即,图像显示部省略先行图像的显示,而显示后续图像。然后,显示控制部33测定从显示后续图像起的经过时间(s204)。这样,先行图像不被显示,显示后续图像而流程结束,等待接下来的图像显示命令的到达。

这样在第2图像显示方法中,根据受理图像显示命令的时间间隔,省略先行图像的显示,所以能够同时实现阅览的高速化和应探测的图像的看漏防止,能够进一步提高阅览者的阅览效率。

这样,使用第1或者第2图像显示方法,通过图像显示部34显示图像。图像的显示目的地可以是内置于图像显示装置3的监视器,也可以是与图像显示装置3以有线方式直接连接的监视器,还可以是从图像显示装置3经由通信网络接受图像数据的监视器。

此外,在上述说明的第1以及第2显示方法中,说明为显示接下来的图像,但也可以显示前面的图像。还可能有阅览者希望追溯确认以前显示过的图像的情况。在这样的情况下,命令受理部31并非受理接下来的图像显示命令而受理前面的图像显示命令,但即使受理到前面的图像显示命令,仍同样地取得以及显示与图像显示命令对应的先行图像以及后续图像。因此,图像显示装置3的各构成要素的处理的内容相同。

另外,也可以以在受理到接下来的图像显示命令时使用第2显示方法,在受理到前面的图像显示命令时使用第1显示方法的方式,根据图像显示命令,改变使用的显示方法。在该情况下,显示控制部33根据命令受理部31受理的命令的种类,改变针对图像显示部34指示显示的图像即可。

如以上所述,根据本实施方式,连续显示原图像和与原图像关联的图像,所以能够向阅览者有效地传达原图像和与原图像关联的图像的不同。因此,能够防止阅览者看漏应探测的图像,能够提高阅览者的阅览效率。另外,通过省略预定显示的图像的显示,还能够进行阅览的高速化。

(第2实施方式)

图8是示出第2实施方式所涉及的图像显示系统的一个例子的框图。第2实施方式所涉及的图像显示系统的图像显示装置3还具备判定部35。此外,省略说明与第1实施方式同样的点。

在第2实施方式中,在显示特征图像或者重叠图像时,判定是否应引起阅览者注意,根据判定结果,变更图像的显示形式。例如,在重叠图像内有多个特征区域的情况下,阅览者有可能看漏小的特征区域。为了消除这样的事态,推断阅览者应关注的图像,以引起阅览者注意的方式变更该图像的显示形式。

判定部35判定是否变更特征图像或者重叠图像的显示形式。在判定中,使用以根据特征图像或者重叠图像计算异常度的方式学习的判定模型。该判定模型是以针对输入的图像,能够根据存在损伤的可能性、存在污垢的可能性、混入异物的可能性等来计算点数的方式学习的模型。将该点数设为异常度。这样也可以在计算出的异常度超过阈值的情况下判定为变更显示形式。或者,也可以并非使用判定模型而使用预先决定的判定基准。例如,也可以在特征区域的范围小于预定面积的情况下判定为变更显示形式。或者,也可以在有多个特征区域的情况下,在某个特征区域比其他特征区域小m(m是大于1的数)分之1倍程度时,判定为变更显示形式。或者,也可以在图像的四角附近等设想为易于看漏特征区域的区域内存在特征区域的情况下,判定为变更显示形式。

并且,在判定为应变更该显示形式的情况下,图像显示部34通过与未判定为应变更显示形式的情况下的显示形式不同的显示形式,显示后续图像。例如,在判定为应变更显示形式的情况下,考虑改变特征图像或者重叠图像的亮度、浓度、显示位置、比例尺(显示尺寸)等来显示。例如,在特征图像是表示异常度的热图的情况下,图像显示部34也可以以使阅览者更易于辨识的方式变更热图上的颜色的种类、浓淡等。另外,也可以通过变更针对从显示后续图像起的经过时间的阈值,变更后续图像的显示时间长。另外,也可以显示加工特征图像或者重叠图像而得到的图像。例如,考虑使包括唤起注意的文字等的图像重叠到特征图像或者重叠图像。或者,也可以在显示特征图像或者重叠图像时使图像忽亮忽灭,还可以利用显示图像的监视器等的功能并与图像的显示一起发出声音。预先决定变更后的显示形式,显示控制部33根据判定结果,对图像显示部34指示以通常的显示形式显示或者以变更后的显示形式显示。

图9是示出变更显示形式的情况的重叠图像的显示的一个例子的图。将重叠图像42c的由虚线的框包围的部分放大的放大图像42d与重叠图像42c一起显示。在图9的例子中,设为特征区域的一个满足存在于右上的角落附近这样的判定基准和小于其他特征区域这样的判定基准。在这样的情况下,也可以是判定部35判定为应变更显示形式,图像显示部34显示如与该特征区域有关的放大图像42d那样的图像。

此外,在图9中,并列地显示重叠图像42c和放大图像42d,但也可以在显示其中的任一方之后使另一方显示。或者,也可以是命令受理部31受理放大图像的显示命令,显示放大图像。例如,也可以在图像显示系统中存在根据显示于监视器的重叠图像的特征区域以及光标的位置关系辨识图像显示命令的命令辨识装置(未图示),命令辨识装置在特征区域和光标的距离小于预定阈值时辨识为放大图像的显示命令,向命令受理部31发送放大图像的显示命令。也可以在命令受理部31受理到放大图像的显示命令时,显示控制部33指示图像显示部以通过缓动(easing)将放大图像重叠到重叠图像而显示。此外,如放大图像那样的加工图像可以由图像显示部34生成,也可以另外设置生成加工图像的加工图像生成部(未图示),图像显示部34原样地显示提供的图像。

另外,如上所述,在显示从多个方向映出检查品而得到的多个图像的组的情况下,显示控制部33也可以指示图像显示部34,以使由判定部35判定为应变更显示形式的图像的显示范围大于其他图像。

另外,还考虑限于特定的情况进行显示形式的变更。例如,在第2显示方法中,在省略先行图像的显示的情况即高速切换图像的情况下,易于发生应确认的图像的看漏。因此,考虑在省略先行图像的显示的情况下,变更后续图像的显示形式,在先行图像的显示的省略结束之后,使后续图像的显示形式返回到通常的显示形式。

另外,判定部35也可以预先存储判定为应变更显示形式的图像的识别编号。例如,在阅览大量的图像时,有很多在后面辨识为以前阅览过的图像是应确认的图像的情况。在这样的情况下,阅览者将前面的图像的显示命令送到命令受理部31,使前面的图像显示。但是,阅览者不知道以前阅览过的图像是多久之前的图像,所以返回至目标的图像的作业困难。在这样的情况下,在命令受理部31以显示以前显示的图像的方式接受到命令时,显示控制部33指示图像显示部34,以使未判定为应变更显示形式的图像的显示时间比通常短,使判定为应变更显示形式的图像的显示时间比通常长。由此,返回至应确认的图像的时间变短,并且阅览者能够辨识已返回到认为应确认的图像的图像。

说明判定部35的处理的流程的一个例子。图10是示出使用第1图像显示方法时的第2实施方式的图像显示装置中的处理的流程图的图。说明与图5所示的第1实施方式中的流程图的不同点。

在图像取得部取得与图像显示命令关联的先行图像以及后续图像时(s102),后续图像被送到判定部35。判定部35判定后续图像的显示形式是否需要变更,根据判定结果,加工后续图像(s109)。与有无加工无关地,后续图像被送到图像显示部34。另外,显示控制部33根据判定结果,决定后续图像的显示形式,对图像显示部指示决定的显示形式(s110)。显示形式在判定为不需要变更显示形式的情况下,原样地保持通常的显示形式,在判定为需要变更显示形式的情况下,变更为预先决定的特殊的显示形式。

并且,在s106或者s108的处理中,图像显示部34以由显示控制部33指示的显示形式,显示由判定部35发送的后续图像。因此,在判定为应变更后续图像的显示形式的情况下,以特殊的显示形式显示加工后的后续图像,在未判定为如此的情况下,以通常的显示形式显示未加工的后续图像。这样,根据判定部35的判定结果,显示显示形式不同的后续图像。

此外,在使用第2图像显示方法的情况下,在s205与s206之间进行上述s109以及s110的处理。使用第2图像显示方法时的第1实施方式的图像显示装置中的处理的流程图的图省略。

如以上所述,根据本实施方式,通过由判定部35推断阅览者应关注的图像,改变该图像的显示形式,能够使阅览者关注该图像。由此,能够进一步提高阅览者的阅览效率。

此外,在上述实施方式中,图像生成装置1、图像存储装置2、以及图像显示装置3被说明为不同的装置。但是,这些装置的一部分或者全部也可以包含于同一装置。另外,在上述实施方式中,记载认为图像显示的处理需要的主要的装置以及构成要素,也可以包括其他装置以及构成要素。另外,各装置以及各构成要素也可以细分化,还可以集中为一个。另外,设为各装置能够经由电缆、通信网络等收发数据。例如,显示控制部33测定经过时间,但测定经过时间的经过时间测定部也可以与显示控制部33独立地存在。另外,也可以是经过时间测定部分成测定从基准时间点起的经过时间(第1经过时间)的第1时间测定部和测定从显示后续图像至接受到图像显示命令的经过时间的第2时间测定部。

另外,在装置内图像被处置为数据,但图像数据的格式形式没有特别限定。另外,表示位置以及与该位置对应的信息的数据也可以处置为图像数据。例如,将单位区域的位置和表示该单位区域中的异常度的值对应起来的数据能够变换为热图的图像,所以该数据也包含于图像数据。

此外,还有时与图像的显示一起提供声音。还能够通过如声音那样的与图像一起附随的信息,唤起确认者注意。因此,设为在本说明中的“图像”中还包括附随于图像的信息。

此外,上述实施方式的至少一部分也可以通过安装有处理器、存储器等的ic(integratedcircuit:集成电路)等专用的电子电路(即硬件)实现。可以用一个电子电路实现多个构成要素,也可以用多个电子电路实现一个构成要素,还可以一对一地实现构成要素和电子电路。另外,上述实施方式的至少一部分也可以通过执行软件(程序)来实现。例如,通过将通用的计算机装置用作基本硬件,并使搭载于计算机装置的中央处理装置(cpu:centralprocessingunit,中央处理单元)、图像处理装置(gpu:graphicsprocessingunit,图形处理单元)等处理器(处理电路、processingcircuit、processingcircuitry)执行程序,能够实现上述实施方式的处理。换言之,构成为通过该程序的执行,处理器(处理电路)能够执行各装置的各处理。

例如,通过计算机读出存储于计算机可读取的存储介质的专用的软件,能够将计算机设为上述实施方式的装置。存储介质的种类没有特别限定。另外,通过计算机安装经由通信网络下载的专用的软件,能够将计算机设为上述实施方式的装置。这样,使用硬件资源,具体地安装基于软件的信息处理。

图11是示出本发明的一个实施方式中的硬件结构的一个例子的框图。图像生成装置1以及图像显示装置3能够实现为具备处理器51、主存储装置52、辅助存储装置53、网络接口54、以及设备接口55,且它们经由总线56连接的计算机装置5。

此外,图11的计算机装置5将各构成要素具备一个,但也可以将相同的构成要素具备多个。另外,在图11中,示出1台计算机装置5,但也可以将软件安装到多个计算机装置,该多个计算机装置的各个执行软件的不同的一部分的处理。

处理器51是包括计算机的控制装置以及运算装置的电子电路(处理电路)。处理器51根据从计算机装置5的内部结构的各装置等输入的数据、程序,进行运算处理,将运算结果、控制信号输出到各装置等。具体而言,处理器51通过执行计算机装置5的os(操作系统)、应用等,控制构成计算机装置5的各构成要素。处理器51只要能够进行上述处理,则没有特别限制。图像生成装置1以及图像显示装置3的内部的各构成要素通过处理器51实现。例如,处理器51以在读入图像生成模型后根据存储于主存储装置52或者辅助存储装置53的原图像输出特征图像或者重叠图像的方式发挥功能。

主存储装置52是存储处理器51执行的命令以及各种数据等的存储装置,由处理器51直接读出存储于主存储装置52的信息。辅助存储装置53是主存储装置52以外的存储装置。此外,这些存储装置意味着能够储存电子信息的任意的电子零件,可以是存储器(memory)也可以是存储设备(storage)。另外,在存储器中有易失性存储器和非易失性存储器,哪个都可以。图像存储装置2也可以通过主存储装置52或者辅助存储装置53实现。即,图像存储装置2可以是存储器(memory),也可以是存储设备(storage)。

网络接口54是用于通过无线或者有线方式与通信网络6连接的接口。网络接口54使用适合于现有的通信规格的接口即可。能够从网络接口54经由通信网络6连接计算机装置5和外部装置7a。

设备接口55是与外部装置7b直接连接的usb等接口。即,计算机装置5和外部装置7可以经由网络连接,也可以直接连接。

此外,外部装置7(7a以及7b)是图像显示系统的外部的装置、图像显示系统的内部的装置、外部存储介质、以及存储设备装置中的哪个都可以。

此外,外部装置7也可以是输入装置。输入装置具备键盘、鼠标、触摸面板等设备,将通过这些设备输入的信息提供给计算机装置5。来自输入装置的信号被输出到处理器51。

在上述中说明了本发明的一个实施方式,但这些实施方式只是作为例子示出,未意图限定发明的范围。这些新的实施方式能够以其他各种方式实施,能够在不脱离发明的要旨的范围进行各种省略、置换、变更。这些实施方式、其变形包含于发明的范围、要旨,并且包含于权利要求书记载的发明和其均等的范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1