图像显示装置以及图像显示方法
【专利说明】图像显示装置以及图像显示方法
[0001]本申请享受于2013年10月31日在先提出的日本国专利申请号2013 — 227350的优先权，并编入其全部内容。
技术领域
[0002]实施方式涉及图像显示装置以及图像显示方法。
【背景技术】
[0003]以往，已知有对输入图像进行文字识别、目标识别等的识别处理，并将识别处理的结果与输入图像重叠并加以显示的技术。应用了该技术的图像显示装置，能够将在输入图像中被推测为用户关心的对象以容易理解的形式提示给用户。但是，到对于图像的识别处理获得结果为止需要时间，因此，例如在将通过便携式终端的照相机拍摄的情景图像作为输入图像的应用等中，从响应性的观点出发谋求改善。
【发明内容】
[0004]实施方式的图像显示装置具备检测部、生成部以及显示控制部。检测部从输入图像检测注目区域。生成部对检测到的上述注目区域的图像实施提高目视确认性的修正且是包含尺寸修正、颜色修正以及正对修正中的至少某一个的上述修正而生成副图像，其中，上述尺寸修正对上述注目区域的图像的尺寸进行调整，上述颜色修正对上述注目区域的图像的颜色进行调整，上述正对修正以使得上述注目区域所包含的对象成为从正面观察的图像的方式对上述注目区域的图像进行转换。显示控制部使所生成的上述副图像以伴随着表示与上述注目区域的对应关系的画面表现的形式与上述输入图像一起显示于显示器。
【附图说明】
[0005]图1是示出第一实施方式的图像显示装置的构成例的框图。
[0006]图2是示出输入图像的具体例的图。
[0007]图3是示出目标检测器的处理顺序的一例的流程图。
[0008]图4是对图3的步骤S108以及步骤S109的处理进行说明的图。
[0009]图5是示出检测部对图2的输入图像进行了处理的情况下的检测结果例的图。
[0010]图6是示出正对修正器的处理顺序的一例的流程图。
[0011]图7是示出颜色修正器的处理顺序的一例的流程图。
[0012]图8是示出副图像接近配置计划器的处理顺序的一例的流程图。
[0013]图9是示出接近配置计划最佳化模型的一例的图。
[0014]图10是示出在图5的检测结果例中、根据作为接近配置计划最佳化模型的解而得至IJ的配置计划信息配置副图像的例子的图。
[0015]图11是对注目区域(区域图像)与对应的副图像的距离的算出方法进行说明的图。
[0016]图12是示出副图像显示控制部的处理顺序的一例的流程图。
[0017]图13是示出作为由识别结果显示控制部进行处理的结果显示于显示器的图像的一例的图。
[0018]图14是示出正误识(false-positive)的检测错误的订正的处理顺序的一例的流程图。
[0019]图15是示出负误识的(false-negative)检测错误的订正的处理顺序的一例的流程图。
[0020]图16是示出未检测的订正的处理顺序的一例的流程图。
[0021]图17是对副图像区域奖励进行说明的图。
[0022]图18是示出第二实施方式的图像显示装置的构成例的框图。
[0023]图19是示出副图像重叠配置计划器的处理顺序的一例的流程图。
[0024]图20是示出重叠配置计划最佳化模型的一例的图。
[0025]图21是示出根据作为重叠配置计划最佳化模型的解而得到的配置计划信息配置副图像的例子的图。
[0026]图22是对注目区域(区域图像)与对应的副图像的距离的算出方法进行说明的图。
[0027]图23是示出作为由识别结果显示控制部进行处理的结果显示于显示器的图像的一例的图。
[0028]图24是示出第三实施方式的图像显示装置的构成例的框图。
[0029]图25是示出作为副图像显示控制部的处理的结果显示于显示器的图像的一例的图。
[0030]图26是示出作为识别结果显示控制部的处理的结果显示于显示器的图像的一例的图。
[0031]图27是对图像显示装置的硬件结构进行说明的图。
【具体实施方式】
[0032]以下，对实施方式的图像显示装置、图像显示方法以及程序进行详细说明。以下所示出的实施方式是应用到图像显示装置的应用例，该图像显示装置具有输入通过例如照相机拍摄的情景图像，对该情景图像进行文字识别、目标识别等的识别处理，将该识别结果与情景图像一起进行显示的功能。以下，将这样的功能称作情景图像识别。并且，可作为实施方式加以应用的图像显示装置并不限定于具有情景图像识别的功能，能够应用于显示输入图像的所有的图像显示装置。
[0033]情景图像识别的一个典型应用是向智能手机等的带照相机的便携式终端的应用。当用户对着情景举起照相机时，该终端对照相机捕捉到的情景图像进行文字、目标的识别，在显示器上显示在情景图像上重叠了文字列等的识别结果的图像。向车载装置的应用也是一个典型应用。对安装于车前方的照相机捕捉到的情景图像进行文字、目标的识别，在前窗的情景中重叠显示识别结果。
[0034]在情景图像识别中，可能会产生文字识别、目标识别等的识别处理的识别错误的失误、从情景图像检测包含成为识别处理的对象的文字、目标的区域(以下，称作注目区域。)时的检测错误的失误。因此，为了实现实用的应用，要求准备针对识别错误的复原功能[Al]、针对注目区域的检测错误的复原功能[A2]。
[0035]另外，通过情景图像识别处理的情景图像存在被大范围图像化、高析像度化的倾向。因此，在今后的情景图像识别中，还要求针对以下所示的问题点的对策。
[0036]伴随着情景图像的高析像度化，文字识别、目标识别等的识别处理所需要的时间增加，响应性的降低成为问题。由于响应性对情景图像识别的便利性造成大的影响，因此期望实现弥补因识别处理而引起的响应性的降低的功能[B]。
[0037]伴随着情景图像的大范围图像化，在情景图像整体中注目区域所占的比例变小。另外，从一个情景图像检测多个注目区域的情形也变多。在这样的状况下，仅将识别结果简单地重叠显示于情景图像，容易产生识别结果的漏看。因此，期望实现进行适当的注视引导的功能[C]。
[0038]情景图像被高析像度化，与此相对，显示器(尤其是便携式终端的显示器)的大小受到限制，所以注目区域的图像变得致密，尤其是对于老人、眼睛不好使的人而言，难以确认处于注目区域的对象。因此，期望实现对注目区域的阅览性进行辅助的功能[D]。
[0039]在本实施方式中，提出实现了上述的[Al]、[A2]、[B]、[C]、[D]的全部功能的基于情景图像识别的图像显示。
[0040]实施方式的图像显示装置，首先，从输入图像(本实施方式中为情景图像)对包含作为文字识别的对象的文字、作为目标识别的对象的目标的注目区域的全部进行检测。其次，图像显示装置对所检测到的各注目区域的图像实施尺寸修正、正对修正、颜色修正等的提高目视确认性的修正，分别生成与各注目区域对应的副图像。其次，图像显示装置使用知道与原来的注目区域的对应关系的画面表现将所生成的各副图像与输入图像一起显示于显示器。另外，图像显示装置对所生成的各副图像所包含的文字、目标进行识别处理，在结束识别处理的时刻，使用知道与副图像的对应关系的画面表现将该识别结果进一步显示于显示器。
[0041]这样，实施方式的图像显示装置在对注目区域所包含的文字、目标进行识别处理之前，生成使注目区域的图像的目视确认性提高的副图像，以知道与注目区域的对应关系的方式显示于显示器。由此，副图像起到识别结果的预览的作用，从而实现弥补因识别处理而引起的响应性的降低的功能[B]。另外，由于以知道与注目区域的对应关系的方式显示副图像，所以实现进行适当的注视引导的功能[C]。进而，由于副图像是使注目区域的图像的目视确认性提高的图像，所以也实现对注目区域的阅览性进行辅助的功能[D]。
[0042]另外，假设当在文字、目标的识别处理中产生错误的情况下，通过参照副图像能够确认正解，因此实现针对识别错误的复原功能[Al]。
[0043]实施方式的图像显示装置也可以在从输入图像检测到的注目区域中按照预先确定的规则选择要进行识别处理的注目区域。在该情况下，优选将从选择为要进行识别处理的注目区域生成的副图像(第一副图像)与从不进行识别处理的注目区域生成的副图像(第二副图像)以不同的显示方式显示于显示器。例如，第一副图像显示为在右上附加“X”按钮的透明度低的图像，第二副图像显示为透明度比第一副图像的透明度高的(能够透过而看到下面的输入图像)图像。
[0044]在该情况下，用户如果判断为与第一副图像对应的注目区域不是应当作为识别处理的对象，则例如通过操作「X」按钮，能够变更为将该注目区域不作为识别处理的对象的处理。另外，用户如果判断为与第二副图像对应的注目区域应当作为识别处理的对象，则例如通过点击配置第二副图像的区域，能够变更为将该注目区域作为识别处理的对象的处理。这些用户的操作除了反映到该时刻的画面显示之外，还作为用于对检测注目区域的检测部进行再训练的事例加以使用，由此起到下次以后的利用的检测制度的改善效果。由此，实现针对注目区域的检测错误的复原功能[A2]。
[0045]如以上那样，实施方式的图像显示装置能够全部实现针对识别错误的复原功能[Al]、针对注目区域的检测错误的复原功能[A2]、弥补因识别处理而引起的响应性的降低的功能[B]、进行适当的注视引导的功能[C]、以及对注目区域的阅览性进行辅助的功能[D]，将在输入图像中被推测为用户关心的对象以容易理解的形式提示给用户。以下，参照附图对实施方式的图像显示装置的具体例进行更详细的说明。
[0046](第一实施方式)
[0047]图1是示出第一实施方式的图像显示装置的构成例的框图。如图1所示，第一实施方式的图像显示装置具备主系统100、检测部教练机200以及识别部教练机300。
[0048]主系统100是作为本实施方式的图像显示装置的核心的系统。主系统100从输入图像检测注目区域，对所检测到的注目区域的图像进行提高目视确认性的修正而生成副图像。然后，主系统100将所生成的副图像与输入图像一起进行显示。进而，主系统100对所检测到的注目区域进行识别处理，并显示该识别结果。
[0049]检测部教练机200以及识别部教练机300是对在主系统100的检测功能以及识别功能中使用的识别模型组进行训练的副系统。这些检测部教练机200以及识别部教练机300只要在利用主系统100之前预先执行一次对识别模型组进行训练的处理即可。但是，有时根据来自主系统100的呼叫，在利用主系统100的期间执行。
[0050]以下，对主系统100的详细情况进行说明，在该说明中，也提及到检测部教练机200以及识别部教练机300。
[0051]如图1所示，主系统100具备检测部110、生成部120、副图像接近配置计划器130、识别部140、显示控制部150以及显示器160。并且，图1中的圆角四边形表示构成主系统100的上述各模块110?150的输入输出数据。
[0052]检测部110接受输入图像D1，从该输入图像Dl对存在应当注目的对象的区域亦即注目区域的全部进行检测。然后，检测部I1将从输入图像Dl检测到的注目区域的图像与检测时的