图像解析装置、图像解析系统、图像解析方法
【技术领域】
[0001] 本发明涉及一种检测图像数据中包含的任意的目标领域的技术。
【背景技术】
[0002] 随着IT基础设施的发展，大量的多媒体数据（文本、影像/图像、语音、各种日志 数据等）积蓄在大规模的存储装置中。为了从积蓄的大量的数据中高效地取出信息，关于 各个媒体数据，考虑各种信息提取/检索技术并将其实用化。
[0003] 作为针对多媒体数据的信息提取的例子，考虑对图像内包含的目标（表示想要提 取的对象物或其部分等）、特定的领域进行检测。图像中的目标检测和领域确定相当于文本 解析中的形态解析（将文本划分为单词，并判定词性的单元），是在解析图像的含义方面重 要的要素技术。
[0004] 作为图像中的目标检测方法，众所周知非专利文献1的方法，作为数码照相机或 监视系统中的脸部领域检测功能而被广泛地用于制造产品。在非专利文献1的方法中，大 量收集检测对象的目标的样本图像，通过机械学习，生成多个基于图像亮度的弱识别器。使 用将该弱识别器联结后的鲁棒的识别器，仔细搜索图像中的部分领域来确定目标领域。
[0005] 作为成为检测对象的目标类型，最一般的是当前位置的人物的脸部正面。但是，在 以存储装置中积蓄的广大的内容为对象时，例如期望将车辆、动物、建筑物、图形、各种物品 等多样的类型作为检测对象。此外，为了处理大规模的数据，需要提高解析处理效率。
[0006] 关于解析处理效率的提高，在以下的专利文献1中公开了利用目标的存在概率来 限定用于执行目标领域检测的图像处理的领域的方法。专利文献1的方法利用焦点距离、 分辨率等拍摄系统的静态信息来决定执行图像处理的领域，认为其在如车载摄像头那样限 定拍摄环境和拍摄设备，并管理构造化的数据的环境下有效。
[0007] 现有技术文献
[0008] 专利文献
[0009] 专利文献1:日本特开2010-003254号
[0010] 非专利文献
[0011]非专利文献 1 :P.ViolaandM.Jones，"Robustreal-timeobjectdetection"， IJCV2001,Vol. 57,No. 2,pp. 137-154,2002.
【发明内容】
[0012] 发明要解决的问题
[0013] 专利文献1所记载的技术以某种程度确定拍摄环境，将成为图像处理对象的数据 结构化为前提。但是，一般拍摄环境和被拍摄体的位置并不一定能够事先预测。此外，在临 时产生成为图像处理对象的数据的环境中，没有将该数据结构化。在该环境下，认为专利文 献1所记载的方法对于缩短检测目标的时间并非有效。
[0014] 非专利文献1所记载的技术例如在如检测脸部那样预先决定了检测对象物的情 况下是有效的，但在用于逐次指定检测对象物的用途中，需要每次实施样本的收集和机械 学习，因此从处理时间的观点出发是不现实的。
[0015] 本发明是鉴于上述课题而提出的，其目的在于提供一种能够从图像数据中高速地 检测出检测对象物的图像解析技术。
[0016]用于解决课题的手段
[0017] 为了解决上述课题，例如采用权利要求所记载的结构。本申请包括多个用于解决 上述课题的方法，举其中的一例，图像解析装置的特征在于，具备：图像存储部，其存储图像 和图像中包含的已检测目标的信息；图像输入部，其取得成为对目标进行检测的对象的对 象图像；类似图像检索部，其从图像存储部检索具有与从对象图像提取的特征量类似的特 征量的类似图像和类似图像中包含的已检测目标的信息；参数决定部，其根据类似图像中 包含的已检测目标的信息，决定对对象图像进行的检测处理中所使用的参数；任意目标检 测部，其按照决定的参数，从对象图像检测目标；图像登录部，其在图像存储部积蓄检测出 的目标和对象图像；以及数据输出部，其输出检测出的目标的信息。
[0018] 或者，一种从输入的对象图像中检测目标的图像解析方法，该图像解析方法具有： 提取步骤，其提取对象图像的特征量；检索步骤，其从图像存储部检索具有与提取的对象图 像的特征量类似的特征量的类似图像；决定步骤，其根据检索出的类似图像中包含的已检 测目标的信息，决定在针对对象图像的检测处理中所使用的参数；检测步骤，其根据决定的 参数，对对象图像进行检测处理来检测目标；输出步骤，其输出从对象图像检测出的目标； 以及存储步骤，其将对象图像和检测出的目标存储在图像存储部中。
[0019]发明效果
[0020] 根据本发明的图像解析装置，可以从图像中高速地提取任意的目标。通过以下的 实施方式的说明，上述以外的问题、结构以及效果更加明确。
【附图说明】
[0021 ]图1是实施方式1的图像解析系统100的结构图。
[0022] 图2是表示图像数据库108的结构和数据例的图。
[0023]图3是用于说明类似图像检索部109中的图像特征量的提取处理和类似图像检索 的图。
[0024] 图4是说明任意目标检测部111检测图像中的目标的方法的图。
[0025] 图5是说明任意目标检测部111检测图像中的目标的处理顺序的流程图。
[0026] 图6是用于说明检测参数决定部110使用场景判别来决定目标检测处理中使用的 参数的方法的图。
[0027] 图7是用于说明图像解析装置105进行基于场景判别的对目标检测的处理的流程 图。
[0028] 图8是用于说明检测参数决定部110使用场景判别来决定目标检测处理中使用的 模板的方法的图。
[0029] 图9是用于说明检测参数决定部110使用场景判别来决定目标检测处理中使用的 模板的处理的流程图。
[0030]图10是用于说明图像解析系统100使用场景判别来检测图像中的目标的处理中 的各功能部之间的处理顺序的图。
[0031] 图11是表示用于登录任意目标检测部111使用的模板的操作画面的结构例的图。
[0032] 图12是表示用于对使用场景判别的目标检测处理进行控制的操作画面的结构例 的图。
[0033] 图13是用于说明图像解析装置105对解析对象的图像集合进行分组来批量处理 的方法的图。
[0034] 图14是用于说明图像解析装置105对解析对象的图像集合进行分组来批量处理 的顺序的流程图。
[0035] 图15是实施方式3的内容云系统1500的概要图。
【具体实施方式】
[0036] 实施例1
[0037] <系统结构>
[0038]图1是本发明的实施方式1的图像解析系统100的结构图。图像解析系统100的 目的在于，从积蓄的大量图像中检测出与用户登录的模板图像类似的目标领域。图像解析 系统100具备图像/影像存储装置101、输入装置102、显示装置103、数据存储装置104以 及图像解析装置105。此外，在图1中未进行图示，但也可以具备摄像头从而能够直接解析 来自监视摄像头的影像。
[0039]图像/影像存储装置101是用于保存图像数据、影像（动态图像）数据的存储介 质，可以使用与计算机直接连接的硬盘驱动器、NAS(NetworkAttachedStorage，网络附加 存储）或通过SAN(StorageAreaNetwork，存储区域网）等网络连接的存储系统而构成。 此外，例如也可以是暂时保存从摄像头持续输入的影像数据的高速缓冲存储器。例如，图像 解析系统1〇〇将处理对象的规模假定为如果是图像则数十万件以上，如果是影像则数千小 时以上的大规模数据。
[0040] 输入装置102是鼠标、键盘、触摸设备等用于将用户操作传达给图像解析装置105 的输入接口。显示装置103是液晶显示器等输出接口，用于显示图像解析装置105的图像 解析结果以及用于与用户的对话操作等。数据存储装置104是用于记录图像解析装置106 的解析结果的存储装置，用于由上位的应用程序使用解析结果。
[0041]图像解析装置105是检测输入图像中的目标领域的装置，通过使用了类似图像检 索的场景判别来决定检测时的参数。关于类似图像检索的方法在后面进行叙述。场景是说 明映入到图像中的场面的单词，例如有"室内"、"风景"、"街上"等。本实施例中的场景判别 是指从数据库中检索具有与输入图像的图像特征量类似的图像特征量的图像。在本实施例 中，根据从检索结果得到的图像本身决定检测时的参数，因此不需要将场景单词化。关于检 测对象，用户通过登录模板图像可自由地进行变更。模板图像是检测对象的典型的图像，在 检测处理中检测出与模板图像类似的目标。图像解析装置105具备：图像输入部106、用户 操作输入部107、图像数据库108、类似图像检索部109、检测参数决定部110、任意目标检测 部111、图像登录部112以及数据输出部113。
[0042]图像输入部106从图像/影像存储装置101读出图像/影像数据，并转换成在图 像解析装置105内部使用的数据形式。此时，将影像数据分解成多个帧图像数据。读入的 数据在用户登录模板时被发送到图像登录部112,在进行解析处理时被发送给类似图像检 索部109。
[0043]用户操作输入部107检测用户对输入装置102的操作，并将其信号传递给类似图 像检索部109、检测参数决定部110、图像登录部112,控制各部的处理的执行或变更在处理 中使用的参数。
[0044]图像数据库108是保存图像数据及其特征量、目标的信息和特征量的数据库。图 像数据库108可以由类似图像检索部109、任意目标检测部111、图像登录部112进行访问， 进行针对已登录数据的检索/读出和新数据的登录操作。对于图像数据库的结构，将在后 面通过图2进行详细说明。
[0045] 类似图像检索部109从图像数据库108取得外观与输入图像类似的图像。作为检 索查询，使用从输入图像提取的图像特征量。图像特征量例如通过固定长度的向量来表示， 在检索处理中搜索向量之间的欧几里德距离近的图像。通常，类似图像检索是返回类似图 像的ID和类似度的列表的操作，但在类似图像检索部108中，从数据库还读出类似图像所 包含的目标的信息。关于类似图像检索，将在后面通过图3进行详细说明。
[0046] 检测参数决定部110根据从类似图像检索部109得到的类似图像所包含的目标的 信息，决定在任意目标检测部111的图像识别处理中所使用的参数。参数例如是想要检测 的目标的尺寸、图像中的位置、种类、特征量。关于使用类似图像的参数的决定，将在后面使 用图6和图8进行详细说明。图像解析装置105可以直接使用通过检测参数决定部110决 定的参数，也可以经由数据输出部113将推定的参数的候补传达给用户，经由用户操作输 入部107接受用户所使用的参数。