专利名称：图像分析装置及图像分析方法
技术领域：
本发明涉及图像分析装置及图像分析方法。
背景技术：
目前已知能够决定在用于识别图像数据等的对象数据是否为特定内容的数据的 识别处理中所使用的特征量的种类和识别条件的装置(例如参照专利文献1)。另外，已知 以高精度识别动态图像中的被拍摄体的技术(例如参照专利文献2)。专利文献1 日本特开2005-115525号公报专利文献2 日本特开2001-34756号公报非专利文献1 IJacky S. C. Yuk, Kwan-Yee K. Wong, Ronald H. Y. Chung, F. Y. L. Chin and K. P. Chow," Real-time multiple head shape detection and tracking system with decentralized trackers“ ， Proceedings of the Sixth International Conference on Intelligent Systems Design and Application(ISDA' 06)，vol. 02，pp. 384-389，200与巨专禾[!文 2 J Shai Aviaden, Ensemble Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29,issue. 2,pp.261-271,Feb.,200非专利文献 3Helmut Grabner,Michael Grabner, " Real-time tracking via on-line boosting" ，vol. 1，pp. 47-57, BMVC200
发明内容
当使用规定了特征量的种类和识别条件的参照数据时，不易识别特征量变化的被 拍摄体。另外，在特征量变化大的情况下，有时被检测为不同的被拍摄体从而无法追踪特定 目标。由此，存在无法高效地进行目标的检测处理和特定目标的追踪处理的问题。为了解决上述问题，在本发明的第1方式中提供一种从动态图像中抽取特定的目 标的图像分析装置，该图像分析装置具有特征量存储部，其存储不同种类的多个基准特征 量；特征量抽取部，其从包括在动态图像中的多个动态图像构成图像中分别抽取不同种类 的多个特征量；目标抽取部，其根据被抽取的多个特征量相对于特征量存储部所存储的多 个基准特征量的适合度，从动态图像构成图像中抽取目标；基准特征量算出部，其由特征量 存储部存储的基准特征量，算出根据种类以预先确定的强度与被抽取的目标的特征量适应 的多个基准特征量；以及特征量更新部，其用基准特征量算出部所算出的基准特征量来更 新特征量存储部存储的多个基准特征量。优选算出适合度越大的种类则越以更大的强度适应于被抽取的目标的特征量的 多个基准特征量。优选基准特征量算出部算出以与种类相应的频度适应于被抽取的目标的特征量 的多个基准特征量。优选特征量抽取部从不同分辨率的图像中抽取多个特征量，特征量存储部存储与 从不同分辨率的图像中抽取的多个特征量相对应的多个基准特征量，基准特征量算出部算出以与分辨率相应的强度与被抽取的目标的特征量适应的多个基准特征量。优选基准特征量算出部算出分辨率越大则以越大的强度与被抽取的目标的特征 量适应的多个基准特征量。优选基准特征量算出部算出适应于被抽取的目标的特征量的、与比预先确定的值 大的分辨率相对应的多个基准特征量。优先基准特征量算出部具有非更新特征量选择部，其将目标抽取部从动态图像构 成图像中抽取目标时所使用的、适合规定条件的一个以上的种类的基准特征量设为适应的 基准特征量。优选非更新特征量选择部可将目标抽取部从动态图像构成图像中抽取目标时所 使用的、适合度为预先确定的值以上的一个以上的种类的基准特征量设为适应的基准特征量。优选基准特征量算出部还具有更新特征量选择部，其更优先选择非更新特征量 选择部所选择的基准特征量的种类以外的种类中、适合度更大的种类；以及更新特征量算 出部，其对更新特征量选择部所选择的种类，算出适应于被抽取的目标的特征量的一个以 上的基准特征量。优选更新特征量算出部将适应的多个基准特征量中对被抽取的目标的特征量的 适应度更大的基准特征量更优先选择作为适应的基准特征量。优选目标抽取部至少使用能够更新的预先确定的P种类的基准特征量来抽取目 标，更新特征量算出部将适应度更大的N种类的基准特征量更优先选择作为适应的基准特 征量，非更新特征量选择部将目标抽取部从动态构成图像中抽取目标时所使用的、适合度 为预先确定的值以上的(P-N)种类的基准特征量作为适应的基准特征量。优选更新特征量选择部选择适合度更大、比N多的M种类的特征量的种类，基准特 征量算出部对更新特征量选择部所选择的M种类，算出适应于被抽取的目标的特征量的基 准特征量，将所算出的M种类的基准特征量中的适应度更大的N种类的基准特征量更优先 选择作为适应的基准特征量。优选基准特征量算出部算出将包括被抽取的目标的区域的图像作为正解图像进 行学习而得到的基准特征量并作为适应的基准特征量。优选基准特征量算出部算出将包括被抽取的目标以外的区域在内的区域的图像 作为非正解图像进行学习而得到的基准特征量并作为适应的基准特征量。优选还具备适合度算出部，其对每个种类算出特征量抽取部所抽取的特征量相对 于基准特征量的适合度，目标抽取部根据对每个种类算出的适合度，从多个动态图像构成 图像中分别抽取目标。优选特征量存储部、特征量抽取部以及适合度算出部是由存储种类彼此不同的基 准特征量的多个弱分类器来安装的，多个弱分类器抽取种类彼此不同的特征量，多个弱分类器分别算出抽取到的特征量相对于存储的基准特征量的适合度并进行输出。在本发明的第2方式中，提供一种图像分析方法，用于从动态图像中抽取特定的 目标，该方法具有特征量存储步骤，将不同种类的多个基准特征量存储在特征量存储部 中；特征量抽取步骤，分别从包括在动态图像中的多个动态图像构成图像中抽取不同种类 的多个特征量；目标抽取步骤，其根据被抽取的多个特征量相对于特征量存储部所存储的多个基准特征量的适合度，从动态图像构成图像中抽取目标；基准特征量算出步骤，其由特 征量存储部存储的基准特征量，算出根据种类以预先确定的强度与被抽取的目标的特征量 适应的多个基准特征量；以及特征量更新步骤，其用在基准特征量算出步骤中算出的基准 特征量来更新特征量存储部所存储的多个基准特征量。另外，上述发明的概要，并未列举出本发明的全部技术特征，这些的特征群的辅助 结合也能够成本发明。
图1是表示一个实施方式中的图像处理系统10的一个例子的示图。图2是表示图像分析装置110的模块结构的一个例子的示图。图3是示意性地表示图像分析装置110中的处理内容的一个例子的示图。图4是示意性地表示处理450中的处理内容的一个例子的示图。图5是表示正解图像和非正解图像的图像区域的一个例子的示图。图6是表示正解图像和非正解图像的图像区域的其它一个例子的示图。附图标记10图像处理系统
90存储介质
100撮像装置
110图像分析装置
112分析结果数据库
150通信网络
160店铺空间
162商品架
164人物
170店铺服务器
180终端设备
200图像获取部
210特征量抽取部
220适合度算出部
230目标抽取部
240基准特征量算出部
242更新特征量选择部
244更新特征量算出部
246非更新特征量选择部
250目标区域推定部
260方向确定部
270特征量更新部
280特征量存储部
290输出部
400弱分类器402分类器404分类器集410，420，430，440，450，470，480，510，530，550，560处理412目标周边图像422 教学图像442识别结果460弱分类器462分类器464分类器集472推定区域图像500，520，552，562 弱分类器502分类器600,700 帧图像610，620，710，720 区域
具体实施例方式以下，通过发明的实施方式说明本发明，不过，以下的实施方式并不限定权利范围 所涉及的发明。另外，在实施方式中说明的特征组合并非全部都是发明的解决手段所必须。图1表示一个实施方式中的图像处理系统10的一个例子。如下面所说明，在一个 实施方式中，图像处理系统10能够作为店铺用的图像处理系统而工作。图像处理系统10具有拍摄店铺空间160的多个摄像装置lOOa-b、店铺服务器 170、通信网络150、图像分析装置110、分析结果数据库112、以及终端装置180。另外，在以 下的说明中，有时将撮像装置IOOa及撮像装置100b，总称为撮像装置100。同样，在以后的 说明中，有时通过省略末尾的英文字等连接数字符号的文字，表示数字符号所指示物的总 称。摄像装置IOOa拍摄店铺空间160。摄像装置IOOa将店铺空间160内的人物164a 和人物164b与店铺空间160内的商品棚162a、商品棚162b等一起进行拍摄，并生成动态 图像。撮像装置100a，将拍摄店铺空间160而得到的动态图像提供给店铺服务器170。并 且，撮像装置100b，被设置在与撮像装置IOOa不同的位置。除此以外，因为撮像装置IOOb 的功能及动作与撮像装置IOOa的功能及动作大体上同样，所以关于撮像装置100的说明予 以省略。店铺服务器170将由摄像装置IOOa和摄像装置IOOb所提供的动态图像面向图像 分析装置Iio发送给通信网络150。作为通信网络150，能够例示出因特网等电通信网络。 店铺服务器170例如设在摄像装置100的附近。在其它方式中，店铺服务器170也可以设 在店铺空间160内。另外，店铺服务器170控制摄像装置100的拍摄动作。例如，店铺服务器170控制 摄像装置100的拍摄功能的打开/关闭、拍摄率等。当撮像装置100能够变焦摄影的情况 下，店铺服务器170可以控制撮像装置100变焦值。同时，当撮像装置100的撮像方向可变的情况下，店铺服务器170可以控制撮像装置100的撮像方向。图像分析装置110设在区别于店铺空间160的空间内，通过通信网络150从店铺 服务器170获取由拍摄装置100分别拍摄的动态图像。图像分析装置110分析动态图像， 将分析结果面向终端装置180发送给通信网络150。此外，图像分析装置110也可以将分析结果输出给分析结果数据库112。图像分析 装置110也可以从分析结果数据库112中读出分析结果，并将读出的分析结果发送给终端 装置180。另外，图像分析装置110可以具有分析结果数据库112。分析结果数据库112，可 以设置在与图像分析装置110的设置空间不同的空间。在这种情况下，图像分析装置110， 可以借助通信网络150把分析结果发送给分析结果数据库112。终端装置180通过通信网络150从图像分析装置110获取图像分析装置110的分 析结果。终端装置180根据用户的指示加工并显示分析结果。终端设备180，可以设置在 与图像分析装置110被设置的空间不同的空间。终端设备180，可以被设置在店铺空间160 附近或店铺空间160内。下面概要地说明图像分析装置110的动作的一个例子。图像分析装置110从由摄 像装置100所拍摄的动态图像所包含的多个帧图像的各个图像中检测拍摄到人物164等移 动体的目标，并且在图像内追踪相同被拍摄体的目标。这个时候，图像分析装置110，使用多 个弱分类器进行目标的检测及追踪。具体地说，图像分析装置110具有从低分辨率图像中算出识别结果的多个弱分类 器、从中分辨率图像中算出识别结果的多个弱分类器、以及从高分辨率图像中算出识别结 果的多个弱分类器。这些弱分类器根据从图像中所抽取的特征量来算出识别结果。低分辨率图像用的弱分类器是用于抽取人物等特定种类的被拍摄体的目标的弱 分类器，从低分辨率图像中抽取多种类的特征量来算出识别结果。由此，能够以高的鲁棒性 (稳定性)来检测人物的目标。此外，低分辨率图像用的弱分类器不适应于追踪对象的目标 而使用。低分辨率图像用的弱分类器被构筑成例如能够通过事前学习等来以高鲁棒性检测 人物的目标。中分辨率图像用的弱分类器也同样地，抽取多种类的特征量来算出识别结果。中 分辨率图像用的弱分类器是由用于抽取人物等特定种类的被拍摄体的目标的多个弱分类 器、以及逐渐对追踪对象的目标适应的多个弱分类器所构筑。用于抽取特定种类的被拍摄 体的目标的弱分类器和低分辨率图像用的弱分类器同样，通过事前学习等构筑、不适应用 于追踪对象的目标。同时，中分辨率图像用的弱分类器中的对追踪对象的人物适应化的弱 分类器，譬如通过在线学习而每一帧每一帧地学习。高分辨率图像用的弱分类器也抽取多种类的特征量来算出识别结果。高分辨率图 像用的弱分类器对追踪对象的目标，通过在线学习而对每帧适应。在由事前学习来构筑弱分类器的情况下，能够使用利用了教学图像的强化学习的 方法。另外，弱分类器群也可以由使用了 Adaboost (自适应提升算法/Adaptive Boosting) 等提升(boosting)算法的集成学习来构筑。在线学习也可以使用在线提升(on-line boosting)的手法。图像分析装置110使用每帧图像中不同的组合的弱分类器来抽取目标，或使用通 过使每帧图像中不同的组合的弱分类器适应所得到的弱分类器来抽取目标。由此，图像分析装置110使用将鲁棒地检测特定种类的目标的弱分类器以及能够适应于被拍摄体的追 踪处理进行组合的分类器来抽取目标。因此，图像分析装置110能够鲁棒(robust)地检测 特定种类的目标，且能够高精度地进行追踪。此外，在本实施方式中“抽取目标”是指从图像区域中检测和追踪特定的目标。另 外，图像分析装置110将用于识别所抽取的目标存在的区域的坐标信息等位置信息作为分 析结果进行输出即可。除此之外，图像分析装置110也可以输出切出了目标存在的区域的 目标图像。由此，图像分析装置110为了找到新的目标，使用种类分类器在帧图像内全面探 索。而且，图像分析装置110利用追踪对象目标的以前的帧图像和当前的帧图像的两个观 察信息，进行目标位置的预测、目标的识别、以及弱分类器的更新的各工序，从而追踪目标。作为特定种类的目标检测用的分类器，能够使用种类分类器。在这种情况下的种 类分类器可以说是识别种类的分类器。另一方面，目标追踪用的分类器根据所追踪的目标 的环境，要求进行种类的识别和属于该种类的各个体的识别的能力。例如，当追踪对象的人物的周围没有其他人物时，作为追踪用的分类器所要求的 识别能力相对较低即可。例如，只要能够区别背景等非人物的目标和人物的目标即可。即 能够识别种类水平即可。但是，为了在多人物岔开走的时间和该时间前后的时间中正确地 获得移动路线，对追踪用的分类器所要求的识别能力提高。具体地说，要求具有区别多个人 物的能力。如上所述，根据图像分析装置110，分类器柔软地适应于追踪目标，因此分类器的 识别能力根据周围的环境变动(例如背景变动、混杂度的变动等)而被自动调整。即，图像 分析装置110所具有的分类器，具有多态(Polymorphism)特点。因而，图像分析装置110 所具有的分类器，能够根据状况变成种类水平的分类器或者个别目标的分类器。由此，根据图像分析装置110，分类器根据环境变动而被调整，因此柔软性显著高。 另外，根据图像分析装置110，按照目标的追踪来构筑分类器，因此对于已经被检测到的目 标，不应用初始状态的分类器就能够进行抽取。由此，根据图像分析装置110，检测处理和追 踪处理不独立，因此能够应对环境的激烈变动。此外，存储介质90存储图像分析装置110用的程序。存储介质90所存储的程序 提供给作为本实施方式的图像分析装置110而工作的计算机等电子信息处理装置。该计算 机具有的CPU，按照相应程序的内容动作，控制该计算机的各部分。CPU执行的程序，使该计 算机作为与本图及以后的图相关地说明的图像分析装置110等发挥作用。作为存储介质90，除了⑶-ROM之外，还能够例示出DVD或者PD等光学存储介质、 MO或者MD等光磁记录介质、磁带介质或者硬盘装置等磁记录介质、半导体存储器、磁存储 器等。另外，连接在专用通信网络或者因特网上的服务器系统中所设置的硬盘或者RAM等 存储装置也能够作为存储介质90而工作。另外，存储介质90存储图像处理系统10用的程序即可。除了作为图像分析装置 110之外，图像处理系统10用的程序至少还能够使计算机作为参照本图和后续图所说明的 分析结果数据库112、店铺服务器170、终端装置180以及摄像装置100中的任意一个而发 挥作用。图2表示图像分析装置110的模块结构的一个例子。图像分析装置110，具有图像获取部200、特征量抽取部210、适合度算出部220、目标抽取部230、基准特征量算出部240、 目标区域推定部250、方向确定部260、特征量更新部270、特征量存储部280和输出部290。 基准特征量算出部240，包含更新特征量选择部242、更新特征量算出部244和非更新特征 量选择部246。图像获取部200通过通信网络150从店铺服务器170获取摄像装置100所拍摄的 动态图像。图像获取部200所获取的动态图像提供给特征量抽取部210和目标抽取部230。特征量抽取部210从动态图像所包含的帧图像中抽取特征量。作为特征量，能够 例示出亮度分布等亮度特征量、各种小波域(Wavelet)特征量、Haar-Iike特征量、Edgelet 特征量、EOH特征量、HOG特征量等。适合度算出部220输出特征量抽取部210所抽取的特征量相对于基准特征量的适 合度。具体地说，特征量存储部280存储基准特征量，适合度算出部220输出相对于特征量 存储部280所存储的基准特征量的适合度。此外，特征量抽取部210对每个不同的特征量的种类抽取特征量。另外，特征量存 储部280分别针对各个不同种类存储基准特征量。而且，适合度算出部220对每个种类算
出适合度。此外，作为不同种类的特征量，如上所述，可以是Haar-Iike特征量、Edgelet特征 量等特征量种类本身不同的特征量。除此之外，作为不同种类的特征量，还能够包括用不同 的计算方法算出的特征量。作为不同的计算方法，包含从不同分辨率的图像抽取。也就是， 即使特征量的种类本身相同，也可以将从不同分辨率的图像抽取的特征量，看作在本实施 方式中不同种类的特征量。目标抽取部230根据由适合度算出部220所算出的关于各种类的适合度，判断作 为对象的图像是否为特定目标的图像。即，目标抽取部230能够抽取目标。另外，作为分类器的处理可安装特征量抽取部210、适合度算出部220、特征量存 储部280、和目标抽取部230。如果关注特征量的一个种类，则从特征量抽取部210抽取特 征量之后到适合度算出部220输出适合度为止的处理能够视为一个弱分类器的处理。而 且，当包括到根据关于多个种类的适合度来判断是否为目标图像的目标抽取部230的处理 为止时，能够视为用于抽取目标的一个分类器的处理。在被判断为是目标图像的情况下，目标抽取部230从帧图像中切出作为包括目标 的规定区域的图像的目标周边图像，并提供给基准特征量算出部240。基准特征量算出部 240使用由目标抽取部230提供的图像，算出用于从下一个帧图像中抽取目标的基准特征 量。基准特征量算出部240算出的基准特征量，通过特征量更新部270存储在特征量存储 部280中。由此，特征量存储部280所存储的基准特征量被更新为由基准特征量算出部240 所算出的基准特征量。而且，通过上述的特征量抽取部210、适合度算出部220、以及目标抽取部230中的 处理从下一个帧图像中抽取目标。通过重复该动作，从多个帧图像的各个中抽取目标。此外，基准特征量算出部240通过使用目标周边图像进行学习，算出适应于目标 周边图像的基准特征量。由此，基准特征量算出部240能够算出适应于当前帧的目标图像 的特征量。因此，基准特征量算出部240能够算出适于特定目标的追踪的基准特征量。此外，通过基准特征量算出部240算出适应于目标周边图像的基准特征量，而更新一个基准特征量意味着上述的弱分类器的处理得到适应。即，通过基准特征量算出部240 算出基准特征量并存储在特征存储部280中为止的特征量更新处理，能够视为构筑适应的 弱分类器的处理。在基准特征量算出部240中的基准特征量的算出处理基于学习的情况 下，特征量更新处理能够视为上述分类器的在线学习处理。此外，基准特征量算出部240能够根据作为被抽取的目标而拍摄的被拍摄体的方 向来更新基准特征量。例如，基准特征量算出部240，可使特征量存储部280按照被拍摄体 的每个方向存储用于抽取目标的基准特征量。在这种情况下，基准特征量算出部240能够 选择与作为被抽取的目标而拍摄的被拍摄体的方向相对应的基准特征量进行更新。此外，方向确定部260确定作为目标拍摄的被拍摄体的方向。在特征量存储部280 按照每个方向存储基准特征量的情况下，方向确定部260能够将与最适合的基准特征量相 对应而由特征量存储部280存储的方向作为被拍摄体的方向。基准特征量算出部240能够 根据由方向确定部260所确定的方向来进行上述的基准特征量的更新处理。另外，基准特征量算出部240根据由适合度算出部220算出的适合度来算出基准 特征量即可。例如，作为用于从下一个帧图像中抽取目标的基准特征量，能够排除适合度低 的基准特征量并加入适合度更高的基准特征量。换句话说，能够替换弱分类器的组合。因 此，能够提高追踪特定被拍摄体的目标的追踪处理的精度。另外，基准特征量算出部240能够根据各帧中的目标的位置来算出基准特征量。 例如，基准特征量算出部240能够通过将当前帧中的目标的图像用作正解图像(0K图像) 进行学习、或将当前帧中的目标的区域以外的区域的图像用作非正解图像(NG图像)进行 学习，来算出基准特征量。此外，目标区域推定部250推定下一个帧图像上的目标的位置。具体地说，根据动 态图像中的目标的运动速度和当前帧图像中的目标的位置，能够推定下一个帧图像上的目 标的位置。目标区域推定部250可以从当前帧图像中切出包括该推定的位置的区域的图像 并提供给基准特征量算出部240。在这种情况下，基准特征量算出部240能够通过将由目标区域推定部250提供的 图像作为非正解图像进行学习来算出基准特征量。由此，特征量存储部280存储的基准特 征量集被强化为难以检测下一个帧图像中的目标的周边图像的基准特征量集，因此能够提 高从下一个帧图像中检测目标的概率。在此，对基准特征量算出部240中的各部分的动作进行概要说明，其中，更新特征 量选择部242确定应该更新的种类。例如，作为更新特征量选择部242的处理，可以排除如 上述那样的适合度低的种类的基准特征量，导入新的基准特征量。而且，更新特征量算出部 244通过学习等使更新特征量选择部242所选择的种类的特征量得到适应。另外，非更新 特征量选择部246可选择不适应而在下一个帧图像中也用于目标抽取的种类的特征量。此 外，基准特征量算出部240中的各部分的动作将在后面叙述。另外，输出部290将目标抽取部230所抽取的目标的信息向外部输出。例如，输出 部290可将被抽取的目标的位置、被抽取的目标的图像本身输出给分析结果数据库112、终 端装置180等。如以上所说明，根据图像分析装置110，能够一体地进行目标的检测处理和 目标的追踪处理，能够降低用于追踪目标的运算量。图3示意性地表示图像分析装置110中的处理内容的一个例子。下面以分类器或者弱分类器的处理为例说明图像分析装置110的功能和动作。分类器集404包括使图像分析装置110能够用于目标抽取处理的多个分类器 402a C。分类器402a c分别与被拍摄体的不同方向相对应。具体地说，分类器402a 由适于检测人物的正面脸的多个弱分类器400a c所形成。在此，弱分类器400a由相对于低分辨率图像的一个以上的弱分类器400所形成。 例如，弱分类器400a由相对于8X8像素的分辨率的图像的一个以上的弱分类器400所形 成。在以后的图中，1个弱分类器400用1个横向长的矩形表示。弱分类器400b由相对于 中分辨率图像的1以上的弱分类器400形成，弱分类器400c由相对于高分辨率图像的1以 上的弱分类器400形成。比如，弱分类器400b由相对于16X16像素的分辨率的图像的1 以上的弱分类器400形成。弱分类器400c由相对于32X32像素的分辨率的图像的1以上 的弱分类器400形成。如弱分类器400a那样分辨率比较低的弱分类器可以作为检测种类 用的分类器部分而发挥作用，并且如弱分类器400c (或弱分类器400b)那样分辨率比较高 的弱分类器可以作为识别个别目标用的分类器部分而发挥作用。如后所述，分辨率比较高 的弱分类器400通过在线学习而适应于个别目标。这样通过成为与分辨率相对应的阶层性 的弱分类器构成，能够高速检测并追踪个别目标。另外，分类器402b由适于检测人物的右侧脸的多个弱分类器400所形成，分类器 402c由适于检测人物的左侧脸的多个弱分类器400所形成。除了这点之外，分类器402b和 分类器402c具有与分类器402a大致相同的结构，因此省略其说明。下面使用本图来说明图像分析装置110从分类器集404中生成用于目标抽取的分 类器集464的处理。在这里，由于说明上的原因，目标抽取部230，在处理480中，已经从前 一帧图像抽取了特定的目标。目标抽取部230向基准特征量算出部240提供表示目标的区 域的信息。此外，在抽取目标的阶段，适合度算出部220使用包括在分类器集464中的分类器 来算出适合度。适合度算出部220所算出的适合度提供给基准特征量算出部240。此外，在 抽取目标的阶段，方向确定部260确定目标表示的被拍摄体的方向，并将确定的方向也提 供给基准特征量算出部240。此外，在抽取目标的阶段，目标区域推定部250推定在下一帧 图像中的目标存在的区域，将表示所推定的区域的信息提供给基准特征量算出部240。更新特征量算出部244根据表示目标区域的信息，生成作为目标周边的图像的目 标周边图像412 (处理410)。这里所说的目标周边图像是指包括目标区域和目标周围区域 的区域的图像。并且，更新特征量算出部244使用目标周边图像412生成多个规定的像素 数的教学图像422 (处理420)。教学图像422包括正解图像和非正解图像。更新特征量算出部244从目标周边图 像412中的目标区域的图像，生成多个正解图像。此外，更新特征量算出部244从包含目标 周边图像412中的目标以外的区域的区域图像，生成多个非正解图像。在处理430中，通过非更新特征量选择部246从分类器402所具有的弱分类器中 选择为了在下一个帧图像中抽取目标而由目标抽取部230所使用的分类器。在处理430中 被选中的分类器，不适应于目标周边图像，而用于目标抽取。此外，在以后的说明中设为通过方向确定部260来抽取人物的正面脸的目标。在 这种情况下，由处理430选择的弱分类器400、以及通过处理450适应的弱分类器400都从形成分类器402a的弱分类器400中选择。当然，若抽取右侧脸的目标则从分类器402b中 选择，若抽取左侧脸的目标则从分类器402c中选择。此时，可选择对目标的适合度高的弱分类器400。另外，可从低分辨率图像用的弱 分类器400a中选择规定数量的弱分类器400。另外，除了低分辨率图像用的弱分类器400a 之外，还可从中分辨率图像中的弱分类器400a中选择规定数量的弱分类器400。由此，通过全部复制(例如复制弱分类器400a的全部)或者部分复制(例如复制 弱分类器400b的一部分)能够作为种类检测用的弱分类器而工作的弱分类器，而形成个别 目标的检测用的弱分类器。可以说，通过种类检测用的弱分类器的完全继承和部分继承，形 成检测/追踪用的弱分类器的一部分。据此，来判定用完全继承及部分继承的弱分类器检 测出的目标属于被相应的该弱分类器检测出的种类。这些被继承的弱分类器可以通过离线 学习而事前构筑。另一方面，为了识别个别目标，由弱分类器400b的一部分和弱分类器400c生成具 有检测各个体的特征(例如眼睛、口等特征)的能力的弱分类器。具体地说，为了让弱分类 器400b的一部分及弱分类器400c反映个体的特征，通过在线学习(比如，AdaBoost的手 法)使之进化。对进化了的弱分类器400c，通过在线学习编入用于分别识别正在追踪的多 个个别目标(譬如，属于同样种类的个别目标)的能力。由此，根据与分辨率相对应的阶层性构造，进行弱分类器的继承和进化。另外，分 类器的进化的处理包括弱分类器的选择、排除、更新的处理。尤其是在更新处理中，以在线 机械学习方法将个别目标的新特征加进分类器中。因此，因为种类检测用的弱分类器和个 别目标检测用的弱分类器联合，所以能够高速且高精度地检测/追踪个别目标。使用图像分析装置110的功能模块说明该进化的处理。通过更新特征量选择部 242的处理来选择适应于目标周边图像的弱分类器400。具体地说，在处理440中，通过包 括在分类器集404中的弱分类器400的各个进行对目标周边图像的判定处理，并算出识别 结果442。并且，在处理450中，根据识别结果442，生成分类器集464。例如，通过更新特征量选择部242的处理，选择应该适应的弱分类器400。被选择 的分类器适应于目标周边图像而用于目标抽取。此时，对目标的适合度更低的弱分类器400 可作为应该适应的弱分类器而更优先地选择。另外，可从中分辨率图像用的弱分类器400b 中选择规定数量的弱分类器400。另外，除了来自弱分类器400b的弱分类器400之外，还可 从高分辨率图像用的弱分类器400c中选择规定数量的弱分类器400。在这里，由更新特征量选择部242选择的弱分类器400，通过更新特征量算出部 244的处理，而适应于目标周边图像412。这里，也可以通过使用了教学图像422的在线提 升(Online boosting)的手法，使弱分类器400适应。并且，通过特征量更新部270的处理， 生成适应了的弱分类器460。通过在处理450适应的弱分类器460和在处理430选择的弱分类器400，构筑分类 器集464。另外，虽然在处理430选择的弱分类器400没被适应，但其是用于从下一帧图像 进行目标抽取的弱分类器，因此出于方便，改变符号表示为弱分类器460。如上所述，弱分类器460a，均为进行和弱分类器400a同样的识别处理的弱分类 器。并且，弱分类器460a中的规定数量的弱分类器460用于从下一帧图像进行目标抽取处 理。
弱分类器460b中的一部分弱分类器460，可以全是进行和弱分类器400b中对应的 弱分类器400同样的识别处理的弱分类器。其中的一部分弱分类器460用于从下一帧图像 进行目标抽取处理。而且，除此之外的弱分类器460可以是弱分类器400b中对应的弱分类 器400在处理450中被适应的弱分类器。被适应的弱分类器用于从下一个帧图像进行目标 抽取处理。另外，弱分类器460c中作为更新的弱分类器而被选择的弱分类器460是弱分类器 400c中对应的弱分类器400在处理450中被适应的弱分类器，这些弱分类器用于目标抽取处理。在处理480中，目标抽取部230，使用分类器集464中应该被用于目标抽取处理的 弱分类器460，从下一个帧图像抽取目标。此外，处理470表示目标区域推定部250推定在 下一个帧图像上目标所在的区域的处理。在处理480中，目标抽取部230对作为在处理470 中被推定的区域的图像的推定区域图像472，使用包括在分类器集464中的弱分类器来进 行目标的探索/识别处理。如以上所说明，根据图像分析装置110，在构筑检测/追踪个别目标的分类器的情 况下，从上一层弱分类器中继续一部分。而且，通过在线学习方法，在另一部分的弱分类器 中加入检测个别目标的特征的能力。通过这样地进行继承和进化的处理，能够在维持种类 的检测能力的同时，与从初始状态的弱分类器进行在线学习时相比具有更高的识别能力。如上所述，图像分析装置110所具有的分类器，阶层性地形成与来自粗图像的特 征量相对应的弱分类器以及与来自细图像的特征量相对应的弱分类器。另外，以包括与来 自粗图像的特征量对应的、能够充分表达种类属性的弱分类器的方式形成分类器。因此，图 像分析装置110具有的分类器，能够作为用于检测种类的分类器而发挥作用。进一步，根据 图像分析装置110，通过在线学习使用于识别作为追踪的对象的个别目标的弱分类器进化， 从而能够使分类器具有检测个别目标的独自特征的能力。由此，能够构筑以下分类器其能 够检测并识别个别目标以在影像场景中追踪多个目标。根据图像分析装置110，对于已经检测到的目标不使用初始状态的弱分类器，而使 用继承/进化了的弱分类器来进行检测/追踪处理。因此，不分离追踪处理和检测处理而 能够利用追踪处理和检测处理之间的紧密的依存关系，能够高效地进行检测/追踪。因此， 根据图像分析装置110，能够提高分类器对环境的适应能力。图4示意性地表示与处理450相关联的处理内容的一个例子。分类器502a设为用 于特定目标的检测处理的分类器。参照本图说明构筑用于对下一个帧图像的目标抽取处理 的新的分类器时的处理。在此，尤其是以构筑适应于目标周边图像的弱分类器的处理为中 心进行说明。此外，虽然下面说明了对正面脸的分类器462a的处理，但是对于分类器462b、 分类器462c的处理也当然相同。分类器502a表示分类器462a中实际被用于目标抽取的分类器。分类器502a，分 为弱分类器500a和弱分类器500b。弱分类器500a表示弱分类器460a中的用于目标抽取 的弱分类器460、和弱分类器460b中被用于目标抽取且未能适应于目标周边图像的弱分类 器460。弱分类器500b表示能适应于目标周边图像的弱分类器。弱分类器500a包含高分辨率用的弱分类器460a的一部分和中分辨率用的弱分类 器460b的一部分。在抽取特定的目标时，目标抽取部230用弱分类器500a，从后续的1个以上的帧图像抽取特定的目标。此外，在被拍摄的人物的脸的方向变化大的情况下，使用分 类器462b等与脸的方向相对应的其它分类器462。在该情况下，抽取特定的脸方向的目标 之后，可从后续的一个以上的帧图像使用构筑成用于特定的脸方向的分类器。由此，从人物检测用的弱分类器400a选择的适于抽取特定目标的组合的低分辨 率用以及一部分中分辨率用的弱分类器500a，用于从后续的一个以上的帧图像中进行目标 抽取处理。因此，能够降低误检测其它目标的概率并且降低运算量。接着，说明对弱分类器500b的处理。弱分类器500b由P个弱分类器500所形成。 通过该P个弱分类器500，向分类器提供识别个别目标的能力。在处理510中，通过更新特 征量选择部242的处理，选择排除的N个弱分类器。具体地说，可按照相对于目标的图像的 适合度从小到大的顺序，选择N个弱分类器作为排除的弱分类器。如弱分类器500b所示， 弱分类器500b分为(P-N)个弱分类器520A、和N个弱分类器520B。通过由处理530中的 排除处理来排除弱分类器520B，剩下(P-N)个弱分类器520A。这样，针对与P个特征量对应的弱分类器，用个别目标评价识别性能。按照评价结 果对P个弱分类器的识别性能进行排序，从中排除识别性能更低的N个弱分类器。接着，说明从分类器402a生成用于从下一个帧图像进行目标抽取处理的弱分类 器562的处理。在处理550中，通过更新特征量算出部244的处理，从包括在分类器402a中 的弱分类器400中选择追加的M个弱分类器的候补。在这种情况下，可按照对目标的图像 的适合度从高到低的顺序选择M个弱分类器400。被选择的弱分类器表示为弱分类器552。由此，将当前帧图像中的个别目标用作评价数据，从包括在分类器402a中的弱分 类器400中选择与M个特征量相对应的弱分类器。另外，还可以从继承的弱分类器400a或 弱分类器400b中选择识别性能的评价值高的M个特征量，从弱分类器400c中选择与已经 选择的M个特征量对应的M个弱分类器。在这里，还可以包含为了检测其他种类的目标而 使用的弱分类器并进行评价，选择至少含有为了检测其他种类的目标而使用的弱分类器的 M个弱分类器。在处理560中，使用选择的弱分类器552和教学图像422，通过在线提升的方法，作 为用于从下一个帧图像进行目标抽取处理的弱分类器而确定N个弱分类器562。具体地说，在特定的弱分类器552中，从各个教学图像422中分别抽取特征量。通 过比较被抽取的特征量和基准特征量，而对各个教学图像422分别确定由特定的弱分类器 552对教学图像422是否是正解图像进行了判定的判定值。此外，分别对教学图像422的 每个确定表示教学图像422是否为正解图像的教学信号与相应的判断值之间的误差值。而 且，基准特征量算出部240算出将对教学图像422分别确定的误差值进行加权后的值最小 化的基准特征量。通过将所算出的基准特征量设为用于由特定的弱分类器552判定的基准 特征量，能够使特定的弱分类器552适应于教学图像。同样地，通过对多个弱分类器552的各个分别算出将上述加权误差值最小化的基 准特征量，能够使多个弱分类器552分别适应于教学图像422。更新特征量选择部242将加 权误差更小的N个弱分类器552更优先地选择作为用于从下一个帧图像进行目标抽取处理 的弱分类器562。这样，通过将抽取对象的目标周边图像作为教学图像进行在线学习，而从 M个弱分类器552中选择N个有效的弱分类器562。通过更新特征量算出部244的处理，耦合(P-N)个弱分类器520A和N个弱分类器562，形成P个弱分类器。通过所形成的弱分类器和弱分类器500a，构筑实际用于从下一个 帧图像进行目标抽取处理的分类器。这样，形成对检测/追踪个别目标有效的分类器。目 标抽取部230，采用构筑的分类器，从下一帧图像抽取目标。而且，用于从再下一个帧图像抽取目标的分类器，是通过将由当前的帧图像构筑 的分类器视为本图的分类器502并进行本图中所说明的处理来构筑的。并且通过反复这样 的处理，能够从包含在动态图像中的多帧图像检测/追踪特定的目标。图5表示正解图像和非正解图像的图像区域的一个例子。帧图像600上的区域 610表示从帧图像600抽取的目标存在的区域。区域620表示被抽取的目标的周围的区域。 区域610及区域620的区域的图像，相当于图3及图4相关说明过的目标周边图像。在生成教学图像422时，更新特征量算出部244从与区域610相对应的图像中生 成多个正解图像。另外，更新特征量算出部244从与区域620相对应的图像中生成多个非 正解图像。通过使用了多个正解图像及多个非正解图像的学习，能让分类器适应于目标周 边图像。图6表示正解图像和非正解图像的图像区域的另一个例子。帧图像700-1、帧图 像700-2、帧图像700-3设为按照该顺序拍摄的连续的帧图像。更新特征量算出部244，在 帧图像700-1上及帧图像700-2上，生成用于从帧图像700-3抽取目标的教学图像422。帧图像700-2上的区域710b与图5中说明的区域610相当，从区域710b中生成 多个正解图像。区域710b可以包括被抽取的目标的周边区域(例如比被抽取的目标的区 域宽2 3像素的区域)。通过将包括周边区域的图像也设为正解图像的图像区域，能够与 所追踪的目标的变动相对应。帧图像700-2上的区域720a，相当于在图5说明的区域620，从区域720a生成多 个非正解图像。区域720a变成作为目标周边的背景的图像区域。非正解图像的图像区域 可设定于在帧图像700-2中检测所追踪的目标的区域。帧图像700-1上的区域710a是从帧图像700-1中抽取的目标的区域，在更新特征 量算出部244中的处理中，从区域710a中生成多个正解图像。另外，从帧图像700-1上的 区域710a抽取的目标和从帧图像700-2上的区域710b抽取的目标，均作为相同的被拍摄 体的目标。另外，帧图像700-2上的区域720b是在帧图像700-2中抽取其它目标的区域，在 更新特征量算出部244中的处理中从区域720b生成多个非正解图像。也可以从所追踪的 目标附近的其他目标的区域720b生成非正解图像。这样，通过从其他的目标的区域生成非 正解图像，能降低将其他目标作为特定目标检测出的概率。另外，区域720c表示预测存在于区域720a的目标在下一帧图像700_3中存在的 区域。由目标区域推定部250按照目标的运动推定区域720c。根据更新特征量算出部244 的处理，从帧图像700-2上的区域720c，生成多个非正解图像。在帧图像700-2上的区域720c中，存在于帧图像700_3中的特定目标周围的被拍 摄体被拍摄到的概率较高。因此，通过将帧图像700-2上的区域720c作为非正解图像，能降 低把追踪对象的目标附近存在的其他被拍摄物的目标作为追踪对象的目标从帧图像700-3 检测出的概率。此外，目标抽取部230也可以从帧图像700-3的区域720c抽取目标。即，目标抽取部230抽取目标的抽取对象的区域、和生成非正解图像的对象的区域，可以是图像区域 上相同的区域。此外，生成非正解图像的对象的区域也可以比抽取对象的区域还小。如图5和图6所关联的说明，不仅是当前帧中的目标图像，前一帧中的目标的图像 也用作正解图像。另外，作为非正解图像，不仅使用目标周边区域的背景图像，而且还使用 下一个帧的时刻下的目标的位置附近的背景图像、以及位于追踪对象的目标的附近的其它 目标的图像。另外，通过图像分析装置110，能够在在先学习中编入不是以帧单位的学习，而 是也包含目标的移动、目标图形的变化。因此，能够提高分类器对环境变动的对应能力。此外，生成个别目标的识别用的弱分类器的在线学习处理，可以不在每个帧中进 行。动态图像中的追踪要求高速、实时性。以确保实时性为目的，还可以适当改变在线学习 的频度。例如，在目标静止着的情况下、或者目标的移动量(变化量)小于预先确定的值的 情况下，可不进行在线学习。在周围环境实际上没有变化、或目标实际没有变化的情况下， 不进行在线学习也能够检测/追踪目标。除此之外，在由个别目标的识别用的弱分类器所识别而得到的目标的相似度高于 预先确定的第1值的情况下，可以不进行在线学习。在由当前的分类器判定了足够高的相 似度的情况下，意味着个别目标的特征已经加进弱分类器中，因此不进行在线学习也能够 充分地检测/追踪个别目标。除此之外，在上述相似度低于预先确定的第2值(设为小 于第1值的值)的情况下，也可以不进行在线学习。相似度显著低则意味着目标被遮挡 (Occlusion)、或者被误检测的可能性高。在这种情况下，如果进行在线学习，则有时不能检 测/追踪没有被遮挡的目标。因此，当类似度显著低的时候，从实例(instance)分类器的 稳定性考虑，最好不进行学习。如以上所说明，根据图像分析装置110，能够构筑能够总括地进行目标的检测处理 和目标的识别处理的分类器。因此，能够显著降低这些处理所需的运算量。此外，在图4至图6等中，以分类器或者弱分类器的处理为例说明图像分析装置 110的功能和动作。如上所述，特征量抽取部210、适合度算出部220、特征量存储部280以 及目标抽取部230的功能和动作能够视为弱分类器的功能和动作。并且，基准特征量的适 应及更新，可以看作是分类器的选择及适应。因此，图像分析装置110各构成要素，关于基 准特征量如下动作，从而能够实现与在图4到图6等中关于分类器具体说明过的功能等效 的功能。S卩，通过以下所说明的动作，图像分析装置110能够从动态图像中抽取特定的目 标。目标的抽取包括通过为每个目标确定位置来进行追踪的情况。特征量存储部280存储 不同种类的多个基准特征量。特征量抽取部210从包括在动态图像中的多个帧图像的各个 中抽取不同种类的多个特征量。目标抽取部230，按照被抽取的多个特征量相对于特征量存 储部280存储的多个基准特征量的适合度，从帧图像抽取目标。基准特征量算出部240通过由特征量存储部280存储的基准特征量，算出与被抽 取的目标的特征量根据种类以预先确定的强度适应的多个基准特征量。并且，特征量更新 部270，按照基准特征量算出部240算出的基准特征量，更新特征量存储部280存储的多个 基准特征量。此外，基准特征量算出部240可以算出适合度越大的种类则以更大的强度适应于被抽取的目标的特征量的多个基准特征量。另外，基准特征量算出部240可以算出以与种 类相应的频度适应于被抽取的目标的特征量的多个基准特征量。特征量存储部280存储与从不同的分辨率的图像抽取的多个特征量相对应的多 个基准特征量。而且，特征量抽取部210从不同分辨率的图像中抽取多个特征量。基准特 征量算出部240算出以与分辨率相应的强度适应于被抽取的目标的特征量的多个基准特 征量。基准特征量算出部240可以算出分辨率越大则以更大的强度适应于被抽取的目标的 特征量的多个基准特征量。此外，基准特征量算出部240可以算出适应于被抽取的目标的 特征量的、与比预先确定的值大的分辨率相对应的多个基准特征量。关于基准特征量算出部240的动作，更新特征量选择部242更优先选择非更新特 征量选择部246所选择的基准特征量的种类以外的种类中适合度更大的种类。更新特征量 算出部244，关于更新特征量选择部242选择的种类，算出与抽取的目标的特征量适应的1 个以上的基准特征量。更新特征量算出部244，更优先选择适应的多个基准特征量中、对被 抽取的目标的特征量的适应度更大的基准特征量，作为适应的基准特征量。另外，作为适应 度能示例学习处理中的学习误差。此外，目标抽取部230可以至少使用能够被更新的预先确定的P种类的基准特征 量来抽取目标。而且，更新特征量算出部244可以更优先选择适应度更大的N种类的基准 特征量作为适应的基准特征量。而且，非更新特征量选择部246将目标抽取部230从帧图 像抽取目标时所使用的适合度为预先确定的值以上的(P-N)种类的基准特征量设为适应 的基准特征量。在这种情况下，也可以将按照适应度的顺序选择的N种类的特征量设为基 准特征量。而且，更新特征量选择部242选择适合度更大、多于N的M种类的特征量的种类。 此时，可以按照适合度高的顺序选择M种类的特征量。基准特征量算出部240对由更新特 征量选择部242选择的M种类，算出适应于被抽取的目标的特征量的基准特征量。而且，基 准特征量算出部240可以更优先选择算出的M种类的基准特征量中适应度更大的N种类的 基准特征量作为适应的基准特征量。此外，非更新特征量选择部246可以将目标抽取部230从帧图像抽取目标时所使 用的、适合规定条件的一个以上的种类的基准特征量设为适应的基准特征量。即，适合规定 条件的一个以上的种类的基准特征量没有被更新，通过目标抽取部230用于下一个帧图像 中的目标抽取处理。在选择没有更新的特征量的情况下，非更新特征量选择部246可以将目标抽取部 230从帧图像抽取目标时所使用的、适合度为预先确定的值以上的一个以上的种类的基准 特征量设为适应的基准特征量。此外，非更新特征量选择部246可以根据教学图像422选 择适应的基准特征量。具体地说，非更新特征量选择部246，可以根据基于教学图像422的 学习，选择能对正解图像判定正解的概率比预定值高的组合的基准特征量。此外，非更新特 征量选择部246，可以进一步根据基于教学图像422的学习，选择能对非正解图像判定非正 解的概率比预定值高的组合的基准特征量。在使特征量适应的处理中，基准特征量算出部240作为适应的基准特征量，可以 算出将包括被抽取的目标的区域的图像作为正解图像进行学习而得到的基准特征量。另 外，基准特征量算出部240作为适应的基准特征量，可以算出将包括被抽取的目标以外区域的区域的图像作为非正解图像进行学习而得到的基准特征量。此外，基准特征量算出部240可以通过将包括帧图像中被抽取的特定的目标的区 域的图像设为正解图像来算出基准特征量。基准特征量算出部240可以通过将包括从帧图 像的前一个帧图像中抽取的特定的目标的区域的图像设为正解图像来算出基准特征量。在 此，目标抽取部230可以根据特征量抽取部210从下一个帧图像中抽取的特征量相对于基 准特征量的适合度，从下一个帧图像中抽取特定的目标。基准特征量算出部240可以通过将不包括帧图像中被抽取的特定的目标的区域 的图像设为非正解图像来算出基准特征量。另外，基准特征量算出部240可以通过将与在 帧图像中被抽取的特定的目标相隔预先确定的距离的区域的图像设为非正解图像来算出 基准特征量。另外，基准特征量算出部240可以通过将包括从帧图像中抽取的其它目标的 区域的图像设为非正解图像来算出基准特征量。目标区域推定部250根据从动态图像抽取的特定的目标的移动量来推定在其它 帧图像中应该存在特定目标的区域。基准特征量算出部240可以通过将包括其它帧图像中 的目标区域推定部250所推定的区域的图像设为非正解图像来算出基准特征量。此外，适合度算出部220按照每个种类算出特征量抽取部210所抽取的特征量相 对于基准特征量的适合度。并且，目标抽取部230，按照对每个种类算出的适合度，分别从多 个帧图像抽取目标。在这种情况下，目标抽取部230，在比预定的适合度大的适合度被算出 的特征量的数比预定值多时，可以作为特定的目标而抽取。除此以外，目标抽取部230，在以 所定的加权将适合度进行加权后的合计值比预定值大的情况下，可以作为特定的目标而抽 取。此外，特征量存储部280与被拍摄体的方向相对应而存储多个基准特征量。特征 量抽取部210从包括在动态图像中的多个帧图像的各个中抽取多个特征量。目标抽取部 230根据被抽取的多个特征量相对于与被拍摄体的方向对应而存储的多个基准特征量的适 合度，从帧图像中抽取特定被拍摄体的目标。方向确定部260确定特定被拍摄体的方向。此时，可根据相对于基准特征量的适 合度来确定方向。譬如，方向确定部260，可以将特征量存储部280所存储的多个特征量中、 与算出了比预定的值大的适合度的基准特征量对应地由特征量存储部280存储的被拍摄 体的方向，确定为特定被拍摄体的方向。这样，方向确定部260，可以通过将特征量抽取部210从比预定的分辨率小的分辨 率的图像抽取的特征量与同分辨率的基准特征量分别进行比较，针对被拍摄体的各个方向 算出适合度。而且，方向确定部260将与算出了更大适合度的基准特征量对应的被拍摄体 的方向确定为特定被拍摄体的方向。而且，基准特征量算出部240通过特征量存储部280存储的基准特征量来算出适 应于被抽取的目标的基准特征量。特征量更新部270可以用基准特征量算出部240算出的 基准特征量来更新特征量存储部280与确定的方向对应地存储的基准特征量。由此，能够 通过学习来强化与被拍摄体的方向对应的适当组合的基准特征量。如上所述，在图像分析装置110中，利用检测处理和追踪处理之间的紧密的关联 性，通过向种类分类器导入继承和进化的概念，由作为检测种类的检测器的种类分类器来 构筑目标追踪用的种类分类器。通过实现进化的在线学习，能够动态地将对环境变动的对应能力编入分类器。这样，根据由图像分析装置110实现的分类器，能够识别人物彼此或与 环境变动相对应。例如，根据图像分析装置110，即使对于因被拍摄体的姿势等变动而引起的目标形 状变动、包括照明变动和背景变动的被拍摄体存在的环境的变动、拍摄性能的变动(例如 对比度的变动、摇晃等分辨性能的变动)，也能够恰当地进行检测/追踪。此外，即使在目标 彼此重叠或被周围物遮蔽等可能产生遮挡的环境中也能恰当地进行检测/追踪。此外，在 撮像装置100自身移动的情况下也能恰当地进行检测/追踪。此外，即使在追踪多个目标 的情况下，也能恰当地区别各目标。此外，因为能容易地检测出个别目标，所以在多个撮像 装置100间的协调/联合也变容易。此外，当目标的移动的规则性比较低的情况下、推测目 标的移动的信息不足的情况下，也能恰当地进行检测/追踪。此外，在产生了影像噪声的时 候，也能恰当地进行检测/追踪。这样，通过图像分析装置110，能够相对于这样的环境变动 而稳定且高精度地进行个别目标的抽取。如以上关联图1至图6所说明，根据图像处理系统10，能够正确地追踪特定的顾 客，因此能够正确地分析顾客信息、正确地分析该顾客感兴趣的商品。由此，图像处理系统 10能够作为店铺用的图像处理系统而工作。除此之外，图像处理系统10能够应用于多种用途。例如，通过图像处理系统10， 还能够根据顾客感兴趣的商品的信息来向顾客提供广告内容，在这种情况下，图像处理系 统10能够作为标牌(Signage)系统而工作。另外，图像处理系统10还能够作为确定可疑 人员关注的东西的监视系统或者防范系统而工作。另外，图像处理系统10能够作为认证特 定被拍摄体的认证系统而工作。另外，图像分析装置110也可以获取不同的店铺空间160的动态图像进行分析。由 此，能够在店铺间比较顾客的动态等。另外，在上述中，作为店铺用的系统说明了图像处理 系统10的功能和动作，但是作为图像处理系统10的用途，除了店铺用以外还能够用于各种 用途。以上，通过实施方式说明了本发明，不过，本发明的技术范围并不限于以上的实施 方式所记载的范围。另外，本领域技术人员明白，能够对上述实施方式加以多种多样的改良 和变更。根据权利要求的记载可以明确，实施了这样的变更和改良的实施方式也包含在本 发明的技术范围之内。权利要求书、说明书和附图中表示的装置、系统、程序和方法中的动作、次序、步 骤、阶段等的各处理的执行顺序，只要没有特别注明“比...先”、“在...之前”等，或者只 要不是后边的处理必须使用前面的处理的输出，就可以以任意的顺序实施。有关权利要求 书、说明书和附图中的动作流程，为了说明上的方便，使用了“首先”、“其次”等字样加以说 明，但即使这样也不是意味着以这个顺序实施是必须的条件。
权利要求
一种图像分析装置，用于从动态图像抽取特定的目标，具有特征量存储部，其存储不同种类的多个基准特征量；特征量抽取部，其从包括在动态图像中的多个动态图像构成图像中分别抽取不同种类的多个特征量；目标抽取部，其根据所述被抽取的多个特征量相对于所述特征量存储部存储的多个基准特征量的适合度，从所述动态图像构成图像中抽取目标；基准特征量算出部，其由所述特征量存储部存储的基准特征量，算出根据所述种类以预先确定的强度与所述被抽取的目标的特征量适应的多个基准特征量；以及特征量更新部，其用所述基准特征量算出部算出的基准特征量来更新所述特征量存储部存储的多个基准特征量。
2.根据权利要求1所述的图像分析装置，其中，上述基准特征量算出部计算出所述适 合度越大的种类则越以更大的强度与所述被抽取的目标的特征量适应的多个基准特征量。
3.根据权利要求1或2所述的图像分析装置，其中，所述基准特征量算出部计算出以与 所述种类相应的频度与所述被抽取的目标的特征量适应的多个基准特征量。
4.根据权利要求1或2所述的图像分析装置，其中，所述特征量抽取部从不同分辨率的图像中抽取多个特征量，所述特征量存储部存储与从不同分辨率的图像中抽取的多个特征量相对应的多个基 准特征量，所述基准特征量算出部算出以与所述分辨率相应的强度与所述被抽取的目标的特征 量适应的多个基准特征量。
5.根据权利要求4所述的图像分析装置，其中，所述基准特征量算出部算出所述分辨率越大则以越大的强度与所述被抽取的目标的 特征量适应的多个基准特征量。
6.根据权利要求5所述的图像分析装置，其中，所述基准特征量算出部算出适应于所述被抽取的目标的特征量的、与比预先确定的值 大的分辨率相对应的多个基准特征量。
7.根据权利要求1或2所述的图像分析装置，其中，所述基准特征量算出部具有非更新特征量选择部，其将所述目标抽取部从所述动态 图像构成图像中抽取目标时所使用的、适合规定条件的一个以上的种类的基准特征量，设 为所述适应的基准特征量。
8.根据权利要求7所述的图像分析装置，其中，所述非更新特征量选择部将所述目标 抽取部从所述动态图像构成图像中抽取目标时所使用的、所述适合度为预先确定的值以上 的一个以上的种类的基准特征量，设为所述适应的基准特征量。
9.根据权利要求7所述的图像分析装置，其中，所述基准特征量算出部还具有更新特征量选择部，其更优先选择所述非更新特征量选择部所选择的基准特征量的种 类以外的种类中、所述适合度更大的种类；以及更新特征量算出部，其对所述更新特征量选择部所选择的种类，算出适应于所述被抽 取的目标的特征量的一个以上的基准特征量。
10.根据权利要求9所述的图像分析装置，其中，所述更新特征量算出部将所述适应的多个基准特征量中对被抽取的目标的特征量的 适应度更大的基准特征量，更优先选择作为所述适应的基准特征量。
11.根据权利要求10所述的图像分析装置，其中，所述目标抽取部至少使用能够更新的预先确定的P种类的基准特征量来抽取目标， 所述更新特征量算出部将所述适应度更大的N种类的基准特征量更优先选择作为所 述适应的基准特征量，所述非更新特征量选择部将所述目标抽取部从所述动态图像构成图像中抽取目标时 所使用的、所述适合度为预先确定的值以上的(P-N)种类的基准特征量，设为所述适应的 基准特征量。
12.根据权利要求11所述的图像分析装置，其中，所述更新特征量选择部选择所述适合度更大、比N多的M种类的特征量的种类， 所述基准特征量算出部对所述更新特征量选择部所选择的M种类，算出适应于所述被 抽取的目标的特征量的基准特征量，将所算出的M种类的基准特征量中的所述适应度更大 的N种类的基准特征量更优先选择作为所述适应的基准特征量。
13.根据权利要求1或2所述的图像分析装置，其中，所述基准特征量算出部算出将包括所述被抽取的目标的区域的图像作为正解图像进 行学习而得到的基准特征量，并作为所述适应的基准特征量。
14.根据权利要求1或2所述的图像分析装置，其中，所述基准特征量算出部算出将包括所述被抽取的目标以外的区域在内的区域的图像 作为非正解图像进行学习而得到的基准特征量，并作为所述适应的基准特征量。
15.根据权利要求1或2所述的图像分析装置，其中，还具备适合度算出部，其对每个所述种类计算出所述特征量抽取部所抽取的特征量相 对于所述基准特征量的适合度，所述目标抽取部根据对每个所述种类算出的适合度，从多个动态图像构成图像中分别 抽取目标。
16.根据权利要求15所述的图像分析装置，其中，所述特征量存储部、所述特征量抽取部以及所述适合度算出部，由用于存储种类彼此 不同的所述基准特征量的多个弱分类器来安装，所述多个弱分类器抽取种类彼此不同的所述特征量，所述多个弱分类器分别计算并输出所述抽取到的特征量相对于存储的所述基准特征 量的适合度。
17.一种图像分析方法，用于从动态图像中抽取特定的目标，具有 特征量存储步骤，其存储不同种类的多个基准特征量；特征量抽取步骤，其从包括在动态图像中的多个动态图像构成图像中分别抽取不同种 类的多个特征量；目标抽取步骤，其根据所述被抽取的多个特征量相对于在所述特征量存储步骤中存储 的多个基准特征量的适合度，从所述动态图像构成图像中抽取目标；基准特征量算出步骤，其由在所述特征量存储步骤中存储的基准特征量，算出根据所述种类以预先确定的强度与所述被抽取的目标的特征量适应的多个基准特征量；以及特征量更新步骤，其用在所述基准特征量算出步骤中算出的基准特征量来更新在所述 特征量存储步骤中存储的多个基准特征量。
全文摘要
本发明提供一种能够高效地进行目标的检测处理和特定目标的追踪处理的图像分析装置。图像分析装置具有特征量存储部，其存储不同种类的多个基准特征量；特征量抽取部，其从包括在动态图像中的多个动态图像构成图像中分别抽取不同种类的多个特征量；目标抽取部，其根据被抽取的多个特征量相对于特征量存储部存储的多个基准特征量的适合度，从动态图像构成图像中抽取目标；基准特征量算出部，其由特征量存储部存储的基准特征量，算出根据种类以预先确定的强度与被抽取的目标的特征量适应的多个基准特征量；以及特征量更新部，其用基准特征量算出部算出的基准特征量来更新特征量存储部存储的多个基准特征量。
文档编号G06K9/46GK101989327SQ201010243310
公开日2011年3月23日 申请日期2010年7月30日 优先权日2009年7月30日
发明者胡轶 申请人:富士胶片株式会社