图像检索装置及方法

图像检索装置及方法
【专利摘要】本发明涉及一种图像检索装置及方法，根据本发明，可检索在图像拍摄装置收集数据的当时没有预先设定的事件所对应的数据。根据本发明的一个实施例的图像检索装置可包括：输入单元，接收表示构成针对由图像拍摄装置拍摄的图像的检索对象事件的一个以上的条件的事件设定信息；事件查询生成单元，利用所述事件设定信息而生成作为对应于所述检索对象事件的查询(Query)的事件查询；检索单元，将针对包含于所述图像中的各对象的元数据作为对象而检索与所述事件查询相符的数据，其中，作为所述检索单元的检索对象的所述元数据可以是在所述事件设定信息输入之前已被存储的元数据。
【专利说明】图像检索装置及方法

【技术领域】
[0001] 本发明涉及一种图像检索装置及方法。具体而言，本发明涉及一种可以从通过闭 路电视之类的图像拍摄装置收集到的视频数据中检索用户所需的信息的图像检索装置及 方法。

【背景技术】
[0002] 近来，为了私有财产的保护、公共财产的保护等而开发并利用起多种形态的安 防系统和安防装置。应用得最为普遍的系统为利用了闭路电视（CCTV:Closed Circuit Television)之类的用于告知外部侵扰等情况的装置的视频安防系统。这种视频安防系统 通过闭路电视装置而在发生外部侵扰等情况时生成相关的信号，并将生成的信号传送给房 主、保安公司等管理员，从而使有关的管理人员确认该情况。
[0003] 这种现有技术中的视频安防系统在有不受允许的人等对象越过预先设定的监测 线时，可检测出该情况并告知用户。或者，可以从现有技术中的视频安防系统的闭路电视等 图像拍摄装置中拍摄而存储的数据中检索出与越过预先设定的监测线的对象有关的信息。
[0004] 然而，现有技术中的视频安防系统只能在发生侵犯预先设定的监测线等事件时进 行检索，而对没有预先设定的事件的相关数据却无法检索。即，在过去收集并存储的数据中 只能检索出与在收集以往数据的当时预先设定的监测线A、B以及C事件相关的数据，而不 能检索出与在收集以往数据的当时没有预先设定的监测线D事件相关的数据。


【发明内容】

[0005] 本发明所要解决的技术问题为提供一种能够检索出与在图像拍摄装置收集数据 的当时没有预先设定的事件相关的数据的图像检索装置及方法。
[0006] 并且，本发明所要解决的技术问题为提供一种可以让用户通过用户界面而轻易地 实现可视化的事件查询设定的图像检索装置及方法。
[0007] 本发明所要解决的技术问题并不局限于以上涉及的技术问题，本领域技术人员将 可以通过以下的记载清楚地理解没有提到的其他技术问题。
[0008] 为了达到解决上述技术问题的目的，根据本发明的第一形态的图像检索装置可包 括：输入单元，接收表示构成针对由图像拍摄装置拍摄的图像的检索对象事件的一个以上 的条件的事件设定信息；检索单元，利用所述事件设定信息，将针对包含于所述图像中的各 对象的元数据作为对象而检索与所述检索对象事件相符的数据。
[0009] 还可以包括事件查询生成单元，该事件查询生成单元利用所述事件设定信息而生 成作为对应于所述检索对象事件的查询（Query)的事件查询，且所述检索单元可将所述元 数据作为对象而检索与所述事件查询相符的数据。
[0010] 作为所述检索单元的检索对象的所述元数据可以是在所述事件设定信息输入之 前已被存储的元数据。
[0011] 根据一个实施例，可包括：编码单元，接收由所述图像拍摄装置拍摄的图像而变换 为针对包含于所述图像中的各对象的元数据；元数据存储单元，将变换的所述元数据进行 存储。
[0012] 所述编码单元可将用于表示位置的坐标设定于所述图像的帧，并以所述图像的帧 为单位获取包含于所述图像的帧的各对象的坐标信息而变换为针对所述各对象的坐标信 息的元数据。
[0013] 所述编码单元可以将所述图像的帧作为单位获取包含于所述图像的帧的各对象 的颜色信息而变换为针对所述各对象的颜色信息的元数据。
[0014] 所述编码单元可以将所述图像的帧作为单位获取包含于所述图像的帧的各对象 的特征点信息而变换为针对所述各对象的特征点信息的元数据。
[0015] 所述输入单元还可以接收表示构成检索对象客体的一个以上的条件的对象设定 信息，且所述检索单元可以从所述元数据中检索与所述对象设定信息或所述事件设定信息 相符的数据。
[0016] 根据一个实施例，所述输入单元还可以接收到表示构成检索对象客体的一个以上 的条件的对象设定信息，且所述图像检索装置还可以包括利用所述对象设定信息而生成作 为对应于所述检索对象客体的查询的对象查询的对象查询生成单元，且所述检索单元可以 将存储的元数据作为对象而检索与所述对象查询以及事件查询相符的数据。
[0017] 由所述事件查询生成单元生成的事件查询可以是多个，且所述检索单元可以从与 所述对象查询相符的对象中检索符合所述的多个事件查询中的至少一个的对象（〇b j A)， 且所述图像检索装置还可以包括用于提供表示每个检索出的所述对象（〇bj A)均符合的所 述事件查询的个数的信息的提供单元。
[0018] 其特征可以在于，所述输入单元接收关于对象的图像文件，所述对象查询生成单 元利用包含于输入的所述图像中的对象的特征点而生成所述对象查询，而所述检索单元从 所述元数据中检索与所述对象查询以及所述事件查询相符的数据。
[0019] 其特征可以在于，所述输入单元从用户处接收车辆编号，而所述对象查询生成单 元利用接收的所述车辆编号而生成所述对象查询，且所述检索单元从所述元数据中检索与 所述对象查询以及所述事件查询中的至少一种查询相符的数据。
[0020] 其特征可以在于，还包括：提供单元，提供与包含有所述检索单元检索出的数据的 拍摄图像有关的信息或者包含有所述检索单元检索出的数据的拍摄图像。
[0021] 所述输入单元可通过可视化的用户界面（UI :User Interface)而接收所述事件设 定信息。
[0022] 根据一个实施例，当用户通过所述用户界面而进行拖动特定间隔之间的拖动输入 时，所述输入单元可接收所述拖动输入，且还可以包括所述事件查询生成单元，用以利用接 收的所述拖动输入而生成监测线事件查询。
[0023] 其特征可以在于，所述检索单元对所述元数据当中与所述监测线事件查询相符的 对象进行检索，且还可以包括提供单元，用以将检索到的所述对象的数目以可视化的形式 提供。
[0024] 根据一个实施例，当通过所述用户界面而指定所述特定区域时，所述输入单元可 接收所述特定区域的信息，且所述事件查询生成单元可利用所述特定区域的信息而设定区 域事件查询，且所述检索单元可利用所述区域事件查询而从所述元数据中检索与存在于所 述特定区域内的对象有关的数据。
[0025] 为了达到解决上述技术问题的目的，根据本发明的第二形态的图像检索方法可包 括如下步骤：输入步骤，接收表示构成针对由图像拍摄装置拍摄的图像的检索对象事件的 一个以上的条件的事件设定信息；检索步骤，利用所述事件设定信息，将针对包含于所述图 像中的各对象的元数据作为对象而检索与所述检索对象事件相符的数据。
[0026] 还可以包括事件查询生成步骤，在该事件查询生成步骤中利用所述事件设定信息 而生成作为对应于所述检索对象事件的查询（Query)的事件查询，且在所述检索步骤中可 以将所述元数据作为对象而检索与所述事件查询相符的数据。
[0027] 根据一个实施例，作为所述检索步骤的检索对象的所述元数据可以是在所述事件 设定信息输入之前已被存储的元数据。
[0028] 可包括如下步骤：编码步骤，接收由所述图像拍摄装置拍摄的图像而变换为针对 包含于所述图像中的各对象的元数据；元数据存储步骤，将变换的所述元数据进行存储。
[0029] 在所述编码步骤中，可将用于表示位置的坐标设定于所述图像的帧，并可以将所 述图像的帧作为单位获取包含于所述图像的帧的各对象的坐标信息而变换为针对所述各 对象的坐标信息的元数据。
[0030] 在所述编码步骤中，可以将所述图像的帧作为单位获取包含于所述图像的帧的各 对象的颜色信息而变换为针对所述各对象的颜色信息的元数据。
[0031] 在所述编码步骤中，可以将所述图像的帧作为单位获取包含于所述图像的帧的各 对象的特征点信息而变换为针对所述各对象的特征点信息的元数据。
[0032] 在所述输入步骤中还可以接收表示构成检索对象客体的一个以上的条件的对象 设定信息，且在所述检索步骤中还可以从所述元数据中检索与所述对象设定信息或所述事 件设定信息相符的数据。
[0033] 在所述输入步骤中，可通过可视化的用户界面（UI :User Interface)而接收所述 事件设定信息。
[0034] 根据一个实施例，当用户通过所述用户界面而进行拖动特定间隔之间的拖动输入 时，可在所述输入步骤中接收所述拖动输入，且还可以包括利用接收的所述拖动输入而生 成监测线事件查询的所述事件查询生成步骤。
[0035] 本发明可在用户期望的时刻生成事件查询，从而可以从生成事件查询之前收集的 图像数据中检索与生成的事件查询相符的数据。
[0036] 并且，本发明可通过可视化且直观化的用户界面而方便地设定事件。
[0037] 而且，本发明可以方便地从大数据中获取用户所需的信息。
[0038] 并且，本发明可分析对象和帧的单位的元数据，可以从数据分析的方面改善在实 时分析中产生的错误，且还可以改善事件检索的准确率。
[0039] 而且，本发明可以从通过各种闭路电视拍摄并存储的图像中获取必要的信息，从 而可以方便地应用于安防、对象跟踪、统计等多种领域。

【专利附图】

【附图说明】
[0040] 图1为关于根据本发明的一个实施例的图像检索系统的构成图。
[0041] 图2为关于根据本发明的一个实施例的图像检索装置的模块图。
[0042]图3为表示根据本发明的一个实施例的图像检索装置的输入单元的一例的模块 图。
[0043] 图4至图6为表示事件输入信息和对应于事件输入信息的事件查询生成之例的 图。
[0044] 图7为用于说明根据本发明的一个实施例的图像检索装置的对象输入单元的图。
[0045] 图8为表不选择对象并输入对象设定信息的一例的图。
[0046] 图9为表示提供单元提供检索结果的一例的图。
[0047] 图10为关于根据本发明的一个实施例的图像检索方法的流程图。
[0048] 图11为关于根据本发明的另一实施例的图像检索方法的流程图。

【具体实施方式】
[0049] 以下，参照附图而对本发明的优选实施例进行详细说明。结合附图而在后面详细 阐述的各实施例将使本发明的优点、特征、以及实现的方法变得清楚。然而本发明并不局限 于以下公开的实施例，而是可以具体实现为其他多种形态，实施例只是为了完整地公开本 发明并将发明的范围完整地说明给本发明所属【技术领域】中具有普通知识的人员而提供的， 本发明只能根据权利要求的范围界定。在整个说明书中，同一参考符号指同一构成要素。
[0050] 所谓的某一构成要素"连接"或"接入"到其他构成要素，固然可能是直接地"连接" 或"接入"到该其他构成要素，然而应当理解为中间还可能存在其他构成要素。相反，所谓 的某一构成要素"直接连接"或"直接接入"到其他构成要素，却应当理解为中间不存在其 他构成要素。
[0051] 如果没有其他定义，则本说明书中使用的所有术语(包括技术和科学上的术语）可 以用作本发明所属【技术领域】中具有普通知识的人员所能共同理解的含义。而且，通常使用 的已在词典中进行定义的术语只要没有明确地专门定义，则不会过于理想地或过于宽泛地 进行解释。
[0052] 在本说明书中，只要没有特别的说明，单个形表述也可以包括多个形。说明书中使 用的"包括（comprises)"和/或"包括的（comprising)"并不排除存在或增加所提到的构 成要素、步骤、操作、和/或器件之外的一个以上的其他构成要素、步骤、操作、和/或器件的 可能性。
[0053] 图1为根据本发明的一个实施例的图像检索系统的构成图。
[0054] 参照图1，根据本发明的一个实施例的图像检索系统包括：图像拍摄装置10、存储 服务器20、以及图像检索装置100。
[0055] 图像拍摄装置10包括一台以上的图像拍摄装置。图像拍摄装置为闭路电视 (CCTV:Closed Circuit Television)之类的可用于拍摄外部图像并通过有线或无线而将 拍摄的图像传送给存储服务器20或者存储于存储芯片、磁带等的装置。
[0056] 存储服务器20将图像拍摄装置10中拍摄的图像的数据进行存储。
[0057] 图像检索装置100从试图从存储于存储服务器20的图像数据中检索信息的用户 处接收所要检索的事件设定信息，从而生成事件查询，并检索与生成的事件查询相符的数 据而提供。
[0058] 存储服务器20也可以包含于图像检索装置100,而后述的用于存储元数据的元数 据存储单元110也是既可以包含于图像检索装置100，也可以存放于图像检索装置100之外 的单独的服务器(例如存储服务器20)中。
[0059] 根据本发明的一个实施例的图像检索系统可设定用户并未事先设定的事件 (events)，并可以从存储于存储服务器20中的图像数据中检索与设定的事件相符的数据。 即，根据本发明的一个实施例的图像检索系统与现有技术不同，在图像数据已被存储之后 也可以基于根据用户的需要设定的事件而从存储的图像数据中检索所需的数据。
[0060] 例如假定当前时间为2013年1月1日而用户想要获取2012年1月1日起到2012 年12月31日之间入侵A区域的人被拍摄的图像，则只有在2012年1月1日之前预先在A 区域设定监测线才能使现有技术中的视频安防系统在发生有人入侵所设定的监测线的情 况时，将发生当时的图像单独存储或者存储为可根据已设定的查询（Query)而进行检索。
[0061] 因此，对于现有技术中的视频安防系统而言，如果不在2012年1月1日之前预先 在A区域设定监测线，则用户需要将2012年1月1日起到2012年12月31日之间拍摄了 A区域的图像一一查阅而寻找入侵A区域的人。
[0062] 然而，根据本发明的一个实施例的图像检索系统可在作为当前时间的2013年1月 1日在A区域设定监测线而检索2012年1月1日起到2012年12月31日之间入侵A区域 的人，并可以确保拍摄到入侵的人的图像。
[0063] 在本说明书中，"事件"包括利用监测线来监视入侵情况的监测线监视、盗窃监视、 摆放物监视、徘徊监视等事件，并且图像检索系统中利用到的多种事件以及可以由用户任 意设定的事件等也均可以包含于"事件"。
[0064] 参照图2而对根据本发明的一个实施例的图像检索装置进行具体说明。
[0065]图2为关于根据本发明的一个实施例的图像检索装置的模块图。
[0066] 参照图2,根据本发明的一个实施例的图像检索装置100可包括：元数据存储单元 110、输入单元120、事件查询生成单元130、对象查询生成单元140、检索单元150、提供单元 160、以及编码单元170。
[0067] 元数据存储单元110可以存储图像拍摄装置拍摄的图像数据内的各对象的元数 据。元数据存储单元110在必要时可以将图像拍摄装置中拍摄的数据以事件单位、帧单位 的元数据进行存储。
[0068] 图像数据内的对象可以表示进行视频分析之后提取出的多种形态的图像构成个 体，其中有人等移动的事物、人所戴上的帽子和墨镜等随着人一起移动的物体、被动地移动 或能够移动的物体等。
[0069] 为了将各对象的元数据存储于元数据存储单元110,在必要时，根据本发明的一个 实施例的图像检索装置100可包括将图像拍摄装置中拍摄的图像数据变换为各对象的元 数据的编码单元170。编码单元170可通过MPEG4等面向对象的图像格式的编码方式而将 拍摄的图像数据变换为各对象的元数据。
[0070] 并且，编码单元将表示位置的坐标设定于拍摄的图像的帧，并能够以所述图像的 帧为单位获取包含于图像的帧的各对象的坐标信息而变换为针对所述各对象的坐标信息 的元数据。
[0071] 而且，编码单元能够以图像的帧为单位获取包含于拍摄的图像的帧的各对象的颜 色信息而变换为针对所述各对象的颜色信息的元数据。
[0072] 并且，编码单元能够以图像的帧为单位获取包含于拍摄的图像的帧的各对象的特 征点信息而变换为针对所述各对象的特征点信息的元数据。
[0073] 输入单元120可从用户处接收事件设定信息。事件设定信息为表示构成针对由图 像拍摄装置拍摄的图像的检索对象事件的一个以上的条件的信息。而且，输入单元120还 可以从用户处接收对象设定信息。对象设定信息为表示构成针对由图像拍摄装置拍摄的图 像的检索对象客体的一个以上的条件的信息。
[0074] 即，用户可通过输入单元120输入事件设定信息和/或对象(客体）设定信息。
[0075] 具体参照图3而对输入单元120进行说明。
[0076] 图3为表示根据本发明的一个实施例的图像检索装置的输入单元的一例的模块 图。
[0077] 参照图3,输入单元120可包括：视频画面单元121、时间设定单元123、场所设定 单元125、以及对象输入单元127。
[0078] 通过时间设定单元123可选择用户想要检索的图像的拍摄时间。如果用户没有选 择想要检索的图像的拍摄时间，则时间设定单元123不会对时间范围设定限制而可以将所 有时间内拍摄的图像设定为检索对象。或者，时间设定单元123在用户没有选择想要检索 的图像的拍摄时间的情况下，还可以用已设定的时间范围(例如从20年前拍摄的图像开始） 自动设定时间范围。
[0079] 场所设定单元125可以设定用户想要检索的场所。即，场所设定单元125可以设 定用于拍摄用户想要检索的场所的图像拍摄装置。当用户没有设定场所范围时，场所设定 单元125可以不对场所范围设定限制，并将通过连接于存储服务器20的所有图像拍摄装置 拍摄的图像设定为检索范围。
[0080] 为了有助于用户设定想要检索的拍摄图像的时间范围和场所范围，视频画面单元 121能够提供可视化的用户界面（UI:User Interface)。如果用户通过用户界面而输入时 间范围和场所范围，则时间设定单元123和场所设定单元125可以与用户输入对应地分别 设定时间和场所。
[0081] 视频画面单元121可以给用户提供可视化的用户界面。视频画面单元121包括触 摸屏等输入装置，用户可通过对用户界面进行触摸输入等而将需要检索的事件设定信息输 入进去。视频画面单元121可根据用户的请求或预先设定的条件而将存储于存储服务器20 的图像中的一部分或者捕捉(截取）的画面可视化地和/或可听化地提供给用户，从而为便 利的事件设定信息输入提供帮助。
[0082] 用户可以从用户界面所提供的已设定的项目中选择至少一种而输入事件设定信 息。或者用户也可以利用文本信息来输入事件设定信息。或者，用户可通过从视频画面单 元121所提供的图像中选择特定区域、拖动等特定输入方式而输入事件设定信息。
[0083] 再来参照图2,事件查询生成单元130可通过由视频画面单元121提供的用户界面 而利用输入的事件设定信息生成事件查询（Query)。事件查询为用于检索对应于检索对象 事件的对象(客体）的查询（Query)。
[0084] 关于用户通过用户界面输入的事件设定信息，可以由事件查询生成单元130根据 预先设定的条件而与用户输入对应地生成事件查询。事件查询生成单元130利用从输入单 元120接收的事件设定信息而生成事件查询。
[0085] 即，事件查询生成单元130生成的事件查询可以根据预先设定的条件而与用户输 入相对应而生成。例如，当用户进行从地点a到地点b的拖动输入时，事件查询生成单元 130生成从地点a到地点b的监测线事件查询，并可以通过生成事件查询而使检索单元150 检索存在侵犯监测线的对象(客体）的数据。
[0086] 具体参照图4至图6而对事件输入信息和对应于事件输入信息的事件查询生成之 例进行说明。
[0087] 参照图4,视频画面单元121根据用户的请求而提供特定时刻的静止图像。视频画 面单元121提供的静止图像可以是由图像拍摄装置10拍摄的图像中的特定时刻的静止图 像。当用户想要检索包含有经过人行横道的对象的数据时，用户可对视频画面单元121提 供的人行横道一侧的末端部分进行拖动触摸输入而输入事件设定信息。如图4所示，事件 查询生成单元130可借助于用户的拖动触摸输入而生成用于检索经过人行横道的一侧末 端的对象的监测线事件查询。
[0088] 具体而言，当用户对视频画面单元121提供的静止图像的地点a到地点b之间进 行拖动输入而输入监测线事件设定信息时，事件查询生成单元130可响应于此而根据所述 监测线事件设定信息生成从地点a到地点b的监测线事件查询。
[0089] 参照图5,用户在输入监测线事件设定信息时还可以额外地输入关于对象侵犯监 测线的方向42、侵犯监测线时的速度范围41的信息。例如，也可以将事件查询设定为只对 侵犯监测线的瞬间对象的速度范围41为10km/h以上且侵犯的方向42在图中为自下而上 (y轴方向)的对象进行检索。为了生成这种监测线事件查询，用户可通过用户界面调节拖动 输入的大小、拖动速度等，或者进行附加性的输入，从而可以输入监测线事件设定信息。事 件查询生成单元130可利用输入的监测线事件设定信息而生成包含有侵犯方向以及侵犯 瞬间的对象速度范围的监测线事件查询。例如具体可以使拖动输入的大小成为设定侵犯监 测线时的速度范围42的输入。
[0090] 在上述示例中，将用户对视频画面单元121提供的静止图像的地点a到地点b之 间进行的拖动输入作为用于生成事件查询的输入的例，然而用户的拖动输入并非一定要对 应于监测线事件查询的生成，也可以使其他形态的输入与监测线事件查询的生成相对应。 相反，拖动输入也可以与其他种类的事件查询的生成相对应。
[0091] 监测线事件查询可以生成两个以上。并且，可以设定为特定区域。用户可以为了 输入两个以上的监测线事件设定信息而在视频画面单元121上进行两次以上的拖动输入， 或者，用户可通过多点触摸输入等而将视频画面单元121的用户界面上提供的四边形形态 作为特定区域设定监测线。或者，用户可通过拖动输入而形成闭合线路形态，从而可以使事 件查询生成单元130设定用于检索存在于特定区域的对象的事件查询。
[0092] 参照图6,用户可通过拖动输入而经过地点c、地点d、地点e、地点f而重新回到地 点c，从而可以如图6所示地进行用于设定检索区域60的输入。或者也可以对用户界面上 提供的四边形形态进行多点触摸输入，从而可以如图6所示地进行用于设定检索区域60的 输入。事件查询生成单元130可将事件查询生成为能够检索出侵犯检索区域60的对象。或 者，根据用户输入、系统设计等，当存在如图6所示的用户输入时，事件查询生成单元130可 将事件查询生成为通过用户输入而设定检索区域60,并能够检索出曾经存在于设定的检索 区域60内的对象或者只存在于检索区域60内的对象。为了更加准确地把握用户的意图， 当存在如图6所示的设定检索区域60的输入时，视频画面单元121还可以弹出关于究竟是 要生成哪种事件查询而请求选择的消息。
[0093] 借助于视频画面单元121，用户不仅可以输入事件设定信息，还可以输入对象设定 信息。
[0094] 具体以用户通过视频画面单元121输入对象设定信息的方法为例进行说明。当视 频画面单元121根据用户的请求等而提供特定时刻的静止图像时，用户可以选择存在于静 止图像中的特定对象，或者可以通过视频画面单元121提供的用户界面而输入想要检索的 对象的图像文件。用户还可以通过用户界面而进行文本输入。
[0095] 具体参照图7,对象输入单元127可包括：对象选择单元127a、图像输入单元 127c、数值输入单元127e、以及事物输入单元127g。
[0096] 对象选择单元127a从视频画面单元121提供的图像中通过触摸等输入方式选择 对象而输入对象设定信息。图像输入单元127c通过输入蒙太奇图像等外部图像而输入对 象设定信息。数值输入单元127e用于让用户通过用户界面输入数值范围，而实物输入单元 127g用于让用户通过用户界面输入事物的名称。并且，对象输入单元127可以从用户处接 收到对象的大小、形态、颜色、行进方向、速度、以及种类等与对象有关的多种信息。
[0097] 参照图8而对选择对象并输入对象设定信息的具体示例进行说明。
[0098] 例如，假定2012年12月31日17点左右K小区的某一户家中发生了盗窃，则用户 (例如警察)可通过场所设定单元125而将检索场所设定为用于拍摄K小区门廊部分的第一 闭路电视11，并可以通过时间设定单元123而利用由第一闭路电视11拍摄的数据当中拍 摄时间为2012年12月31日13点左右到2012年12月31日19点左右的数据设定检索范 围。另外，用户可通过对门廊部分进行拖动输入而设定监测线40。并且，用户可以只把对象 中的人作为对象设定信息输入。
[0099] 检索单元150可根据所述的设定信息而检索2012年12月31日13点左右到2012 年12月31日19点之间的时间内由第一闭路电视11拍摄的数据当中越过设定的所述监测 线40的人的相关的元数据。
[0100] 提供单元160可通过视频画面单元121而将包含于由检索单元150检索出的元数 据中的人提供给用户。当不存在包含于检索出的元数据中的人同时存在的拍摄图像(例如 存在于存储服务器20中）时，也可以提供通过合成而使所有检索出的人都包含于提供给用 户的画面中的信息。例如，提供单元160可将如图8所示地检索出的人81至人84显示于 一个画面而提供。或者，提供单元160也可以将小区车辆等背景画面除去而只提供人81至 人84的图像（Image)。
[0101] 用户可通过触摸等而将提供单元160提供的人81至人84当中疑似嫌疑人的人选 出一个以上。当用户选择以后，对象输入单元将选择的对象作为对象设定信息接收，而对象 查询生成单元140可利用对象设定信息而将对象查询生成为能够检索出包含有与用户选 择的人相同或相似的人的数据。检索单元150可根据对象查询生成单元140的设定而检索 出包含有与用户选择的人相同或相似的人的元数据。
[0102] 再来参照图2,对象查询生成单元140可利用从输入单元120接收的对象设定信 息而生成对象查询。对象查询可以表示与检索数据时作为检索对象的客体的条件相关的查 询，或者表示与用户想要检索的对象(客体）有关的查询。
[0103] 具体而言，用户可利用输入单元120而通过对象选择、图像输入、数值输入、事物 输入等将对象设定信息输入进去，而对象查询生成单元140可生成对应于用户输入的对象 设定信息的对象查询。参照图7,假定输入单元120作为对象设定信息接收到特定汽车(对 象)，则对象查询生成单元140可生成用于检索包含有与输入的汽车相同的对象的数据的查 询。或者，当输入单元120接收到特定蒙太奇图像时，对象查询生成单元140可将对象查询 生成为能够检索出包含有特征点与输入的蒙太奇图像的特征点相同/相似的对象的数据。 或者，当输入单元120作为对象设定信息接收到身高为175至185的人时，对象查询生成单 元140可将对象查询生成为能够检索出包含有输入的身高为175至185的人的数据。当输 入单元120作为对象设定信息接收到戴着墨镜或帽子的人时，对象查询生成单元140可将 对象查询生成为能够检索出包含有戴着墨镜或帽子的人的数据。对应于用户输入的对象设 定信息的对象查询可根据用户界面的种类、用户设定、设计环境等而改变。
[0104] 检索单元150可以从存储于元数据存储单元110的元数据中检索与事件设定信息 以及对象设定信息相符的数据。具体而言，检索单元150可以从存储于元数据存储单元110 的元数据中检索与事件查询以及对象查询相符的数据。
[0105] 检索单元150检索的元数据可包括在输入事件设定信息之前收集并存储的元数 据。或者，检索单元150检索的元数据也可以只包括在输入事件设定信息之前收集并存储 的元数据。
[0106] 当存在时间设定和场所设定时，检索单元150也可以将对应于时间设定和场所设 定的元数据作为对象执行检索。
[0107] 具体而言，检索单元150可以从存储于元数据存储单元110的元数据中检索包含 有与生成的对象查询相符的对象的元数据a。检索单元150可以从检索出的元数据a中检 索包含有与生成的事件查询相符的对象的元数据b。检索单元150可根据事件查询的种类 或情况而检索与事件查询相符的元数据c，并从检索出的元数据c中检索包含有与生成的 对象查询相符的对象的元数据d。
[0108] 元数据存储单元110所存储的元数据中存储有包含于图像拍摄装置10拍摄的图 像数据中的各对象的信息，检索单元150可检索同时符合于对象查询和事件查询的数据。
[0109] 检索单元150利用对象查询以及事件查询而进行检索的顺序为可以通过考虑检 索的准确率、检索的逻辑性、用户的意图、检索的速度等而确定，并且还可以根据设定而变 更。即，检索单元150可先利用对象查询而从存储于元数据存储单元110的元数据中检索 数据，并利用事件查询而在检索出的对应于对象查询的元数据中再进行检索。或者相反地， 检索单元150可先利用事件查询而在存储于元数据存储单元110的元数据中进行检索，并 利用对象查询而在检索出的对应于事件查询的元数据中再进行检索。
[0110] 事件查询生成单元130可在输入单元120接收到多个事件设定信息时生成多个事 件查询。同理，当输入单元120输入多个对象设定信息时，对象查询生成单元140可生成多 个对象查询。当生成多个事件查询时，检索单元150可根据用户的意图而检索存在同时满 足多个事件查询的对象的元数据，或者可以检索存在满足多个事件查询中的至少一个事件 查询的对象的元数据。或者，检索单元150还可以检索满足多个事件查询中的特定个数以 上的事件查询的对象。如上所述的检索单元150的检索在设定有多个对象查询的情况下也 是一样。
[0111] 而且，检索单元150可执行扩展检索。扩展检索是指基于由检索单元150检索出 的检索结果而检索新的数据。扩展检索也可以执行两次以上。
[0112] 作为扩展检索之例，当检索单元150根据用户的输入而对侵犯监测线的戴着帽子 的人的数据进行检索时，检索单元150可检索在与设定的时间条件相近的时间段中在设定 的闭路电视周围的闭路电视中检索出的包含有对象的数据，或者提供检索出的对象所产生 的所有事件信息，或者可以对检索出的对象的行动进行检索。这种扩展检索可以只在用户 需要的时候执行，并可以基于检索出的信息而由用户通过输入单元120输入对象信息，或 者还可以输入事件信息而检索新的信息。然而，视频画面单元121还可以基于检索出的信 息而提供包括前述扩展检索之例的多种检索选项，以图用户的选择的方便性以及检索的便 捷性。
[0113] 提供单元160可将由检索单元150检索出的结果可视化地提供给用户。
[0114] 提供单元160可提供包含有对应于检索单元150检索出的结果的元数据的拍摄图 像。或者，提供单元160还可以将检索单元150检索出的结果罗列成文本或图像。
[0115] 提供单元160提供的拍摄图像可以是存储于存储服务器20的图像。
[0116] 当提供单元160无法提供包含有对应于检索结果的元数据的拍摄图像时，也可以 只提供与包含有对应于检索结果的元数据的拍摄图像的存储位置相关的信息。提供单元 160还可以通过多细节层次（L0D:level of Detail)的形态而将基于检索结果的数据按任 意需求的量提供给用户。
[0117] 并且，提供单元160在提供由检索单元150对设定有多个事件查询且满足多个事 件查询中的至少一个事件查询的对象进行检索的结果时，可将包含于检索结果的各对象所 满足的事件查询的个数数值化而一并提供。
[0118] 而且，参照图9,当用户通过用于生成事件查询的视频画面单元121输入用于生成 事件查询的事件信息时，提供单元160可将对应于生成的事件查询的检索结果数值化而提 供。即，如果通过用户的拖动输入而设定监测线事件查询，则检索单元150可对与设定的监 测线事件查询相符的对象进行检索，并将检索的结果显示于设定的监测线附近。这种显示 便于用在多种统计分析中。
[0119] 例如，监测线40a和监测线40d可用于统计预测正常利用横向人行道的人等对象， 而监测线40b和监测线40c可用于统计预测沿着对角线斜穿横向人行道或利用横向人行道 周围的道路而穿过马路之类的非正常利用横向人行道的人等对象。例如，在图9中越过40a 的对象数目为1270名，越过40d的对象数目为1117名，越过40b的对象数目为1967名，越 过40c的对象数目为2013名，可预测非正常利用横向人行道的对象数目远远多。对这种统 计的比较、分析可利用于多种领域。
[0120] 即，在现有技术中只有预先设定事件才能获取与设定的事件相关的信息，而本发 明却相反，在已收集数据之后也可以通过输入用户的事件设定信息而获取多种信息，且大 数据中的信息获取、各种事件状况下的信息获取也容易。
[0121] 并且，本发明不仅可以检索产生预先设定的事件的对象，而且还可以在并未预先 设定而存储数据之后，设定事件并检索出使设定的事件发生的对象。因此，可检索产生预先 设定的事件的对象的情形也可以包含于本发明。
[0122] 图10为关于根据本发明的一个实施例的图像检索方法的流程图。
[0123] 参照图10,元数据存储单元110将包含于由图像拍摄装置10拍摄的图像数据中的 各对象的元数据进行存储(步骤S1010)。
[0124] 输入单元120可通过可视化用户界面而从用户处接收表示构成针对由图像拍摄 装置10拍摄的图像的检索对象事件的一个以上的条件的事件设定信息(步骤S1020)。
[0125] 事件查询生成单元130可利用事件设定信息而生成事件查询(步骤S1030)。
[0126] 检索单元150可以从存储于元数据存储单元110的元数据中检索与设定的事件查 询相符的数据(步骤S1040)。
[0127] 提供单元160可基于由检索单元150检索出的数据而给用户提供多种形态的信息 (步骤 S1050)。
[0128] 图11为关于根据本发明的另一实施例的图像检索方法的流程图。
[0129] 参照图11，输入单元120可以从用户处接收到表示构成针对由图像拍摄装置10拍 摄的图像的检索对象客体的一个以上的条件的对象设定信息(步骤S1110)。
[0130] 对象查询生成单元140可利用输入单元120接收的对象设定信息而生成对象查询 (步骤 S1120)。
[0131] 检索单元150可以从元数据中检索同时符合于对象查询和事件查询的数据(步骤 S1130)。检索单元150还可以基于检索出的数据而执行扩展检索。提供单元160可基于由 检索单元150检索出的数据而提供多种信息(步骤S1050)。
[0132] 图2、图3以及图7中的各构成要素可以表示软件（software)，或者表示现 场可编程门阵列（FPGA :field-programmable gate array)或专用集成电路（ASIC : application-specific integrated circuit)之类的硬件（hardware)。然而所述的构成 要素并不局限于软件或硬件，也可以构成为记录于可寻址（addressing)的存储介质，或者 构成为运行一个或一个以上的处理器。提供的功能也可以通过所述构成要素中的进一步细 化的构成要素实现，而且还可以将多个构成要素复合而实现为用于执行特定功能的一个构 成要素。
[0133] 以上已参照附图而对本发明的实施例进行了说明，然而如果是本发明所属技术领 域中具有普通知识的人员即可理解本发明可以在不改变技术思想或必要特征的前提下实 施为其他具体形态。因此应当认为以上叙述的实施例在所有方面均为示例性的，而并非限 定性的。
【权利要求】
1. 一种图像检索装置，其特征在于，包括： 输入单元，接收表示构成针对由图像拍摄装置拍摄的图像的检索对象事件的一个以上 的条件的事件设定信息； 事件查询生成单元，利用所述事件设定信息而生成作为对应于所述检索对象事件的查 询的事件查询； 检索单元，将针对包含于所述图像中的各对象的元数据作为对象而检索与所述事件查 询相符的数据， 其中，作为所述检索单元的检索对象的所述元数据是在所述事件设定信息输入之前已 被存储的元数据。
2. 如权利要求1所述的图像检索装置，其中，包括： 编码单元，接收由所述图像拍摄装置拍摄的图像而变换为针对包含于所述图像中的各 对象的元数据； 元数据存储单元，将变换的所述元数据进行存储。
3. 如权利要求2所述的图像检索装置，其中，所述编码单元将用于表示位置的坐标设 定于所述图像的帧，并以所述图像的帧为单位获取包含于所述图像的帧的各对象的坐标信 息而变换为针对所述各对象的坐标信息的元数据。
4. 如权利要求2所述的图像检索装置，其中，所述编码单元以所述图像的帧为单位获 取包含于所述图像的帧的各对象的颜色信息而变换为针对所述各对象的颜色信息的元数 据。
5. 如权利要求2所述的图像检索装置，其中，所述编码单元以所述图像的帧为单位获 取包含于所述图像的帧的各对象的特征点信息而变换为针对所述各对象的特征点信息的 元数据。
6. 如权利要求1所述的图像检索装置，其中，所述输入单元通过可视化的用户界面而 接收所述事件设定信息。
7. 如权利要求6所述的图像检索装置，其中，当用户通过所述用户界面而进行拖动特 定间隔之间的拖动输入时，所述输入单元可接收所述拖动输入，而所述事件查询生成单元 利用接收的所述拖动输入而生成监测线事件查询，而所述检索单元对所述元数据当中与所 述监测线事件查询相符的对象进行检索。
8. 如权利要求6所述的图像检索装置，其中，当通过所述用户界面而指定特定区域时， 所述输入单元接收所述特定区域的信息，且所述事件查询生成单元利用所述特定区域的信 息而设定区域事件查询，且所述检索单元利用所述区域事件查询而从所述元数据中检索与 存在于所述特定区域内的对象有关的数据。
9. 如权利要求1所述的图像检索装置，其特征在于，还包括： 提供单元，提供与包含有所述检索单元检索出的数据的拍摄图像有关的信息或者包含 有所述检索单元检索出的数据的拍摄图像。
10. 如权利要求1所述的图像检索装置，其中，所述输入单元还接收表示构成检索对象 客体的一个以上的条件的对象设定信息，且所述图像检索装置还包括利用所述对象设定信 息而生成作为对应于所述检索对象客体的查询的对象查询的对象查询生成单元，且所述检 索单元以存储的元数据为对象而检索与所述对象查询以及事件查询相符的数据。
11. 如权利要求10所述的图像检索装置，其中，由所述事件查询生成单元生成的事件 查询为多个，且所述检索单元从与所述对象查询相符的对象中检索至少符合所述的多个事 件查询中的一个的对象，且所述图像检索装置还包括用于提供表示每个检索出的所述对象 均符合的所述事件查询的个数的信息的提供单元。
12. 如权利要求11所述的图像检索装置，其特征在于，所述输入单元接收关于对象的 图像文件，所述对象查询生成单元利用包含于输入的所述图像中的对象的特征点而生成所 述对象查询，而所述检索单元从所述元数据中检索与所述对象查询以及所述事件查询中的 至少一个查询相符的数据。
13. 如权利要求10所述的图像检索装置，基于事件，其特征在于，所述输入单元从用 户处接收车辆编号，而所述对象查询生成单元利用接收的所述车辆编号而生成所述对象查 询，且所述检索单元从所述元数据中检索与所述对象查询以及所述事件查询相符的数据。
14. 一种图像检索方法，其特征在于，包括如下步骤： 输入步骤，接收表示构成针对由图像拍摄装置拍摄的图像的检索对象事件的一个以上 的条件的事件设定信息； 事件查询生成步骤，利用所述事件设定信息而生成作为对应于所述检索对象事件的查 询的事件查询； 检索步骤，利用所述事件设定信息，将针对包含于所述图像中的各对象的元数据作为 对象而检索与所述事件查询相符的数据， 其中，作为所述检索步骤的检索对象的所述元数据为在所述事件设定信息输入之前已 被存储的元数据。
15. 如权利要求14所述的图像检索方法，其中，包括如下步骤： 编码步骤，接收由所述图像拍摄装置拍摄的图像而变换为针对包含于所述图像中的各 对象的元数据； 元数据存储步骤，将变换的所述元数据进行存储。
16. 如权利要求15所述的图像检索方法，其中，在所述编码步骤中，将用于表示位置的 坐标设定于所述图像的帧，并以所述图像的帧为单位获取包含于所述图像的帧的各对象的 坐标信息而变换为针对所述各对象的坐标信息的元数据。
17. 如权利要求15所述的图像检索方法，其中，在所述编码步骤中，以所述图像的帧为 单位获取包含于所述图像的帧的各对象的颜色信息而变换为针对所述各对象的颜色信息 的元数据。
18. 如权利要求15所述的图像检索方法，其中，在所述编码步骤中，以所述图像的帧为 单位获取包含于所述图像的帧的各对象的特征点信息而变换为针对所述各对象的特征点 信息的元数据。
19. 如权利要求14所述的图像检索方法，其中，在所述输入步骤中，通过可视化的用户 界面而接收所述事件设定信息。
20. 如权利要求19所述的图像检索方法，其中，当用户通过所述用户界面而进行拖动 特定间隔之间的拖动输入时，在所述输入步骤中接收所述拖动输入，并在所述事件查询生 成步骤中利用特定区域的信息而设定区域事件查询，并在所述检索步骤中利用所述区域事 件查询而从所述元数据中检索与存在于所述特定区域内的对象有关的数据。
【文档编号】G06F17/30GK104216938SQ201310741421
【公开日】2014年12月17日 申请日期:2013年12月27日 优先权日:2013年5月31日
【发明者】权奇相, 李政宣, 许峻熙, 赵大纪, 郭琎旭 申请人:三星Sds株式会社