浏览摘要图像的系统及方法
【专利摘要】提供了一种浏览摘要图像的系统及方法。所述方法包括：通过控制图像处理引擎，追踪包括在包括多个图像帧的输入视频图像中的至少一个对象；通过控制图像处理引擎，从所述多个图像帧中选择所述至少一个对象中的每个对象的代表图像帧；通过控制浏览引擎，产生至少一个摘要静止图像，所述至少一个摘要静止图像包括从所述至少一个对象中的每个对象的代表图像帧中提取的至少一个对象段。
【专利说明】浏览摘要图像的系统及方法
[0001]本申请要求于2015年2月10日提交到韩国知识产权局的第10-2015-0020291号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
[0002]与示例性实施例相一致的设备和方法涉及浏览摘要图像的系统及方法的。
【背景技术】
[0003]随着对诸如图像和视频服务的多媒体服务的需求增长以及便携式多媒体装置的广泛普及，越来越需要可以管理大量多媒体数据并且通过快速准确地寻找并提供消费者期望的内容的有效的多媒体搜索和浏览系统。
【发明内容】
[0004]本发明构思的示例性实施例提供允许用户便捷地查看搜索结果的图像浏览系统及方法。
[0005]本发明构思的各种方面将会部分地在以下描述中阐明，并将会部分地从描述中清楚或者可以通过本示例性实施例的实践而领会。
[0006]根据一个或更多个示例性实施例，提供了一种浏览摘要图像的方法。所述方法可包括:通过控制图像处理引擎，追踪包括在包括多个图像帧的输入视频图像中的至少一个对象；通过控制图像处理引擎，从所述多个图像帧中选择所述至少一个对象中的每个对象的代表图像帧；通过控制浏览引擎，产生至少一个摘要静止图像，所述至少一个摘要静止图像包括从所述至少一个对象中的每个对象的代表图像帧中提取的至少一个对象段。
[0007]选择代表图像帧的步骤可包括:从所述多个图像帧中选择在至少一个对象选择条件上具有最高分数的图像帧作为代表图像帧。
[0008]所述至少一个对象选择条件可包括以下项中的至少一项:所述至少一个对象的属性、所述多个图像帧中的模糊效果、所述至少一个对象与另一对象之间的重叠程度。所述至少一个对象选择条件中的每个可被给予预定的分数范围。
[0009]所述至少一个摘要静止图像还可包括:基于所述多个图像帧中的静止区域产生的背景图像。
[0010]在所述至少一个摘要静止图像中的至少一个对象段的尺寸和位置对应于在代表图像帧中示出的至少一个对象的尺寸和位置。
[0011]产生至少一个摘要静止图像的步骤包括:根据所述至少一个对象在所述多个图像帧中的出现时间的顺序以及在一个摘要静止图像中设置的对象的最大数量产生至少一个摘要静止图像。
[0012]所述方法还可包括:响应于选择在所述至少一个摘要静止图像中的对象段的选择信号，提供从所述至少一个对象段中选择的对象段的运动的预览图像。
[0013]所述方法还可包括:响应于在所述至少一个摘要静止图像上选择预览图像的选择信号，按时间顺序再现所选对象段的运动。
[0014]所述方法还可包括:接收搜索条件信号以指示产生至少一个摘要静止图像；产生代表图像帧的元数据。元数据可包括关于代表图像帧的时间信息和关于代表图像帧中的至少一个对象的位置信息。
[0015]选择代表图像帧的步骤可在接收到搜索条件信号之后被执行。
[0016]根据一个或更多个示例性实施例，提供了一种浏览摘要图像的系统，所述系统可包括:图像处理引擎，被配置为追踪包括在包括多个图像帧的输入视频图像中的至少一个对象并从所述多个图像帧中选择所述至少一个对象中的每个对象的代表图像帧；浏览引擎，被配置为产生至少一个摘要静止图像，所述至少一个摘要静止图像包括从所述至少一个对象中的每个对象的代表图像帧提取的至少一个对象段。图像处理引擎可从所述多个图像帧中选择在至少一个对象选择条件上具有最高分数的图像帧作为代表图像帧。
[0017]在所述至少一个摘要静止图像中的至少一个对象段的尺寸和位置可对应于在代表图像帧中示出的至少一个对象的尺寸和位置。
[0018]浏览引擎可根据所述至少一个对象在所述多个图像帧中的出现时间的顺序以及在一个摘要静止图像中设置的对象的最大数量产生至少一个摘要静止图像。浏览引擎可响应于选择在所述至少一个摘要静止图像中的对象段的选择信号，提供从所述至少一个对象段中选择的对象段的运动的预览图像。
[0019]浏览引擎可以响应于在所述至少一个摘要静止图像上选择预览图像的选择信号，按时间顺序再现所选对象段的运动。
[0020]所述系统还可包括:查询引擎，被配置为接收搜索条件信号以指示产生至少一个摘要静止图像。
[0021]图像处理引擎还可被配置为产生代表图像帧的元数据，并在查询引擎接收到搜索条件信号之后选择代表图像帧。
【附图说明】
[0022]这些和/或其它方面将通过以下结合附图的示例性实施例的描述变得清楚和更容易理解，在附图中:
[0023]图1是根据示例性实施例的图像浏览系统的示意性框图；
[0024]图2是根据示例性实施例的图1的图像处理引擎的示意性框图；
[0025]图3是根据示例性实施例的图像浏览方法的示意性流程图；
[0026]图4A至图5C示出根据示例性实施例的从输入视频图像产生的摘要静止图像；
[0027]图6A至图6C示出根据示例性实施例显示摘要静止图像的屏幕；
[0028]图7是根据另一示例性实施例的图像浏览方法的示意性流程图。
【具体实施方式】
[0029]现在将对示例性实施例作详细参考，这些示例性实施例被示出在附图中，其中相同的标号始终表示相同的元件。在这点上，本示例性实施例可具有不同的形式并且不应解释为限于这里阐明的描述。因此，以下仅通过参考附图描述示例性实施例，以解释发明构思的多个方面。如在这里使用的，术语“和/或”包括一个或更多个相关的所列项目的任意组合和所有组合。
[0030]本发明构思可包括各种示例性实施例和修改，并且这些示例性实施例被示出在附图中，并将在以下被具体描述。然而，应该理解，本发明构思不限于示例性实施例并且包括所有落入本发明构思的精神和范围中的修改、等同物和替代物。在以下描述中，由于公知的功能或配置的具体描述会不必要地模糊本发明构思的主题，所以这些公知的功能或配置的具体描述将会被省略。
[0031]在以下示例性实施例中，尽管诸如“第一”和“第二”的术语可被用在这里以描述各种元件或组件，但是这些元件或组件不应被这些术语限制。这些术语只是用来将一个元件或组件与另一元件或组件区分开。
[0032]这里使用的术语只为描述示例性实施例的目的，不意图限制本发明构思。如在这里使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。将会理解的是，当在这里使用诸如“包括”、“具有”的术语时，说明存在陈述的特征、整体、步骤、操作、元件、组件、或它们的组合，但是不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件、或它们的组合。
[0033]示例性实施例可以参照附图从功能块组件和各种处理操作方面被描述。这些功能块可被通过任意数量的执行特定功能的硬件和/或软件组件实施。例如，示例性实施例可以使用可在一个或更多个微处理器或其它控制装置的控制下执行各种功能的各种集成电路(IC)组件，如存储器元件、处理元件、逻辑元件和查找表。类似地，在示例性实施例的元件通过软件编程或软件元件实施的情况下，示例性实施例可通过任意编程或脚本语言(诸如C、C++、Java或汇编语言)利用各种算法来实施，所述各种算法通过数据结构、进程、例程或其它编程元件的任意组合来实施。功能性方面可通过在一个或更多个处理器中执行的算法实施。此外，示例性实施例可使用相关技术进行电子环境设置、信号处理、和/或数据处理。诸如“机制”、“元件”、“单元”、“模块”和“配置”的术语可以广义地使用，且不限于机械配置和物理配置。这些术语可包括结合处理器等的软件例程的含义。
[0034]图1是根据示例性实施例的图像浏览系统的示意性框图。图2是图1的图像处理引擎的示意性框图。
[0035]参照图1，图像浏览系统I可执行一系列处理以向用户提供搜索结果并且使得用户理解搜索结果。图像浏览系统I可包括图像处理引擎10、数据库(DB)20、查询引擎30、搜索引擎40和浏览引擎50。
[0036]图像处理引擎10可在输入视频图像中执行诸如图像消失检测、对象运动检测和对象出现/消失检测的图像分析。此外，图像处理引擎10可执行背景检测、前景和对象检测、对象计数、相机干扰检测、面部检测等。此外，图像处理引擎10可计算图像亮度、颜色、纹理以及轮廓(形状)信息。
[0037]输入视频图像可以是从作为连接到图像浏览系统I的图像传感器的相机(未示出)直接发送的视频图像、存储在连接到图像浏览系统I的网络视频录像机(NVR)中或数字视频录像机中的视频图像、或者通过网络(未示出)在各种频道上输入的视频图像。
[0038]图像处理引擎10可包括对象追踪器101和代表图像选择器103。
[0039]对象追踪器101可从组成输入视频图像的多个图像帧确定作为感兴趣的对象的运动区域并且追踪对象的运动轨迹。对象追踪器101可通过收集关于在连续的图像帧之间的对象改变的信息获取关于视频图像中的对象的追踪信息。
[0040]代表图像选择器103可基于预定的选择条件在跟随或表示对象的追踪的运动轨迹的图像帧中选择代表图像帧。选择条件可由用户进行不同设置。选择条件可包括对象的外部形状和对象与另一对象的位置关系(如对象间的重叠程度)。例如，代表图像选择器103可确定对象是人还是车辆。在这种情况下，当对象是人时，作为示例，代表图像选择器103可首先选择包括面部的图像帧；当对象是车辆时，作为示例，代表图像选择器103可首先选择包括牌照的图像帧。代表图像选择器103可首先选择具有较大对象尺寸的图像帧。代表图像选择器103可首先选择具有最小模糊效果的图像帧。代表图像选择器103可首先选择与另一对象没有或者具有最小遮挡的图像帧。代表图像选择器103可首先选择由用户指定的事件被检测到的图像帧。所述事件可包括特定运动、特定语音等。由于对象选择条件是考虑其是否能够增加识别对象的机率而确定的，所以代表图像帧的选择可允许用户容易地识别对象。可以设置一个或更多个选择条件。代表图像选择器103可为一个或更多个选择条件中的每个选择条件设置分数并且选择具有最高最终分数的图像帧作为每个对象的代表图像帧。选择条件的分数可根据由用户考虑的优先顺序被设置为相同或不同。例如，对象尺寸、模糊效果和重叠程度可被设置为选择条件，并且可为每个选择条件设置分数。在这里，每个选择条件的分数可被设置超过根据选择条件而不同的预定的分数范围。根据满足图像帧中的一定的选择条件的程度，该选择条件的分数被设置给图像帧。每个对象的图像帧上的选择条件的分数可被相加，并且具有最高总分数的图像帧可被选择为代表图像帧。
[0041]代表图像选择器103可从针对每个对象选择的代表图像帧中提取对象并产生对象段。对象段可以是围绕、包围或包含对象的预定尺寸的块，或者是从代表图像帧中提取的对象本身。代表图像选择器103可产生包括关于代表图像帧的时间信息(时间戳)、关于代表图像帧中的对象的位置信息等的元数据。
[0042]当输入视频图像时，代表图像选择器103可基于考虑对象追踪结果的选择条件选择每个对象的代表图像帧，并产生和存储代表图像帧的元数据。可选择地，当输入视频图像并且用户或图像浏览系统I请求摘要静止图像时，代表图像选择器103可基于选择条件和输入视频图像中的对象之间的位置关系选择每个对象的代表图像帧，并产生和存储相关的元数据。
[0043]DB 20存储输入视频图像、视频图像分析结果等。视频图像分析结果可以以基于文本的元数据或基于图像的元数据的形式存储。图像处理引擎10可创建和组织用于简单搜索的元数据并将结果存储在DB 20中。
[0044]DB 20可包括图像DB 201和元数据DB 203。输入视频图像和每个对象的视频图像(即，一系列跟随或表示对象的运动轨迹的图像帧)可被存储在图像DB 201中。关于每个对象的代表图像帧的时间信息和关于代表图像帧中的对象的位置信息的元数据可被存储在元数据DB 203中。此外，关于每个对象的视频图像时间信息(时间戳)可被存储在元数据DB 203中。此外，从代表图像帧提取的对象段可以以基于图像的元数据的形式被存储在元数据DB 203中。
[0045]此外，图像处理引擎10可在多个图像帧中确定作为背景的静止区域并产生背景图像。背景图像产生方法不限于特定的方法并且背景图像可以由各种已知的方法产生。
[0046]此外，图像处理引擎10可执行图像分析，并且在图像分析结果满足预定事件产生条件时产生事件。在这里，事件可以包括在系统中设置的系统事件，诸如网络错误的产生或新相机的设置。此外，事件可以包括由用户设置的用户事件，诸如对象的出现、由用户指定的图像的产生(例如，无法识别的面部图像的出现)、屏幕颜色的改变、在预定区域中的运动的发生、异常声源的产生(例如，汽车轮胎摩擦(打滑)声、玻璃碎裂声、警报声、撞击声等)、由用户指定的声源的产生(例如，呼喊、尖叫、哭泣等)或者高于临界水平的语音的产生。
[0047]查询引擎30通过输入装置60接收一个或更多个搜索条件的输入，从所述条件分析用户的需求，并以预定的形式重建所述条件。例如，用户可通过输入装置60输入所述条件，诸如时间段、对象分类、颜色、监测区域中的感兴趣区域(ROI)、监测区域中的特定方向的特定线路。例如，时间段可被设为日期/时间。对象分类可被设为对象类型(例如，人物、车辆或动物)、特定对象(例如，无名氏、白色车辆或猫)等。
[0048]检索引擎40可接收重建的搜索条件并根据搜索条件访问DB 20以查找必要信息。搜索引擎40可提取与搜索条件相应的一个或更多个图像帧和元数据。
[0049]浏览引擎50可从搜索引擎40(或图像处理引擎10)接收背景图像和每个对象的代表图像帧的对象段，并将对象段合成到背景图像中以产生摘要静止图像。背景图像可以是特定的静止图像或从输入视频图像产生的背景图像。
[0050]浏览引擎50可执行用于清楚地辨别背景和前景(对象)的可视化。作为可视化的示例，对象可由特定颜色或由特定图形(如四边形或圆形)来表示。一个或更多个摘要静止图像可根据视频图像中的对象的数量和对象之间的重叠而产生。两个或更多个摘要静止图像可维持与对象的出现时间相应的时间的顺序。摘要静止图像可包括表示对象信息的文本。对象信息可包括关于对象分类(例如，人物、车辆、动物等)、出现和/或维持时间、对象段颜色的信息。
[0051]浏览引擎50可在显示器70上实时渲染摘要静止图像。浏览引擎50可显示示出满足搜索条件的多个对象的一个或更多个摘要静止图像。浏览引擎50可以以基于对象的出现时间的时间顺序布置多个摘要静止图像。例如，时间上在前的摘要静止图像可被布置在时间上在后的摘要静止图像之前或之后。当确定一个摘要静止图像被多个对象完全充满时，浏览引擎50产生下一个摘要静止图像。浏览引擎50重复摘要静止图像的产生，直至在请求时间期间内的所有对象被概括为一个或更多个静止图像。
[0052]浏览引擎50可通过使用关于对象的出现时间和位置的信息在一个或更多个相同的背景图像中渲染多个对象的多个对象段。因此，基于不同对象之间的相互作用的摘要静止图像可被提供。
[0053]当选择摘要静止图像中的对象时，浏览引擎50可提供所选对象的视频图像作为预览图像。预览图像可以以对话气球提示的形式被提供在所选对象的周围。当选择预览图像(例如，鼠标移过并点击预览图像)时，浏览引擎50可以再现对象的视频图像。因此，用户能快速搜索感兴趣的对象并能快速确定在所选时间期间发生了什么事件。
[0054]用户终端80可以是由安全参与者或者管理图像浏览系统I的用户使用的计算机或移动终端。用户可通过用户终端80控制图像浏览系统I。用户终端80包括输入装置60，输入装置60是使用户能够将查询(搜索条件)输入到图像浏览系统I中的用户接口。
[0055]输入装置60被无线连接或有线连接到图像浏览系统1，以产生允许用户控制图像浏览系统I的操作的输入数据。输入装置60可包括键盘、圆顶开关、触摸板(如电容覆盖型、电阻覆盖型、红外光束型、表面声波型、积分应变型、压电型或非接触式接近传感器型)、鼠标、遥控器、滚轮和滚轮开关。用户终端80可通过使用输入装置60修正、添加或删除搜索条件来设置结果图像的显示条件。用户终端80可通过使用输入装置60调整显示的结果图像的布置、合并和执行。
[0056]显示器70为用户提供从浏览引擎50输出的结果图像，因此使得用户能够监测显示的图像。显示器70可为用户提供视觉信息和/或听觉信息。显示器70可包括液晶显示器(IXD)面板、有机发光显示器(OLED)面板或电泳显示器(EPD)面板。显示器70可以以能够接收根据用户的触摸的输入的触摸屏的形式被提供，从而用作输入接口。
[0057]在闭路电视(CCTV)图像安全系统中，由相机捕获的图像通过传输网络被发送/接收，以使人们可以通过使用监视器直接监测安全环境，或者图像可被存储在DVR、NVR或视频管理系统(VMS)中，以使人们后续可以搜索存储的图像。然而，在CCTV图像安全系统中，由于CCTV相机的数量快速增长，由人进行的分析和直接监测受到限制，并且由于CCTV相机的数量快速增长，搜索存储的图像所花费的时间也成指数增长。因此，视频浓缩/摘要技术已得到发展。视频摘要技术将长期记录的图像概括以提供压缩图像，因此帮助用户有效地搜索记录的图像。
[0058]视频图像摘要方案收集关于移动对象的信息以提供新的摘要图像。因此，为用于后来的搜索，结果屏幕上产生多个对象同时出现和移动的场景，并且用户需要确定期望的对象是否存在于结果屏幕上的图像中。在这种情况下，当图像摘要长度太短时，屏幕复杂度增加，并且监测目标对象因此可能会被错失；当图像摘要长度太长时，搜索效率比再现一般的监测图像的情况下的搜索效率更低。此外，由于需要相对较长的时间来将监测图像概括到结果图像中，所以在后续需要快速搜索时搜索效率可能被降低。
[0059]根据示例性实施例，移动对象的视频图像被作为静止图像概括和提供给用户，因此帮助用户寻找监测目标对象而不会错失。根据示例性实施例，静止图像可通过布置对象来提供，以使对象之间的重叠最小化并且对象之间的没有路径重叠的区域最大化。即，当η个对象存在于原始视频图像中时，表示η个对象中的每个对象的主要场景(图像帧)(即每个对象的代表图像帧)被选择用来概括视频图像，以使所有的η个对象可以被表示在单个静止图像中。如果包括在一个结果摘要图像中的对象重叠过多，则可提供多个静止图像。静止图像的顺序可被设置为时间顺序，以使用户搜索感兴趣的对象时不会困惑。
[0060]图3是根据示例性实施例的图像浏览方法的示意性流程图。
[0061]图像浏览系统可从输入视频图像的多个图像帧检测对象并追踪对象的运动(S31)。图像浏览系统可通过识别、运动检测和追踪技术从所有图像帧检测一个或更多个对象，并通过持续追踪提取和恢复对象的运动轨迹。
[0062]图像浏览系统可选择每个对象的代表图像帧(S32)。图像浏览系统可设置包括面部的人物图像、包括牌照的车辆图像、具有大对象尺寸的图像、具有小模糊效果的图像、不具有与另一对象的遮挡或具有与另一对象的很少遮挡的图像、或者发生事件的图像作为代表图像帧的选择条件。选择条件对于一些对象可以是相同的，或者可以根据对象而不同。一个或更多个选择条件可被设置。图像浏览系统可设置一个或更多个选择条件中的每个选择条件的分数并选择具有最高最终分数的图像帧作为每个对象的代表图像帧。选择条件的分数可以根据由用户考虑的优先顺序设置为相同或不同。
[0063]图像浏览系统可以从每个对象的代表图像帧产生元数据并存储元数据(S33)。图像浏览系统可提供每个对象的代表图像帧的数据库并以基于文本的元数据的形式提供关于代表图像帧中的对象的时间信息和位置信息。图像浏览系统可以以基于文本的元数据的形式提供关于每个对象出现在其中的视频图像的时间信息的数据库，以便提供跟随或表示每个对象的完整运动轨迹的视频图像。图像浏览系统可以以基于图像的元数据的形式提供从代表图像帧提取的对象段的数据库。元数据可针对每个对象进行匹配并存储。
[0064]当从用户终端接收到摘要静止图像请求时(S34)，图像浏览系统渲染并显示摘要静止图像(S35)。图像浏览系统从用户终端接收搜索条件，并提取与搜索条件响应的信息(元数据和图像帧)。图像浏览系统可通过将与搜索条件相应的每个对象的对象段合成到背景图像来产生至少一个摘要静止图像。每个对象的对象段可通过特定颜色或通过特定图形被可视化。
[0065]当接收到对象视频图像再现请求时，即，当从摘要静止图像选择对象时(S36)，图像浏览系统再现所选对象的视频图像(S37)。当在摘要静止图像中的对象上感测到输入单元(例如，鼠标光标、数字笔、手指等)的位置时，图像浏览系统可以以预览图像的形式提供所选对象的视频图像。当接收到预览图像的选择信号时(即，当预览图像被点击时)，图像浏览系统可再现所选对象出现的时间段的视频图像。对象视频图像可提供其它对象被移除且只有所选对象出现的场景。
[0066]根据本示例性实施例，当输入视频图像时，对象被追踪并且代表图像帧基于每个对象的选择条件被选择以产生和存储元数据。在这种情况下，静止摘要图像可被实时产生。
[0067]图4A至图5C示出根据示例性实施例的从输入视频图像产生的摘要静止图像。图4A至图4C示出产生一个摘要静止图像的示例，图5A至图5C示出产生两个摘要静止图像的示例。
[0068]图4A示出包括多个图像帧的输入视频图像的示例。在输入视频图像中，假设四个对象同时或不同时出现并沿不同的路线移动。关于对象视频图像(即每个对象的图像帧)的时间信息可如上述描述被存储为元数据。不同的对象可同时出现在一个图像帧中。因此，一个图像帧可与不同对象匹配。在图4A中，为便于描述，省略背景和其它对象，而只示出感兴趣的对象。
[0069]在图4A的每个对象的图像帧中，代表图像帧RF I至RF4被选择。可基于针对每个对象设置的选择条件来针对每个对象选择代表图像帧RF I至RF4。可以从每个对象的代表图像帧RFl至RF4提取对象段。每个对象的代表图像帧和诸如关于对象段的位置信息和时间信息的元数据可被存储。
[0070]图4B示出图4A的输入视频图像中的四个对象的运动轨迹(箭头)和出现顺序。在图4A的输入视频图像中，假设第一对象①至第四对象④以数字顺序出现在图4B中指示的各自位置，并沿着由实线箭头指示的各自的运动轨迹移动。
[0071]图4C示出四个对象①至④被表示在一个摘要静止图像中的示例。从各自的代表图像帧RFl至RF4中提取的所有四个对象段被表示在一个静止图像中。可以看出，代表图像帧被选择为使得对象相互不重叠。各个对象的对象段可由不同颜色或由不同图形来表示。
[0072]图5A示出出现九个对象的输入视频图像。这九个对象的出现顺序和运动轨迹(箭头)不同。当过多对象被表示在一个摘要静止图像中时，对象密度值可由用户的指定被改变，并且摘要静止图像的数量会因此增加或减少。
[0073]图5B和图5C示出以分开的方式在两个摘要静止图像中表示九个对象的示例。图5B示出时间上在前的四个对象被表示的第一摘要静止图像。图5C示出时间上在后的五个对象被表示的第二摘要静止图像。
[0074]图6A至图6C示出根据示例性实施例显示摘要静止图像的屏幕。
[0075]在如图6A所示的摘要静止图像被显示在屏幕上的状态下，当如图6B所示，诸如鼠标光标的指针位于对象上时，可在所选的对象周围以对话气球提示的形式提供图层，并且在该图层中可显示对象的预览图像。当点击预览图像时，如图6C所示，所选对象沿着运动轨迹移动的对象视频图像可在整个屏幕上被重叠和再现。当再现完成时，在图6A中示出的摘要静止图像可再次被显示。
[0076]图7是根据另一示例性实施例的图像浏览方法的示意性流程图。
[0077]图像浏览系统可从输入视频图像的多个图像帧中检测对象并追踪对象的运动(S51)。图像浏览系统可通过识别、运动检测和追踪技术从所有图像帧中检测一个或更多个对象，并且通过持续追踪提取和恢复对象的运动轨迹。
[0078]当从用户终端接收到摘要静止图像请求时(S52)，图像浏览系统可选择每个对象的代表图像帧(S53)。当从用户终端接收到搜索条件的输入时，图像浏览系统可基于搜索条件选择输入视频图像中的每个对象的代表图像帧。如上所述，代表图像帧的选择条件可由用户设置为对于一些对象相同或根据对象而不同。一个或更多个选择条件可被设置。图像浏览系统可以设置一个或更多个选择条件中的每个选择条件的分数，并选择具有最高最终分数的图像帧作为每个对象的代表图像帧。选择条件的分数可根据由用户考虑的优先顺序被设为相同或不同。
[0079]图像浏览系统可从每个对象的代表图像帧产生元数据并存储元数据(S54)。图像浏览系统可提供每个对象的代表图像帧的数据库，并且以基于文本的元数据的形式提供关于代表图像帧中的对象的时间信息和位置信息。图像浏览系统可将关于每个对象的时间信息存储为元数据，以便提供跟随每个对象的整个运动轨迹的视频图像。图像浏览系统可以以基于图像的元数据的形式提供从代表图像帧提取的对象段的数据库。元数据可针对每个对象进行匹配和存储。
[0080]图像浏览系统渲染并显示与搜索条件相应的摘要静止图像(S55)。图像浏览系统可通过合成从与搜索条件相应的每个对象的代表图像帧提取的对象段来产生至少一个摘要静止图像。每个对象的对象段可通过特定颜色或通过特定图形被可视化。
[0081]当接收到对象视频图像再现请求时(即，当从摘要静止图像中选择对象时)(S56)，图像浏览系统再现所选对象的视频图像(S57)。当在摘要静止图像中的对象上感测到输入单元(例如，鼠标光标、数字笔、手指等)的位置时，图像浏览系统可以以预览图像的形式提供所选对象的视频图像。当接收到预览图像的选择信号时(即当点击预览图像时)，图像浏览系统可再现示出出现所选对象的整个运动轨迹的视频图像。对象视频图像可提供其它对象被移除且只有所选对象出现或移动的场景。
[0082]根据在图3中示出的示例性实施例，当视频图像输入时预先产生和存储元数据。不同于图3中示出的示例性实施例，在图7中示出的本示例性实施例中，当摘要静止图像被请求时，元数据被产生和存储。在这种情况下，不是只基于对象的外部形状简单地选择代表图像帧，而是通过考虑与其它对象的位置关系，最小化对象之间的重叠以使更多的对象可位于一个摘要静止图像中。因此，可以减少摘要静止图像的数量。
[0083]图像浏览系统可根据用户的设置选择性地执行图3的示例性实施例和图7的示例性实施例。
[0084]根据示例性实施例，摘要图像不是简缩的视频图像而是基于对象的图像。因此，错失对象的可能性可以减少，并且可以一眼识别多个对象，从而可提供用户的便利性。具体地讲，由于对象的代表图像基于代表图像选择分数被选择，所以对象的存在/不存在可被快速地确定，而不花费不必要的再现时间。此外，示例性实施例可提供低存储消耗和高处理速度。根据示例性实施例，尽管所有图像帧可作为数据库被获得和提供，但是由于只有对象的代表图像可被存储，所以当接收到摘要请求时，摘要图像可被立即提供给用户。此外，示例性实施例可为用户搜索提供便利性。由于通过在感兴趣的对象上放置诸如鼠标的指针来再现感兴趣的对象的从出现到消失的图像，所以关于对象的信息可被快速获得。
[0085]如上所述，根据以上示例性实施例，通过产生基于对象的摘要静止图像，可以一眼识别多个对象并且可以提供用户的便利性。
[0086]根据示例性实施例的摘要图像浏览方法还可以被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质可以是能存储此后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例可包括ROM、RAM、⑶-ROM、磁带、软盘和光学数据存储器。计算机可读记录介质还可分布于连接网络的计算机系统上，以使计算机可读代码可以以分布方式被存储和执行。此外，用于实现本发明构思的功能程序、代码和代码段可以由本发明构思所属领域的编程技术人员容易地解释。
[0087]应该理解，这里描述的示例性实施例应被看作仅有描述意义，而不是为了限制的目的。每个示例性实施例中的特征或方面的描述通常应被看作可用于在其它示例性实施例中的其它类似的特征或方面。
[0088]虽然一个或更多个示例性实施例已经参考附图被描述，但是本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上进行各种改变。
【主权项】
1.一种浏览摘要静止图像的方法，所述方法包括: 通过控制图像处理引擎，追踪包括在包括多个图像帧的输入视频图像中的至少一个对象； 通过控制图像处理引擎，从所述多个图像帧中选择所述至少一个对象中的每个对象的代表图像帧； 通过控制浏览引擎，产生至少一个摘要静止图像，所述至少一个摘要静止图像包括从所述至少一个对象中的每个对象的代表图像帧中提取的至少一个对象段。2.如权利要求1所述的方法，其中，选择代表图像帧的步骤包括:从所述多个图像帧中选择在至少一个对象的选择条件上具有最高分数的图像帧作为代表图像帧。3.如权利要求2所述的方法，其中，所述至少一个对象选择条件包括以下项中的至少一项:所述至少一个对象的属性、所述多个图像帧中的模糊效果、所述至少一个对象与另一对象之间的重叠程度， 其中，所述至少一个对象选择条件中的每个被给予预定的分数范围。4.如权利要求1所述的方法，其中，所述至少一个摘要静止图像还包括:基于所述多个图像帧中的静止区域产生的背景图像。5.如权利要求1所述的方法，其中，在所述至少一个摘要静止图像中的至少一个对象段的尺寸和位置对应于在代表图像帧中示出的至少一个对象的尺寸和位置。6.如权利要求1所述的方法，其中，产生至少一个摘要静止图像的步骤包括:根据在所述至少一个对象所述多个图像帧中的出现时间的顺序和在一个摘要静止图像中设置的对象的最大数量产生至少一个摘要静止图像。7.如权利要求1所述的方法，还包括:响应于选择在所述至少一个摘要静止图像中的对象段的选择信号，提供从所述至少一个对象段中选择的对象段的运动的预览图像。8.如权利要求7所述的方法，还包括:响应于在所述至少一个摘要静止图像上选择预览图像的选择信号，按时间顺序再现所选对象段的运动。9.如权利要求1所述的方法，还包括: 接收搜索条件信号以指示产生至少一个摘要静止图像； 产生代表图像帧的元数据； 其中，元数据包括:关于代表图像帧的时间信息和关于在代表图像帧中的至少一个对象的位置信息。10.如权利要求9所述的方法，其中，选择代表图像帧的步骤在接收到搜索条件信号之后被执行。11.一种浏览摘要图像的系统，所述系统包括: 图像处理引擎，被配置为追踪包括在包括多个图像帧的输入视频图像中的至少一个对象并从所述多个图像帧中选择所述至少一个对象中的每个对象的代表图像帧； 浏览引擎，被配置为产生至少一个摘要静止图像，所述至少一个摘要静止图像包括从所述至少一个对象中的每个对象的代表图像帧提取的至少一个对象段。12.如权利要求11所述的系统，其中，图像处理引擎被配置为从所述多个图像帧中选择在至少一个对象选择条件上具有最高分数的图像帧作为代表图像帧。13.如权利要求12所述的系统，其中，所述至少一个对象选择条件包括以下项中的至少一项:所述至少一个对象的属性、在所述多个图像帧中的模糊效果、所述至少一个对象与另一对象之间的重叠程度， 其中，所述至少一个对象选择条件中的每个被给予预定的分数范围。14.如权利要求11所述的系统，其中，所述至少一个摘要静止图像还包括:基于在所述多个图像帧中的静止区域产生的背景图像。15.如权利要求11所述的系统，其中，在所述至少一个摘要静止图像中的至少一个对象段的尺寸和位置对应于在代表图像帧中示出的至少一个对象的尺寸和位置。16.如权利要求11所述的系统，其中，浏览引擎被配置为根据所述至少一个对象在所述多个图像帧中的出现时间的顺序和在一个摘要静止图像中设置的对象的最大数量产生至少一个摘要静止图像。17.如权利要求11所述的系统，其中，浏览引擎还被配置为响应于选择在所述至少一个摘要静止图像中的对象段的选择信号，提供从所述至少一个对象段中选择的对象段的运动的预览图像。18.如权利要求17所述的系统，其中，浏览引擎还被配置为响应于在所述至少一个摘要静止图像上选择预览图像的选择信号，按时间顺序再现所选对象段的运动。19.如权利要求11所述的系统，还包括:查询引擎，被配置为接收搜索条件信号以指示产生至少一个摘要静止图像， 其中，图像处理引擎还被配置为产生代表图像帧的元数据， 其中，元数据包括:关于代表图像帧的时间信息和关于在代表图像帧中的至少一个对象的位置信息。20.如权利要求19所述的系统，其中，图像处理引擎还被配置为在查询引擎接收到搜索条件信号之后选择代表图像帧。
【文档编号】H04N7/18GK105872452SQ201510622680
【公开日】2016年8月17日
【申请日】2015年9月25日
【发明人】白荣民, 金大焕, 全承先, 金智星
【申请人】韩华泰科株式会社