支持智能搜索的视频记录设备及智能搜索方法
【专利说明】支持智能搜索的视频记录设备及智能搜索方法
[0001]本申请要求于2014年12月5日提交到韩国知识产权局的第10_2014_0174254号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
[0002]与示例性实施例相一致的设备和方法涉及一种能够支持基于对象的元数据信息(诸如颜色、信息等)的搜索的视频记录设备。
【背景技术】
[0003]虽然通过闭路电视(CCTV)捕捉的视频非常有助于防止犯罪、侦察嫌疑人、识别事故肇事者等，但是从记录的视频中查找关于特定的事故的视频并不容易。此外，对于仅一人而言彻底地实时监视从多个CCTV发送的所有视频是困难的。
[0004]此外，当通过根据现有技术的视频记录设备执行运动检测时，即使重复性的无意义的运动(诸如树上树叶的摇摆)也作为事件被记录。即，因为关于不期望事件的信息被错误地检测，所以要搜索的信息量很大并且检测期望的事件很困难。
【发明内容】
[0005]本发明构思的示例性实施例意在提取关于接收到的输入视频的发生事件的区域的颜色信息并使用颜色信息来搜索该事件或与该事件相关的对象的功能。
[0006]示例性实施例意在分析对象的模式并提取代表颜色作为关于对象的附加信息，针对所述对象检测事件以确定该对象是人、车辆还是动物。因为所述对象实际上包括各种颜色，所以运动中的该对象的代表颜色被提取。随后，提取的代表颜色被转换为用于搜索的颜色以用于搜索，并在视频记录设备上记录关于用于搜索的颜色的信息。
[0007]本发明构思的各种方面将会部分地在以下描述中阐明，并将会部分地从描述中是清楚的，或者可以通过呈现的实施例的实践而领会。
[0008]根据一个或更多个示例性实施例，提供了一种视频记录设备，所述视频记录设备可包括:对象分类器，被配置为根据对象类型将包括在输入视频中的并且与检测到的事件相关的对象进行分类；对象颜色提取器，被配置为提取对象的代表颜色；搜索颜色存储器，被配置为将代表颜色转换为搜索颜色并且将搜索颜色存储为将被用于从输入视频搜索对象或检测到的事件的颜色信息。
[0009]视频记录设备还可包括:事件信息存储器，被配置为存储关于以下各项中的至少一项的信息:发生事件的输入视频的区域、发生事件的时间点、事件的敏感度、以及在发生事件的区域中检测到的对象的属性，其中，关于所述属性的信息包括对象的标识、尺寸和位置。
[0010]视频记录设备可支持或提供被配置为接收基于搜索颜色搜索对象或事件的输入的搜索界面。
[0011]视频记录设备还可包括:元数据存储器，被配置为存储预定数量的块中的每块的关于以下各项中的至少一项的信息:对象的属性、代表颜色和搜索颜色。
[0012]搜索颜色存储器可被配置为在多个预定的颜色中选择红、绿和蓝(RGB)值与代表颜色的RGB值之间的差最小的颜色作为搜索颜色。
[0013]搜索颜色存储器还可被配置为基于组成输入视频的每个图像帧的块的数量、与检测到的事件相关的对象的类型、以及从中选择搜索颜色的预定的颜色的数量从输入视频产生数据结构。
[0014]根据一个或更多个示例性实施例，提供了一种由视频记录设备执行的智能搜索方法。所述方法可包括:由对象分类器根据对象的类型对包括在输入视频中的并且与检测到的事件相关的对象进行分类；由对象颜色提取器提取对象的代表颜色；由搜索颜色存储器将代表颜色转换为搜索颜色并将搜索颜色存储为将被用于从输入视频搜索对象或检测到的事件的颜色信息。
【附图说明】
[0015]这些和/或其它方面将通过以下结合附图对实施例的描述变得清楚和更容易理解，在附图中:
[0016]图1是根据示例性实施例的视频记录设备的框图；
[0017]图2示出根据示例性实施例的由视频记录设备接收的输入视频；
[0018]图3示出根据示例性实施例的从由视频记录设备接收的输入视频检测到的事件；
[0019]图4A至图4E示出根据示例性实施例的由视频记录设备执行的显示发生对象的事件的区域和关于对象的颜色信息的方法；
[0020]图5和图6示出根据示例性实施例的由视频记录设备执行的提取代表颜色的方法;
[0021]图7是示出根据示例性实施例的由搜索颜色存储器使用的包含10个搜索颜色的搜索颜色表的示图；
[0022]图8是示出根据示例性实施例的存储与在时间段TO至TN中检测到的事件相关的对象的元数据的方法的示图；
[0023]图9是示出根据示例性实施例的在与在时间段TO至TN中检测到的事件相关的对象的元数据中所包括的搜索颜色数据的示图；
[0024]图10是根据示例性实施例的由视频记录设备执行的智能搜索方法的流程图。
【具体实施方式】
[0025]现在将对实施例作详细描述，这些实施例的示例在附图中被示出，其中，相同的标号始终表示相同的元件。在这点上，本实施例可具有不同的形式并且不应解释为限于这里阐明的描述。因此，以下仅通过参照附图描述示例性实施例，以解释本发明的多个方面。如在这里使用的，当诸如“中的至少一个”的表达在一列元素之后时，修饰整列元素，而不是修饰列的单个元件。
[0026]图1是根据示例性实施例的视频记录设备100的框图。
[0027]视频记录设备100包括对象分类器110、对象颜色提取器120以及搜索颜色存储器130。视频记录设备100还可包括元数据存储器140。
[0028]根据示例性实施例，视频记录设备100接收并解码从网络相机发送的视频，并且从解码的视频中提取检测到事件的区域。在提取的区域中检测到的对象根据对象是车辆、人还是动物被分类。此外，检测到的对象的代表颜色被提取，并且提取的代表颜色被转换为搜索颜色并被储存。
[0029]视频记录设备100提供、支持或包括用于基于搜索颜色和各种对象信息中的至少一个搜索对象的搜索界面。搜索界面可被配置为通过另外设置事件的敏感度、关于发生事件的时间点的时间信息和关于发生事件的区域的区域信息中的至少一个来执行搜索。
[0030]视频记录设备100的示例包括数字视频录像机(DVR)、网络视频录像机(NVR)、视频录像机、手持装置、移动电话、智能电话、智能手表、平板个人电脑(PC)等。
[0031]根据示例性实施例，视频记录设备100可以以有线和/或无线方式建立与网络相机、视频处理装置、视频录像机等中的至少一个的通信，并提供在处理接收到的输入视频的期间产生的运动事件信息。
[0032]视频记录设备100可接收将被用于视频分析的视频流，执行诸如对视频流解码的视频处理，并存储输入视频。随后，例如，约为每秒10帧(FPS)的视频流从存储的输入视频中被提取，并被缩小到适合于视频分析的尺寸。适合于视频分析的尺寸可以是4:3比率的640X480像素、16:9比率的640X350像素等。
[0033]视频记录设备100从缩小的视频中检测诸如运动的事件，其中，对所述缩小的视频执行如上所述的视频处理。在缩小的视频中，关于与检测的事件相关的对象的对象信息包括关于对象的属性信息(诸如类型、尺寸、表示对象是在视频中新出现的还是在先前视频中已经出现的对象标识(ID)等)。根据示例性实施例，新的对象ID被分配给新检测到的对象。
[0034]对象分类器110分析在由视频记录设备100接收的输入视频中与检测的事件相关的对象的模式。基于对象的模式，对象被分类为人、车辆、动物、树木、物品等。
[0035]对象颜色提取器120从由对象分类器110分类的对象提取代表颜色。对象颜色提取器120可以以各种方式提取代表颜色。
[0036]根据示例性实施例，对象颜色提取器120可使用图5的直方图来提取代表颜色。直方图基于检测到的对象的每个像素的颜色产生，最大数量的像素的颜色(参见图5的标号510)被选择为代表颜色。
[0037]根据另一示例性实施例，对象颜色提取器120基于检测到的对象的代表像素的颜色提取代表颜色。在这种情况下，检测到的对象的代表像素可通过选择检测到的对象的角落像素、检测到的对象的中心像素、与检测到的对象的中心隔开预定距离的像素中的至少一个来确定。
[0038]此外，特定像素可根据用户的选择被选择为代表像素。例如，对象的角落像素和中心像素可被选择为代表像素，并且代表颜色可从代表像素中被提取。根据另一示例性实施例，出现在对象的中心区域的像素和在距对象的中心区域预定距离内的像素可被选择为代表像素，并且代表颜色可从这些像素中被提取。
[0039]根据另一示例性实施例，对象颜色提取器120可以根据对象的尺寸选择性地使用提取代表颜色的方法。
[0040]根据示例性实施例，当对象的尺寸小于或等于预定尺寸时，对象颜色提取器120可产生对象的所有像素的直方图，并且将最大数量的像素的颜色选择为代表颜色。