专利名称：视频检索方法及前端设备、后端服务器的制作方法
技术领域：
本发明涉及视频监控技术领域，具体涉及视频检索方法及前端设备、后端服务器。
背景技术：
实况录制成录像的同时会伴随大量的事件产生，比如移动侦测、拌线(物体通过警戒线)、门禁失效等事件。事件发生时段往往是用户关注的地方，如何有效协助用户检索相关的录像，将大大提高用户的检索效率。录像保存后，日常用户的检索是常见的操作。录像的检索有多种方式1、用户直接打开录像，然后拖动录像，直到找到需要的地方。这种方法查找费时， 当存在大量的录像时，查找工作量大，并且容易遗漏重要的录像。2、用户查找录像相关的事件，找到感兴趣的事件，然后根据该事件发生的时刻，查找到对应的录像。由于事件仅提供文字信息，没有图片。当事件较多时，用户需要逐个查看事件对应的录像，工作量大，体验不好。3、用户事前记录下来重要的时间点，直接根据时间检索。这种检索仅适用于用户对关键时间提前了解的场景。4、在录像生成后，根据事件触发时间，在存储的录像中读取指定时刻的图像，对图像进行解码，根据解码后的图像生成缩略图。这种方法的缺点是检索效率比较低，由于针对每个事件都需要进行读取图像、解码图像、生成缩略图操作，当存在大量的事件时，需要花费较多时间才能完成检索。
发明内容
本发明提供视频检索方法及前端设备、后端服务器，以提高视频检索效率。本发明的技术方案是这样实现的一种视频检索方法，该方法包括前端设备接收来自视频源的实况码流，当发现满足触发条件时，根据当前实况码流生成视频缩略图，将视频缩略图及其对应的触发条件信息发送到后端服务器；后端服务器接收并保存视频缩略图及其对应的触发条件信息；后端服务器接收用户输入的携带触发条件信息的检索请求，根据该触发条件信息查找到对应的视频缩略图，将该视频缩略图显示给用户。所述触发条件为事件触发或者定时触发。所述前端设备将视频缩略图及其对应的触发条件信息发送到后端服务器包括前端设备将视频缩略图及其对应的触发条件信息编码到当前实况码流中发送给后端服务器；或者，前端设备将视频缩略图及其对应的触发条件信息单独发送给后端服务器， 同时将实况码流发送给后端服务器。
4
当前端设备将视频缩略图及其对应的触发条件信息编码到当前实况码流中发送给后端服务器时，所述后端服务器接收并保存视频缩略图及其对应的触发条件信息包括后端服务器从接收到的码流中解析出视频缩略图及其对应的触发条件信息，保存视频缩略图及其对应的触发条件信息。所述后端服务器接收并保存视频缩略图及其对应的触发条件信息包括后端服务器将视频缩略图及其对应的触发条件信息保存到数据库中；所述后端服务器根据该触发条件信息查找到对应的视频缩略图包括后端服务器根据该触发条件信息在数据库中查找到对应的视频缩略图。所述后端服务器接收并保存视频缩略图及其对应的触发条件信息包括后端服务器将视频缩略图保存到存储模块中，将该视频缩略图的触发条件信息、 该视频缩略图在存储模块中的存储路径保存到数据库中；所述后端服务器根据该触发条件信息查找到对应的视频缩略图包括后端服务器根据该触发条件信息在数据库中查找到视频缩略图在存储模块中的存储路径，根据该存储路径在存储模块中查找到对应的视频缩略图。所述后端服务器接收并保存视频缩略图及其对应的触发条件信息进一步包括后端服务器接收并保存实况码流，同时保存视频缩略图对应的实况码流的索引；且，所述后端服务器根据该触发条件信息查找到对应的视频缩略图时，同时查找到该视频缩略图对应的实况码流的索引，将该索引与视频缩略图一并显示给用户，以便用户根据该索引查找视频缩略图对应的实况码流。一种前端设备，包括缩略图生成模块接收来自视频源的实况码流，当发现满足触发条件时，根据当前实况码流生成视频缩略图，将视频缩略图及其对应的触发条件信息发送给封装模块；封装模块将视频缩略图及其对应的触发条件信息封装后发送到后端服务器。所述缩略图生成模块的触发条件为事件触发或者定时触发。所述封装模块将视频缩略图及其对应的触发条件信息编码到当前实况码流中发送给后端服务器；或者，将视频缩略图及其对应的触发条件信息单独发送给后端服务器，同时将实况码流发送给后端服务器。一种后端服务器，包括存储单元接收并保存前端设备发来的视频缩略图及其对应的触发条件信息；检索模块接收用户输入的携带触发条件信息的检索请求，根据该触发条件信息在存储单元中查找到对应的视频缩略图，将该视频缩略图显示给用户。所述存储单元包括存储模块、索引模块和数据库，其中存储模块接收前端设备发来的视频缩略图及其对应的触发条件信息，将视频缩略图及其对应的触发条件信息发送给索引模块；索引模块将存储模块发来的视频缩略图及其对应的触发条件信息存储到数据库中；数据库存储视频缩略图及其对应的触发条件信息；且，所述检索模块根据触发条件信息在数据库中查找到对应的视频缩略图。
所述存储单元包括存储模块、索引模块和数据库，其中存储模块接收前端设备发来的视频缩略图及其对应的触发条件信息，保存视频缩略图，将视频缩略图的触发条件信息、该视频缩略图在本模块的存储路径发送给索引模块；索引模块将存储模块发来的视频缩略图的触发条件信息、该视频缩略图在存储模块的存储路径存储到数据库中；数据库存储视频缩略图的触发条件信息、视频缩略图在存储模块的存储路径；且，所述检索模块根据触发条件信息在数据库中查找到视频缩略图在存储模块的存储路径，根据该存储路径在存储模块中查找到对应的视频缩略图。所述存储单元进一步包括接收并保存前端设备发来的实况码流，保存视频缩略图对应的实况码流在本单元中的索引；且，所述检索模块进一步用于，根据触发条件信息在存储单元中查找到视频缩略图对应的实况码流在存储单元中的索引，将该索引与视频缩略图一并显示给用户，以便用户根据该索引在存储单元中查找对应的实况码流。与现有技术相比，本发明中，在实况码流生成过程中，根据触发条件生成视频缩略图，此后直接根据触发条件检索视频缩略图，大大减少了检索时间和检索工作量，提高了检索效率。
图1为本发明实施例一提供的视频检索方法流程图；图2为本发明实施例二提供的视频检索方法流程图；图3为本发明实施例提供的前端设备的组成示意图；图4为本发明实施例提供的后端服务器的组成示意图。
具体实施例方式下面结合附图及具体实施例对本发明再作进一步详细的说明。图1为本发明实施例一提供的视频检索方法流程图，如图1所示，其具体步骤如下步骤101 前端设备中的缩略图生成模块接收来自视频源的裸码流，当发现满足触发条件时，根据当前视频图像生成视频缩略图，将视频缩略图输出到前端设备的封装模块；同时，前端设备的编码模块接收来自视频源的裸码流，并根据裸码流生成实况码流，将实况码流输出到前端设备的封装模块。缩略图即当前图像的缩小图像。视频源比如摄像头等。触发条件可以是事件触发，具体地，可以是缩略图生成模块接收到事件通知，则触发生成缩略图。事件可以是侦测到移动物体、侦测到拌线、和/或侦测到门禁失效等；触发条件也可以是定时触发，即设置一个定时器，定时器定时向缩略图生成模块发送触发信号， 以定时触发缩略图生成模块生成缩略图。定时时长可以采用用户检索可能使用的最小时间粒度。
步骤102 前端设备的封装模块将视频缩略图及其对应的附加信息编码到实况码流中传输到后端服务器的存储模块。附加信息包括触发条件信息，还可以包括视频源标识、视频缩略图对应的实况码流的采集时间等。当触发条件为事件触发时，触发条件信息为事件信息，例如侦测到移动物体、侦测到拌线、和/或侦测到门禁失效等；当触发条件为事件触发时，触发条件信息为定时生成缩略图。步骤103 后端服务器的存储模块接收封装模块发来的码流，从码流中解析出视频缩略图及其对应的附加信息，保存原始实况码流，同时对于每幅视频缩略图，将该视频缩略图、视频缩略图的附加信息、视频缩略图对应的实况码流在存储模块上的索引的对应关系发送到后端服务器的索引模块。步骤104 后端服务器的索引模块将接收到的视频缩略图、视频缩略图的附加信息、视频缩略图对应的实况码流在存储模块上的索引的对应关系保存到后端服务器的数据库中。表1给出了本实施例中的数据库存储的数据的一个示例
视频源釆集时间条件实况码流索引缩略图摄像头110:00:00事件1索引1缩略图1摄像头110:10:00事件2索引2缩略图2摄像头211:00:00定期生成缩略图索引3缩略图3摄像头211:05:00定期生成缩略图索引4缩略图4表1本发明实施例一中的数据库存储的数据的一个示例步骤105 后端服务器的检索模块接收用户输入的携带触发条件信息的检索请求，根据该请求中的触发条件信息在数据库中查找到对应的视频缩略图。检索请求中可能同时携带其它检索条件如视频源标识和/或视频采集时间，此时，检索模块可根据所有检索条件在数据库中查找对应的视频缩略图。步骤106 检索模块将视频缩略图显示给用户。检索模块根据触发条件信息在数据库中可同时查找到对应的视频缩略图以及视频缩略图对应的实况码流在存储模块上的索引，将视频缩略图及视频缩略图对应的实况码流在存储模块上的索引同时显示给用户，若用户需要进一步查看视频缩略图的实况码流， 则根据该索引在存储模块上查找到对应的实况码流，从而用户可以更详细地了解当时情况。在实际应用中，步骤102也可以替换为封装模块将视频缩略图及其对应的附加信息通过私有协议传输到存储模块；同时，将实况码流通过现有协议传输到存储模块；同时，步骤103替换为存储模块接收视频缩略图及其对应的附加信息，接收实况码流，保存
7实况码流，同时对于每幅视频缩略图，将该视频缩略图、视频缩略图的附加信息、视频缩略图对应的实况码流在存储模块上的索引的对应关系发送到索引模块。图2为本发明实施例二提供的视频检索方法流程图，如图2所示，其具体步骤如下步骤201 前端设备中的缩略图生成模块接收来自视频源的裸码流，当发现满足触发条件时，根据当前视频图像生成视频缩略图，将视频缩略图输出到前端设备的封装模块；同时，前端设备的编码模块接收来自视频源的裸码流，并根据裸码流生成实况码流，将实况码流输出到前端设备的封装模块。触发条件可以是事件触发，具体地，可以是缩略图生成模块接收到事件通知，则触发生成缩略图。事件可以是侦测到移动物体、侦测到拌线、和/或侦测到门禁失效等；触发条件也可以是定时触发，即设置一个定时器，定时器定时向缩略图生成模块发送触发信号， 以定时触发缩略图生成模块生成缩略图。定时时长可以采用用户检索可能使用的最小时间粒度。步骤202 封装模块将视频缩略图及其对应的附加信息编码到实况码流中传输到存储模块。附加信息包括触发条件信息，还可以包括视频源标识、视频缩略图对应的实况码流的采集时间等。当触发条件为事件触发时，触发条件信息为事件信息，例如侦测到移动物体、侦测到拌线、和/或侦测到门禁失效等；当触发条件为事件触发时，触发条件信息为定时生成缩略图。步骤203 后端服务器的存储模块接收封装模块发来的码流，从码流中解析出视频缩略图及其对应的附加信息，保存原始实况码流，保存视频缩略图，同时对于每幅视频缩略图，将该视频缩略图的附加信息、该视频缩略图在存储模块中的存储路径、该视频缩略图对应的实况码流在存储模块上的索引的对应关系发送到后端服务器的索引模块。步骤204 后端服务器的索引模块将接收到的视频缩略图的附加信息、视频缩略图在存储模块中的存储路径、视频缩略图对应的实况码流在存储模块上的索引的对应关系保存到后端服务器的数据库中。表2给出了本实施例中的数据库存储的数据的一个示例
权利要求
1.一种视频检索方法，其特征在于，该方法包括前端设备接收来自视频源的实况码流，当发现满足触发条件时，根据当前实况码流生成视频缩略图，将视频缩略图及其对应的触发条件信息发送到后端服务器； 后端服务器接收并保存视频缩略图及其对应的触发条件信息； 后端服务器接收用户输入的携带触发条件信息的检索请求，根据该触发条件信息查找到对应的视频缩略图，将该视频缩略图显示给用户。
2.根据权利要求1所述的方法，其特征在于，所述触发条件为事件触发或者定时触发。
3.根据权利要求1所述的方法，其特征在于，所述前端设备将视频缩略图及其对应的触发条件信息发送到后端服务器包括前端设备将视频缩略图及其对应的触发条件信息编码到当前实况码流中发送给后端服务器；或者，前端设备将视频缩略图及其对应的触发条件信息单独发送给后端服务器，同时将实况码流发送给后端服务器。
4.根据权利要求3所述的方法，其特征在于，当前端设备将视频缩略图及其对应的触发条件信息编码到当前实况码流中发送给后端服务器时，所述后端服务器接收并保存视频缩略图及其对应的触发条件信息包括 后端服务器从接收到的码流中解析出视频缩略图及其对应的触发条件信息，保存视频缩略图及其对应的触发条件信息。
5.根据权利要求3或4所述的方法，其特征在于，所述后端服务器接收并保存视频缩略图及其对应的触发条件信息包括后端服务器将视频缩略图及其对应的触发条件信息保存到数据库中； 所述后端服务器根据该触发条件信息查找到对应的视频缩略图包括 后端服务器根据该触发条件信息在数据库中查找到对应的视频缩略图。
6.根据权利要求3或4所述的方法，其特征在于，所述后端服务器接收并保存视频缩略图及其对应的触发条件信息包括后端服务器将视频缩略图保存到存储模块中，将该视频缩略图的触发条件信息、该视频缩略图在存储模块中的存储路径保存到数据库中；所述后端服务器根据该触发条件信息查找到对应的视频缩略图包括 后端服务器根据该触发条件信息在数据库中查找到视频缩略图在存储模块中的存储路径，根据该存储路径在存储模块中查找到对应的视频缩略图。
7.根据权利要求3或4所述的方法，其特征在于，所述后端服务器接收并保存视频缩略图及其对应的触发条件信息进一步包括后端服务器接收并保存实况码流，同时保存视频缩略图对应的实况码流的索引； 且，所述后端服务器根据该触发条件信息查找到对应的视频缩略图时，同时查找到该视频缩略图对应的实况码流的索引，将该索引与视频缩略图一并显示给用户，以便用户根据该索引查找视频缩略图对应的实况码流。
8.一种前端设备，其特征在于，包括缩略图生成模块接收来自视频源的实况码流，当发现满足触发条件时，根据当前实况码流生成视频缩略图，将视频缩略图及其对应的触发条件信息发送给封装模块； 封装模块将视频缩略图及其对应的触发条件信息封装后发送到后端服务器。
9.根据权利要求8所述的前端设备，其特征在于，所述缩略图生成模块的触发条件为 事件触发或者定时触发。
10.根据权利要求8所述的前端设备，其特征在于，所述封装模块将视频缩略图及其对应的触发条件信息编码到当前实况码流中发送给后端服务器；或者，将视频缩略图及其对应的触发条件信息单独发送给后端服务器，同时将实况码流发送给后端服务器。
11.一种后端服务器，其特征在于，包括存储单元接收并保存前端设备发来的视频缩略图及其对应的触发条件信息； 检索模块接收用户输入的携带触发条件信息的检索请求，根据该触发条件信息在存储单元中查找到对应的视频缩略图，将该视频缩略图显示给用户。
12.根据权利要求11所述的后端服务器，其特征在于，所述存储单元包括存储模块、 索引模块和数据库，其中存储模块接收前端设备发来的视频缩略图及其对应的触发条件信息，将视频缩略图及其对应的触发条件信息发送给索引模块；索引模块将存储模块发来的视频缩略图及其对应的触发条件信息存储到数据库中；数据库存储视频缩略图及其对应的触发条件信息；且，所述检索模块根据触发条件信息在数据库中查找到对应的视频缩略图。
13.根据权利要求11所述的后端服务器，其特征在于，所述存储单元包括存储模块、 索引模块和数据库，其中存储模块接收前端设备发来的视频缩略图及其对应的触发条件信息，保存视频缩略图，将视频缩略图的触发条件信息、该视频缩略图在本模块的存储路径发送给索引模块；索引模块将存储模块发来的视频缩略图的触发条件信息、该视频缩略图在存储模块的存储路径存储到数据库中；数据库存储视频缩略图的触发条件信息、视频缩略图在存储模块的存储路径； 且，所述检索模块根据触发条件信息在数据库中查找到视频缩略图在存储模块的存储路径，根据该存储路径在存储模块中查找到对应的视频缩略图。
14.根据权利要求11所述的后端服务器，其特征在于，所述存储单元进一步包括接收并保存前端设备发来的实况码流，保存视频缩略图对应的实况码流在本单元中的索引；且，所述检索模块进一步用于，根据触发条件信息在存储单元中查找到视频缩略图对应的实况码流在存储单元中的索引，将该索引与视频缩略图一并显示给用户，以便用户根据该索引在存储单元中查找对应的实况码流。
全文摘要
本发明公开了视频检索方法及前端设备、后端服务器。方法包括前端设备接收来自视频源的实况码流，当发现满足触发条件时，根据当前实况码流生成视频缩略图，将视频缩略图及其对应的触发条件信息发送到后端服务器；后端服务器接收并保存视频缩略图及其对应的触发条件信息；后端服务器接收用户输入的携带触发条件信息的检索请求，根据该触发条件信息查找到对应的视频缩略图，将该视频缩略图显示给用户。本发明提高了检索效率。
文档编号G06F17/30GK102270228SQ201110193349
公开日2011年12月7日 申请日期2011年7月11日 优先权日2011年7月11日
发明者谢会斌, 黄军 申请人:杭州华三通信技术有限公司