视频浓缩方法、视频浓缩装置和电子设备与流程

本申请涉及信息技术领域，尤其涉及一种视频浓缩方法、视频浓缩装置和电子设备。

背景技术：

视频浓缩(videosynopsis)技术是通过在时间和空间上压缩原始视频，使浓缩后的视频的长度短于原始视频的一种技术，在浓缩后的视频中，不同对象可以被组合到一个共同的活动场景中。该视频浓缩技术有助于对特定时间和特定地点的特定对象进行检索。

在现有的视频浓缩技术中，通常是基于运动物体检测技术，对固定摄像机所获取的视频进行处理，提取出视频中的运动对象，进而根据该运动对象进行视频浓缩。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现要素：

本申请的发明人发现，现有的视频浓缩技术由于是基于运动物体检测技术，仅能检测视频中的运动对象，并根据该检测出的运动对象进行视频浓缩，因此，视频浓缩的能力有限。例如：无法从固定摄像机所获取的视频中提取静态对象，并且，无法针对移动摄像机所获取的视频进行处理。此外，现有的视频浓缩技术无法检测对象的属性(property)，因而难以进行基于对象属性的视频浓缩，该属性例如可以是车辆的种类、颜色，人物的服装种类等。此外，现有的视频浓缩技术也无法从视频中检测出事件，因而难以进行基于事件的视频浓缩，其中，该事件例如可以是交通事故、交通拥堵、交通违章等。

本申请实施例提供一种视频浓缩装置、视频浓缩方法和电子设备，基于深度学习框架从视频中检测出更为丰富的信息，进而基于这些检测出的信息进行视频浓缩，因而，视频浓缩的能力能够得到极大地扩展。

根据本申请实施例的第一方面，提供一种视频浓缩装置，包括：

第一检测单元，其基于深度学习框架检测视频中的对象；

第二检测单元，其基于深度学习框架检测对象检测单元所检测出的对象的属性和/或基于深度学习框架检测所述视频中的事件；

存储单元，其用于存储所述对象，以及所述属性和/或所述事件；以及

处理单元，其用于根据存储单元中所存储的所述对象，以及所述属性和/或所述事件，对所述视频进行浓缩处理。

根据本申请实施例的第二方面，提供一种视频浓缩方法，包括：

基于深度学习框架检测视频中的对象；

基于深度学习框架检测检测所述对象的属性和/或基于深度学习框架检测所述视频中的事件；

存储所述对象，以及所述属性和/或所述事件；以及

根据所存储的所述对象，以及所述属性和/或所述事件，对所述视频进行浓缩处理。

根据本申请实施例的第三方面，提供一种电子设备，包括上述第一方面所述的视频浓缩装置。

本申请的有益效果在于：基于深度学习框架从视频中检测出更为丰富的信息，进而基于这些检测出的信息进行视频浓缩，因而，视频浓缩的能力能够得到极大地扩展。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例1的更新地图信息的装置的一个示意图；

图2是视频中对象的运动轨迹的检测结果的一个示意图；

图3是本申请实施例的对象属性检测单元的检测结果的一个示意图；

图4是存储单元的存储形式的一个示意图；

图5是本申请实施例的视频浓缩的结果的一个示意图；

图6是本申请实施例的视频浓缩的结果的另一个示意图；

图7是本申请实施例2的视频浓缩方法的一个示意图；

图8是本申请实施例3的电子设备的一个示意图；

图9是本申请实施例1的第一检测单元101、第二检测单元102、第三检测单元105的算法框架的一个示意图；

图10是本申请实施例1基于cnn和lstm框架的分类器进行事件检测的一个示意图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本申请实施例1提供一种视频浓缩装置。

图1是本实施例的视频浓缩装置的一个示意图，如图1所示，视频浓缩装置100包括：第一检测单元101，第二检测单元102，存储单元103，以及处理单元104。

在本实施例中，第一检测单元101基于深度学习框架检测视频中的对象；第二检测单元102基于深度学习框架检测第一检测单元所检测出的对象的属性，和/或基于深度学习框架检测所述视频中的事件；存储单元103存储第一检测单元101所检测出的对象，以及第二检测单元102所检测出的属性和/或事件；处理单元104用于根据存储单元中103所存储的对象，以及属性和/或事件，对该视频进行浓缩处理。

根据本实施例，第一检测单元和第二检测单元能够基于深度学习框架来检测视频中的对象及其属性，进而根据检测结果对视频进行浓缩处理，由此，能够极大地提高视频浓缩的能力。

在本实施例中，该视频可以来自于摄像头的拍摄，该摄像头可以是位置固定的摄像头，例如，安装于道路两侧的固定位置的摄像头；或者，该摄像头也可以是位置不固定的移动式摄像头，该移动式摄像头可以是设置于可移动体上的摄像头，例如，设置于汽车上的摄像头、设置于无人机上的摄像头、或者设置于行人所携带的可移动终端上的摄像头等。

在本申请下面的说明中，以对道路进行拍摄得到的视频为例进行说明，但是，本实施例可以不限于此，该视频也可以是对其他场所进行拍摄而得到。

在本实施例中，对象检测单元101可以使用基于深度学习框架的分类器来检测视频中的对象。其中，对象检测单元101可以使用基于fasterr-cnn框架(framework)的分类器进行检测，在该分类器的不同卷积层(differentconvolutionallayers)可以提取出与对象的不同尺寸对应的特征，这些提取出来的特征能够有助于更加准确地提取不同尺寸的对象，例如，能够便于区分小尺寸(small-size)、中等尺寸(middle-size)以及大尺寸(large-size)的对象。相比于现有技术中基于运动物体进行检测的方法，本实施例的对象检测单元101不仅能检测出运动对象，也能检测出静止对象，因而具有更强的对象检测能力。

在本实施例中，如图1所示，视频浓缩置100还包括：第三检测单元105。第三检测单元105可以在视频中的对象处于运动状态的情况下，检测该对象的运动轨迹，并且该运动轨迹也可以被存储在存储单元103中。图2是视频中对象的运动轨迹的检测结果的一个示意图，如图2所示，每一个矩形框201代表视频中的运动对象，与该矩形框201连接的线条202表示该对象的运动轨迹。

在本实施例中，第三检测单元105进行运动轨迹检测的方法可以参考现有技术，例如可以采用粒子滤波器(particlefilter)算法、核化相关滤波器(kernelizedcorrelationfilter)算法等。

在本实施例中，第二检测单元102可以基于深度学习框架检测的分类器来检测第一检测单元101所检测出的对象的属性。其中，第二检测单元102可以使用基于googlenet框架的分类器进行检测，该分类器可使用多种模型进行检测，各模型(eachmodel)可以与对象的属性所属的种类对应，由此，可以针对每一个种类的属性，获得准确的分类结果。例如，该分类器要检测视频中的某车辆的颜色是红色、绿色、黄色和蓝色中的哪一个，该分类器可以使用颜色模型来进行检测，确定该车辆的颜色；又例如，该分类器要检测视频中的某车辆的生产厂家，该分类器可以使用与生产厂家对应的模型来进行检测，确定该车辆的生产厂家。在本实施例中，第二检测单元102可以检测出的对象的属性例如可以包括：车辆的种类，车辆的颜色，车辆的生产厂家，车辆的型号，人的服装的颜色，上衣的种类，裤子的种类等。例如，在一个实施方式中，车辆的种类可以包括，轿车、卡车、大客车、厢式货车、摩托车等；车辆的颜色可以是白色、黑色、音色、红色、蓝色、绿色或黄色；车辆的生产厂家的数量可以23个，车辆的型号的数量可以是13个，人的服装的颜色的数量可以是9种，上衣的种类的数量可以是5种，裤子的种类的数量可以是3种。

图9是本实施例的第一检测单元101、第二检测单元102、第三检测单元105的算法框架的一个示意图。如图9所示，第一检测单元101、第二检测单元102、第三检测单元105可以针对一段视频11a的帧进行检测，其中，第一检测单元101基于视频的一帧进行检测，因此可以检测到此帧中出现的对象，例如车和/或人，不管该对象是处于静止状态还是运动状态；第二检测单元102可以对第一检测单元101所检测出的对象进行分类，从而提取各对象的属性，其中，第二检测单元102可以使用基于googlenet框架的分类器进行检测，如图9所示，第二检测单元102中可以包括多个用于分类的模型1021-1025等，各模型1021-1025例如可以分别用来对车辆类型、车辆颜色、车辆生产厂家、上衣的种类、服装的颜色等进行分类；第三检测单元105可以根据前述的粒子滤波器(particlefilter)算法、核化相关滤波器(kernelizedcorrelationfilter)算法等检测运动对象的轨迹。

如图9所示，为了加快第一检测单元101、第二检测单元102和第三检测单元105的检测速度，可以将一段视频的帧分为关键帧(keyframe)和普通帧(normalframe)。对于关键帧11a1，使用第一检测单元101和第二检测单元102进行检测；对于普通帧11a2，可以仅第三检测单元105来检测运动对象的运动轨迹。

图3是本申请实施例的第二检测单元102的检测结果的一个示例。如图3的(a)所示，根据车辆的种类模型、颜色模型、制造商模型、车辆的型号模型等，检测出车辆301的属性包括：轿车，红色，bmw，3-系(3-series)。如图3的(b)所示，根据上衣的种类模型、服装的颜色模型、裤子的种类模型等，检测出行人303的属性包括：夹克，长裤，黑色，黑色；检测出行人304的属性包括：短袖，长裤，红色，黑色。

在本实施例中，如图1所示，第二检测单元102还可以基于深度学习框架检测视频中的事件(event)。在视频中，事件一般是出现概率较低，并且持续时间较短的异常情况。在通常的道路交通监控和管理中，事件可以包括：交通拥堵，交通事故，违章，行人闯入车道，停车，火灾等。在灾害监控和管理中，事件可以包括：洪水，泥石流，道路坑洞，桥梁断裂，海啸等。

在本实施例中，第二检测单元102可以使用基于深度学习框架的检测器来检测视频中的事件。其中，第二检测单元102可以使用基于卷积神经网络(cnn)和长短期记忆网络(lstm)框架的分类器进行检测，例如，cnn框架能够提取视频的空间特征(spatialfeatures)，lstm能够提取视频的时间特征(temporalfeatures)，由此，通过cnn+lstm框架，能够基于从视频中提取出的时间特征和空间特征来检测视频中的事件。

图10是基于cnn和lstm框架的分类器进行事件检测的一个示意图。如图10所示，分类器1具有cnn单元10，lstm单元20，以及融合单元30。其中，cnn单元10具有多个卷积层，例如卷积层11-15；lstm单元20具有多个子单元21，子单元21的数量例如是16个或32个。

如图10所示，输入到分类器1的一段视频1a包含了多帧图像(比如16帧或32帧)，例如，第t-15帧，第t-14帧，……，第t帧等。cnn单元10依次提取各帧图像的空间特征信息，例如，对于每一帧图像，cnn单元10通过多个卷积层11-15提取该帧图像的空间特征信息，并将该帧图像的空间特征信息送入lstm单元20。在lstm单元20中，各子单元21基于各帧图像的空间特征信息，分别提取各帧图像的时间上的特征信息。融合单元30根据cnn单元10提取的空间特征信息和lstm单元20提供的时间上的特征信息进行判断该一段视频中是否发生了某个事件，并输出判断的结果，其中，判断的结果例如可以是：路况是否正常、和/或是否发生事故、和/或是否拥堵、和/或是否存在违章等。

在本实施例中，存储单元103可以存储第一检测单元101所检测的对象，以及第二检测单元102所检测的属性和/或事件。此外，存储单元103还可以存储第三检测单元102所检测的对象的运动轨迹。其中，存储单元103可以以图片，和/或视频，和/或文字的形式来存储所述对象、所述属性、所述事件和所述运动轨迹。

图4是存储单元的存储形式的一个示意图，如图4所示，检测到的对象401,402可以以截图的形式被存储，在截图中可以显示边框403以包围该对象401,402；对象的属性403，404可以以文字的形式被存储，并且，该文字可以被结合到对象的截图上；对于运动的对象，其运动轨迹可以以线条405的形式被存储，并且该线条可以被结合到对象的截图上，此外，对于运动轨迹，还可以存储该运动轨迹的起点和终点对应的视频图像帧，此外，也可以以截图的形式存储运动的对象，并在截图中显示边框4051以包围该运动的对象；事件可以以视频片段406,407的形式被存储，例如，该视频片段中可以包括该事件发生过程的全部或部分。

在本实施例中，对象、属性、事件和运动轨迹可以与对应的地理位置信息和/或时间信息一起被存储于存储单元103中。

在本实施例中，如图4所示，处理单元104能够根据存储单元103中所存储的对象，属性和事件中的任一项或几项，对视频进行浓缩处理。例如，根据对象，属性和事件中的任意一项，或者根据对象和属性，或者根据对象和事件这二者，或者根据对象、属性和事件这三者，进行浓缩处理。

此外，处理单元104还能够根据存储单元103中所存储的对象的运动轨迹，进行浓缩处理。例如，处理单元104可以根据用户输入的检索命令，在存储单元103所存储的属性、对象、运动轨迹和事件中进行检索，并将检索结果呈现出来，以实现视频浓缩，其中，检索结果可以以图像的形式呈现出来。

图5是本申请实施例的视频浓缩的结果的一个示意图，示出对某固定摄像机在某一段时间内所拍摄的原始视频进行视频浓缩的结果。假设用户输入关键词“car+red”进行检索，处理单元104根据对象和属性进行浓缩处理，从而生成一段视频片段，在该视频片段的画面501中，该时间段的各时间窗口所检测到的红色车辆502都被显示在同一背景中，在画面501中，每辆红色车辆502都被边框503包围，并且该红色车辆附近还可以显示时间标签504，以标记该红色车辆在视频中出现的时间。此外，在画面501中也可以显示该段时间内所拍摄的原始视频500的一部分或全部。

图6是本申请实施例的视频浓缩的结果的另一个示意图，示出对运动摄像机在某一段时间内所拍摄的视频进行视频浓缩的结果。假设用户输入关键词“car+red”进行检索，处理单元104根据对象和属性进行浓缩处理，从而生成地图601，在该地图601上标记出该运动摄像机拍摄到红色车辆的位置602，此外，在该地点拍摄到的红色车辆的截图603以及表示拍摄时间的时间标签604也可以被显示在该位置602附近。此外，在显示画面中，也可以在地图附近显示该段时间内所拍摄的原始视频605的一部分或全部，和/或第一检测单元101检测到的对象的截图列表606。

此外，本实施例可以不限于此，浓缩处理的结果可以以其他的形式被显示出来，例如，列表等形式。

此外，在本实施例中，视频浓缩装置100还可以包括受理单元和显示单元(未图示)。该受理单元可以受理用户输入的检索命令，由此，处理单元104可以根据该检索命令进行检索以进行浓缩处理，该受理单元例如可以是键盘、触摸屏、麦克风等。显示单元可以与处理单元104连接，接收视频浓缩的结果，并对该视频浓缩的结果进行显示。

根据本实施例，对象检测单元和对象属性检测单元能够基于深度学习框架来检测视频中的对象及其属性，进而根据检测结果进行浓缩处理，由此，能够极大地提高视频浓缩的能力。

实施例2

本申请实施例2提供一种视频浓缩方法，与实施例1的视频浓缩装置100相对应。

图7是本实施例的视频浓缩方法的一个示意图，如图7所示，该方法包括：

步骤701、基于深度学习框架检测视频中的对象；

步骤702、基于深度学习框架检测检测所述对象的属性；

步骤703、存储所述对象，以及所述属性；以及

步骤704、根据所存储的所述属性和所述对象，进行浓缩处理。

如图7所示，在本实施例中，该方法还可以包括：

步骤705、基于深度学习框架检测所述视频中的事件。

如图7所示，在本实施例中，该方法还可以包括：

步骤706、检测所述对象的运动轨迹。

在本实施例的步骤703中，还可以存储步骤705中检测出的事件，和/或步骤706中检测出的运动轨迹。

在本实施例的步骤704中，还可以根据存储的事件，和/或运动轨迹进行浓缩处理。

根据本实施例，能够基于深度学习框架来检测视频中的对象及其属性，进而根据检测结果进行浓缩处理，由此，能够极大地提高视频浓缩的能力。

实施例3

本申请实施例3提供一种电子设备，所述电子设备包括：如实施例1所述的视频浓缩装置。

图8是本申请实施例3的电子设备的一个构成示意图。如图8所示，电子设备900可以包括：中央处理器(cpu)901和存储器902；存储器902耦合到中央处理器901。其中该存储器902可存储各种数据；此外还存储用于进行更新地图信息的程序，并且在中央处理器901的控制下执行该程序。

在一个实施方式中，视频浓缩装置中的功能可以被集成到中央处理器901中。

其中，中央处理器901可以被配置为：

基于深度学习框架检测视频中的对象；

基于深度学习框架检测检测所述对象的属性；

将所述对象，以及所述属性存储于存储器；以及

根据所存储的所述属性和所述对象，进行浓缩处理。

其中，中央处理器901还可以被配置为：

基于深度学习框架检测所述视频中的事件。

其中，中央处理器901还可以被配置为：

检测所述对象的运动轨迹。

其中，中央处理器901还可以被配置为：

将所述事件和/或运动轨迹存储于存储器。

其中，中央处理器901还可以被配置为：

根据对象，以及属性、和/或事件、和/或运动轨迹对视频进行浓缩处理。

其中，中央处理器901还可以被配置为：

进行控制以将浓缩处理的结果显示为地图，并将所述属性、所述对象、所述事件和/或所述运动轨迹显示在所述地图上。

此外，如图8所示，电子设备900还可以包括：输入输出单元903和显示单元904等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备900也并不是必须要包括图9中所示的所有部件；此外，电子设备900还可以包括图8中没有示出的部件，可以参考现有技术。

本申请实施例还提供一种计算机可读程序，其中当在视频浓缩装置或电子设备中执行所述程序时，所述程序使得视频浓缩装置或电子设备执行实施例2所述的视频浓缩方法。

本申请实施例还提供一种存储有计算机可读程序的存储介质，其中，所述存储介质存储上述计算机可读程序，所述计算机可读程序使得视频浓缩装置或电子设备执行实施例2所述的视频浓缩方法。

结合本发明实施例描述的视频浓缩装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于实施例2所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。

软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若电子设备采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。

针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

1、一种视频浓缩装置，包括：

第一检测单元，其基于深度学习框架检测视频中的对象；

第二检测单元，其基于深度学习框架检测对象检测单元所检测出的对象的属性和/或基于深度学习框架检测所述视频中的事件；

存储单元，其用于存储第一检测单元所检测出的对象，以及第二检测单元所检测出的所述属性和/或事件；以及

处理单元，其用于根据存储单元中所存储的所述对象，以及所述属性和/或事件，对所述视频进行浓缩处理。

2、如附记1所述的视频浓缩装置，其中，所述视频浓缩置还包括：

第三检测单元，其在所述对象处于运动状态的情况下，所述检测所述对象的运动轨迹，

所述存储单元还存储所述运动轨迹，

并且所述处理单元还根据存储单元中所存储的所述对象、所述运动轨迹、以及所述属性和/或所述事件，对所述视频进行浓缩处理。

3、如附记2所述的视频浓缩装置，其中，

以图片、和/或视频、和/或文字的形式将所述对象、所述属性、所述事件和所述运动轨迹存储于所述存储单元。

4、如附记1所述的视频浓缩装置，其中，

所述对象包括运动对象和静止对象，

所述视频包括静止摄像机拍摄的视频和运动摄像机拍摄的视频。

5、如附记5所述的视频浓缩装置，其中，

针对运动摄像机拍摄的视频，所述处理单元使浓缩处理的结果显示为地图，所述属性、和/或所述对象、和/或所述事件、和/或所述运动轨迹被显示在所述地图上。

6、一种电子设备，具有如附记1-5中任意项所述的视频浓缩装置。

7、一种视频浓缩方法，包括：

基于深度学习框架检测视频中的对象；

基于深度学习框架检测检测所述对象的属性，和/或基于深度学习框架检测所述视频中的事件；

存储所述对象，以及所述属性和/或所述事件；以及

根据所存储的所述对象，以及所述属性和/或所述事件，对所述视频进行浓缩处理。

8、如附记7所述的视频浓缩方法，其中，所述视频浓缩方法还包括：

检测所述对象的运动轨迹，

其中，

还存储所述运动轨迹，

并且，还根据所存储的所述运动轨迹进行浓缩处理。

9、如附记8所述的视频浓缩方法，其中，

所述对象、所述属性、所述事件和所述运动轨迹以图片，和/或视频，和/或文字的形式被存储。

10、如附记7所述的视频浓缩方法，其中，

所述对象包括运动对象和静止对象，

所述视频包括静止摄像机拍摄的视频和运动摄像机拍摄的视频。

11、如附记8所述的视频浓缩方法，其中，

所述浓缩处理的结果被显示为地图，所述属性、所述对象、所述事件和/或所述运动轨迹被显示在所述地图上。