投放行为识别方法、装置、设备及存储介质与流程

本申请实施例涉及行为识别技术领域，尤其涉及一种投放行为识别方法、装置、设备及存储介质。

背景技术：

投放行为识别应用于监测不文明垃圾投放行为，包括乱扔垃圾、垃圾不分类、垃圾随处堆放以及恶意损坏公共设施等行为。在智能垃圾投放系统中，投放行为识别具有重要的应用价值。

投放行为识别主要是利用计算机自动地分析视频数据，从而识别出投放行为的类别。然而，现有投放行为识别方法存在投放行为识别效率不高问题。

技术实现要素：

本申请提供一种投放行为识别方法、装置、设备及存储介质，以提高对投放行为的识别效率。

第一方面，本申请实施例提供了一种投放行为识别方法，该方法包括：

确定待识别视频的时域信息；

对所述待识别视频进行抽帧处理，得到多个候选视频帧；

根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；

根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。

第二方面，本申请实施例还提供了一种投放行为识别装置，该装置包括：

时域信息确定模块，用于确定待识别视频的时域信息；

候选视频帧获取模块，用于对所述待识别视频进行抽帧处理，得到多个候选视频帧；

目标视频帧确定模块，用于根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；

投放行为识别模块，用于根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。

第三方面，本申请实施例还提供了一种电子设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的任意一种投放行为识别方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的任意一种投放行为识别方法。

本申请实施例通过对待识别视频进行抽帧处理，得到多个候选视频帧，并据此在多个候选视频帧的基础上，筛选出了包含动作事件对应的目标视频帧，最后根据各动作事件对应的目标视频帧和预先从待识别视频中确定的时域信息，生成了与各动作事件对应的目标帧序列，用于进行投放行为识别。通过上述技术方案，筛选出了包含动作事件关键特征的，且在数据量远远小于待识别视频帧数量的目标帧序列，以用于投放行为的识别，有效降低了对待识别视频进行投放行为识别的数据量，提高了对投放行为的识别效率。

附图说明

图1是本申请实施例一提供的一种投放行为识别方法的流程图；

图2是本申请实施例二提供的一种投放行为识别方法的流程图；

图3是本申请实施例三提供的一种投放行为识别装置的示意图；

图4是本申请实施例四提供的一种电子设备的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

实施例一

图1为本申请实施例一提供的一种投放行为识别方法的流程图。本申请实施例可适用于对在垃圾投放区域所采集的用户进行垃圾投放的视频，进行投放行为识别的情况。该方法可以由一种投放行为识别装置来执行，该装置可以由软件和/或硬件的方式实现，并具体配置于电子设备中，该电子设备可以是移动终端或固定终端。其中，该固定终端可以是进行投放行为识别的后台服务器。

参见图1，本申请实施例提供的投放行为识别方法，包括：

s110、确定待识别视频的时域信息。

其中，待识别视频是指从图像采集装置中获取的视频片段或从图像采集装置所采集的现有视频片段中截取的视频片段。而该视频片段可以是任意时段的视频片段，还可以是固定时段的视频片段，例如，可以每隔一小时，就进行视频片段的获取或截取。

时域信息是指待识别视频的开始时间、结束时间和视频时长等信息。其中，开始时间是指待识别视频在监控视频中截取下来的起始时间，结束时间是指待识别视频在监控视频中截取下来的完结时间。此外，时域信息还包括待识别视频中各视频帧的时间信息，而上述时间信息表明了各视频帧发生的先后顺序。

本实施例中，监控视频可以通过安装在垃圾桶或垃圾厂房附近的图像采集设备(如监控摄像机)，将采集到的监控视频，存储为视频文件，并定时上传给后台服务器得到，其中，后台服务器用于对监控视频中的投放行为进行识别。例如，图像采集设备每3秒钟就上传一次采集到的监控视频到后台服务器，而每1秒的视频可以由25个画面组成，每一个画面称为一帧。

s120、对待识别视频进行抽帧处理，得到多个候选视频帧。

其中，抽帧处理是指以一定的采样频率，从原始视频中抽取一定数量的视频帧，以得到多个候选视频帧。其中，上述采样频率可以根据实际需求进行设置，本申请实施例对此不做具体限定。

候选视频帧是指经过抽帧处理之后得到的，数量上小于待识别视频帧数目的，但是包括待识别视频中关键特征的候选视频帧。

可以理解的是，通过对待识别视频进行抽帧处理，以一定的方式减少了待识别视频的数据量，降低了对投放行为进行识别的复杂度。

可选地，可以基于预先确定的采样频率实施抽帧处理操作，以实现从待识别视频进行抽取，得到多个候选视频帧。

或者可选地，为了更加合理地实施抽帧处理操作，具体地，对所述待识别视频进行抽帧处理，得到多个候选视频帧，包括：根据所述时域信息，确定所述待识别视频的时间复杂度；根据所述时间复杂度，确定抽帧频率；根据所述抽帧频率，对所述待识别视频进行抽帧处理，得到多个候选视频帧。

其中，时间复杂度是指待识别视频的时间变化量，运动程度较高的待识别视频通常会有更高的时间复杂度。

抽帧频率是指每间隔一定数量的视频画面就对应抽取一张视频画面。例如，抽帧频率可以是每间隔5帧视频画面就抽取一张视频画面。

根据时间复杂度，确定抽帧频率可以是，随着待识别视频的时间复杂度的增加，依次设置更大的抽帧频率。

可以理解的是，通过根据待识别视频的时间复杂度确定的抽帧频率，来对待识别视频进行抽帧处理，不仅减少了待识别视频的数据量，降低了对投放行为进行识别的复杂度，而且经过抽帧处理得到的多个候选视频帧，在整体上还保留了所要进行投放行为识别的关键特征。

s130、根据多个候选视频帧，确定包含动作事件对应的目标视频帧。

其中，动作事件是指与投放行为相关的动作事件，以投递垃圾这一行为为例，动作事件包括抬起手臂、打开垃圾桶和放下手臂等动作事件。

通常，各投放行为是由多个不同动作事件组合而成，也可能包含相同动作事件的重复。目前，考虑到对多个动作事件构成的投放行为进行整体的识别与分析的复杂性，以及出于运动分析的可行性，往往需要将投放行为分割成多个动作事件，以此来提高动作识别的效率，降低动作识别的复杂度。

目标视频帧是指从多个候选视频帧中，提取出的与动作事件相关的视频帧。

可选地，根据动作事件对应的特征集合，在多个候选视频帧上采用卷积神经网络进行识别的方式，将不含动作事件对应特征的候选视频帧进行去除，最终得到只包含动作事件对应特征的目标视频帧；或者，将高于设定识别阈值的包含动作事件对应特征的候选视频帧进行保留，以得到更多的目标视频帧。其中，设定识别阈值可根据实际需求进行设置。

可以理解的是，通过对候选视频帧进行进一步筛选，提取出了与动作事件相关的目标视频帧，降低了待识别视频的数据量，有助于后续针对目标视频帧，进行投放行为的高效识别。

可选地，对包含投放行为的目标视频帧进行边缘检测，以识别目标视频帧中的投放物的投放物类型；其中，投放物类型包括单一投放类型和混合投放类型；若投放物类型为混合投放类型，则存储包括目标视频帧的视频片段。

其中，投放物可以是各种生活垃圾，包括厨余垃圾、可回收垃圾和其他垃圾等。

单一投放类型是指对生活垃圾进行垃圾分类后的投放物，相应的，混合投放类型是指未对生活垃圾进行分类的投放物。

考虑到单一投放类型和混合投放类型的投放物在外形等方面的差异，比如单一投放类型的投放物在外形方面的差异变化比较均匀，而混合投放类型的投放物在外形方面的差异分布比较不均匀，因此，可以利用边缘检测算法来对投放物的类型进行识别。通常，边缘检测可以采用亮度梯度的方法，通过识别亮度梯度变化最大的像素点从而检测出投放物的边缘。具体地，以同时包括厨余垃圾(包括剩菜剩饭、骨头和菜叶等)和可回收垃圾(纸杯、铝罐和汽水瓶等)的投放物为例，因该投放物同时具有比较细密形的边缘和比较粗放的边缘，该投放物会被认定为是混合投放类型的投放物。

可以理解的是，针对目标视频帧中与投放行为相关的投放物，进行边缘识别，可有效识别未对垃圾进行分类的不文明行为。当识别出投放物类型为混合投放类型时，说明未对投放物进行分类，在这种情况下，可以给予警告，并存储包括所述目标视频帧的视频片段。

在一些实施例中，可以在每个垃圾桶上方安装带有图像识别功能的图像采集设备，在图像采集设备拍摄到有人向垃圾桶投放垃圾时，对监控视频画面进行抓取，并对监控画面中的投放物进行边缘检测，根据边缘检测结果，可以快速判断投放物是干垃圾还是湿垃圾，当检测到垃圾处于干湿未分离状态时，图像采集设备会将视频作为证据进行保存，并通过人脸识别的方式识别出存在不文明投放行为的人脸，并上报给后台服务器。

s140、根据各动作事件对应的目标视频帧和时域信息，生成与各动作事件对应的目标帧序列，用于进行投放行为识别。

其中，目标帧序列是指将各目标视频帧按时域信息的先后顺序，进行排序得到的视频帧集合。目标帧序列的长短与投放行为识别的识别精度和识别速度相关，目标帧序列的长短可以根据实际需求进行确定，例如，对识别速度有一定要求的场景，可以在保证一定的识别精度的情况下，尽量提高对投放行为进行识别的识别速度，此时可以将目标帧序列设置得长一些。

可选地，在根据各动作事件对应的目标视频帧和时域信息，生成与各动作事件对应的目标帧序列之前，还包括：根据静态背景扣除法来提取人体轮廓。具体地，基于预先建立的垃圾投放区域的背景模型，将需要检测的目标视频帧的图像序列来减除预先建立的背景模型图像，以获得差值，之后再对差值进行二值化或膨胀腐蚀等处理，来检测出人体区域，从而获得了进行投放行为识别所需的人体轮廓。

可以理解的是，通过静态背景减除法，将不相关的背景图片信息进行了滤除，使得在后续的投放行为识别中，可以只关注人体本身，避免了图片中其他不相关信息对投放行为识别的影响。

本申请实施例通过对待识别视频进行抽帧处理，得到多个候选视频帧，并据此在多个候选视频帧的基础上，筛选出了包含动作事件对应的目标视频帧，最后根据各动作事件对应的目标视频帧和预先从待识别视频中确定的时域信息，生成了与各动作事件对应的目标帧序列，用于进行投放行为识别。通过上述技术方案，筛选出了包含动作事件关键特征的，且在数据量远远小于待识别视频帧数量的目标帧序列，以用于投放行为的识别，有效降低了对待识别视频进行投放行为识别的数据量，提高了对投放行为的识别效率。

实施例二

图2为本申请实施例二提供的一种投放行为识别方法的流程图，本实施例是在上述实施例的基础上，对上述方案的优化。

进一步地，将操作“根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧”，细化为“针对任一当前动作事件，确定所述当前动作事件的初始动作帧；根据所述初始动作帧之后的至少两个候选视频帧和所述初始动作帧，生成至少一个参考动作帧；根据各所述参考动作帧和所述多个候选视频帧，确定截止动作帧；将所述初始动作帧、所述截止动作帧和位于所述初始动作帧与所述截止动作帧之间的候选视频帧，作为所述当前动作事件对应的目标视频帧”，以完善目标视频帧的确定过程。

其中与上述实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例提供的投放行为识别方法，包括：

s210、确定待识别视频的时域信息。

s220、对待识别视频进行抽帧处理，得到多个候选视频帧。

s230、针对任一当前动作事件，确定当前动作事件的初始动作帧。

其中，初始动作帧是指一个动作事件发生时最开始的那一帧画面。

可选地，在针对任一当前动作事件，确定当前动作事件的初始动作帧之前，还包括：基于预先确定的人的特征集合，将上述特征集合与待识别视频中的各视频帧进行特征匹配，将超过设定匹配阈值的视频帧进行保留，从而从待识别视频中识别出了只包括人出现场景的多个视频帧。

可以理解的是，通过特征匹配，使得待识别视频的视频帧数量进一步减少，有利于提高后续对投放行为进行识别的效率。

可选地，可以基于预先训练好的网络模型来确定某个动作事件的初始动作帧，不同的动作事件对应不同的网络模型。

或者可选地，针对上述网络模型训练的复杂度，还可以采用图片相似度的方法来确定动作事件的初始动作帧，以简化对初始动作帧的确定过程。具体地，针对任一当前动作事件，确定当前动作事件的初始动作帧，包括：依次确定至少两个候选视频帧的图片相似度，并根据图片相似度识别初始动作帧；或者，将前一动作事件的截止动作帧作为当前动作事件的初始动作帧。

其中，图片相似度可以通过欧式距离、余弦距离以及汉明距离等方法来计算两个图片的相似度。

截止动作帧相对于初始动作帧，是指一个动作事件完结时的最后一帧画面。

可以理解的是，在动作事件未发生时，相邻候选视频帧的图片相似度非常大，因此，可以基于上述情况，依次确定相邻两个候选视频帧的图片相似度，根据图片相似度结果，确定初始动作帧。具体地，当图片相似度由一个比较大的值突然变小时，说明此时的两个候选视频帧的图片有较大不同，也就是说，当一个动作事件发生时，如视频中突然有人抬起手臂，此时可以根据图片相似度的变化情况，来确定这个动作事件发生的初始动作帧。此外，还可以采取更为简单的方式，来确定当前动作事件的初始动作帧，例如在得知上一个动作事件的截止动作帧的情况下，可以直接将前一动作事件的截止动作帧作为当前动作事件的初始动作帧。

s240、根据初始动作帧之后的至少两个候选视频帧和初始动作帧，生成至少一个参考动作帧。

其中，参考动作帧是指根据初始动作帧和初始动作帧之后的至少两个候选视频帧，预测得到的与当前动作事件相关的参考动作帧，也就是说，参考动作帧属于当前动作事件发生的一部分。

可选地，根据初始动作帧之后的至少两个候选视频帧和初始动作帧，基于人工智能和机器学习算法来预测视频中的下一步动作。具体地，将上述几帧视频输入到预先训练好的神经网络，就可以生成与当前动作事件相关的参考动作帧。

或者可选地，为了简化对的参考动作帧的预测过程，根据初始动作帧之后的至少两个候选视频帧和初始动作帧，生成至少一个参考动作帧，包括：根据初始动作中之后的至少两个候选视频帧和初始动作帧，确定当前动作事件的动作变化信息；动作变化信息包括动作变化幅度；根据动作变化幅度，生成至少一个参考动作帧。

其中，动作变化信息包括但不限于动作位置和动作变化幅度等信息。其中，动作变化幅度是指相邻视频帧的动作变化幅度，也就是指相邻两个视频帧画面之间的运动范围；动作位置是指各动作出现在视频帧画面中的位置。

在一些实施例中，根据动作变化幅度，生成至少一个参考动作帧的过程可以是，根据初始动作帧和初始动作帧之后的至少两个候选视频帧，计算相邻视频帧的动作变化幅度，根据各动作变化幅度的均值，在上述候选视频帧的基础上预测得到多个参考动作帧。

可以理解的是，当前动作事件的动作变化信息包括了当前动作事件发生的特征，例如，当前动作事件的动作变化幅度是多大，根据动作变化信息中的动作变化幅度，可以较准确地来预测与当前动作事件相关的参考动作帧。

可选地，动作变化信息还可以包括动作变化率，其中，动作变化率是指动作幅度的变化率。可以理解的是，与动作变化幅度一样，动作变化率也可以作为动作变化信息，用来为参考动作帧的预测提供依据。动作变化率引入了动作变化幅度和时间的关系，根据动作变化率，可以知道动作速度发生的快慢，从而可以更加准确地对参考动作帧进行预测。

s250、根据各参考动作帧和多个候选视频帧，确定截止动作帧。

在各参考动作帧和多个候选视频帧中，存在着当前动作事件的截止动作帧，可以采用一定的方式进行确定。具体地，将各参考动作帧依次与多个候选视频帧进行比对，将与各参考动作帧匹配度超过设定阈值的最后面的一个候选视频帧作为截止动作帧。其中，匹配度可以是基于视频帧图片的相似度，设定阈值可以是根据实际精度需求预先设定的值，例如设定阈值是95％。

例如，存在两个预测的参考动作帧b1和b2，依次将参考动作帧b1和b2与多个候选视频帧(a1-a5)进行比对，若参考动作帧b1和候选视频帧a3的图片相似度最高，达到96％，参考动作帧b2和候选视频帧a5的图片相似度最高，达到95.6％，则将候选视频帧a5作为当前动作事件的截止动作帧。其中，一个参考动作帧只能确定一个与之对应的匹配度最高的候选视频帧。

可以理解的是，截止动作帧作为当前动作事件完结时的最后一帧画面，对后续目标视频帧的确定具有重要意义，截止动作帧确定的位置越准确，得到的目标视频帧越能够对当前动作事件进行描述。

可选地，若动作变化信息还包括动作变化率，相应的，根据各参考动作帧和多个候选视频帧，确定截止动作帧，包括：根据动作变化率，确定与参考动作帧对应的候选视频帧的候选区间；根据候选区间中的候选视频帧和参考动作帧，确定截止动作帧。

具体地，根据动作变化率，可以为各参考动作帧确定一个相应的候选区间，将上述候选区间内的候选视频帧与之对应的参考动作帧进行比对，从而不必将各参考动作帧与所有候选视频帧进行比对。

例如，同样存在两个预测的参考动作帧b1和b2，根据当前事件的动作变化率，可以估计出下一个动作出现的视频帧是a3，考虑容错性，将候选区间[a1-a4]作为参考动作帧b1最有可能出现的区间，从而进行比对；相应的，可以为参考动作帧b2确定一个候选区间[a3-a5]；再将各参考动作帧依次与候选区间内的多个候选视频帧进行比对，将与各参考动作帧匹配度超过设定阈值的最后面的一个候选视频帧作为截止动作帧。

可以理解的是，基于动作变化信息中的动作变化率，确定出了与参考动作帧对应的候选视频帧的候选区间，上述候选区间的确定，将候选视频帧的范围进行了限定，减少了将各参考动作帧与多个候选视频帧进行一一比对的运算量，这对确定截止动作帧来说更加高效。

s260、将初始动作帧、截止动作帧和位于初始动作帧与截止动作帧之间的候选视频帧，作为当前动作事件对应的目标视频帧。

可以理解的是，在准确识别出动作事件对应的初始动作帧与截止动作帧之后，就可以将初始动作帧、截止动作帧和位于初始动作帧与截止动作帧之间的候选视频帧，作为当前动作事件对应的目标视频帧，避免了将不必要的候选视频帧也作为目标视频帧一同用于对投放行为的识别，减少了投放行为识别的数据量。

s270、根据各动作事件对应的目标视频帧和时域信息，生成与各动作事件对应的目标帧序列，用于进行投放行为识别。

本申请实施例在上述实施例的基础上，对目标视频帧的确定过程进行了细化，针对任一当前动作事件，在确定出当前动作事件的初始动作帧之后，根据初始动作帧之后的至少两个候选视频帧和初始动作帧，生成多个参考动作帧，并根据各参考动作帧和多个候选视频帧，确定截止动作帧，在确定出初始动作帧和截止动作帧之后，最终将将初始动作帧、截止动作帧和位于初始动作帧与截止动作帧之间的候选视频帧，作为当前动作事件对应的目标视频帧，并将其和时域信息进行结合，生成与各动作事件对应的目标帧序列，用于投放行为识别，从而在待识别视频中确定出了能够对动作事件进行准确描述的目标视频帧，视频帧数量上也进行了缩减，不仅提高了对投放行为的识别效率，还提高了对投放行为进行识别的准确度。

实施例三

图3是本申请实施例三提供的一种投放行为识别装置的结构示意图。参见图3，本申请实施例提供的一种投放行为识别装置，该装置包括：时域信息确定模块310、候选视频帧获取模块320、目标视频帧确定模块330和投放行为识别模块340。

时域信息确定模块310，用于确定待识别视频的时域信息；

候选视频帧获取模块320，用于对所述待识别视频进行抽帧处理，得到多个候选视频帧；

目标视频帧确定模块330，用于根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；

投放行为识别模块340，用于根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。

本申请实施例通过对待识别视频进行抽帧处理，得到多个候选视频帧，并据此在多个候选视频帧的基础上，筛选出了包含动作事件对应的目标视频帧，最后根据各动作事件对应的目标视频帧和预先从待识别视频中确定的时域信息，生成了与各动作事件对应的目标帧序列，用于进行投放行为识别。通过上述技术方案，筛选出了包含动作事件关键特征的，且在数据量远远小于待识别视频帧数量的目标帧序列，以用于投放行为的识别，有效降低了对待识别视频进行投放行为识别的数据量，提高了对投放行为的识别效率。

进一步地，候选视频帧获取模块320，包括：

时间复杂度确定单元，用于根据所述时域信息，确定所述待识别视频的时间复杂度；

抽帧频率确定单元，用于根据所述时间复杂度，确定抽帧频率；

候选视频帧获取单元，用于根据所述抽帧频率，对所述待识别视频进行抽帧处理，得到多个候选视频帧。

进一步地，所述装置，还包括：

检测模块，用于对包含投放行为的目标视频帧进行边缘检测，以识别所述目标视频帧中的投放物的投放物类型；其中，所述投放物类型包括单一投放类型和混合投放类型；

储存模块，用于若所述投放物类型为混合投放类型，则存储包括所述目标视频帧的视频片段。

进一步地，目标视频帧确定模块330，包括：

初始动作帧确定单元，用于针对任一当前动作事件，确定所述当前动作事件的初始动作帧；

参考动作帧确定单元，用于根据所述初始动作帧之后的至少两个候选视频帧和所述初始动作帧，生成至少一个参考动作帧；

截止动作帧确定单元，用于根据各所述参考动作帧和所述多个候选视频帧，确定截止动作帧；

目标视频帧确定单元，用于将所述初始动作帧、所述截止动作帧和位于所述初始动作帧与所述截止动作帧之间的候选视频帧，作为所述当前动作事件对应的目标视频帧。

进一步地，初始动作帧确定单元，包括：

初始动作帧确定子单元，用于依次确定至少两个候选视频帧的图片相似度，并根据所述图片相似度识别初始动作帧；或者，将前一动作事件的截止动作帧作为所述当前动作事件的初始动作帧。

进一步地，参考动作帧确定单元，包括：

动作变化信息确定子单元，用于根据所述初始动作中之后的至少两个候选视频帧和所述初始动作帧，确定所述当前动作事件的动作变化信息；所述动作变化信息包括动作变化幅度；

参考动作帧生成子，用于单元根据所述动作变化幅度，生成至少一个参考动作帧。

进一步地，所述动作变化信息还包括动作变化率；相应的，截止动作帧确定单元，包括：

候选区间确定子单元，用于根据所述动作变化率，确定与所述参考动作帧对应的候选视频帧的候选区间；

截止动作帧确定子单元，用于根据所述候选区间中的候选视频帧和所述参考动作帧，确定所述截止动作帧。

本申请实施例所提供的投放行为识别装置可执行本申请任意实施例所提供的投放行为识别方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本申请实施例四提供的一种电子设备的结构示意图，如图4所示，该设备包括处理器410、存储器420、输入装置430和输出装置440。

设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。

其中，输入装置430，用于接收待识别视频。

输出装置440，用于输出目标帧序列。

处理器410可以根据输入装置430输入的待识别视频，确定待识别视频的时域信息；还可以对所述待识别视频进行抽帧处理，得到多个候选视频帧；还可以根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；还可以根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列；还可以向输出装置440传输目标帧序列，用于进行投放行为识别。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的投放行为识别方法对应的程序指令/模块(例如，投放行为识别装置中的时域信息确定模块310、候选视频帧获取模块320、目标视频帧确定模块330和投放行为识别模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的投放行为识别方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等(如上述实施例中的待识别视频、候选视频帧、初始动作帧、参考动作帧、截止动作帧、目标视频帧和目标帧序列等)。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

实施例五

本申请实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种投放行为识别方法，该方法包括：

确定待识别视频的时域信息；

对所述待识别视频进行抽帧处理，得到多个候选视频帧；

根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；

根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

值得注意的是，上述投放行为识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。