本发明涉及视频处理技术领域，更具体地，涉及一种提取蜜蜂访花视频片段的方法和装置。
背景技术：
在对蜜蜂访问花朵的研究中，需要收集大量蜜蜂访花的视频资料，多个摄像机同时拍摄多个地点的包含有蜜蜂访问花朵的视频，由于无法确定蜜蜂何时会造访所拍摄的花朵，因此只能连续不间断拍摄，再提取出包含蜜蜂的视频片段。
目前提取出包含蜜蜂的视频片段的方法，一种是由人工提取的方法，提取人员根据观察视频的图像或者收听视频的声音查找视频中包含蜜蜂的视频片段，并手工截取这些视频片段；另一种是利用软件的图像识别方法，即利用视频中有蜜蜂存在时图像的特征，并利用软件设识别这些特征，确定包含蜜蜂的视频片段并提取这些视频片段。
人工提取的方法，需要人工一秒一秒的查找，并手工记录时间节点，人工工作量太大；视频中包含有蜜蜂的视频片段往往只有几秒钟，无法根据手工记录的时间戳来自动分割包含蜜蜂的视频片段；而且无论是采用听觉还是视觉来查找，都只能确定包含蜜蜂的视频片段的大概范围，而不能精确到帧(40毫秒级别)，导致提取的精确度低。利用软件的图像识别方法，由于蜜蜂运动速度较快，且在整个图像中的蜜蜂的目标很小，从视频图像序列中识别蜜蜂的运算过程复杂，识别过程的时间非常长，且极容易发生误识或漏识。
技术实现要素：
为了克服上述问题或者至少部分地解决上述问题，本发明提供一种提取蜜蜂访花视频片段的方法和装置。
根据本发明的一个方面，提供一种提取蜜蜂访花视频片段的方法，包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，包括：获取视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据时域波形和阈值范围，确定第一时间戳和第二时间戳。
其中，根据时域波形和阈值范围，确定第一时间戳和第二时间戳，包括：根据时域波形确定时域波形的包络线；在包络线上选取包络线片段，包络线片段上任意一点的纵坐标的绝对值在阈值范围之内；将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。
其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳之后，还包括：获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将梅尔频率倒谱系数输入到已训练的分类器；通过分类器确认第一时间戳和第二时间戳之间的视频中包含蜜蜂。
其中，分类器的训练的步骤包括：获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，第一预设数量和第二预设数量处于同一数量级；将第一预设数量的第一梅尔频率倒谱系数和第二预设数量的第二梅尔频率倒谱系数输入到分类器，对分类器进行训练。
其中，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段，包括：根据第一时间戳和第二时间戳分割视频；保留第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段。
本发明的另一方面，提供一种提取蜜蜂访花视频片段的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述的方法。
本发明的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。
本发明的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。
本发明提供的一种提取蜜蜂访花视频片段的方法和装置，通过根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段；从而利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的提取蜜蜂访花视频片段的方法的流程图；
图2为根据本发明实施例的相同视频片段中音频信号的时域波形和时域波形的包络线的对照图；
图3为根据本发明实施例的相同视频片段中音频信号的时域波形和梅尔频率倒谱系数的对照图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中，参考图1，提供一种提取蜜蜂访花视频片段的方法，包括：s11，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；s12，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
具体的，在摄像机拍摄蜜蜂访问花朵的视频的过程中，将摄像机定点在花朵旁边长时间拍摄，在拍摄下的视频中，大部分的视频片段中没有蜜蜂，仅小部分的视频片段中有蜜蜂，本实施例中，将视频中出现蜜蜂的视频片段称之为蜜蜂访花视频片段；摄像机在拍摄视频时，附带有声音传感器(如麦克风)，声音传感器会同步记录下周围的声音信息，成为视频中的音频信号；蜜蜂在摄像机定点拍摄的范围内飞行时，蜜蜂飞行时的声音(即蜂鸣声)具有非常显著的特征，蜜蜂蜂鸣声对应的音频信号也具有非常显著的特征，通过分析视频中音频信号的特征，并结合蜜蜂蜂鸣声的音频信号的特征，可确定蜜蜂访花视频片段在视频中的起始时间与终止时间。
本实施例中，通过获取视频中音频信号的特征，确定视频中第一时间戳和第二时间戳，该第一时间戳即蜜蜂访花视频片段在视频中的起始时间，该第二时间戳即蜜蜂访花视频片段在视频中的终止时间，再利用视频提取软件根据第一时间戳与第二时间戳提取这两个时间戳之间的视频片段，将蜜蜂访花视频片段从视频中分离出来，以获得时长短的蜜蜂访花视频片段。
本实施例利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。
基于以上实施例，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，包括：获取视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据时域波形和阈值范围，确定第一时间戳和第二时间戳。
具体的，音频信号的时域波形体现出音频信号的能量随时间变化的关系，蜜蜂在摄像机拍摄的范围内飞行时，蜜蜂飞行时的蜂鸣声对应的时域波形的特征十分明显，其中蜜蜂进入摄像机拍摄范围后蜜蜂蜂鸣声的能量(即声音响度的体现)保持在一个阈值范围内；根据预先获取的包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围，再由该阈值范围确定视频中出现蜜蜂时的起始时间与终止时间，即第一时间戳和第二时间戳。
基于以上实施例，根据时域波形和阈值范围，确定第一时间戳和第二时间戳，包括：根据时域波形确定时域波形的包络线；在包络线上选取包络线片段，包络线片段上任意一点的纵坐标的绝对值在阈值范围之内；将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。
具体的，如图2所示，图2为相同视频片段中音频信号的时域波形和时域波形的包络线；蜜蜂在摄像机拍摄的范围内飞行时，蜜蜂蜂鸣声对应音频信号的能量在一个阈值范围内，据此可以确定视频中包含蜜蜂的视频片段在视频中的起始时间与终止时间；位于图3上方的是视频片段中音频信号的时域波形，时域波形随时间的浮动变化较大，无法选取在阈值范围内的时域波形，但时域波形的包络线，参看图3下方的视频片段中音频信号的时域波形外部的包络线，能体现时域波形连续变化的趋势，易于选取在阈值范围内的包络线片段；本实施例中，在包络线上选取包络线片段，该包络线片段上任意一点的纵坐标的绝对值在阈值范围之内，再将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。
基于以上实施例，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳之后，还包括：获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将梅尔频率倒谱系数输入到已训练的分类器；通过分类器确认第一时间戳和第二时间戳之间的视频中包含蜜蜂。
具体的，如图3所示，图3为相同视频片段中音频信号的时域波形和梅尔频率倒谱系数(melfrequencycepstralcoefficients，简称为mfccs)；位于图3上方的是视频片段中音频信号的时域波形，位于图3下方的是视频片段中音频信号的梅尔频率倒谱系数，梅尔频率倒谱系数是派生自音频的倒谱表示，能够在更深的层次上体现音频信号的特征，使用视频中音频信号的梅尔频率倒谱系数对视频中是否包含蜜蜂再识别，可以使识别精度更高；同时，由于视频中音频信号的梅尔频率倒谱系数的获取难度比时域波形的获取难度高，运算过程更复杂，本实施例通过仅获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数，简化了运算过程。
分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型，即通常所说的分类器；本实施例中，经训练的分类器学会一个分类函数或构造出一个分类模型，将梅尔频率倒谱系数输入到已训练的分类器中，通过分类器的分类函数或分类模型判别第一时间戳和第二时间戳之间的视频中包含蜜蜂。本实施例中，分类器包括但不限于支持向量机(supportvectormachine，svm)、卷积神经网络(convolutionalneuralnetwork，cnn)、adaboost等，例如，如果需要更详细的蜜蜂参数(比如识别不同种类的蜜蜂)，分类器可选用cnn，并对应的增加其训练样本数量。
基于以上实施例，分类器的训练的步骤包括：获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，第一预设数量和第二预设数量处于同一数量级；将第一预设数量的第一梅尔频率倒谱系数和第二预设数量的第二梅尔频率倒谱系数输入到分类器，对分类器进行训练。
具体的，分类器的训练大体会经过以下几个步骤：选定样本(包含正样本和负样本)；将样本输入到分类器，并执行分类器算法，生成分类模型。本实施例中，选择第一预设数量的蜜蜂蜂鸣声的音频信号的梅尔频率倒谱系数作为正样本，选择第二预设数量的噪声音频信号的梅尔频率倒谱系数作为负样本，为了保证训练结果的准确性，第一预设数量和第二预设数量处于同一数量级，将第一预设数量的蜜蜂蜂鸣声的音频信号的梅尔频率倒谱系数和第二预设数量的噪声音频信号的梅尔频率倒谱系数输入到分类器，并执行分类器算法对分类器训练，生成分类函数或者分类模型。
基于以上实施例，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段，包括：根据第一时间戳和第二时间戳分割视频；保留第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段。
具体的，将第一时间戳和第二时间戳自动输入到视频分割工具(如ffmpeg)中，视频分割工具将这两个时间戳作为视频的分割点，分割视频，并将第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段保存起来，从而对视频的分割与保存无需人工参与，即使视频文件的数量众多，也可以通过程序控制实现自动的对视频片段的分割与保存。
作为本发明的又一实施例，提供一种提取蜜蜂访花视频片段的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
作为本发明的又一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
作为本发明的又一个实施例，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使该计算机执行上述各方法实施例所提供的方法，例如包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。