用于事件检测的深度学习网络、该网络的训练装置及方法与流程

本发明涉及信息技术领域，尤其涉及一种用于事件检测的深度学习网络、该网络的训练装置及方法。

背景技术：

近年来，深度学习被广泛的应用于计算机视觉领域。在深度学习的帮助下，计算机视觉领域的研究方向已经从图像分类向例如事件检测的视频分析转变。与图像分类相比，视频分析面临更多复杂的场景，事件检测也需要模型来学习更高水平的逻辑判断。

图1是现有的事件检测模型的检测结果的示意图。如图1所示，对于图1所示的监控视频画面，现有的事件检测模型检测到的各个事件的发生概率为：正常(normal)0.03、事故(accident)0.46、拥堵(jam)0.41、停车(park)0.08、逆行(reverse)0.02。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现要素：

发明人发现，对于图1所示的情况，其理想的输出结果应为事故(accident)和拥堵(jam)，如果将上述现有的事件检测模型的输出条件设为大于0.5，则无法得到输出结果，如果将输出条件设为输出最大概率的事件，则输出结果为事故(accident)。也就是说，现有的事件检测模型仅能够区分互斥事件，其无法输出多个事件作为检测结果，无法保证检测结果的准确性和完整性。另外，由于现有的事件检测模型为多分类器检测模型，其训练的时间较长。

本发明实施例提供一种用于事件检测的深度学习网络、该网络的训练装置及方法，该深度学习网络具有至少两个相互独立的、进行不同事件的检测的事件分类器，各个事件分类器能够独立的进行检测并输出检测结果，从而能够保证事件检测结果的准确性和完整性，并且，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

根据本发明实施例的第一方面，提供一种用于事件检测的深度学习网络，所述深度学习网络包括：数据层，其用于读取输入数据；卷积层，其用于从所述数据层读取的所述输入数据中提取特征；至少两个事件分类器，其用于根据所述卷积层提取的所述特征，相互独立的进行不同事件的检测，分别输出不同事件的检测结果。

根据本发明实施例的第二方面，提供一种根据本发明实施例的第一方面所述的深度学习网络的训练装置，所述装置包括：第一训练单元，其用于对所述深度学习网络的所述卷积层的参数进行训练；第二训练单元，其用于保持所述深度学习网络的所述卷积层的参数不变，对所述深度学习网络的所述至少两个事件分类器的参数进行训练。

根据本发明实施例的第三方面，提供一种根据本发明实施例的第一方面所述的深度学习网络的训练方法，所述方法包括：对所述深度学习网络的所述卷积层的参数进行训练；保持所述深度学习网络的所述卷积层的参数不变，对所述深度学习网络的所述至少两个事件分类器的参数进行训练。

本发明的有益效果在于：由于该深度学习网络具有至少两个相互独立的、进行不同事件的检测的事件分类器，各个事件分类器能够独立的进行检测并输出检测结果，从而能够保证事件检测结果的准确性和完整性，并且，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是现有的事件检测模型的检测结果的示意图；

图2本发明实施例1的用于事件检测的深度学习网络的示意图；

图3是本发明实施例1的深度学习网络的检测结果的示意图；

图4是本发明实施例1的事件分类器203的示意图；

图5是本发明实施例2的训练装置的示意图；

图6是本发明实施例3的电子设备的示意图；

图7是本发明实施例3的电子设备的系统构成的一示意框图；

图8是本发明实施例4的训练方法的示意图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本发明实施例提供一种用于事件检测的深度学习网络。图2本发明实施例1的用于事件检测的深度学习网络的示意图。如图2所示，深度学习网络200包括：

数据层201，其用于读取输入数据；

卷积层202，其用于从该数据层读取的该输入数据中提取特征；

至少两个事件分类器203，其用于根据该卷积层提取的该特征，相互独立的进行不同事件的检测，分别输出不同事件的检测结果。

由上述实施例可知，由于该深度学习网络具有至少两个相互独立的、进行不同事件的检测的事件分类器，各个事件分类器能够独立的进行检测并输出检测结果，从而能够保证事件检测结果的准确性和完整性，并且，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

在本实施例中，数据层201用于读取输入数据。例如，数据层201对监控视频进行处理，获得输入数据。

例如，该输入数据可以是监控视频的至少一帧，该监控视频可以通过安装在道路上方的监控摄像头获得。

在本实施例中，卷积层202，其用于从该数据层读取的该输入数据中提取特征。该卷积层202可以使用现有的结构。例如，该卷积层202为现有的alexnet网络结构。

在本实施例中，该特征可以是作为输入数据的监控视频图像中的各种特征，例如，轮廓、纹理、亮度等。

在本实施例中，至少两个事件分类器203用于根据该卷积层202提取的该特征，相互独立的进行不同事件的检测，分别输出不同事件的检测结果。

在本实施例中，各个事件分类器203可以检测不同的事件，且每个事件分类器203仅检测一种事件，即各个事件分类器203均为二分类器。

在本实施例中，事件分类器203的数量可以根据实际需要而设置。例如，根据需要检测的事件种类的数量而设置。

例如，如图2所示，该深度学习网络200可以包括五个事件分类器203，分别用于检测以下事件：正常(normal)、事故(accident)、拥堵(jam)、停车(park)以及逆行(reverse)。

在本实施例中，可以将至少两个事件分类器203输出的检测结果进行显示。例如，可以将至少两个事件分类器203输出的不同事件的检测结果集中显示在监控视频画面上。

图3是本发明实施例1的深度学习网络的检测结果的示意图。如图3所示，对于与图1中相同的监控视频画面，即对于相同的输入视频，利用该深度学习网络200获得的检测结果为：正常(normal)0.01、事故(accident)0.96、拥堵(jam)0.89、停车(park)0.31、逆行(reverse)0.10。可以看出，由于深度学习网络200具有分别检测正常(normal)、事故(accident)、拥堵(jam)、停车(park)以及逆行(reverse)的五个事件检测器203，各个事件检测器203独立的检测不同的事件，从而能够保证事件检测结果的准确性和完整性。

在本实施例中，各个事件分类器203的结构可以相同，也可以不同。在本实施例中以各个事件分类器203具有相同结构为例进行说明。

图4是本发明实施例1的事件分类器203的示意图。如图4所示，事件分类器203包括：第一全连接层401、第二全连接层402以及设置在该第一全连接层401和该第二全连接层402之间的长短期记忆(lstm，longshort-termmemory)层403。

在本实施例中，通过在事件分类器中设置lstm层，能够利用其随着时间记忆有用信息而忘掉无用信息的特性，获得较高的检测精度。

在本实施例中，该事件分类器203还可以包括输出层404，其用于输出该事件分类器203检测的事件的发生概率。

在本实施例中，第一全连接层401、第二全连接层402、lstm层403以及输出层404均可以使用现有结构。

在本实施例中，各个事件分类器203能够独立的进行训练和/或独立的进行参数的调整。这样，能够灵活的进行深度学习网络200的训练和/或调整，有效减少训练和/或调整的时间。

在本实施例中，事件分类器203能够独立的添加到该深度学习网络200中或者从该深度学习网络200中去除。

例如，当根据实际情况而需要检测新的事件时，可以将检测该新的事件的事件分类器独立的添加到该深度学习网络200中；当根据实际情况而不需要检测某个事件时，可以将检测该事件的事件分类器从该深度学习网络200中去除。

这样，能够使得该深度学习网络具有灵活的拓展和去除功能，能够根据实际需要来增加或减少该深度学习网络中的事件分类器。

由上述实施例可知，由于该深度学习网络具有至少两个相互独立的、进行不同事件的检测的事件分类器，各个事件分类器能够独立的进行检测并输出检测结果，从而能够保证事件检测结果的准确性和完整性，并且，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

实施例2

本发明实施例还提供一种如实施例1所述的用于事件检测的深度学习网络的训练装置。该深度学习网络的结构如图2所示，该深度学习网络200包括：数据层201、卷积层202以及至少两个事件分类器203。

图5是本发明实施例2的训练装置的示意图。如图5所示，训练装置500包括：

第一训练单元501，其用于对该深度学习网络200的该卷积层202的参数进行训练；

第二训练单元502，其用于保持该深度学习网络200的该卷积层202的参数不变，对该深度学习网络200的该至少两个事件分类器203的参数进行训练。

这样，由于各个事件分类器只需要检测一种事件，即各个事件分类器均为二分类器，其所需的训练时间较短。

在本实施例中，第一训练单元501用于对该深度学习网络200的该卷积层202的参数进行训练。

例如，可以使用公开数据集训练该卷积层202的参数。这样，由于公开数据集包含上百万张图片，可以提供丰富的特征供模型训练参数，这样训练后得到的模型，具有很好的泛化性。

在本实施例中，可以在卷积神经网络框架(caffe，convolutionalarchitectureforfastfeatureembedding)上进行训练，要完成该卷积层202的参数训练，需要在通常的alexnet网络后添加两个全连接层、一个精确度(accuracy)层和一个损失(loss)层。在训练过程中，通过观测该accuracy层和该loss层的输出值来判断模型是否收敛，当收敛时完成训练。在完成训练后去除添加的上述两个全连接层、一个accuracy层和一个loss层，得到训练好的该卷积层202。

在本实施例中，在该卷积层202训练完成后，第二训练单元502用于保持该深度学习网络200的该卷积层202的参数不变，对该深度学习网络200的该至少两个事件分类器203的参数进行训练。

例如，可以使用采集的监控视频的数据进行训练。在训练时需要添加一个accuracy层和一个loss层，在训练过程中，将该卷积层202的学习率置为0，即保持该卷积层202的参数不变。另外，也可以把各个事件分类器203中不需要训练的事件分类器的学习率置为0。在训练过程中，通过观测该accuracy层和该loss层的输出值来判断模型是否收敛，当收敛时完成训练。在完成训练后去除添加的上述accuracy层和loss层，得到训练好的事件分类器203。

在本实施例中，第二训练单元502可以使用分别对应于该至少两个事件分类器203的至少两个以二值化数值表示的标签，对该至少两个事件分类器203的参数进行训练。

例如，可以使用标签“1”表示事件发生，标签“0”表示事件没有发生，各个标签按照顺序排列且分布对应于检测正常(normal)、事故(accident)、拥堵(jam)、停车(park)以及逆行(reverse)的各个事件的各个事件分类器203。例如，对于图1所示的监控视频画面，对应于各个事件分类器203的标签可以表示为“01100”。

在本实施例中，第二训练单元502可以同时对该至少两个事件分类器203的参数进行训练，或者，分别对该至少两个事件分类器203中的各个事件分类器的参数进行训练。

这样，当同时对各个事件分类器203的参数进行训练时，能够进一步减少训练时间，提高训练效率，当分别对各个事件分类器203的参数进行训练时，能够根据实际情况灵活的进行训练。

在本实施例中，事件分类器203能够独立的添加到该深度学习网络200中或者从该深度学习网络200中去除。从而，该训练装置500还可以包括：

第三训练单元503，其用于当有新的事件分类器203添加至深度学习网络200中时，保持该卷积层202和原有的该至少两个事件分类器203的参数不变，对添加到该深度学习网络200中的该新的事件分类器203的参数进行单独的训练。具体的训练方法可以参照原有的事件分类器的训练方法，此处不再赘述。

这样，当有新的检测需求时，不需要对该卷积层202和原有的该至少两个事件分类器203重新进行训练，只需要单独的对该新的事件分类器203的参数进行训练，从而能够有效减少训练时间，迅速满足新的检测需求，并且，在对新的事件分类器的训练过程中，不会影响原有的事件分类器，从而保证了原有的事件分类器的检测精度。

在本实施例中，该训装置500还可以包括：

调整单元504，其用于当该至少两个事件分类器203中的一个或多个事件分类器不满足预设条件时，对该一个或多个事件分类器的参数独立的进行调整。

在本实施例中，该预设条件例如是事件分类器的检测精度达到预设阈值。例如，在利用该深度学习网络进行事件检测的过程中，输入事件分类器203的特征包含了在之前训练时未使用过的特征，导致一个或多个事件分类器203的检测精度下降而无法达到预设阈值。这样，可以利用调整单元504对该一个或多个事件分类器203的参数独立的进行调整，能够灵活且迅速的应对各种需要调整的情况，且不会对其他不需要调整的事件分类器产生影响。

例如，在调整过程中，可以把这些之前训练时未使用过的特征加入到原训练数据中，对需要调整的该一个或多个事件分类器203独立的进行训练，训练结束时则完成了该一个或多个事件分类器203的参数的调整。

由上述实施例可知，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

实施例3

本发明实施例还提供了一种电子设备，图6是本发明实施例3的电子设备的示意图。如图6所示，电子设备600包括训练装置601，该训练装置601用于对如实施例1所述的深度学习网络进行训练，该训练装置601的结构和功能与实施例2中的记载相同，此处不再赘述。

图7是本发明实施例3的电子设备的系统构成的一示意框图。如图7所示，电子设备700可以包括中央处理器701和存储器702；该存储器702耦合到该中央处理器701。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。

如图7所示，该电子设备700还可以包括：输入单元703、显示器704、电源705。

在一个实施方式中，实施例2所述的训练装置的功能可以被集成到该中央处理器701中。其中，该中央处理器701可以被配置为：对所述深度学习网络的所述卷积层的参数进行训练；保持所述深度学习网络的所述卷积层的参数不变，对所述深度学习网络的所述至少两个事件分类器的参数进行训练。

例如，所述对所述至少两个事件分类器的参数进行训练，包括：同时对所述至少两个事件分类器的参数进行训练，或者，分别对所述至少两个事件分类器中的各个事件分类器的参数进行训练。

例如，该中央处理器701还可以被配置为：当有事件分类器添加至所述深度学习网络中时，保持所述卷积层和所述至少两个事件分类器的参数不变，对添加到所述深度学习网络中的所述事件分类器的参数进行单独的训练。

例如，该中央处理器701还可以被配置为：当所述至少两个事件分类器中的一个或多个事件分类器不满足预设条件时，对该一个或多个事件分类器的参数独立的进行调整。

例如，所述对所述至少两个事件分类器的参数进行训练，包括：使用分别对应于所述至少两个事件分类器的至少两个以二值化数值表示的标签，对所述至少两个事件分类器的参数进行训练。

在另一个实施方式中，实施例2所述的训练装置可以与该中央处理器701分开配置，例如可以将该训练装置配置为与该中央处理器701连接的芯片，通过该中央处理器701的控制来实现该训练装置的功能。

在本实施例中该电子设备700也并不是必须要包括图7中所示的所有部件。

如图7所示，该中央处理器701有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，该中央处理器701接收输入并控制该电子设备700的各个部件的操作。

该存储器702，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该中央处理器701可执行该存储器702存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。该电子设备700的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。

由上述实施例可知，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

实施例4

本发明实施例还提供一种如实施例1所述的用于事件检测的深度学习网络的训练方法，该训练方法对应于实施例2的训练装置。图8是本发明实施例4的训练方法的示意图。如图8所示，该方法包括：

步骤801：对该深度学习网络的该卷积层的参数进行训练；

步骤802：保持该深度学习网络的该卷积层的参数不变，对该深度学习网络的该至少两个事件分类器的参数进行训练；

在本实施例中，该方法还可以包括：

步骤803：当有事件分类器添加至该深度学习网络中时，保持该卷积层和该至少两个事件分类器的参数不变，对添加到该深度学习网络中的该事件分类器的参数进行单独的训练；

步骤804：当该至少两个事件分类器中的一个或多个事件分类器不满足预设条件时，对该一个或多个事件分类器的参数独立的进行调整。

在本实施例中，上述各个步骤的具体实现方法与实施例2中的记载相同，此处不再重复。

由上述实施例可知，由于各个事件分类器只需要检测一种事件，该深度学习网络在训练时所需的时间较短，且训练出的该深度学习网络的检测精度较高。

本发明实施例还提供一种计算机可读程序，其中当在深度学习网络的训练装置或电子设备中执行所述程序时，所述程序使得计算机在所述深度学习网络的训练装置或电子设备中执行实施例4所述的深度学习网络的训练方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在深度学习网络的训练装置或电子设备中执行实施例4所述的深度学习网络的训练方法。

结合本发明实施例描述的在所述深度学习网络的训练装置或电子设备中执行深度学习网络的训练方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图5中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图8所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。

软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。

针对图5描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图5描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1、一种用于事件检测的深度学习网络，所述深度学习网络包括：

数据层，其用于读取输入数据；

卷积层，其用于从所述数据层读取的所述输入数据中提取特征；

至少两个事件分类器，其用于根据所述卷积层提取的所述特征，相互独立的进行不同事件的检测，分别输出不同事件的检测结果。

附记2、根据附记1所述的深度学习网络，其中，

所述至少两个事件分类器具有相同或不同的结构。

附记3、根据附记2所述的深度学习网络，其中，所述至少两个事件分类器具有相同的结构，

所述事件分类器包括：第一全连接层、第二全连接层以及设置在所述第一全连接层和所述第二全连接层之间的长短期记忆层。

附记4、根据附记1所述的深度学习网络，其中，

各个所述事件分类器能够独立的进行训练和/或独立的进行参数的调整。

附记5、根据附记1所述的深度学习网络，其中，

所述事件分类器能够独立的添加到所述深度学习网络中或者从所述深度学习网络中去除。

附记6、一种根据附记1所述的深度学习网络的训练装置，所述装置包括：

第一训练单元，其用于对所述深度学习网络的所述卷积层的参数进行训练；

第二训练单元，其用于保持所述深度学习网络的所述卷积层的参数不变，对所述深度学习网络的所述至少两个事件分类器的参数进行训练。

附记7、根据附记6所述的装置，其中，所述第二训练单元用于同时对所述至少两个事件分类器的参数进行训练，或者，分别对所述至少两个事件分类器中的各个事件分类器的参数进行训练。

附记8、根据附记6所述的装置，其中，所述装置还包括：

第三训练单元，其用于当有事件分类器添加至所述深度学习网络中时，保持所述卷积层和所述至少两个事件分类器的参数不变，对添加到所述深度学习网络中的所述事件分类器的参数进行单独的训练。

附记9、根据附记6所述的装置，其中，所述装置还包括：

调整单元，其用于当所述至少两个事件分类器中的一个或多个事件分类器不满足预设条件时，对该一个或多个事件分类器的参数独立的进行调整。

附记10、根据附记6所述的装置，其中，所述第二训练单元用于使用分别对应于所述至少两个事件分类器的至少两个以二值化数值表示的标签，对所述至少两个事件分类器的参数进行训练。

附记11、一种根据附记1所述的深度学习网络的训练方法，所述方法包括：

对所述深度学习网络的所述卷积层的参数进行训练；

保持所述深度学习网络的所述卷积层的参数不变，对所述深度学习网络的所述至少两个事件分类器的参数进行训练。

附记12、根据附记11所述的方法，其中，所述对所述至少两个事件分类器的参数进行训练，包括：

同时对所述至少两个事件分类器的参数进行训练，或者，分别对所述至少两个事件分类器中的各个事件分类器的参数进行训练。

附记13、根据附记11所述的方法，其中，所述方法还包括：

当有事件分类器添加至所述深度学习网络中时，保持所述卷积层和所述至少两个事件分类器的参数不变，对添加到所述深度学习网络中的所述事件分类器的参数进行单独的训练。

附记14、根据附记11所述的方法，其中，所述方法还包括：

当所述至少两个事件分类器中的一个或多个事件分类器不满足预设条件时，对该一个或多个事件分类器的参数独立的进行调整。

附记15、根据附记11所述的方法，其中，所述对所述至少两个事件分类器的参数进行训练，包括：

使用分别对应于所述至少两个事件分类器的至少两个以二值化数值表示的标签，对所述至少两个事件分类器的参数进行训练。