本发明涉及视频图像处理领域，尤其涉及一种视频事件类人概念学习方法及装置。
背景技术：
人类对新概念的学习能够从一个简单示例推广，而机器学习算法通常需要大量的样本才能达到同样的精度。例如，目前基于视频的行为分析和概念学习都需要大量的视频作为样本，且经过复杂的机器学习算法才能实现，而人类能够通过单个视频样本就能够学习到相同多甚至更多的概念。
因此，如何像人一样对视频事件概念进行学习是当前研究的重点。
技术实现要素：
本发明的主要目的在于提供一种视频事件类人概念学习方法及装置，旨在解决现有技术中无法像人一样对视频事件概念进行学习的技术问题。
为实现上述目的，本发明第一方面提供一种视频事件类人概念学习方法，该方法包括：
利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
为实现上述目的，本发明第二方面提供一种视频事件类人概念学习装置，该装置包括：
第一划分模块，用于利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
第二划分模块，用于基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
第一确定模块，用于确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
组合学习模块，用于利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
本发明提供一种视频事件类人概念学习方法，该方法包括：利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念，实现视频事件概率学习。相对于现有技术，通过对视频样本进行行为划分及子行为划分，利用划分后的各子行为的时空关系、先验概率及预置的变化因子集合进行新的视频事件的组合，使得能够学习到视频事件的概念，通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例中视频事件类人概念学习方法的流程示意图；
图2为本发明第一实施例中步骤101的细化步骤的流程示意图；
图3为本发明第一实施例中步骤102的细化步骤的流程示意图；
图4为本发明第一实施例中步骤104的细化步骤的流程示意图；
图5为本发明第二实施例中视频事件类人概念学习装置的功能模块的示意图；
图6为本发明第二实施例中第一划分模块501的细化功能模块的示意图；
图7为本发明第二实施例中第二划分模块502的细化功能模块的示意图；
图8为本发明第二实施例中组合学习模块504的细化功能模块的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中的技术方案引入贝叶斯规划学习(bayesianprogramlearning，bpl)框架，能够从仅仅一个视频样本中学习到一大类的视频事件概念，概念表示为简单的概率规划，即用抽象语言描述的结构化过程所表达的概率生成模型。本发明即是基于上述的bpl框架，且利用一个视频样本实现对视频事件的概率的学习的，下面将详细进行描述。
请参阅图1，为本发明第一实施例中视频事件类人概念学习方法，其特征在于，所述方法包括：
步骤101、利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
步骤102、基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
步骤103、确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
步骤104、利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
在本发明实施例中，上述的视频事件类人概念学习方法是由视频事件类人概念学习装置(以下简称：学习装置)实现的。且一次学习仅需要使用到一个视频样本，能够实现基于少量的视频样本数据实现概念学习，而不需要像机器学习算法一样使用到大量的数据，适用性更强。
其中，学习装置将利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合。运动对象是指在视频中发生了运动的人及物，且并不限定人及物的数量。
为了更好的理解行为的划分，请参阅图2，为本发明第一实施例中步骤101的细化步骤的流程示意图，该步骤101具体包括：
步骤201、从所述视频样本的第一帧开始，随机游走分割视频帧，以将所述视频样本分割为多个子视频数据；
步骤202、基于harris算法检测依次检测所述子视频数据中的运动点，得到所述子视频数据中各运动对象的运动轨迹，且确定所述运动轨迹的轨迹特征的权重值；
步骤203、按照所述子视频数据中各运动对象的所述轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹作划分为行为，以实现行为划分。
其中，学习装置将从视频样本的第一帧开始，随机游走分割视频帧，由于视频是一个三维的数据结构，因此，学习装置的游走将同时从三个方向进行，该三个方向分别是时间方向、水平空间方向及垂直空间方向，且通过游走，能够将视频样本分割成多个小立方块数据，其中，每一个小立方块数据也都具有三维的数据结构，即为一个子视频数据。
学习装置在将视频样本划分为多个子视频数据之后，将确定每一个子视频数据中包含的行为，以实现行为划分。对于每一个子视频数据，学习装置将基于harris算法检测子视频数据中的运动点，并将检测到的运动点基于时间方向连接成运动轨迹，以得到该子视频数据中各运动对象的运动轨迹。此外，学习装置还将确定该运动轨迹中包含了哪些轨迹特征，并基于预先设置的轨迹特征与权重值之间的映射关系，确定该运动轨迹的轨迹特征的权重值，即学习装置还将得到运动轨迹的轨迹特征的权重值。进一步的，学习装置将按照子视频数据中各运动对象的轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹划分为行为，完成子行为的划分。
在本发明实施例中，通过随机游走算法及harris算法能够有效的实现行为划分。
在本发明实施例中，学习装置在得到视频样本中的行为集合之后，将基于行为的停顿时间点对行为集合中的各行为进行子行为的划分，其中，停顿时间点可以是指行为的停顿时间大于或等于预设时长的点，该预设时长可以是30ms、1s等等。具体的，请参阅图3，为本发明第一实施例中步骤102的细化步骤的流程示意图，该步骤102包括：
301、对所述行为集合中的每一个行为，基于harris算法确定所述行为中包含的停顿时间点；
302、基于所述停顿时间点将所述行为划分为子行为，以得到所述子行为集合。
在本发明实施例中，步骤301和步骤302是对步骤102的细化，即详细描述了子行为的划分流程。
其中，对于行为集合中的每一个行为，学习装置都将基于harris算法确定该行为中包含的停顿时间点，其中，harris算法是用于确定运动点的，且由于是从子视频数据中提取的运动点，因此，提取的运动点是与时间相关的，若在连续的时间内，不同时间上的运动点的位置相同，则表明该运动点的位置并未发生变化，若未变化的时间大于或等于上述的预设时长，则表明该运动点即为停顿时间点。学习装置在确定行为中包含的停顿时间点之后，将基于确定的停顿时间点将该行为划分为多个子行为，以得到子行为集合。
在本发明实施例中，学习装置在得到子行为集合之后，将确定该子行为集合中各子行为与其他子行为的时空关系，及确定各子行为的时空关系的先验概率。
其中，时空关系包括子行为在其他子行为之前发生、子行为在其他子行为之后发生、子行为与其他子行为互相独立，子行为与其他子行为同时发生，且时空关系对应的先验概率为p(rm)＝{p1,p2,p3,p4}，其中，p(rm)表示子行为sum的时空关系对应的先验概率，rm表示子行为sum的时空关系，p1,p2,p3,p4依次表示上述四种时空关系对应的先验概率。
其中，先验概率是指根据以往经验和分析得到的概率，是基于现有的视频样本进行行为分析及统计得到的。
在本发明实施例中，学习装置将利用各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到该新的视频事件的概念，以实现视频事件类人概念学习。
其中，变化因子集合t具体为：t＝{o,p}，其中，o为视频空间画面的尺度因子，p为时空关系因子，其中，视频空间画面的尺度因子是预先设置的参数。
具体的，请参阅图4，图4为本发明第一实施例中步骤104的细化步骤的流程示意图，该步骤104包括：
步骤401、利用所述视频空间画面的尺度因子对所述各子行为的时空关系进行尺度变化，得到新的子行为集合；
步骤402、利用所述时空关系因子对所述新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到所述视频事件的概念。
其中，学习装置将利用o对子行为集合中各子行为的时空关系进行尺度变化，得到新的子行为集合，该新的子行为集合中子行为的时空关系即为进行尺度变化后的时空关系。且学习装置将利用时空关系因子对该新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到该视频事件的概念。其中，该时空关系因子是从尺度变化后的时空关系中随机挑选的一个时空关系。例如：若将子行为a，b，c，d组合成一个新的视频事件，则需要从子行为a尺度变化后的时空关系a中随机选择一种时空关系作为该子行为a在组合成的新的视频事件中的时空关系，子行为b、c、d也使用相似的方式确定其在新的视频事件中的时空关系。
其中，所述视频事件的概念为ψ＝{k,s,r}。
其中，k表示组成组成视频事件的子行为的个数，s表示子行为的集合，r表示子行为的时空关系对应的先验概率集合。
其中，k是由经验频率(empiricalfrequencies)估计的多项式p(k)采样得到的。
其中，视频事件的概念是通过联合概率进行表示的，且概念的联合概率如下：
其中，p(ψ)表示联合概率，p(k)表示视频事件由k个子行为构成时的先验概率，p(sum)表示子行为sum的先验概率，p(rm)表示子行为sum的时空关系对应的先验概率。
在本发明实施例中，利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念，实现视频事件概率学习。相对于现有技术，通过对视频样本进行行为划分及子行为划分，利用划分后的各子行为的时空关系、先验概率及预置的变化因子集合进行新的视频事件的组合，使得能够学习到视频事件的概念，通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。
请参阅图5，为本发明第二实施例中视频事件类人概念学习装置的功能模块的示意图，该学习装置包括：
第一划分模块501，用于利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
第二划分模块502，用于基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
第一确定模块503，用于确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
组合学习模块504，用于利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
其中，第一划分模块501利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合。运动对象是指在视频中发生了运动的人及物，且并不限定人及物的数量。具体的，请参阅图6，为本发明第二实施例中第一划分模块501的细化功能模块的示意图，该第一划分模块501包括：
游走分割模块601，用于从所述视频样本的第一帧开始，随机游走分割视频帧，以将所述视频样本分割为多个子视频数据；
检测确定模块602，用于基于harris算法检测依次检测所述子视频数据中的运动点，得到所述子视频数据中各运动对象的运动轨迹，且确定所述运动轨迹的轨迹特征的权重值；
游走划分模块603，用于按照所述子视频数据中各运动对象的所述轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹作划分为行为，以实现行为划分。
其中，游走分割模块601将从视频样本的第一帧开始，随机游走分割视频帧，由于视频是一个三维的数据结构，因此，学习装置的游走将同时从三个方向进行，该三个方向分别是时间方向、水平空间方向及垂直空间方向，且通过游走，能够将视频样本分割成多个小立方块数据，其中，每一个小立方块数据也都具有三维的数据结构，即为一个子视频数据。
在将视频样本划分为多个子视频数据之后，将确定每一个子视频数据中包含的行为，以实现行为划分。对于每一个子视频数据，检测确定模块602将基于harris算法检测子视频数据中的运动点，并将检测到的运动点基于时间方向连接成运动轨迹，以得到该子视频数据中各运动对象的运动轨迹。此外，学习装置还将确定该运动轨迹中包含了哪些轨迹特征，并基于预先设置的轨迹特征与权重值之间的映射关系，确定该运动轨迹的轨迹特征的权重值，即学习装置还将得到运动轨迹的轨迹特征的权重值。进一步的，游走划分模块603将按照子视频数据中各运动对象的轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹划分为行为，完成子行为的划分。
在本发明实施例中，通过随机游走算法及harris算法能够有效的实现行为划分。
在本发明实施例中，学习装置在得到视频样本中的行为集合之后，将基于行为的停顿时间点对行为集合中的各行为进行子行为的划分，其中，停顿时间点可以是指行为的停顿时间大于或等于预设时长的点，该预设时长可以是30ms、1s等等。具体的，请参阅图7，为本发明第二实施例中第二划分模块502的细化功能模块的示意图，该第二划分模块502包括：
第二确定模块701，用于对所述行为集合中的每一个行为，基于harris算法确定所述行为中包含的停顿时间点；
第三划分模块702，用于基于所述停顿时间点将所述行为划分为子行为，以得到所述子行为集合。
其中，对于行为集合中的每一个行为，第二确定模块701都将基于harris算法确定该行为中包含的停顿时间点，其中，harris算法是用于确定运动点的，且由于是从子视频数据中提取的运动点，因此，提取的运动点是与时间相关的，若在连续的时间内，不同时间上的运动点的位置相同，则表明该运动点的位置并未发生变化，若未变化的时间大于或等于上述的预设时长，则表明该运动点即为停顿时间点。在确定行为中包含的停顿时间点之后，第三划分模块702将基于确定的停顿时间点将该行为划分为多个子行为，以得到子行为集合。
在本发明实施例中，学习装置在得到子行为集合之后，第一确定模块503将确定该子行为集合中各子行为与其他子行为的时空关系，及确定各子行为的时空关系的先验概率。
其中，时空关系包括子行为在其他子行为之前发生、子行为在其他子行为之后发生、子行为与其他子行为互相独立，子行为与其他子行为同时发生，且时空关系对应的先验概率为p(rm)＝{p1,p2,p3,p4}，其中，p(rm)表示子行为sum的时空关系对应的先验概率，rm表示子行为sum的时空关系，p1,p2,p3,p4依次表示上述四种时空关系对应的先验概率。
其中，先验概率是指根据以往经验和分析得到的概率，是基于现有的视频样本进行行为分析及统计得到的。
在本发明实施例中，组合学习模块504将利用各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到该新的视频事件的概念，以实现视频事件类人概念学习。
其中，变化因子集合t具体为：t＝{o,p}，其中，o为视频空间画面的尺度因子，p为时空关系因子，其中，视频空间画面的尺度因子是预先设置的参数。
请参阅图8，为本发明第二实施例中组合学习模块504的细化功能模块的示意图，该组合学习模块504包括：
尺度变化模块801，用于利用所述视频空间画面的尺度因子对所述各子行为的时空关系进行尺度变化，得到新的子行为集合；
组合模块802，用于利用所述时空关系因子对所述新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到所述视频事件的概念。
其中，尺度变化模块801将利用o对子行为集合中各子行为的时空关系进行尺度变化，得到新的子行为集合，该新的子行为集合中子行为的时空关系即为进行尺度变化后的时空关系。且组合模块802将利用时空关系因子对该新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到该视频事件的概念。其中，该时空关系因子是从尺度变化后的时空关系中随机挑选的一个时空关系。例如：若将子行为a，b，c，d组合成一个新的视频事件，则需要从子行为a尺度变化后的时空关系a中随机选择一种时空关系作为该子行为a在组合成的新的视频事件中的时空关系，子行为b、c、d也使用相似的方式确定其在新的视频事件中的时空关系。
其中，视频事件的概念为ψ＝{k,s,r}。
其中，k表示组成组成视频事件的子行为的个数，s表示子行为的集合，r表示子行为的时空关系对应的先验概率集合。
其中，k是由经验频率(empiricalfrequencies)估计的多项式p(k)采样得到的。
其中，视频事件的概念是通过联合概率进行表示的，且概念的联合概率如下：
其中，p(ψ)表示联合概率，p(k)表示视频事件由k个子行为构成时的先验概率，p(sum)表示子行为sum的先验概率，p(rm)表示子行为sum的时空关系对应的先验概率。
在本发明实施例中，利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念，实现视频事件概率学习。相对于现有技术，通过对视频样本进行行为划分及子行为划分，利用划分后的各子行为的时空关系、先验概率及预置的变化因子集合进行新的视频事件的组合，使得能够学习到视频事件的概念，通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种视频事件类人概念学习方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。