本申请涉及应用于智慧城市的视频监控技术领域，尤其涉及一种采用人工智能预测追踪的视频监视云台及其追踪方法。
背景技术
智慧城市是运用物联网技术将智慧楼宇、智慧社区、智慧街道和智慧家庭连通为一体，形成全面覆盖、精确采集、智能分析的数字化信息体系。视频信息的采集与应用在智慧城市中发挥着不可或缺的重要作用，是实现区域安保监控、人脸身份识别、交通信息提取等智慧城市重要功能的前端基础。
在公共空间，视频信息的采集以视频监视摄像机为主要的前端设施。视频监视摄像机一般由摄像机和监视云台两部分共同组成。其中，监视云台用于在结构上承载摄像机，并且携带摄像机转动以调节拍摄的方向和俯仰角度，从而使一台摄像机利用其有限的拍摄视野能够覆盖更大的预定空间范围。
锁定特定的运动对象并带动摄像机对该对象进行追踪拍摄，是监视云台的核心功能。为了保证适当的曝光量以及清晰的聚焦，在视频信息采集过程中一般要求主要的拍摄对象处于拍摄视野的中央区域。因此，当主要的拍摄对象是一个运动对象时，监视云台要能够跟随该运动对象而带动摄像机调节拍摄方向和俯仰角度，从而将该运动对象始终保持在拍摄视野的中央区域附近。
为了实现上述追踪拍摄的功能，监视云台需要从摄像机拍摄的连续的实时画面帧当中提取出运动对象，根据该运动对象的在各帧实时画面帧中位置的变化，当该运动对象偏离拍摄视野的中央区域时，适应性带动摄像机进行调节，使得该运动对象回复至拍摄视野的中央区域。
为了改善追踪拍摄的滞后性，监视云台还可以引入预测机制，由在先的若干帧实时画面帧当中运动对象的位置变化规律，提取该对象的运动方向和运动速度，进而按照该运动方向和速度预测后续的实时画面帧当中该运动对象的预计位置偏离，并参照预测提前调节监视云台，使得运动对象在后续的实时画面帧中回复至拍摄视野的中央区域。
然而，在智慧城市的真实应用之中，视频信息采集的公共空间场景结构往往是比较复杂的，该场景内通常存在较多数量的对象，其中也会包括较多数量的运动对象。因此，对于监视云台来说，如何在复杂、多运动对象的场景结构下实现准确的预测追踪也是一个亟待解决的问题。例如，在场景内存在多个运动目标，且各个运动目标的运动方向和运动速度存在差异的情况下，要求监视云台能够基于视频信息采集的预定目的，从中选取和锁定适当的运动目标，从而携带摄像机进行追踪拍摄。
现有技术中，在场景具有多个运动目标的情况下，监视云台所采取的追踪策略一般包括：锁定拍摄场景当中最先出现的运动目标进行追踪，直至该运动目标离开拍摄场景后，则更新至场景内现存运动目标中最早出现的予以追踪；或者，每次均锁定场景中最新出现的运动目标进行追踪；或者，在拍摄场景中设置一个关键区域，对最接近该关键区域的运动目标实施追踪；或者，在拍摄场景中选取占据画面比例最大的运动目标实施追踪。
然而，这些追踪策略往往并不能与视频信息采集的场景特征以及视频信息采集的预定目的完全匹配。例如，根据视频信息采集的场景特征以及采集该场景视频信息的目的，应选取该场景特征下与采集目的具有最大重要度和关联度的运动目标进行追踪，而不完全受到该运动目标处于场景中的任何区域、该运动目标的画面大小或者在场景中出现的时机早晚的影响。
但是，由于视频场景的采集目的与场景特征之间的关联往往并非是基于显式的一些固定规则就能够定义的，而采集场景的特征也难以预先描述，并且视频采集过程中的追踪策略需要结合场景的改变而进行动态调整，因此，难以用上述现有技术中的简易、明确、静态的追踪规则达到在任何场景特征下都锁定与采集目的具有最大重要度和关联度的运动目标实施跟踪。
技术实现要素：
有鉴于此，本申请的目的在于提出一种采用人工智能预测追踪的视频监视云台及其追踪方法。本发明利用人工智能方法实现视频信息采集过程中对场景特征的识别，并且学习各种场景模式之下对追踪锁定的运动目标的选择策略，从而实现对具有最大重要度和关联度的运动目标的自动提取和预测追踪。
本申请提供一种采用人工智能预测追踪的视频监视云台，其特征在于，包括：场景模式识别单元、目标区域智能学习单元、追踪目标提取单元、云台驱动单元；其中
所述场景模式识别单元用于从视频监视云台的摄像机拍摄的场景视频画面当中提取每个场景当中包含的目标，并且量化目标状态生成状态值；根据目标的状态值，判断两幅相邻的场景视频画面是否是相同的场景模式，对相同场景模式的场景视频画面标注同一类场景模式标记；
目标区域智能学习单元，用于通过一定数量的样本，学习每一种场景模式下重要运动目标的状态值特征；
追踪目标提取单元，用于目标区域智能学习单元的学习结果，根据从当前场景视频画面识别每一个运动目标的状态值，判断该运动目标是否属于重要目标，当结果表明当前场景视频画面中的一个运动目标属于重要目标，则将该运动目标的画面位置坐标提供给云台驱动单元；
云台驱动单元，从追踪目标提取单元获得当前场景视频画面中的重要目标的画面位置坐标，从而按照该画面位置坐标锁定当前场景视频画面当中的重要目标，进行追踪拍摄。
优选的是，所述场景模式识别单元比对相邻两幅场景视频画面中是否包含相同目标，以及相同目标占每幅场景视频画面中全部目标的比例是否低于第一阈值；如果两幅场景视频画面中至少一幅的相同目标百分比低于该第一阈值，则判定这两幅场景视频画面分别属于不同的场景模式；如果相邻两幅场景视频画面中包含的相同目标占全部目标的百分比均大于等于第一阈值，则进而利用两幅画面中相同目标各自的状态值，计算这两幅场景视频画面中全部相同目标的状态整体差异度；若状态整体差异度大于等于第二阈值，则判定这两幅场景视频画面具有不同的场景模式，若状态整体差异度低于第二阈值，则判定这两幅场景视频画面具有相同的场景模式。
优选的是，目标区域智能学习单元为每一种场景模式提取一定数量的场景视频画面作为样本画面，并且人工对这些样本画面当中应锁定追踪的运动目标区域进行识别，确定每一幅样本画面当中属于重要目标的运动目标；确定该重要目标在样本画面中的状态值；将每一种场景模式的全部样本画面中的重要目标的状态值执行训练，获得训练好的重要目标识别svm分类向量机；针对每一种场景模式的全部样本画面，提取样本画面包含的全部运动目标以及每一个运动目标的状态值，获得目标状态值列表，将每一种场景模式的全部样本画面的目标状态列表进行训练，获得训练好的场景模式识别svm分类向量机。
优选的是，所述追踪目标提取单元用于将当前场景视频画面的运动目标状态值列表代入经训练之后的各个场景模式识别svm分类向量机，从而判断当前场景视频画面属于哪一种场景模式；进而，将该场景视频画面中每一个运动目标的状态值代入训练好的该场景模式对应的重要目标识别svm分类向量机，从而识别每一个运动目标是否属于重要目标，当分类结果表明当前场景视频画面中的一个运动目标属于重要目标。
优选的是，所述云台驱动单元分析该重要目标的在各帧场景视频画面中位置的变化，当该重要目标偏离拍摄视野的中央区域时，提取该重要目标的运动方向和运动速度，进而按照该运动方向和速度预测该重要目标的预计位置偏离，并参照预测提前驱动监视云台的旋转机械机构。
本发明进而提供了一种应用于视频监视云台的人工智能预测追踪方法，其特征在于，包括：
场景模式识别步骤，用于从场景视频画面当中提取每个场景当中包含的目标，并且量化目标状态生成状态值；根据目标的状态值，判断两幅相邻的场景视频画面是否是相同的场景模式，对相同场景模式的场景视频画面标注同一类场景模式标记；
目标区域智能学习步骤，用于通过一定数量的样本，学习每一种场景模式下重要运动目标的状态值特征；
追踪目标提取步骤，用于目标区域智能学习单元的学习结果，根据从当前场景视频画面识别每一个运动目标的状态值，判断该运动目标是否属于重要目标，当结果表明当前场景视频画面中的一个运动目标属于重要目标，则将该运动目标的画面位置坐标提供给云台驱动单元；
云台驱动步骤，从追踪目标提取单元获得当前场景视频画面中的重要目标的画面位置坐标，从而按照该画面位置坐标锁定当前场景视频画面当中的重要目标，进行追踪拍摄。
优选的是，所述场景模式识别步骤中，比对相邻两幅场景视频画面中是否包含相同目标，以及相同目标占每幅场景视频画面中全部目标的比例是否低于第一阈值；如果两幅场景视频画面中至少一幅的相同目标百分比低于该第一阈值，则判定这两幅场景视频画面分别属于不同的场景模式；如果相邻两幅场景视频画面中包含的相同目标占全部目标的百分比均大于等于第一阈值，则进而利用两幅画面中相同目标各自的状态值，计算这两幅场景视频画面中全部相同目标的状态整体差异度；若状态整体差异度大于等于第二阈值，则判定这两幅场景视频画面具有不同的场景模式，若状态整体差异度低于第二阈值，则判定这两幅场景视频画面具有相同的场景模式。
优选的是，目标区域智能学习步骤中，为每一种场景模式提取一定数量的场景视频画面作为样本画面，并且人工对这些样本画面当中应锁定追踪的运动目标区域进行识别，确定每一幅样本画面当中属于重要目标的运动目标；确定该重要目标在样本画面中的状态值；将每一种场景模式的全部样本画面中的重要目标的状态值执行训练，获得训练好的重要目标识别svm分类向量机；针对每一种场景模式的全部样本画面，提取样本画面包含的全部运动目标以及每一个运动目标的状态值，获得目标状态值列表，将每一种场景模式的全部样本画面的目标状态列表进行训练，获得训练好的场景模式识别svm分类向量机。
优选的是，所述追踪目标提取步骤中，用于将当前场景视频画面的运动目标状态值列表代入经训练之后的各个场景模式识别svm分类向量机，从而判断当前场景视频画面属于哪一种场景模式；进而，将该场景视频画面中每一个运动目标的状态值代入训练好的该场景模式对应的重要目标识别svm分类向量机，从而识别每一个运动目标是否属于重要目标，当分类结果表明当前场景视频画面中的一个运动目标属于重要目标。
优选的是，所述云台驱动步骤中，分析该重要目标的在各帧场景视频画面中位置的变化，当该重要目标偏离拍摄视野的中央区域时，提取该重要目标的运动方向和运动速度，进而按照该运动方向和速度预测该重要目标的预计位置偏离，并参照预测提前驱动监视云台的旋转机械机构。
可见，本发明的优点包括：可以分析出不同场景视频画面在场景模式方面的差异，进而针对某一种场景模式，基于人工智能的机器学习方法，确定其中重点目标的状态特征，从而训练获得特定场景模式下对重点目标的识别与追踪标准，在多种运动目标的场景之下可以基于每个运动目标与场景模式与采集目的的关联性提取重要目标，从而根据该重要目标的运动实现云台的预测追踪。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请实施例的视频监视云台整体结构示意图；
图2是本申请实施例的目标区域智能学习单元具体结构示意图；
图3是本申请实施例的追踪目标提取单元具体结构示意图；
图4是本申请实施例的人工智能预测追踪方法流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明提出采用人工智能预测追踪的视频监视云台整体结构示意图。该视频监视云台整体上分为：场景模式识别单元101、目标区域智能学习单元102、追踪目标提取单元103、云台驱动单元104。
首先，该视频监视云台有线或者无线信号连接摄像机，取得摄像机拍摄的每帧实时画面帧，每一个实时画面帧表示了一幅该视频监视云台负责拍摄的空间区域的场景视频画面。
场景模式识别单元101用于从视频监视云台的摄像机拍摄的场景视频画面当中提取每个场景当中包含的目标，并且量化目标状态生成状态值。针对其中任意相邻的两幅场景视频画面，首先利用canny算子边缘提取的方法，从画面中提取出每一个封闭边缘包围的画面区域作为一个目标，并且获取每个目标的颜色特征、纹理特征，区域质心到区域边缘的向量特征中的任意一个或者多个特征。通过比对这些特征判断相邻两幅场景视频画面中是否包含相同目标，以及相同目标占每幅场景视频画面中全部目标的比例是否低于第一阈值；如果两幅场景视频画面中至少一幅的相同目标百分比低于该第一阈值，则判定这两幅场景视频画面分别属于不同的场景模式。如果相邻两幅场景视频画面中包含的相同目标占全部目标的百分比均大于等于第一阈值，则进而利用两幅画面中相同目标各自的状态值，计算这两幅场景视频画面中全部相同目标的状态整体差异度；若状态整体差异度大于等于第二阈值，则判定这两幅场景视频画面具有不同的场景模式，若状态整体差异度低于第二阈值，则判定这两幅场景视频画面具有相同的场景模式。这里所述目标的状态值可以包括每个目标在场景视频画面中所在画面区域的大小、长宽比、画面位置坐标、倾斜度等多项参量的数值。根据上述判定结果，场景模式识别单元101对每一幅场景视频画面标注其场景模式，具有相同场景模式的场景视频画面被标注为同一类的场景模式标记。
举例来说，对于在一个时间区间内采集的全部场景视频画面s1,s2……sn-1,sn……sm，对于其中相邻的两个场景视频画面sn-1,sn来说，经过目标识别，场景视频画面sn-1包含的全部运动目标的集合为objectn-1＝{o1,o2……on-1,on……ok}，场景视频画面sn包含的全部运动目标的集合为objectn＝{o′1,o′2……o′l-1,o′l……o′m},则确定两个场景视频画面sn-1,sn中包含的相同目标，将两个场景视频画面中的相同目标作为以上两个集合的交集
其中diff(sn,sn-1)表示场景视频画面sn-1,sn之间的状态整体差异度，
目标区域智能学习单元102从场景模式识别单元101获得所述场景视频画面及其场景模式标记，进而，该目标区域智能学习单元102通过运用人工智能学习方法，通过一定数量的样本，学习每一种场景模式下与与视频采集目的具有最大重要度和关联度的运动目标的状态特征。如图2所示，目标区域智能学习单元102包括重要运动目标抽取单元102a、重要运动目标分类训练单元102b、场景模式分类训练单元102c。
首先介绍一下每种场景模式下用于识别重要运动目标状态特征的学习样本的形成过程。目标区域智能学习单元102为每一种场景模式提取一定数量的场景视频画面作为样本画面，并且人工对这些样本画面当中应锁定追踪的运动目标区域进行识别。人的视觉感知存在将注意力集中于希望关注的重要目标而忽略视域内的次要目标的特点，在用户观看场景视频画面的过程中，视线将重点集中于该场景视频画面的重要运动目标，从而用户视线在指向场景视频画面的重要目标－指向周围次要目标－再次指向该重要目标的模式下循环切换；其中，视线指向重要目标所持续的时间段明显较长，指向周围次要目标所持续的时间段明显较短。从而，重要运动目标抽取单元102a可以通过拍摄和分析对样本画面进行人工识别的识别者的视线指向的画面区域，确定每一幅样本画面当中属于重要目标的运动目标。当然，也可以由人工识别者手工标记出每一幅场景视频画面当中属于重要目标的运动目标。
对于从每一种场景模式的样本画面当中人工识别出来的重要目标，记为
进而，针对每一种场景模式的全部样本画面，目标区域智能学习单元102的场景模式分类训练单元102c提取样本画面包含的全部运动目标以及每一个运动目标的状态值，从而获得{stat(o1),stat(o2),…stat(on-1),stat(on)…stat(ok)}的目标状态值列表，该列表是由样本画面中的每一个运动目标的状态值数组共同构成的。进而，目标区域智能学习单元102将每一种场景模式的全部样本画面的目标状态列表代入svm分类向量机执行识别每一种场景模式的训练。经过训练，目标区域智能学习单元102取得了若干个训练好的场景模式识别svm分类向量机，每一个svm分类向量机可以利用场景视频画面中运动目标的状态值实现对该画面是否属于本向量机对应的场景模式的分类识别。
追踪目标提取单元103用于将视频监视云台的摄像机拍摄的当前场景视频画面的运动目标状态值列表代入经场景模式分类训练单元102c训练之后的各个场景模式识别svm分类向量机，从而判断当前场景视频画面属于哪一种场景模式；进而，追踪目标提取单元103继续将该场景视频画面中每一个运动目标的状态值代入经重要运动目标分类训练单元102b训练好的该场景模式对应的重要目标识别svm分类向量机，从而识别每一个运动目标是否属于重要目标，当分类结果表明当前场景视频画面中的一个运动目标属于重要目标，则追踪目标提取单元103将该运动目标的画面位置坐标提供给云台驱动单元104。具体来说，如图3所述，追踪目标提取单元103从场景模式识别单元101获得所述当前场景视频画面及其场景模式标记，进而判断当前场景视频画面与在先的场景视频画面是否属于同一个场景模式；如果不属于同一个场景模式，则追踪目标提取单元103的场景模式判定单元103a从场景模式识别单元101当前场景视频画面的全部运动目标以及每一个运动目标的状态值，从而获得{stat(o1),stat(o2),…stat(on-1),stat(on)…stat(ok)}作为运动目标状态值列表，场景模式判定单元103a将当前场景视频画面的运动目标状态值列表代入经过训练之后的每一个场景模式识别svm分类向量机，每一个场景模式识别svm分类向量机将输出“是”或者“否”的二元结果，其中输出“是”的向量机表明当前场景视频画面属于该向量机对应的场景模式。进而，追踪目标提取单元103的重点目标判定单元103b从场景模式识别单元101获得当前场景视频画面中每一个运动目标的状态值stat(o1),stat(o2),…stat(on-1),stat(on)…stat(ok),将每一个运动目标的状态值代入所属场景模式下的重要目标识别svm分类向量机，重要目标识别svm分类向量机为每个输入的状态值输出“是”或者“否”的二元结果，其中输出“是”则表明该状态值对应的运动目标是当前场景视频画面的重要目标，则重点目标判定单元103b将该运动目标的画面位置坐标提供给云台驱动单元104。
云台驱动单元104从追踪目标提取单元103获得当前场景视频画面中的重要目标的画面位置坐标，从而按照该画面位置坐标锁定当前场景视频画面当中的重要目标。云台驱动单元104分析该重要目标的在各帧场景视频画面中位置的变化，当该重要目标偏离拍摄视野的中央区域时，提取该重要目标的运动方向和运动速度，进而按照该运动方向和速度预测该重要目标的预计位置偏离，并参照预测提前驱动监视云台的旋转机械机构，使得运动对象在后续的场景视频画面中尽快回复至拍摄视野的中央区域。
如图4所示，本发明进而提供了一种应用于视频监视云台的人工智能预测追踪方法。该方法包括以下步骤：
场景模式识别步骤，从视频监视云台的摄像机拍摄的场景视频画面当中提取每个场景当中包含的目标，并且量化目标的状态值；比对相邻两幅场景视频画面中是否包含相同目标，以及相同目标占每幅场景视频画面中全部目标的比例是否低于第一阈值；如果两幅场景视频画面中至少一幅的相同目标百分比低于该第一阈值，则判定这两幅场景视频画面分别属于不同的场景模式；如果相邻两幅场景视频画面中包含的相同目标占全部目标的百分比均大于等于第一阈值，则进而利用两幅画面中相同目标各自的状态值，计算这两幅场景视频画面中全部相同目标的状态整体差异度；若状态整体差异度大于等于第二阈值，则判定这两幅场景视频画面具有不同的场景模式，若状态整体差异度低于第二阈值，则判定这两幅场景视频画面具有相同的场景模式。
具体来说，对于在一个时间区间内采集的全部场景视频画面s1,s2……sn-1,sn……sm，对于其中相邻的两个场景视频画面sn-1,sn来说，经过目标识别，场景视频画面sn-1包含的全部运动目标的集合为objectn-1＝{o1,o2……on-1,on……ok}，场景视频画面sn包含的全部运动目标的集合为objectn＝{o′1,o′2……o′l-1,o′l……o′m},则确定两个场景视频画面sn-1,sn中包含的相同目标，将两个场景视频画面中的相同目标作为以上两个集合的交集
目标区域智能学习步骤，用于获得所述场景视频画面及其场景模式标记，进而通过运用人工智能学习方法，通过一定数量的样本，学习每一种场景模式下与与视频采集目的具有最大重要度和关联度的重要目标的状态值特征，利用该状态值特征训练重要目标识别svm分类向量机；并且利用样本的运动目标的状态值训练场景模式识别svm分类向量机。具体来说，为场景模式识别步骤所识别的每一种场景模式提取一定数量的场景视频画面作为样本画面，并且人工对这些样本画面当中应锁定追踪的运动目标区域进行识别，确定每一幅样本画面当中属于重要目标的运动目标；确定该重要目标在样本画面中的状态值，,记为stat(okey)，如上文所述，该状态值stat(okey)是该重要目标okey在样本画面中的大小、长宽比、画面位置坐标、倾斜度等多项参量的数值组成的数组，将每一种场景模式的全部样本画面的状态值stat(okey)数组代入svm分类向量机执行训练；取得了若干个训练好的重要目标识别svm分类向量机；针对每一种场景模式的全部样本画面，提取样本画面包含的全部运动目标以及每一个运动目标的状态值，获得{stat(o1),stat(o2),…stat(on-1),stat(on)…stat(ok)}的目标状态值列表，该列表是由样本画面中的每一个运动目标的状态值数组共同构成的；将每一种场景模式的全部样本画面的目标状态列表代入svm分类向量机执行识别每一种场景模式的训练，取得了若干个训练好的场景模式识别svm分类向量机。
追踪目标提取步骤，用于将当前场景视频画面的运动目标状态值列表代入经训练之后的各个场景模式识别svm分类向量机，从而判断当前场景视频画面属于哪一种场景模式；进而，将该场景视频画面中每一个运动目标的状态值代入训练好的该场景模式对应的重要目标识别svm分类向量机，从而识别每一个运动目标是否属于重要目标，当分类结果表明当前场景视频画面中的一个运动目标属于重要目标，则将该运动目标的画面位置坐标应用于云台驱动。
云台驱动步骤，获得当前场景视频画面中的重要目标的画面位置坐标，从而按照该画面位置坐标锁定当前场景视频画面当中的重要目标,分析该重要目标的在各帧场景视频画面中位置的变化，当该重要目标偏离拍摄视野的中央区域时，提取该重要目标的运动方向和运动速度，进而按照该运动方向和速度预测该重要目标的预计位置偏离，并参照预测提前驱动监视云台的旋转机械机构，使得运动对象在后续的场景视频画面中尽快回复至拍摄视野的中央区域。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。