视频跟踪方法、视频跟踪系统及摄像机与流程

本发明涉及通信技术领域，具体涉及一种视频跟踪方法、视频跟踪系统及摄像机。

背景技术：

目前，现有固定视角摄像机(即通俗意义上的摄像头)的摄录视角固定，随着摄像机应用场景的日益丰富，固定视角摄像机的局限性越来越明显。

现有云台摄像机主要依靠与摄像头物理连接的电动云台实现摄像头摄录视角的变换。现有云台摄像机还包括与摄像头和电动云台分别连接的控制器。实际应用过程中，控制器根据实际情况(用户输入或自动感知)向电动云台发送与摄像头摄录视角相关的控制信号，电动云台在接收到来自控制器、与摄像头摄录视角相关的控制信号后，借助于电动云台内部设置的电动机以及电动云台与摄像头的物理连接关系来带动摄像头变换摄录视角。

但是，现有云台摄像机借以实现摄录视角变换的电动云台结构复杂，当摄像头的安装空间有限时，就很难利用云台摄像机实现摄录视频功能。此外，当某些应用场景需要将摄像头隐藏时，现有云台摄像机的摄像头的复杂结构无疑加大了隐藏难度。

另，由于电动云台内部的电动机转动速度有限，并且摄像头在控制器和电动云台的控制下，其摄录的视频或图像只是在该视角下的局部视频和图像，无法回看其他摄录视角下的视频或图像，也即无法实现快速移动侦测或跟踪等功能。

技术实现要素：

有鉴于此，本发明实施例提供了一种视频跟踪方法、视频跟踪系统及摄像机，以解决现有摄像机无法实现对移动对象的侦测或跟踪的问题。

第一方面，本发明一实施例提供一种视频跟踪方法，应用于摄像机，包括：获取摄像机摄录的视频的视频帧图像序列，其中，视频为同时摄录、包含不同视角的视频；将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数；根据获取的移动对象的参数跟踪显示移动对象。

在本发明一实施例中，当视频为摄像机同时摄录、不同视角的多段视频时，获取摄像机摄录的视频的视频帧图像序列包括：获取摄像机摄录的多段视频；建立基准坐标系，将视频中同一时刻、不同视角的视频帧图像进行基于基准坐标系的拼接，生成拼接视频的视频帧图像序列。

在本发明一实施例中，移动对象的参数包括移动对象的位置参数和轮廓参数。

在本发明一实施例中，该方法进一步包括：将视频进行分屏显示。

在本发明一实施例中，分屏显示为同一时间段不同视角或同一视角不同时间段的分屏显示。

第二方面，本发明一实施例还提供一种视频跟踪系统，应用于摄像机，包括：视频帧图像序列获取模块，用于获取摄像机摄录的视频的视频帧图像序列，其中，视频为同时摄录、包含不同视角的视频；移动对象参数获取模块，用于将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数；移动对象跟踪显示模块，用于根据获取的移动对象的参数跟踪显示移动对象。

在本发明一实施例中，视频帧图像序列获取模块包括：多视角视频获取单元，用于当视频为摄像机同时摄录、不同视角的多段视频时，获取摄像机摄录的多段视频；视频帧图像序列生成单元，用于建立基准坐标系，将视频中同一时刻、不同视角的视频帧图像进行基于基准坐标系的拼接，生成拼接视频的视频帧图像序列。

在本发明一实施例中，该系统进一步包括：分屏显示模块，用于将视频进行分屏显示。

第三方面，本发明一实施例还提供一种摄像机，该摄像机包括能够同时摄录不同视角的摄像头，还包括与摄像头连接的控制器，该控制器用于获取摄像机摄录的视频的视频帧图像序列，其中，视频为同时摄录、包含不同视角的视频；将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数；根据获取的移动对象的参数跟踪显示移动对象。

在本发明一实施例中，摄像头与控制器之间的连接方式为电连接、无线连接中的至少一种。

本发明实施例提供的视频跟踪方法应用于摄像机，通过获取摄像机摄录的视频的视频帧图像序列，其中视频为同时摄录、包含不同视角的视频，将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数，并根据获取的移动对象的参数跟踪显示该移动对象的方式，实现了摄像机对摄录视频中的移动对象的侦测或跟踪的目的。

附图说明

图1所示为本发明第一实施例提供的视频跟踪方法的流程示意图。

图2所示为本发明第二实施例提供的视频跟踪方法的获取摄像机摄录的视频的视频帧图像序列步骤的流程示意图。

图3所示为本发明第三实施例提供的视频跟踪方法的流程示意图。

图4所示为本发明第四实施例提供的视频跟踪系统的结构示意图。

图5所示为本发明第五实施例提供的视频跟踪系统中视频帧图像序列获取模块的结构示意图。

图6所示为本发明第六实施例提供的视频跟踪系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明第一实施例提供的视频跟踪方法的流程示意图。如图1所示，本发明第一实施例提供的视频跟踪方法包括：

步骤10：获取摄像机摄录的视频的视频帧图像序列，其中，视频为同时摄录、包含不同视角的视频。

注意，步骤10中限定的摄像机摄录的视频为同时摄录、包含不同视角的视频的具体含义包括两种：

第一种：视频为广角视频，即该广角视频包含了多个普通视频的不同视角，比如360°全景视频；

第二种：视频为拼接视频，该拼接视频为多个不用视角的普通视频拼接而成。

步骤20：将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数。

在步骤20中，通过对视频帧图像序列中的视频帧图像进行帧间差分运算以实现监测视频中的移动对象的目的。具体地，首先将相邻两视频帧图像或间隔一定帧数的两视频帧图像进行相减，从而得到两视频帧图像亮度差的绝对值以及该两视频帧图像之间存在亮度差的具体位置，最后根据得到的亮度差的绝对值与预设阈值进行比较，从而判断视频帧图像中是否存在移动对象，并通过依次对视频帧图像序列中的视频帧图像进行的差分运算分析所存在的移动对象的参数(包括但不限于运动轨迹、运动速度以及外形轮廓等参数)。

采用帧间差分运算方法来进行视频帧图像序列中移动对象的监测能够提高监测的精准度，并且对于移动对象的运动轨迹、运动速度以及外形轮廓等参数能够一并进行监测，监测数据全面，充分有利于后续的跟踪显示操作。此外，采用帧间差分运算方法能够使本发明实施例的视频跟踪方法占用较少的cpu运算量，并且使该视频运算方法具备较好的兼容性。

应当理解，在步骤20中，与得到视频帧图像的亮度差的绝对值进行比较的预设阈值可根据实际情况自行设定，以充分提高本发明实施例提供的视频跟踪方法的适应性，本发明实施例对此不作限定。

步骤30：根据获取的移动对象的参数跟踪显示移动对象。

在步骤30中，跟踪显示为呈现到客户端的显示，即根据移动对象的运动轨迹对应变换视频的显示视角，并按照适当的显示比例显示移动对象所处的显示视角内的图像画面。

实际应用过程中，首先获取摄像机摄录的视频的视频帧图像序列，然后将获取的视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数，最后根据获取的移动对象的参数跟踪显示该移动对象。

应当理解，本发明实施例提供的视频跟踪方法无需借助传统的与摄像机中的摄像头物理连接的电子云台便可实现对视频对象中的移动对象的侦测或跟踪，与借助于电子云台的传统摄像机相比，不存在由于电子云台的旋转速度影响而导致的滞后跟踪或无法跟踪等问题。

本发明第一实施例提供的视频跟踪方法应用于摄像机，通过获取摄像机摄录的视频的视频帧图像序列，其中视频为同时摄录、包含不同视角的视频，将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数，并根据获取的移动对象的参数跟踪显示该移动对象的方式，实现了摄像机对摄录视频中的移动对象的侦测或跟踪的目的。

应当理解，上述第一实施例中所提及的移动对象参数中包括移动对象的位置参数，该位置参数可以为基于视频建立的坐标系下的坐标参数，亦可以为基于视频视角的相对位置参数，以充分提高本发明实施例提供的视频跟踪方法的适应性。

在本发明一实施例中，所监测到的移动对象的数量为多个，此时可以由用户选择需要进行侦测或跟踪的移动对象，亦可以通过内部预先设定的跟踪规则自动排序多个移动对象的跟踪优先权，将优先权排名作为选择要跟踪的移动对象的数据基础，以实现根据所跟踪的移动对象变换视频的显示视角的目的。

注意，上述实施例中所提及的优先权排名方式可根据实际情况自行设定，本发明实施例对此不作统一限定。

应当理解，摄像机摄录的视频可以为一段广角视频(一般情况下的视角为150°以上)，亦可以为同时摄录的多段不同视角的视频(比如借助于多个鱼眼摄像头拍摄而成的多段同时摄录、不同视角的视频)。

图2所示为本发明第二实施例提供的视频跟踪方法的获取摄像机摄录的视频的视频帧图像序列步骤的流程示意图。在本发明第一实施例的基础上延伸出本发明第二实施例，本发明第二实施例与本发明第一实施例基本相同，下面着重叙述不同之处，相同之处不再赘述。

如图2所示，在本发明第二实施例中，摄录的视频为摄像机同时摄录、不同视角的多段视频，步骤10中包括：

步骤11：获取摄像机摄录的不同视角的视频。

步骤12：建立基准坐标系，将视频中同一时刻、不同视角的视频帧图像进行基于基准坐标系的拼接，生成拼接视频的视频帧图像序列。

应当理解，当摄录的视频为摄像机同时摄录、不同视角的多段视频时，该摄像机可以为具备多个处于不同视角的鱼眼摄像头的摄像机，亦可以为具备多个处于不同视角的普通摄像头的摄像机，本发明实施例对此不作统一限定。

实际拼接过程中，首先建立基准坐标系，然后将摄录的不同视角的视频的视频帧图像按照时间数据和坐标数据拼接。拼接过程中，对相邻视频帧图像的重合部分进行裁切和畸变矫正操作，从而使各个时刻的视频帧图像重新拼接形成具有较宽广的可视角度的视频帧图像，以及进一步形成拼接视频。

本发明第二实施例提供的视频跟踪方法通过当摄像机摄录的视频为同时摄录、不同视角的多段视频时，建立基准坐标系并对该多段视频进行基于基准坐标系的拼接，以生成拼接视频的视频帧图像序列，并对该拼接视频的视频帧图像序列进行差分运算以实现移动对象的跟踪显示的方式，实现了当摄像机摄录的视频为同时摄录、不同视角的多段视频时的视频跟踪，为不具备广角摄像头安装条件的应用场景提供了更多选择。

在本发明一实施例中，将形成的拼接视频发送到客户端或控制器进行显示，并且用户可以借助于客户端或控制器上设置的触屏显示器或控制按钮等改变所显示的拼接视频的可视角度，以便用户根据实际需要进行拼接视频的查看。

在本发明一实施例提供的视频跟踪方法的实际应用过程中，首先进行摄录视频操作，然后建立坐标系，利用差分运算监测视频中的移动对象，采集该移动对象的坐标数据和轮廓数据，根据采集的移动对象的相关数据跟踪显示该移动对象。

举例说明，设定移动对象为行人，摄像头的摄录范围包含a位置、b位置和c位置，并设定摄像头内部集成移动对象监测算法，摄像头摄录的视频通过网络传输到客户端，当该行人从a位置移动到b位置后继续移动到c位置时，摄像头已经摄录了行人从a位置移动到b位置后继续移动到c位置过程中的每一帧图像，此时摄像头监测到移动对象，并对该移动对象在每帧图像中的坐标数据和轮廓数据进行采集，而后将采集的移动对象的相关数据通过网络传输到客户端，客户端根据收到的移动对象的相关数据截取每帧图像的部分图像(即包含行人的图像)进行显示，从而最终实现移动对象的显示跟踪操作，即实现了摄像机的“数字云台”效果。

应当理解，上述实施例提及的移动对象监测算法可以集成到摄像头内部，亦可以集成到客户端，本发明实施例对此不作统一限定。

图3所示为本发明第三实施例提供的视频跟踪方法的流程示意图。在本发明第一实施例的基础上延伸出本发明第三实施例，本发明第三实施例与本发明第一实施例基本相同，下面着重叙述不同之处，相同之处不再赘述。

如图3所示，本发明第三实施例在第一实施例提供的视频跟踪方法的步骤30之后进一步包括：

步骤40：将视频进行分屏显示。

在本发明一实施例中，将同一时间段、同一视频的不同视角进行分屏显示，以便将视频中同一时间段、不同视角的视频内容展示给用户，方便用户快速掌握全局视频内容，提高了用户体验度。

在本发明一实施例中，将不同时间段、同一视角的视频进行分屏显示，以便将不同时间段、同一视角的视频内容展示给用户，方便用户快速对比分析视频内容，提高了用户体验度。

在本发明一实施例中，根据获取的移动对象的位置以及轮廓等参数将不同时刻包含该移动对象的视频视角进行分屏显示，以便用户能够更加清楚地观察移动对象的运动轨迹，从而方便后续的处理分析操作。

应当理解，分屏显示过程中具体分屏的数量、分屏显示的具体视频内容以及各分屏的尺寸等参数均可根据实际情况进行自由设定，本发明实施例对此不作限定。

本发明第三实施例提供的视频跟踪方法通过将视频按照实际需求进行分屏显示的方式，方便用户及时快速对比分析视频内容，并且能够方便用户对移动对象的运动轨迹的分析观察，从而更好地实现视频跟踪及后续操作。

在本发明一实施例中，所监测到的移动对象的数量为多个，此时可同时分别跟踪多个移动对象，并将分别跟踪的移动对象选择性的显示到各个分屏，以实现同时跟踪显示多个移动对象的目的，进一步提高本发明实施例提供的视频跟踪方法的适应性。

举例说明，设定移动对象为d、e、f三位行人，摄像头的摄录范围包含三位行人各自的移动区域，并设定摄像头内部集成移动对象监测算法，摄像头摄录的视频通过网络传输到客户端，当三位行人在各自的移动区域内移动时，摄像头已经摄录了三位行人在每帧图像内的坐标数据和轮廓数据，并将该三位行人的相关数据通过网络传输到客户端，客户端根据接收的三位行人的相关数据截取每帧图像的部分图像(即包含行人的图像)进行显示。显示过程中，客户端可以将显示屏幕分成三屏从而分别独立显示d、e、f三位行人的运动轨迹，亦可以根据用户的实际需求选择显示某一位或某两位行人的运动轨迹。

应当理解，具体的分屏数量以及跟踪显示的移动对象数量可根据用户的实际需求自行设定，本发明实施例对此不作统一限定。

在本发明一实施例中，用户可以通过滑动屏幕操作或物理按钮控制操作实现全屏和分屏之间的切换和显示视角的变换，具体的操作控制方式可根据实际需求自行设定，本发明实施例不作限定。

图4所示为本发明第四实施例提供的视频跟踪系统的结构示意图。如图4所示，本发明第四实施例提供的视频跟踪系统包括：

视频帧图像序列获取模块100，用于获取摄像机摄录的视频的视频帧图像序列，其中，视频为同时摄录、包含不同视角的视频。

移动对象参数获取模块200，用于将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数。

移动对象跟踪显示模块300，用于根据获取的移动对象的参数跟踪显示移动对象。

图5所示为本发明第五实施例提供的视频跟踪系统中视频帧图像序列获取模块的结构示意图。如图5所示，本发明第五实施例提供的视频跟踪系统中视频帧图像序列获取模块100中包括：

多视角视频获取单元110，用于当摄录的视频为摄像机同时摄录、不同视角的多段视频时，获取摄像机摄录的多段视频。

视频帧图像序列生成单元120，用于建立基准坐标系，将视频中同一时刻、不同视角的视频帧图像进行基于基准坐标系的拼接，生成拼接视频的视频帧图像序列。

图6所示为本发明第六实施例提供的视频跟踪系统的结构示意图。在本发明第四实施例的基础上延伸出本发明第六实施例，本发明第六实施例与本发明第四实施例基本相同，下面着重叙述不同之处，相同之处不再赘述。

如图6所示，本发明第六实施例在第四实施例提供的视频跟踪系统中进一步包括：

分屏显示模块400，用于将视频进行分屏显示。

本发明一实施例提供一种摄像机，该摄像机包括能够同时摄录不同视角的摄像头，还包括与摄像头连接的控制器，该控制器用于获取摄像机摄录的视频的视频帧图像序列，其中视频为同时摄录、包含不同视角的视频；将视频帧图像序列中的视频帧图像进行差分运算以获取视频中移动对象的参数；根据获取的移动对象的参数跟踪显示移动对象。

在本发明一实施例中，摄像机的控制器设置在客户端侧，摄像头设置在需要摄录视频的地点。也就是说，本发明实施例提供的摄像机的摄像头侧不受电子云台等机械结构限制，也即不存在电子云台的旋转速度快慢等条件限制，充分借助于控制器内的应用程序和硬件来实现摄像机的移动对象监测与跟踪等功能，即实现了摄像机的“数字云台”功能，从而克服了电子云台的旋转速度、安装空间方面的诸多缺陷。

此外，由于本发明上述实施例提供的摄像机中的摄像头摄录的是可视角度较宽广的视频(甚至是水平360°和垂直360°无死角的全景视频)，因此，用户在实际应用过程中可随时回看任意视角的视频图像，而现有的电子云台摄像机摄录的仅仅是某一视角下的局部视频，因此不能实现回看任意视角的视频图像的目的，也就无法更好地实现对视频中移动对象的监测与跟踪。

在本发明一实施例中，摄像机的摄像头与控制器之间的连接方式为电连接、无线连接中的至少一种。

在本发明一实施例中，还提供一种终端，该终端包括摄像头、处理器、存储器及存储在存储器上并可在处理器上运行的视频跟踪程序，该视频跟踪程序被处理器执行时实现上述任一项实施例所描述的视频跟踪方法的步骤。

在本发明一实施例中，还提供一种计算机可读存储介质，计算机可读存储介质上存储有视频跟踪程序，该视频跟踪程序被处理器执行时实现上述任一项实施例所描述的视频跟踪方法的步骤。该计算机存储介质可以为任何有形媒介，例如软盘、cd-rom、dvd、硬盘驱动器、甚至网络介质等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。