图像处理方法、图像处理装置和监视系统的制作方法
【技术领域】
[0001]本申请一般涉及监视领域，更具体地，涉及用于包括多个摄像装置的监视系统的图像处理方法和图像处理装置，以及监视系统。
【背景技术】
[0002]视频监视系统可以应用视频摘要技术，视频摘要是监视系统获得的视频内容的概要。例如，可以通过运动目标分析等手段，提取包含运动目标的片段，以对原始视频进行浓缩。利用视频摘要，能够快速了解监视系统获得的视频的内容，例如浏览监视区域中出现的对象或事件等。
【发明内容】
[0003]在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0004]根据本公开的一个方面，提供一种用于包括多个摄像装置的监视系统的图像处理方法。该方法包括以下步骤:从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧；对于每个所提取的关键帧，确定监视区域与关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与关键帧同时刻的相应视频帧；将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧；以及生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。
[0005]根据本公开的另一个方面，提供一种用于包括多个摄像装置的监视系统的图像处理装置。该装置包括关键帧提取单元、相应帧获取单元、帧融合单元以及视频摘要生成单元。关键帧提取单元被配置为从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧。相应帧获取单元被配置为对于每个所提取的关键帧，确定监视区域与关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与关键帧同时刻的相应视频帧。帧融合单元被配置为将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧。视频摘要生成单元被配置为生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。
[0006]本公开的方面还包括监视系统，该监视系统包括根据本公开的实施例的图像处理
目.ο
[0007]根据本公开的实施例，通过多个摄像装置的监视结果的融合，提供更大范围的全景视频摘要，使得能够更全面地提供对监视区域内的对象或事件的监视。
【附图说明】
[0008]本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
[0009]图1是示出根据一个实施的图像处理方法的过程示例的流程图；
[0010]图2是示出根据一个实施例的图像处理方法中生成全景关键帧的过程示例的流程图；
[0011]图3是示出根据一个实施例的图像处理装置的配置示例的框图；
[0012]图4是示出根据一个实施例的图像处理装置中的帧融合单元的配置示例的框图；
[0013]图5是示出根据一个实施例的监视系统的配置示例的框图；以及
[0014]图6是示出实现本申请的方法和设备的计算机的示例性结构的框图。
【具体实施方式】
[0015]下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
[0016]本公开的一个实施例是用于包括多个摄像装置的监视系统的图像处理方法。其中，摄像装置可以包括固定摄像装置或可移动摄像装置。
[0017]在本文中，“固定摄像装置”是指位置固定的摄像装置，“可移动摄像装置”是指位置可移动的摄像装置。固定摄像装置例如可以包括本领域熟知的固定摄像头，其被固定在监视区域处的固定设施例如墙体、电线杆等。需要指出的是，虽然被称为固定摄像装置，但其仍然可以具有一定的自由度，例如可以改变其拍摄角度、焦距等，相应地，其可以具有不同的拍摄区域。可移动摄像装置可以不被固定在固定的设施上，因此除了拍摄角度、焦距等自由度外，还可以根据需要改变其位置。根据具体应用，可移动摄像装置可以包括多种具有摄像功能的可移动设备。例如，可移动摄像装置可以是摄像机、移动电话、可穿戴电子设备如智能眼镜等，其由特定人员持有或佩戴，并随着该人员移动以起到可移动摄像装置的作用。此外，可移动摄像装置也可以包括例如设置有摄像装置的可移动设备，例如本领域已知的远程监控机器人等，其能够根据控制信号，通过驱动机制如轮或轨道等进行移动。
[0018]如图1所示，在步骤S110，从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧。
[0019]关键帧是指对视频的内容具有代表性的一个或者多个帧，其可以是对应于视频中较特殊的事件的帧。其中，多个帧可以包括时间上不连续的多个帧，也可以包括时间上连续的帧序列(视频片段)。换句话说，本文中提到的关键帧可以包括单个帧、多个时间上不连续的帧、视频片段或者多段视频片段。
[0020]可以采用本领域已知的多种方法进行关键帧提取，例如基于镜头边界的方法、基于帧图像信息的方法、基于运动分析的方法和基于聚类的方法等。(例如参见“基于RoughSet与SVM的关键帧提取方法”，韩加亮、吴渝，计算机应用与软件，第29卷第6期，2012 年 6 月)。
[0021]接下来，仅作为示例，简要描述一种基于场景的关键帧提取过程。
[0022]对于监视系统中的某个摄像装置，首先可以将其拍摄的视频分成若干个场景，其中每个场景由一系列时间上连续的视频序列构成。
[0023]可以通过基于颜色、纹理、边缘或者运动特征等的分析来进行场景的分割。例如，可以通过提取各视频帧的主要颜色，根据各帧之间的相似度来进行聚类的方法得到各个场旦
ο
[0024]具体地，以基于颜色的场景分割方式为例，可以首先计算每帧的颜色空间值，颜色空间例如可以包括RBG、YCbCr、HSV、HMMD等类型。对于某个视频帧，可以根据其在颜色空间中的参数值进行矢量化，计算归一化后的颜色直方图，得到每种颜色占整幅图象的百分比，可以将百分比最大的颜色确定为该帧的主颜色。可以通过聚类将视频中一系列连续的帧分成若干个连续的序列，其中每个序列对应于一个场景。
[0025]在将视频分成若干场景之后，可以针对每个场景确定其中的关键帧。其中，可以通过视频的图像特征或声音特征或两者的组合来确定关键帧。
[0026]具体地，例如可以根据图像特征，例如