图像处理方法及装置的制造方法
【技术领域】
[0001]本发明涉及图像处理技术，尤其涉及一种图像处理方法及装置。
【背景技术】
[0002]随着视频监控系统的技术飞速发展，视频监控已经成为国家机关、企事业单位以及民用住宅安全防护及家庭娱乐交流的重要技术手段。传统的视频监控主要依赖于人工监看，人工切换监控视角。随着计算机性能的提高和图像处理技术的发展，智能视频监控表现出报警主动性强、可长时间工作、人力成本低等突出优点，逐渐成为发展的趋势。
[0003]由于摄像角度限制，往往一个摄像头只能监控一个方向，想要监控各个方向情况，就需要布设多个摄像头利用中央控制系统计算分析各个摄像头情况或者采用带有智能系统的云台摄像机。布设多个摄像头的中央控制系统综合分析各个摄像头监控情况，容易出现错误。带有智能系统的云台摄像机虽然可跟踪目标对象，但对多个目标对象监控无能为力且目标对象移动不规律或者太快就难以实现跟踪。
[0004]上述的云台摄像机就是带有云台的摄像机，带有承载摄像机进行水平和垂直两个方向转动的装置，把摄像机装云台上能使摄像机从多个角度进行摄像，云台镜头控制系统主要由云台和控制器组成，布设多个摄像头，利用中央控制系统计算分析各个摄像头情况进行切换追踪监控或者使用采用带有智能系统的云台摄像机进行追踪监控。
[0005]但是，布设多个摄像头利用中央控制系统计算分析各个摄像头情况进行追踪监控，容易出现错误；而带有智能系统的云台摄像机虽然可跟踪目标对象，但对多个目标对象监控无能为力，并且当目标对象移动不规律或者移动太快时就难以实现实时跟踪。
【发明内容】
[0006]本发明实施例提供一种图像处理方法及装置，能够对多个目标对象进行精确实时监控跟踪。
[0007]本发明实施例的技术方案是这样实现的:
[0008]本发明实施例提供一种图像处理方法，所述方法包括:
[0009]基于至少两路帧图像流进行合成操作，得到对应所述环境的全景帧图像流；
[0010]解析针对所述全景帧图像流的第一操作，得到所述第一操作在所述全景帧图像流中所指示的目标区域；
[0011]在所述全景帧图像流的目标区域承载的对象中选取目标对象，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置；
[0012]基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。
[0013]本发明实施例提供一种一种图像处理装置，所述装置包括:
[0014]合成单元，用于基于至少两路帧图像流进行合成操作，得到对应所述环境的全景帧图像流；
[0015]解析单元，用于解析针对所述全景帧图像流的第一操作，得到所述第一操作在所述全景帧图像流中所指示的目标区域；
[0016]检测单元，用于在所述全景帧图像流的目标区域承载的对象中选取目标对象，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置；
[0017]分割单元，用于基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。
[0018]本发明实施例中，基于全景帧图像流生成以目标对象所处区域为中心区域的全景帧图像流，实现了对环境中目标对象的实时监控(检测)；并且，目标对象的监控是以全景帧图像流的形式呈现的，能够实现对目标对象全角度多方位的监控，克服了相关技术仅能够从单一视角对目标对象进行监控的缺陷；并且，目标对象的位置是基于全景帧图像流处理得到，只要目标对象处于环境中，不管目标对象的数量如何打、目标对象的移动如何复杂，总是会稳定输出承载有目标对象全景帧图像流，较相关技术布设多个摄像头利用中央控制系统计算分析各个摄像头情况进行追踪监控，容易出现错误；而带有智能系统的云台摄像机虽然可跟踪目标对象，克服了相关技术对多个目标对象监控无能为力，并且当目标对象移动不规律或者移动太快时就难以实现实时跟踪的缺陷。
【附图说明】
[0019]图1是本发明实施例中图像处理方法的实现流程图一；
[0020]图2是本发明实施例中图像处理的实现场景示意图一；
[0021]图3是本发明实施例中图像处理的实现场景示意图二 ；
[0022]图4是本发明实施例中选取目标区域的示意图一；
[0023]图5是本发明实施例中选取目标区域的示意图二 ；
[0024]图6是本发明实施例中选取目标区域的示意图三；
[0025]图7是本发明实施例中选取目标对象的示意图一；
[0026]图8是本发明实施例中选取目标对象的示意图二 ；
[0027]图9是本发明实施例中选取目标对象的示意图三；
[0028]图10是本发明实施例中呈现目标对象对应的全景帧图像流的示意图；
[0029]图11是本发明实施例中图像处理方法的实现流程图二 ；
[0030]图12是本发明实施例中图像处理方法的实现流程图三；
[0031]图13是本发明实施例中图像处理方法的实现流程图四；
[0032]图14是本发明实施例中图像处理方法的实现流程图五；
[0033]图15是本发明实施例中图像处理装置的结构示意图。
【具体实施方式】
[0034]以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0035]本发明实施例记载一种图像处理方法，如图1所示，包括以下步骤:
[0036]步骤101，基于至少两路帧图像流进行合成操作，得到对应所述环境的全景帧图像流。
[0037]环境中设置有至少两个图像采集装置(如摄像机)，每个图像采集装置以特定采集方向对环境进行采集并输出一路帧图像流，由于需要得到对应环境的360度视角的全景帧图像流，因此环境中设置的图像采集装置的采集方向不完全相同。
[0038]在图2的示例中，环境中设置有两个图像采集装置，图像采集装置的采集方向相对，每个图像采集装置基于各自的采集方向独立对环境进行图像采集并输出一路帧图像流，图像处理装置(可以服务器或服务器集群实现，示例仅示出一台服务器)基于两路帧图像流进行合成，也即对两路帧图像流中相同时刻的帧图像进行拼接，从而得到环境的全景帧图像流。
[0039]为更加全面呈现环境中的对象，如图3所示，环境中可以设置四个图像采集装置，每个图像采集装置的采集方向不同，每个图像采集装置基于各自特定的采集方向采集图像并输出一路帧图像流，图像处理装置提取基于四路帧图像流中的采集时刻相同的帧图像，并将相同采集时刻的帧图像合成，从而得到环境的全景帧图像流，这里的全景帧图像流能够表征环境时间轴上不同时刻的全景图像特征，包括静态图像特征和动态图像特征。
[0040]本实施例中对环境中设置的图像采集装置的具体数量(至少需要两个)，举例来书，当环境的范围较大，或环境中的结构复杂(如多层楼房结构)时，通常需要设置较多的图像采集装置，环境中设置的图像采集装置的数量还可以基于图像采集装置的有效视距来确定，例如方圆10米的环境，至少需要设置两个有效视距为5米的图像采集装置。
[0041]步骤102，解析针对所述全景帧图像的第一操作，得到所述第一操作在所述全景帧图像流中所指示的目标区域。
[0042]图像处理装置可以通过具有显示能力的终端(如手机、笔记本电脑、视频监视器等)显示环境的全景帧图像流，并检测指示目标区域(可以视为监控区域)的操作(也即第一操作，可以为语音、触控、鼠标等方式操作)。
[0043]如图4所示，以第一操作为触控操作为例，当终端显示有环境的全景帧图像流时，用户可以在期望监控的区域实施目标区域选取操作，如在终端显示屏幕上画出曲线(封闭或部分封闭)作为目标区域，目标区域中承载有对象，如人、物体等；
[0044]或者，图像处理装置可以在呈现环境的全景帧图像流时呈现一提示目标区域，当未检测到用户实施的操作(第一操作)时，提示目标区域可以默认作为目标区域；当检测到用户实施的操作(第一操作)时，如图5和图6所示，还可以基于用户调整提示目标区域的操作，调整提示目标区域的大小和位置，将调整后的提示目标区域作为目标区域。
[0045]图4和图5以解析出第一操作指示一个目标区域为例进行说明，作为另一个示例，基于解析第一操作，可以解析出第一操作在终端显示的全景帧图像流中指示的多个(两个或以上)目标区域，也就是说，用户可以对终端呈现的全景帧图像流实施操作(第一操作)以指示多个需要监控的目标区域，每个目标区域中承载对象如人、物体等。
[0046]如图6所示，用户可以通过在呈现全景帧图像流的终端显示界面中实施操作(第一操作)选取两个目标区域，每个目标区域中均承载有对象如人、物体等。
[0047]步骤103，在所述全景帧图像的目标区域承载的对象中选取目标对象，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置。
[0048]如图7所示，目标区域中承载有多个对象如人、物体等，这就有必要确定目标区域中需要监控的目标对象，用于在通过操作(第一操作)指示目标区域轴，可以在目标区域继续实施操作(第二操作)指示目标对象；或者，图像处理装置可以基于用户通过操作(第一操作)指示的目标区域在目标区域中自动识别目标对象(也即需要监控的对象)；下面就上述两种情况分别进行说明。
[0049]I)用户手动选取目标对象
[0050]如图8所示，图像处理装置将合成的全景帧图像流发送至终端显示界面进行显示，用户首先通过第一操作指示了目标区域；图像处理装置对目标区域内的