多运动目标捕捉与跟踪设备的制造方法

多运动目标捕捉与跟踪设备的制造方法
【专利摘要】本实用新型提供了多运动目标捕捉与跟踪设备，该设备包括：全景图像采集器，与全景图像采集器电连接的控制器，与控制器分别电连接的多个分镜摄像系统；与多个分镜摄像系统电连接的图像处理器，多个分镜摄像系统分别设置于全景图像采集器的采集区域内的指定位置；全景图像采集器向控制器传输采集到的全景环境图像；控制器用于接收全景环境图像，向分镜摄像系统发送运动目标跟踪指令；分镜摄像系统用于接收运动目标跟踪指令，在镜头指向不变时捕捉并跟踪多个待跟踪运动目标。本实用新型在保持拍摄镜头指向不变的情况下通过光线反射原理进行多个运动目标的捕捉与跟踪，避免机械调节镜头方向调节速度慢的问题，提高了多个运动目标的捕捉跟踪速度。
【专利说明】
多运动目标捕捉与跟踪设备
技术领域
[0001] 本实用新型涉及光学设备领域，尤其涉及多运动目标捕捉与跟踪设备。
【背景技术】
[0002] 多运动目标捕捉与跟踪是当前计算机视觉领域的研究热点，多运动目标捕捉与跟 踪是指利用计算机在视频序列中确定感兴趣的、具有某种显著特征的多个独立运动目标的 位置、大小、以及各个运动目标完整的运动轨迹。近年来，随着计算机数据处理能力的飞速 增长、以及图像分析技术的发展，运动目标的实时捕捉与跟踪技术脱颖而出。对多个运动目 标进行实时捕捉与跟踪，在视频监控、视频压缩编码、机器人导航与定位、智能人机交互以 及虚拟现实等领域有着重要的实用价值。
[0003] 现有技术提供了多运动目标的捕捉与跟踪设备，该设备包括控制器，与控制器电 连接的云台摄像机。该设备的工作原理是:通过云台摄像机获取运动目标的图像并传输至 控制器，控制器对接收到的图像进行运动目标检测与跟踪，确定需要跟踪的多个运动目标， 向云台摄像机发送控制指令，云台摄像机接收控制指令后，在控制指令的控制下调节镜头 的拍摄方向，对需要跟踪的多个运动目标进行跟踪拍摄。
[0004] 现有技术中，利用云台摄像机对多个运动目标进行跟踪拍摄，由于多个运动目标 的位置动态变化，因此云台摄像机需要及时调节镜头方向。然而，云台摄像机采用机械转动 的方式调节镜头方向，具有调节速度慢的缺陷，导致对多个运动目标的捕捉跟踪速度降低。 【实用新型内容】
[0005] 本实用新型提供了多运动目标捕捉与跟踪设备，能够在保持拍摄镜头指向不变的 情况下通过光线反射原理进行运动目标的捕捉与跟踪，避免机械调节镜头方向调节速度慢 的问题，提高了多个运动目标的捕捉跟踪速度。
[0006] 第一方面，本实用新型实施例提供了一种多运动目标捕捉与跟踪设备，包括:全景 图像采集器，与所述全景图像采集器电连接的控制器，与所述控制器分别电连接的多个分 镜摄像系统；与多个所述分镜摄像系统电连接的图像处理器，多个所述分镜摄像系统分别 设置于所述全景图像采集器的采集区域内的指定位置;所述全景图像采集器用于采集全景 环境图像，将所述全景环境图像传输至所述控制器;所述控制器用于接收所述全景环境图 像，向所述分镜摄像系统发送运动目标跟踪指令;所述分镜摄像系统用于接收所述运动目 标跟踪指令，在镜头指向不变时捕捉并跟踪多个待跟踪运动目标，获取多个所述待跟踪运 动目标的图像并传输至所述图像处理器;所述图像处理器用于接收多个所述待跟踪运动目 标的图像，对所述图像进行分拣处理，生成与各个所述待跟踪运动目标一一对应的运动轨 迹视频。
[0007] 结合第一方面，本实用新型实施例提供了第一方面第一种可能的实施方式，其中， 所述控制器包括相互电连接的GPU(Graphic Processing Unit，图形处理器）和CPU (Central Processing Unit，中央处理器）；所述CPU与所述全景图像采集器电连接，用于接 收所述全景环境图像的当前帧图像，将所述当前帧图像传输给所述GPU;所述GPU用于接收 所述当前帧图像，向所述CPU发送所述当前帧图像中各个运动目标的图像特征;所述CPU分 别与多个所述分镜摄像系统电连接，用于接收各个所述运动目标的图像特征，向所述分镜 摄像系统发送运动目标跟踪指令。
[0008] 结合第一方面，本实用新型实施例提供了第一方面第二种可能的实施方式，其中， 所述图像处理器包括用于显示各个运动轨迹视频的显示屏，以及在各个所述运动轨迹视频 之间切换的切换按键。
[0009] 结合第一方面，本实用新型实施例提供了第一方面第三种可能的实施方式，其中， 所述图像处理器包括打印机接口和USB(Universal Serial Bus，通用串行总线)接口；通过 所述打印机接口连接打印机，向打印机发送待打印的运动轨迹图像;通过所述USB接口外接 电子设备，向所述电子设备传输所述运动轨迹视频。
[0010] 结合第一方面，本实用新型实施例提供了第一方面第四种可能的实施方式，其中， 所述分镜摄像系统包括声光调制器和高清摄像头;所述声光调制器与所述控制器电连接， 接收所述运动目标跟踪指令，对来自所述待跟踪运动目标的光线进行反射，将所述光线反 射至所述高清摄像头内；所述高清摄像头与所述控制器电连接，接收所述运动目标跟踪指 令，在镜头指向不变时对所述待跟踪运动目标进行拍摄。
[0011] 结合第一方面第四种可能的实施方式，本实用新型实施例提供了第一方面第五种 可能的实施方式，其中，所述声光调制器包括纵向声光调制器和横向声光调制器，所述纵向 声光调制器、所述横向声光调制器和所述高清摄像头依次排列，所述纵向声光调制器和所 述横向声光调制器分别与所述控制器电连接;所述纵向声光调制器接收所述运动目标跟踪 指令，将来自所述待跟踪运动目标的光线纵向反射至所述横向声光调制器;所述横向声光 调制器接收所述运动目标跟踪指令，将所述纵向反射后的光线横向反射至所述高清摄像头 内。
[0012] 结合第一方面第五种可能的实施方式，本实用新型实施例提供了第一方面第六种 可能的实施方式，其中，所述分镜摄像系统还包括液晶透镜，所述纵向声光调制器、所述横 向声光调制器、所述液晶透镜和所述高清摄像头依次排列;所述液晶透镜与所述控制器电 连接;所述液晶透镜接收所述运动目标跟踪指令，进行焦距调节;所述横向反射后的光线穿 过所述液晶透镜进入所述高清摄像头。
[0013] 结合第一方面第四种可能的实施方式，本实用新型实施例提供了第一方面第七种 可能的实施方式，其中，所述声光调制器包括横向声光调制器和纵向声光调制器，所述分镜 摄像系统还包括液晶透镜，所述横向声光调制器、所述纵向声光调制器、所述液晶透镜和所 述高清摄像头依次排列;所述横向声光调制器、所述纵向声光调制器和所述液晶透镜分别 与所述控制器电连接。
[0014] 结合第一方面第六种可能的实施方式，本实用新型实施例提供了第一方面第八种 可能的实施方式，其中，所述分镜摄像系统还包括液晶透镜安装架、高清摄像头安装架、横 向声光调制器安装架和纵向声光调制器安装架;所述液晶透镜安装架、所述高清摄像头安 装架、所述横向声光调制器安装架和所述纵向声光调制器安装架上分别设置有调节元件； 通过所述调节元件分别调节所述液晶透镜、所述高清摄像头、所述横向声光调制器和所述 纵向声光调制器的安装位置。
[0015] 结合第一方面上述实施方式，本实用新型实施例提供了第一方面第九种可能的实 施方式，其中，所述全景图像采集器包括CMOS全景高清1080P摄像机。
[0016] 本实用新型实施例中，全景图像采集器和分镜摄像系统分别与控制器电连接，分 镜摄像系统还与图像处理器电连接。分镜摄像系统对来自待跟踪运动目标的光线进行反 射，利用光线反射原理在镜头指向不变时捕捉并跟踪多个待跟踪运动目标。由于捕捉并跟 踪多个待跟踪运动目标时镜头指向不需要改变，因此本实施例中的设备能够提高多个运动 目标的捕捉跟踪速度，避免现有技术中机械调节镜头方向调节速度慢的问题。
【附图说明】
[0017] 为了更清楚地说明本实用新型实施例的技术方案，下面将对实施例中所需要使用 的附图作简单地介绍，应当理解，以下附图仅示出了本实用新型的某些实施例，因此不应被 看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可 以根据这些附图获得其他相关的附图。
[0018] 图1示出本实用新型第一实施例所提供的多运动目标捕捉与跟踪设备的一种结构 示意图；
[0019] 图2示出本实用新型第一实施例所提供的多运动目标捕捉与跟踪设备的另一种结 构示意图；
[0020] 图3示出本实用新型第一实施例所提供的分镜摄像系统的一种结构示意图；
[0021] 图4示出本实用新型第一实施例所提供的分镜摄像系统的另一种结构示意图；
[0022] 图5示出本实用新型第一实施例所提供的图像处理算法的流程示意图；
[0023] 图6示出本实用新型第二实施例所提供的多运动目标捕捉与跟踪方法的流程示意 图。
【具体实施方式】
[0024] 为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新 型实施例中附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述 的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。通常在此处附图中描述 和示出的本实用新型实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在 附图中提供的本实用新型的实施例的详细描述并非旨在限制要求保护的本实用新型的范 围，而是仅仅表示本实用新型的选定实施例。基于本实用新型的实施例，本领域技术人员在 没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本实用新型保护的范围。 [0025]考虑到现有技术中利用云台摄像机对多个运动目标进行跟踪拍摄，云台摄像机采 用机械转动的方式调节镜头方向，具有调节速度慢的缺陷，导致对多个运动目标的捕捉跟 踪速度降低，本实用新型提供了多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方 法，下面结合实施例进行具体描述。
[0026] 实施例一
[0027]图1示出本实用新型第一实施例所提供的多运动目标捕捉与跟踪设备的一种结构 示意图。如图1所示，本实施例中的多运动目标捕捉与跟踪设备1包括：
[0028]全景图像采集器10,与全景图像采集器10电连接的控制器20,与控制器20分别电 连接的多个分镜摄像系统30;与多个分镜摄像系统30电连接的图像处理器40;多个分镜摄 像系统30分别设置于全景图像采集器10的采集区域内的指定位置；
[0029] 全景图像采集器10用于采集全景环境图像，将全景环境图像传输至控制器20; [0030]控制器20用于接收全景环境图像，向分镜摄像系统30发送运动目标跟踪指令； [0031]分镜摄像系统30用于接收运动目标跟踪指令，在镜头指向不变时捕捉并跟踪多个 待跟踪运动目标，获取多个待跟踪运动目标的图像并传输至图像处理器40;
[0032]图像处理器40用于接收多个待跟踪运动目标的图像，对该图像进行分拣处理，生 成与各个待跟踪运动目标--对应的运动轨迹视频。
[0033]本实用新型实施例中，全景图像采集器10和分镜摄像系统30分别与控制器20电连 接，分镜摄像系统30还与图像处理器40电连接。分镜摄像系统30对来自待跟踪运动目标的 光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪多个待跟踪运动目标。由 于捕捉并跟踪多个待跟踪运动目标时镜头指向不需要改变，因此本实施例中的设备能够提 高多个运动目标的捕捉跟踪速度，避免现有技术中机械调节镜头方向调节速度慢的问题。
[0034] 上述控制器20具体用于接收全景环境图像，根据全景环境图像确定多个待跟踪运 动目标和各个待跟踪运动目标的位置;根据各个待跟踪运动目标的位置生成一一对应的运 动目标跟踪指令;确定与各个待跟踪运动目标的位置分别对应的分镜摄像系统30;将生成 的各个运动目标跟踪指令分别对应传输至确定的分镜摄像系统30;
[0035] 上述分镜摄像系统30具体用于接收运动目标跟踪指令，根据运动目标跟踪指令对 来自对应的待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并 跟踪对应的待跟踪运动目标，获取对应的待跟踪运动目标的图像并传输至图像处理器40。
[0036] 本实施例中，全景图像采集器10的采集区域被分割成若干子区域，每个子区域都 标定坐标，各个子区域都对应设置一个分镜摄像系统30。当待跟踪运动目标位于某一子区 域内时，通过该子区域内的分镜摄像系统30进行待跟踪运动目标的捕捉与跟踪。
[0037] 表 1
[0039] 表1示出了控制器20接收到全景环境图像之后，对全景环境图像进行分析后得到 的多个待跟踪运动目标、各个待跟踪运动目标的位置、与各个待跟踪运动目标--对应的 运动目标跟踪指令、与各个待跟踪运动目标的位置分别对应的分镜摄像系统的一种表格示 意。如表1所示，控制器为了对1、2、3号目标进行捕捉与跟踪，将1号运动目标跟踪指令发送 至位于3号子区域的3号分镜摄像系统，将2号运动目标跟踪指令发送至位于1号子区域的1 号分镜摄像系统，将3号运动目标跟踪指令发送至位于2号子区域的2号分镜摄像系统。通过 表1能够看出，控制器20能够针对每个待跟踪运动目标生成对应的运动目标跟踪指令，并发 送至对应的分镜摄像系统30，因此本实施例中的设备能够捕捉并跟踪多个待跟踪运动目 标。
[0040] 由于捕捉并跟踪多个待跟踪运动目标时，与各个待跟踪运动目标对应的分镜摄像 系统30均会向图像处理器40传输回对应的待跟踪运动目标的图像，这些图像是混合在一起 的，无法区分各个待跟踪运动目标，因此图像处理器40还对各个分镜摄像系统30传输回的 图像进行分拣处理，将各个待跟踪运动目标的图像单独分拣出来，生成与各个待跟踪运动 目标--对应的运动轨迹视频文件，从而记录每个待跟踪运动目标的运动轨迹。
[0041] 本实施例中，全景图像采集器10安装在预设位置。全景图像采集器10优选采用 CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）全景高清 1080P摄像机，CMOS全景高清1080P摄像机以每秒25帧的速率将分辨率为1080P(1920X 1080)的视频流图像以1000Mbps的速率通过网络线缆实时传输至控制器20。现有技术中采 用的视频流分辨率一般是VGA(video graphics array，视频图形阵列）（640X480)，很少能 达到720P(1280 X 720)。与现有技术相比，本实施例中通过CMOS全景高清1080P摄像机能够 获取到清晰度高的全景环境图像，从而提高后续图像分析处理的准确性，并且，视频分辨率 的提高能使控制器20处理的细节更多，提高对体积较小或距离较远的运动目标的检测成功 率。
[0042]图2示出本实用新型第一实施例所提供的多运动目标捕捉与跟踪设备的另一种结 构示意图。图2中，以一个分镜摄像系统30为例进行描述。如图2所示，本实施例中，控制器20 包括相互电连接的GPU21和CPU22;CPU22与全景图像采集器10电连接，用于接收全景环境图 像的当前帧图像，将当前帧图像传输给GPU21;GPU21用于接收当前帧图像，向CPU22发送当 前帧图像中各个运动目标的图像特征;CPU22分别与多个分镜摄像系统电连接，用于接收各 个运动目标的图像特征，向分镜摄像系统30发送运动目标跟踪指令。
[0043]具体地，GPU21具体用于对当前帧图像进行运动目标检测，得到当前帧图像中各个 运动目标的图像特征并发送至CPU22 ;其中，运动目标的图像特征包括运动目标的图像坐 标、颜色特征和纹理特征。CPU22分别与多个分镜摄像系统30电连接，具体用于接收各个运 动目标的图像特征，将各个运动目标的图像特征分别融合，并与预先存储的图像特征进行 匹配，根据特征匹配结果对当前帧图像中的各个运动目标进行筛选，确定多个待跟踪运动 目标和各个待跟踪运动目标的空间坐标;根据各个待跟踪运动目标的空间坐标生成一一对 应的运动目标跟踪指令;确定与各个待跟踪运动目标的空间坐标分别对应的分镜摄像系统 30;将生成的各个运动目标跟踪指令分别对应传输至确定的分镜摄像系统30。
[0044]上述GPU21对当前帧图像进行运动目标检测，得到当前帧图像中各个运动目标的 图像特征并发送至CPU22的具体过程是:GPU21对当前帧图像进行预处理，该预处理包括解 码和/或去噪;采用混合高斯进行背景建模，生成预设数量的背景模型;根据预设数量的背 景模型对预处理后的当前帧图像进行运动目标检测，得到当前帧图像中各个运动目标的图 像特征并发送至CPU22。
[0045]具体地，GPU21对当前帧图像解码，或者对当前帧图像进行去噪，或者对当前帧图 像进行解码和去噪处理。GPU21采用混合高斯进行背景建模，生成5-7个背景模型。GPU21根 据5-7个背景模型对预处理后的当前帧图像进行运动目标检测，从当前帧图像中剔除背景 图像，得到当前帧图像中各个运动目标以及当前帧图像中各个运动目标的图像特征，并将 当前帧图像中各个运动目标的图像特征发送至CPU22。与现有技术相比，本实施例中GPU21 采用5-7个模型建立稳定背景，更大的计算规模导致运动前景与背景分割准确度的提高，而 GPU21并行计算特性保证大量计算的实时完成。
[0046]通过GPU21对当前帧图像进行运动目标检测，能够从当前帧图像中检测得到多个 运动目标，以及多个运动目标各自的图像坐标、颜色特征和纹理特征，其中颜色特征能够通 过颜色直方图表示，纹理特征能够通过局部旋转不变纹理、梯度直方图表示。GPU21将多个 运动目标各自的图像坐标、颜色特征和纹理特征发送至CPU22。
[0047]本实施例中，GPU21将对高清晰度数字图像的处理过程划分成小矩阵块分配到上 千个计算单元和处理线程中同时进行，极大地提高了处理速度。GHJ21利用内嵌的运动目标 与特征检测算法将图像中的大部分无用信息过滤掉，保留有效信息，即当前帧图像中多个 运动目标的图像特征，仅将数据规模很小的有效信息传输给CPU22。
[0048] CPU22接收各个运动目标各自的图像坐标、颜色特征和纹理特征，对于每个运动目 标，将其各自的图像坐标、颜色特征和纹理特征进行融合，并将融合后的特征与预先存储的 图像特征进行匹配，若匹配成功，则确定该融合后的特征对应的运动目标为待跟踪运动目 标，并将该融合后的特征存储在内存中，作为下一帧匹配计算的模板。CPU22还确定待跟踪 运动目标的图像坐标，将该图像坐标转换为空间坐标，根据待跟踪运动目标的空间坐标生 成运动目标跟踪指令，并根据待跟踪运动目标的空间坐标确定与其对应的分镜摄像系统 30,将生成的运动目标跟踪指令传输至确定的分镜摄像系统30。本实施例中，CPU22能够根 据特征匹配结果筛选出多个待跟踪运动目标，并向多个分镜摄像系统30分别发送运动目标 跟踪指令，从而控制多个分镜摄像系统30分别跟踪各个待跟踪运动目标。
[0049] 为了弥补背景建模方法对目标运动速度较低情况的不准确性，本实施例中CPU22 进行运动目标筛选时，融合运动目标的多种图像特征，包括图像坐标、颜色特征和纹理特 征，进一步提高了前景与背景分离的准确度，实现对复杂环境中感兴趣的运动目标的准确 检测。本实施例中，CPU22实现了运动目标位置和颜色、纹理特征融合的匹配算法，实现了对 目标运动轨迹的快速准确描述。
[0050] 由于分镜摄像系统需要根据运动目标的空间坐标进行运动目标的捕捉与跟踪，因 此CPU22根据各个待跟踪运动目标的空间坐标生成--对应的运动目标跟踪指令的具体过 程是:CPU22根据各个待跟踪运动目标的空间坐标进行分析，生成各个待跟踪运动目标对应 的光线偏转参数、焦距调节参数以及拍摄参数，根据光线偏转参数、焦距调节参数以及拍摄 参数生成运动目标跟踪指令。另外，CPU22还根据预先设定的坐标对应关系确定与各个待跟 踪运动目标的空间坐标分别对应的分镜摄像系统，将生成的各个运动目标跟踪指令分别对 应传输至确定的分镜摄像系统30。
[0051] 表 2
[0053] 表2示出了CPU22生成的运动目标跟踪指令、各个待跟踪运动目标的空间坐标、各 个待跟踪运动目标对应的分镜摄像系统之间的对应关系示意表。由表2可知，每个待跟踪运 动目标都具有对应的空间坐标、运动目标跟踪指令和分镜摄像系统。运动目标跟踪指令中 光线偏转参数包括光线偏转角度，焦距调节参数包括焦距调节距离，拍摄参数包括快门时 长、光圈大小等。
[0054] 本实施例中，控制器20采用GPU21与CPU22异构并行处理方式对环境图像进行处 理，通过这种异构并行处理方式能够提到GPU21与CPU22的工作效率，从而提高图像处理速 度。
[0055] 本实施例中，图像处理器40包括用于显示各个运动轨迹视频的显示屏，通过该显 示屏能够观看各个运动轨迹视频。图像处理器40还包括在各个运动轨迹视频之间切换的切 换按键，通过该切换按键能够切换观看的运动轨迹视频文件。通过显示屏和切换按键能够 方便用户观看各个运动轨迹视频。
[0056]本实施例中，图像处理器40包括打印机接口和USB接口，通过打印机接口连接打印 机，向打印机发送待打印的运动轨迹图像，从而打印出需要的运动轨迹图像。通过USB接口 外接电子设备，向电子设备传输运动轨迹视频，从而导出需要的运动轨迹视频文件。
[0057]如图2所示，分镜摄像系统30包括声光调制器31和高清摄像头32;上述运动目标跟 踪指令携带有光线偏转参数和拍摄参数;声光调制器31与控制器20电连接，接收运动目标 跟踪指令，根据运动目标跟踪指令携带的光线偏转参数对来自对应的待跟踪运动目标的光 线进行反射，将光线反射至高清摄像头32内；高清摄像头32与控制器20电连接，接收运动目 标跟踪指令，根据运动目标跟踪指令携带的拍摄参数在镜头指向不变时对对应的待跟踪运 动目标进行拍摄。
[0058]以一个分镜摄像系统为例进行描述，图2中，声光调制器31与高清摄像头32之间的 线段表示光路传播方向。本实施例中，声光调制器31根据光线偏转参数进行光线反射，该光 线偏转参数包括光线偏转角度等数据。当来自待跟踪运动目标的光线被声光调制器31反射 进入高清摄像头32内后，高清摄像头32根据拍摄参数、如快门时长、光圈大小等参数进行拍 摄，从而达到捕捉并跟踪待跟踪运动目标的效果。
[0059] 图3是本实施例中的分镜摄像系统30的结构示意图，如图3所示，为了保证声光调 制器31对光线进行准确偏转，声光调制器31包括纵向声光调制器311和横向声光调制器 312，纵向声光调制器311、横向声光调制器312和高清摄像头32依次排列，纵向声光调制器 311和横向声光调制器312分别与控制器20电连接;纵向声光调制器311接收运动目标跟踪 指令，根据运动目标跟踪指令携带的光线偏转参数将来自对应的待跟踪运动目标的光线纵 向反射至横向声光调制器312;横向声光调制器312接收运动目标跟踪指令，根据运动目标 跟踪指令携带的光线偏转参数将纵向反射后的光线横向反射至高清摄像头32内。
[0060] 本实施例中，来自待跟踪运动目标的光线通过纵向声光调制器311，利用声光效应 所产生的布雷格衍射的特点，实现对光线传播方向的控制，将光线进行纵向偏转到指定的 角度，经过横向声光调制器312,将光线进行横向偏转，汇聚至高清摄像头32内，通过高清摄 像头32的拍摄作用，实现待跟踪运动目标的捕捉与跟踪。
[0061] 考虑到高清摄像头32捕捉待跟踪运动目标时还需要进行焦距调节，为了避免机械 调节焦距调节时间慢的问题，如图3所示，本实施例中，分镜摄像系统30还包括液晶透镜33， 纵向声光调制器311、横向声光调制器312、液晶透镜33和高清摄像头32依次排列;液晶透镜 33与控制器20电连接;运动目标跟踪指令携带有焦距调节参数;液晶透镜33接收运动目标 跟踪指令，根据运动目标跟踪指令携带的焦距调节参数进行焦距调节；上述横向反射后的 光线穿过液晶透镜33进入高清摄像头32。
[0062]图3中，纵向声光调制器311、横向声光调制器312、液晶透镜33和高清摄像头32之 间的线段表示光路传播方向。通过图3中的分镜摄像系统30,来自待跟踪运动目标的光线首 先经过纵向反射，然后经过横向反射，最后穿过液晶透镜33进入高清摄像头32。
[0063] 本实施例中，通过液晶透镜33与控制器20电连接进行拍摄焦距调节，能够达到焦 距调节速度快的效果，避免现有技术中机械调节拍摄焦距调节速度慢的问题。
[0064] 本实施例中，声光调制器31还能够用高速振镜代替。在分镜摄像系统30中高清摄 像头32前加液晶透镜33、声光调制器31或者高速振镜，根据光路可逆原理可以通过声光调 制器31或高速振镜对光路的偏折作用，光路传回的视域成像在高清摄像头32上，经过液晶 透镜33的高速调焦作用，可以清楚地得到清晰的待跟踪运动目标的图像。
[0065] 当分镜摄像系统30包括多个时，将每一个分镜摄像系统30获取的图像传回给控制 器20,声光调制器31和液晶透镜33等设备的反应速度都可达到纳秒量级，则分镜摄像系统 30获取图像的速度能达到微秒量级，传回图像速度也可达到微秒量级，通过控制器20与分 镜摄像系统30的配合，可以实现微秒级运动目标捕捉与跟踪。如果用高速振镜代替声光调 制器31，反应速度达到毫秒到微秒量级，则可实现毫秒级运动目标捕捉与跟踪。
[0066] 实际应用中，通过多个分镜摄像系统30能够捕捉同一待跟踪运动目标的不同视角 的图像，从而构建待跟踪运动目标的全景信息，也可获得待跟踪运动目标在较大范围的具 体运动路线。
[0067]如图4所示，本实施例中的分镜摄像系统30还有另一种结构形式，声光调制器31包 括横向声光调制器312和纵向声光调制器311，分镜摄像系统30还包括液晶透镜33，横向声 光调制器312、纵向声光调制器311、液晶透镜33和高清摄像头32依次排列;横向声光调制器 312、纵向声光调制器311和液晶透镜33分别与控制器20电连接。
[0068]图4中，纵向声光调制器311、横向声光调制器312、液晶透镜33和高清摄像头32之 间的线段表示光路传播方向。通过图4中的分镜摄像系统30,来自待跟踪运动目标的光线首 先经过横向反射，然后经过纵向反射，最后穿过液晶透镜33进入高清摄像头32。
[0069]为了便于调节分镜摄像系统30中各个器件的位置，分镜摄像系统30还包括液晶透 镜安装架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架;液晶透镜 安装架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架上分别设置 有调节元件;通过该调节元件分别调节液晶透镜33、高清摄像头32、横向声光调制器312和 纵向声光调制器311的安装位置。
[0070]通过本实施例中的多运动目标捕捉与跟踪设备，有效提高了运动目标的跟踪效 率，能够消除变形、遮挡、交叉等不利情况对跟踪效果的负面影响，从而建立多个运动目标 完整、长时间内的运动轨迹数据。
[0071 ] 本实施例中，全景图像采集器10包括CMOS全景高清1080P摄像机。
[0072]图5示出了本实施例提供的图像处理算法的流程示意图，该图像处理算法由CPU和 GHJ共同执行，如图5所示，该图像处理算法包括：
[0073] 步骤502,对当前帧图像进行预处理，该预处理包括解码和/或去噪；
[0074]步骤504,采用混合高斯进行背景建模，生成5-7个背景模型；
[0075]步骤506,根据5-7个背景模型对预处理后的当前帧图像进行运动目标检测，得到 当前帧图像中各个运动目标的图像特征;其中，运动目标的图像特征包括运动目标的图像 坐标、颜色特征和纹理特征；
[0076] 步骤508,将当前帧图像中各个运动目标的图像特征分别进行融合，并与预先存储 的图像特征进行匹配，根据特征匹配结果对当前帧图像中的多个运动目标进行筛选，确定 多个待跟踪运动目标以及各个待跟踪运动目标的图像坐标；
[0077] 步骤S510，将该图像坐标转换为空间坐标，根据各个待跟踪运动目标的空间坐标 生成一一对应的运动目标跟踪指令，确定与各个待跟踪运动目标的空间坐标分别对应的分 镜摄像系统，将生成的各个运动目标跟踪指令分别对应传输至确定的分镜摄像系统；
[0078] 步骤S512,接收各个分镜摄像系统返回的多个待跟踪运动目标的图像，对该图像 进行分拣处理，生成与各个待跟踪运动目标--对应的运动轨迹视频。
[0079]图5中所示的图像处理算法由CPU和GPU共同执行，保证了图像处理的准确性、快速 性和鲁棒性，提高了图像处理速度，实现了运动目标位置、颜色和纹理特征的融合，实现了 快速准确的描述运动目标的运动轨迹。
[0080]通过图5中的方法，采用模糊集合理论融合运动位置和速度估计与颜色、梯度特征 的匹配，增大在历史数据中的搜索范围，有效提升了运动目标跟踪效率，能消除变形、遮挡、 交叉等不利情况对跟踪效果的负面影响，建立运动目标完整、长时间内的运动轨迹数据。 [0081 ] 实施例二
[0082]图6示出了本实用新型第二实施例提供的多运动目标捕捉与跟踪方法的流程示意 图，如图6所示，该方法包括：
[0083]步骤602,采集全景环境图像；
[0084] 步骤604,根据全景环境图像确定多个待跟踪运动目标和各个待跟踪运动目标的 位置；
[0085] 步骤606,根据各个待跟踪运动目标的位置生成一一对应的运动目标跟踪指令； [0086]步骤608，确定与各个待跟踪运动目标的位置分别对应的分镜摄像系统;其中，图 像采集区域内的指定位置分别设置有多个分镜摄像系统；
[0087]步骤610，将生成的各个运动目标跟踪指令分别对应传输至确定的分镜摄像系统； [0088]步骤612，分镜摄像系统根据运动目标跟踪指令对来自对应的待跟踪运动目标的 光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪对应的待跟踪运动目标， 获取对应的待跟踪运动目标的图像；
[0089] 步骤614,对各个待跟踪运动目标的图像进行分拣处理，生成与各个待跟踪运动目 标--对应的运动轨迹视频。
[0090] 本实用新型实施例中，分镜摄像系统对来自待跟踪运动目标的光线进行反射，利 用光线反射原理在镜头指向不变时捕捉并跟踪多个待跟踪运动目标。由于捕捉并跟踪多个 待跟踪运动目标时镜头指向不需要改变，因此本实施例中的方法能够提高多个运动目标的 捕捉跟踪速度，避免现有技术中机械调节镜头方向调节速度慢的问题。
[0091] 最后应说明的是：以上所述实施例，仅为本实用新型的【具体实施方式】，用以说明本 实用新型的技术方案，而非对其限制，本实用新型的保护范围并不局限于此，尽管参照前述 实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解:任何熟悉本技 术领域的技术人员在本实用新型揭露的技术范围内，其依然可以对前述实施例所记载的技 术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换;而这些修改、 变化或者替换，并不使相应技术方案的本质脱离本实用新型实施例技术方案的精神和范 围。都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应所述以权利要 求的保护范围为准。
【主权项】
1. 一种多运动目标捕捉与跟踪设备，其特征在于，包括： 全景图像采集器，与所述全景图像采集器电连接的控制器，与所述控制器分别电连接 的多个分镜摄像系统；与多个所述分镜摄像系统电连接的图像处理器;多个所述分镜摄像 系统分别设置于所述全景图像采集器的采集区域内的指定位置； 所述全景图像采集器用于采集全景环境图像，将所述全景环境图像传输至所述控制 器； 所述控制器用于接收所述全景环境图像，向所述分镜摄像系统发送运动目标跟踪指 令； 所述分镜摄像系统用于接收所述运动目标跟踪指令，在镜头指向不变时捕捉并跟踪多 个待跟踪运动目标，获取多个所述待跟踪运动目标的图像并传输至所述图像处理器； 所述图像处理器用于接收多个所述待跟踪运动目标的图像，对所述图像进行分拣处 理，生成与各个所述待跟踪运动目标一一对应的运动轨迹视频。2. 根据权利要求1所述的设备，其特征在于，所述控制器包括相互电连接的GRJ和CRJ; 所述CPU与所述全景图像采集器电连接，用于接收所述全景环境图像的当前帧图像，将 所述当前帧图像传输给所述GHJ; 所述GPU用于接收所述当前帧图像，向所述CPU发送所述当前帧图像中各个运动目标的 图像特征； 所述CPU分别与多个所述分镜摄像系统电连接，用于接收各个所述运动目标的图像特 征，向所述分镜摄像系统发送运动目标跟踪指令。3. 根据权利要求1所述的设备，其特征在于，所述图像处理器包括用于显示各个运动轨 迹视频的显示屏，以及在各个所述运动轨迹视频之间切换的切换按键。4. 根据权利要求1所述的设备，其特征在于，所述图像处理器包括打印机接口和USB接 口；通过所述打印机接口连接打印机，向打印机发送待打印的运动轨迹图像;通过所述USB 接口外接电子设备，向所述电子设备传输所述运动轨迹视频。5. 根据权利要求1所述的设备，其特征在于，所述分镜摄像系统包括声光调制器和高清 摄像头； 所述声光调制器与所述控制器电连接，接收所述运动目标跟踪指令，对来自所述待跟 踪运动目标的光线进行反射，将所述光线反射至所述高清摄像头内； 所述高清摄像头与所述控制器电连接，接收所述运动目标跟踪指令，在镜头指向不变 时对所述待跟踪运动目标进行拍摄。6. 根据权利要求5所述的设备，其特征在于，所述声光调制器包括纵向声光调制器和横 向声光调制器，所述纵向声光调制器、所述横向声光调制器和所述高清摄像头依次排列，所 述纵向声光调制器和所述横向声光调制器分别与所述控制器电连接； 所述纵向声光调制器接收所述运动目标跟踪指令，将来自所述待跟踪运动目标的光线 纵向反射至所述横向声光调制器； 所述横向声光调制器接收所述运动目标跟踪指令，将所述纵向反射后的光线横向反射 至所述高清摄像头内。7. 根据权利要求6所述的设备，其特征在于，所述分镜摄像系统还包括液晶透镜，所述 纵向声光调制器、所述横向声光调制器、所述液晶透镜和所述高清摄像头依次排列;所述液 晶透镜与所述控制器电连接； 所述液晶透镜接收所述运动目标跟踪指令，进行焦距调节;所述横向反射后的光线穿 过所述液晶透镜进入所述高清摄像头。8. 根据权利要求5所述的设备，其特征在于，所述声光调制器包括横向声光调制器和纵 向声光调制器，所述分镜摄像系统还包括液晶透镜，所述横向声光调制器、所述纵向声光调 制器、所述液晶透镜和所述高清摄像头依次排列;所述横向声光调制器、所述纵向声光调制 器和所述液晶透镜分别与所述控制器电连接。9. 根据权利要求7所述的设备，其特征在于，所述分镜摄像系统还包括液晶透镜安装 架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架； 所述液晶透镜安装架、所述高清摄像头安装架、所述横向声光调制器安装架和所述纵 向声光调制器安装架上分别设置有调节元件； 通过所述调节元件分别调节所述液晶透镜、所述高清摄像头、所述横向声光调制器和 所述纵向声光调制器的安装位置。10. 根据权利要求1至9任一项所述的设备，其特征在于，所述全景图像采集器包括CMOS 全景高清1080P摄像机。
【文档编号】H04N5/232GK205490868SQ201620163629
【公开日】2016年8月17日
【申请日】2016年3月3日
【发明人】马兆远, 王路
【申请人】北京志光伯元科技有限公司