图像传感器、目标跟踪系统及方法与流程

本发明涉及图像处理技术，尤其涉及一种内部设置跟踪模块实现多目标roi跟踪的图像传感器，目标跟踪系统及方法。

背景技术：

在多种应用中，如安保、监视及汽车等应用中，实时的物体或目标检测和跟踪非常必要，例如行人，监控画面中的面部或机动车辆行进等。目前所有的计算机视觉算法都是在后端芯片进行处理，图像传感器装置总是输出高帧率和全解析度的视频。众所周知，近年来随着应用需求及技术发展不断进步，图像传感器像素数目不断增加，从vga，100万像素，200万像素到800万像素，1200万像素。在后续的发展中，可能会出现超过5000万像素的图像传感器用于安保领域的特殊用途。大像素的图像传感器输出画面质量高，但图像传感器设计及生产加工的成本高，不利于大规模推广应用。

如果图像传感器装置能够通过其内置功能模块的形式实现对目标物体的跟踪并且可以根据应用仅输出其所跟踪roi(regionofinterest，感兴趣区域)目标，同时又能解决输出视频图像的高分辨率的问题，突破高帧率高分辨率视频输出占用带宽瓶颈，降低图像传感器及目标跟踪系统的功耗，是本发明旨在解决的技术问题。

技术实现要素：

本发明目的提供一种图像传感器，所述图像传感器包括：

像素阵列，所述像素阵列由多个按行和列排列的像素单元构成，输出像素信号；

外围电路，用于对所述像素阵列输出的像素信号进行控制和处理，所述外围电路包括一图像处理单元；

其中，所述图像处理单元包括一跟踪模块，所述跟踪模块用于根据控制对一个或多个目标roi进行跟踪；

进一步地，所述图像传感器同时输出两路视频图像信号，其中一路是低帧率低分辨率的全景视频图像；另一路是仅包含一个或多个目标roi的高帧率高分辨率视频图像；

进一步地，所述跟踪模块对所述一个或多个目标roi进行跟踪不限制于光线条件变化，目标数目变化，目标形状改变或目标部分被遮挡的因素；

进一步地，所述图像传感器的图像处理单元自动剪裁及定义一个或多个目标roi比例和尺寸。

本发明还提供一种目标跟踪系统，所述目标跟踪系统包括：

图像传感器，用于目标物体信息的采集和视频图像输出，所述图像传感器包括一图像处理单元，所述图像处理单元包括：

跟踪模块，用于根据控制对一个或多个目标roi进行跟踪；

后端处理单元，对所述图像传感器输出的视频图像进行检测及识别处理，并控制和发送所述一个或多个目标roi到所述图像传感器，所述后端处理单元包括：

检测模块，通过自动检测模式或自定义模式对图像进行检测分析，以检测出一个或多个目标roi；

识别模块，用于对所述一个或多个目标roi进行识别处理；

进一步地，所述图像传感器同时输出两路视频图像信号，其中一路是低帧率低分辨率的全景视频图像；另一路是仅包含一个或多个目标roi的高帧率高分辨率视频图像；

进一步地，所述图像传感器输出的低帧率低分辨率的全景视频图像输入到所述后端处理单元，所述检测模块根据应用需求对所述全景视频图像进行检测并确定所述一个或多个目标roi；

进一步地，所述图像传感器输出的高帧率高分辨率的视频图像输入到所述后端处理处理单元，所述识别模块对所述高帧率高分辨率的一个或多个目标roi进行识别处理；

进一步地，所述跟踪模块对一个或多个目标roi进行跟踪不限制于光线条件变化，目标数目变化，目标形状改变或目标部分被遮挡的因素；

进一步地，所述图像传感器的图像处理单元自动剪裁及定义一个或多个目标roi比例和尺寸。

本发明还提供一种目标跟踪方法，采用图像传感器内设置跟踪模块，后端处理单元设置检测模块，对所述图像传感器的输出进行控制处理和目标跟踪的模式，所述目标跟踪方法包含以下步骤：

所述图像传感器提供两路视频图像信号，其中一路低帧率低分辨率的全景视频图像输入到所述后端处理单元；

所述检测模块根据应用需求检测并确定一个或多个目标roi；

所述后端处理单元根据检测结果确定一个或多个目标roi并发送到所述图像传感器；

所述跟踪模块根据控制对所述一个或多个目标roi进行跟踪；

所述图像传感器输出另一路仅包含所述一个或多个跟踪目标roi的高帧率高分辨率视频图像到所述后端处理单元；

所述后端处理单元根据应用，识别输出跟踪目标；

进一步地，所述检测模块通过自动检测模式或自定义模式检测出一个或多个目标roi；

进一步地，所述跟踪模块对所述一个或多个目标roi进行跟踪不限制于光线条件变化，目标数目变化，目标形状改变或目标部分被遮挡的因素；

进一步地，所述图像传感器的图像处理单元自动剪裁及定义所述一个或多个目标roi比例和尺寸；

进一步地，所述输出的跟踪目标为仅包括一个或多个目标roi的高帧率高分辨率视频图像。

本发明所提出图像传感器、目标跟踪系统及方法，通过采用在图像传感器内部设置跟踪模块对一个或多个目标roi进行跟踪，后端处理单元设置检测模块对跟踪目标进行检测和识别处理，后端处理单元最终输出目标跟踪结果。这种实现方式在具体应用中能有效实现图像传感器内的目标跟踪的功能，并且能有效降低跟踪系统的功耗，精准实现对目标的跟踪，输出跟踪的一个或多个目标roi的图像视频具有高帧率和高分辨率，满足应用需求。同时本发明所提供的解决方案，目标跟踪及处理包含多种条件因素，可以满足多种应用环境和条件，尤其是对跟踪目标输出图像画面的清晰度和准确度要求较高的应用。

附图说明

图1为本发明提出的图像传感器结构框图；

图2为本发明提出的目标跟踪系统的结构框图；及

图3为本发明提出的目标跟踪方法的基本流程图。

具体实施方式

以下结合各个附图及实施方案对本发明所给出的内容进行详细的说明。图1是本发明给出的图像传感器结构框图，如图中所示，图像传感器包括像素阵列110，以及对像素阵列110所输出的像素进行控制和处理的外围电路。外围电路包括行驱动单元120、列驱动单元130、逻辑控制单元140、列a/d转换单元150及图像处理单元160。图像处理单元160内设置一跟踪模块。图像传感器包括两路输出，其一路输出1输出的是低帧率低分辨率的全景视频图像，另一路输出2输出的是高帧率高分辨率的roi视频图像。图像传感器可以根据应用需求设计为多种类型的图像传感器，例如fsi(frontsideillumination，前照式)或bsi(backsideillumination，背照式)图像传感器，可以是根据应用需求所采用的包含dcg双转换增益电路的图像传感器，也可以为滚动曝光或全局曝光输出的各种类型的图像传感器。

图2是本发明提出的目标跟踪系统的结构框图，如图中所示，目标跟踪系统包括图像传感器210和后端处理单元220，图像传感器210内设置一个跟踪模块211。所述的图像传感器210具有两路视频图像输出，本发明给出的具体实施例中，其一路输出1为低帧率低分辨率的全景视频，例如720p，20fps的全景图像视频，另一路输出2为包含一个或多个跟踪目标的高帧率高分辨率视频图像，例如1mp，60fps的roi。

图像传感器210输出的低帧率低分辨率的全景视频图像输入到后端处理单元220，后端处理单元220的检测模块221根据应用需求，例如对行人进行跟踪或对车辆进行跟踪的需求对一个或多个目标roi(感兴趣的区域)，例如人的脸部，车牌照等进行检测，本发明给出的技术方案，可同时针对多个目标进行检测。对一个或多个目标的检测可采用自动检测模式或自定义模式，可设置为系统自动检测，或者根据自定义的检测条件对多个目标roi进行检测。

后端处理单元220根据检测结果确定一个或多个目标roi，例如一个或多个人的面部区域，一个或多个车辆车牌区域，发送至图像传感器210。图像传感器210的图像处理单元自动剪裁和定义一个或多个目标roi比例，尺寸，形状等。图像传感器210内设置的跟踪模块211根据控制对所确定的一个或多个目标roi进行跟踪。在跟踪过程中，外界环境的变化，例如光线条件变化，目标数目变化，目标形状改变或目标部分被遮挡等各种因素均不对目标的跟踪构成限制。图像传感器210的另一路输出2将目标跟踪的结果以高帧率高分辨率模式的视频图像输出到后端处理单元220，后端处理单元220的识别模块222对一个或多个目标roi进行识别处理。根据应用的需求，输出所跟踪的结果，例如对输出的跟踪目标进行分类，将所跟踪结果输出到相应的应用软件。跟踪模块211设置在图像传感器210内，在具体应用中可以采用堆叠芯片的设计形式，以提高图像传感器210的性能。所述跟踪系统所输出结果仅为包含一个或多个目标roi的高帧率高分辨率视频画面，画面清晰度高且保证目标跟踪的准确性。此目标跟踪系统所输出的目标跟踪视频，既保证高清晰度画面质量，且不需占用太多的视频输出带宽需求，满足多种环境下使用。

本发明给出的图3为目标跟踪方法的基本流程图，结合图1和图2中给出的图像传感器和目标跟踪系统，以对交通管控系统对路上行进车辆的监管为例，设定所跟踪的目标为一个或多个车辆的车牌照信息，其具体实施步骤如下：

301：图像传感器210提供两路视频图像信号输出，其输出一路低帧率低分辨率的包含车辆及车牌信息的全景视频图像的输出1输入到目标跟踪系统的后端处理单元220；

302：后端处理单元220的检测模块221根据对车辆车牌照识别的需求检测并确定一个或多个车辆车牌roi；

此步骤中，检测模块221对车辆车牌信息的检测可以通过自动检测模式或者采用自定义的检测模式对所跟踪的车牌照信息进行检测；

303：后端处理单元220根据对车辆车牌信息的检测结果所确定的一个或多个车牌信息的图像目标发送到图像传感器210；

304：图像传感器210中的跟踪模块211根据后端处理单元220发送的信息，对所确定的车辆车牌信息画面区域进行跟踪；

在此步骤中，图像传感器210的图像处理单元可根据应用自动剪裁以及定义一个或多个目标的比例，尺寸，形状等；跟踪模块211对上述剪裁及定义的目标区域进行跟踪，跟踪过程中外界环境及条件发生变化，例如光线条件变化，目标数目变化，目标形状改变或目标部分被遮挡等，均在跟踪涵盖的范围之内；

305：图像传感器210的另一路输出所跟踪车辆车牌照视频画面；

在此步骤中，图像传感器210所输出的为仅包含所跟踪的一个或多个车辆车牌信息的画面，且是高帧率高分辨率的视频画面；

306：识别模块222对一个或多个车辆车牌信息进行识别处理；

此步骤中，所输入的车辆车牌画面可以为1mp，60fps的高分辨率图像画面，画面清晰度高，目标识别结果准确；

307：后端处理单元220输出车辆车牌信息的跟踪结果；

根据目标跟踪系统输出的具有高分辨率视频画面的跟踪结果对车辆的行进行实时画面监控。所述出的跟踪结果可根据应用进一步进行分类输出或连接输出到其他应用软件终端等，以满足多应用需求。

本发明给出的实施例及附图，是为了说明的目的，在不背离本发明更广泛的主旨和范围下，不同形式的等效修改是可行的。根据上述详细的说明可对本发明实施例进行修改。用于权利要求中的术语不应解释为限定于本发明具体实施内容和权利要求部分中所揭露的具体实施例。相反地，权利要求中完整确定的范围应解释为根据权利要求解释确立的声明。本发明的说明书和附图应被看作是解释性的，而不是约束性的。