一种基于光学反射的云台跟踪视觉系统的制作方法
【技术领域】
[0001] 本发明属于机器视觉领域，具体地说，是一种用于对运动物体进行精确定位和追 踪的基于镜面反射式的云台跟踪视觉系统。
【背景技术】
[0002] 现有的视觉系统结构多种多样，采用的识别和跟踪算法也各有不同，其中包括一 类基于光学反射原理对物体进行观测的系统。有别于其它系统中相机直接观测物体，这一 类系统采用平面镜、棱镜、光纤维等光学反射设备辅助相机进行观测。例如：潜水艇内使用 的潜望镜就是一种常见的光学反射式视觉系统，它利用两面垂直放置的平面镜改变视野范 围，以便于水下的观察员观测水上情况。又例如：在医疗器械领域，用于对人眼视觉功能进 行检查的仪器常采用全反射镜对被检查者的眼球进行全方位观测。然而，在这些现有的视 觉系统中，镜面以及相机的位姿一般是固定不变的，使得它们只能用于特定的场合，局限较 大。
[0003] 在军事、工业、体育、安全监控等领域，待观测物体往往处于运动状态，且运动范围 广，运动速度快。要对这样的物体进行跟踪识别，就需要视觉系统的观测范围跟随物体一起 变化。东京大学的科学家已经研发出一种名叫"扫视镜"的新型云台视觉系统。在这套系 统中，相机是固定的，相机外有两面可绕固定轴旋转的平面镜，待观测的物体经过这两面镜 子反射进入相机。该系统可观测高速运动的物体，但由于其内部跟踪算法完全基于图像反 馈，相机未曾进行标定，系统没有同世界坐标系建立联系，一旦待观测物体不在相机初始视 野内，或者受到遮挡，系统将无法继续对物体进行跟踪。
【发明内容】
[0004] 本发明正是针对现有技术存在的缺陷，提出一种基于光学反射的云台视觉跟踪系 统，本发明是通过以下技术方案来实现的：
[0005] 本发明公开了一种基于光学反射的云台视觉跟踪系统，系统包括基于光学反射的 云台、控制器、电脑和供电单元，基于光学反射的云台包括一个固定的相机，至少两面以上 的光学反射设备，与光学反射设备数量一致的旋转驱动单元，光学反射设备固定在旋转驱 动单元的转轴上，由旋转驱动单元控制其反射平面运动到任意角度，至少两面以上的光学 反射设备的转轴不能都平行，从而构成两个或两个以上的自由度，旋转驱动单元与控制器 连接，接收控制器指令，并反馈旋转驱动单元的状态，控制器与电脑连接，同样接收指令和 反馈状态，基于光学反射的云台也与电脑连接，将相机采集图像传送给电脑，所述基于光学 反射的云台连接有供电单元。
[0006] 本发明还公开了一种如基于光学反射的云台视觉跟踪系统的方法，具体步骤如 下：
[0007] 1)、根据具体应用需求，设计各光学反射设备的旋转轴位置和方向，在强度合适的 支架上搭建相机、光学反射设备、旋转驱动单元和其余系统运行所需的设备，如外接供电单 元、控制器等；
[0008] 2)、对相机进行离线标定，根据标定结果建立各光学反射设备的转角与世界坐标 中每个特征点的表格映射关系；
[0009] 3)、在线工作时，当给出待观测物体的世界坐标位置信息，根据映射关系，得到各 光学反射设备的转角，控制旋转驱动单元工作，通过转轴带动光学反射设备转动到所需角 度，从而观测到该点；
[0010] 4)、在线工作的同时，对待观测物体的图像进行识别，采用图像反馈算法，驱动光 学反射设备微调，保持待观测物体的图像在视野中心。
[0011] 本发明和现有技术相比，本发明的有益效果如下：
[0012] (1)采用相机不动，光学反射设备转动的方式追踪待观测物体，电机负载轻，响应 速度更快；
[0013] (2)当采用两面反射设备构成系统时，可追踪待观测物体的位置信息，而当采用三 面及以上的反射设备构成系统时，还可追踪待观测物体的姿态信息；
[0014] (3)经过标定，系统与世界坐标系建立关系，可根据待观测物体的世界坐标信息进 行跟踪，即使物体当前位置不在视野中，也可以迅速跟上；
[0015] (4)采用图像反馈的方法保持待观测物体的图像在视野中心，提高了观测的精度。
【附图说明】
[0016] 图1是本发明系统的结构示意图；
[0017] 图2是采用η面基于光学反射设备的云台的结构示意图；
[0018] 图3是基于光学反射的云台跟踪视觉系统的实例示意图；
[0019] 图4是本发明系统整体控制示意框图；
[0020] 图5是本发明图像反馈控制示意框图。
【具体实施方式】
[0021] 下面根据附图，通过具体实施例对本发明的技术方案作进一步地说明：
[0022] 图1是本发明系统的结构示意图，基于光学反射的云台的旋转驱动单元与控制器 连接，接收控制器指令，并反馈旋转驱动单元的状态，控制器与电脑连接，同样接收指令和 反馈状态，基于光学反射的云台也与电脑连接，将相机采集图像传送给电脑，基于光学反射 的云台连接有供电单元。
[0023] 图2为采用η面光学反射设备的云台的结构示意图；系统包括一个固定的相机，至 少两面以上的光学反射设备，与光学反射设备数量一致的旋转驱动单元，光学反射设备固 定在旋转驱动单元的转轴上，由旋转驱动单元通过转轴控制光学反射设备的反射平面运动 到任意角度，至少两面以上的光学反射设备的转轴不能都平行，从而构成两个或两个以上 的自由度。
[0024] 图3是一种基于光学反射的云台的应用实例图；在该实例中，光学反射设备为平 面镜，两面平面镜分别具有俯仰和偏转方向的自由度，相机看向第一面具有俯仰方向自由 度的平面镜，旋转驱动单元为直流盘式电机。
[0025]图4为本发明系统整体控制示意框图；离线标定建立转角与空间点映射是进行 在线工作的前提。在离线标定中，采用传统的标定方法，如张正友标定法标定相机的内参。 由于相机的内参仅由相机的内部结构和选定的焦距决定，因此无论进行多少次光学反射成 像，相机的内参不变，标定得到的内参即为实际内参。然后在待观测物体可能的运动空间内 以lcm为单位尺度，选取空间特征点，人工控制各光学反射设备转动，遍历所有特征点，从 而建立转角与特征点之间的表格映射关系。如对图2中展示的应用实例进行离线标定，得 到转角与特征点之间的部分映射关系如下表所示：
[0026]
[0027] 在线工作时，当给出待观测物体的空间位置信息，控制单元根据上述的映射关系 获得各光学反射设备的转角并驱动旋转驱动单元的执行；在线工作的同时识别待观测物体 的图像，并采用图像反馈算法，PID控制微调设备转角，从而跟踪待观测物体的中心。
[0028] 图5为图像反馈控制示意框图，本发明中，对相机采集的图像进行识别主要采用 背景差分算法和基于HSV颜色特征[16]的目标分割算法。背景差分算法如下式所示：
[0029]
[0030] 其中Px,y表示像素点的平面坐标，Rx,y表示像素点的R通道取值，R0 x,y表示背景图 像的R通道取值，T为背景与非背景之间的容差。这里取R通道值，仅为举例而用，在实际 应用中，应取待观测图像的目标特征通道值。进行目标的粗提取后，分别构建目标和背景在 HSV颜色空间的特征直方图，再将背景特征直方图和目标特征直方图归一化后，可过滤目标 特征直方图中的背景噪音，据此可从背景中分割出目标图像。
[0031] 得到目标图像中心点像素坐标后，构造这样一个闭环控制系统对其进行控制：设 定值为光轴像素坐标，输出值为目标的中心点像素坐标，输出值由图像识别测量得到，执行 机构为两面可转动的平面镜电机，被控对象为本发明中提出的云台，控制器部分写入程序 中。其中的控制器部分选用比例（P)控制，目的是尽可能提高跟踪速度。其中PID控制器 的算法由下式给出：
[0032]
[0033] 以上例举的仅是本发明的优选实施方式，本发明并不限于以上实施例，本领域技 术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应 认为包含在本发明的保护范围内。
【主权项】
1. 一种基于光学反射的云台视觉跟踪系统，其特征在于，所述的系统包括基于光学反 射的云台、控制器、电脑和供电单元，所述的基于光学反射的云台包括一个固定的相机，至 少两面以上的光学反射设备，与光学反射设备数量一致的旋转驱动单元，所述的光学反射 设备固定在旋转驱动单元的转轴上，由旋转驱动单元控制其反射平面运动到任意角度，所 述至少两面以上的光学反射设备的转轴不能都平行，从而构成两个或两个以上的自由度， 所述的旋转驱动单元与控制器连接，接收控制器指令，并反馈旋转驱动单元的状态，所述的 控制器与电脑连接，同样接收指令和反馈状态，所述基于光学反射的云台也与电脑连接，将 相机采集图像传送给电脑，所述基于光学反射的云台连接有供电单元。2. -种如权利要求1所述的基于光学反射的云台视觉跟踪系统的方法，其特征在于， 具体步骤如下： 1) 、根据具体应用需求，设计各光学反射设备的旋转轴位置和方向，在强度合适的支架 上搭建相机、光学反射设备、旋转驱动单元和其余系统运行所需的设备，外接供电单元、控 制器和电脑； 2) 、对相机进行离线标定，根据标定结果建立各光学反射设备的转角与世界坐标中每 个特征点的表格映射关系； 3)、在线工作时，当给出待观测物体的世界坐标位置信息，根据映射关系，得到各光学 反射设备的转角，控制旋转驱动单元工作，通过转轴带动光学反射设备转动到所需角度，从 而观测到该点； 4)、在线工作的同时，对待观测物体的图像进行识别，采用图像反馈算法，驱动光学反 射设备微调，保持待观测物体的图像在视野中心。
【专利摘要】本发明公开了一种基于光学反射的云台跟踪视觉系统，包括基于光学反射的云台、控制器、电脑和供电单元，基于光学反射的云台包括一个固定的相机，至少两面以上的光学反射设备，与光学反射设备数量一致的旋转驱动单元，光学反射设备固定在旋转驱动单元的转轴上，由旋转驱动单元控制其反射平面运动到任意角度，至少两面以上的光学反射设备的转轴不能都平行，从而构成两个或两个以上的自由度；经过标定，系统与世界坐标系建立关系，可根据待观测物体的世界坐标信息进行跟踪，即使物体当前位置不在视野中，也可以迅速跟上；采用图像反馈的方法保持待观测物体的图像在视野中心，提高了观测的精度。
【IPC分类】G05D3/12, H04N7/18
【公开号】CN105242689
【申请号】CN201510613850
【发明人】章逸丰, 吴珺, 熊蓉
【申请人】浙江大学
【公开日】2016年1月13日
【申请日】2015年9月23日