专利名称：体育场捡球机器人视觉系统的制作方法
技术领域：
本发明涉及一种体育场捡球机器人的视觉系统。
背景技术：
随着生活水平的提高，人们的健身需求也越来越强烈。去体育场馆进行各 种球类运动，成为人们的首选。在进行各种球类运动的时候，如乒乓球、网球， 捡球成为一项极其耗费时间的工作。目前来看，体育场球类清理设备仍需人来 操作，这些简单而重复的劳动耗费了大量的人力资源。因此，需要一种能够为 体育场捡球机器人提供环境定位、感知和路径规划的视觉系统来解决上述问题。
机器人视觉系统可采用集中式全局摄像机，该系统可以获得机器人运动场 景中的全局信息，便于对机器人进行全局定位。现有的机器人视觉识别方法， 多为颜色识别先对图像进行数字滤波，再利用由色调、饱和度、亮度组成的 HSV颜色模型，对采集的图像进行识别。该识别方法简单且速度快，已经在很
多领域，如机器人足球中得到了广泛应用，如专利200510027280.6， 200420103434.6。
进行体育场球类清理工作时，利用现有的机器人视觉系统及机器视觉识别
技术无法满足机器人捡球时的需要，其主要是由以下原因造成的
1、 在完成捡球工作时，机器人需要同时识别很多球，识别过程中存在诸多 干扰，如光线变化、其他非球类物体、场地内进行运动的人，只依靠单一的颜 色识别则无法完成识别任务。
2、 由于直接采用集中式全局摄像机采集到的图像进行全局运算，该方法计 算量大，实时性差。
3、 在机器人进行球类拾取的过程中，由于球数量多，分布无规律，因此还
应该对机器人拾取球时的运动路径进行合理规划，而现有的视觉系统，如机器 人足球的视觉系统，则无法完成多球环境下的路径规划。
4、 当多机器人在多球环境下完成捡球工作时，利用现有的系统和技术，则 无法完成识别和规划任务。
发明内容
本发明提出了一种体育场捡球机器人的视觉系统。该系统可以为体育场捡 球机器人提供环境和定位信息，对单个或多个机器人活动路径进行规划，使机 器人能够自主完成体育场捡球工作。
本发明的技术方案是体育场捡球机器人的视觉系统包括全局摄像机，机 器人载体摄像机，无线视频传输模块，图像采集卡和图像处理器。所述的全局
摄像机为模拟接口 CCD摄像机或USB接U的CMOS摄像机，将全局摄像机安 装在体育场卜.方，全局摄像机的视频输出接口与无线视频传输模块的发送端连 接；无线视频传输模块包括发送和接收两部分，可以无线传输模拟视频信号或 数字视频信号，无线视频传输模块的接收端与图像采集卡的输入端连接；机器 人载体摄像机安装在机器人十.，与图像采集卡连接；图像采集卡安装在图像处 理器上，为图像处理器提供数字化的视频信号；图像处理器对图像采集卡采集 的图像信号实时进行处理，对采集到的图像进行目标识别和机器人定位，并对 机器人进行捡球路径规划，控制机器人移动。
图像处理器对图像信号实时进行处理并控制机器人移动的方法为
(1) 对全局图像裁剪，只保留体育场地内的图像，去除周边的复杂图像；
(2) 对裁剪的全局图像进行分块，依次对每块图像进行以下操作
(3) 在第i块全局图像内，将RGB模型变换为HSV模型；
(4) 在第i块全局图像内进行目标识别和机器人定位，得到机器人和所有 球的夹角和距离即相对位置；
(5) 设定机器人的优先搜索范围的阈值，在机器人的优先搜索范围内，选 取离机器人最近的球为目标球；若机器人优先搜索范围内没有球，则直接选取 离机器人最近的球为目标球；
(6) 根据目标球和机器人的相对位置，对机器人进行捡球路径规划，实时 引导机器人向目标球移动；
(7) 当机器人载体摄像机检测到目标球时，在机器人载体摄像机图像内进 行目标识别和机器人定位，得到目标球与机器人的相对位置后，对机器人进行 捡球路径规划，引导机器人驶向目标球，完成捡球动作；
(8) 当第i块全局图像内还有球时，重复步骤(5);
(9) 当第i块全局图像内没有球时，开始处理第i+l块全局图像，重复步骤(3)。
本发明可以控制机器人在多球环境下完成捡球任务，处理速度快，适应多 种体育场环境。
本发明的优点和具体实施过程将在具体实施方式
部分进一步阐明。
图l是本发明的应用示意图2是本发明的各部件的连接方法；
图3是本发明的全局图像分割示意图4是RGB色彩模型；
图5是HSV色彩模型；
图6是图像处理器程序流程图7是计算目标球与机器人相对位置的示意图8是最小运动代价近距离优先原则下的路径规划的示意其中l一全局摄像机、2 —机器人载体摄摄像机、3 —无线视频传输模块发射 端、4一无线视频传输接收器、5—图像采集卡、6—图像处理器。
具体实施例方式
本发明的体育场捡球机器人视觉系统包括全局摄像机(1)，机器人载体摄 像机(2)，无线视频传输模块(3)、 (4)，图像采集卡(5)和图像处理器(6)。 全局摄像机(1)使用模拟接口摄像机(1)。全局摄像机(1)安装在场地上方， 且保证能够完全拍摄到体育场地。无线视频传输模块(3)、 (4)采用模拟信号无 线视频传输模块(3)、 (4)。全局摄像机(1)的模拟输出端通过AV视频线与无 线视频传输模块的发射端(3)连接。无线视频传输接收器(4)的输出端与图 像采集卡(5)输入端相连接，图像采集卡(5)安装在图像处理器上(6)，图 像处理器(6)安装在机器人内部，同时图像采集卡(5)与机器人载体摄像机 (2)连接。图像处理器(6)可采用嵌入式PC或数字信号处理器(DSP)，根 据对采集到的图像进行目标识别和机器人定位，并对机器人进行捡球路径规划。
图像处理器(6)采用基于颜色和形状的方法进行目标识别和机器人定位。 该识别方法特别适用于体育场捡球机器人捡球时目标识别和定位。其特征在于 该方法先对图像进行颜色分割，再对分割后的二值图像进行基于形态学的处理， 根据形状进行目标识别。该方法可以在PC平台利用OpenCV进行开发，也可以
8在嵌入式PC，如DSP上利用EMCV进行开发。该方法先对全局图像进行裁剪，
去除场地外无用的复杂景物；然后对图像进行分块，按区域进行目标提取，控 制捡球机器人依次在某个小区域内完成捡球丄作，极大地提"了处理速度；在
每块彩色图像中，先利用HSV色彩模型进行目标分割，然后在利用基于形态学
的形状判别法对目标进行识别，去掉非球类物体的干扰，极大地提高了识别方 法对环境的适应性。
本发明使用的路径规划方法采用基于"最小运动代价近距离球优先"的路 径规划方法。其特征在于机器人在捡完一个球后，机器人以最小运动代价继续 拾取离机器人最近的球。该方法特别适用于体育场单个或多个捡球器人捡球时 的路径规划。
图像处理器(6)对图像信号实时进行处理并控制机器人移动的具体执行过
程如下
(1) 对全局图像裁剪，只保留体倉'场地内的图像，去除周边的复杂图像；
(2) 对裁剪的全局图像进行分块，依次对每块图像进行目标识别，以六块 为例(1=6)，如图3;
(3) 在每块图像内，将RGB模型变换为HSV模型。RGB与HSV模型的 转换关系为<formula>formula see original document page 9</formula>
(4)在第i块全局图像内进行目标识别和机器人定位，得到机器人和所有 球的夹角和距离即相对位置；具体步骤为
i)在第i块全局图像内提取球的位置，具体按如下做法进行(a)根据球的 颜色，在H域设置分割的阈值[r,，j;]，对全局图像进行二值分割；(b)对二值 图像开运算，去除因二值化产生的噪点，只保留小球产生的连通域；(c)对连通域进行标记；(d)根据实际环境，设定有效连通域的面积大小，去掉非球类物 体造成的干扰；(e)求解每一个有效连通域的形心，作为每个球的坐标；
ii) 在第i块全局图像提取机器人中心坐标，具体按如下做法进行(a)根 据机器人颜色，在H域设置分割的阈值[71,;]，对全局图像进行二值分割；(b) 对二值图像闭运算，使机器人所在连通域为一整体；(C)对闭运算的二值图像 进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器人的形 心坐标；
iii) 为了判别机器人的运动方向，在机器人前端放置一个带颜色的标志物， 在第1块全局图像提取机器人前端标志物的坐标，具体按如下做法进行(a)
根据机器人前端标志物的颜色，在H域设置分割的阈值[z;，7;]，对图像进行二值
分割;(b)对二值图像闭运算，使机器人前端标志物所在的连通域为一整体；(c) 对闭运算的二值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形 心，作为机器人前端标志物的形心坐标；
iv) 判别机器人和每个球的相对位置关系。在机器人卜.建立载体坐标系，以
+n CW r+i ,、—、丄{I;( +二 ^ZT fT2=T Jr +n tW r+i ,、 +匕rH A山.+二 + fL4n AAiA —>丄 fr山h— 介山
T儿研.八T^V、JHVJ、方0尔W、， 4H研乂、T^L、f日l口J HU乂而W、芯、'寸Xm、J刀l口J力y ， 勺y孑w 垂直的方向为X轴；设球的坐标为(^/汉,te肝)，机器人前端标志物的坐标为 (/zeat/X, teW"，机器人中心坐标为(rn^Y， ;在载体坐标系卜计算向量
71 = /ze"^Y —冊'M ， n = /ze"t/y —，= 6a/汉—附/t/J ， = ZwW — w'V/y 。
利用向:
—尤r与向量的叉乘—If
—j2一
求解向:
与
iT2 72
的夹
角，即目标球与机器人当前航向的夹角。若叉乘结果为正数，则目标球位于机 器人左侧；若叉乘结果为负数，则目标球位于机器人右侧。根据余弦定理求解 目标与机器人航向的夹角y7朋^，计算过程如下式
ba収-/ze(3iiY)2 + (6a肝—fea司2
6 = ^/(w/HeacZX)
力aoc/w = arccos
Zr + c— — a ^~^"""最后在全局图像中，球与机器人的相对距离按下式计算
(5) 得到所有球和机器人的相对位置后，确定目标球；设定机器人的优先 搜索范围的阈值，例如以机器人前端标志物为圆心(^"^,/^^^)， 500像素为半 径，30°的扇形区域为优先搜索区域，如图8。在机器人的优先搜索范围内，选 取离机器人最近的球为目标球；若机器人优先搜索范围内没有球，则直接选取 离机器人最近的球为目标球。
(6) 根据目标球和机器人的相对位置，对机器人进行捡球路径规划，实时 弓I导机器人向目标球移动。当图像处理器以全局摄像机采集到的图像计算目标 球和机器人的相对位置时，则根据求得的相对位置关系，确定机器人的转向与 机器人的运动速度；机器人运动速度的大小由目标球与机器人的距离决定，距 离越大，机器人运动速度越快，距离越小，机器人运动速度越慢；该速度变化 可以通过建立速度与距离的线性关系得到，也可以根据实际情况通过査表实现。
(7) 机器人接近目标球时(即球进入机器人载体摄像机(2)的可视范围)， 机器人的引导主要由机器人载体摄像机(2)来完成，全局摄像机(1)主要起 全局监控作用。此时在机器人载体摄像机图像内进行目标识别和机器人定位。 若机器人载体摄像机图像只有一个球，则利用步骤U)中的方法进行球的识别， 并以其作为目标球；若机器人载体摄像机图像有多个球，则利用步骤(4)中的 方法进行球的识别，并以机器人载体摄像机图像最下方的球为目标球。在确定 目标球后，计算目标球和机器人载体摄像机图像垂直中心线的像素距离 dwto"ce2 = 6a/汉-/wgM'W ，其中img滅M为机器人载体摄像机图像垂直中心线的 水平像素值。根据^to""2大小与正负，判断目标球与机器人的相对位置。若 血to"ce2〉0，则球在机器人的右侧，若^tonce2〈0，则球在机器人的左侧。
得到目标球与机器人的相对位置后，对机器人进行路径规划，引导机器人 驶向目标球，完成捡球动作。当图像处理器以机器人载体摄像机采集到的图像 计算目标球和机器人的相对位置时，则可以根据求得的相对位置关系确定机器 人的转向；为保证机器人的能够顺利捡球，机器人以恒定的低速运动。
(8) 根据全局摄像机(l)监测的图像，当目标球消失时，则认为完成拾取目 标球的任务，继续下一个捡球任务，重复歩骤(5);
11(9)当第i块全局图像内没有球时，开始处理第i+l块全局图像，继续拾 取第i+l块全局图像内的球，重复步骤(3)。
当多个机器人共同进行捡球工作时，可以使用多机器人协同工作的相关方 法控制机器人共同捡球；也可以将全局摄像机采集到的图像分块，令每个机器 人分别单独工作在不同的图像块区域中，在每个图像块中分别利用上述图像识 别方法和路径规划方法，对每个机器人在不同图像块区域中进行单独控制。
本发明不限于此实例，凡是利用本设计的设计思路，做一些简单变化的设 计均应列在本发明的保护范围之内。
权利要求
1、一种体育场捡球机器人视觉系统，其特征在于包括全局摄像机(1)，机器人载体摄像机(2)，无线视频传输模块，图像采集卡(5)和图像处理器(6)；其中全局摄像机(1)安装在体育场上方，全局摄像机(1)的视频输出接口与无线视频传输模块的发射端(3)连接，无线视频传输模块的接收端(4)与图像采集卡(5)连接，接收全局摄像机(1)采集到的体育场全局信号，机器人载体摄像机(2)安装在机器人上，与图像采集卡(5)连接，图像采集卡(5)与图像处理器(6)连接，为图像处理器(6)提供数字化的视频信号，图像处理器(6)对图像采集卡采集的图像信号实时进行处理，对采集到的图像进行目标识别和机器人定位，并对机器人进行捡球路径规划，控制机器人移动。
2、 根据权利要求1所述的体育场捡球机器人视觉系统，其特征在于全局摄 像机(1)、机器人载体摄像机(2)为带模拟接口的CCD摄像机，或为带数字USB 接口的CM0S摄像机。
3、 根据权利要求1所述的体育场捡球机器人视觉系统，其特征在于无线视 频传输模块传输模拟视频信号或数字视频信号。
4、 根据权利要求1所述的体育场捡球机器人视觉系统，其特征在于图像处 理器(6)为嵌入式PC，或者数字信号处理器。
5、 根据权利要求l-4所述的体育场捡球机器人视觉系统，其特征在于图 像处理器(6)对图像信号实时进行处理并控制机器人移动的方法为(1) 对全局图像裁剪，只保留体育场地内的图像，去除周边的复杂图像；(2) 对裁剪的全局图像进行分块，依次对每块图像进行以下操作(3) 在第i块全局图像内，将RGB模型变换为HSV模型；(4) 在第i块全局图像内进行目标识别和机器人定位，得到机器人和所有 球的夹角和距离即相对位置；(5) 设定机器人的优先搜索范围的阈值，在机器人的优先搜索范围内，选 取离机器人最近的球为目标球；若机器人优先搜索范围内没有球，则直接选取 离机器人最近的球为目标球；(6) 根据目标球和机器人的相对位置，对机器人进行捡球路径规划，实时 引导机器人向目标球移动；(7) 当机器人载体摄像机检测到目标球时，在机器人载体摄像机图像内进 行目标识别和机器人定位，得到目标球与机器人的相对位置后，对机器人进行捡球路径规划，引导机器人驶向目标球，完成捡球动作；(8) 当第i块全局图像内还有球时，重复步骤(5);(9) 当第i块全局图像内没有球时，开始处理第i+l块全局图像，重复歩 骤(3)。
6、根据权利要求5所述的体育场捡球机器人视觉系统，其特征在于所述 目标识别和机器人定位的方位为1)当机器人载体摄像机没有检测到目标球时，机器人与球的相对位置由全 局摄像机采集的图像计算，具体步骤为(1) 提取球的位置，具体按如下做法进行(a)根据球的颜色，在H域设 置分割的阈值[7;,7^]，对全局图像进行二值分割；(b)对二值图像开运算，去除 因二值化产牛的噪点，只保留小球产生的连通域；(C)对连通域进行标记；(d) 根据实际环境，设定有效连通域的连通域面积大小，去掉非球类物体造成的干 扰；(e)求解每一个有效连通域的形心，作为每个球的坐标；(2) 提取机器人中心坐标，具体按如下做法进行(a)根据机器人颜色， 在H域设置分割的阈值[7;,^]，对全局图像进行二值分割；(b)对二值图像闭运 算，使机器人所在连通域为一整体；(C)对闭运算的二值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器人的形心坐标；(3) 为了判别机器人的运动方向，在机器人前端放置一个带颜色的标志物， 提取机器人前端标志物的坐标，具体按如下做法进行(a)根据机器人前端标 志物的颜色，在H域设置分割的阈值[7;,7;]，对图像进行二值分割；(b)对二值 图像闭运算，使机器人前端标志物所在的连通域为一整体；(C)对闭运算的二 值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器 人前端标志物的形心坐标；(4) 判别机器人和球的相对位置关系在机器人上建立载体坐标系，以机 器人中心为坐标系原点，机器人中心指向前端标志物的方向为y轴，与y轴垂 直的方向为x轴；设球的坐标为(6。収，^〃}0，机器人前端标志物的坐标为 (/2e。dX， ，机器人中心坐标为(附kff,附W";在载体坐标系下计算向量利用向量与向量的叉乘nr2」72求解向:与12r2的夹角，即目标球与机器人当前航向的夹角；若叉乘结果为正数，则目标球位于机 器人左侧；若叉乘结果为负数，则目标球位于机器人右侧；根据余弦定理求解 目标与机器人航向的夹角；7 。^，计算过程如下式最后在全局图像中，球与机器人的相对距离按下式计算2)当机器人载体摄像机检测到目标球时，机器人与球的相对位置由机器人 载体摄像机采集的图像计算；若机器人载体摄像机图像只有一个球，则利用步 骤(1)方法进行球的识别，并以其作为目标球；若机器人载体摄像机图像有多 个球，则利ffl步骤(1)方法进行球的识别，并以机器人载体摄像机图像最下方 的球为M标球；在确定目标球后，计算目标球和机器人载体摄像机图像垂直中 心线的像素距离ita"ce2 = k //Z-^gMVff ，其中/附gM"为机器人载体摄像机图 像垂直巾心线的水平像素值；根据i/"""2大小与正负，判断目标球与机器人的 相对位置，若^血《"2>0，则球在机器人的右侧，若cfoto^ 2〈0，则球在机器人 的左侧。
7、根据权利要求5所述的体育场捡球机器人视觉系统，其特征在于所述 图像处理器对机器人进行路径规划的方法为1) 当图像处理器以全局摄像机采集到的图像计算目标球和机器人的相对位 置时，则根据求得的相对位置关系，确定机器人的转向与机器人的运动速度； 机器人运动速度的大小由目标球与机器人的距离决定，距离越大，机器人运动 速度越快，距离越小，机器人运动速度越慢；2) 当图像处理器以机器人载体摄像机釆集到的图像计算目标球和机器人的 相对位置时，则可以根据求得的相对位置关系确定机器人的转向；为保证机器 人的能够顺利捡球，机器人以恒定的低速运动。
8、根据权利要求7所述的体育场捡球机器人视觉系统，其特征在于当多 个机器人共同进行捡球工作时，使用多机器人协同工作的方法控制机器人共同 捡球；或者将全局摄像机采集到的图像分块，令每个机器人分别单独工作在不同的图像块区域中，在每个图像块中分别利用所述目标识别和机器人定位方法 以及路径规划方法，对每个机器人在不同图像块区域中进行单独控制。
全文摘要
本发明涉及体育场捡球机器人视觉系统，包括全局摄像机、机器人载体摄像机、无线视频传输模块、图像采集卡以及图像处理器。图像采集卡将全局摄像机、机器人载体摄像机采集到的视频信号传输到图像处理器，图像处理器根据视觉信号进行处理，并向机器人发送相应的控制指令。图像处理器利用颜色和形状对球和机器人进行识别，并实时判断机器人和球的相对位置，然后根据识别算法提供的位置信息，对机器人进行路径规划，使机器人以最优的路径完成捡球任务。本发明可以控制机器人在多球环境下完成捡球任务，处理速度快，适应多种体育场环境。
文档编号B25J9/16GK101537618SQ20081018813
公开日2009年9月23日 申请日期2008年12月19日 优先权日2008年12月19日
发明者元 付, 付梦印, 刘明阳, 昊 朱, 毅 杨, 熊之涛, 王在华, 诚 赵, 雷金周 申请人:北京理工大学