专利名称：实时精确观测和分析乒乓球旋转系统与系统运行方法
技术领域：
本发明涉及一种对乒乓球旋转运动的观测和分析系统，用于在乒乓球比赛和训练中对乒乓球的飞行状态，主要是其旋转情况的实时检测及分析，从而可以获取更为完整的乒乓球飞行轨迹信息，为分析球员的打球风格、伺服乒乓球机器人灵活打球奠定更好的基础。
背景技术：
近年来，视觉辅助系统在体育赛事中已有越来越多的应用，如网球转播中的“鹰眼”系统等。在乒乓球运动中，200910095291. 6专利申请公开了精确测量和预测乒乓球轨迹系统与系统运行方法，可以精确测量、预测和三维虚拟重现高速飞行乒乓球轨迹的实时处理系统；在此基础上，201010152129. 6专利申请公开了乒乓球比赛视觉支持和比赛分析系统与系统运行方法，对比赛过程中的乒乓球运动轨迹进行分析，可以为电视转播提供更丰富的比赛统计数据信息，也可以为运动员和教练提供比赛选手的特征数据分析。这两个专利涉及的系统解决了实时乒乓球轨迹数据的采集和统计信息问题。但对于乒乓球运动项目来说，乒乓球的旋转运动是使其具备灵活性、挑战性和观赏性的关键因素，能打出高水平的旋转球及能正确判断对手来球的旋转状态也是一个高水平运动员的必备素质。根据国内外体育专家研究，专业的乒乓球运动员打出的旋转球转速可达50转/秒以上，在如此高的转速下，人的肉眼无法通过观测乒乓球获知旋转状态，只能通过对手的击球动作和经验进行估计。而通过高速摄像机，则可以实时捕捉到相邻图像帧之间乒乓球的细小运动变化，从而实时推导和分析出其运动状态。利用高速摄像机观测乒乓球的旋转，其中的关键问题在于图像如何既要覆盖到整个乒乓球场地去得到乒乓球的完整运动轨迹，又要清晰地观测到乒乓球的局部细节(如球标)从而观测计算旋转。在摄像机分辨率有限的约束下，只用一套视觉系统无法满足其需求，需要结合全局观测和局部观测的双重数据才能还原物体运动的真实完整信息。
发明内容
本发明的目的是针对200910095291. 6专利存在问题的改进，提出一个完善可行的实时精确观测和分析乒乓球旋转的视觉系统及系统运行方法。用于在乒乓球比赛或训练中对乒乓球运动的旋转状态进行实时观测和分析，并对乒乓球的运动轨迹和三维姿态进行三维虚拟场景实时显示和历史记录回放。为达到上述发明目的，本发明提出了一种长短焦相机结合，全局视觉和局部视觉结合的视觉系统理念，利用200910095291. 6专利中所描述的短焦全局视觉系统观测乒乓球的空间位置，驱动电机云台控制长焦摄像机跟踪乒乓球局部图像，利用局部图像对乒乓球的标识(球标)进行识别和三维还原，得到连续的乒乓球三维姿态变化序列，从而分析出乒乓球的旋转状态。应用摄像机采图和数据处理结果存储，能够对乒乓球运动进行实时跟踪和轨迹记录，实现上述的多重功能。本发明的具体技术方案如下
本发明是一种实时精确观测和分析乒乓球旋转系统，包括至少两个以上的短焦摄像机、至少一个以上的长焦摄像机、两自由度以上的运动云台、控制多摄像机同步进行采图的同步装置，图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机和外接显示屏，所述的短焦摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；长焦摄像机固定在乒乓球桌上空的运动云台上，通过控制云台的运动使其视野跟踪运动中的乒乓球得到局部细节图像；同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；摄像机通过数据线与图像数据采集卡相连；数据采集卡通过主控机的总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示，由短焦摄像机组成的全局视觉系统得到乒乓球在以球桌为参考的世界坐标系下的全局坐标运动轨迹，驱动云台跟踪乒乓球得到乒乓球的局部细节图像，根据局部细节图像获取乒乓球的三维空间姿态信息，从而分析得到乒乓球的旋转运动状态，结合全局运动轨迹和乒乓球自身的旋转运动信息得到乒乓球完整的运动信息。本发明所述的系统包括如下组成模块图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块；系统架构流程是主控机上图像采集和乒乓球目标识别定位模块，经过目标识别，空间定位，把实时生成的数据送入KALMAN滤波器模块进行滤波，得到乒乓球的当前空间位置和速度等运动状态信息；云台运动规划和控制模块根据乒乓球的实时运动信息控制云台电机转动，使固定其上的摄像机可以跟踪拍摄乒乓球的局部图像，通过乒乓球标志识别和三维重构模块得到乒乓球的三维空间姿态信息，经由乒乓球旋转运动粒子滤波模块计算得到乒乓球的实时旋转情况，最后将乒乓球的空间位置和三维姿态轨迹实时送入三维虚拟场景重现模块进行三维虚拟场景绘制。本发明所述的系统将乒乓球的运动状态分为全局空间位置运动和自身旋转运动，在乒乓球的运动过程中对两种运动进行分别观测和分析，再对分析结果进行数据融合，得到兵兵球的完整运动信息。本发明所述的系统的具体步骤如下
(1)搭建硬件系统，半自动标定各摄像机内外参数；
(2)学习乒乓球空间运动模型和旋转运动模型参数，并在线修正；
(3)视觉采集乒乓球空间运动轨迹，并用Kalman滤波得到其空间运动状态；
(4)控制云台跟踪乒乓球运动，并根据电机运动情况计算其上摄像机的位姿参数；
(5)通过云台相机获取乒乓球的局部图像，识别商标特征并结合摄像机参数对乒乓球进行三维姿态还原；
(6)用粒子滤波算法得到乒乓球的旋转运动状态；
(7)将处理结果数据实时输入三维虚拟场景重现模块，在外接的显示屏中实时播放或回放乒乓球的三维空间姿态轨迹。
本发明的最大特点在于能实时对乒乓球的旋转信息进行观测和分析，在乒乓球空间运动的基础上得到其转动状态，从而可以得到更丰富和完整的乒乓球轨迹信息，并且仍具有极高的实时性，能为运动员训练教导、比赛实时裁判和直播、在线决策自动化系统的及时反映提供更丰富准确的信息。由于引入了对目标自身内部运动的观测分析，可以有效提高对目标运动状态估计和预测的精确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。本发明具有的有益效果如下
(1)提出了一种可以精确观测和分析乒乓球旋转的系统与方法，在提供乒乓球空间运动的同时，还实时给出了其自身旋转运行的观测和分析，可快速地为用户或自动化系统提供更为精确的高速运动中乒乓球未来时刻飞行轨迹预测结果；
(2)本发明中的方法和系统还可以应用于乒乓球运动员的训练指导、击球效果评估，以及乒乓球比赛的自动裁判和现场直播中。
因此，本发明是一种非常实用、有效的高速乒乓球旋转实时观测和分析系统，具有很好的应用前景。
图1系统硬件结构框 图2系统架构流程 图3云台三维示意 图4云台相机坐标系及云台转动示意 图5云台电机运动角度计算示意 图6 z 台相机目标跟踪效果 图7乒乓球三维空间姿态还原计算示意 图8乒乓球旋转状态估计示意 图9乒乓球三维空间姿态的虚拟场景显示。图1中，I是短焦摄像机，2是长焦摄像机，3是运动云台，4是同步装置，5是图像数据采集传输装置，6是主控计算机，7是视觉软件运行的系统环境，8是主控机的外接显示屏。
具体实施例方式本发明提供的实时精确观测和分析乒乓球旋转系统，由三个以上摄像机、控制多摄像机进行同步采图的同步装置、图像数据采集传输装置、两个以上自由度的云台、云台运动控制装置、包含有视觉软件运行的系统环境的主控计算机组成；其中两个以上摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；一个摄像机固定在球桌上方的云台上，可通过云台运动控制装置控制云台的运动跟踪乒乓球运动；图像数据采集传输装置的同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；摄像机通过数据线与图像数据采集卡相连；数据采集卡通过主控机的PCI总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示。实时精确观测和分析乒乓球旋转系统主要包括如下组成功能模块图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块。系统架构流程是主控机上图像采集和乒乓球目标识别定位模块，经过目标识别，空间定位，把实时生成的数据送入KALMAN滤波器模块进行滤波，得到乒乓球的当前空间位置和速度等运动状态信息；云台运动规划和控制模块根据乒乓球的实时运动信息控制云台电机转动，使固定其上的摄像机可以跟踪拍摄乒乓球的局部图像，通过乒乓球标志识别和三维重构模块得到乒乓球的三维空间姿态信息，经由乒乓球旋转运动粒子滤波模块计算得到乒乓球的实时旋转情况；最后将乒乓球的空间位置和三维姿态轨迹实时送入三维虚拟场景重现模块进行三维虚拟场景绘制。本发明所述的云台运动规划和控制模块，能根据乒乓球的运动信息计算跟踪乒乓球所需要的各电机的运动角度，并考虑整个系统的延时和电机运动加速延迟加以补偿，实现对快速运动乒乓球的实时稳定跟踪。本发明所述的乒乓球标志识别和三维重构模块，通过颜色特征对乒乓球上的特定标志(主要是商标)进行识别，并结合随着云台运动的摄像机位姿参数的实时计算更新，将商标和球心的空间坐标进行还原，从而得到乒乓球在当前采图时刻的三维空间姿态信息。本发明所述的乒乓球旋转运动粒子滤波模块，建立乒乓球的旋转运动模型，针对前后数帧乒乓球三维姿态序列(可能会乒乓球自身的遮挡导致观测信息不连续)，采用粒子滤波算法，计算出乒乓球的旋转运动信息(转速和方向)。本发明所述的三维虚拟场景重现模块为基于OpenGL的三维虚拟场景重现模块在三维虚拟场景中任意角度观看和回放用户指定的带乒乓球空间姿态信息(由商标指示)的飞行轨迹；并输出到显示屏幕上。本发明提供的实时精确观测和分析乒乓球旋转系统与系统运行方法，所述的运行步骤如下
(1)搭建硬件系统，半自动标定各摄像机内外参数；
(2)学习乒乓球空间运动模型和旋转运动模型参数，并在线修正；
(3)视觉采集乒乓球空间运动轨迹，并用Kalman滤波得到其空间运动状态；
(4)控制云台跟踪乒乓球运动，并根据电机运动情况计算其上摄像机的位姿参数；
(5)通过云台相机获取乒乓球的局部图像，识别商标特征并结合摄像机参数对乒乓球进行三维姿态还原；
(6)用粒子滤波算法得到乒乓球的旋转运动状态；
(7)将处理结果数据实时输入三维虚拟场景重现模块，在外接的显示屏中实时播放或回放乒乓球的三维空间姿态轨迹。其中上述方法中控制云台运动采用如下方法
(1)离线标定云台的零位和摄像机的内外参参数；
(2)在线获取乒乓球的空间运动状态，并估计从乒乓球图像采集到驱动电机运动的系统延时，预测该延时时间后乒乓球运动到的空间位置； (3)计算从云台上摄像机机观测到乒乓球目标位置所需要的云台电机角度；
(4)通过云台控制装置控制云台进行运动。其中上述方法中乒乓球的三维姿态还原采用如下方法
(1)利用云台上搭载的摄像机获取乒乓球的局部大图像；
(2)通过颜色特征识别图像中乒乓球的球标位置；
(3)根据云台的当前运动角度计算摄像机的实时位姿参数；
(4)结合乒乓球球心的空间坐标、摄像机的位姿参数和图像识别结果获得乒乓球球标的空间坐标，利用球心和球标的相对关系获取乒乓球的三维姿态。其中上述方法中用粒子滤波算法得到乒乓球的旋转运动状态采用如下方法
(O离线建立考虑乒乓球旋转运动的运动学模型，学习和更新模型参数；
(2)在线将当前的乒乓球三维姿态输入粒子滤波器，实时更新当前的乒乓球旋转运动状态(包括当前的三维姿态、旋转方向和速度);
其中上述方法中三维虚拟场景重现采用如下方法
(1)用OpenGL离线搭建虚拟场景内的静态物体(球桌、房间等)，通过贴图绘制初始位姿的乒乓球三维显示；
(2)将乒乓球空间运动和旋转状态信息传入三维虚拟场景显示模块，先通过空间平移移动虚拟乒乓球至指定空间位置，再根据乒乓球的位姿信息(球标法线向量、球标方向向量)设置对乒乓球表面的球标进行绘制；
下面结合附图，详细描述本发明利用长短焦摄像机机配合，全局视觉和局部视觉配合，实现对乒乓球的运动轨迹，特别是旋转运动情况进行观测和分析，得到乒乓球飞行的完整运动信息，并在三维虚拟空间的场景重现。其中获取乒乓球三维空间位置及对乒乓球空间运动状态滤波的基于短焦摄像机全局视觉系统在200910095291. 6专利中已有详细介绍，本说明书中不再重复介绍。图1给出了系统的硬件结构框图，整个系统主要由两个以上短焦摄像机(I)、一个以上长焦摄像机(2)、两自由度以上的运动云台(3)、控制多摄像机进行同步采图的同步装置(4)，图像数据采集传输装置(5)、包含有视觉软件运行的系统环境(7)的主控计算机
(6)、以及外接显示屏(8)构成。所述视觉软件运行的系统环境(7)包含摄像机在不同操作系统下的驱动、摄相机视频的采集软件、视频图像处理软件、多相机信息融合软件、滤波软件等所有隐藏在视觉软件用户操作界面下的核心功能软件合集，它是硬件系统与用户进行交流的桥梁。视觉软件运行的系统环境与硬件系统组成了整个视觉系统各个功能模块。短焦摄像机(I)固定在乒乓球桌上空，它们的视野交叉覆盖乒乓球运动的有效区域；长焦摄像机(2)固定在云台(3)上，可以通过控制云台(3)的运动使得长焦摄像机(2)的图像跟踪运动的乒乓球；同步装置(4)产生多路周期脉冲信号，通过控制线连接短焦摄像机(I)和长焦摄像机(2)，控制多摄像机进行同步采图；通过图像数据采集传输装置(5)将短焦摄像机(I)和长焦摄像机(2)采集到的数据传送到主控计算机(6)，由视觉软件进行数据处理；处理结果输出到主控机的外接显示屏(8)上进行显示。图2是系统的架构流程图，所述系统包括如下组成模块乒乓球全局位置定位模块(短焦全局视觉)、乒乓球空间运动状态估计模块、云台运动规划和控制模块、乒乓球三维位姿重构模块、乒乓球旋转运动状态估计模块、三维虚拟场景重现显示模块。
系统的架构流程是短焦全局视觉系统通过高速图像采集处理和目标定位得到乒乓球在三维空间中的位置，然后把实时计算得到的定位数据送入空间运动状态估计模块进行实时滤波，得到平滑稳定的乒乓球空间位置和运动速度。云台运动规划和控制模块根据乒乓球的空间位置信息，计算使得固定其上的长焦摄像机的图像实时跟踪对准乒乓球所需的云台电机运动角度，并驱动这些电机运动到所需角度，从而可以通过长焦摄像机采图得到乒乓球实时的局部放大图像。乒乓球三维位姿重构模块首先结合长焦相机的初始标定结果和云台电机的当前运动角度得到长焦相机实时的外参参数，然后对乒乓球的局部图像进行处理，得到乒乓球的球心和球表面标识(如商标)的图像坐标；之后结合长焦相机参数和图像识别结果将乒乓球的三维空间姿态还原。乒乓球旋转运动状态估计模 块对前后几帧的乒乓球三维空间姿态进行滤波估计，实时计算更新乒乓球的旋转运动状态(旋转的方向和速度)。最后将乒乓球的空间运动和旋转运动信息相结合，就可以得到乒乓球飞行运动的完整信息，从而更好地实时伺服运动机构或对乒乓球击球风格分析。而通过三维虚拟场景重现显示模块，就可以从任意角度实时在三维虚拟场景中显示带标识特征的乒乓球三维空间位姿信息，便于用户更直观地观察和了解乒乓球运动情况。图3是运动云台的三维示意图，该云台具有两个(或以上)的自由度，有固定加持底座可以将云台固定到指定位置，具有摄像机安装平台和装置可将摄像机与云台固定，通过驱动云台的电机运动，可将摄像机的图像中心对准乒乓球有效运动区域的任意位置。图4云台相机坐标系及云台转动示意图，云台上相机坐标系的z轴从相机光心沿着透镜方向向前，X轴为成像平面横向轴(对应所成图像的宽)，y轴为成像平面的纵向轴(对应所称图像的高)。对于图4所示的两自由度云台来说，云台由两个电机驱动，一个电机可驱动相机绕垂直方向(与世界坐标系z轴平行)旋转，我们称之为偏摆；另一个电机可驱动相机绕云台相机坐标系下的X轴旋转，我们称之为俯仰。图5是云台电机运动角度计算示意图，Oc为相机位置，在世界坐标系中的坐标为(Oex.Oc^ocz) 为兵兵球位置,在世界坐标系中
的坐标为(o6x,o6>..OiJ ;相机初始的视野中心指向世界坐标系的坐标原点，即射线P -M
动0i,p)角度之后(其中a为俯仰角，P为偏摆角)，相机的视野中心变为乒乓球，即射线麻；
o^uo；分别为A和O6在O-X-Y平面的投影，0;的坐标为(Occ, OcyJ), 0;的坐标为(0fa.—, O6y, 0)。相机视野中心点由世界坐标系原点变为乒乓球所需要的偏摆即为图3所示的P角。由几何关系可知，P角为和◎的夹角，计算公式为:
权利要求
1.一种实时精确观测和分析乒乓球旋转系统，包括至少两个以上的短焦摄像机、至少一个以上的长焦摄像机、两自由度以上的运动云台、控制多摄像机同步进行采图的同步装置，图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机和外接显示屏，所述的短焦摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；所述的长焦摄像机固定在乒乓球桌上空的运动云台上，通过控制云台的运动使其视野跟踪运动中的乒乓球得到局部细节图像；所述的同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；所述的摄像机通过数据线与图像数据采集卡相连；所述的数据采集卡通过主控机的总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示，其特征在于，由短焦摄像机组成的全局视觉系统得到乒乓球在以球桌为参考的世界坐标系下的全局坐标运动轨迹，驱动云台跟踪乒乓球得到乒乓球的局部细节图像，根据局部细节图像获取乒乓球的三维空间姿态信息，从而分析得到乒乓球的旋转运动状态，结合全局运动轨迹和乒乓球自身的旋转运动信息得到乒乓球完整的运动信息。
2.根据权利要求1所述的实时精确观测和分析乒乓球旋转系统，其特征在于，包括如下组成模块图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块；所述系统架构流程是主控机上图像采集和乒乓球目标识别定位模块，经过目标识别，空间定位，把实时生成的数据送入KALMAN滤波器模块进行滤波，得到乒乓球的当前空间位置和速度等运动状态信息；云台运动规划和控制模块根据乒乓球的实时运动信息控制云台电机转动，使固定其上的摄像机可以跟踪拍摄乒乓球的局部图像，通过乒乓球标志识别和三维重构模块得到乒乓球的三维空间姿态信息，经由乒乓球旋转运动粒子滤波模块计算得到乒乓球的实时旋转情况，最后将乒乓球的空间位置和三维姿态轨迹实时送入三维虚拟场景重现模块进行三维虚拟场景绘制。
3.根据权利要求1所述的实时精确观测和分析乒乓球旋转系统，其特征在于，将乒乓球的运动状态分为全局空间位置运动和自身旋转运动，在乒乓球的运动过程中对两种运动进行分别观测和分析，再对分析结果进行数据融合，得到乒乓球的完整运动信息。
4.根据权利要求1所述的实时精确观测和分析乒乓球旋转系统，其特征在于，具体步骤如下 搭建硬件系统，半自动标定各摄像机内外参数； 学习乒乓球空间运动模型和旋转运动模型参数，并在线修正； 视觉采集乒乓球空间运动轨迹，并用Kalman滤波得到其空间运动状态； 控制云台跟踪乒乓球运动，并根据电机运动情况计算其上摄像机的位姿参数； 通过云台相机获取乒乓球的局部图像，识别商标特征并结合摄像机参数对乒乓球进行三维姿态还原； 用粒子滤波算法得到乒乓球的旋转运动状态； 将处理结果数据实时输入三维虚拟场景重现模块，在外接的显示屏中实时播放或回放乒乓球的三维空间姿态轨迹。
全文摘要
一种实时精确观测和分析乒乓球旋转的视觉系统及系统运行方法，系统包括如下组成模块图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块；本发明的最大特点在于能实时对乒乓球的旋转信息进行观测和分析，在乒乓球空间运动的基础上得到其转动状态，从而可以得到更丰富和完整的乒乓球轨迹信息，并且仍具有极高的实时性，能为运动员训练教导、比赛实时裁判和直播、在线决策自动化系统的及时反映提供更丰富准确的信息。由于引入了对目标自身内部运动的观测分析，可以有效提高对目标运动状态估计和预测的精确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。
文档编号G06T7/20GK103019024SQ20121049756
公开日2013年4月3日 申请日期2012年11月29日 优先权日2012年11月29日
发明者章逸丰, 赵永生, 熊蓉, 褚健 申请人:浙江大学