专利名称：移动球的感测处理装置及方法以及使用该装置与方法的虚拟高尔夫球模拟装置的制作方法
技术领域：
本发明涉及一种移动球的感测处理装置及方法以及使用上述装置与方法的虚拟高尔夫球模拟装置，并且尤其涉及一种移动球的感测处理装置及方法，其获取并分析诸如高尔夫球等移动球的图像，以获得其物理信息，以及涉及一种使用上述装置与方法的虚拟高尔夫球模拟装置。
背景技术：
在最近些年中，已经开发出的各种装置允许用户以交互式体育游戏的形式通过模拟在室内或特定地点中享受流行体育游戏，诸如棒球、足球、篮球、以及高尔夫球等。为了在这种交互式体育游戏中使用球如棒球、足球、篮球以及高尔夫球等来模拟体育运动，已经对各种感测系统进行了大量研究，以便准确地感测移动球的物理信息，即，该球的移动。例如，诸如使用红外线传感器的感测系统、使用激光传感器的感测系统、使用声传感器的感测系统以及使用摄像机传感器的感测系统等各种感测系统都已经进入了市场。
发明内容
技术问题本发明的目的是提供一种移动球的感测处理装置及方法，尽管低质量图像由低分辨率和低速摄像机装置以及闪光灯手电筒装置所获取，本发明所公开的该移动球的感测处理装置及方法能够精确地获得在子像素级于该已获取的图像中的球图像的中心点的坐标，从而以低成本实现了高感测处理性能和感测准确度，并且本发明还公开了使用上述装置与方法的虚拟高尔夫球模拟装置。解决问题的方案根据本发明的一方面，上述和其他目的可以通过提供感测处理装置而实现，以便在预定光照条件下获取并分析移动球的图像，该感测处理装置包括一光线方向估测装置，分析来自该已获取图像的球图像并且估测朝向该移动球的光线的方向；以及一图像处理装置，沿着该已估测的光线方向基于该球图像的辐射侧将该球图像安装到球形中，以获取该放入的图像的中心点的坐标。根据本发明的另一方面，提供一种感测处理装置，以在预定光照条件下获取并分析移动球的图像，该感测处理装置包括一半圆形安装装置，基于由该光线方向估测装置所估测的光线方向在该球图像的特定位置处形成预定直径或由该球图像所测量的直径的半圆形曲线，并且基于该直径安装在该半圆形曲线对面的半圆形；以及一坐标提取装置，提取安装球图像的该半圆形的中心点的坐标。根据本发明的另一方面，提供一种感测处理方法，以在预定光照条件下获取并分析移动球的图像，该感测处理方法包括分析来自该已获取的图像的球图像以估测朝向该移动球的光线的方向；沿着该已估测的光线方向基于该球图像的辐射侧将该球图像安装在球形中；以及提取该安装的图像的中心点的坐标。根据本发明的另一方面，提供了一种虚拟高尔夫球模拟装置，包括一传感器单元，该传感器单元包括一摄像机装置和一闪光灯手电筒装置，以获取被高尔夫球球员打击的移动高尔夫球的多重曝光图像；一感测处理单元，该感测处理单元包括一光线方向估测装置，以提取并分析来自该已获取的图像的高尔夫球的图像，并且估测自该闪光灯手电筒装置朝向高尔夫球发射的光线的方向，以及一图像处理装置，沿着该已估测的光线方向基于该高尔夫球图像的辐射侧将该高尔夫球图像安装在高尔夫球形状中，并且提取该安装图像的中心点的坐标；以及一模拟器，计算该中心点的坐标的变化，并且获得与该移动高尔夫球有关的物理信息，从而模拟该高尔夫球的轨道。本发明的有益效果根据如上所述的本发明，在一种移动球的感测处理装置及方法以及使用上述装置与方法的虚拟高尔夫球模拟装置中，尽管低质量图像由低分辨率和低速摄像机装置以及闪光灯手电筒装置所获取，但是本发明所公开的移动球的感测处理装置及方法可以获得在子像素级于该已获取的图像中的球图像的中心点的坐标。因此，本发明具有以以低成本实现了高感测处理性能和感测准确度的效果，并且本发明还公开了使用上述装置与方法的虚拟高尔夫球模拟装置。
本发明的上述和其它目的、特点以及其它优点将通过下面结合附图进行的详细说明而更加清楚地理解，其中图1是显示根据本发明的一实施例中的感测处理装置或虚拟高尔夫球模拟装置的框图；图2是显示屏幕高尔夫系统的实施例的视图，其中在图1中示出的感测处理装置或虚拟高尔夫球模拟装置被应用到该屏幕高尔夫系统；图3是显示根据本发明的一实施例中摄像机装置和闪光灯手电筒装置的操作信号方案的视图，以获取将要由感测处理装置处理的图像；图4(a)和图4(b)是显示通过在图2中示出的屏幕高尔夫系统所获取的球的图像图案的视图；图5 (a)是显不实际获取的具有图4 (a)中显不的图案的图像的不例的视图，图5(b)是显示图5(a)中示出的图像的初步处理的图像的视图；图6是在多个画面重叠的状态下排列的图5(b)中显示的图像的放大视图，其显示了球图像提取过程；图7(a)至图7(c)是说明安装球图像的原理的视图，其中，图7 (a)是显示球图像的视图；图7(b)是显示该球图像的错误安装示例的视图；以及图7(c)是显示使用本发明的安装装置的该球图像的安装示例的视图；图8(a)是显示去除背景的图像的视图，图8(b)是显示图8(a)的区域A的放大视图；图9(a)是显示以低水平进行图像处理图8(a)中显示的图像所获取的图像的视图，图9 (b)是显不图9 (a)的区域B的放大视图；图10(a)是显示以高水平进行图像处理图8(a)中显示的图像所获取的图像的视图，图10(b)是显示图10(a)的区域C的放大视图；图11(a)是显示通过从图10(b)中显示的图像中提取最大亮度点而获取的图像的视图，图11(b)是显示通过将该最大亮度点应用到图9 (a)中显示的图像而获得的图像的视图；图12(a)是显示对该球图像的最大亮度点执行线扫描过程的视图；图12(b)是显示作为该线扫描的结果而获得的图像的视图；以及图12(c)是显示通过将平均过滤器应用到图12(b)中显示的线扫描结果而获取的图像的视图；图13是说明光线指向球图像方向的估测的视图；图14是显示根据本发明在球图像上显示的感测处理装置的光线方向估测装置所估测的光线方向的轴线的视图；图15是显示测量图9(b)中示出的球图像的直径的过程的视图；图16、图17(a)和图17(b)是显示根据已估测的光线方向安装球图像的过程的视图；图18是显示通过从图17(a)和图17(b)所示安装过程而安装的球图像中提取中心点而获取的图像的视图；图19和图20是显示根据本发明中感测处理方法的各个实施例的流程图；以及图21是更详细地显示图19和图20中示出的球图像安装过程的流程图。
具体实施例方式现在将参考附图更详细地描述根据本发明的移动球的感测处理装置及方法以及使用上述装置与方法的虚拟高尔夫球模拟装置的示例性实施例。根据本发明的用于移动球的感测处理装置可应用到所有系统，该系统通过获取和分析使用球的体育运动如高尔夫球中移动球的状态的图像而进行感测。在一实施例中，感测处理装置可以应用到所谓的屏幕高尔夫系统，其中虚拟高尔夫球模拟装置应用到该屏幕高尔夫球系统。图1和图2示意性地显示根据本发明的实施例中用于移动球的感测处理装置以及使用上述装置的虚拟高尔夫球模拟装置的构造。首先，将参考图1和图2描述根据本发明的实施例中用于移动球的感测处理装置以及使用上述装置的虚拟高尔夫球模拟装置。如图1所示，本发明涉及一种感测处理装置220，用于处理通过包含有摄像机装置310和320、闪光灯手电筒装置330以及信号生成单元210的传感器单元所获取的图像，以处理球的图像，从而提取中心点的坐标。优选地，根据本发明的一实施例中的感测处理装置220包括初步处理装置230、图像提取装置240、光线方向估测装置250以及图像处理装置260。首先描述该传感器单元。提供摄像机装置310和320，以在该球的移动方向上分别获取与从最初位置移动的球的移动有关的多个画面。在图1中，提供两个摄像机装置310和320，然而，本发明并不受限于此。例如，可以提供一个摄像机装置或超过两个摄像机装置。闪光灯手电筒装置330是使用发光二极管(LED)的照明装置。该闪光灯手电筒装置330被用作为摄像机装置拍摄的光源。闪光灯手电筒装置330以预定时间间隔(即，多个闪光以预定时间间隔产生)产生闪光灯手电筒，使得摄像机装置310和320可以拍摄多重曝光图像。S卩，球出现于由该摄像机装置拍摄的画面上，以响应自闪关灯手电筒装置330生成的闪光的次数，以提供其多重曝光图像。下面将更加详细地描述摄像机装置310和320以及闪光灯手电筒装置330的操作。同时，用于操作摄像机装置310和320以及闪光灯手电筒装置330的触发信号由信号生成单元210所生成。根据本发明，由摄像机装置310和320以及闪光灯手电筒装置330所拍摄的多重曝光图像通过感测处理装置220处理并被传送到模拟器100。提供根据本发明的实施例中感测处理装置220的光线方向估测装置250，以提取球图像的最大亮度点，从而估测穿过该最大亮度点的闪光灯手电筒的光线方向。光线方向估测装置250包括亮度分析装置(图未示)以及扫描装置(图未示)，下面将对其进行更加详细地描述。同时，提供图像处理装置260以基于球图像的侧面轮廓将球图像安装在球形中，其中根据由光线方向估测装置250估测的光线方向发射的光被辐射到该球图像，从而提取已安装图像的中心点的坐标。S卩，图像处理装置260优选地包括:半圆形安装装置270，以形成预定直径或在球图像的特定位置上通过球图像测量的直径的半圆形曲线，并且根据该直径安装在半圆形曲线对面的半圆形；以及坐标提取装置280，以提取安装有半圆形的球图像的中心点的坐标，下面将对其进行更加详细地描述。在通过该球图像测量的值被用作为半圆形曲线的直径的情况下，该感测处理装置优选地进一步包括直径测量装置，以测量该球图像的直径。同时，提供初步处理装置230，通过预定工序去除由该传感器单元获得的该多重曝光图像中不包括球图像的背景图像和噪音。提供图像提取装置240，以便于从由初步处理装置230初步处理的图像中提取球图像(更具体地，以便提取被估测为球的图像，即球图像候选)。相对于由图像提取装置240提取的球图像，执行由光线方向估测装置250执行的球图像中光线方向的估测以及由图像处理装置260执行的球图像的安装。同时，模拟器100优选地包括控制器M、数据库110、图像处理单元120以及图像输出单元130。控制器M接收已经被进行图像处理且由感测处理装置220获取的移动球的坐标信息、将该坐标信息转换成三维坐标、计算在三维空间中移动球的坐标的变化、获得该球的移动轨道模拟的预定物理信息以及将所获得的物理信息传送到图像处理单元120。该球的移动轨道模拟的预定数据可以从数据库110中提取，并且通过图像处理单元120对球的移动轨道模拟所进行的图像处理可以通过提取存储在数据库110中的图像数据来执行。
同时，可以与控制器M分开地提供转换装置，以便于将自该感测处理装置220传送的移动球的坐标信息转换成三维坐标。在硬件方面，初步处理装置230、图像提取装置240、光线方向估测装置250和图像处理装置260可以实现为单一控制器，被配置以执行上述装置的功能，或者实现为单独的控制器，被配置以分别执行上述装置的功能。在软件方面，初步处理装置230、图像提取装置240、光线方向估测装置250和图像处理装置260可以实现为单一程序，被配置以执行上述装置的功能，或者实现为单独的程序，被配置以分别执行上述装置的功能。图2显示了一种屏幕高尔夫球系统的示例，其中具有上述构造的该感测处理装置或该虚拟高尔夫球模拟装置应用到该屏幕高尔夫球系统。如图2所示，具有在其上放置高尔夫球的高尔夫球球座的打击垫30、地面(优选地包括从球道垫、粗糙垫和沙坑垫中选择的至少一个)以及摇板20，提供在高尔夫球单间B的一个侧面处，其中在摇板20上高尔夫球球员打击高尔夫球。屏幕40被提供在高尔夫球单间B的前方处，其中由图像输出单元130实现的虚拟高尔夫球模拟图像显示在屏幕40上。摄像机装置310和320以及闪光灯手电筒装置330提供在高尔夫球单间B的顶棚处。在图2中，摄像机装置310和320分别提供在高尔夫球单间B的顶棚和墙壁处，然而，本发明并不受限于此。只要摄像机装置310和320没有干扰到高尔夫球球员的摆动，并且在摄像机装置310和320可以有效地拍摄高尔夫球10的移动状态的图像的同时防止其与高尔夫球球员打击的高尔夫球相撞，摄像机装置310和320可以安装在高尔夫球单间B的任何位置处。此外，在图2中，闪光灯手电筒装置330安装在高尔夫球单间B的顶棚处，以提供基本垂直于打击点的闪光灯手电筒，然而本发明并不受限于此。只要闪光灯手电筒装置330可以有效地提供闪光灯手电筒，闪光灯手电筒装置330可以安装在高尔夫球单间B的任何位置处。 当摇板20上的高尔夫球球员朝向具有上述构造的系统中的屏幕40打击打击垫30上的高尔夫球10时，如图2所示，拍摄进行打击的预定区域的摄像机装置310和320分别拍摄多个画面。此时，闪光灯手电筒装置330在每一画面中产生数个闪光，以获取该移动的高尔夫球的多重曝光图像。图3是显示由信号生成单元210 (参考图1)的摄像机装置和闪光灯手电筒装置的触发信号生成方案的视图。如图3所示，该摄像机装置的触发信号具有时间间隔tc。即，对于每一画面而言，触发信号以时间间隔tc生成。此时,每一画面的曝光时间是te(此时，优选地tc>te)。此夕卜，tc-te时间所获取的图像数据优选地被传送到感测处理装置220 (参考图1)。S卩，如图3所示，对于每一画面而言，摄像机装置以触发信号生成时间之间的间隔而触发，并且在已获取的多重曝光图像上的数据被传送到感测处理装置。在该摄像机装置的曝光时间(时间te)期间，闪光灯手电筒由闪光灯手电筒装置生成数次。在图3中，闪光灯手电筒触发信号以时间间隔tsl而生成三次。S卩，在该摄像机装置的曝光时间(时间te)期间，闪光灯手电筒以相同时间间隔tsl而生成三次。此时，摄像机装置和闪光灯手电筒装置优选地与信号生成单元210同步(参考图1)，以生成第一触发信号。此外，如图3所示，时间间隔ts2优选地提供在该三个闪光灯手电筒中的最后一个的触发信号与下一画面的第一闪光灯手电筒之间。时间间隔tsl和时间间隔ts2可以设定为彼此相等。然而，如图3所示，时间间隔tsl和时间间隔ts2优选地设定为彼此不同。在此情况下，时间间隔ts2可以设定为长于时间间隔tsl。因为如上所述的摄像机装置和闪光灯手电筒装置的触发信号间隔是相同的，因此在多重曝光图像上的球图像之间的间隔也是相同的。当由该感测处理装置处理该多重曝光图像时，因此，可以基于触发信号的相同固定间隔的特性从该多重曝光图像上显示的球图像和各种噪音中有效地分离出正确的球图像。此外，因为对于该摄像机装置的每一画面而言，该闪光灯手电筒的间隔被均匀地固定，具有各种图案的图像可以根据球的移动速度从该多重曝光图像中生成。图4(a)和图4(b)显示了当高尔夫球球员使用高尔夫球棒打击球时的移动球(高尔夫球)的图像。图4(a)和图4(b)为分别显示基于图3显示的信号生成方案而由摄像机装置和闪光灯手电筒装置所获取的多重曝光图像的两个图案。图4 (a)显示的图像11通过高尔夫球球棒图像Cl、C2和C3以及球图像IlaUlb和Ilc的多重曝光而获取。在此情况下，球图像IlaUlb和Ilc彼此分隔一预定间隔。图4(b)的图像12显示了球图像重叠以提供预定尺寸的图像区域12的情况。S卩，在图4(a)显示的图像中，该球以高速移动，因此，当闪光灯手电筒被触发时，该图像在该球图像彼此分隔一预定间隔的状态中形成，并且在图4(b)显示的图像中，该球以低速移动，因此，在该球远远地移开之前，闪光灯手电筒被触发，从而导致该球图像彼此重叠。提供根据本发明的该感测处理装置和方法，以便于当该球图像在多重曝光图像上彼此分离时，因为该球基于图4(a)所示的闪光灯手电筒的固定间隔以等于或大于预定速度的速度移动，而准确地获得该球的中心点的坐标。在根据本发明的感测处理方法中，排除了图4(b)所示的该球图像重叠的情况。该重叠的球图像由附加程序处理，该附加程序背离本发明的范围，因此将省略对其详细的描述。下面将参考图5至图18来描述根据本发明中通过移动球的感测处理装置对图4(a)显示的单独球图像的处理。图5(a)是显示包括单独球图像的多重曝光图像的正本的视图。该多重曝光图像使用具有320x240的低分辨率且以75fps的低速操作的摄像机装置以及以330Hz操作的闪光灯手电筒装置而获得。初步处理装置230 (参考图1)通过减法从图5(a)显示的原始图像中去除静止图像，即背景图像，并且执行诸如高斯模糊等预定初步处理操作。图5(b)显示了通过初步处理操作获取的图像。如上所述，当通过初步处理装置将背景图像和噪音从多重曝光图像中适当地去除时，可以容易地提取球图像，下面将参考图6对其进行描述。显示于图6的图像通过重叠由摄像机装置拍摄的多个画面为单一图像而获得。假设通过生成三个闪光而形成的三个球图像构成图像集合，图像集合SO表示第零个画面的图像；图像集合SI表示第一个画面的图像；以及图像集合S2表示第二个画面的图像。图像提取装置240(参考图1)可以通过轮廓核对或核对窗口提取由该球图像所估测的图像。可以进行该处理，以保留被估测为球的最后图像而丢弃被估测为不是球的图像。S卩，该球具有预定直径。因此，考虑到该球的直径，核对多重曝光图像上各自图像的轮廓，如果它们太大或太小而不能成为该球，则可以排除已核对的轮廓。此外，如图6所示，形成与多重曝光图像的各自图像11的尺寸对应的核对窗口 W，以包括各自的图像11，并且核对各自的核对窗口 W的纵横比。因为该球是圆形，因此该球的纵横比必须几乎相等。如果与多重曝光图像上的各自图像11对应的核对窗口 W的纵横比太大而导致各核对窗口 W具有大的宽度,或者太小而导致各核对窗口 W具有小的宽度，则多重曝光图像上的各自图像11被认为不是球而因此被丢弃。因此，可以使用上述所示的方法从多重曝光图像中提取被估测为球的图像11。同时，作为球图像而提取的图像11被安装在图7 (a)、图7(b)和图7(c)中显示的球形中，以获取各图像的中心点的坐标。图7(a)是显示在闪光灯手电筒下获取的球图像的实施例的视图；图7(b)是显示球的错误安装结果的视图；以及图7(c)是显示根据本发明中使用该图像处理装置的半圆形安装装置270(参考图1)正确地安装球的结果的视图。如图7(a)所示，当闪光灯手电筒照射时拍摄球图像11。因此，照射区域Rl清晰地显示在球图像11的一个侧面，而阴影区域则显示于与照射区域Rl相对的区域。即，覆盖部分球图像11的阴影区域R2出现于与照射区域Rl相对的区域。根据光线的角度，阴影区域可以仅显示在部分球图像上或者可以覆盖超过一半的球图像。如果当在闪光灯手电筒下获取的球图像被遮避时，球图像被安装在如图7(b)所示的球形中，该球图像的中心点扭曲，从而导致中心点的坐标信息出现错误，因此，该球的移动模拟的准确度大大地降低。因此，优选地，考虑到在该球图像处出现的阴影区域，进行由闪光灯手电筒获取的球图像的安装。作为考虑到该阴影区域而安装该球图像的一个示例，可以估测照射该球的闪光灯手电筒的光线方向，并且根据该光线方向进行安装以使该阴影区域包括在安装曲线中。图7(c)显示了考虑到该光线方向而安装该球图像。如图7(c)所示，安装曲线FC形成在球图像11的照射区域R1，以使阴影区域R2包括在安装曲线FC中。以此方式安装该球图像，因此准确地提取该球图像的中心点CP。如上所述，为了准确地提取该球图像的中心点，必须执行初步处理操作，以便于自该最初获取的多重曝光图像中适当地去除背景图像和噪音，因此仅保留球图像。为了估测光线方向和安装该球图像，必须执行初步处理操作，诸如相对于该图像实施适当的高斯模糊，相对于特定像素值实施阈值处理，以及正常化该图像的像素值等。此外，该球图像可以由于该初步处理而被损坏，以便于从该图像中提取特定信息。为此，该图像优选地被分阶段地形成，以便于在各个阶段中自该图像提取特定信息。
图8(a)至图10(b)显示根据初步处理装置230 (参考图1)执行的初步处理操作而在阶段中形成的图像。图8(a)显示了通过减法从最初获得的多重曝光图像中去除背景而获取的图像，图8(b)是图8(a)的区域A的放大视图，其显示了原始球图像11-0。如图8(b)所示，该球具有多个凹痕，从而导致光线效果不规则。因此，原始球图像
11-0的像素值的分配非常不规则。此外，在其边缘处的一个或多个小像素单元中存在具有不规则像素值的多个椒盐噪音。在这种状态中很难获得从图像中准确提取该中心点所必要的各种信息，并且该提取的信息可能出现错误。因此，必须去除所有外围噪音且必须适当地调整原始球图像ll-ο的不规则像素值的分布。图9 (a)显示了藉由以适当水平通过高斯模糊处理和阈值处理从显示于图8 (a)中的图像几乎完全去除各种外围噪音而获取的图像，其中该原始球图像未被大大地损坏；图9(b)是图9(a)的区域B的放大视图，其显示了第一处理图像11-1。图10(a)显示了以高于第一处理图像11-1的水平相对于图8 (a)显示的图像进行高斯模糊处理和阈值处理以及通过进行该球图像的像素值的正常化处理而获得的图像，图10(b)是图10(a)的区域C的放大视图，其显示了第二处理图像11-2。在第二处理图像11-2中，原始球图像11-0的形状被极大地损坏。然而，可以看到的是，像素值的不规则分布造成的效果由于该球的凹痕而去除，并且该照射区域被清楚地划分。因此，优选地，如图11所示，使用图10(c)所示的图像，即第二处理图像11-2来估测光线方向。在第二处理图像11-2中，适当地分布像素值，并且该像素值基于其尺寸而被清楚地划分，借此，可以通过寻找像素值高的区域而容易地估测该光线方向。这里，该图像是灰度图像，因此像素值只具有关于亮度值的信息。S卩，可以看到，在图11(a)所示的第二处理图像11-2中，光线被集中在区域R3上，在该区域R3处亮度是相对高的。可以考虑将区域R3的中心作为光线方向的中心点。SP，最亮的点是光线方向的轴线穿过的点。图11(a)显示了区域R3的中心点，该中心点是最亮的点，即，最大亮度点Pl。如果第二处理图像的球图像11-2上的像素中只有一个像素是最亮的点，则该像素可以被设计为最大亮度点Pi。然而，在不规则形状区域中，其中在该区域中数个像素具有亮度点，可以通过预定工序而提取该区域的质心，并且该相应点可以被设计为最大亮度点
Plo同时，通过将该球图像上的最大亮度点Pl选择作为第一点而将另一点选择作为第二点，形成连接该第一点和该第二点的线并且将该线设定为该光线方向的轴线，可以估测该光线方向。该第一点可以由光线方向估测装置250(参考图1)的亮度分析装置提取，该第二点可以由光线方向估测装置250(参考图1)的扫描装置提取。该亮度分析装置可以发现图11(a)所示的球图像上的区域R3的中心点，即最大亮度点Pl，以便提取该第一点。
该扫描装置可以通过图11(b)、图12(a)和图12(b)中显示的过程提取该第二点。首先，如图11(b)所示，图11(a)显示的最大亮度点Pl应用到该第一处理图像的球图像11-1。S卩，该第二处理图像的球图像11-2上的最大亮度点Pl的坐标值可以应用到该第一处理图像的球图像11-1，或者该第二处理图像的球图像11-2可以与该第一处理图像的球图像11-1重叠，以便于该最大亮度点Pl可以显示在该第一处理图像的球图像11-1上。如图12(a)所示，在该第一处理图像的球图像11-1上围绕该最大亮度点Pl进行360度的线扫描。图12(b)显示了图12(a)所示的球图像的线扫描结果。如图12(b)所示，通过该线扫描形成的该第一处理图像的球图像11-1的轮廓线LI具有非常不规则的形状。因此，优选地，如图12(c)所示，使用平均过滤器将该轮廓线调整为安装的轮廓线L2。如图12(c)所示，从该球图像的线扫描结果可以看到，形成最短距离Dmin的点和形成最长距离Dmax的点清楚地显示。优选地，在该线扫描结果中，形成该最短距离Dmin的点P2被选择为该第二点。这将通过参考图13在下文中作出解释。如图13所示，当在球11移动期间该闪光灯手电筒照射到球11时通过拍摄球11而获取的球图像11包括照射光线时拍摄的部分11-1以及阴影部分R2。该拍摄的部分11-1在该光线的影响下具有显示为更亮的部分Rl。此外，具有最大像素亮度值的部分R3包括在该更亮的部分Rl中。在闪光灯手电筒的方向上可以看到，球图像上的最亮部分，即最大亮度点Pl成为该光线方向的轴线AX的中心。如图13所示，可以估测，该光线方向的轴线AX穿过轮廓线上的该点，即第二点P2，其中该最大亮度点Pi和该球图像11-1的轮廓之间的距离是最短的。因此，在最接近该最大亮度点Pl的球图像11-1的轮廓线上的点可以被指定为该第二点P2。该第二点P2因为图12(a)至图12(c)所示的线扫描过程而可以被确定为形成该最短距离的轮廓线上的点P2。因此，连接该第一点P1，即最大亮度点和使用上述方法获得的该第二点P2的线可以被设定为该光线方向的轴线AX。图14是显示在图12(b)所示的状态中获得该球图像11-1上的该第一点Pl和该第二点P2以及通过提取连接该两个点的光线方向的轴线AX而获取的图像的视图。同时，如图14所示，在提取该球图像的光线方向的轴线AX之后，如图15至图17所示，使用图像处理装置260(参考图1)进行该球图像的安装和该中心点的坐标提取。优选地，不是使用第二处理图像11-2而是使用第一处理图像11-1来进行安装，以便改进该球图像的安装精确度。这是因为在第一处理图像11-1中，该球图像的形状没有被极大地损坏，因此，可以在安装后更准确地提取其中心点。
同时，对于安装该球图像而言，根据本发明的该实施例中的感测处理装置包括一直径测量装置，以便测量该球图像的直径。预定值可以用作安装该球图像的直径。或者，可以测量该球图像上的球的直径，以便于使用该测量的直径来进行安装。然而，因为初步获取的图像上的阴影部分的影响、分辨率的限制以及数个初步处理操作的执行，该球的形状在某种程度上可能损坏。因此，优选地，使用自该球图像测量的直径而不是使用预定直径值来进行安装，以便于更准确地提取该中心点。图15是显示使用该直径测量装置测量球图像11-1的直径的过程的视图。首先，为了容易地测量该直径，如图15所示，光线方向的轴线优选地垂直排列，以使该照射区域出现在球图像的上部，使该阴影区域出现在该球图像的下部。这里，如图15所示，通过水平线L沿着该光线方向的轴线进行线扫描，以提取该区段中最长的一个，其中在该区段中，像素值变为预定值或如直径De的更大的值。当如上所述通过该直径测量装置测量直径时，通过该半圆形安装装置270 (参考图1)来安装球图像。如图16、图17(a)和图17(b)所示进行安装操作。该半圆形安装装置安装该球图像，以便于当该阴影区域通过光线而出现在该球图像上时，该阴影区域被包括，因此可以准确地提取中心点的坐标。更具体地，该半圆形安装装置优选地包括:一像素核对装置，以便于沿着被估测为光线方向的方向核对该球图像上的像素值；以及一安装处理装置，以在核对的像素值变为预定值或更大值的部分Wt处形成半圆形曲线，并且安装其它半圆形。在如图14所示基于估测的光线方向的光线方向的轴线AX以任意角度倾斜的情况下，最好旋转该整个图像，以使该光线方向的轴线AX如图16所示垂直地排列，以便于更容易地安装该半圆形。对于该半圆形安装而言，首先，如图16所示，基于由该直径测量装置测量的直径De来制备半圆形曲线FC-1。该半圆形曲线FC-1沿着如图16所示垂直排列的光线方向的轴线AX朝向球图像11移动。此时，该像素核对装置核对半圆形曲线FC-1上的图像的像素值(B卩，亮度值)。更优选地，该像素核对装置计算沿着光线方向的轴线AX的半圆形曲线FC-1上的图像的亮度值的总和，以检测该变化。当在半圆形曲线FC-1沿着光线方向的轴线AX移动时计算该亮度值或者计算该半圆形曲线上的图像的亮度值的总和并且到达该球图像的上端轮廓时，该半圆形曲线上的图像的亮度值或亮度值的总和突然增加。沿着光线方向的轴线AX核对的亮度值或者该半圆形曲线上的图像的亮度值的总和突然变化的位置可以确定为球图像11的轮廓。该安装处理装置将半圆形曲线FC-1定位在该位置。S卩，如图17(a)所示，该安装处理装置将半圆形曲线FC-1覆盖于球图像11的照射区域Rl的轮廓。如图17(b)所示，该安装处理装置根据测量的直径De安装另一半圆形曲线FC-2，以实现包括球图像11的阴影区域R2的正确安装。
当通过上述工序安装该球图像时，坐标提取装置280 (参考图1)可以通过如图18所示的球图像的安装曲线FC准确地提取该球图像的中心点CP的坐标。因此，虽然使用由该低分辨率和低速摄像机装置和闪光灯手电筒装置所获取的低质量图像，可以准确地提取该球的中心点的坐标。通过转换装置将如上所述提取的球的中心点的坐标转换为三维坐标，并且基于该三维坐标获得待模拟的球的移动轨道的物理信息。下面将参考图19和图20描述根据本发明的移动球的感测处理方法的实施例。如图19所示，首先，该信号生成单元应用触发信号，以使该摄像机装置和该闪光灯手电筒装置以预定间隔拍摄球的移动状态的多重曝光图像(Sio)。实施各种初步处理步骤，以从该获取的多重曝光图像中去除背景图像和各种噪音(S20)。从该初步处理图像中提取球图像(S30)(当提取该球图像时，也可以提取噪音，因此，更严格地说，是提取球图像候补)，并且核对该提取的球图像的像素值，即亮度值(S40)，以提取具有最高亮度值的第一点(S50)。围绕所提取的第一点对该球图像进行360度线扫描(S60)，并且该平均过滤器应用于所提取的线扫描结果的球图像的轮廓线，以使该轮廓线平滑(S70)。以最短距离连接至该第一点的球图像的轮廓线上的点被提取作为第二点(S80)。穿过该第一点和该第二点的线形成，并且该线被设定为该光线方向的轴线(S90)。然而，如上所述设定的光线方向的轴线与垂直线或水平线之间的夹角可以偏离预定范围。在上述描述中，假设光线方向的轴线穿过在最大亮度点与轮廓线之间形成最短距离的点以提取该第二点。然而，当光线方向和垂直线之间的夹角超过该预定范围时，可以不满足上述假设。在这种情况下，可能需要使用预定工序调整光线方向的轴线的角度的步骤。因此，应该确定由光线方向的轴线所定义的夹角是否在预定范围内(S100)。当确定该光线方向的轴线和垂直线之间的夹角在预定范围内时，优选地使用该光线方向的轴线。在另一方面，当确定该光线方向的轴线和垂直线之间的夹角不在该预定范围内时，通过步骤S60至S80所估测的光线方向被校正，且该校正的轴线设定为该光线方向的轴线(SllO)。当最后确定该光线方向的轴线时，根据如上所述估测的光线方向来安装该球图像(SI20)，并且提取所安装的图像的中心点(SI30)。在根据如图20所示的实施例的感测处理方法中，在另一方面，使用在图8至图11中所示的初步处理步骤中分别形成的图像而分别提取该球的中心点。根据该实施例中的感测处理方法与根据图19所示的实施例中的感测处理方法基本一致，除图像分别形成于各自的初步处理步骤并且基于该分别形成的图像来估测该光线方向之外。因此将省略对重复部分的描述，并且仅详细地描述其差别。相对于获取的多重曝光图像来实施初步处理步骤(S20)，并且基于该图像的初步处理水平而形成一第一处理图像和一第二处理图像(S21和S22)。图9显示了该第一处理图像，图10显示了该第二处理图像。
从该第二处理图像中提取球图像(S30)，并且核对该提取的球图像的像素值(即，亮度值)(S40)，以提取具有最高亮度值的第一点(S50)。在另一方面，所提取的第一点应用于该第一处理图像，并且围绕该第一点对该第一处理图像的球图像进行360度线扫描(S60)。该平均过滤器应用于所提取的线扫描结果的球图像的轮廓线(S70)。以下的步骤与图19所示的步骤一致，因此将省略对其进行的详细描述。同时，图21显示了图19和图20所示的步骤S120，更详细地，S卩，根据光线方向安装该球图像的步骤。如图21所示，该球图像的直径最好为安装时测量的直径(S123)。这里，在球图像旋转的状态中如图12所示测量该球图像的直径，以使该光线方向的轴线垂直排列。随后，基于测量的直径的半圆形曲线形成(S124)。沿该光线方向的轴线来核对像素值(亮度值)，并且该半圆形曲线定位在该球图像的照射部分的轮廓线处(S125)。随后，基于所测量的直径的另一半圆形形成于与该半圆形相对侧，以便安装该球图像(S126)，并且提取所安装的球图像的中心点坐标(S130)。计算该球图像的中心点的提取坐标的变化，以便获得该移动球的物理性质信息。本发明的模式已经以实施本发明的最佳模式来描述移动球的感测处理装置及方法以及使用上述装置与方法的虚拟高尔夫球模拟装置的各种实施例。工业实用性在根据如上所述的本发明中的移动球的感测处理装置及方法以及使用上述装置与方法的虚拟高尔夫球模拟装置中，虽然通过低分辨率和低速摄像机装置以及闪光灯手电筒装置来获取低质量图像，但本发明所公开的移动球的感测处理装置及方法可以获得在子像素级于该获取图像中的球图像的中心点的坐标，从而以低成本实现了高感测处理性能和感测准确度，并且本发明还公开了使用上述装置与方法的虚拟高尔夫球模拟装置。因此，本发明可以广泛地用于与该移动球的感测处理装置及方法以及使用上述装置与方法的虚拟高尔夫球模拟装置相关的产业。
权利要求
1.一种感测处理装置，其在预定光照条件下获取和分析移动球的图像，其特征在于，该感测处理装置包括: 一光线方向估测装置，分析自该所获取的图像的球图像并且估测朝向所述移动球的光线的方向；以及 一图像处理装置，基于所述球图像的照射侧沿所估测的光线方向将所述球图像安装于球的形状中，并且提取该所安装的图像的中心点的坐标。
2.如权利要求1所述的感测处理装置，其特征在于，所述光线方向估测装置被配置以提取所述球图像的最大亮度点，并且估测朝向所述移动球的光线的方向，以及 所述图像处理装置被配置以安装包含有与该最大亮度点相对的所述球图像的阴影区域的所述球图像。
3.如权利要求1所述的感测处理装置，其特征在于，所述光线方向估测装置包括: 一亮度分析装置，提取所述球图像的所有像素中具有最大亮度值的一第一点；以及 一扫描装置，提取最接近所述第一点的所述球图像的轮廓上的一第二点，其中 连接所述第一点和所述第二点的线设置为所述光线方向的轴线。
4.如权利要求3所述的感测处理装置，其特征在于，所述亮度分析装置被配置以核对所述球图像的所有像素中具有所述最大亮度值的像素，并且计算该至少一个核对的像素的质心，以获得所述第一点。
5.如权利要求3所述的感测处理装置，其特征在于，所述扫描装置被配置以围绕所述第一点相对于所述球图像进行360度线扫描，以提取所述第二点。
6.如权利要求1所述的感测处理装置，其特征在于，进一步包括一初步处理装置被配置以进行初步处理，从而去除所获取的图像中的背景图像和噪音，并且根据初步处理程度形成一第一处理图像和一第二处理图像，所述第二处理图像以高于所述第一处理图像的水平被初步处理， 其中， 所述光线方向估测装置包括:一亮度分析装置，提取所述第二处理图像的所有像素中具有所述最大亮度值的一第一点；以及一扫描装置，扫描自与所述第一点对应的所述第一处理图像上的点至所述第一处理图像的轮廓的最短距离，以提取与所述距离对应的轮廓上的一第二点，其中， 连接所述第一点和所述第二点的线被设置为所述光线方向的轴线。
7.如权利要求1所述的感测处理装置，其特征在于，所述图像处理装置包括一半圆形安装装置，基于由所述光线方向估测装置估测的光线方向在所述球图像的特定位置处形成预定直径的半圆形曲线，并且基于所述直径安装与所述半圆形曲线相对的一半圆形。
8.—种感测处理装置，其在预定光照条件下获取和分析移动球的图像，其特征在于，该感测处理装置包括: 一半圆形安装装置，基于由光线方向估测装置估测的光线方向在球图像的特定位置处形成一预定直径或通过所述球图像测量的直径的一半圆形曲线，并且基于所述直径安装与所述半圆形曲线相对的半圆形；以及 一坐标提取装置，提取该半圆形安装的球图像的中心点的坐标。
9.如权利要求8所述的 感测处理装置，其特征在于，所述半圆形安装装置被配置以在所述最大亮度点侧面上的所述球图像的轮廓处形成所述半圆形曲线，并且安装与所述半圆形曲线相对的半圆形，以使所述球图像安装成包括所述球图像的阴影区域。
10.如权利要求8所述的感测处理装置，其特征在于，进一步包括一直径测量装置，分析所述球图像，从而测量所述球图像的直径，其中， 所述半圆形安装装置被配置以基于所测量的直径进行半圆形安装。
11.如权利要求8所述的感测处理装置，其特征在于，所述半圆形安装装置包括: 一像素核对装置，沿被估测为光线方向的方向朝向所述移动球核对所述球图像的像素；以及 一安装处理装置，在所核对的像素值变化为一预定值或更大值的位置处形成所述半圆形曲线，并且安装与所述半圆形曲线相对的一半圆形。
12.—种感测处理方法，其在预定光照条件下获取和分析移动球的图像，其特征在于，该感测处理方法包括: 分析来自该所获取的图像的球图像，以估测朝向所述移动球的光线的方向； 沿着该所估测的光线方向基于所述球图像的照射侧将所述球图像安装于球的形状中；以及 提取所述安装图像的中心点的坐标。
13.如权利要求12所述的感测处理方法，其特征在于，估测所述光线方向的步骤包括: 提取在所述球图像的所有像素中具有最大亮度值的一第一点； 提取在最接近所述第一点的所述球图像的轮廓上的一第二点；以及 将连接所述第一点和所述第二点的线设定为朝向所述球图像的光线的方向的轴线。
14.如权利要求13所述的感测处理方法，其特征在于，提取所述第一点的步骤包括: 核对在所述球图像的所有像素中具有最大亮度值的像素；以及 计算所述至少一个核对的像素的质心以获得所述第一点。
15.如权利要求13所述的感测处理方法，其特征在于，提取所述第二点的步骤包括: 围绕所述第一点相对于所述球图像进行360度线扫描；以及 提取与所述第一点和所述球图像的轮廓之间的最短距离对应的一点作为该第二点。
16.如权利要求13所述的感测处理方法，其特征在于，估测所述光线方向的步骤包括: 确定由该所估测的光线方向的轴线所定义的角度是否偏离于一预定范围；以及 在确定由该所估测的光线方向的轴线所定义的角度偏离于所述预定范围后校正该所估测的光线方向。
17.如权利要求12所述的感测处理方法，其特征在于，所述安装步骤包括: 基于该所估测的光线方向在所述球图像的特定位置处形成预定直径或通过所述球图像测量的直径的半圆形曲线；以及 基于所述直径安装与所述半圆形曲线相对的半圆形。
18.如权利要求17所述的感测处理方法，其特征在于，形成所述半圆形曲线的步骤包括: 分析所述球图像以提取由所述光线生成的所述球图像的阴影区域；以及 在与所述阴影区域相对的侧面处的所述球图像上形成所述半圆形曲线。
19.如权利要求17所述的感测处理方法，其特征在于，形成所述半圆形曲线的步骤包括: 基于该所估测的光线方向提取所述光线方向的轴线； 旋转所述球图像以使所述光线方向的轴线垂直排列； 在沿着所述光线方向的轴线将所述半圆形曲线移动到所述球图像时核对所述半圆形曲线上的像素值的总和；以及 将所述半圆形曲线定位在所核对的像素值的总和变为一预定值或更大值的位置处。
20.如权利要求17所述的感测处理方法，其特征在于， 形成所述半圆形曲线的步骤包括:分析所述球图像以测量所述球图像的直径；以及基于所测量的直径形成一半圆形曲线；以及 所述安装步骤包括:安装基于所测量的直径而形成与所述半圆形曲线相对的一半圆形。
21.如权利要求20所述的感测处理方法，其特征在于，测量所述球图像的直径的步骤包括: 基于该所估测的光线方向提取所述光线方向的轴线； 旋转所述球图像以使所述光线方向的轴线垂直排列； 沿着所述光线方向的垂直旋转的轴线相对于所述球图像进行水平线扫描；以及估测水平线的两点之间的长度作为该球图像的直径，其中所述水平线在该球图像的轮廓的两点之间具有最长 长度。
22.如权利要求21所述的感测处理方法，其特征在于，测量所述球图像的直径的步骤包括: 确定在估测所述球图像的直径的步骤中被估测为直径的长度和所述球的预定直径之间的差是否在预定范围内；以及 在确定所述差在所述预定范围内后将所估测的长度设定为所测量的直径。
23.如权利要求21所述的感测处理方法，其特征在于，测量所述球图像的直径的步骤包括:基于光线分析所述球图像的阴影度；以及根据所述阴影度分析的结果校正在估测所述球图像的直径的步骤中被估测为直径的长度。
24.一种虚拟高尔夫球模拟装置，其特征在于，该装置包括: 一传感器单元，包括一摄像机装置和一闪光灯手电筒装置，以获取被高尔夫球球员击打的移动高尔夫球的多重曝光图像； 一感测处理单元，包括:一光线方向估测装置，提取和分析来自该所获取的图像的高尔夫球的图像，并且估测自所述闪光灯手电筒装置朝向所述高尔夫球发射的光线的方向；以及一图像处理装置，沿着该所估测的光线方向基于所述高尔夫球图像的照射侧将所述高尔夫球图像安装在高尔夫球的形状中，并且提取该所安装的图像的中心点的坐标；以及一模拟器，计算所述中心点的坐标的变化，并且获得与移动高尔夫球有关的物理信息，从而模拟所述高尔夫球的轨道。
全文摘要
本发明公开了一种移动球的感测处理装置及方法，尽管低质量图像由低分辨率和低速摄像机装置以及闪光灯手电筒装置所获取，本发明所公开的该移动球的感测处理装置及方法能够精确地获得在子像素级于该已获取的图像中的球图像的中心点的坐标，从而以低成本实现了高感测处理性能和感测准确度，并且本发明还公开了使用上述装置与方法的虚拟高尔夫球模拟装置。
文档编号A63B69/36GK103079651SQ201180041833
公开日2013年5月1日 申请日期2011年6月29日 优先权日2010年6月29日
发明者金元一, 金禜赞, 禹昌宪, 韩民水, 李太华, 崔铭善, 政在旭, 姜身, 李乘禹, 朴韩光, 金螟禹, 金庸禹, 许成麴 申请人:高夫准株式会社