专利名称：移动物体的感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置的制作方法
技术领域：
本发明涉及一种感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置，并且尤其涉及一种移动物体的感测装置和感测处理方法，其获取和分析诸如高尔夫球等移动物体的图像，以便获得其物理信息，并且本发明还公开了一种使用上述装置与方法的虚拟高尔夫球模拟装置。
背景技术：
在最近些年中，已经开发出的各种装置允许用户在室内或特定地点中通过模拟以交互式体育游戏的形式享受流行体育游戏，诸如，棒球，足球，篮球以及高尔夫球等。为了在这种交互式体育游戏中使用球，诸如棒球、足球、篮球和高尔夫球等来模拟体育运动，已经对各种感测系统进行了很多研究，以精确地感测移动物体的物理信息，即，球的移动。例如，诸如使用红外线传感器的感测系统、使用激光传感器的感测系统、使用声传感器的感测系统以及使用摄像机传感器的感性系统等的各种感测系统都已经进入了市场。
发明内容
技术问题本发明的目的是提供一种移动物体的感测装置和感测处理方法，虽然移动物体的多重曝光图像经由低分辨率和低速摄像机装置和闪光灯手电筒装置来获取，但本发明所述的移动物体的感测装置及感测处理方法能够精确地从所获取的图像中提取该物体的图像，并且虽然数个物体图像由于获取了特别是以低速移动的物体的多重曝光图像而以重叠状态呈现，但本发明所述的移动物体的感测装置及感测处理方法能够精确地提取重叠的物体图像以提取其中心点的坐标，从而以低成本实现了高感测处理性能和感测准确度，并且本发明还公开了一种使用上述装置与方法的虚拟高尔夫球模拟装置。解决问题的方案根据本发明的一方面，上述和其它目的可以通过提供一种感测装置而实现，该感测装置包括一传感器单元，在闪光灯手电筒下相对于移动物体获取一多重曝光图像；以及一感测处理单元，包括一第一处理装置，自该多重曝光图像中提取一物体图像区域，其中所述移动物体的图像通过多重曝光而彼此重叠；以及一第二处理装置，形成该所提取的物体图像区域的至少两个中心点候补件，以调整该中心点候补件的位置，从而提取该物体图像区域的至少两个中心点的坐标。根据本发明的另一方面，提供一种感测装置，该感测装置包括一传感器单元，在闪光灯手电筒下相对于一移动物体获取一多重曝光图像；以及一感测处理单兀，包括一第一移动方向估测装置，基于该物体的初始位置信息估测该物体的移动方向；一第二移动方向估测装置，基于该多重曝光图像中各个图像区域的像素值估测该物体的一移动方向；以及一物体提取装置，从在由该第一移动方向估测装置或该第二移动方向估测装置所估测的该移动方向中的该图像提取该物体的图像。根据本发明的另一方面，提供一种感测装置，该感测装置包括一传感器单元，在闪光灯手电筒下相对于一移动球获取一多重曝光图像；以及一感测处理单兀，包括一物体提取装置，自该多重曝光图像中提取一球图像区域，其中该移动球的图像彼此重叠；一安装装置，安装该球图像区域，以使一预定直径的半圆形曲线分别形成在所述提取的球图像区域的对立端部处；以及一坐标提取装置，以提取该所安装的球图像区域的至少两个中心点的坐标。根据本发明的另一方面，提供一种感测处理方法，包括在闪光灯手电筒下相对于一移动物体获取一多重曝光图像；自该多重曝光图像中提取一物体图像区域，其中该移动物体的图像通过多重曝光而彼此重叠；形成所提取物体图像区域的至少两个中心点候补件；以及根据预定条件调整该中心点候补件的位置，从而提取该物体图像区域的至少两个中心点的坐标。根据本发明的另一方面，提供一种感测处理方法，包括在闪光灯手电筒下相对于一移动物体获取多重曝光图像的多个画面；识别该多重曝光图像中物体的初始位置；形成穿过该多重曝光图像中的图像区域的线；估测最接近该物体的初始位置的该线的其中之一的方向作为该物体的移动方向；以及从所估测的移动方向上的图像中提取和分析该物体的图像。根据本发明的另一方面，提供一种感测处理方法，包括在闪光灯手电筒下相对于一移动物体获取多重曝光图像的多个画面；识别该多重曝光图像中物体的初始位置；将该多重曝光图像的至少两个画面结合为一单一图像；相对于所结合的图像围绕该物体的初始位置以一预定角度进行线扫描，以基于各个扫描线上的图像的像素值获得一预定函数值；提取具有最大函数值的该扫描线的其中之一的方向作为该物体的移动方向；以及从所估测的移动方向上的图像中提取和分析该物体的图像。根据本发明的另一方面，提供一种感测处理方法，包括在闪光灯手电筒下相对于一移动球获取一多重曝光图像；自该多重曝光图像中提取一球图像区域，其中该移动球的图像通过多重曝光而彼此重叠；安装该球图像区域，以使一预定直径的半圆形曲线形成在所提取的球图像区域的对立端部处；以及提取所安装的球图像区域的至少两个中心点的坐标。根据本发明的再一方面，提供一种虚拟高尔夫球模拟装置，包括一传感器单元，在闪光灯手电筒下相对于一移动物体获取一多重曝光图像；一感测处理单兀，包括一第一处理装置，自该多重曝光图像中提取一物体图像区域，其中该移动物体的图像通过多重曝光而彼此重叠；以及一第二处理装置，形成该所提取的物体图像区域的至少两个中心点候补件，以调整该中心点候补件的位置，从而提取该物体图像区域的至少两个中心点的坐标；以及一模拟器，计算该中心点的坐标的变化，以获得移动高尔夫球的物理信息，从而模拟该高尔夫球的轨道。本发明的有益效果在如上所述根据本发明的移动物体的感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置中，虽然移动物体的多重曝光图像经由低分辨率和低速摄像机装置和闪光灯手电筒装置来获取，但本发明所述的移动物体的感测装置和感测处理方法可以精确地从所获取的图像中提取该物体的图像，并且虽然数个物体图像由于获取了特别是以低速移动的物体的多重曝光图像而以重叠状态呈现，但本发明所述的移动物体的感测装置和感测处理方法可以精确地提取重叠的物体图像以提取其中心点的坐标。因此，本发明具有以低成本实现高感测处理性能和感测准确度的效果。
本发明的上述和其他目的、特点以及其他优点将通过结合附图从下面详细描述中更加清楚地理解，图式中图1是显示根据本发明的一实施例中的感测装置或虚拟高尔夫球模拟装置的框图；图2是显示一种屏幕高尔夫系统的示例的视图，其中图1显示的感测装置或虚拟高尔夫球模拟装置应用于该屏幕高尔夫系统；图3是显示根据本发明的一实施例中该感测装置的摄像机装置和闪光灯手电筒装置的操作信号方案的视图；图4(a)和图4(b)是显示由图2所示的屏幕高尔夫系统所获取的物体的图像图案的视图；图5(a)是显示具有图4(b)所示图案的图像的实际获取图像的实施例的视图，以及图5(b)是显示图5(a)所示的图像的初步处理图像的视图；图6是显示根据本发明的实施例中估测由感测装置所执行的球的移动方向的过程的实施例的视图；图7是显示图6的区域A的放大视图；图8至图10是显示根据本发明的实施例中估测由感测装置所执行的球的移动方向的过程的另一实施例的视图；图11(a)是显示球图像区域的实施例的视图，其中该球图像彼此重叠，以及图11(b)是显示相对于图11(a)所示的图像沿着移动方向的轴线核对的像素值的分布的图表;图12(a)是显示沿着移动方向的轴线安装球图像区域的过程的视图，以及图12(b)是显示沿着移动方向的轴线的半圆形上的像素值的总和的图表；图13是显示一图像的视图，其中该球图像区域是已安装的半圆形，并且该球图像区域的中心点候选件由图12(a)和图12(b)所示的过程而形成；图14(a)和图14(b)是显示调整所估测的球的移动方向的轴线的位置以穿过所安装的球图像区域的中心的过程的视图；图15(a)是显示调整在所安装的球图像区域中形成的中心点候补件的位置的过程的视图，以及图15(b)是显示通过图15(a)所示的过程而调整的中心点的视图；图16是显示校正球图像的中心点以对应于闪光灯手电筒的间隔率的过程的视图；以及图17和图18是显示根据本发明的感测处理方法的处理步骤的流程图。
具体实施例方式现在将参考附图详细描述根据本发明中移动物体的感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置的示例性实施例。根据本发明的感测装置获取和分析移动物体的图像，以获得其物理信息。这里，移动物体可以是在使用球的体育运动如高尔夫球中由高尔夫球球员击打的球。该感测装置用于感测这种移动球。在一实施例中，该感测装置可以应用到所谓的屏幕高尔夫系统，其中虚拟高尔夫球模拟装置应用到该屏幕高尔夫系统。图1和图2示意性地显示根据本发明的感测装置以及使用上述装置的虚拟高尔夫球模拟装置的构造。首先，参考图1和图2描述根据本发明的一实施例中的感测装置以及使用上述装置的虚拟高尔夫球模拟装置。如图1所示，根据本发明的实施例中移动物体的感测装置包括:传感器单元，该传感器单元包括摄像机装置310和320、闪光灯手电筒装置330和信号生成单元210 ;以及感测处理单元220，以处理由该传感器单元所获取的图像以及移动物体的图像，从而提取其中心点的坐标。在图1中，提供了两个摄像机装置310和320，然而，本发明并不受限于此。例如，可以提供一个摄像机装置或超过两个的摄像机装置。提供摄像机装置310和320，以分别拍摄在该物体的移动方向上自初始位置移动的物体的移动的多个画面。闪光灯手电筒装置330是使用发光二极管(LED)的照明装置。闪光灯手电筒装置330被用作为摄像机装置的拍摄的光源。闪光灯手电筒装置330以预定时间间隔(S卩，以预定时间间隔产生多个闪光)生成闪光灯手电筒，以使摄像机装置310和320可以拍摄多重曝光图像。S卩，物体呈现于由该摄像机装置拍摄的画面上，以响应自闪光灯手电筒装置330生成的闪光的次数，以提供其多重曝光图像。下面将详细地描述摄像机装置310和320以及闪光灯手电筒装置330的操作。同时，由信号生成单元210产生触发信号，以操作摄像机装置310和320和闪光灯手电筒装置330。由摄像机装置310和320以及闪光灯手电筒装置330所拍摄的多重曝光图像由感测处理单元220处理，并且将其传送到模拟器100。感测处理单元220包括:第一处理装置230，自该多重曝光图像中提取物体图像区域，其中移动物体的图像通过多重曝光而彼此重叠；以及第二处理装置240，形成并调整所提取物体图像区域的至少两个中心点候补件，从而提取该物体图像区域的至少两个中心点。优选地，第一处理装置230包括:初步处理装置231，去除背景图像和噪音；移动方向估测装置232，估测该多重曝光图像中物体的移动方向；以及物体提取装置233，自所估测的移动方向中的图像中提取物体图像区域，其中该物体图像彼此重叠。移动方向估测装置232可以包括:第一移动方向估测装置，基于该物体的初始位置信息估测该物体的移动方向；以及第二移动方向估测装置，基于该多重曝光图像中的各个图像区域的像素值估测该物体的移动方向。移动方向估测装置232可以包括该第一移动方向估测装置或者该第二移动方向估测装置。或者，移动方向估测装置232可以包括该第一移动方向估测装置和该第二移动方向估测装置。在该移动方向估测装置包括该第一移动方向估测装置和该第二移动方向估测装置的情况下，该第一移动方向估测装置首先用于估测物体的移动方向，并且如果由该第一移动方向估测装置估测的物体的移动方向是错误的，则第二移动方向估测装置用于估测物体的移动方向。物体提取装置233可配置以包括图案分析装置，以分析在所估测的移动方向上的图像的图案，从而有效地提取该物体图像区域，其中该物体图像彼此重叠，或者配置以包括一装置，以核对所估测的移动方向上的各个图像的像素值，并且基于所核对的像素值来分析图案，从而提取该物体图像区域。在另一方面，第二处理装置240优选地包括安装装置241，基于预先被设定为该物体的尺寸的值来安装所提取的物体图像区域，从而形成所安装的物体图像区域的至少两个中心点候补件；以及坐标提取装置242，根据预定条件调整所形成的中心点候补件的位置，从而提取该物体图像区域的至少两个中心点。下面将更加详细地描述第一处理装置230和第二处理装置240。同时，模拟器100优选地包括控制器M、数据库110、图像处理单元120以及图像输出单元130。控制器M接收物体的坐标信息，其中该物体为由感测处理单元220处理和获取的图像、将该坐标信息转换成三维坐标、获得该物体的移动轨道模拟的预定物理信息，以及将所获得的物理信息传送到图像处理单元120。可以从数据库110中提取物体的移动轨道模拟的预定数据，并且由图像处理单元120对物体的移动轨道模拟进行图像处理可以通过提取存储在数据库110中的图像数据而进行。同时，可以与控制器M分开地提供转换装置，以将自感测处理单元220传送的物体的坐标信息转换为三维坐标装置。在硬件方面，第一处理装置230和第二处理装置240可以实现为单一控制器，被配置以执行上述装置的功能，或者实现为独立控制器，被配置以分别执行上述装置的功能。在软件方面，第一处理装置230和第二处理装置240可以实现为单一程序，被配置以执行上述装置的功能，或者实现为独立程序，被配置以分别执行上述装置的功能。图2显示了一种屏幕高尔夫系统的示例，其中具有上述构造的感测装置或虚拟高尔夫球模拟装置应用于该屏幕高尔夫系统。如图2所示，具有在其上放置高尔夫球的高尔夫球球座的打击垫30、以及地面(优选地包括从球道垫、粗糙垫以及沙坑垫中选择的至少一个)以及摇板20提供于高尔夫球单间B的一侧，其中高尔夫球球员在摇板20上打击高尔夫球。屏幕40提供于高尔夫球单间B的前方，其中由图像输出单元130实现的虚拟高尔夫球模拟图像显示在屏幕40上。摄像机装置310和320以及闪光灯手电筒装置330提供于高尔夫球单间B的顶棚处。在图2中，摄像机装置310和320分别提供于高尔夫球单间B的顶棚和墙壁处，然而本发明并不受限于此。只要摄像机装置310和320没有干扰到高尔夫球球员的摆动，并且当摄像机装置310和320可以有效地拍摄高尔夫球10的移动状态的图像时防止与被高尔夫球球员击打的高尔夫球发生碰撞，摄像机装置310和320可以安装于高尔夫球单间B的任何位置处。此外，在图2中，闪光灯手电筒装置330安装在高尔夫球单间B的顶棚处，以提供基本垂直于击打点的闪光灯手电筒，然而本发明并不受限于此。只要闪光灯手电筒装置330可以有效地提供闪光灯手电筒，闪光灯手电筒装置330可以安装在高尔夫球单间B的任何位置处。 当在摇板20上的高尔夫球球员在具有上述构造的系统中朝向屏幕40击打在打击垫30上的高尔夫球10时，如图2所示，拍摄预定区域的摄像机装置310和320分别拍摄多个画面，其中在该预定区域进行击打。此时，闪光灯手电筒装置330在每个画面中产生数个闪光，以获取移动闻尔夫球的多重曝光图像。图3是显示由信号生成单元210 (参考图1)的摄像机装置和闪光灯手电筒装置的触发信号生成方案的视图。如图3所示，该摄像机装置的触发信号具有时间间隔tc。即，对于每一画面而言，在时间间隔tc处产生该触发信号。此时,每一画面的曝光时间是te (此时,优选地tc>te)。此外，tc - te时间所获取的图像上的数据优选地被传送到感测处理单元220 (参考图1)。S卩，如图3所示，该摄像机装置在每一画面中的触发信号产生时间之间的间隔处被触发，并且在所获取的多重曝光图像上的数据被传送到该感测处理单元。在该摄像机装置的曝光时间(时间te)期间，由该闪光灯手电筒装置数次产生闪光灯手电筒。在图3中，该闪光灯手电筒触发信号以时间间隔tsl产生三次。S卩，在该摄像机装置的曝光时间(时间te)期间，闪光灯手电筒以相同的时间间隔tsl被三次生成。此时，摄像机装置和闪光灯手电筒装置优选地与信号生成单元210(参考图1)同步，以生成第一触发信号。此外，如图3所示，时间间隔ts2优选地被提供在该三个闪光灯手电筒中的最后一个的触发信号和下一个画面的第一闪光灯手电筒之间。时间间隔tsl和时间间隔ts2可以设定为彼此相等。如图3所示，然而，时间间隔tsl和时间间隔ts2优选地设定为彼此不同。更优选地，时间间隔ts2设定为长于时间间隔tsl。因为如上所述的摄像机装置和闪光灯手电筒装置的触发信号间隔相同，在多重曝光图像上的物体图像之间的间隔相同。当该多重曝光图像由感测处理单元处理时，因此，可以基于触发信号的相同固定间隔的特性从该多重曝光图像上显示的物体图像和各种噪音中有效地分离出正确的物体图像。此外，因为闪光灯手电筒的间隔均匀地固定于摄像机装置的每一画面，具有各种图案的图像可以根据物体的移动速度自该多重曝光图像中生成。下面将描述作为移动物体的实施例的由高尔夫球球员使用高尔夫球球棒击打的球(高尔夫球)。图4(a)和图4(b)是分别基于图3所示的信号生成方案由摄像机装置和闪光灯手电筒装置所获取的多重曝光图像的两个图案的视图。即,在图4(a)和图4(b)中，使用基于在图3 (II和12)中所示的触发信号方案所获得的两个图像图案显示了高尔夫球球员使用高尔夫球球棒击打的球的移动状态。
图4(a)中显示的图像Il是通过高尔夫球球棒图像C1、C2和C3以及球图像11a、Ilb和Ilc的多重曝光所获取。在这种情况下，球图像11a、Ilb和Ilc以一预定间隔彼此分离。图4(b)的图像12显示了球图像重叠以便提供预定尺寸的图像区域12的情形。S卩，在图4(a)中所示的图像中，该球以高速移动，因此，该图像在一状态中形成，在所述状态中，当闪光灯手电筒被触发时，该球图像彼此分离一预定间隔；并且在图4(b)中所示的图像中，该球以低速移动，因此，在该球移动离开之前，闪光灯手电筒被触发，从而使该球图像彼此重叠。提供根据本发明的该感测装置和感测处理方法，以便当该球图像在多重曝光图像上彼此重叠时，因为该球基于如图4(b)所示的该闪光灯手电筒的固定间隔以等于或小于预定速度的速度移动，而精确地获得该球图像的中心点的坐标。下面将参考图5至图18描述根据本发明中通过移动物体用感测装置对图4(b)所示的重叠球图像的处理。图5(a)是显示包含有重叠球图像的多重曝光图像的正本的视图。该多重曝光图像通过使用具有320x240的低分辨率且以75fps的低速操作的摄像机装置和以330Hz操作的闪光灯手电筒装置所获得。该第一处理装置的初步处理装置231 (参考图1)通过减法从图5(a)中显示的原始图像中去除静止图像，即背景图像，并且执行诸如高斯模糊等预定初步处理操作。图5 (b)显示了通过该初步处理操作获取的图像。然而，因为该球图像彼此重叠且摄像机装置的分辨率低，S卩，图像的分辨率太低以致于不能清楚地确定该球图像是否彼此重叠，该重叠的球图像以具有预定尺寸的图像区域的形式显示，其可能与各种噪音混淆，例如具有显示高尔夫球球员身体的一部分的预定尺寸的图像区域或者具有显示高尔夫球球棒的预定尺寸的图像区域。为此，很难在包含有各种噪音的状态中仅提取球图像彼此重叠的该图像区域。提取这种重叠球图像的方法是使用根据本发明中感测装置的移动方向估测装置232(参考图1)来估测球的移动方向，以主要地提取在所估测的移动方向中的图像，并且自所提取的图像中提取球图像区域。图6至图10是显示根据本发明的实施例中通过感测装置和感测处理方法而进行的估测球的移动方向的过程的视图。首先，将参考图6和图7描述通过该第一移动方向估测装置进行的估测球的移动方向的过程。首先，形成线L以穿过所有图像区域R，该图像区域R出现在通过自该具有初始获取的所有画面的多重曝光图像中适当地去除背景图像和噪音所获得的图像中。S卩，如图6所示，形成连接图像区域R的至少两点的线。此时，必须预先设定球的初始位置上的信息。即，摄像机装置在该球移动之前感测该球的初始位置，并且在该多重曝光图像中球的初始位置BI基于该球的所感测的初始位置上的信息而设定。测量如上所述形成的所有线L和该球的初始位置BI之间的距离。S卩，参考图7，为显示图6的区域A的放大视图，测量在穿过区域Rl的多条线和该球的初始位置BI之间的直线距离以及穿过区域R2的多条线和该球的初始位置BI之间的直线距离。在图7中，穿过区域Rl的线LI和穿过区域R2的线L2最接近于该球的初始位置BI。线LI比线L2更接近于该球的初始位置BI。因此，线LI暂时地被估测为该球的移动方向的轴线。假设该球的初始位置BI和线LI之间的直线距离是DL，如果DL是长距离以使DL偏离一预定范围的程度，使用上述方法所估测的移动方向可能是错误的。因此，忽略通过如上所述的该第一移动方向估测装置所估测的结果，并且该移动方向优选地由该第二移动方向估测装置所估测。图8至图10是显示通过该第二移动方向估测装置进行的估测球的移动方向的过程的视图。首先，如图8所示，多个画面结合为一图像，其中球图像区域随着时间流逝而出现。S卩，在图8中，各个画面的球图像区域12-1、12_2和12_3显示为一单一图像。此外，该移动方向为基于如图8所示的该单一图像通过该第二移动方向估测装置所估测，其将参考图9来描述。
`
优选地，该第二移动方向估测装置包括:图像结合装置，将该多重曝光图像的至少两个画面结合为单一图像；线扫描装置，以一预定角度围绕该物体的初始位置进行线扫描，以核对各个扫描线上的图像的像素值；以及轴线提取装置，提取通过该线扫描装置扫描的线中具有最大像素值的扫描线作为该移动方向的轴线。S卩，多个画面可以通过如图8中所示的该第二移动方向估测装置的该图像结合装置被结合为单一图像，并且该球的移动方向的轴线可以通过图9所示的线扫描装置和轴线提取装置而提取。如图9所示，一预定角度扫描区域SR基于该球的初始位置BI来指定，以核对基于该球的初始位置BI的相应扫描区域SR中各个扫描线X1、X2、X3…X1...Xn上的图像的像素值。此时，优选地形成构成该扫描区域SR的扫描区域线Si和s2，以在其间定义一预定角度。可以设定该扫描区域线Si和s2，以在其间定义360度。优选地，如图9所示，设定该扫描区域线Si和s2，以在其间定义前120度。各个扫描线Χ1、Χ2、Χ3...X1...Xn上的图像的像素值可以如图10所示被核对。如图10所示，第一子扫描线UL和第二子扫描线LL为基于预先设定为该球的半径Rs的值(包括基于先前已知的该球的半径而设定的值以及基于自该球的图像预先测量的球的半径而设定的值)而形成于该扫描线Xi的一侧和另一侧，并且计算该扫描线Xi上的图像的像素值的总和Suml、该第一子扫描线UL上的图像的像素值的总和Sum2以及该第二子扫描线LL上的图像的像素值的总和Sum2。随后获得下面的成本函数值。v=Suml-Sum2-Sum3获得每一扫描线的上述成本函数值，并且具有最大值的扫描线被估测为该球的移动方向的轴线。以此方式，当相对于各个扫描线基于该球的半径值获得偏离于各个扫描线和该子扫描线的成本函数值而有效地排除太小或太大以致于不能成为球图像区域的图像时，可以精确地包括该球图像区域，因此，可以精确地提取穿过该球图像区域的移动方向的轴线。因此，在图9中，该扫描线Xi可以被估测为该球的移动方向的轴线。同时，在使用上述方法来提取该球的移动方向的轴线之后，通过使用所提取的该球的移动方向的轴线凭借物体提取装置233 (参考图1)来提取球图像彼此重叠的该球图像区域。S卩，如图11所示，相对于所有图像核对该像素值(该图像除包括所提取的球图像区域之外还可以包括噪音)，其中所提取的该球的移动方向的轴线穿过该图像，以有效地去除噪音，并因此仅提取该球图像区域。图11(a)和图11(b)显示从该移动方向的轴线上呈现的图像中有效地仅提取球图像的方法的示例。图11(a)是显示具有预定图案的图像的视图，其中该图像可以出现在该移动方向的轴线上，以及图11(b)是显示沿着移动方向的轴线13核对的像素值相对于图11(a)中所示的图像的分布的图表。如图11(a)所示，移动方向的轴线13穿过球图像区域12以及该球图像区域12周围的噪音NI，其中球图像彼此重叠。沿着移动方向的轴线13的图像的像素值的分布具有图11 (b)所示的图案。球图像彼此重叠的该球图像区域必须具有一区段，在所述区段中像素值保持为预定临界值或更大值，该区段对应于通过添加至少两个球的直径而获得的区段。如图11(b)所示，像素值保持为该预定临界值或更大值的该区段包括区段al至a2和区段a3至a4。如果像素值保持为预定临界值或更大值的该区段具有对应于区段a3至a4的图像，即，由图11 (a)中的附图标记12所表示的图像，该像素值保持为预定临界值或更大值的该区段可以被估测为该球图像区域，其中该球图像彼此重叠。在另一方面，如果该像素值保持为预定临界值或更大值的该区段具有对应于区段al至a2的图像，即，由图11(a)中的附图标记NI所表示的图像，该像素值保持为预定临界值或更大值的该区段可以被估测为噪音(高尔夫球球棒的图像)。因此，可以排除该图像NI，并且由附图标号12所表示的图像可以被提取为该球图像区域，其中在该球图像区域中该球图像彼此重叠。同时，在该球图像彼此重叠的该球图像区域为自如上所述的移动方向的轴线上出现的图像中提取，通过安装装置241 (参考图1)进行适当地安装所提取的图像区域以提取其中心点的过程。作为安装该球图像彼此重叠的该球图像区域的方法，可以使用半圆形安装方法，以将一个半圆形安装在该球图像彼此重叠的球图像区域12的一端，并且将另一半圆形安装于该球图像彼此重叠的球图像区域12的另一端，如图12和图13所示。如图12(a)所示，球图像区域12具有比外围更高的亮度值(这里，如果所获取的图像具有灰度图像，每一像素值具有亮度值)。球图像区域12的边缘部分具有逐渐变化的亮度值。该亮度值的变化在该球图像区域的轮廓处结束。因此，优选地，安装该球图像区域的轮廓。因此，为了适当地安装，如图12(a)所示，第一半圆形CCl和第二半圆形CC2沿着移动方向的轴线13在球图像区域12周围以相反的方向移动，以计算第一半圆形CCl上的图像的像素值的总和以及第二半圆形CC2上的图像的像素值的总和。如上所述计算的像素值的总和具有图12(b)的图表中所示的分布。图12(b)是显示半圆形上的像素值的总和的分布的图表。在图12(b)的图表中，像素值在点Vl或点V2和点V3之间突然变化，其中在点V2处该像素值开始突然变化，在点V3处完成亮度值的变化。优选地，半圆形曲线HCl或HC2(参考图13)形成于点Vl或点V3处，以安装该球图像区域。S卩，优选地，在点Vl和点V3之间的特定值预先地设定为该像素值的总和的预定值，并且半圆形曲线HCl和HC2形成于各个半圆形CCl和CC2上的像素值的总和小于该预定值的位置，以便安装该球图像区域。因此，点Vl的值可以预先地设定为预定值，点V2或点V3的值可以预先地设定为预定值或者点Vl和点V3之间的任意值可以预先地设定为预定值。可以通过实验得到该预定值的设定，以确定哪个值作为该预定值，从而可以获得最精确的结果。这里，半圆形CCl和CC2的直径或半圆形曲线HCl和HC2可以具有预先地设定为该球的直径的值或者自该球图像所测量的值，作为该球的直径。即，该球的直径可以是预先地测量和输入的值，或者是通过该摄像机装置在该球的初始位置处感测且测量以及在该图像上设定的值，作为该直径。在另一方面，该球的直径可以自图4(a)中所示的单独球图像中测量，并且可以用于安装该重叠的球图像。同时，在图13中，点Vl至点V3中的任何一个为自沿着移动方向的轴线13的半圆形CCl和CC2上的像素值的总和的分配中选择，并且具有球的预定直径或该球的测量直径的半圆形曲线HCl和HC2形成于球图像区域12的对立端，以安装球图像区域。S卩，优选地，第一半圆形曲线HCl形成在球图像区域12的一端，以安装球图像区域12，以及第二半圆形曲线HC2形成在球图像区域12的另一端，以安装球图像区域12。可以通过一处理装置进行如上所述的半圆形安装。当第一半圆形CCl和第二半圆形CC2移动至该球图像区域的相对端时，可以通过像素核对装置核对该像素值，并且该半圆形曲线可以通过一安装处理装置形成在球图像区域的对立端部处，以便安装该球图像区域。此外，一个半圆形的半圆形安装以及另一半圆形的半圆形安装可以通过不同的处理装置而单独地进行。S卩，第一半圆形CCl的移动以及在第一半圆形CCl上的像素值的核对可以通过第一像素核对装置执行，第二半圆形CC2的移动以及第二半圆形CC2上的像素值的核对可以通过第二像素核对装置执行。根据由该第一像素核对装置所执行的像素核对的结果，第一安装处理装置可以在该球图像区域的一端处形成第一半圆形曲线HC1，以安装该球图像区域。根据由该第二像素核对装置所执行的像素核对的结果，第二安装处理装置可以在该球图像区域的另一端部处形成第二半圆形曲线HC2，以安装该球图像区域。同时，如果用于安装的半圆形曲线HCl和HC2形成在如图12(b)的图表所示的点V3处，中心点候补件EPl和EP2可以形成在点Vl或者点V2处。
S卩，优选地，第一中心点候补件EPl形成在第一半圆形曲线HCl所在的一侧，第二中心点候补件EP2形成在第二半圆形曲线HC2所在的一侧。此外，优选地，中心点候补件EPl和EP2形成在移动方向的轴线13上。当然，中心点候补件EPl和EP2可以被选择作为在半圆形安装侧的任意点。必须使用坐标提取装置242 (参考图1)调节如上所述形成的中心点候补件EPl和EP2,以使中心点候补件EPl和EP2可以位于正确的中心点位置。此外，优选地，调节该移动方向的轴线的位置以使该移动方向的轴线可以位于更正确的位置处。首先，参考图14描述该移动方向的轴线的位置的调节。该移动方向的轴线最好穿过该球图像区域的中心。因为该移动方向的轴线不是精确地提取而是估测，然而，所估测的该移动方向的轴线可以不准确地穿过该球图像区域的中心。在这种情况下，最好调节该移动方向的轴线的位置，以使所估测的该移动方向的轴线可以准确地穿过球图像区域的中心。如图14(a)所示，球图像区域12的上部厚度和下部厚度必须基本相同，其中该移动方向的轴线13穿过该球图像区域12。因此，最好将该移动方向的轴线13的位置转向至该移动方向的轴线13之下的球图像区域12的厚度tl与该移动方向的轴线13之上的球图像区域12的厚度t2之间的差所对应的距离，如图14(a)所示。图14(b)显示使用如上所述的该过程将该移动方向的轴线转向至穿过球图像区域12的中心的中心线CL的状态。在另一方面，图15(a)显示了调节使用图12和图13所示的方法形成的中心点候补件EPl和EP2的过程。因为所安装的半圆形曲线HCl和HC2的每一个形成为如图15(a)所示的半圆形的形状，可以基于其几何条件将各个中心点候补件EPl和EP2调节为正确的中心点。S卩，三个方向线rl、r2和r3形成为相对于第一中心点候补件EPl具有相同的长度，三个方向线r4、r5和r6形成为相对于第二中心点候补件EP2具有相同的长度，以调节中心点候补件EPl和EP2的位置，从而使中心点候补件EPl和EP2可以位于正确的位置处。S卩，使用上述方法调节中心点候补件EPl和EP2的位置，以使中心点候补件EPl和EP2可以分别地位于具有所安装的半圆形曲线HCl和HC2的圆形的中心处。此时,三个方向线rl、r2和r3或r4、r5和r6的长度可以对应于预先设定为该球的直径的值或者通过该球图像所测量的直径值的值。如图15(b)所示，通过上述过程提取球图像区域12的两个中心点CPl和CP2的坐标。同时，通过上述过程提取的图像区域可以包括与实际球的球图像不同的图像。为了防止这种错误，如图16所示，可以基于每一画面的闪光灯手电筒周期来确定所提取的中心点是否正确，如果该中心点被错误地提取，可以校正所提取的中心点。S卩，该闪光灯手电筒的每一画面的时间间隔是ts I, —画面的最后一个闪光灯手电筒和下一画面的第一闪光灯手电筒之间的时间间隔是ts2，如图3所示，该时间间隔tsl和ts2必须对应于图11的各个画面的球图像区域12-1、12-2和12_3之间以预定比例的距离间隔。
即，ts2与2tsl的比必须对应于b与a的比或d与c的比。如果所提取的中心点之间的间隔不对应于闪光灯手电筒周期，可以校正所提取的中心点，以使所提取的中心点之间的间隔可以对应于该闪光灯手电筒周期。例如，如果该中心点不位于其根据该闪光灯手电筒周期而必须位于的位置处，可以校正该中心点，以使该中心点可以位于相应位置处。在另一方面，如果该中心点位于其根据该闪光灯手电筒周期不必须位于的位置处，可以去除该中心点。在如上所述提取并校正该中心点之后，可以确定球图像区域的最后中心点的坐标，其中在所述球图像区域中该球图像彼此重叠。因此，虽然使用由低分辨率和低速摄像机装置和闪光灯手电筒装置所获取的低质量图像，可以非常精确地提取该移动球的中心点的坐标，从而使球彼此重叠，因此，出现具有预定尺寸的图像区域。如上所述最终确定的该球的中心点的坐标通过该转换装置转换为三维坐标，并且基于该三维坐标获得待模拟的球的移动轨道的物理信息。下面将参考图17描述根据本发明的感测处理方法的实施例。如图17所示，首先，由该信号生成单元施加触发信号，以使该摄像机装置和闪光灯手电筒装置以预定间隔获取物体的移动状态的多重曝光图像(SlO)。此时，感测并识别球的初始位置(S20)。进行各种初步处理步骤，以自所获取的多重曝光图像中去除背景图像和各种噪音(S30)。形成如上所述通过初步处理的图像中的图像区域的多条线(S40)，提取最接近该球的初始位置的线(S50)，以估测该球的移动方向的轴线。此时，当该球的初始位置和最接近该球的初始位置的线之间的距离小于一预定距离时，该线被提取作为移动方向的轴线(S61)。当该球的初始位置和最接近该球的初始位置的线之间的距离大于该预定距离时，确定步骤S40和S50中所估测的移动方向的轴线是错误的，并且进行第二移动方向估测过程。S卩，结合该初步处理的图像的两个或更多个画面(S62)，并且以一预定角度围绕该球的初始点进行线扫描(S63)。此时，相对于各个扫描线上的图像区域的像素值获得成本函数值(参考图10)(S64)，并且具有最大成本函数值的扫描线的其中之一被提取为该移动方向的轴线(S65)。自如上所述提取的移动方向的轴线上的图像区域中提取和分析该球的图像，以最终获得该球的中心点的坐标(S70)。下面将参考图18更加详细地描述图17中的步骤S70。通过如上所述的移动方向估测装置提取球移动的该移动方向的轴线，自该图像中提取球图像区域，其中所提取的该移动方向的轴线穿过该图像，当具有一预定直径或者一测量直径的该各个半圆形沿该移动方向的轴线自所获取的球图像区域的中心移动至所获取的球图像区域的相对端的同时计算该半圆形上的像素值的总和(S71)。随后，半圆形曲线形成于所计算的像素值的总和小于一预定值的位置处，以便安装该球图像区域(S72)。该球图像区域的至少两个中心点候补件形成于穿过该球图像区域的移动方向的轴线上(S73)，并且调节所形成的中心点候补件，以使所形成的中心点候补件可以分别位于具有安装的半圆形曲线的圆形的中心处(S74)。此外，校正如上所述调节的该中心点的位置，以使其对应于该闪光灯手电筒周期(S75)，并且最终获得该球图像区域的两个中心点的坐标(S76)。计算在三维空间中如上所述获取的该中心点的坐标的变化，以获得该移动球的物理性质的信息。发明模式已经以实施本发明的最佳模式描述一种感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置的各种实施例。工业实用性在如上所述根据本发明的移动物体的感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置中，虽然通过低分辨率和低速摄像机装置和闪光灯手电筒装置获取移动物体的多重曝光图像，可以从所获取的图像中准确地提取物体的图像，虽然数个物体图像由于获取特别是以低速移动的物体的多重曝光图像而出现在重叠状态中，可以准确地提取该重叠的物体图像以提取其中心点的坐标，从而以低成本实现高感测处理性能和感测准确度。因此，本发明可以广泛地用于与移动物体的感测装置和感测处理方法以及使用上述装置与方法的虚拟高尔夫球模拟装置相关的产业。
权利要求
1.一种感测装置，其特征在于，该装置包括:一传感器单兀，在闪光灯手电筒下相对于一移动物体获取一多重曝光图像；以及一感测处理单元，包括:一第一处理装置，自该多重曝光图像中提取一物体图像区域，其中所述移动物体的图像通过多重曝光而彼此重叠；以及一第二处理装置，形成该所获取的物体图像区域的至少两个中心点候补件，并且调节所述中心点候补件的位置，从而提取所述物体图像区域的至少两个中心点的坐标。
2.如权利要求1所述的感测装置，其特征在于，所述第一处理装置包括: 一移动方向估测装置，估测所述多重曝光图像中的物体的移动方向；以及 一物体提取装置，自该所估测的移动方向上的图像中提取所述物体图像区域，其中所述物体图像彼此重叠。
3.如权利要求1所述的感测装置，其特征在于，所述第二处理装置包括: 一安装装置，安装该所获取的物体图像区域，从而形成该所安装的物体图像区域的至少两个中心点候补件；以及 一坐标提取装置，根据预定条件调节所述形成的中心点候补件的位置，从而提取所述物体图像区域的至少两个中心点的坐标。
4.如权利要求1所述的感测装置，其特征在于，进一步包括一校正装置，校正所述提取的中心点的坐标，以使所述提取的中心点的坐标对应于一闪光灯手电筒周期。
5.一种感测装置，其特征在于，该装置包括: 一传感器单兀，在闪光灯手电筒下相对于一移动物体获取一多重曝光图像；以及一感测处理单元，包括:一第 一移动方向估测装置，基于所述物体的初始位置信息估测所述物体的移动方向；一第二移动方向估测装置，基于所述多重曝光图像中各个图像区域的像素值估测所述物体的移动方向；以及一物体提取装置，自通过所述第一移动方向估测装置或所述第二移动方向估测装置所估测的所述移动方向上的所述图像中提取所述物体的图像。
6.如权利要求5所述的感测装置，其特征在于，所述第一移动方向估测装置包括:一线形成装置，形成连接所述多重曝光图像中的各个图像区域的至少两点的线；以及一线提取装置，提取最接近所述物体的初始位置的线的其中之一作为该物体的移动方向的轴线。
7.如权利要求5所述的感测装置，其特征在于，所述第二移动方向估测装置包括: 一图像结合装置，将所述多重曝光图像的至少两个画面结合为一单一图像； 一线扫描装置，以预定角度围绕所述物体的初始位置进行线扫描，以核对各个扫描线上的图像的像素值；以及 一轴线提取装置，在通过该线扫描装置扫描的该线中提取具有最大像素值的该扫描线作为所述物体的移动方向的轴线。
8.如权利要求5所述的感测装置，其特征在于，该物体提取装置被配置以如果由所述第一移动方向估测装置所估测的所述物体的移动方向的轴线和所述物体的初始位置之间的距离大于一预定值，该物体提取装置基于由所述第二移动方向估测装置所估测的所述物体的移动方向提取所述物体的图像。
9.一种感测装置，其特征在于，该装置包括:一传感器单兀，在闪光灯手电筒下相对于一移动球获取一多重曝光图像；以及一感测处理单元，包括:一物体提取装置，自该多重曝光图像中提取一球图像区域，其中所述移动球的图像彼此重叠；一安装装置，安装所述球图像区域，以使预定直径的半圆形曲线分别形成于所述提取的球图像区域的对立端部处；以及一坐标提取装置，提取所述安装的球图像区域的至少两个中心点的坐标。
10.如权利要求9所述的感测装置，其特征在于，所述安装装置包括: 一像素核对装置，在自该球图像区域的中心移动至该球图像区域的对立端的同时核对预定直径的半圆形上的像素值，其中所述移动球的图像彼此重叠；以及 一安装处理装置，安装所述球图像区域，以使所述预定直径的半圆形曲线基于所述像素核对的结果而形成在所述球图像区域的对立端部。
11.如权利要求9所述的感测装置，其特征在于，所述安装装置包括: 一第一半圆形安装装置，安装所述球图像区域，以使所述预定直径的一第一半圆形曲线形成于所述球图像区域的一端，其中所述移动球的图像彼此重叠；以及 一第二半圆形安装装置，安装所述球图像区域，以使所述预定直径的一第二半圆形曲线形成于所述球图像区域的另一端，其中所述移动球的图像彼此重叠。
12.如权利要求11所述的感测装置，其特征在于， 所述第一半圆形安装装置包括:一第一像素核对装置，在自该球图像区域的中心移动至该球图像区域的一端的同时计算所述预定直径的该第一半圆形上的像素值的总和，其中所述移动球的图像彼此重叠；以及一第一安装处理装置，安装所述球图像区域，以使所述第一半圆形曲线形成于所计算的所述像素值的总和等于或小于一预定值的位置，以及 所述第二半圆形安装装置包括:一第二像素核对装置，在自该球图像区域的中心移动至该球图像区域的另一端的同时计算所述预定直径的该第二半圆形上的像素值的总和，其中所述移动球的图像彼此重叠；以及一第二安装处理装置，安装所述球图像区域，以使所述第二半圆形曲线形成于所计算的所述像素值的总和等于或小于一预定值的位置。
13.—种感测处理方法，其特征在于，该方法包括: 在闪光灯手电筒下相对于一移动物体获取一多重曝光图像； 自该多重曝光图像中提取一物体图像区域，其中所述移动物体的图像通过多重曝光而彼此重置； 形成该所提取的物体图像区域的至少两个中心点候补件；以及根据预定条件调节所述中心点候补件的位置，以提取所述物体图像区域的至少两个中心点的坐标。
14.如权利要求13所述的感测处理方法，其特征在于，提取所述物体图像区域的步骤包括: 估测所述多重曝光图像中的物体的移动方向； 从所述多重曝光图像中提取在所述估测的移动方向上的图像；以及 从在所提取的移动方向上的各个图像中提取所述物体图像区域。
15.如权利要求13所述的感测处理方法，其特征在于，形成所述中心点候补件的步骤包括: 安装所述物体图像区域，以使预定直径的半圆形曲线形成在所提取的球图像区域的对立端部处；以及 形成所安装的物体图像区域的至少两个中心点作为所述中心点候补件。
16.一种感测处理方法，其特征在于，该方法包括: 在闪光灯手电筒下相对于一移动物体获取多重曝光图像的多个画面； 识别所述多重曝光图像中的所述物体的初始位置； 形成穿过所述多重曝光图像中的图像区域的线； 估测最接近所述物体的初始位置的所述线的其中之一的方向作为该物体的移动方向；以及 从所估测的移动方向上的图像中提取和分析所述物体的图像。
17.如权利要求16所述的感测处理方法，其特征在于，估测最接近所述物体的初始位置的所述线的其中之一的方向作为该物体的移动方向的步骤包括: 如果最接近所述物体的初始位置的所述线和所述物体的初始位置之间的距离大于一预定值，将所述多重曝光图像的至少两个画面结合为一单一图像； 以一预定角度围绕所述物体的初始位置进行线扫描，以核对各个扫描线上的图像的像素值的总和；以及 提取具有所述最大像素值总和的所述扫描线的其中之一的方向作为该物体的移动方向。
18.—种感测处理方法，其特征在于，该方法包括: 在闪光灯手电筒下相对于一移动物体获取多重曝光图像的多个画面； 识别所述多重曝光图像中的所述物体的初始位置； 将所述多重曝光图像的至少两个画面结合为一单一图像； 相对于所结合的图像以一预定角度围绕所述物体的初始位置进行线扫描，以基于所述各个扫描线上的图像的像素值获得预定函数值； 提取具有所述最大函数值的所述扫描线的其中之一的方向作为该物体的移动方向；以及 从所估测的移动方向上的图像中提取和分析所述物体的图像。
19.如权利要求18所述的感测处理方法，其特征在于，获得所述预定函数值的步骤包括: 计算所述扫描线的每一个上的所述图像的像素值的总和的一第一值； 计算以预定间隔形成在所述扫描线的一侧上的线的图像的像素值的总和的一第二值； 计算以预定间隔形成在所述扫描线的另一侧上的线的图像的像素值的总和的一第三值；以及 从所述第一值中减去所述第二值和所述第三值。
20.一种感测处理方法，其特征在于，该方法包括: 在闪光灯手电筒下相对 于一移动球获取一多重曝光图像； 自该多重曝光图像中提取一球图像区域，其中所述移动球的图像通过多重曝光而彼此重叠； 安装所述球图像区域，以使预定直径的半圆形曲线形成在所提取的球图像区域的对立端部处；以及 提取所安装的球图像区域的至少两个中心点的坐标。
21.如权利要求20所述的感测处理方法，其特征在于，所述安装步骤包括: 在沿着穿过所获取的球图像区域的该球的移动方向的轴线自该球图像区域的中心移动该预定直径的半圆形至该球图像区域的对立端的同时计算在所述半圆形上的像素值的总和；以及 安装所述物体图像区域，以使所述预定直径的半圆形曲线形成在所计算的该像素值的总和等于或小于一预定值的位置处。
22.—种虚拟高尔夫球模拟装置，其特征在于，该装置包括: 一传感器单兀，以在闪光灯手电筒下相对于一移动物体获取一多重曝光图像； 一感测处理单元，包括:一第一处理装置，自该多重曝光图像中提取一物体图像区域，其中所述移动物体的图像通过多重曝光而彼此重叠；以及一第二处理装置，形成该所提取的物体图像区域的至少两个中心点候补件，以调节所述中心点候补件的位置，从而提取所述物体图像区域的至少两个中心点的坐标；以及 一模拟器，计算所述中心点的坐标的变化，以获得移动高尔夫球的物理信息，从而模拟所述高尔夫球的轨道 。
全文摘要
本发明公开了一种移动物体的感测装置及感测处理方法，虽然移动物体的多重曝光图像经由低分辨率和低速摄像机装置和闪光灯手电筒装置来获取，但本发明所述移动物体的感测装置及感测处理方法能够精确地从所获取的图像中提取该物体的图像，虽然数个物体图像由于获取了特别是以低速移动的物体的多重曝光图像而以重叠状态呈现，但本发明所述移动物体的感测装置及感测处理方法能够精确地提取重叠的物体图像以提取其中心点的坐标，从而以低成本实现了高感测处理性能和感测准确度，并且本发明还公开了使用上述装置与方法的虚拟高尔夫球模拟装置。
文档编号A63B69/36GK103079652SQ201180041839
公开日2013年5月1日 申请日期2011年6月29日 优先权日2010年6月29日
发明者金元一, 金禜赞, 禹昌宪, 韩民水, 李太华, 崔铭善, 政在旭, 姜身, 李乘禹, 朴韩光, 金螟禹, 金庸禹, 许成麴 申请人:高夫准株式会社