用于虚拟高尔夫模拟装置的感测装置及感测方法

用于虚拟高尔夫模拟装置的感测装置及感测方法
【专利摘要】本发明提供一种用于虚拟高尔夫模拟装置的感测装置及感测方法，其中即使使用具有相对低分辨率及低速度的不昂贵照像机，也可分析所获得的影像，使得物理特性信息，比如移动高尔夫球的速度、方向及高度角等以相对精确方式提取，尤其是，由于高尔夫球杆的移动轨迹通过所获得的影像以相对精确方式计算，高尔夫球的旋转以相对精确方式估计，并在高尔夫模拟中反应所估计的结果，藉以在低成本下形成具有高精确性及高可靠度的虚拟高尔夫模拟装置，并进一步改善虚拟高尔夫的真实感。
【专利说明】用于虚拟高尔夫模拟装置的感测装置及感测方法
【技术领域】
[0001]本发明涉及一种用于虚拟高尔夫模拟装置的感测装置及感测方法，尤其是一种其中虚拟高尔夫球场被成像并模拟且使用者所敲击的高尔夫球的轨迹被感测装置感测并在虚拟高尔夫球场上模拟的虚拟高尔夫模拟装置所用的感测装置及感测方法。
【背景技术】
[0002]近年来，已开发出许多装置，在室内或在特定地方经由模拟而以互动运动游戏的形式，让使用者享受到受欢迎的运动游戏，比如棒球、足球、篮球及高尔夫。
[0003]尤其是近年来，已经开发出所谓的屏幕高尔夫系统，其中当使用者挥动高尔夫球杆以敲击安置于击球垫上的高尔夫球时，感测装置感测被敲击的高尔夫球以提取出移动的高尔夫球的物理信息，使得高尔夫球的轨迹能在虚拟高尔夫球场上被模拟，藉以让使用者能享受到虚拟实境中的高尔夫。
[0004]为了在这类互动运动游戏中模拟使用比如高尔夫球的球类的运动，许多研究已经被导入到许多感测系统，用于精确感测移动的高尔夫球的物理信息，亦即高尔夫球的移动。
[0005]例如，许多感测装置，比如使用红外线传感器的感测装置、使用激光传感器的感测装置、使用声波传感器的感测装置以及使用照相传感器的感测装置，都已经推出到市场上。许多研究已经被导入照相传感器型的感测装置，用于获得并分析移动高尔夫球的影像，藉以精确感测移动高尔夫球的状态。
[0006]然而，在照相感测型的感测装置中，具有高分辨率的超高速照相机用于精确感测，这大幅增加感测装置成本。另一方面，如果使用具有非常低分辨率及非常低速的照相机，照相机所获得的影像质量会很低，其结果是很难从所获得的高尔夫球杆精确提取并分析高尔夫球，因而很难推导出移动高尔夫球的物理特性信息。尤其是，很难量测高尔夫球的旋转。

【发明内容】

[0007]技术问题
[0008]本发明的目的在于提供一种用于虚拟高尔夫模拟装置的感测装置及感测方法，其中分析藉不昂贵而具有非常低分辨率及速度的照相机所获得的影像以相对精确提取物理特性信息，比如移动高尔夫球的速度、方向及高度角，尤其是其中高尔夫球杆的移动轨迹从所获得的影像相对精确地计算，以相对精确估计高尔夫球的旋转，并在高尔夫模拟中反应所估计的高尔夫球的旋转，藉以在低成本下建构具有高精确性及可靠度的虚拟高尔夫模拟装置，并进一步改善虚拟高尔夫的真实感。
[0009]技术方案
[0010]依据本发明的一方面，上述及其它目的可藉提供一种用于虚拟高尔夫模拟装置的感测装置而完成，该感测装置包括:一照相单元，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及一感测处理单元，包括一高尔夫球影像处理装置以及一高尔夫球杆影像处理装置，该高尔夫球影像处理装置用于从每个画面影像提取高尔夫球，以获得高尔夫球的三维坐标，而该高尔夫球杆影像处理装置用于从获得的每个画面影像提取有效的移动物件，以从有效的物件计算高尔夫球杆头的移动轨迹，藉以计算移动高尔夫球的物理特性信息。
[0011]依据本发明的另一方面，提供一种用于虚拟高尔夫模拟装置的感测装置，包括:一照相单元，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及一感测处理单元，包括一高尔夫球影像处理装置以及一高尔夫球杆影像处理装置，该高尔夫球影像处理装置用于经二维分析从每个画面影像提取高尔夫球的轨迹，藉以提取高尔夫球的轨迹上的高尔夫球的三维坐标，而该高尔夫球杆影像处理装置用于从获得的每个画面影像经由二维分析提取相对于移动物件的一匹配线条，并用于经由匹配线条的三维匹配提取高尔夫球杆头的移动轨迹，藉以计算移动高尔夫球的物理特性信息。
[0012]依据本发明的另一方面，提供一种用于虚拟高尔夫模拟装置的感测装置，包括:一照相单元，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及一感测处理单元，包括一第一处理装置以及一第二处理装置，该第一处理装置用于提取并聚集各画面影像之间的差异，以提取有效的移动物件，并从所提取的有效的物件提取一匹配线条，而该第二处理装置用于计算匹配线条上特定部分的轨迹，作为高尔夫球杆头的移动轨迹。
[0013]依据本发明的另一方面，提供一种用于虚拟高尔夫模拟装置的感测装置，包括:一照相单元，包括多个照相机，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及一感测处理单元，用于经由二维分析从各照相机所获得的每个影像提取相对于有效的移动物件的匹配线条，并用于经由已二维分析的匹配线条的三维匹配，提取该匹配线条上特定部分的轨迹，作为高尔夫球杆头的移动轨迹。
[0014]依据本发明的另一方面，提供一种用于虚拟高尔夫模拟装置的感测装置的感测方法，包括连续收集击球所进行的预设拍摄范围的多个影像；分析所获得的影像，以感测使用者是否已经敲击高尔夫球；从高尔夫球已经由使用者敲击的击球时间之后的多个画面影像，提取并分析高尔夫球，藉以计算移动高尔夫球的物理特性信息；以及提取并分析高尔夫球杆头的移动轨迹，以估计移动高尔夫球的旋转。
[0015]依据本发明的另一方面，提供一种用于虚拟高尔夫模拟装置的感测装置的感测方法，包括获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；从所获得的每个影像提取有效的移动物件；匹配相对于所提取的有效的物件的一直线条；计算匹配线条上特定部分的轨迹；以及决定所计算的轨迹作为高尔夫球杆头的移动轨迹，藉以估计移动高尔夫球的旋转。
[0016]有利效果
[0017]依据本发明的用于虚拟高尔夫模拟装置的感测装置及感测方法具有以下效果:分析藉具有低分辨率且低速度的不昂贵照相机所获得的影像，以相对精确提取移动高尔夫球的物理特性信息，比如移动高尔夫球的速度、方向及高度角，尤其是其中高尔夫球杆的移动轨迹从所获得的影像被相对精确地计算，以相对精确估计高尔夫球的旋转，并在高尔夫模拟中反应所估计的高尔夫球的旋转，藉以在低成本下建构具有高精确性及可靠度的虚拟高尔夫模拟装置，并进一步改善虚拟高尔夫的真实感。【专利附图】

【附图说明】
[0018]图1是显示依据本发明实施例的虚拟高尔夫模拟装置所应用的屏幕高尔夫系统的实例的不意图；
[0019]图2是显示依据本发明实施例的虚拟高尔夫模拟装置的结构的方块图；
[0020]图3是显示图2所示的感测装置的详细结构及构成感测装置的元件的功能的示意图；
[0021]图4的(a)是显示照相单元所获得的影像的示意图，图4的(b)是显示从图4的(a)所示的影像分离的感测区域，而图4的(C)是显示感测高尔夫球是否已经经由分离的感测区域而被敲击的示意图；
[0022]图5是显示依据本发明实施例的高尔夫球影像处理装置所提取的各画面中高尔夫球候选者的示意图；
[0023]图6是显示结合各画面中的高尔夫球候选者以显示高尔夫球轨迹候选者于二维平面上的示意图；
[0024]图7是显示依据本发明实施例由感测装置的高尔夫球杆影像处理装置所收集的多个画面影像以及用于差异操作的背景影像的示意图；
[0025]图8是显示经图7所示的各画面影像以及背景影像之间的差异操作所获得的影像的不意图；
[0026]图9是显示像素补偿方法的示意图，其中图9的(a)为显示影像的示意图，而图9的(b)及图9的(c)为显示从影像分离的多个部分的示意图，而每个部分是对应到3x3矩阵；
[0027]图10是显示依据图9所示原理而经图8所示的各画面影像的像素补偿所获得的影像的示意图；
[0028]图11是显示藉从图10所示的各画面影像提取有效的物件所获得的影像的示意图；
[0029]图12是显示多个直线条相对于图11所示各物件而匹配的影像的示意图；
[0030]图13是显示相对于图12所示的各匹配线条的三维匹配原理的示意图；
[0031]图14是显示经由依据图13所示原理而计算的高尔夫球杆头的移动轨迹所估计的高尔夫球的旋转的示意图；
[0032]图15是显示依据本发明实施例的用于虚拟高尔夫模拟的感测方法的流程图；以及
[0033]图16是显示图15所示的高尔夫球杆处理步骤的更详细流程图。
【具体实施方式】
[0034]现在，将参考所附图式详细说明依据本发明的虚拟高尔夫模拟装置以及其使用的感测装置与感测方法的示范性实施例。
[0035]首先，将参考图1及图2说明依据本发明实施例的虚拟高尔夫模拟装置以及其使用的感测装置。
[0036]图1是显示依据本发明实施例的虚拟高尔夫模拟装置所应用的屏幕高尔夫系统实例的示意图，而图2是显示图1中屏幕高尔夫系统所应用的虚拟高尔夫模拟装置的结构的方块图。
[0037]如图1及图2所示，依据本发明实施例的虚拟高尔夫模拟装置包括用于感测使用者所敲击的高尔夫球B的感测装置S、以及用于实现虚拟高尔夫球场的影像并依据感测装置S的感测结果在虚拟高尔夫球场上提供高尔夫球B的轨迹的模拟影像的模拟器1，使得虚拟高尔夫模拟能进行。
[0038]如图1所示，依据本发明实施例的虚拟高尔夫模拟装置所应用的屏幕高尔夫系统可配置成具有一种结构，其中击球台110设置在提供预设大小的空间的高尔夫室2的地面上，而使用者是在击球台110上敲击高尔夫球B，击球垫120设置在击球台110的一侧，而高尔夫球B安置在击球垫120上使得使用者能在击球台110上敲击高尔夫球B，以及屏幕3设置在高尔夫室2的前方，从影像输出装置(图2中所示的影像输出部30，比如光束投影机)输出的虚拟高尔夫模拟的影像被投影到屏幕3上，而影像信息是从模拟器I传送至影像输出装置。
[0039]击球台110及击球垫120设置在图1所示的击球板100上。另一方式是，击球台110及击球垫120可设置在高尔夫室2的地面上。
[0040]可设置击球板100使得击球板100能在向前及向后的方向上以及在左边及右边方向上倾斜预设角度。而且，击球板100可连结至模拟器1，使得击球板100可对应于目前实现的虚拟高尔夫球场的地形而倾斜。
[0041]击球垫120可由人造草皮来形成。如图1所示，击球垫120可分割成球道区121、长草区122以及沙坑区123，分别对应于真实高尔夫球场的球道、长草以及沙坑。较佳地，球道区121、长草区122以及沙坑区123被配置成使得球道区121、长草区122以及沙坑区123具有不同长度的人造草皮，或是使得球道区121、长草区122以及沙坑区123用类似于真实高尔夫球场的不同材料来形成。图1显示击球垫120包括球道区121、长草区122以及沙坑区123，然而，本发明并不受限于此。例如，击球垫120可只包括球道区121，或可包括长草区122或沙坑区123及球道区121。在图1中，附图标记124是指球座(tee)。
[0042]同时，如图1所示，感测装置S是设置于高尔夫室2内，以感测使用者所敲击的高尔夫球B。
[0043]亦即，如图2所示，感测装置S包括照相单元50以及感测处理单元60，而照相单元50包含有多个照相机51及52，且感测处理单元60用于处理照相单元50所获得的影像，藉以提取移动高尔夫球的物理特性。
[0044]照相单元50可由用于影像感测的单一照相机或两个更多个照相机来构成。为了获得移动高尔夫球B的影像并提取高尔夫球在三维空间的坐标，较佳的是配置使用二个或更多个相互协同连结的照相机51及52的立体型照相单元，如图1所示。
[0045]移动高尔夫球的物理特性可包括高尔夫球的速度、高尔夫球的移动方向(高尔夫球在水平方向的移动角度)、高尔夫球的高度(高尔夫球在垂直方向的移动角度)以及高尔夫球的旋转。
[0046]感测处理单元60可包括抓取器65、击球侦测器70、高尔夫球影像处理装置80以及高尔夫球杆影像处理装置90，其中抓取器65以每个画面为基础依序收集照相单元50所获得的影像，击球侦测器70用于接收并处理抓取器65所收集的画面影像，藉以感测击球准备是否已经完成且击球是否已经由使用者进行，高尔夫球影像处理装置80用于在击球侦测器70感测到高尔夫球已经被使用者敲击时，处理从击球侦测器70接收的被击打的高尔夫球的影像，藉以提取移动高尔夫球的物理特性信息，而高尔夫球杆影像处理装置90用于从击球侦测器70接收的影像，分析高尔夫球杆的移动轨迹，藉以提取高尔夫球旋转信息。
[0047]而且，感测处理单元60进一步包括转换装置73，用于匹配照相机51及52所获得的影像，藉以转换每个照相机影像的二维信息(从每个照相机提取的信息是二维信息)为三维信息，或相反地，将匹配多个照相机影像所提取的三维信息转换为二维信息。
[0048]同时，构成依据本发明实施例的虚拟高尔夫模拟装置的模拟器I较佳地包括控制器M、数据库10、数据处理部20以及影像输出部30。
[0049]数据库10储存虚拟高尔夫模拟必要的所有数据。例如，数据库10储存驱动系统所必要的数据、实现虚拟高尔夫球场的影像所必要的数据、以及实现高尔夫球轨迹的模拟影像所必要的数据。
[0050]数据处理部20是进行预设影像处理以实现虚拟高尔夫球场的影像或虚拟高尔夫球场上高尔夫球轨迹的模拟影像的部件。
[0051]影像输出部30输出从数据处理部20接收的影像信息到屏幕，使得使用者能看到影像。
[0052]控制器M依据感测装置S的感测结果接收信息，以控制所有元件的操作，比如模拟器I的数据库10、数据处理部20以及影像输出部30。亦即，控制器M、数据库10以及数据处理部20的功能如同影像实现单元，用于依据感测装置S的感测结果实现高尔夫球轨迹的模拟影像。
[0053]以下，将参考图3说明图2所示的感测装置S的更加详细结构以及构成感测装置S的各元件的功能。
[0054]如图3所示，依据本发明的感测装置中信息的传送是以照相单元50—抓取器65 —击球侦测器70 —高尔夫球影像处理装置80及高尔夫球杆影像处理装置90 —模拟器I的次序来进行。
[0055]照相单元50拍摄预设范围，包括设置有击球台及击球垫的部分，以获得每秒数百画面影像。
[0056]所获得画面影像传送至抓取器65。抓取器65储存从照相单元50接收的影像，并同时传送影像至击球侦测器70，以进行影像处理。
[0057]较佳地，击球侦测器70是从抓取器65接收的影像找寻高尔夫球，并决定高尔夫球是否满足预设条件，以感测击球准备是否已经完成。而且击球侦测器70决定高尔夫球是否从击球准备已经完成的位置上移动，藉以感测击球是否已经由使用者进行。
[0058]图4的(a)至图4的(C)显示击球侦测器70感测击球是否已经由使用者进行的处理。
[0059]图4的(a)是显示从抓取器65传送至击球侦测器70的数个画面源影像的其中之一的不意图。
[0060]击球侦测器80在源影像200中设定击球区220，从源影像200分离击球区220，并从击球区220找寻高尔夫球。此时，如图4的(a)所示，对应于一部分或整个击球垫120的区域可被设定为击球区220。亦即，在击球垫120的位置附近且高尔夫球所在的预设区域可被设定为球区220。[0061]在图4的(a)所示的源影像200中，高尔夫球被安置在击球垫120的球道区121上，且击球侦测器80设定对应于球道区121的区域以作为击球区220。如果高尔夫是在长草区122上，则对应于长草区122的区域可被设定成击球区。另一方面，如果高尔夫是在沙坑区123上，则对应于沙坑区123的区域可被设定成击球区。
[0062]以这种方式，击球区220被分离，而且只从击球区220来找寻高尔夫球，从而比从整个源影像找到高尔夫球时还更加快速及精确找到高尔夫球。
[0063]从分离的击球区220找寻高尔夫球的处理可使用许多方法来进行。例如，可分析击球区220中出现的特定物件以及预设并储存作为高尔夫球的参考影像的高尔夫球样板间的相似程度，而且如果其间的相似程度等于或大于预设程度，该特定物件可被决定成高尔夫球。
[0064]而且，如图4的(b)所示，高尔夫球附近预设大小的感测区R被设定在击球区220的影像中。感测区R较佳地被设定为具有小到足够包含高尔夫球的大小。使用者是否敲击高尔夫球可藉感测高尔夫球是否安置在感测区R中而被轻易决定。
[0065]结果，可从图4的(b)所示状态到图4的(C)所示状态，藉感测高尔夫球是否安置在感测区R中而感测击球是否已经进行。
[0066]在如上所述感测到击球已经进行时，击球侦测器70检查击球已经进行之前所接收的多个画面影像，以确认高尔夫球何时开始移动，亦即击球时间，并且该击球时间的画面影像被指定为触发画面。
[0067]并且，以触发画面为基础储存击球之前的多个画面影像，并传送所储存的所述画面影像至高尔夫球杆影像处理装置90，使得必要的影像处可进行。传送至高尔夫球杆影像处理装置90的影像可包括击球时间的画面的影像，亦即触发画面。
[0068]而且，击球侦测器70以触发画面为基础储存击球之后的多个画面影像(可包括触发画面)，并在同时，实时传送所储存的所述画面影像至高尔夫球影像处理装置80，使得必要的影像处可进行。传送至高尔夫球影像处理装置80的所述影像是传送至高尔夫球杆影像处理装置90，使得影像处可进行。结果，高尔夫球杆影像处理装置90接收并处理击球之前的多个画面影像以及击球之后的多个画面影像。
[0069]高尔夫球影像处理装置80处理从击球侦测器70接收的影像，以提取高尔夫球的三维坐标信息，并使用所提取的信息计算物理特性信息，比如移动高尔夫球的速度、方向及高度角。
[0070]高尔夫球杆影像处理装置90提取高尔夫球杆头的移动轨迹的信息，并使用所提取的信息估计移动高尔夫球的旋转。
[0071]由高尔夫球影像处理装置80及高尔夫球杆影像处理装置90所提取的高尔夫球的物理特性信息被传送至模拟器I。模拟器I输出模拟影像，其中高尔夫球依据所接收的信息在虚拟高尔夫球场上移动，使得虚拟高尔夫模拟可进行。
[0072]高尔夫球影像处理装置80基本上从照相单元50所获得的各画面中的影像提取多个高尔夫球候选者，转换每个高尔夫球候选者的三维坐标为二维坐标，并分析每个高尔夫球候选者的二维轨迹，以提取高尔夫球的最终轨迹，藉以计算移动高尔夫球的物理特性信
肩、O
[0073]亦即，如图5所示，高尔夫球影像处理装置80从各画面相对于照相单元50所获得的影像提取多个高尔夫球候选者(图5中第I画面中的高尔夫球候选者1_1及1_2，第2画面中的高尔夫球候选者2_1及2_2，等等)，并产生高尔夫球轨迹列表，以连结相对于连续画面的各高尔夫球候选者。而且，如图6所示，高尔夫球影像处理装置80相对于高尔夫球轨迹列表进行二次多项式回归分析，而在二维平面上以二维轨迹的形式(曲线I至曲线3)显示高尔夫球轨迹列表，从二维轨迹依据预设条件提取高尔夫球的最终轨迹，并提取所提取的高尔夫球的轨迹上各高尔夫球的坐标(最终所选取的二维轨迹上高尔夫球候选者的坐标)，藉以计算移动高尔夫球的物理特性信息。
[0074]图6是显示依据经由二次多项式回归分析显示在二维平面上的高尔夫球轨迹列表的二维轨迹的示意图。
[0075]如上所述而提取的某些二维轨迹可包含多种噪声，并因而是不正确。为此，不正确的二维轨迹被移除，最后选取高尔夫球的轨迹。
[0076]例如，图6所示连接到地面下二次多项式回归分析结果所获得的二维轨迹的其中之一是无法被视为高尔夫球的轨迹(这是因为当高尔夫球被使用者对高尔夫球挥动高尔夫球杆而敲击时，高尔夫球不会飞穿地面，而发生连结到地面下的轨迹是因为一部分高尔夫球杆被选取为高尔夫球候选者)，因而高尔夫球的最终轨迹排除上述轨迹而被选取。
[0077]如果有多个二维轨迹留下，即使是在无法被视为高尔夫球轨迹的二维轨迹之后，则在高尔夫球移动时所发生的一般物理法则是可应用至高尔夫球的最终轨迹。
[0078]例如，当高尔夫球是朝向屏幕敲击时，在大约5m至IOm的短区段内移动的高尔夫球在水平方向上以大约均一速度且在垂直方向上以大约均一加速度移动。结果，可选取符合这种移动法则的二维轨迹，以作为高尔夫球的最终轨迹。
[0079]以下，将参考图7至图14说明图3所示的高尔夫球杆影像处理装置的结构及处理。
[0080]如图3所示，高尔夫球杆影像处理装置可包括预先处理装置91、第一处理装置92以及第二处理装置93。
[0081]预先处理装置91进行许多种影像处理以轻易地从击球感测装置70或高尔夫球影像处理装置80接收的影像提取并处理高尔夫球杆的影像。以下将参考图7至图10说明预先处理装置91所处理的影像。
[0082]第一处理装置92提取并聚集各画面影像之间的差异，以提取多个有效的移动物件，并从所提取的有效的物件，提取多个匹配的直线条。第二处理装置93计算每个匹配直线条的特定部分的轨迹，以作为高尔夫球杆头的移动轨迹，藉以估计移动高尔夫球的旋转。
[0083]更加具体而言，第一处理装置92可包括物件提取装置92a及线条匹配装置92b，其中物件提取装置92a用以相对于要处理的所有画面影像，提取并聚集某一画面影像以及另一画面影像之间的差异，而提取高尔夫球杆的一部分作为有效的物件，而线条匹配装置92b用于相对于所提取的有效的物件匹配一直线条。
[0084]第二处理装置93可包括轨迹计算装置93a以及旋转估计装置93b，其中轨迹计算装置93a用于检查线条匹配装置92b所匹配的直线条的特定部分的坐标移动，以计算移动轨迹，而旋转估计装置93b用于决定所计算的移动轨迹作为高尔夫球杆头的移动轨迹，用于从移动轨迹提取高尔夫球杆头的移动方向，并用以由此估计高尔夫球的旋转。
[0085]将参考图11至图14说明第一处理装置92以及第二处理装置93所进行的影像处理。
[0086]首先，将参考图7至图10说明高尔夫球杆影像处理装置的预先处理装置所进行的
影像处理。
[0087]高尔夫球杆影像处理装置处理击球之前以及之后的多个画面影像，计算高尔夫球杆头的轨迹，并由此估计高尔夫球的旋转。画面影像的数目可依据设定来改变。在图7及随后的图式中，影像处理是使用击球之前以及之后的五个画面影像来进行，亦即五张影像；然而本发明并不受限于此。可处理少于五张的画面影像或多于五张的画面影像。
[0088]图7所示第I画面至第5画面的影像是由照相单元的照相机所获得，藉以获得使用者所敲击的高尔夫球。获得击球之前以及之后的五个影像。
[0089]图7所示第I画面至第5画面的影像是照相机所获得的源影像301至305。所述影像包含使用者身体的一部分(由身体表示)，高尔夫球杆(由高尔夫球杆表示)以及击球垫(由击球垫表示)。
[0090]高尔夫球杆影像处理装置的主要目的在于从各画面的源影像301至305只提取高尔夫球杆部分。
[0091]为此，背景影像BI如图7所示提供，且差异操作在各画面的源影像301至305以及背景影像BI之间进行。较佳地，背景影像BI在不同于获得各画面的时间的时间获得。
[0092]图8所示第I画面至第5画面的影像经由图7所示第I画面至第5画面的源影像301至305以及背景影像BI之间的差异操作获得。
[0093]亦即，图8所示第I画面的影像311可经由第I画面的源影像301以及背景影像BI之间的差异操作获得。以这种方式，获得图8所示第I画面至第5画面的影像311至315。图8所示第I画面至第5画面的影像311至315是作为差异影像。
[0094]如图8所示，静止部分(例如背景部分及高尔夫球垫部分)从第I画面的差异影像311至第5画面的差异影像315移除，而其结果留下移动部分(例如，使用者身体及高尔夫球杆的一部分；虽然使用者身体的该部分不会大幅移动，却会有相当的移动以使得使用者身体的很大部分无法经由差异操作移除)。
[0095]上述差异影像的提取相对于照相单元的另一照相机以相同方式所获得的影像来进行。
[0096]从图8所示的各画面的差异影像311至315可看出，如果影像的亮度是在差异操作期间降低，则必须增加影像的亮度。亦即，必须增加移动部分的亮度，而保持静止部分的亮度不变。
[0097]增加移动部分的亮度而保持静止部分的亮度不变的方法的实例如图9所示。
[0098]亦即，某一影像的每个像素附近的多个像素的预设数目的像素数值(对于黑白影像，像素数值是表示成亮度数值)是聚集至相对应像素。例如，如图9的(b)及图9的(c)所示，对应于3x3矩阵的周边像素的像素数值被聚集以校正中央像素的亮度。
[0099]假设图9的(a)所示的影像包括35个像素，范围从第I像素至第35像素，则对应于3x3矩阵的周边像素的像素数值相对于影像的每个像素来聚集，以校正中央像素的亮度。
[0100]亦即，假设第16号像素或第17号像素的像素数值被校正为如图9的(b)或图9的(c)所示，则配置在3x3矩阵于第16号像素或第17号像素附近的多个像素的像素数值被聚集以校正第16号像素(图9的(b))或第17号像素(图9的(c))的像素数值，使得第16号像素或第17号像素的亮度增加。以这种方式，对应于3x3矩阵的像素数值相对于范围从第I像素至第35像素的所有像素来聚集，以校正各像素的像素数值。
[0101]经由上述每个像素的校正，可增加移动部分的亮度，而保持黑背景部分的像素数值几乎不变。
[0102]图10所示第I画面至第5画面的校正影像321至325藉校正如图9所示对应于3x3矩阵的周边像素的像素数值至如图9所示相对于各差异影像311至315的中央像素来获得。
[0103]可从图10所示第I画面至第5画面的校正影像321至325看出，移动部分的亮度，亦即使用者身体及高尔夫球杆部分，已经增加。
[0104]上述每个影像的每个像素的校正是相对于照相单元的另一照相机以相同方式获得的影像来进行。
[0105]然而，图10所示的校正影像321至325仍包含噪声，比如使用者身体的一部分。要由高尔夫球杆影像处理装置所处理的影像的有效的部分，亦即有效的物件，是高尔夫球杆部分。其余部分是噪声。
[0106]为此，必须移除不必要部分，比如使用者身体的一部分，并只提取有效的物件，亦即闻尔夫球杆部分。
[0107]图11所示，第I号物件提取影像(331)至第5号物件提取影像(335)是藉从图10所示第I画面至第5画面的校正影像321至325提取有效的物件OBl至0B5而获得。
[0108]亦即，第I号物件提取影像(331)藉提取并聚集第I画面的校正影像321以及其余画面的校正影像322至325来产生，且第2号物件提取影像(332)藉提取并聚集第2画面的校正影像322以及其余画面的校正影像321以及323至325来产生。以这种方式，产生第3号物件提取影像(333)至第5号物件提取影像(335)。
[0109]如图11所示，各物件提取影像331至335是藉从各画面影像的移动部分提取有效的物件OBl至0B5而获得。
[0110]亦即，要处理的各画面影像之间的差异如上所述被聚集，而其结果是移动较小的使用者身体的一部分的影像较佳地被移除，而移动明显较大的部分，比如高尔夫球杆，被提取为有效的物件。
[0111]上述提取有效的物件是相对于照相单元的另一照相机以相同方式所获得的影像来进行。
[0112]同时，如图11所示，藉聚集相对应画面的影像以及其余画面的影像之间差异而提取的有效的物件OBl至0B5是不清楚到结果很难将有效的物件OBl至0B5视为高尔夫球杆的程度，因而有些不足以由此确认高尔夫球杆的移动。
[0113]为此，必须相对于有效的物件OBl至0B5匹配直线条，使得高尔夫球杆的移动能更加清楚地被确认。
[0114]虽然各有效的物件OBl至0B5必须像高尔夫球杆以直线条的形式来显示，但是各有效的物件OBl至0B5在影像处理期间并不以清楚直线条的形式来显示。为此，直线条的匹配是必要的。
[0115]随取样一致(random sample consensus, RANSAC)算法可作为相对于有效的物件OBl至0B5的直线条匹配方法的实例。
[0116]亦即，构成各有效的物件OBl至0B5的像素可具有高尔夫球杆上信息(内层)，或与高尔夫球杆不相关的不正确信息(外层)。具有高尔夫球杆信息的因素是相对于包括具有这类信息的像素的像素群组，经由重复预设的数学模型而被预测并校正，藉以匹配直线条。
[0117]图12是显示各物件提取影像331至335上有效的物件OBl至0B5的直线条匹配(应用RANSAC算法)的结果所获得的影像的示意图。
[0118]亦即，在图12中，线条LI是经由有效的物件OBl的线条匹配而获得，线条L2是经由有效的物件0B2的线条匹配而获得，线条L3是经由有效的物件0B3的线条匹配而获得，线条L4是经由有效的物件0B4的线条匹配而获得，以及线条L5是经由有效的物件0B5的线条匹配而获得。
[0119]上述直线条的匹配是相对于照相单元的另一照相机以相同方式所获得的影像来进行。
[0120]同时，如上所述，当匹配线条是相对于构成照相单元的多个照相机所获得的影像而提取时，必须经由所提取的结果，检查高尔夫球杆头是沿着何种移动轨迹而在三维空间中移动。
[0121]图13是显示匹配第一照相机51及第二照相机52所获得的影像以计算高尔夫球杆头的移动轨迹的原理的示意图。
[0122]在图13中，假设第一照相机51所获得的影像是151，影像151的匹配线条是L51，而在三维空间对应于第一照相机51的影像151上匹配线条L51的平面是DP。而且，假设第二照相机52所获得的影像是152，且在三维空间对应于第二照相机52的影像152上匹配线条L52的直线条是DL。
[0123]如图13所示，找到匹配线条L51上对应的点P51，而匹配线条L51是对应于三维空间平面DP以及三维空间直线条DL的交叉点，其中平面DP是对应于第一照相机的影像151中的匹配线条L51，而直线条DL是对应于第二照相机的影像152中的匹配线条L52。
[0124]结果，匹配线条L52上的点P52以及匹配线条L51上对应的点P51构成一对相对应的点。
[0125]这类相对应的点被检查，而从图12所示的各匹配线条找寻对应于高尔夫球杆头的一部分，亦即每个匹配线条的尾部。
[0126]如果每个匹配线条的尾部，亦即高尔夫球杆头的头部，被找到，则可提取三维空间中头部的坐标信息，并由此计算高尔夫球杆头的移动轨迹。
[0127]在如上所述计算高尔夫球杆头的移动轨迹后，必须由此估计移动高尔夫球的旋转。
[0128]图14是显示从高尔夫球杆头的移动轨迹估计移动高尔夫球的旋转的原理的实例的示意图。图14显示每个画面的高尔夫球杆头CH的移动位置，以及据此的高尔夫球杆头的移动轨迹TR。在图14中，B表示高尔夫球。
[0129]不一定要从一开始到结束检查高尔夫球杆头的移动轨迹以便估计移动高尔夫球的旋转。亦即，如图14所示，可在高尔夫球B附近，设定预设大小的有效的区域400，且可观察到有效的区域400中高尔夫球杆头CH的移动。[0130]如果有效的区域400的大小太小，则快速检查是可能，但精确度会下降。另一方面，如果有效的区域400的大小太大，则精确度改善，但检查速度会下降。因此，较佳的是，有效的区域400的大小是考虑到上述因素而设定成适当大小。
[0131]可在有效的区域400中，从高尔夫球杆头CH的移动轨迹TR，提取高尔夫球杆头CH的移动方向HD。较佳的是在击球时，提取高尔夫球杆头CH的移动方向HD。
[0132]结果，在高尔夫球被敲击后，可轻易的从高尔夫球杆头CH的移动方向HD，估计高尔夫球具有多少的侧旋或后旋。
[0133]为方便说明，图14显示在平面上高尔夫球杆头的移动方向。实际上，可提取三维空间中高尔夫球杆头的移动方向，并因而可轻易估计侧旋或后旋。
[0134]以下，将参考图15及图16说明依据本发明实施例的用于虚拟高尔夫模拟装置的感测装置的感测方法。
[0135]首先，将参考图15以说明感测方法。当感测装置被操作时，感测装置连续收集进行击球的预设派摄范围的影像(SlO)。收集处理可藉图3所示的抓取器65来进行。
[0136]所收集的影像被传送至击球感测装置70 (见图3)，分析所接收的影像以感测使用者是否已经敲击高尔夫球(Sll)。
[0137]在击球感测装置70所进行的影像分析的结果是感测到使用者已经敲击高尔夫球时，击球感测装置70检查在感测到使用者已经敲击高尔夫球之前的多个画面影像，藉以检查高尔夫球杆敲击高尔夫球时的真正击球时间(S20)。
[0138]接着，击球感测装置70储存击球之前的多个画面影像(包括击球时的影像)(S21)。
[0139]接着，击球感测装置70依序从抓取器65收集击球之后的多个画面影像，并实时传送所收集的画面影像至高尔夫球影像处理装置(S22)。
[0140]高尔夫球影像处理装置相对于所接收影像进行高尔夫球处理(S30)。如果如高尔夫球的速度、方向及高度角的信息是计算成高尔夫球处理的结果，则高尔夫球影像处理装置传送所计算的信息至模拟器，而不等高尔夫球杆影像处理装置所处理的结果(S50)。
[0141]高尔夫球杆影像处理装置接收步骤S21中储存的影像以及高尔夫球影像处理装置所处理的影像，并进行高尔夫球杆处理(S40)。如果高尔夫球的旋转信息是计算成高尔夫球杆处理的结果，则高尔夫球杆影像处理装置传送所计算的高尔夫球的旋转信息至模拟器(S50)。
[0142]模拟器使用信息依据高尔夫球处理结果以开始进行模拟，并在模拟期间依据高尔夫球杆处理结果以反应高尔夫球的信息，藉以完成模拟。
[0143]以下，将参考图16更详细说明图15所示的高尔夫球杆处理。
[0144]当上述高尔夫球杆处理开始时，击球之前以及之后的多个画面影像从击球感测装置及高尔夫球影像处理装置接收(S41)。
[0145]为了从所收集的影像移除静止部分，亦即背景影像，差异影像经由相对于另一时间所收集的影像的差异操作提取(S42)。
[0146]为了增加经差异操作所提取的影像中移动部分的亮度，每个像素的周边像素的像素数值是相对于每个影像的所有像素而聚集，藉以产生先前参考图9所说明的影像(S43)，并因而省略其详细说明。[0147]在亮度已经校正的该影像被产生之后，某一画面影像以及另一画面影像之间的差异被提取并聚集，藉以从每个画面影像提取有效的物件(包含高尔夫球杆的部分)。该处理是相对于要处理的所有画面影像而进行(S44)。
[0148]有效的物件是从每个画面影像经由步骤S44而提取。直线条是相对于所提取的有效的物件而匹配(S45)。
[0149]接着，三维空间中相对于多个照相机的相同画面影像的对应点被检查(S46)，以找寻匹配线条的特定部分(较佳的是，对应于高尔夫球杆头的部分，可为匹配线条的一部分)，藉以辨识匹配线条的部分作为高尔夫球杆头，并检查该部分的坐标移动，藉以计算高尔夫球杆头的移动轨迹(S47)。
[0150]接着，高尔夫球杆头的移动方向从所计算的高尔夫球杆头的移动轨迹计算(S48)，且移动高尔夫球的旋转由此来估计(S49)。
[0151]本发明的形式
[0152]本发明的各种实施例已经以最佳形式来说明。
[0153]工业应用
[0154]依据本发明的虚拟高尔夫模拟装置及其使用的感测装置与方法能用于高尔夫游戏或所谓的屏幕高尔夫使使用者能够依据虚拟实境通过高尔夫模拟进行虚拟高尔夫回合的相关广业。
【权利要求】
1.一种用于虚拟高尔夫模拟装置的感测装置，其特征在于，包括: 一照相单元，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及 一感测处理单元，包括一高尔夫球影像处理装置以及一高尔夫球杆影像处理装置，该高尔夫球影像处理装置用于从每个画面影像提取高尔夫球，以获得高尔夫球的三维坐标，而该高尔夫球杆影像处理装置用于从获得的每个画面影像提取有效的移动物件，而从有效的物件计算高尔夫球杆头的移动轨迹，藉以计算移动高尔夫球的物理特性信息。
2.如权利要求1所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该高尔夫球杆影像处理装置配置以接收从该高尔夫球影像处理装置的影像，并处理所接收的该影像，而从该高尔夫球影像处理装置处理的每个影像所提取的高尔夫球已经从所接收的该影像被移除。
3.如权利要求1所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，进一步包括一击球感测装置，用于处理从该照相单元所接收的每个影像，以感测击球是否已经由使用者进行，藉以确认击球时间。
4.如权利要求3所 述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该高尔夫球影像处理装置配置以接收在击球之后从该击球感测装置的多个画面影像，并处理所接收的影像，以及 该高尔夫球杆影像处理装置配置以接收在击球之前从该击球感测装置的多个画面影像、以及该高尔夫球影像处理装置所处理的影像，并处理所接收的影像。
5.如权利要求1所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该感测处理单元配置以: 使用由该高尔夫球影像处理装置所提取的高尔夫球的三维坐标，计算移动高尔夫球的物理特性信息，而所述物理特性包括移动高尔夫球的速度、方向及高度角；以及 从该高尔夫球杆影像处理装置所计算的高尔夫球杆头的移动影像，计算包括移动高尔夫球的旋转的物理特性信息。
6.如权利要求1所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该高尔夫球杆影像处理装置包括: 一第一处理装置，用于提取并聚集各画面影像之间的差异，以提取有效的移动物件，并相对于所提取的有效的物件匹配一直线条；以及 一第二处理装置，用于计算匹配线条上特定部分的轨迹，作为高尔夫球杆头的移动轨迹。
7.如权利要求1所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该高尔夫球杆影像处理装置进一步包括一旋转估计装置，用于在停止状态下高尔夫球的一部分的附近，设定预设大小的有效区域，用于检查在有效区域内高尔夫球杆头的移动轨迹而提取高尔夫球杆头的移动方向，并用于由此估计高尔夫球的旋转。
8.一种用于虚拟高尔夫模拟装置的感测装置，其特征在于，包括: 一照相单元，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及 一感测处理单元，包括一高尔夫球影像处理装置以及一高尔夫球杆影像处理装置，该高尔夫球影像处理装置用于经二维分析从每个画面影像提取高尔夫球的轨迹，藉以提取高尔夫球的轨迹上的高尔夫球的三维坐标，而该高尔夫球杆影像处理装置用于从获得的每个画面影像，经二维分析，提取相对于移动物件的一匹配线条，并用于经由该匹配线条的三维匹配，提取高尔夫球杆头的移动轨迹，藉以计算移动高尔夫球的物理特性信息。
9.如权利要求8所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该照相单元包括多个立体型驱动照相机，用于获得多个画面影像，以及 该高尔夫球影像处理装置配置以从所述照相机所获得的每个影像找寻一高尔夫球候选者，藉以提取高尔夫球候选者的三维坐标，多项式回归分析二维平面上的高尔夫球候选者，并提取及分析高尔夫球候选者的二维轨迹，藉以提取高尔夫球的轨迹，以及将所提取的高尔夫球的轨迹上的高尔夫球坐标转换为三维坐标。
10.如权利要求8所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该照相单元包括多个立体型驱动照相机，用于获得多个画面影像，以及 该高尔夫球杆影像处理装置包括: 一第一处理装置，用于提取并聚集所述照相机所获得的各画面影像之间的差异，以提取有效的移动物件，并相对于所提取的有效的物件匹配一直线条；以及 一第二处理装置，用于检查相对于所述照相机，三维空间中相同画面影像的相对应点，藉以计算匹配线条上特定部分的三维轨迹。
11.一种用于虚拟高尔夫模拟装置的感测装置，其特征在于，包括: 一照相单元，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及 一感测处理单元，包括一第一处理装置以及一第二处理装置，该第一处理装置用于提取并聚集各画面影像之间的 差异，以提取有效的移动物件，并相对于所提取的有效的物件匹配一直线条，而该第二处理装置用于计算匹配线条上特定部分的轨迹，作为高尔夫球杆头的移动轨迹。
12.如权利要求11所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该感测处理单元进一步包括一预先处理装置，用于从所获得的每个影像经由差异操作移除一静止部分，并相对于差异操作影像上的所有像素聚集多个周边像素的预设数目的像素数值以产生一影像，以及 该第一处理装置以及该第二处理装置使用该预先处理装置所处理的影像进行影像处理。
13.如权利要求11所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该第一处理装置包括: 一物件提取装置，用于相对于要处理的所有画面影像，提取并聚集某一画面影像以及另一画面影像之间的差异，藉以提取对应于高尔球杆的一部分，作为有效的物件；以及 一线条匹配装置，用于匹配相对于所提取的有效的物件的一直线。
14.如权利要求13所述的用于虚拟高尔夫模拟装置的感测装置，其特征在于，该第二处理装置包括: 一轨迹计算装置，用于检查匹配线条上特定部分的坐标移动，以计算移动轨迹；以及 一旋转估计装置，用于决定所计算的移动轨迹作为高尔夫球杆头的移动轨迹，用于从该移动轨迹抽取高尔夫球杆头的移动方向，并由此估计高尔夫球的旋转。
15.一种用于虚拟高尔夫模拟装置的感测装置，其特征在于，包括: 一照相单元，包括多个照相机，用于获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像；以及 一感测处理单元，用于经由二维分析从各照相机所获得的每个影像提取相对于一有效的移动物件的一匹配线条，并用于经由已二维分析的该匹配线条的三维匹配，提取匹配线条上特定部的轨迹，作为高尔夫球杆头的移动轨迹。
16.一种用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于，包括: 连续收集击球所进行的预设拍摄范围的影像； 分析所获得的影像，以感测使用者是否已经敲击高尔夫球； 从高尔夫球已经由使用者敲击的击球时间之后的多个画面影像抽取并分析高尔夫球，藉以计算移动高尔夫球的物理特性信息(高尔夫球处理步骤)；以及 提取并分析高尔夫球杆头的移动轨迹，以估计移动高尔夫球的旋转(高尔夫球杆处理步骤)。
17.如权利要求16所述的用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于，该高尔夫球处理步骤包括: 相对于所述画面影像，对每个画面抽取高尔夫球候选者； 将高尔夫球候选者的三维坐标转换`为二维坐标，以提取藉连结各画面的高尔夫球候选者所获得的相互连结的至少一二维轨迹；以及 分析该二维轨迹以提取高尔夫球的轨迹，藉以获得在高尔夫球的轨迹上高尔夫球的三维坐标。
18.如权利要求16所述的用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于，该高尔夫球杆处理步骤包括: 提取并聚集各画面影像之间的差异，以提取有效的移动物件； 匹配相对于所抽取的有效的物件的一直线条；以及 计算匹配线条上特定部分的轨迹，作为高尔夫球杆头的移动轨迹。
19.一种用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于，包括: 获得使用者挥动高尔夫球杆敲击高尔夫球所敲击的高尔夫球的多个画面影像； 从所获得的每个影像提取有效的移动物件； 匹配相对于所提取的有效的物件的一直线条； 计算该匹配线条上特定部分的轨迹；以及 决定所计算的轨迹作为高尔夫球杆头的移动轨迹，藉以估计移动高尔夫球的旋转。
20.如权利要求19所述的用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于，该提取有效的移动物件的步骤包括: 从所获得的每个影像经由差异操作移除一静止部分； 相对于差异操作影像上的所有像素，聚集多个周边像素的预设数目的像素数值以产生一影像；以及 相对于要处理的所有画面影像，提取并聚集某一画面影像以及另一画面影像之间的差异，以抽取对应于高尔球杆的一部分，作为有效的物件。
21.如权利要求19所述的用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于， 该获得影像的步骤包括经由多个立体型驱动照相机获得多个画面影像；以及 该计算特定部分的轨迹的步骤包括: 检查相对于所述照相机在三维空间中相同画面影像的相对应点；以及找寻匹配线条的尾部，辨识该尾部作为高尔夫球杆头，并检查高尔夫球杆头的坐标移动，以计算其三维轨迹。
22.如权利要求19所述的用于虚拟高尔夫模拟装置的感测装置的感测方法，其特征在于，该估计高尔夫球的旋转的步骤包括: 在停止状态下的高尔夫球的位置的附近设定预设大小的有效区域； 检查有效区域中高尔夫球杆头的移动轨迹，以提取高尔夫球杆头的移动方向；以及 从高尔夫球杆头 的移动方向估计移动高尔夫球的旋转。
【文档编号】G09B9/00GK103458977SQ201280014020
【公开日】2013年12月18日 申请日期:2012年3月22日 优先权日:2011年3月22日
【发明者】朴贤陈, 尹炯植, 郑铉潭, 张亨旭 申请人:高夫准株式会社