飞行参数测定装置及飞行参数测定方法与流程

本发明是关于飞行参数测定装置及飞行参数测定方法的发明。

背景技术：

目前，高尔夫球等的球飞行参数(发射参数)测定技术存在很多种。例如，在特表2016－540185号公报(专利文献1)中，公开了飞行物体发射参数的测定方法。该方法包括拍摄飞行对象物体的多个图像的工序、分别在各个图像中确定飞行对象物体的半径和中心的工序、以及依据飞行对象物体的半径和中心、事先测定的摄像机基准值计算速度、仰角和方位角的工序。同时，该方法还包括将多个图像截取为飞行物体与边界相接的最小的正方形的工序、将多个图像从球面显示转换为直角坐标显示的平坦化工序、将直角坐标显示转换为具有一系列旋转中心选项的极坐标的工序、依据极图像组的符合度对旋转轴和旋转率进行测定的工序。通过所述工序测定飞行物体的速度、仰角、方位角、旋转轴和旋转率。

另外，在特表2005－529339号公报(专利文献2)中，公开了确定运动对象物体参数的方法。该方法包括对摄像机镜头进行校正，针对摄像机图像面上的全部(x、y)像素确定(x、y、z)方向的步骤、决定基准补偿系数的步骤、捕捉运动物体的多个图像的步骤、分别在多个图像中发现对象物体的步骤、和分别针对多个图像进行三维坐标计算的步骤、和通过三维坐标计算对象物体的速度矢量的步骤。另外，该方法还包括通过多个旋转组的第一个旋转组进行多个图像基准图像旋转的步骤、和将旋转后的基准图像定标为目标图像的步骤、和使基准图像与目标图像相关联，从而获得多个分值的增量分值的步骤、和为了获得多个分值的最大分值而依次进行改良，重复进行旋转、定标以及关联步骤的步骤、和为了决定运动对象物体的参数而利用多个旋转组中最大旋转组的步骤。通过所述步骤决定速度、轨道、旋转轴以及该轴的旋转率。

现有技术文献

专利文献

专利文献1特表2016－540185号公报

专利文献2特表2005－529339号公报

技术实现要素：

发明所要解决的问题

在根据摄像机拍摄的球的图像计算球的飞行参数时，存在各种各样的图像处理方法，人们也在摸索更加高效的方法。在所述的专利文献1、2中记载的技术中，存在飞行参数的测定所需的工序(步骤)多，而且非常复杂，需要一定的处理能力和处理时间的问题。另外，所测定的飞行参数的精度也不明确。在这里，飞行参数通常包括表示飞行物体的速度、仰角和方位角的移动参数和表示旋转轴与旋转率的旋转参数，但高精度的旋转参数计算非常困难。

因此，本发明的目的是为了解决所述的课题，提供可高精度地测定球的飞行参数的飞行参数测定装置及飞行参数测定方法。

解决问题的技术方案

本发明涉及的飞行参数测定装置包括图像拍摄部、图像一致部、3d模型构成部、虚拟旋转部、登录图像生成部、差分计算部和旋转参数确定部。图像拍摄部通过摄像机连续拍摄飞行中的球，获得第一次拍摄的第一个拍摄图像内表示所述球的第一个球的图像、和第二次拍摄的第二个拍摄图像内表示所述球的第二个球的图像。图像一致部在摄像机坐标系中生成使所述第一个球图像的尺寸与第二个球图像的尺寸一致的第一个登录球图像。3d模型构成部构成将所述的所生成的第一个登录球图像的摄像机坐标系转换成所述的所生成的第一个登录球图像的世界坐标系后得到的第一个登录球图像的3d模型。虚拟旋转部利用预先推测的旋转参数与旋转矩阵信息使所述的所构成的第一个登录球图像的3d模型进行虚拟旋转。登录图像生成部生成将所述旋转后的第一个登录球图像的3d模型中由所述摄像机拍摄的可视表面的世界坐标转换成摄像机坐标系后得到的、摄像机坐标系中的第二个登录球图像。差分计算部从所述第二个球图像中提取与所述第二个登录球图像对应的第二个比较球图像，计算所述第二个登录球图像与所述第二个比较球图像的差分。旋转参数确定部通过变更所述初始旋转参数，反复进行所述3d模型的虚拟旋转、所述第二个登录球图像的生成和所述差分的计算，将使所述差分变成最小值的旋转参数确定为所述球的现实的旋转参数。

另外，本发明所涉及的飞行参数测定方法和飞行参数测定装置的各部一样，包括图像拍摄步骤、图像一致步骤、3d模型构成步骤、虚拟旋转步骤、登录图像生成步骤、差分计算步骤和旋转参数确定步骤。

发明的有益效果

通过本发明，可通过简单的图像处理方法高精度地测定球的飞行参数。

附图说明

图1是本发明所涉及的飞行参数测定装置的简图。

图2是本发明所涉及的飞行参数测定装置的功能方框图。

图3是表示本发明所涉及的飞行参数测定装置的执行步骤的流程图。

图4a拍摄图像的二值化图像举例。

图4b是二值化图像中的对象物体的提取和球的中心坐标与半径的计算举例。

图5a是表示拍摄图像的摄像机坐标系与摄像机的世界坐标系关系的简图。

图5b计算球的世界坐标系的z坐标值时的简图。

图6a是表示球的速度、仰角与方位角的关系的简图。

图6b是使第一个球的图像与第二个球的图像一致时的简图。

图7a是内插第一个登录球图像的像素的像素值时的简图。

图7b将第一个登录球图像的摄像机坐标系转换为世界坐标系、构成3d模型时的简图。

图8a是将第一个登录球图像的3d模型进行虚拟旋转，提取旋转后的第一个登录球图像的可视表面时的简图。

图8b是计算第二个登录球图像与第二个比较球图像的差分时的简图。

图9a是通过retinex处理、二值化处理和像斑二值化处理重新构成球图像的举例。

图9b是是否重新构成球图像造成的第一个登录球图像与第二个球图像的差异的简图。

图10a是表示测定通过高尔夫用机器人打出的高尔夫球的飞行参数的情形的照片图像举例。

图10b是使用市售的飞行参数测定装置与本发明的飞行参数测定装置测定的高尔夫球速度测定结果的图表。

图11a是使用市售的飞行参数测定装置与本发明的飞行参数测定装置测定的高尔夫球仰角测定结果的图表。

图11b是使用市售的飞行参数测定装置与本发明的飞行参数测定装置测定的高尔夫球方位角测定结果的图表。

图12a是使用市售的飞行参数测定装置与本发明的飞行参数测定装置测定的高尔夫球旋转轴测定结果的图表。

图12b是使用市售的飞行参数测定装置与本发明的飞行参数测定装置测定的高尔夫球旋转率测定结果的图表。

具体实施方式

以下参照附图对本发明的具体实施方式进行说明，用于对本发明的理解。另外，以下的具体实施方式只是将本发明具体化的一个实例，并不具有限定本发明的技术范围的性质。

如图1所示，本发明所涉及的飞行参数测定装置1包括摄像机10和飞行参数计算部11。摄像机10是可以短时间内实现高速连续拍摄的高速摄像机。本发明的摄像机只要能够有效地获取拍摄图像，无需限定摄像机10的数量，使用1台亦可，使用多台(例如，2台)亦可。飞行参数测定装置1在飞行中的球进入摄像机10的视野后，摄像机10开始拍摄，按照既定的时间、高速、连续地拍摄在视野内运动(飞行或者发射)的球b。

飞行参数计算部11以可通迅的方式连接摄像机10，在接收到摄像机10所拍摄的包括球b在多张(例如，2张)拍摄图像后，依据该多张拍摄图像计算正在运动的球b的飞行参数。飞行参数由移动参数和旋转参数构成。移动参数表示球b的速度(ballspeed)、仰角(launchangle)、和方位角(sideangle)。旋转参数表示旋转轴(spinaxis)和旋转率(totalspin)。另外，倒旋是指相对于球b的行进方向的反方向的旋转率，侧旋是指相对于旋转轴的横向的旋转率。倒旋和侧旋均可以通过球b的速度、仰角、方位角、旋转轴和旋转率计算。

在这里，为了恰到好处地拍摄摄像机10视野内正在运动的球b，飞行参数测定装置1还包括球检测部12。球检测部12的构成没有特殊限制。例如，包括在摄像机10的视野内(例如，视野内的端部附近)照射红外线的红外线照射部、和将所照射的红外线作为反射光接收的红外线接收部、和依据所接收的反射光的变化检测正在运动的球b已进入摄像机10视野内的反射光检测部。在球b进入视野内之后，视野内的红外线通过球b形成反射，球b的反射光会发生变化，因此，球检测部12利用该现象检测球b进入摄像机10的视野。红外线照射部和红外线接收部是一套。通过在摄像机10视野内的水平方向直列设置多套，可以高精度地检测球b在摄像机10视野内的哪个位置进入。另外，使用激光或者激光光帘替代红外线亦可。在球检测部12检测到正在运动的球b进入摄像机10视野内时，将检测信号发送给飞行参数计算部11，飞行参数计算部11向摄像机10输入拍摄信号，连续拍摄正在摄像机10视野内运动的球b。

另外，摄像机10、飞行参数计算部11、和球检测部12内置了未图示的cpu、rom、ram等，例如，cpu是以ram作为作业区域使用，执行在rom等中存储的程序。此外，在后述的各部中，也通过cpu执行程序实现该各部。

在参照图2、图3的同时，对本发明的具体实施方式所涉及的构成及执行步骤进行说明。首先，用户(高尔夫球手)在接通飞行参数测定装置1的电源后，飞行参数测定装置1启动，球检测部12开始检测球b的动作(图3：s101)。

高尔夫球手在飞行参数测定装置1的旁边配置球b(例如，高尔夫球)，通过高尔夫球杆打出球b后，球检测部12检测球b的飞行(发射)(图3：s101yes)。然后，飞行参数测定装置1的图像拍摄部201通过摄像机10连续拍摄正在飞行的球b(图3：s102)。在这里，图像拍摄部201按照既定的时间，通过摄像机10高速连续拍摄正在飞行的球b，获取2张拍摄图像。图像拍摄部201获得表示第一次拍摄的第一个拍摄拍摄图像中的所述球的第一个球图像和表示第二次(例如，随后)拍摄的第二个拍摄拍摄图像中的所述球的第二个球图像。

图像拍摄部201完成拍摄后，飞行参数测定装置1的移动参数计算部202依据所述第一个球图像和所述第二个球图像计算球b的移动参数。

移动参数计算部202进行计算的方法没有特别的限制。首先，移动参数计算部202针对第一个拍摄图像和第二个拍摄图像，分别计算所述第一个球图像和所述第二个球图像(所述第一个拍摄图像与所述第二个拍摄图像各自的所述球图像)的中心坐标(中心坐标值)与半径(图3：s103)。具体来说，如图4a所示，移动参数计算部202将第一个拍摄图像401进行二值化处理(执行二值化处理)，生成确定第一个拍摄图像401中的对象物体边缘(轮廓)的二值化图像402。通过二值化图像402确定的对象物体主要是与周围进行比较，是浓淡差大的部分。

如果第一个拍摄图像401是全彩色图像，则移动参数计算部202将第一个拍摄图像401转换成用256值表现像素的像素值(浓度值)的灰度图像，将像素值为既定的阈值以上的像素作为“1”(白)，将像素值小于所述阈值的像素作为“0”(黑)，生成二值化图像402。阈值预先设定好，使拍摄图像中的球b(所述球图像)的边缘清晰。

在这里，确定了边缘的对象物体中可能包含了球b之外的对象物体(例如，高尔夫球杆e的前端)。因此，如图4b所示，移动参数计算部202在二值化图像402中，分别对确定了边缘的多个对象物体402a计算对象物体402a的长边l，计算以该计算的长边l为直径的圆402b的面积s1、和该对象物体402a边缘内的面积s2，计算通过所述圆的面积s1除以所述对象物体402a的边缘内面积s2得到的面积比例s1/s2。然后，移动参数计算部202在计算多个对象物体402a得到的面积比例s1/s2中，将拥有与1(－)最为接近的面积比例s1/s2的对象物体402a确定为球b。即，面积比例s1/s2最接近1(－)是指以长边l为直径的圆402b的面积s1与对象物体402a的边缘内面积s2相等，表示对象物体402a是圆。通过这种方式，可以明确地确定二值化图像402内的球b。

然后，移动参数计算部202在二值化图像402中，计算所确定的球b的中心坐标c和半径r。球b的中心坐标c通过摄像机坐标系(图像坐标系)中二值化图像402的二维坐标系(xic、yic)(像素)计算。摄像机坐标系是以拍摄图像401(或者二值化图像402)的中心为原点，以横轴为x轴(xi)，以竖轴为y轴(yi)的坐标系。球b的半径r通过像素数(像素)计算。移动参数计算部202在完成第一个拍摄图像401中的第一个球b的中心坐标c和半径r的计算后，对第二个拍摄图像也做同样的处理，计算第二个拍摄图像中的第二个球b(所述第二个球图像)的中心坐标c和半径r。

然后，移动参数计算部202分别针对第一个拍摄图像和第二个拍摄图像，依据所计算的所述球b(所述球图像)的中心坐标c、半径r、以及所述摄像机10的校准信息，计算世界坐标系(实物坐标系)中的中心坐标c(图3：s104)。

移动参数计算部202的计算方法没有特殊的限制。在这里，摄像机10的校准相关信息是指校准矩阵信息。如图5a所示，校准矩阵信息将摄像机坐标系中拍摄图像501(拍摄图像501上的任意点a)的二维坐标(xia、yia)(像素)世界坐标系中拍摄图像501(拍摄图像501上的任意点a)的三维坐标(xra、yra、zra)(长度)相关联。所述摄像机坐标系是与摄像机10的焦距f(长度)相对应的拍摄图像501的中心ci为原点。所述世界坐标系是以摄像机10的中心cr为原点。例如，所述校准矩阵包括k矩阵、p矩阵等。然后，拍摄图像501在从摄像机10的中心cr朝向拍摄対象的z轴方向离开焦距f(长度)的位置与z轴垂直。所述摄像机坐标系在x轴(xi)上拥有横轴，在y轴(yi)上拥有竖轴。所述世界坐标系在x轴(xr)上拥有横轴，在y轴(yr)上拥有竖轴，在z轴(zr)上拥有纵轴(视轴或者光轴)。

移动参数计算部202使用校准矩阵信息，将所述计算的球b的中心坐标c的摄像机坐标系{二维坐标(xic、yic)}转换为世界坐标系{三维坐标(xrc、yrc、zrc)}。

在这里，在通过校准矩阵信息计算的世界坐标系的三维坐标(xrc、yrc、zrc)中，因为z坐标值(zrc)是拍摄图像501上的任意点a的z坐标值，所以，在拍摄图像501上的任意点a的z坐标值全部相同。因此，在z轴方向上飞行的球b的世界坐标的z坐标值需要通过其他的方法计算。

因此，移动参数计算部202利用余弦定理，以所计算的球b的半径r、和世界坐标系的摄像机10的中心cr为基准，根据与拍摄图像501的球b的左右两端的z轴方向间的角度θ之间的关系计算球b的世界坐标系的z坐标值。如图5b所示，以与球b的直径2r相对应的拍摄图像501的球b左右两端的距离l、和拍摄图像501的球b的左端(或者右端)、和与世界坐标系的摄像机10的中心cr的距离d、和世界坐标系的摄像机10的中心cr为基准，与拍摄图像501的球b的左右两端在z轴方向之间的角度θ如下述的公式(1)(2)所示，余弦定理成立。

l²＝d²+d²－2dcosθ＝2d²×(1－cosθ)···(1)

d＝sqr{l²/(2×(1－cosθ))}···(2)

移动参数计算部202使用通过预先计算的像素转换为长度(实际尺寸)用的尺寸，将球b的半径r的像素转换为长度，通过转换后的球b的半径r(长度)计算球b的直径l(＝2r)(长度)，通过摄像机10的焦距f(长度)与球b的直径l(长度)计算拍摄图像501的球b在左右的z轴方向间的角度θ(度)，将球b的直径l(长度)和角度θ(度)代入所述的公式(2)中，计算距离d(长度)。这样，距离d(长度)与球b的世界坐标系的z坐标值近似，因此，移动参数计算部202将所计算的距离d(长度)作为球b的世界坐标系的z坐标值。另外，对第一个球和第二个球分别进行所述的处理。

然后，移动参数计算部202依据所计算的所述第一个球和所述第二个球的中心坐标c{三维坐标(xrcj、yrcj、zrcj)(j＝1、2)}和所述第一个球图像与所述第二个球图像的拍摄时间的间隔计算该球b的移动参数(速度bs、仰角la、方位角sa)(图3：s105)。

移动参数计算部202的计算方法没有特殊的限制。如图6a所示，球b的速度bs和仰角la和方位角sa可以根据世界坐标系中的第一个拍摄图像的第一个球b1的中心坐标c1{三维坐标(xrc1、yrc1、zrc1)}、和第二个拍摄图像的第二个球b2的中心坐标c2{三维坐标(xrc2、yrc2、zrc2)}、和拍摄第一个拍摄图像401的第一个时间t1(sec)、和拍摄第二个拍摄图像401的第二个时间t2(sec)计算。

具体来说，移动参数计算部202通过将所述的值代入下述的公式(3)(4)(5)(6)，计算世界坐标系中球b的各轴速度(vx、vy、vz)，计算球b的整体速度bs。

vx＝(xrc2－xrc1)/(t2－t1)···(3)

vy＝(yrc2－yrc1)/(t2－t1)···(4)

vz＝(zrc2－zrc1)/(t2－t1)···(5)

bs＝sqr(vx²+vy²+vz²)···(6)

另外，移动参数计算部202通过将所计算的各轴的球b的速度(vx、vy、vz)代入下述的公式(7)(8)，计算世界坐标系中的仰角la及方位角sa。另外，pi表示圆周率。

la＝180＊(tan^－1(vy/vx)/pi)···(7)

sa＝180＊(tan^－1(vz/vx)/pi)···(8)

那么，移动参数计算部202在完成球b的移动参数计算后，进行球b的旋转参数的计算。首先，飞行参数测定装置1的图像一致部203生成通过使所述第一个球图像与第二个球图像一致得到的第一个登录球图像(图3：s106)。

图像一致部203的生成方法没有特殊的限制。首先，如图6b所示，图像一致部203在摄像机坐标系中将所述第一个球图像601a(b1)的中心坐标c1(xic1、yic1)平行移动至摄像机坐标系中(所述第二个拍摄图像602的)所述第二个球图像602a(b2)的中心坐标c2(xic2、yic2)，使(所述第一个拍摄图像的)第一个球图像601a的位置(坐标)与(所述第二个拍摄图像的)第二个球图像602a的位置(坐标)一致。

然后，图像一致部203计算通过第二个球图像602a(b2)的半径r2(像素)除以第一个球图像601a(b1)的半径r1(像素)得到的尺寸比例r2/r1(－)，第一个球图像601a(b1)乘以尺寸比例r2/r1(－)，将第一个球图像601a的尺寸与第二个球图像602a的尺寸一致，将所得到的所述乘算的第一个球图像作为第一个登录球图像601b进行生成。第一个登录球图像601b成为将第一个球b1的视点与第二个球b2的视点重叠的图像。在球b发生旋转时，第一个球图像601a是旋转前的图像，第二个球图像602a是旋转后的图像，因此，二者的表面(映射点)不同。

另外，在图像一致部203生成第一个登录球图像601b时，在摄像机坐标系中，使用第一个球图像601a的中心坐标c1(xic1、yic1)、和第二个球图像602a的任意坐标(xi2、yi2)、和第二个球图像602a的中心坐标c2(xic2、yic2)、和尺寸比例r2/r1(－)、和下述的公式(9)(10)计算与第二个球图像602a的任意坐标相对应的第一个登录球图像601b的对应坐标(xi11、yi11)亦可。

xi11＝(xi2－xic2)＊r2/r1+xic1···(9)

yi11＝(yi2－yic2)＊r2/r1+yic1···(10)

在这里，构成第一个球图像601a的像素，将摄像机坐标系中的2d坐标(xi1、yi1)(像素)与表示浓淡的像素值相关联，但是，摄像机坐标系的单位与使用了尺寸比例r2/r1(－)的图像像素的单位不同，没有小数。因此，在第一个球图像601a的位置及尺寸与第二个球图像602a的位置及尺寸一致时，如图7a所示，摄像机坐标系中的第一个登录球图像601b的像素的任意坐标(xi11、yi11)有可能自第一个球图像601a的像素的任意坐标(xi1、yi1)发生偏差。

因此，图像一致部203依据与作为第一个登录球图像601b的关注像素的四角相邻配置的4个像素、即第一个球图像601a的4个像素(周边像素或者临近像素)的像素值推算(内插)该第一个登录球图像601b的关注像素的像素值。通过这种方式，就可以消除第一个登录球图像601b的像素的像素值与第一个球图像601a的像素的像素值之间的偏差，高精度地进行旋转参数的计算。

具体来说，图像一致部203将与第一个登录球图像601b的关注像素的四角相邻配置的周边像素、即第一个球图像601a的周边像素的像素值i(xi1、yi1)、i(xi1+1、yi1)、i(xi1+1、yi1+1)、i(xi1、yi1+1)代入下述的公式(11)(12)(13)，推算第一个登录球图像601b的关注像素{在摄像机坐标系的任意坐标(xi11、yi11)中的}的像素值i(xi11、yi11)。

i(xi11、yi11)＝i(xi1、yi1)＊(1－fx)＊(1－fy)+i(xi1+1、yi1)＊(1－fx)＊fy+i(xi1+1、yi1+1)＊fx＊fy+i(xi1、yi1+1)＊fx＊(1－fy)···(11)

fx＝xi11－xi1···(12)

fy＝yi11－yi1···(13)

图像一致部203完成生成后，飞行参数测定装置1的3d模型构成部204构成通过所述生成的第一个登录球图像601b的摄像机坐标系转换为所述生成的第一个登录球图像601b的世界坐标系后得到的第一个登录球图像601b的3d模型。(图3：s107)。

3d模型构成部204的构成方法没有特殊的限制。首先，如图7b所示，3d模型构成部204使用摄像机坐标系中第一个登录球图像601b的中心坐标c11(像素)、和第一个登录球601b的半径r11(像素)，只提取第一个登录球图像601b的兴趣区(regionofinterest:interestdomain:roi)。所述第一个登录球图像601b不胜枚举所述球(称为第一个登录球b1‘)。具体来说，3d模型构成部204中，通过下述的公式(14)(15)(16)(17)，使用摄像机坐标的第一个登录球图像601b的中心坐标c11(xic11、yic11)、和第一个登录球b1‘的半径r11(像素)计算(摄像机坐标系中的)第一个登录球图像601b的始点坐标b11(xic11、yic11)、和(摄像机坐标系中的)第一个登录球图像601b的终点坐标e11(xie11、yie11)。

xib11＝xic11－r11···(14)

yib11＝yic11－r11···(15)

xie11＝xic11+r11···(16)

yie11＝yic11+r11···(17)

以所述中心坐标c11(xic11、yic11)为圆心、按所述半径r11围起的区域就是第一个登录球图像601b(roi图像)。然后，3d模型构成部204使用校准矩阵信息，将所述提取的第一个登录球图像601b(roi图像)的摄像机坐标系{二维坐标(xi11、yi11)}转换为世界坐标系{三维坐标(xr11、yr11、zr11)}。

在这里，如上所述，通过校准矩信息阵计算的世界坐标系的z坐标值(zr11)在所述提取的第一个登录球图像601b的roi图像上全部相同，因此，所述z坐标值需要采用其他的方法进行计算。

第一个登录球图像601b在三维上只有第一个登录球b1‘的半径r11(长度)从第一个登录球b1‘的中心坐标c11(xrc11、yrc11)(长度)沿z轴方向呈半球状突出，构成通过摄像机10拍摄(可见)的第一个登录球b1‘可视表面(可视区域)。

因此，3d模型构成部204将第一个登录球图像601b(b1‘)的半径r11的像素转换为第一个登录球图像601b(b1‘)的半径r11的长度，如图7b所示，使用世界坐标系中第一个登录球图像601b(b1‘)的中心坐标c11(xrc11、yrc11)(长度)、和第一个登录球601b(b1‘)的半径r11(长度)，面向摄像机10形成半球状的第一个登录球601b(b1‘)的可视表面601c。3d模型构成部204针对所形成的可视表面601c，从第一个登录球图像601b的关注像素c(xr11、yr11)(映射点){摄像机坐标系的关注坐标(xr11、yr11)}延伸出投影到面向摄像机10的z轴方向的直线lz，计算该直线lz与所述形成的可视表面601c的交点的z坐标值(zr11)。3d模型构成部204在通过使用所提取的第一个登录球图像601b中的校准矩阵信息转换的x及y(二维)坐标(xr11、yr11)的关注像素c(xr11、yr11)上赋予所计算的z坐标值(zr11)，计算第一个登录球图像601b的x、y及z(三维)坐标(xr11、yr11、zr11)的对应像素c‘(xr11、yr11、zr11)。3d模型构成部204针对构成第一个登录图像601b的全部关注像素计算对应像素，构成由所计算的全部像素601b构成的第一个登录球图像601b的3d模型。通过对第一个登录球图像601b的全部像素进行所述的处理，构成第一个登录球图像601b的3d模型(三维模型化)。

另外，第一个登录球图像601b的对应像素c‘的z坐标值(zr11)在使用世界坐标系中的第一个登录球图像601b的中心坐标c11(xrc11、yrc11)(长度)、和第一个登录球b1‘的半径r11(长度)、和下述的公式(18)计算的两个值中取正值，可简单地计算出来。

zr11＝sqr[r11²－{(xr11－xrc11)²+(yr11－yrc11)²}]···(18)

在3d模型构成部204在完成构成后，飞行参数测定装置1的虚拟旋转部205使用预先推算的初始旋转参数(例如，作为初始值，使用旋转轴sx0和旋转率ts0)和旋转矩阵信息，使世界坐标系中的所述第一个登录球图像601b的所述3d模型进行虚拟旋转(图3：s108)。

虚拟旋转部205的旋转方法没有特殊的限制。首先，虚拟旋转部205使用对世界坐标系中的3d模型的旋转进行模拟用的旋转矩阵信息。旋转矩阵信息r是指将旋转前的3d模型的三维坐标v(xr11、yr11、zr11)、和初始旋转参数(sx0、ts0)与旋转后的3d模型的三维坐标v`(xr11`、yr11`、zr11`)相关联。旋转矩阵信息r一般用下述的公式(19)表现。

v`(xr11`、yr11`、zr11`)＝r(sx0、ts0)＊v(xr11、yr11、zr11)···(19)

在这里，旋转矩阵信息r有时也使用三维角(欧拉角)，本发明旋转矩阵信息r设定与三维角相对应的旋转轴及旋转率。

如图8a所示，虚拟旋转部205通过将旋转前的3d模型的三维坐标(xr11、yr11、zr11)和初始旋转参数(sx0、ts0)代入旋转矩阵信息r，得到旋转后的3d模型的三维坐标(xr11`、yr11`、zr11`)。通过使用该旋转矩阵信息r，一次性完成虚拟旋转所需的计算处理，可实现处理的简单化。

在虚拟旋转部205完成旋转后，飞行参数测定装置1的登录图像生成部206生成将所述旋转后的第一个登录球图像的3d模型中通过摄像机拍摄的可视表面的世界坐标系转换成所述可视表面的摄像机坐标系后得到的摄像机坐标系中的第二个登录球图像(图3：s109)。

登录图像生成部206的生成方法没有特殊的限制。首先，如图8a所示，登录图像生成部206在3d模型801(三维坐标)的旋转后的第一个登录球图像601b(b1‘)的中心坐标c11(xrc11、yrc11)中提取面向摄像机10的在z轴方向呈半球状突出的可视表面801a(二维坐标)。所述提取的可视表面801a包含在第二个球图像602a的局部之中。

然后，登录图像生成部206利用校准矩阵信息，将所提取的可视表面801a的世界坐标系{三维坐标(xr11`、yr11`、zr11`)}转换为所述提取的可视表面801a的摄像机坐标系{二维坐标(xi11`、yi11`)}。然后，如图8b所示，登录图像生成部206将旋转后的第一个登录球图像601b的3d模型中的所述已转换可视表面801a作为摄像机坐标系的第二个登录球图像801b进行生成。通过这种方式，可以将第二个登录球图像801b与第二个球图像602a进行比较。

在登录图像生成部206完成生成后，飞行参数测定装置1的差分计算部207计算所述的所生成的第二个登录球图像801b与所述第二个球图像602a的差分(图3：s110)。

差分计算部207的计算方法没有特殊的限制。因为第二个登录球图像801b是使用旋转前的第一个登录球图像601b生成的，所以，第二个登录球图像801b并不与第二个球图像602a完全对应。因此，首先，如图8b所示，差分计算部207在所述第二个球图像602a中提取与所述第二个登录球图像801b相对应的第二个比较球图像802a。在这里，第二个比较球图像802a的摄像机坐标系{二维坐标(xi11`、yi11`)}与第二个登录球图像801b的摄像机坐标系{二维坐标(xi2、yi2)}一致。第二个比较球图像802a是与第二个登录球图像801b进行比较用的图像。如上所述，依据与第二个球图像602a相对应的第一个登录球图像601b生成第二个登录球图像801b，所以，容易与第二个球图像602a(第二个比较球图像802a)进行比较，实现处理的简单化。

然后，差分计算部207计算第二个登录球图像801b与第二个比较球图像802a的差分。图8b是第二个登录球图像801b与第二个比较球图像802a的举例。如果在生成第二个登录球图像801b的推算旋转参数与现实的值一致，则第二个登录球图像801b和第二个比较球图像802a基本相同，所述的差分变成最小值。反之，如果生成第二个登录球图像801b的推算旋转参数与现实的值不同，则第二个登录球图像801b与第二个比较球图像802a完全不同，所述的差分变大。在本发明中，为了将第二个登录球图像801b与第二个比较球图像802a进行比较，可以不以球b表面的特定标志等作为标记，可以利用球b表面的自然花纹进行旋转参数的计算。

在这里，差分计算部207根据第二个登录球图像801b的像素的像素值，计算各个像素减去第二个比较球图像802a的像素的像素值之后的减法值，然后计算各像素将该计算值进行平方后的平方值，将针对各像素计算的平方值进行合计的合计值作为差分计算。通过这种方式，可以将第二个登录球图像801b与第二个比较球图像802a的微小差异反映到差分中，对球b的旋转参数进行高精度的计算。

另外，如上所述，差分计算部207提取第二个比较球图像802a，计算第二个登录球图像801b与第二个比较球图像802a的差分，但为了实现处理的简单化，直接将第二个球图像602a与第二个登录球图像801b进行比较后计算差分亦可。即，即使差分计算部207计算了该差分，与第二个登录球图像801b不对应的第二个球图像602a的区域的差分，也会得到基本固定的值，因此，与第二个登录球图像801b相对应的第二个球图像602a的差分对整体的差分起到很大的作用。在需要简单地找到差分最小的旋转参数时，差分计算部207计算第二个登录球图像801b与第二个球图像602a的差分亦可。

在差分计算部207完成计算后，飞行参数测定装置1的旋转参数确定部208通过改变所述初始旋转参数，重复进行所述3d模型的虚拟旋转、和所述第二个登录球图像的生成、和所述差分的计算，将所述差分变成最小值的旋转参数确定为所述球b的实际的旋转参数。

旋转参数确定部208的确定方法没有特殊的限制。首先，为了计算差分的最小值(图3：s111no)，旋转参数确定部208将先前计算的差分作为基准差分，只按既定的波动值变更(例如，增加或减少)先前使用的初始的旋转参数(旋转轴sx0及旋转率ts0)(图3：s112)。

然后，旋转参数确定部208通过虚拟旋转部205，使用变更的初始旋转参数和旋转矩阵信息，使第一个登录球图像601b的3d模型进行虚拟旋转(图3：s108)。

然后，旋转参数确定部208通过登录图像生成部206生成在所述旋转后的第一个登录球图像601b的3d模型中将通过所述摄像机10拍摄的新可视表面的世界坐标系转换为所述新可视表面的摄像机坐标系后得到的、摄像机坐标系中的第二个登录球图像(图3：s109)。

然后，旋转参数确定部208通过差分计算部207，计算所述的所生成的第二个登录球图像与所述第二个球图像602a(所述第二个比较球图像)的新差分(图3：s110)。

旋转参数确定部208将所述的新差分作为比较差分，将该比较差分与所述基准差分进行比较，将其中较小的差分确定为临时差分(图3：s111)。

在这里，当比较差分为临时差分时，可以判断只按波动值增加的第二个旋转参数比初始旋转参数的所述差分缩小。因此，为了计算所述差分的最小值(图3：s111no)，旋转参数确定部208计算只使第二个旋转参数增加波动值的第三个旋转参数(图3：s112)，通过s108、s109、s110计算新的比较差分。届时，通过第二个旋转参数得到的临时差分变成基准差分，第三个旋转参数的新差分变成比较差分。

另一方面，当基准差分为临时差分时，可以判断初始旋转参数比第二个旋转参数的差分更小。因此，为了计算差分的最小值(图3：s111no)，旋转参数确定部208将通过初始旋转参数计算的差分作为基准差分，和之前的变更相反，计算只使初始旋转参数减少波动值的第三个旋转参数(图3：s112)，通过s108、s109、s110计算新的比较差分。届时，通过初始旋转参数得到的临时差分变成基准差分，第三个旋转参数的新差分变成比较差分。

如上所述，旋转参数确定部208重复实施s108、s109、s110进行趋同演算，只将按所述波动值进行所述变更的初始旋转参数(及所述变更的旋转参数)进行重新变更(增加或者减少)，使通过所述旋转参数的重新变更计算的差分达到最小值。例如，对趋同演算进行优化的方法可以使用最小平方法、非线性最小平方的高斯牛顿法。

趋同演算结束的判断方法是，例如，如果比较差分小，通过重复确定，当确定基准差分小时，进行该基准差分计算的第n个旋转参数(旋转轴sxn、旋转率tsn)可以判断为所述差分为最小值。反之，如果基准差分，通过重复确定，当确定比较差分小时，进行该比较差分计算的第n个旋转参数(sxn、tsn)可以判断为所述差分为最小值。另外，趋同演算的结束根据优化方法的种类进行适当设置即可。

那么，通过重复演算，当所计算的差分变成最小值时(图3：s111yes)，旋转参数确定部208将使所述差分变成最小值的旋转参数(sxn、tsn)确定为所述球b的实际的旋转参数(旋转轴sx、旋转率ts)(图3：s113)。

旋转参数确定部208完成计算后，飞行参数测定装置1的飞行参数显示部209在既定的显示部显示通过移动参数计算部202得到的球b的移动参数(速度bs、仰角la、方位角sa)、和通过旋转参数确定部208得到的球b的旋转参数(旋转轴sx、旋转率ts)(图3：s114)。

飞行参数表示部209的显示方法没有特殊的限制。例如，可以在飞行参数测定装置1预先设置的显示部显示，也可以在能够与飞行参数测定装置1进行无线通信的高尔夫球手的终端装置(液晶显示器)上显示。通过所述方式，高尔夫球手可以获知自己打出的球b的飞行参数。

如上所述，球b的飞行参数的测定完成。高尔夫球手在确认其打出的球b的飞行参数，将新的球b放到飞行参数测定装置1的旁边后，返回到s101。

另外，本发明，因为要将以第二个登录球图像801b与第二个球图像602a(第二个比较球图像802a)的差分作为最小值的旋转参数确定为实际的旋转参数，所以，为了提高旋转参数的测定精度，第二个登录球图像801b和第二个球图像602a的构成是极其重要的。

在这里，因生成第一个登录球图像601b而形成的第二个登录球图像801b、和第二个球图像602a是通过拍摄在不同的空间和时间飞行的球b而得到的，因此，第一个登录球图像601b和第二个球图像602a从球b到摄像机10的光线反射率是不固定的。

因此，本发明还可以包括图像处理部210，其特征在于：将第一个登录球图像601b和第二个球图像602a分别通过retinex处理进行标准化和二值化处理，从所述标准化的第一个登录球图像601b和所述标准化的第二个球图像602a中分别检测(提取)反映球的表面整体的特征性构造的球构造，并通过批量二值化处理，从所述标准化的第一个登录球图像601b和所述标准化的第二个球图像602a中分别检测(提取)反映球的局部特征的特殊特征，通过将所述标准化的第一个登录球图像601b和所述标准化的第二个球图像602a的所述球构造和所述特殊特征分别进行合成，分别重新构成(新的)第一个登录球图像601b和(新的)第二个球图像602a。

在这里，如图9a所示，图像处理部210的球图像的重新构成是通过(1)通过retinex处理实现标准化、(2)提取球构造、(3)提取特殊特征的三个处理完成的。通过图像处理部210对第一个登录球图像601b进行重新构成的第一个登录球图像901b可以理解为只表现具有特征性的图像。通过这种方式，可以提高旋转参数的测定精度。

retinex处理是指对人的视觉模型化，考虑关注像素四角的周边像素，对关注像素的像素值进行修正。第一个登录球图像601b和第二个球图像602a表现的是不同空间和不同时间的球b，但不同空间的球b的光线反射率和亮度可通过retinex处理的标准化实现均一化，生成在同一空间表现球b的图像。通过这种方式，使第二个登录球图像801b与第二个球图像602a的差分计算更加容易。

通过retinex处理进行标准化的球图像由像素值与周边像素的平均像素值之间的比例(强度比)构成。所述标准化的球图像的关注像素在{坐标(x、y)中}的比例l(x、y)可以利用下述的公式(20)，通过特定的摄像机坐标(x、y)中的球图像在{坐标(x、y)中}的像素值i(x、y)、和通过滤波器处理制作成模糊图像的关注像素的周边像素的像素值(x、y)简单地计算出来。

在这里，例如，滤波器可以使用平滑化滤波器、高斯滤波器等。

球b的表面整体存在各种凹凸。例如，高尔夫球在表面整体具有浅凹形状，足球表面整体具有五边形及六边形，棒球和网球在表面整体具有缝合线。图像处理部210通过对所述标准化球图像进行二值化处理，将像素值小的像素进行平滑化处理，强调像素值大的像素。即，所述标准化球图像的浓淡被加强，使浓的区域成为球构造。通过这种方式，可以区分出球b表面整体的特征和背景。

在这里，例如，二值化处理可采用如下方式，当关注像素的像素值达到既定的阈值以上时，对该关注像素分配“1”(白)，在关注像素的像素值小于所述阈值时，对该关注像素分配“0”(黑)。例如，阈值可以设置为所述标准化球图像整体像素的通用值，也可以将所述标准化球图像分成几个区域，针对各区域分别设置不同的值。另外，在该二值化处理中，包括跟踪被分配了“0”(黑)的关注像素的边缘，检测与关注像素相邻最近的相邻像素，发现关注像素连接部的轮廓检测处理亦可。例如，轮廓检测处理可以使用sobel处理、canny处理、或者edpf(edgedrawparameterfree)处理等。sobel处理是根据所述标准化球图像计算空间一次微分，依据空间一次微分进行所述标准化球图像边缘检测的滤波器处理。canny处理是去除所述标准化球图像的噪点，找到去除噪点后的所述标准化球图像的强度梯度，针对通过强度梯度构成的边缘去除无关的像素，根据使用两个阈值的滞后效应对去除了无关像素的图像进行二值化处理的算法。在这里，edpf处理是ed处理的应用，是不需要设置ed处理所需参数的处理。ed处理是按实际时间过程去除非边缘的像素，通过所述标准化球图像生成边缘图的算法。

另外，在球b的表面的局部(部分)具有缺口、损伤、制造商的标志(标记)。图像处理部210通过对所述标准化球图像进行间隔二值化处理，强调局部连续区域的像素，使其他区域的像素平滑化。通过这种方式，可以提取球b表面的局部特征。在这里，间隔二值化处理例如可以采用对各像素设定阈值的二值化处理。

下面，就通过图像处理部210重新构成球图像的作用效果进行说明。如图9b所示，在不通过图像处理部210重新构成球图像时，第一个登录球图像601b和第二个球图像602a的浓淡存在很多种，因此，第二个登录球图像与第二个球图像的差分的波动容易变小，难以找到最小值。反之，在通过图像处理部210重新构成球图像时，第一个登录球图像901b与第二个球图像902a的浓淡明确，因此，第二个登录球图像与第二个球图像的差分波动这容易变大，容易找到最小值。因此，通过图像处理部210重新构成球图像，可以实现处理的简单化，与此同时，容易找到差分的最小值，提高旋转参数的测定精度。

另外，图像处理部210例如在s106中生成第一个登录球图像时，通过重新构成第一个登录球图像和第二个登录球图像，构成重新构成后的第一个登录球图像的3d模型，使后期处理更加顺利。

＜实施例＞

以下通过实施例等对本发明的效果进行具体说明，但本发明并不受此限制。

首先，依据图1～图3试制飞行参数测定装置1，以该飞行参数测定装置1作为実施例，使用其对高尔夫用机器人打出的高尔夫球b的飞行参数进行了测定。如图10a所示，在高尔夫练习场的球tee上放置高尔夫球b，在高尔夫球b的右侧放置市售的飞行参数测定装置10，在高尔夫球b的左侧放置本发明的飞行参数测定装置1。在这里，市售的飞行参数测定装置10是可以高精度测定飞行参数的已有产品。然后，在高尔夫用机器人使用高尔夫球杆e打出高尔夫球b后，市售的飞行参数测定装置10与本发明的飞行参数测定装置1同时对高尔夫球b的飞行参数进行测定。采用高尔夫用机器人是为了消除击球习惯的不同所导致的误差，按照各种条件(挥杆速度、打出方向、打出角度等)，使用高尔夫球杆e打出高尔夫球b，通过将市售的飞行参数测定装置10与本发明的飞行参数测定装置1的测定结果分别图表后，验证了本发明的飞行参数测定装置1的测定精度。

其结果如图10b所示，使用本发明的飞行参数测定装置1测定的高尔夫球b的速度与使用市售的飞行参数测定装置10测定的高尔夫球b的速度基本一致。如图11a所示，使用本发明的飞行参数测定装置1测定的高尔夫球b的仰角也和使用市售的飞行参数测定装置10测定的高尔夫球b的仰角基本一致。另外，如图11b所示，使用本发明的飞行参数测定装置1测定的高尔夫球b的方位角也和使用市售的飞行参数测定装置10测定的高尔夫球b的方位角基本一致。

更令人感到吃惊的是，如图12a所示，使用本发明的飞行参数测定装置1测定的高尔夫球b的旋转轴也和使用市售的飞行参数测定装置10测定的高尔夫球b的旋转轴分别一致。而且，如图12b所示，使用本发明的飞行参数测定装置1测定的高尔夫球b的旋转率也和使用市售的飞行参数测定装置10测定的高尔夫球b的旋转率分别一致。因此，由此可知，本发明所涉及的飞行参数测定装置1可以利用简单的图像处理方法高精度地测定球的飞行参数。

另外，在本发明的具体实施方式中，是使第一个球图像与第二个球图像一致，但并不限于此，使第二个球图像与第一个球图像一致也可以得到同样的作用效果。另外，在本发明的具体实施方式中，对与高尔夫球b相对应的飞行参数测定装置1进行了说明，但是没有必要限定于此，作为球的飞行参数测定装置或者方法，本发明可以广泛适用于使球b飞行(发射)的球类比赛、垒球、网球、足球、橄榄球、冰球、门球等的测定。

另外，在本发明的具体实施方式中，飞行参数测定装置1采用了具有各部的构成，但是，采用将实现该各部的程序存储到存储介质中，提供该存储介质的构成亦可。在该构成中，使装置读取程序，由该装置实现各部。届时，从存储介质读出的程序本身起到本发明的作用效果。同时，也可以作为将执行各手段的步骤存储到硬盘中的方法提供。

工业实用性

综上所述，本发明所涉及的飞行参数测定装置及飞行参数测定方法作为在使球的飞行的所有球类比赛中测定球的飞行参数的装置及方法是有效的，作为可以通过简单的图像处理方法高精度地测定球的飞行参数的飞行参数测定装置及飞行参数测定方法是有效的。

符号说明

1飞行参数测定装置

201图像拍摄部

202移动参数计算部

203图像一致部

2043d模型构成部

205虚拟旋转部

206登录图像生成部

207差分计算部

208旋转参数确定部

209飞行参数表示部

210图像处理部