互动式装置及其运作方法

专利名称：互动式装置及其运作方法
技术领域：
本发明涉及一种娱乐设备及其运作方法，尤其涉及娱乐设备的一种互动式装置及其运作方法。
背景技术：
一些球类运动场馆，如棒球、网球或高尔夫球场，用以提供爱好球类运动的人士练习及大展身手的机会。然而，这类的场馆通常需要广大的场地，以容纳多数的使用者及预留球类被击打后在空中飞越所需要的空间。此外，因场馆建置成本高昂，而用于供消费者练习的球具易于消耗损坏，也需要许多成本加以更新补充，故在上述成本转嫁到消费者身上时，将使得消费者在所述多个运动场馆运动、练习打击的活动所费不赀。更进一步来说，当消费者欲进行打击练习时，还必须配合所述多个场馆的营业时间，若在室外练打则还需要视天候状况以决定可否进行练习活动。

发明内容
本发明提供一种互动式装置其及运作方法，用以供使用者与显示装置所输出的虚拟物件的图像进行互动，以进行球类运动等互动游戏。根据本发明的一种实行方案所提供的互动式装置用以供使用者利用显示装置进行打击练习等互动活动，在一个实施例中，包括图像提取模块、处理模块及绘图单元。图像提取模块用于提取回应物件的多个图像，以辨识该回应物件的第二运动轨迹。处理模块包括轨迹产生单元、轨迹辨识单元、交会点计算单元及轨迹计算单元。轨迹产生单元耦接显示装置，用以产生显示物件的第一运动轨迹；轨迹辨识单元耦接图像提取模块，用以接收回应物件的图像，以辨识回应物件的第二运动轨迹；交会点计算单元耦接轨迹产生单元及轨迹辨识单元，用以计算显示物件依照第一运动轨迹运动及回应物件根据第二运动轨迹运动而交会时的交会坐标；轨迹计算单元则耦接交会点计算单元及显示装置，用以根据第一运动轨迹、第二运动轨迹及交会坐标，计算显示物件与回应物件交会后的反应运动轨迹。绘图单元根据第一运动轨迹绘制显示物件的立体图像，以及绘制显示物件对应于反应运动轨迹的立体图像，并分别输出所绘制的立体图像到显示装置。本发明实施例还提一种运作方法，可用以运作上述的互动式装置，所述的方法实施例包括控制绘图单元依据第一运动轨迹绘制显示物件的多个立体图像，并输出到显示装置。另外，还从不同视角连续提取回应物件朝向显示物件运动时的多个图像，并根据回应物件的多个图像计算回应物件朝向显示物件运动的第二运动轨迹。进一步还判断显示物件根据第一运动轨迹运动与回应物件根据第二运动轨迹运动时是否交会当判断结果为会交会时，则计算显示物件的反应运动轨迹，并由绘图单元根据反应运动轨迹绘制及输出显示物件的多个立体图像。本发明所提供的互动式装置及其运作方法可供使用者以任一回应物件对显示装置所投射出来的显示物件立体图像进行互动，互动式装置将根据显示物件及回应物件分别的运动轨迹计算出显示物件应有的反应结果，并将其具像化(visualization),以达到游戏的效果。


图I :本发明实施例提供的一种互动式装置的示意图；图2 :本发明实施例提供的一种互动式装置的方框图；图3 :本发明实施例提供的显示物件的物件坐标的示意图；图4 :本发明实施例提供的回应物件的回应坐标的示意图；图5:本发明实施例提供的回应物件与显示物件交会的示意图； 图6A及图6B :本发明实施例提供的回应物件与显示物件的对应位置的示意图；图7:本发明实施例提供的回应物件与显示物件轨迹的示意图；图8A及图8B :本发明实施例提供的受击装置入射角度及反射角度的示意图；图9 :本发明的实施例提供的一种互动式装置的方框图；图10 :本发明再一实施例提供的一种互动式装置的方框图；图11 :本发明实施例提供的一种互动式装置的运作方法的校正程序流程图；及图12 :本发明实施例提供的一种互动式装置的运作方法的互动程序流程图。上述附图中的附图标记说明如下I，Ia-Ic 显示装置10显示平面2回应物件20反馈单元22，22’ 接触点3, 3a-3b互动式装置30图像提取模块300提取平面32校正模块320物件坐标输出单元322回应坐标计算单元324坐标对应单元34处理模块340轨迹计算单元342轨迹产生单元344交会点计算单元346通知单元348轨迹辨识单元35位置辨识单元36绘图单元37存储单元38信号传输单元
39连接单元390连接线39无线传输单元4，4a_4c 显示物件5，5a_5c 使用者62第一运动轨迹64第二运动轨迹66反应运动轨迹
70接触平面S1101-S1119 流程步骤S1201-S1221 流程步骤
具体实施例方式本发明各实施例分别提供互动式装置及其运作方法的例示，用以说明如何显示虚拟的显示物件供使用者以回应物件挥击，并利用图像分析的技术判断回应物件与所述的虚拟显示物件交会与否，再模拟出相对应的反应结果。借此以供使用者在实体运动场地以外，也可进行如棒球、网球或羽球等球类运动的打击练习，或进行其它具有相似概念功能的游戏或控制界面，以让使用者可以用肢体或器具与立体屏幕显现的内容直接沟通互动，下达命令。换言之，本发明实施例提供了一种互动式装置，所述互动式装置可不受时间及空间限制，并可提供更弹性有效的互动练习的技术手段，以供游戏爱好者更便利地进行击球练习。〔互动式装置的实施例〕请参考图I所示关于本发明的互动式装置的使用环境示意图。本例中的互动式装置3耦接于可显示出立体图像的显示装置I。使用者5可立于显示装置I前方，并挥击回应物件2，如棒球棒或网球拍等器材，以尝试挥击由互动式装置3控制显示装置I所显示出的立体图像中的显示物件4，如棒球或网球等物体。本实施例以棒球棒及棒球进行说明。互动式装置3包括有处理模块(未绘示于图I)，用以控制显示装置I输出连续的立体图像，以呈现出显示物件4朝使用者5的方向运动的效果。此外，互动式装置3还设有图像提取模块30，所述图像提取模块30包括至少一个以上的图像提取装置，可连续提取回应物件2被挥击而移动的多个图像，以计算回应物件2的移动距离、方向和使用者5挥击的力道。借此，互动式装置3即可接收图像提取模块30所提取到的图像来计算回应物件2的运动轨迹，并根据处理模块所控制输出的显示物件4的运动轨迹以及计算出来的回应物件2的运动轨迹，而计算出显示物件4与回应物件2在三维空间中交会的状况。因此，使用者5虽对虚拟的图像挥击，但仍可通过互动式装置3的运算和显示装置I呈现的画面，获得如同打击实体显示物件的效果。所述的显示装置I可为采用如双凸透镜(lenticular)或视差屏障(parallaxbarrier)技术的裸视型立体显示屏幕，以使使用者5获得具有深度(即距离感)的立体图像。显示装置I也可为一般的显示屏幕，此时使用者5须配戴适当的辅助装置观看显示装置1，如配戴红蓝滤光眼镜或偏光眼镜，以获得具有深度(即距离感)的立体图像。互动式装置3可设置于显示装置I附近或整合嵌入于显示装置I当中。图2显示了本发明实施例所提供的一种互动式装置的方框图。本实施例的互动式装置3包括图像提取模块30、校正模块32、处理模块34、位置辨识单元35、绘图单元36及信号传输单元38。校正模块32、处理模块34及位置辨识单元35分别耦接于图像提取模块30，绘图单元36则连接于校正模块32及处理模块34。信号传输单元38耦接于处理单元34，并用以传输信号到回应物件2。图像提取模块30包括间隔一定距离的至少一个以上图像提取装置(如摄影机或相机)，故图像提取模块30可同时以不同视角提取回应物件2被挥击而移动的多个图像。互动式装置3可在二种不同的运作模式下运作，包括校正模式及互动模式，以下分别举实施例说明。[校正模式]、请继续参阅图2,校正模块32包括物件坐标输出单元320、回应坐标计算单元322及坐标对应单元324。当互动式装置3在校正模式时，可利用校正模块32辨识使用者所用的回应物件2，以及就使用者的定位位置与显示装置I显示的图像进行设定和初始化，以便配合不同使用者的动作习惯及不同回应物件2而能准确计算显示装置I所显示的显示物件是否与回应物件2交会。校正模块32的物件坐标输出单元320通过绘图单元36耦接于显示单元1，并根据互动式装置3内存储单元(未绘于图2)记录的数据，提供显示物件的物件坐标，以控制绘图单元36根据物件坐标绘制显示物件的立体图像，并传送到显示装置I输出。所述的物件坐标为显示物件相对于显示装置I的显示平面的三维坐标。请参阅图2及图3,图3为显示物件的物件坐标的示意图。显示装置I所输出的平面图像显示在显示平面10 (即面板)上，平面图像的每一像素都具有二维坐标，一般而言即以显示平面10的左上角开始为两轴原点，横向为xD轴、纵向为yD轴。立体图像则更包括深度所构成的zD轴。为了呈现出立体图像的效果，显示装置I输出至少两个包含同一显示物件的不同视角的平面图像，利用显示物件4在不同视角所产生的像差(disparity)造成深度感，本例中的zD轴大小即为显示装置I所输出的显示物件的像差值。因此，物件坐标输出单元320根据存储单元预先记录的数据，输出一组物件坐标以控制绘图单元36绘制显示物件4的立体图像。举例来说，所述显示物件4为球体，物件坐标输出单元320输出物件坐标(xD1，yD1，zD1)到绘图单元36，绘图单元36根据物件坐标的坐标值产生二张平面图像，分别为第一图像及第二图像，xD1及yD1分别为第一图像中，球体在显示平面10的二维坐标值，zD1则为球体在第一图像及第二图像间的像差，并利用正、负值分别表示视焦平面的前、后，因此第二图像的球体在显示平面10的二维坐标值则可为(xD1+zD1，yD1)。由第一图像及第二图像所组成的立体图像即会在显示装置I上显示出一立体的球体画面，呈现出球体悬浮在显示平面10外部的视觉效果，而该悬浮的立体球体的坐标即为(xD1，yD1，zD1)。请继续参照图2，回应坐标计算单元322则耦接于图像提取模块30，用以接收多个摄影机或相机从不同视角所提取到的回应物件2的图像，并根据回应物件2在不同图像中的像差，检测出回应物件2的回应坐标。回应坐标为相对于该图像提取模块30所定义的提取平面的三维坐标。请参阅图2及图4,图4为回应物件的回应坐标的不意图。图像提取I旲块30以多个摄影机或相机从不同视角提取回应物件2的图像而获得回应物件2的立体信息。本实施例的图像提取模块30包括两个设置于同一垂直平面及同一水平高度的摄影机或相机，并以该垂直平面( 轴与yjS所构成的平面)为所述的提取平面300。回应坐标计算单元322根据两个摄影机或相机所提取到的两个图像中的回应物件2的平面位置，获得回应物件2对应于提取平面300的二维坐标xH1与yH1(例如以两个图像的其中一个图像的二维坐标为基准)。同时，回应坐标计算单元322根据回应物件2在两个图像之间的像差zH1，获知回应物件2相对于提取平面300的深度(也即与摄影机或相机的镜头的距离)，借此而获得回应物件2三维的回应坐标(xH1, yH1, zH1)。为了易于辨识回应物件2的回应坐标,可预先在回应物件2的特定部位标示一接 触点22 (接触点22例如为标示在回应物件2的特定颜色或花样的点或形状)或一接触线(图未绘示)，以供回应坐标计算单元322依据接触点22或接触线在图像中的位置而计算出代表整个回应物件2的回应坐标。为便于绘示，以下实施例仅以接触点22为例说明。坐标对应单元324即用以将物件坐标(xD1，yD1，zD1)与回应坐标(xH1，yH1，zH1)相互对应，以便得知以显示平面10为基准的物件坐标与以提取平面300为基准的回应坐标之间在空间上的坐标对应关系。使用者可在校正模式下，根据目视显示装置I所显示的显示物件在三度空间中的位置，将回应物件2摆置到碰触显示物件的位置，以供图像提取模块30提取回应物件2的图像。参阅图2及图5，图5为显示物件与回应物件交会的示意图。以棒球为例，当显示装置I所显示出来的显示物件4 (球体)与回应物件2 (球棒)接触时，物件坐标(xD1，yD1，zD1)与回应坐标(xH1，yH1，zH1)实际上对应到三度空间中的同一点。因此，在物件坐标与回应坐标都为线性关系的前提下，物件坐标的坐标系统及回应坐标的坐标系统可假设有以下的对应关系f Xjj CiXD+CgyD+CsZD+C*Yg — CgXD+c6yD+c7zD+c8zH — CgXp+CjgYp+CjjZp+c^由于有C1到C12等12个变数待解以获得两个坐标系统的线性对应函数式，物件坐标输出单元320可在物件坐标(xD1，yD1，zD1)附近再依序输出其他三次不同的物件坐标(xD2，lm, ZD2)到(xD4, yD4, zD4),使显示装置I显示对应不同物件坐标的显示物件4的立体图像。接着，使用者分别依照图像显示的位置，将回应物件2的接触点22碰触到显示物件4的立体图像，以便回应坐标计算单元322根据图像提取模块30提取到的图像，也分别计算出其他三组物件坐标(xD2, yD2, zD2)到(xD4, yD4, zD4)所对应的回应坐标(xH2, yH2, zH2)到(xH4, yH4,zH4)。借此，坐标对应单元324即可根据四组相对应的坐标，获得12组线性联立方程式，而分别计算出变数C1到C12的数值，建立起球体4与回应物件2在三度空间中的坐标对应关系f。上述所例示的坐标对应关系虽假设为线性对应关系，但本技术领域普通技术人员自可采用其他更复杂的计算模型，运算出更多的变数而得到回应物件2的回应坐标与显示物件4的物件坐标之间的坐标对应关系。请参照图6A及图6B，此二图分别显示使用者定位在不同位置时，回应物件与显示物件对应位置的示意图。使用者站立在显示装置I前不同位置时都可通过像差观察到景深，但回应物件与显示物件的交会点在三度空间中间的位置则会与使用者所观看的角度与距离而有别。因此，即使是由物件坐标输出单元320读取并输出同一个物件坐标(xD，yD，zD)，当使用者站在不同位置时，使用者目测到回应物件2与显示物件4的接触点22交会的位置可能具有差异。举例来说，先参阅图6A，当使用者面对显示装置I并定位在测量点LI (未绘于图6A)而观察到显示物件4后，可将回应物件2移到使接触点22接触显示物件4的立体图像的位置，以供回应坐标计算单元322算出回应物件2的回应坐标(xHU，yHU，zHU)(对应图6A的接触点22)。再参照图6B，当使用者移动到测量点L1后方的测量点L2时(L2未绘于图6B)，显示物件4的物件坐标并未改变，使用者可能感觉，定位在测量点L2时，显示物件4与自身的距离、定位在测量点L1时显示物件4与自身的距离一样。但使用者移动回应物件2使接触点22’接触到显示物件4时的回应坐标(xm2，ym2，zm2)则比对应于测量点L1的回应坐标(xHU，yHU，zHL1)更远离显示装置I。 换言之，使用者位于测量点L1及测量点L2时，就使用者目视的角度所观看到的显示物件4固定显示在同一个位置(例如使用者定位在测量点L1所观看到的显示物件4距离使用者半米远，定位在测量点L2所观看到的显示物件4仍然距离使用者半米远)，然而，使用者以回应物件2分别在测量点L1及L2接触到相同显示物件4的回应坐标则有差异(如上述的(xHU, yHU, zHU)及(xm2, yHIj2, Zm2))。此时若未能根据使用者所在的测量点不同而改变回应坐标与物件坐标的对应关系，则可能发生使用者认为已碰触到显示物件、但互动式装置3判断为未交会的错误结果。因此可知，在两个不同测量点所产生的回应物件2与显示物件4的坐标对应关系应该相对应调整。特别说明的是，上述例示虽以前、后不同位置的测量点L1及L2为例说明，但并不以此例为限，当测量点左、右不同时，也具有坐标对应关系不同的情况。为了让使用者在显示装置I前的任一个位置时，显示物件4与回应物件2之间的坐标对应关系都能正确被判断，在校正模式下更可由图像提取模块30提取使用者在不同测量点(如L1及L2)时的位置，并由位置辨识单元35接收图像提取模块30提取的图像来判断使用者在每一测量点的位置的三维坐标，经由物件坐标输出单元320在每个测量点分别依照相同的多组物件坐标显示显示物件4数次(如上述例示的四次)，经对应接触后，由坐标对应单元324接收使用者所在的测量点的三维坐标及计算出相关变数(如上述的C1到C12)，如此可分别获得在不同测量点时的坐标转换关系f (L)。换言之，取得四组物件坐标
(xdi, Ydij zdi)到(XD4，Yd4，zd4)与相对应的回应坐标(xHLii, YhliiJ zHLii)到(xhli4, Yhlhj zhli4)，
而由坐标对应单元324进行运算后，可获得使用者定位在测量点L1时，回应物件2与显示物件4的坐标对应关系f (L1)。同理，取得相同的四组物件坐标(xD1, yD1, zD1)到(xD4, yD4, zD4)与相对应的回应坐标(xHm，yHm，zHm)到( ⑵，ym24，zHm)而进行运算后，则可获得使用者定位在测量点L2时，回应物件2与显示物件4的坐标对应关系f (L2)，依此类推。而所述用以在测量点L1进行比对的四组物件坐标与用在测量点L2进行比对的四组物件坐标相同，借此可分别提取及记录使用者在不同位置时，观看显示在同一物件坐标的显示物件4，并进而根据目测结果以回应物件2接触显示物件4的不同回应坐标。用以判断使用者定位位置的测量点可为使用者的双眼中心或躯干上一特定位置。
为便于理解，本实施例中也假设对应不同位置的测量点L的各个坐标对应关系之间属线性关系，但本技术领域中普通技术人员自也可知可采用其他更复杂、考虑更多环境影响因素的演算方式，以获得不同测量点(即使用者的不同定位点)时的回应物件2与显示物件4的坐标对应关系f (L)。在本实施例中，当计算出至少两组不同位置下的坐标对应关系f(L)后，使用者之后即可在显示装置I前的任一位置对显示物件4挥击，坐标对应单元324可根据图像提取单元30 提取到的使用者定位位置，以及经过上述运算而获得的各个坐标对应关系之间的线性关系，估算出使用者所站位置下，显示物件4与回应物件2间的另一坐标对应关系。例如，当使用者站立位置介于L1与L2正中间(假设为L3)时，将可利用线性内插法则预估方法，通过已知的坐标对应关系T(L1)及f (L2)推估出其中间值而获得使用者在测量点L3时，回应物件2与显示物件4的坐标对应关系f (L3)。综合而言，根据坐标对应单元324所按数个对应的回应坐标与物件坐标间的线性对应关系，可用以判断在同一测量点时，回应物件2接触显示物件4的对应模式(pattern)。而进一步按不同测量点间的对应关系所计算出来的坐标对应关系，则可用以判断同一使用者在不同定位位置时，回应物件2与显示物件4接触的模式。当互动式装置3在互动模式下运作时，若回应物件2欲接触显示装置I所显示出来的显示物件4，互动式装置3即可计算同一时间点的物件坐标与回应坐标是否与坐标对应单元324对计算出的坐标对应关系相符，而判断回应物件2的接触点22是否碰触到所述显示物件4。[互动模式]请继续参阅图2,处理模块34包括轨迹计算单元340、轨迹产生单元342、交会点计算单元344、通知单元346,以及轨迹辨识单元348。请同时参照图2与图7,图7为回应物件与显示物件轨迹的示意图。当互动式装置3在互动模式下运作时，处理模块34的轨迹产生单元342可根据存储单元(未绘于图2与图7)中记录的数据或随机地产生一第一运动轨迹62，并根据第一运动轨迹控制绘图单元36绘制一连串显示物件4的立体图像并输出到显示装置1，使得显示装置I显示出随着时间经过，沿着第一运动轨迹运动的显示物件4的立体图像。所述的第一运动轨迹包括显示物件4的位移方向、位移速度以及显示物件4在第一运动轨迹的每一点的物件坐标。其中，当显示装置I输出具有立体感的显示物件4时，使用者5不论从显示装置I的哪个角度观看，显示物件4的图像都会相对于使用者5维持于同一位置。例如使用者5面对显示装置I站立于左侧，而看到显示在使用者5右方的显示物件4后，使用者5即使面对显示装置I朝右方移动，所观看到的显示物件4的图像仍然会与移动前相同，显示物件4始终维持与使用者5相同的距离。故每一次显示物件4显示在显示装置I上时，若轨迹产生单元342欲使显示物件4以第一运动轨迹62运动，则需要参照使用者5的移动状态，依时间顺序改变显示物件4的物件坐标。图像提取模块30可即时提取使用者5的图像，并由位置辨识单元35根据图像辨识使用者5的定位位置(如使用者5的眼睛位置)。轨迹产生单元342根据位置辨识单元35所辨识出的定位位置以及第一运动轨迹62，即时运算显示物件4相对应于使用者的定位位置的物件坐标。借此以使显示装置I所输出的显示物件4观看起来，会随着使用者5的移动而接近使用者5。以上述使用者5右移为例，轨迹产生单元342所根据的第一运动轨迹62假设为垂直于显示平面10的X轴与Y轴的轨迹，当使用者5右移时，轨迹产生单元342所产生的显示物件4的物件坐标，实际上随时间经过逐渐而朝向使用者5的方向靠近，换言之，显示物件4的物件坐标X轴数值越来越小。借此，从使用者5的角度观看时，才不致于产生显示物件4始终与使用者5间隔一样的距离而无法使回应物件2接触到显示物件4的问题。再以棒球为一具体例示说明，当显示装置I根据绘图单元36的控制连续显示出以第一运动轨迹运动的棒球的立体图像时，使用者即可从显示装置I观看到像是从显示装置
I向使用者投掷而来的虚拟棒球。此时，使用者可握持回应物件2，即球棒，向虚拟的球体图像挥击。图像提取模块30可持续提取球棒的图像，并传送到轨迹辨识单元348。由于球棒会根据使用者的挥击动作，而随着时间经过产生位移，因此，轨迹辨识单元348可依照图像提取模块30在不同时间所提取到的多个图像判断球棒的位移，特别是球棒上预定的接触点22的位移距离及方向，以辨识出回应物件2运动的第二运动轨迹64。交会点计算单元344稱接轨迹产生单元342及轨迹辨识单元348,并分别根据轨迹 产生单元342产生的第一运动轨迹62及轨迹辨识单元348计算出的第二运动轨迹64计算显示物件4及回应物件2交会时,该交会点I的交会坐标。轨迹产生单元342和轨迹辨识单元348可分别包括有计时单元(未绘于图2)，因此轨迹产生单元342产生第一运动轨迹及轨迹辨识单元348接收图像提取模块30提取回应物件2的多个图像时，分别可记录显示物件4图像输出和回应物件2图像被提取的时间。交会点计算单元344即可根据同一时间的显示物件4的物件坐标位置及回应物件2的回应坐标位置，配合坐标对应单元324所计算出显示物件4及回应物件2两个坐标系统的坐标对应关系，以判断依照第一运动轨迹62运动的球体及依照第二运动轨迹运动62的球棒是否在三度空间的同一点交会。若是，则同时获得球体及球棒的交会坐标。若经过计算，第一运动轨迹62及第二运动轨迹64并未在任何一时间点交会(如两个路径完全无交会，或是虽有交会点但有时间差)，则通过耦接在交会点计算单元344的通知单元346发出未交会通知。绘图单元36依照未交会通知所包括的信息产生如“打击失败”等文字、场景画面和/或相关的打击记录数据，并产生画面输出到显示装置1，以利使用者获知当次挥击未成功击中球体的信息。再回到第一运动轨迹62及第二运动轨迹64在相同的时间点产生交会的情况。交会点计算单元344除了根据校正模块32中所获得的显示物件4及回应物件2的坐标的坐标对应关系的函数式而计算出交会点I的交会坐标之外，更进一步由轨迹计算单元340计算出球体被球棒击中(也就是显示物件4与回应物件2交会)后应产生的反应运动轨迹66。显示物件4与回应物件2交会后所产生的反应运动轨迹66包括显示物件4的反应距离及反应方向，此二者的变化受到回应物件2的回应力道、显示物件4被击中时的速度，以及显示物件4与回应物件2接触的入射角度的影响。由于模拟系统并非真实世界的碰撞，故可采用将因回应物件2挥击而产生的冲击量完全由显示物件4接收的简化模型加以计算。而由于显示物件4的第一运动轨迹62由互动式装置3根据存储单元(未示于图2)记录的数据而产生，因此可预先定义显示物件4的质量为Hitl及显示物件4的初速度Vtl和加速度。另，假设根据轨迹产生单元342的设定以及轨迹辨识单元348的计算，判断出显示物件4在输出经过h单位时间、以及回应物件2在挥击经过t2单位时间时交会，且回应物件2在t2单位时间之间的位置自起始点P (xHP, yHP, zHP)变动到交会点I (xHI, yHI, zHI)。
回应物件2的移动距离s即根据起始点P与交会点I所对应的回应坐标计算而得。即
_6] s = (xHP - xHI )2 + (yHP - yHl )2 +(zHP -zH1 )2获得移动距离s后，更进一步根据加速度计算公式，而可获得回应物件2的移动加速度％ B1 = 2s/(t22)接着再根据回应物件2的质量Hi1与加速度B1计算出回应物件2在交会点I击中球体时的回应力道F。其中，回应物件2的质量Hi1可预先经过测量后记录于互动式装置3的存储单元中。回应力道F为 F = In1 a:当显示物件4被回应物件2击中后，其反弹的加速度a2根据回应力道F对显示物件4质量mQ的作用而产生a2 = F/m。再由显示物件4随第一运动轨迹运动的初速度Vtl、加速度％及显示物件4到达交会点I所经过的时间h,计算出显示物件4根据第一运动轨迹到达交会点I时的速度V1 V1 = v0+a0 ti借此即可得知显示物件4根据反应运动轨迹66运动时的反弹速度V2为v2 = V^a2 t3其中，t3指回应物件2与显示物件4接触的时间长度。值得一提的是，真实世界中挥击而接触显示物件的时间约为0. 6至0. 7毫秒，因此可预设t3为0. 6或0. 7毫秒。最后，只要得知显示物件4根据反应运动轨迹在空中飞行的时间长度t4后，即可计算出球体根据反应运动轨迹而移动的距离S1 S1 = V2 t4补充说明，上述对受击物被击打后其速度变化的说明，也可以用物理学上的冲量关系来表示，即F t3 = Iiici Av ;其中Av = V2-V1,为显示物件4的速度改变量。而欲计算显示物件4根据反应运动轨迹飞行的时间长度t4，换句话说，指显示物件4停留于空中到坠地前的时间，则需要先计算出显示物件4与回应物件2交会时，相对于回应物件2所形成的一接触平面的入射角度。请参阅图2与图8A，图8A为显示物件入射角度及反射角度的示意图。接触平面70为回应物件2挥击以致碰触到显示物件4时所形成的一个虚拟平面。轨迹辨识单元348根据图像提取模块30连续提取的多个回应物件2的图像，分析出回应物件2的接触平面70，并由交会点计算单元344分析显示物件4依照第一运动轨迹62进入接触平面70时，与接触平面70的正切方向产生的入射角度0 10显示物件4被击中后的反弹方向即会相对于接触平面70的正切方向，而以与入射角度Q1同大小的反射角度飞行。因此，轨迹计算单元340根据反射角度及重力加速度公式，即可计算出显示物件4依照反应运动轨迹66运动时的时间长度t4。当球体入射的角度越大，其反射的角度也越大，如图8B的入射角度02所
/Jn o
请继续参阅图2，通过上述各项变数的计算结果，轨迹计算单元340可获得显示物件被回应物件2击中后反弹的距离和方向，并产生出反应运动轨迹到绘图单元36，由绘图单元36根据反应运动轨迹的内容产生显示物件画面，以输出到显示装置1，呈现出显示物件反弹而飞行的连续图像。轨迹计算单元340可进一步根据显示物件的反应运动轨迹计算随飞行路径变化的即时对应背景图像，并由绘图单元36绘制显示物件画面时一并绘示轨迹计算单元340所计算出各种对应于不同反应运动轨迹的背景图像，以便在显示装置I呈现出如临实体挥击场地的临场画面。在互动模式时，使用者可能会移动其定位位置，因此位置辨识单元35也可持续接收图像提取模块30所接收的使用者图像，并即时计算出使用者相对于提取平面的三维坐标，并传送计算出来的坐标到交会点计算单元344，以供交会点计算单元344在计算第一运动轨迹62与第二运动轨迹64的交会点时，可依据使用者所在的位置自存储单元(图2未示)读取坐标对应单元324预先估算的坐标对应关系，执行正确的运算。在另一个实施例中，回应物件2可包括反馈单元20,例如振动产生单元、音效单元或发光单元等。以振动产生单元为例，当交会点计算单元344计算出回应物件2的回应力 道F后，可通过信号传输单元38根据回应力道F的大小，有线或无线地传送反馈信号到振动产生单元，使振动产生单元根据反馈信号产生对应于回应力道F的强度的振动，以让使用者感受到更拟真的打击经验。而当反馈单元20为音效单元或发光单元时,音效单元或发光单元则分别可根据反馈信号而产生相对于回应力道F的声响或灯光。例如回应力道F越强音效单元发出的声音越大，回应力道F越弱则声音越小；或是回应力道F越强发光单元发出的光线越亮，反之则发出微弱的光线。上述实施例及相对应的图中，虽以棒球作为显示装置I所输出的显示物件的具体例示，而回应物件2则为相对应的球棒，但在实际操作上，使用者可通过远端控制(如遥控器)对互动式装置3输入控制命令，切换显示物件的项目，例如对应为网球打击练习。不同的练习显示物件会对应不同的运动轨迹模式，例如棒球与网球的运动路径即大异其趣。校正模块32及处理模块34需依照互动式装置3被指定的游戏项目而在产生第一运动轨迹及输出显示物件图像时产生区别。请参照图9,图9绘示了本实施例所述的互动式装3a的方框图。图9所示的互动式装置3a与图2不同之处在于，本实施例的绘图单元36耦接于信号传输单元38，用以通过信号传输单元38将绘图单元36根据轨迹产生单元342、轨迹计算单元340或物件坐标输出单元320的控制所绘制出来的显示物件4的图像信号传送显示装置I加以输出。此外，坐标对应单元324所计算出的使用者5的坐标对应关系可记录在存储单元37，以供交会点计算单元344判断显示物件4与回应物件的交会与否时所用。在本实施例中，回应物件除可为球棒或球拍等打击装置以挥击如棒球或网球等显示物件4之外，当显示物件4为排球或手排时，也可为使用者的肢体，如手臂或手掌作为回应物件。校正模块32的回应坐标计算单元322或处理模块34的轨迹辨识单元348可执行图像辨识的演算技术而辨识出图像中的使用者肢体，借以判断使用者特定肢体(如上肢末端的手掌)与显示物件4接触的状况。〔互动式装置的再一实施例〕请参阅图10，在另一实施例中，互动式装置3b还可包括耦接于处理模块34的连接单元39，用以通过连接线390或无线传输的方式与另一互动式装置3b的连接单元39连结，以供不同使用者通过两个互动式装置3b进行双向对打。互相连结进行双向对打的互动式装置3b，仅需互相由轨迹产生单元342将对方的显示物件的反应运动轨迹对应转换为自身的显示物件的第一运动轨迹而输出到显示装置，即可实现连线进行双向互动的目的。〔互动式装置的运作方法实施例〕图11及图12揭示一种互动式装置的运作方法实施例的流程图，所述的互动式装 置可为图2实施例所提供的互动式装置。其中，图11说明互动式装置运作时的校正流程，而图12则说明使用者利用互动式装置与显示物件互动的流程。以下将分别说明图11、图12所示的互动式装置的运作方法的各个步骤，请一并参照图2所示的互动式装置实施例的方框图。在本实施例中，可先由互动式装置3对显示物件与回应物件2的对应关系进行校正后再开始与显示物件展开互动。请参照图11，校正回应物件2与显示物件的位置及对应关系时，图像提取模块30可提取使用者的图像，并由位置辨识单元35辨识使用者的定位位置为一测量点(SllOl)。物件坐标输出单元320则可根据存储单元(未绘示于图2)记录的数据，读取物件坐标，并控制绘图单元36根据物件坐标绘制并在显示装置I输出一个对应于物件坐标的显示物件的立体图像(SI 103)。所述的物件坐标可为对应于显示平面10的一个三维坐标，显示平面10则例如为显示装置I的面板(参阅图3)。接着由使用者目测显示物件的位置，并持回应物件2接触显示装置I所显示的显示物件的立体图像，为了便于测量记录，可在回应物件2上指定一接触点(如图5的22)以接触显示物件(S1105);图像提取模块30的多个摄影机或相机则可从不同视角提取回应物件2的多个不同视角的图像(S1107)，并且依照回应物件2在不同视角的图像中的坐标及不同图像之间的回应物件2的像差，由回应坐标计算单元322计算出回应物件2的回应坐标(S1109)。所述的回应坐标则为对应于一提取平面的三维坐标，所述的提取平面可为图像提取模块30的多个摄影机或相机的镜头所在的同一垂直平面(参阅图4的提取平面300)。由于显示物件所对应的物件坐标以及回应物件2所对应的回应坐标分别属于不同平面的坐标系统，为了获得显示物件与回应物件2之间的对应关系，可利用回应物件2接触到显示物件时的物件坐标与回应坐标，来计算显示平面与提取平面两个坐标系统的坐标对应关系。因此，校正模块32可判断输出显示物件图像与计算回应物件2的回应坐标的次数是否已经到达预定次数(Sllll)，例如预设每一个测量点应测量四次。若尚未到达预定的测量次数，则返回步骤S1103执行，若已到达预定的测量次数后，则根据所测量到的多组物件坐标与回应坐标计算出使用者在特定一个测量点挥击时，显示物件与回应物件2的坐标对应关系(SI 113)。由于使用者在活动的过程中可能改变定位位置，而使用者所在的定位位置改变时，显示物件与回应物件2的坐标对应关系即可能跟着改变。故完成一个测量点的坐标对应关系后，校正模块32可进一步判断测量点的数量是否已到达预定数量(S1115)。若尚未到达预定的测量点数量，则指示使用者移动到另一定位位置后，再返回步骤S1101，在新的测量点再度执行步骤SllOl及其以下的测量步骤，以获得另一个坐标对应关系。当同一使用者已经在多个不同的测量点进行测量，而测量点的数量已经到达预设数量后，坐标对应单元324即可根据使用者在每一个测量点所计算出来的相对应坐标对应关系，而估算出同一使用者在互动式装置3前任一位置时，所挥击的回应物件2与显示物件之间的各个坐标对应关系(S1117)。最后并可将步骤S1117所估算出来对应于特定该使用者的坐标对应关系记录在存储单元(未绘于图2)中(S1119)，以完成校正的作业。详细的计算已揭示于前述实施例，请参照图4的相关说明，于此不再重述。当有多数个使用者要同时利用互动式装置3进行互动活动时，每一使用者都可依据图13所示的流程，由校正模块32—一运算出对应于每一使用者的坐标对应关系，并记录在存储单元。获得回应物件2与显示物件的坐标对应关系后可进行互动游戏。图像提取模块30可提取使用者的图像，并由位置辨识单元35辨识出使用者的定位位置(S1201)，接着轨迹产生单元342可控制绘图单元36依据预先记录在存储单元(未绘于图2)中的第一运动轨迹，绘制显示物件的多个立体图像，并输出到显示装置I (S1203);所述的显示物件可如前述实施例中所例示的棒球、网球或羽球等虚拟物体。显示装置I连续输出多个依照第一运、动轨迹(如图6所示的64)运动的显示物件立体图像时，位于显示装置I前方的使用者可观看到显示物件朝向使用者的方向运动的画面，并且根据目测的结果，持回应物件2向显不物件挥击。图像提取模块30包括的至少一个镜头从不同的视角连续提取回应物件2的多个图像(S1205)，借此，轨迹辨识单元348可根据回应物件2同一时间被不同摄影机或相机所提取到的画面的坐标及像差，计算出回应物件2对应于提取平面(参照图4的300)的三维坐标，更可进一步根据不同时间的图像所计算出的坐标变化，获得回应物件2的移动距离、方向及速度等信息。轨迹辨识单元348更可根据所计算出来的距离、方向及度等数据，获得回应物件2朝向显示物件运动的第二运动轨迹(如图7所示62) (S1207)。交会点计算单元344分别获得轨迹产生单元342所读取的第一运动轨迹与轨迹辨识单元348计算出来的第二运动轨迹，并根据步骤S1201时所获得的使用者定位位置，同样自存储单元中取得使用者在当时所在的定位位置下的坐标对应关系(S1209)，对第一与第二运动轨迹进行运算(S1211)，以判断显示物件根据第一运动轨迹与回应物件2根据第二运动轨迹而朝向对方运动时，两个运动轨迹是否具有交会点(S1213)，若是，则更进一步判断回应物件2及显示物件4分别依相对应的运动轨迹运动时，是否在同一时间点产生交会(S1215)。若将第一及第二运动轨迹简化为线性轨迹为例(即假设显示物件及回应物件2都是线性运动)，则可计算分别代表第一及第二运动轨迹的两个三元线性函数式是否有在同一时间点交会的交会坐标(参阅图6交会点I)。若根据计算的结果判断出第一及第二运动轨迹不会产生交会，例如两个运动轨迹完全不具交会点(步骤S1213判断结果为否)或两个运动轨迹虽然有交会点，但回应物件2与显示物件4到达所述交会点的时间不一致(步骤S1215判断结果为否)，交会点计算单元344可通过通知单元346产生未交会通知并输出到显示装置I (S1217)。显示物件回应物件未交会通知可包括文字说明或配合打击情境所产生的图像画面。当判断显示物件及回应物件2会在同一时间点交会(步骤S1215判断结果为是)时，则可进一步由轨迹计算单元340计算显示物件与回应物件交会时的交会坐标，以及显示物件的反应运动轨迹(如图6所示66)，并由绘图单元36根据反应运动轨迹绘制及输出显示物件的多个立体图像(S1219)。获得反应运动轨迹所需得知的显示物件的速度、飞行时间、角度等信息，已详述于前述实施例及对应于图7到图8A及图SB的说明。当判断出显示物件与回应物件2会交会，除了如步骤S1219在显示装置I显示出显示物件的对应运动之外，还可根据回应物件2的质量、加速度等数据计算出回应物件2与显示物件交会时的回应力道，并将回应力道转换成反馈信号而通过信号传输单元38传送到设置有反馈单元20的回应物件2(S1221)。反馈单元20可为振动产生单元、音效单元、发光单元或其组合，当回应物件2通过信号接收单元(未绘于图2)接收到反馈信号后，由反馈单元20根据回应力道的大小而产生相对应的振动、声音和/或光源效果，以增加使用者的打击真实感。〔实施例的可能功效〕综合上述各实施例的内容，已揭示本发明的互动式装置的相关结构与运作。所述互动式装置可通过显示装置输出虚拟立体图像，同时也以图像提取模块连续提取回应物件产生回应动作时的图像。并利用各式图像分析及处理的手段，使互动式装置计算出回应物件与被呈现的立体图像中物件的移动路径，得知回应物件是否会与输出的显示物件的图像 交会，进而根据显示物件与回应物件交会与否显示出相对应的活动，供使用者以回应物件对立体图像进行挥击以模拟在球场或运动场馆击球等互动活动的场景。本发明实施例所述的互动式装置利用显示装置显示物件的虚拟飞行路径，不需要建置空旷的练习场地，间接达到保护环境的效果。除此之外，使用者也无需担心显示物件会损坏周遭器物或用品，所述的互动式装置特别可适用在空间受限的室内场地，如客厅或书房等场所。另外，互动式装置可利用各种专用电路(ASIC)实施其中的各个分析或运算元件，或由软件程序分别实现各元件所负责的功能，故其建置成本低且更新容易。以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。
权利要求
1.一种互动式装置，用以供使用者通过显示装置进行游戏，其特征在于包括 图像提取模块，提取回应物件的多个图像； 处理模块，包括轨迹产生单元、轨迹辨识单元、交会点计算单元及轨迹计算单元，其中 该轨迹产生单元，耦接该显示装置，用以产生显示物件的第一运动轨迹； 该轨迹辨识单元，耦接该图像提取模块，接收该回应物件的所述多个图像，以辨识该回应物件的第二运动轨迹； 该交会点计算单元，稱接该轨迹产生单元及该轨迹辨识单元，用以计算该显示物件依照该第一运动轨迹运动及该回应物件根据该第二运动轨迹运动而交会时的交会坐标；及 该轨迹计算单元，稱接该交会点计算单元，用以根据该第一运动轨迹、该第二运动轨迹及该交会坐标，计算该显示物件与该回应物件交会后的反应运动轨迹；及 绘图单元，耦接该轨迹产生单元、该轨迹计算单元及该显示装置，根据该第一运动轨迹绘制该显示物件的立体图像，以及绘制该显示物件对应于该反应运动轨迹的立体图像，并分别输出所绘制的立体图像到该显示装置。
2.如权利要求I所述的互动式装置，其特征在于，该交会点计算单元更根据该回应物件的运动距离及运动时间，以及该回应物件的质量，计算该回应物件与该显示物件接触时的回应力道。
3.如权利要求2所述的互动式装置，其特征在于，该交会点计算单元根据图像提取模块所提取的所述多个图像中，该回应物件运动到与该显示物件交会的位移变化而计算出该运动距离，并根据该运动距离、该回应物件的运动时间计算该回应物件的加速度，以及根据该回应物件的质量及加速度计算该回应力道。
4.如权利要求2所述的互动式装置，其特征在于，该反应运动轨迹包括该显示物件的反应距离及反应速度,其中，该轨迹计算单元根据该回应力道、该显示物件的质量及该显示物件依据该第一运动轨迹运动时的运动速度，计算出该反应速度，以及根据该反应速度及反应时间计算出该反应距离。
5.如权利要求4所述的互动式装置，其特征在于，该反应运动轨迹包括该显示物件的反射角度，该轨迹计算单元根据该回应物件与该显示物件交会时，该回应物件形成的接触平面，以及该显示物件到达该接触平面的入射角度，计算出该反射角度。
6.如权利要求2所述的互动式装置，其特征在于更包括 信号传输单元，耦接该交会点计算单元，用以输出该回应力道所转换的反馈信号到该回应物件，借以使该回应物件的反馈单元根据该反馈信号产生相对应于该回应力道的振动。
7.如权利要求6所述的互动式装置，其特征在于，该反馈单元为振动产生单元、音效单元或发光单元。
8.如权利要求I所述的互动式装置，其特征在于更包括 信号传输单元，耦接该绘图单元，用以传输该绘图单元所绘制的该显示物件的立体图像的图像信号到该显示装置。
9.如权利要求I所述的互动式装置，其特征在于更包括 位置辨识单元，耦接于该图像提取模块及该交会点计算单元，该位置辨识单元接收该图像提取模块所提取的图像，以辨识该使用者的定位位置，并传送该定位位置到该交会点计算单元，以供该交会点计算单元根据该定位位置获得相对应的坐标对应关系，以计算该第一运动轨迹及该第二运动轨迹的该交会点。
10.如权利要求9所述的互动式装置，其特征在于更包括 校正模块，包括 物件坐标输出单元，耦接于该显示装置，控制该绘图单元根据物件坐标绘制该显示物件的立体图像并显示于该显示装置，该物件坐标为该显示物件相对于该显示装置的显示平面的三维坐标； 回应坐标计算单元，耦接于该图像提取模块，根据该图像提取模块所提取到该回应物件的多个图像，计算该回应物件的回应坐标，该回应坐标为该回应物件相对于该图像提取模块的提取平面的三维坐标；及 坐标对应单元,稱接该物件坐标输出单元及该回应坐标计算单元,并根据该回应物件与该显示物件接触时的该物件坐标及该回应坐标，计算该显示平面与该提取平面的该坐标对应关系。
11.如权利要求10所述的互动式装置，其特征在于，该交会点计算单元根据该坐标对应关系、该第一运动轨迹及该第二运动轨迹，以计算该显示物件与该回应物件的交会坐标。
12.如权利要求9所述的互动式装置，其特征在于，位置辨识单元更耦接于该坐标对应单元,并传送该定位位置到该坐标对应单元，以供该坐标对应单元对应该定位位置与所计算出来的该坐标对应关系。
13.如权利要求9所述的互动式装置，其特征在于更包括 连接单元，耦接该校正模块及该处理模块，并用以连接另一互动式装置。
14.一种互动式装置的运作方法，该互动式装置包括处理模块、图像提取模块及绘图单元，其特征在于该方法包括 控制该绘图单元依据第一运动轨迹，绘制显示物件的多个立体图像，并输出到显示装置； 从不同视角连续提取回应物件朝向该显示物件运动时的多个图像； 根据该回应物件的多个图像计算该回应物件朝向该显示物件运动的第二运动轨迹； 判断该显示物件根据该第一运动轨迹运动与该回应物件根据该第二运动轨迹运动时是否交会； 当判断该显示物件及该回应物件会交会时，计算该显示物件的反应运动轨迹，并由该绘图单元根据该反应运动轨迹绘制及输出该显示物件的多个立体图像。
15.如权利要求14所述的互动式装置的运作方法，其特征在于更包括当判断该显示物件及该回应物件不交会时，产生未交会通知并输出到该显示装置。
16.如权利要求14所述的互动式装置的运作方法，其特征在于，判断该显示物件与该回应物件运动时是否交会的步骤前更包括 提取及辨识对应于该回应物件的使用者的定位位置；及 取得对应于该定位位置的坐标对应关系； 其中，该处理模块根据该坐标对应关系、该第一运动轨迹及该第二运动轨迹计算该显示物件与该回应物件是否交会。、
17.如权利要求16所述的互动式装置的运作方法，其特征在于，计算该反应运动轨迹的步骤中包括 根据该坐标对应关系计算该显示物件及该回应物件交会时的交会坐标；及 根据该交会坐标、该第一运动轨迹及该第二运动轨迹计算该反应运动轨迹。
18.如权利要求17所述的互动式装置的运作方法，其特征在于更包括 根据对应于该显示装置的显示平面的物件坐标，控制该显示装置显示该显示物件的立体图像； 从不同视角提取该回应物件与该显示物件交会时的图像； 根据该回应物件在不同视角的图像中的位置计算出该回应物件对应于该图像提取装置的提取平面的回应坐标；及 根据该物件坐标及该回应坐标计算出该显示平面与该提取平面的该坐标对应关系。
19.如权利要求18所述的互动式装置的运作方法，其特征在于，计算该坐标对应关系的步骤前，包括 提取对应于该回应物件的该使用者的该定位位置，将该坐标对应关系对应到该定位位置；及 记录相对应的该定位位置及该坐标对应关系于存储单元。
20.如权利要求14所述的互动式装置的运作方法，其特征在于，当判断该显示物件及该回应物件会交会时，更包括 计算该回应物件的回应力道；及 根据该回应物件的回应力道发出反馈信号到该回应物件，借以使该回应物件的反馈单元根据该反馈信号产生相对应于该回应力道的振动、声音或光源。
全文摘要
本发明提供一种互动式装置及其运作方法，该互动式装置包括图像提取模块、处理模块及绘图单元。图像提取模块提取回应物件的多个图像。处理模块用于产生显示物件的第一运动轨迹，根据图像提取模块提取的图像辨识回应物件的第二运动轨迹，并计算显示物件及回应物件交会时的交会坐标，以及计算显示物件与回应物件交会后的反应运动轨迹。绘图单元绘制显示物件以及显示物件对应于反应运动轨迹的立体图像，并分别输出所绘制的立体图像到显示装置。通过所述互动式装置，可供使用者与虚拟显示物件进行互动。
文档编号A63F13/10GK102728060SQ20111008397
公开日2012年10月17日 申请日期2011年3月30日 优先权日2011年3月30日
发明者田海洲, 赖金轮 申请人:廖礼士, 田海洲, 赖金轮, 赖金鼎