物体追踪方法及系统与流程

本发明涉及一种物体追踪方法及系统，尤其涉及一种结合发光组合垫的物体追踪方法及系统。

背景技术：

随着科技的进步，虚拟实境(virtualreality，vr)、扩增实境(augmentedreality，ar)、混合实境(mixedreality，mr)等技术越来越成熟，越来越多民众对于ar/vr/mr也日渐熟悉，使用者对于实体与虚拟空间的输入需求日增。据此，对应的头盔、手杖等输入装置日渐增多，用于沉浸式体验的空间定位技术更显重要。

目前的vr技术是以实体框架或虚拟光学框架来界定使用者的移动，却也限制使用者的所在位置。例如，利用雷射对空间进行编码，而对头盔、手杖等待测物体进行追踪；或者，扫描快速响应矩阵图码(quickresponse(qr)code)进行识别来获取信息，以将虚拟信息于现实空间展现。据此，如何提供一个简单且可适用于各种场地的互动技术是当前重要的课题。

技术实现要素：

本发明提供一种物体追踪方法及系统，结合发光的组装垫来进行空间定位，可在各种场地来实现物体追踪技术。

本发明的物体追踪方法，包括底下步骤。通过多个组装垫各自的光发射器发射光束，其中这些组装垫拼装出光发射区域。通过摄像装置持续在光发射区域内朝向所述组装垫来获取多张图像，其中每一个图像中包括通过所述光束而形成的多个光区。解析第一图像以及第二图像，以计算所述光区的移动变化，其中第一图像以及第二图像为所述图像中相邻的两张图像。之后，基于移动变化来判定摄像装置的运动状态。

在本发明的一实施例中，上述解析第一图像以及第二图像，以计算所述光区的移动变化的步骤包括：在第一图像以及第二图像分别锁定一光区，其中所述光区包括至少一个光区；以及基于第一图像的指定光区的坐标位置以及第二图像的光区的坐标位置，计算在水平面上的位移方向以及位移量。

在本发明的一实施例中，上述解析第一图像以及第二图像，以计算所述光区的移动变化的步骤包括：在第一图像以及第二图像分别锁定一成像位置；记录在第一图像的成像位置的第一光区；记录在第二图像的成像位置的第二光区；基于第一光区与第二光区两者的位置关系来获得在水平面上的位移方向；以及基于第一光区与第二光区之间包括的光区数量来获得在水平面上的位移量。

在本发明的一实施例中，上述解析第一图像以及第二图像，以计算所述光区的移动变化的步骤包括：在第一图像以及第二图像分别锁定一指定光区；在第一图像中，在指定光区分别与其相邻的光区之间相距的间隔皆相等时，记录第一间隔；在第二图像中，在指定光区分别与其相邻的光区之间相距的间隔皆相等时，记录第二间隔；在第一间隔与第二间隔不同的情况下，基于第一间隔与第二间隔的变化关系，获得在垂直轴上的位移方向以及位移量。

在本发明的一实施例中，在第一间隔与第二间隔相同的情况下，判定移动变化为水平移动。

在本发明的一实施例中，上述解析第一图像以及第二图像，以计算所述光区的移动变化的步骤包括：判断在第一图像与第二图像中，位于外侧的光区所形成的直线之间的斜率是否改变。而基于移动变化来判定摄像装置的运动状态的步骤包括：基于该斜率的变化来计算摄像装置的旋转角度。

在本发明的一实施例中，上述物体追踪方法还包括：取得各组装垫的识别码；驱使所述组装垫逐一发出光束；基于接收到的光信号及获取图像，获得各组装垫所配置的真实空间位置；以及将识别码与其对应的真实空间位置进行对应而获得对应地图。

在本发明的一实施例中，上述物体追踪方法还包括：通过摄像装置在光发射区域内朝向所述组装垫来获取一校正图像，并显示校正图像于屏幕；在屏幕中，在校正图像的上方显示理想光区域；以及通过理想光区域与校正图像中的光区来进行校正程序。

在本发明的一实施例中，上述各组装垫在其边缘具有公母机构接合点，各组装垫通过公母机构接合点来进行组装。

在本发明的一实施例中，上述摄像装置安装在一物件上，所述物件为头盔、手杖、遥控器、手套、鞋套以及衣服其中一个。

在本发明的一实施例中，上述各组装垫还包括力量传感器。

本发明的物体追踪系统，包括：多个组装垫，拼装出光发射区域，其中每一个组装垫包括用以发射光束的光发射器；以及摄像装置。摄像装置包括：图像获取器，持续在光发射区域内朝向所述组装垫来获取多张图像，其中每一个图像中包括通过所述光束而形成的多个光区；以及图像分析单元，耦接至图像获取器，接收图像以进行解析。图像分析单元解析第一图像以及第二图像，以计算所述光区的移动变化，其中第一图像以及第二图像为所述图像中相邻的两张图像；并且，图像分析单元基于移动变化来判定摄像装置的运动状态。

基于上述，本发明结合多个发光的组装垫，利用组装垫来界定出活动范围，以在活动范围内来追踪特定的物体。据此，可视情况来增减组合垫的数量，在扩充上更为弹性不受场地限制，不仅组装方便，也便于拆卸。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例的物体追踪系统的示意图。

图2是依照本发明一实施例的物体追踪系统的方块图。

图3是依照本发明一实施例的物体追踪方法的流程图。

图4是依照本发明一实施例的三角测量的示意图。

图5是依照本发明一实施例在水平移动下图像的光区呈现的示意图。

图6是依照本发明一实施例在垂直移动下图像的光区呈现的示意图。

图7是依照本发明一实施例在转动情况下图像的光区呈现的示意图。

图8a及图8b是依照本发明一实施例的校正画面的示意图。

图9是依照本发明另一实施例的物体追踪系统的方块图。

图10a～图10c是依照本发明一实施例的组装垫构成的示意图。

图11a～图11c是依照本发明另一实施例的组装垫构成的示意图。

附图标号说明

100、900：物体追踪系统

110：摄像装置

210：供电单元

220：图像分析单元

230：图像获取器

240：光发射器

250：微控制器

300：图像

510、610、710：第一图像

520、620、720：第二图像

910：电子装置

a～d：长度

a、a11～a14、a21～a24、a31～a34：组装垫

cd：获取距离

cl：获取焦长

f：力量传感器

io：电性接合点

ir：红外光源

m、n、p：指定光区

md：实际距离

r：屏幕

t1、t2：直线

u：抬头状态

v：平视状态

vh：实际高度

vp：间距像素

wp：总像素

z：理想光区域

s305～s320：物体追踪方法各步骤

具体实施方式

有关本发明之前述及其他技术内容、特点与功效，在以下配合参考附图的各实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的方向用语，例如：“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附加附图的方向。因此，使用的方向用语是用来说明，而并非用来限制本发明。并且，在下列各实施例中，相同或相似的元件将采用相同或相似的标号。

图1是依照本发明一实施例的物体追踪系统的示意图。图2是依照本发明一实施例的物体追踪系统的方块图。请参照图1及图2，物体追踪系统100包括摄像装置110以及组装垫a11～a14、a21～a24、a31～a34(底下统称为组装垫a)。在本实施例中，以4×3个组装垫a为例来进行说明，然，在其他实施例中并不以此为限。

而在每一个组装垫a中设置有光发射器240以及微控制器250。微控制器250耦接至光发射器240。通过微控制器250来控制光发射器240发射特定频率的光束，例如红外光。所述红外光的波长可设计为850nm或940nm。所述光发射器240例如为红外光发射器，用以发射红外光。微控制器(microcontrolunit，mcu)250为一种积体电路芯片，可视为是一个微型电脑。在本实施例中，各组装垫a为正方形状，且光发射器240设置在各组装垫a的中心位置，且每一个组装垫a的尺寸相同。通过这些组装垫a拼装出一个光发射区域，并且以摄像装置110来作为定位设备，利用摄像装置110来进行空间定位的设定。然，在其他实施例中，也可以使用三角形、长方形、六角形或其他多边形的组装垫，在此并不限制。

摄像装置110可以安装在各种物件上，例如，头盔、手杖、遥控器、手套、鞋套、衣服等。摄像装置110包括供电单元210、图像分析单元220以及图像获取器230。供电单元210耦接至图像分析单元220以及图像获取器230，以进行供电。图像分析单元220耦接至图像获取器230。

在此，供电单元210例如为电池。图像获取器230例如为采用电荷耦合元件(chargecoupleddevice，ccd)镜头、互补式金氧半电晶体(complementarymetaloxidesemiconductortransistors，cmos)镜头的摄影机、照相机等，用以获取图像。另外，图像获取器230也可以是用于立体检测的三维摄影镜头，如双摄像头、结构光(光编码)镜头、时差测距(time-of-flight，tof)技术镜头或是高速摄影镜头(>60hz，如120hz、240hz、960hz)。图像分析单元220例如为中央处理单元(centralprocessingunit，cpu)、图像处理单元(graphicprocessingunit，gpu)、物理处理单元(physicsprocessingunit，ppu)、可程式化的微处理器(microprocessor)、嵌入式控制芯片、数字信号处理器(digitalsignalprocessor，dsp)、特殊应用积体电路(applicationspecificintegratedcircuits，asic)或其他类似装置。

摄像装置110会持续在光发射区域内朝向组装垫a来获取多张图像。即，当摄像装置110在三度空间中沿三个坐标轴的移动和绕三个坐标轴的转动时(例如上下移动、水平移动、垂直移动、对应三个坐标轴的旋转等六个自由度)，摄像装置110会接收到具有不同的光区区域的图像，之后，通过图像分析单元220来分析所述图像藉此来追踪摄像装置110的运动状态。

图3是依照本发明一实施例的物体追踪方法的流程图。请参照图3，在步骤s305中，通过各组装垫a的光发射器240发射光束。例如，可由摄像装置110来发出一控制信号给组装垫a，以使得微控制器250驱动光发射器240发射光束；或者，组装垫a以有线或无线的方式连接至外部的一电子装置(具有运算能力的设备)，而由所述电子装置来发出控制信号给组装垫a，使得微控制器250驱动光发射器240发射光束。

接着，在步骤s310中，通过摄像装置110持续在光发射区域内朝向组装垫a来获取多张图像，其中每一张图像中包括通过所述光束而形成的多个光区。摄像装置110会接收到各组装垫a的光发射器240所发出的各光束，因而在成像的图像中形成多个光区。在此，光区可由一个或多个光点构成，多个光点可视为光点的集合且复数光点为相邻的光点。

之后，在步骤s315中，通过图像分析单元220来解析第一图像以及第二图像，以计算光区的移动变化。在此，为了方便说明，将相邻的两张图像称为第一图像及第二图像。最后，在步骤s320中，基于移动变化来判定摄像装置的运动状态。摄像装置110所接收到的图像，其光区的呈现方式会不同，而通过分析具有不同光区区域的第一图像及第二图像，藉此来判断摄像装置110在六个自由度上的运动状态。

将摄像装置110安装在各种不同的目标物上，通过上述步骤s305～s320，便能够以摄像装置110的运动状态来代表目标物的运动状态。

底下举例来说明分析光区的移动变化的方式。

图4是依照本发明一实施例的三角测量的示意图。请参照图4，vh表示摄像装置110与组装垫a之间的实际高度，cl表示摄像装置110的获取焦长，md表示相邻的两个组装垫a的两个中心点在指定方向上相距的实际距离，cd为图像获取器230内部获取到的获取距离。

图像300为摄像装置110所接收的图像。在此，图像300中包括9个光区。wp为图像300在纵轴上的总像素，vp为相邻的两个光区的两个中心点在纵轴上相距的间距像素。

计算公式如下：

其中，cc为画面转换常数。

故，

图像分析单元220可利用所述公式(1)来获得在纵轴上移动的位移量。另外，图像分析单元220也可利用所述公式(1)来获得在横轴上移动的位移量。即，将wp设定为图像300在横轴上的总像素，将vp设定为相邻的两个光区的两个中心点在横轴上相距的间距像素。

在此，可由使用者输入自己的身高来决定实际高度vh。例如，使用者输入其身高为160cm，图像分析单元220便能够根据一般眼睛与头顶之间的距离来决定实际高度vh。而获取焦长cl、总像素wp、画面转换常数cc为已知的定值。据此，分析第一图像与第二图像之间的位移量(像素数目)，以获得间距像素vp，之后，利用公式(1)来求出实际距离md，以实际距离md代表摄像装置110在真实空间中所移动的距离。

图5是依照本发明一实施例在水平移动下图像的光区呈现的示意图。在本实施例中，使用锁定亮点计算像素法。即，通过图像检测锁定一指定亮点，将指定亮点移动的像素数目带入公式(1)即可得到移动距离。

请参照图5，在第一图像510以及第二图像520分别锁定指定光区m，进而基于第一图像510的指定光区m的坐标位置以及第二图像520的指定光区m的坐标位置，计算在水平面上的位移方向以及位移量。以图5为例，位移方向为向前移动，并且位移量例如为1024个像素。

在此，以1600万(5312×2988)像素来举例，在纵轴上的总像素wp为定值2988。并且，假设画面转换常数cc为定值7cm、获取焦长cl定值为12cm、实际高度vh为定值150cm。

将指定光区移动的像素数目，例如1024个像素，带入公式(1)，则获得对应的实际距离md为30cm。以此类推，倘若指定光区移动了2048个像素，则对应的实际距离为60cm。而在其他实施例中，也可以同样方式来检测左右移动的位移量。

另外，也可使用记点方式，即，在第一图像510以及第二图像520分别锁定一成像位置；记录在第一图像510的成像位置的第一光区；记录在第二图像520的成像位置的第二光区；基于第一光区与第二光区两者的位置关系来获得在水平面上的位移方向；以及基于第一光区与第二光区之间包括的光区数量来获得在水平面上的位移量。

例如，假设在第一图像510中将指定光区m所在的位置指定锁定的成像位置，在前后方向上移动后，在第二图像520中的锁定的成像位置中位相邻于指定光区m的另一光区移动至此，则利用上述公式(1)(假设两个光区之间的间距像素vp为1024个像素)可以得知往前移动了30cm。而倘若移动过程中经过两个光区最后落在第三光区上，则表示移动了90cm。倘若介于光区与光区之间，也可按比例计算。以此类推，也可判断左右方向的移动。亮区锁定与存储方式并不限制于上述说明。

图6是依照本发明一实施例在垂直移动下图像的光区呈现的示意图。本实施例是在亮点的间距为一定的情况下来检测垂直移动。在第一图像610以及第二图像620分别锁定一指定光区n。在第一图像610中，在指定光区n分别与其相邻的4个光区之间相距的间隔皆相等时，记录第一间隔。在第二图像620中，在指定光区n分别与其相邻的4个光区之间相距的间隔皆相等时，记录第二间隔。在第一间隔与第二间隔不同的情况下，基于第一间隔与第二间隔的变化关系，获得在垂直轴上的位移方向以及位移量。

在第一间隔与第二间隔相同的情况下，判定移动变化为水平移动。即，通过检测指定光区n与其相邻的四个光区，检测指定光区n与其相邻四个光区之间的间距是否相同，相同代表保持水平状态。而当摄像装置110上下移动，譬如使用者配戴着具有摄像装置110的头盔进行蹲下起立动作时，相邻两张图像的光区间的间距虽相同但是其大小关系会改变。

如图6所示，假设第一图像610的第一间隔为1024个像素，第二图像620的第二间隔为615个像素，通过所述公式(1)的计算可以得知摄像装置110在实际空间中从150cm垂直移动至90cm。

图7是依照本发明一实施例在转动情况下图像的光区呈现的示意图。本实施例是在亮点的间距为一定的情况下来检测转动。在此，使用者配戴着具有摄像装置110的头盔。在使用者为抬头状态u时，摄像装置110获得第一图像710；在使用者为平视状态v时，摄像装置110获得第二图像720。图像分析单元220判断在第一图像710与第二图像720中，位于外侧的光区所形成的直线t1、t2之间的斜率是否改变，基于斜率的变化来计算摄像装置110的旋转角度。例如，可利用正切函数来计算当下的抬头角度，即摄像装置110的旋转角度。

另外，也可以在第一图像710与第二图像720中锁定一指定光区p，检测指定光区p与其相邻4个光区的间隔，通过第一图像710与第二图像720的指定光区p与其相邻光区的间距变化，也可以得知摄像装置110的旋转角度改变。在此，第一图像710的指定光区p与其在横轴上相邻的光区之间的间距，小于第二图像720的指定光区p与其在横轴上相邻的光区之间的间距。由此可知，摄像装置110在垂直方向上产生了转动变化。

图8a及图8b是依照本发明一实施例的校正画面的示意图。在开始使用之前，可先进行校准的动作。即，组装多个组装垫120而获得光发射区域。接着，开启摄像装置110。之后，将摄像装置110移动至光发射区域。在此，使用者例如是戴着安装有摄像装置110的头盔进入光发射区域，或是手持着安装有摄像装置110的手杖进入光发射区域。接着，在摄像装置110的屏幕r中显示一理想光区域z，如图8a所示。摄像装置110进入光发射区域，并且在固定位置时图像的偏差极小时，便可判定定位不动。

之后，检测中心的光区与其在纵向上相邻光区之间的长度a、b以及中心的光区与其在横向上相邻光区的长度c、d。判断纵向长度比a/b以及横向长度比c/d是否小于预设值。例如，长度a与长度b两者的比值应小于5％；长度c与长度d的比值应小于5％。

图9是依照本发明另一实施例的物体追踪系统的方块图。在本实施例中，物体追踪系统900还包括电子装置910，电子装置910利用有线或无线的方式连结至多个组装垫a。例如，利用通用串行高级技术附件(universalserialbus，usb)、蓝牙(bluetooth)、wi-fi等来连接电子装置910与多个组装垫a。电子装置910例如为一般台式电脑、笔记本电脑、平板电脑、智能手机、或其他具有运算功能的各类电子装置。

在进行物体追踪之前，可先通过电子装置910来建立出虚拟空间与真实空间之间的对应地图。电子装置910利用有线或无线的方式检测所有组装垫a的光束，取得所有组装垫a的光发射器240的识别码。并且，要求各组装垫a根据特定时序或特定强度等闪烁方式来发出光束，摄像装置110的图像获取器230接收到光信号与获取图像之后，进而可获得各组装垫所配置的一真实空间位置，并且将识别码与对应的真实空间位置进行对应，最后产生最终的对应地图。另外，在其他实施例中，也可在摄像装置110中来建立对应地图，在此并不限制。

图10a～图10c是依照本发明一实施例的组装垫构成的示意图。在此，以红外光源ir做为光发射器，红外光源ir可为单区、多区于单一组装垫上，其一区至少为一颗irled构成。图10a的组装垫a包括1个红外光源ir；图10b的组装垫a包括3个红外光源ir；图10c的组装垫a包括4个红外光源ir。每一个组装垫a为方形，并于边缘具有公母机构接合点，可单可双，公母位置可相邻相对皆可。而电性接合点io位于机构接合点上，且可单边全公、全母、或公母混行搭配电性接合点io进行电性对应。

图11a～图11c是依照本发明另一实施例的组装垫构成的示意图。在本实施例中，组装垫a更与力量传感器(forcesensor)f结合。图11a的组装垫a中设置1个力量传感器f，并且在力量传感器f的中央设置红外光源ir。图11b的组装垫a中设置1个力量传感器f，而红外光源ir则设置在不与力量传感器f重叠的位置。图11c的组装垫a中红外光源ir设置中央，而力量传感器f以红外光源ir为中心并与红外光源ir不重叠地设置为4个。红外光源ir的摆设位置与数目可随系统需求的精准度与图像获取器230的摄像头的成熟程度而演进，在此并不限定为设置于中央也不限定为4个。

综上所述，本发明结合多个发光的组装垫，利用组装垫来界定出活动范围，以在活动范围内来追踪特定的物体。而组装垫结构简单，可手动组装，不仅组装方便，也便于拆卸。并且，可视情况来增减组合垫的数量，在扩充上更为弹性，另外可符合任何场地域形状，也可用于桌面、墙壁等需要户动的平面。在应用上更为广泛。不仅可用于虚拟实境或扩增实境的互动，也可用于居家照顾、人体或宠物位置追踪等。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。