专利名称：一种空间三维定位方法
技术领域：
本发明涉及电子显示系统领域，特别涉及一种空间三维定位方法。
背景技术：
电子显示系统的定位装置作为 一种新型的计算机输入设备，使人机交互更 为直观。由于能给用户带来极大的便利，电子显示系统的定位技术除了广泛应 用于个人便携式信息产品外，也已遍及信息家电、公共信息、电子游戏和自动 化办公设备等各个领域。现有电子显示系统的定位装置有多种实现形式，但大 多是触摸式定位形式，其要通过直接触摸到显示屏来实现定位。如公开号为
CN1896919A的中国发明专利公开了 一种接触式投影屏幕及其实现方法，其通过 安装在屏幕后方的摄像头对屏幕上的触摸点进行拍摄分析，以此实现触摸定位。 上述定位装置必须直接在屏幕上进行触摸才能实现定位，而且操作不够灵活。
随着人们对交互体验要求的日益提升，非接触式的空间三维定位成了必然 趋势。目前，有通过将两个或两个以上的摄像头放置在显示屏前方，以不同视 角指向显示屏进行拍摄，使显示屏完全处于摄像头的取景范围内，捕捉取景范 围内的指尖，根据拍摄图片中指尖坐标确定其垂直投影到屏幕上对应的坐标位 置的技术方案。但其缺点在于难以应用在大屏幕触摸屏上，这是由于该技术方 案是根据拍摄图片中指尖坐标来确定其垂直投影到屏幕上对应的坐标位置的， 当屏幕较大，且无法用指尖坐标对应到屏幕某些部分时，才乘作者难以对整个屏 幕范围进行定位操作，同时，操作者的身体容易遮挡住摄像头的拍摄，使得无 法进行定位。
发明内容
本发明的目的在于克服上述现有技术的缺点与不足，提供一种能实现三维 定位，而且操作灵活，尤其适合应用于大屏幕的空间三维定位方法。
本发明的目的通过下述技术方案实现 一种空间三维定位方法，实现本定
4位方法的空间三维定位装置包括显示屏和用于定位操作且能提取出特征点的目 标物，还包括依次连接的图像处理模块、接口模块和计算机模块，其中，图像 处理模块包括至少两个摄像头，该图像处理模块放置在显示屏的前方且不遮挡 到显示屏的位置，各个摄像头拍摄范围的重叠区域覆盖显示屏前方一定空间， 摄像头光轴与显示屏垂直线的夹角为直角，或摄像头光轴与显示屏垂直线的夹
角为大于45度的锐角；而所述目标物在该重叠区域内操作；本发明定位方法在 进行定位之前或定位开始时，首先对图像处理模块中的各个摄像头进行标定， 然后依次进行以下操作
(l)摄像头进行拍摄，获取图像数据；
(2 )根据步骤(1)获取的图像数据捕获两个或两个以上目标物特征点；
(3) 确定步骤(2)中所述目标物特征点的空间坐标；
(4) 根据步骤(3)中所述目标物特征点的空间坐标，确定目标物的空间 方向指向线；
(5) 确定沿步骤(4)所述目标物空间方向指向线在显示屏上对应的坐标， 即为目标物在显示屏上对应指向的定位坐标。
上述方法中，所述对各个摄像头进行标定，其方法为建立世界坐标系和 各个摄像头的图像平面坐标系，确定各个摄像头的图像平面坐标系与世界坐标
系的转^:关系。
上述方法中，步骤(2)所述捕获两个或两个以上目标物特征点，优选为 根据所捕获到的目标物特征点的颜色进行筛选，进行图像二值化处理，再根据 目标物特征点的大小进行筛选，以从中提取两个或两个以上目标物特征点；也 可以先根据所捕获到的目标物的大小和颜色先排除干扰并确定目标物，然后再 根据目标物上特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特 征点的大小进行筛选，以从中确定两个或两个以上目标物特征点；或直4妄4巴所 捕获到的两个或两个以上目标物的特殊位置点作为目标物特征点。
上述方法中，步骤(3)所述确定目标物特征点的空间坐标，优选为先确 定各个摄像头拍摄图像中目标物特征点的平面坐标，再将平面坐标转换为目标 物特征点的空间坐标。
上述方法中，步骤(4)所述空间方向指向线，是指由所述两个或以上目标
物特征点所确定的直线。
上述方法中，步骤(5)所述的定位坐标的确定方法为将步骤(4)所述面的方程联立求解，得到的坐标 即为定位坐标。
上述方法中，步骤(2)所述捕获两个或两个以上目标物特征点、步骤(3) 所述确定目标物特征点的空间坐标、步骤(4)所述确定目标物的空间方向指向 线，以及步骤(5 )所述确定沿目标物空间方向指向线在显示屏上对应的坐标， 可以采用以下方式
a. 摄像头获取的图像数据通过接口模块将图像数据传输至计算机模块，由 计算机模块根据图像数据依次进行步骤(2 )、 ( 3 )、 ( 4 )和步骤(5 )的操作； 具体是由计算机模块依次进行捕获两个或两个以上目标物特征点，以及确定目 标物特征点的空间坐标、目标物空间方向指向线和沿目标物空间方向指向线在 显示屏上对应的坐标；
b. 由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像 数据，并根据图像数据进行步骤(2 )、 ( 3 )、 ( 4 )和步骤(5 )中前1个、2个或 前3个步骤的操作，然后将操作所得数据传输给计算机模块，由计算机才莫块进 行剩余步骤的操作；例如由所述图像处理模块，或者具体由摄像头设置的图像 处理芯片根据图像数据捕获两个或两个以上目标物特征点，确定目标物特征点 的空间坐标，然后通过接口模块将目标物特征点的空间坐标传输至计算机模块， 由计算机模块依次进行目标物空间方向指向线和沿目标物空间方向指向线在显 示屏上对应的坐标的确定；
c. 由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像 数据，并根据图像数据进行依次进行步骤(2 )、 ( 3 )、 ( 4 )和步骤(5 )的操作； 具体是由图像处理模块，或者具体由摄像头设置的图像处理芯片，依次进行捕 获两个或两个以上目标物特征点，以及确定目标物特征点的空间坐标、目标物 空间方向指向线和沿目标物空间方向指向线在显示屏上对应的坐标；然后将该
对应的坐标通过接口模块送至计算机模块。
所述显示屏可为背投、前投影、等离子(PDP)、液晶(LCD)或拼接显示屏 幕等类型的显示屏。
所述接口模块可以采用串行接口或USB接口等数据接口。
优选的，所述目标物为才喿作笔或手指。
所述目标物特征点，是指目标物中能被摄像头拍摄到的涂有特殊颜色的点， 或目标物中能被摄像头拍摄到的特殊位置点。优选的，在摄像头的拍摄方向设置一个单一颜色的背景物，有利于将目标 物特征点更好的区分出来。
所述摄像头包括镜头，以及CCD图像传感器或CMOS图像传感器。摄像头可 拍摄到在显示屏前方的拍摄范围内的目标物。这样，通过确定目标物特征点的 空间坐标，进而确定目标物的空间方向指向，最终利用目标物的空间方向指向 来求取沿着目标物空间方向指向线与显示屏平面相交的坐标点，也即定位坐标。
当所述步骤(2)、 (3)、 (4)和(5)中有1个或任意几个步骤是由所述4聂 像头来完成时，所述摄像头还包括图像处理芯片。
本发明相对于现有技术的有益效果如下
定位操作筒单，且实现本定位的空间三维定位装置结构简单，基于两个或 两个以上的摄像头，只需要将各个摄像头放置在显示屏的前方且不遮挡到显示 屏的位置，各摄像头拍摄的区域不需要覆盖整个显示屏，并没有增加其他设备， 成本底，安装方便，且操作灵活；各个摄像头的标定可以预先设定，这样减少 每次定位操作的时间，大大提高了工作效率；目标物特征点的空间坐标、目标 物的空间方向指向线，以及沿目标物空间方向指向线在显示屏上对应的坐标的 确定，可以由图像处理模块、摄像头设置的图像处理芯片，计算机模块三者进 行分工计算或独立计算，计算方式灵活，当由计算机模块进行独立计算时，所 述摄像头可以不设置图像处理芯片，图像处理模块也可以不具备数据处理功能， 更是降低了成本和对摄像头的性能要求；由于本发明通过目标物的方向指向线 来确定定位坐标，而不是通过单个目标物特征点在屏幕上的垂直投影来确定定 位坐标，这样能方便地实现多点三维空间定位，另外，当显示屏较大，用指尖 无法垂直对应到显示屏某些部分，通过本发明沿目标物空间方向指向线进行在 显示屏上对应定位的方式，依然可以轻松地实现三维定位，因此本发明尤其适 合应用于大屏幕定位。
图1-1、图1-2、图1-3、图1-4是本发明一种空间三维定位装置的4种不 同摄4象头方文置方式的结构示意图2是本发明实施例l一种空间三维定位装置的定位方法流程示意图； 图3是本发明实施例1的世界坐标系和摄像头图像平面坐标系的示意图；图4-1、 4-2、 4-3 、 4-4和4-5是本发明实施例1的目标物示意图； 图5是本发明实施例1沿目标物空间方向指向线在显示屏上对应的定位坐 标示意图6-1、 6-2、 6-3和6-4是本发明实施例2的目标物示意图。
具体实施例方式
下面结合附图及实施例对本发明作进一步详细的描述，但本发明的实施方式 不限于此。 实施例1
实现空间三维定位方法的空间三维定位装置，如图1-1所示，该装置包括 显示屏3、用于定位操作且能提取出特征点的目标物4、图像处理模块、USB接 口 5和计算机模块6,所述图像处理模块与USB接口 5、计算机模块6依次连接。
所述图像处理模块包括摄像头1和摄像头2，摄像头1和摄像头2均放置 在显示屏3的前方且不遮挡到显示屏3的位置，两摄像头光轴与显示屏垂直线 的夹角可为直角，或摄像头光轴与显示屏垂直线的夹角为大于45度的锐角，本 实施例中采用，两摄像头放置在显示屏3的上方空间，两摄像头光轴与显示屏 垂直线的夹角均为直角。各个摄像头拍摄范围的重叠区域覆盖显示屏3前方一 定空间。图1中的斜线填充区域7即为该重叠区域与垂直于显示屏3底线的平 面的相交区域。其中，摄像头的放置方式不受限于本实施例，所迷摄像头1和 摄像头2的采用放置方式是多样的，如图1-2所示，摄像头1和摄像头2放置 在显示屏3的下方空间，两摄像头光轴与显示屏垂直线的夹角均为a，其中a为 60度。如图1-3所示，摄像头1和摄像头2放置在显示屏3的左侧空间，两摄 像头光轴与显示屏垂直线的夹角均为直角。如图1-4所示，摄^^头1和摄#_头2 放置在显示屏3的右侧空间，两摄像头光轴与显示屏垂直线的夹角均为直角。
本实施例在图1-1所示的斜线填充区域7处，设置一块黑色毯子，作为背 景物，有利于将目标物特征点从背景物中区分出来。
摄像头1和摄像头2,是设置有镜头、图像处理芯片，以及CCD图像传感器 或CMOS图像传感器的完整4菱像头。
所述显示屏3可为背投、前投影、等离子(PDP)、液晶(LCD)或拼^接显示
屏幕等类型的显示屏。
8所述目标物4可以选用操作笔或手指。
所述特征点，是指目标物4中能被摄像头1和摄像头2拍摄到的涂有特殊 颜色的点，或目标物4中能被摄像头1和摄像头2拍摄到的特殊位置点。进行 定位时，所述目标物4在该重叠区域内才喿作；
如图2所示，上述空间三维定位装置的定位方法，在进行定位之前或定位 开始时，首先对摄像头1和摄像头2进行标定，然后依次进行以下操作 (1)摄像头1和摄像头2进行拍摄，分别获取图像数据； (2 )根据步骤(1)获取的图像数据捕获两个或两个以上目标物特征点； (3 )确定步骤(2 )中所述目标物特征点的空间坐标；
(4) 根据步骤(3)中所述目标物特征点的空间坐标，确定目标物的空间 方向指向线；
(5) 确定沿步骤(4)所述目标物空间方向指向线在显示屏3上对应的坐 标，即为目标物4在显示屏3上对应指向的定位坐标。
如图3所示，是本实施例为实现定位所建立的世界坐标系和摄像头图像平 面坐标系。所述世界坐标系为在环境中选取的一个基准坐标系，用于描述摄像 头1和摄像头2的位置，本实施例中设定为0-XYZ,以显示屏3的左下角为原点 0，显示屏3的横方向为X轴、纵方向为Y轴，垂直显示屏3的方向为Z轴。
各个摄像头的图像平面坐标系是各个摄像头的以像素点为刻度单位的图像 平面坐标系，具体针对摄像头1和摄像头2,本实施例中分别设定为Oi-x⑦、 o2-x2y2。
如图3所示，P ( X， Y， Z )为目标物4的世界坐标，Pi ( x!, yi)为目标物4 在摄像头1拍摄图像中的成像坐标，P2 ( x2, y2)为目标物4在摄像头2拍摄图 像中的成像坐标。
世界坐标系和摄像头1的图像平面坐标系的转换关系如下面公式(1 )所示:
<formula>formula see original document page 9</formula>
其中，Si为非零参数，a, ，a2......, an为系统转换矩阵的元素，与摄像头1
的光轴中心、焦距等内部参数，也与摄像机l的放置位置等外部参数有关。 而世界坐标系和摄像头2的图像平面坐标系的转换关系如公式(2)所示<formula>formula see original document page 10</formula>
其中S2为非零参数，bi,b2......， bn为系统转换矩阵的元素，与才聂像头2的
光轴中心、焦距等内部参数，也与摄像机2的放置位置等外部参数有关。
确定a!，a2......， au以及b，b2......, bn等系统转换矩阵的元素，也即确定各个
摄像头的图像平面坐标系与世界坐标系的转换关系，称为摄像头的标定。其标 定方法是通过黑白相间的方格模板进行多角度的图像采集，选取方格模板中6 个已知点，分别代入公式(1)和公式(2),用最小二乘法就可以确定上述两个
系统转换矩阵的元素，完成摄像头1和摄像头2的标定。
图4-1、 4-2、 4-3、 4-4和4-5所示为目标物4优选的其中5种形式，该目
标物4为操作笔，其中，黑色部分均表示为涂有特殊颜色区。
本实施例中，选取的目标物4如图4-1所示的操作笔，摄像头1和摄像头2
要捕获的是操作笔的两个特征点。特征点为两个涂有特殊颜色且有一定间距的
颜色点，其与操作笔笔杆颜色不同，例如笔杆颜色选择为黑色，特殊颜色为掺
杂有荧光金粉的黄色，如图4-1所示的特殊颜色区401和特殊颜色区402,目的
在于与应用环境中的其他物体相区分。当然，操作笔的形式可以是多样的，只
要能提取出两个或两个以上特征点即可。如图4-2所示，特征点为特殊颜色区
的起点403，以及特殊颜色区的终点404;如图4-3所示，特征点为特殊颜色区
的起点405,以及特殊颜色区的终点406;如图4-4所示，特征点为特歹朱颜色区
的终点407、目标物顶端点408;如图4-5所示，特征点为特歹朱颜色区409、目
标物顶端点410。
步骤(2 )所述捕获两个或两个以上目标物4的特征点，优选为根据所捕获 到的目标物4的特征点的颜色进行筛选，再进行图像二值化处理，以从图像中 提取两个或两个以上目标物特征点颜色的区域或点。根据目标物特征点的大小 范围，对提取到的不符合大小范围的区域或点进行进一步的排除，最终得到目 标物特征点。其中，所述图像二值化处理，是将目标物4特征点的灰度值设定 为二值化的阈值，完成图像的二值化。
如图5所示，上述方法中，步骤(3)所述确定目标物特征点的空间坐标， 优选为根据步骤(2)中各摄像头所捕获目标物特征点，确定摄像头l拍摄图
10像中目标物特征点的平面坐标(X (x:，yj、 02 (x2，y2)和摄像头2拍摄图像中 目标物4的特征点的平面坐标Or (Xi，yJ、 02， (x2,y2)，代入上述已知系统转 换矩阵的元素的公式(1)和公式(2)中，即可求解出目标物特征点相应的空 间坐才示Oi(Xi，L，Zj、 02 (X2， Y2, Z2)。
将目标物特征点的空间坐标(h (X，Y,， ZJ 、 02 (X2， Y2, Z2)代入下面公式(3 ):
n！ = ^ — z-z, (3) x—:k2-" 一z广z'
其中，公式(3)表示目标物的空间方向指向线，是指由所述目标物4的特
征点所确定的直线。
本实施例中，显示屏3的平面在建立的世界坐标系中，表示式为Z=0 (4) 将上述公式(3)和公式(4)联立求解，可以得到沿目标物4空间方向指 向线在显示屏3上对应的坐标0(X，Y，0)，如图5所示。
实施例2
本实施例中，目标物如图6-1所示，直接用手指才喿作，其中，手指上套有 两个具有特殊颜色的大小可伸缩的指环，其目的在于与应用环境中的其他物体 相区分。凝J象头1和揭J象头2捕获到手指上的有一定间距的特 朱颜色点作为两 个特;f正点。如图6-1图的601和602。除此外，本实施例的其^f也组件及其结构与 实施例1相同。当然，目标物特征点的选定也可以按照特殊位置点进行选定。 例如，图6-2中，特征点为603和604;图6-3中，特征点为605和606;图6-4 中，特4正点为607和608.
本实施例中，捕获目标物特征点的方法为先根据手的大小和颜色排除干 扰并确定目标物4，然后再根据手指上特征点的颜色进行篩选，进行图^f象二值化 处理，再根据目标物特征点的大小进行筛选，以确定目标物4的特征点。
当操作手指超过一个时，例如有两个手指在操作，且每个手指均套上了两 个有特殊颜色的指环。这种情况，在拍摄图像中存在四个特征点，判断哪两个 特征点为同 一个手指上的特征点，可以通过统计图像中任意两个特征点的连线 经过的像素灰度值符合人手肤色灰度值的数目，当此数目超过一定阈值，如20， 则认为这两个特征点在同 一个手指上。判断了在同 一个手指上的两个特征点为 一组特征点后，后续的定位坐标确定步骤均与实施例l相同。上述实施例是一种空间三维定位装置及其定位方法，但本发明的实施方式 并不受上述实施例的限制，可以在上述实施例的基础上增加摄像头，进行组合 拍摄，利用本发明所阐述的方法进行定位，随着摄像头的增加，其定位精度也 P逸之提高，因此，其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范 围之内。
权利要求
1、一种空间三维定位方法，其特征在于实现本定位方法的空间三维定位装置包括显示屏和用于定位操作且能提取出特征点的目标物，还包括依次连接的图像处理模块、接口模块和计算机模块，其中，图像处理模块包括至少两个摄像头，该图像处理模块放置在显示屏的前方且不遮挡到显示屏的位置，各个摄像头拍摄范围的重叠区域覆盖显示屏前方一定空间；而所述目标物在该重叠区域内操作；本发明定位方法在进行定位之前或定位开始时，首先对图像处理模块中的各个摄像头进行标定，然后依次进行以下操作(1)摄像头进行拍摄，获取图像数据；(2)根据步骤(1)获取的图像数据捕获两个或两个以上目标物特征点；(3)确定步骤(2)中所述目标物特征点的空间坐标；(4)根据步骤(3)中所述目标物特征点的空间坐标，确定目标物的空间方向指向线；(5)确定沿步骤(4)所述目标物空间方向指向线在显示屏上对应的坐标，即为目标物在显示屏上对应指向的定位坐标。
2、 根据权利要求l所述的一种空间三维定位方法，其特征在于所述对各个摄像头进行标定的方法为建立世界坐标系和各个摄像头的图像平面坐标系，确定各个摄像头的图像平面坐标系与世界坐标系的转换关系。
3、 根据权利要求l所述的一种空间三维定位方法，其特征在于步骤(2)所述捕获两个或两个以上目标物特征点，具体为根据所捕获到的目标物特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以从中提取两个或两个以上目标物特征点；也可以先根据所捕获到的目标物的大小和颜色先排除干扰并确定目标物，然后再根据目标物上特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以从中确定两个或两个以上目标物特征点；或直接把所捕获到的两个或两个以上目标物的特 朱位置点作为目标物特征点。
4、 根据权利要求1、 2或3所述的一种空间三维定位方法，其特征在于步骤(3)所述确定目标物特征点的空间坐标，具体为先确定各个摄像头拍摄图像中目标物特征点的平面坐标，再将平面坐标转换为目标物特征点的空间坐标。
5、 根据权利要求4所述的一种空间三维定位方法，其特征在于步骤(4)所述空间方向指向线，是指由所述两个或以上目标物特征点所确定的直线。
6、 根据权利要求1或5所述的一种空间三维定位方法，其特征在于步骤(5)所述的定位坐标的确定方法为将步骤(4)所述的空间方向指向线的直线方程与显示屏所在平面的方程联立求解，得到的坐标即为定位坐标。
7、 根据权利要求1所述的一种空间三维定位方法，其特征在于步骤(2)所述捕获两个或两个以上目标物特征点、步骤(3 )所述确定目标物特征点的空间坐标、步骤(4)所述确定目标物的空间方向指向线，以及步骤(5)所述确定沿目标物空间方向指向线在显示屏上对应的坐标，采用以下方式中的任意一种a. 摄像头获取的图像数据通过接口模块将图像数据传输至计算机模块，由计算机模块根据图像数据依次进行步骤(2 )、 ( 3 )、 ( 4 )和步骤(5 )的操作；b. 由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像数据，并根据图像数据进行步骤(2 )、 ( 3 )、 ( 4 )和步骤(5 )中前1个、2个或前3个步骤的操作，然后将操作所得数据传输给计算机模块，由计算机模块进行剩余步骤的操作；c. 由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像数据，并根据图像数据进行依次进行步骤(2)、 (3)、 (4)和步骤(5)的操作。
8、 根据权利要求l所述的一种空间三维定位方法，其特征在于各才聂像头光轴与显示屏垂直线的夹角为直角，或摄像头光轴与显示屏垂直线的夹角为大于45度的锐角。
9、 根据权利要求1所述的一种空间三维定位方法，其特征在于所述目标物特征点，是指目标物中能被摄像头拍摄到的涂有特殊颜色的点，或目标物中能被摄像头拍摄到的特殊位置点。
10、 根据权利要求1所述的一种空间三维定位方法，其特征在于在摄像头的拍:fe方向设置一个单一颜色的背景物。
全文摘要
本发明公开了一种空间三维定位方法，采用用于定位操作且能提取出特征点的目标物，各个摄像头拍摄范围的重叠区域覆盖显示屏前方一定空间，目标物在该重叠区域内操作。定位步骤如下对摄像头进行标定；捕获两个或两个以上目标物特征点；确定目标物特征点的空间坐标；确定目标物的空间方向指向线；确定沿目标物空间方向指向线在显示屏上对应的坐标，即定位坐标。本发明定位操作简单，能实现多点三维空间定位；当显示屏较大时，通过本发明沿目标物空间方向指向线进行在显示屏上对应定位的方式，依然可以轻松实现三维定位，因此本发明尤其适合应用在大屏幕定位。
文档编号G06F3/041GK101639747SQ200910042320
公开日2010年2月3日 申请日期2009年8月31日 优先权日2009年8月31日
发明者卢如西, 钟杰婷 申请人:广东威创视讯科技股份有限公司