三维显示中对象的拾取装置及三维显示中对象的拾取方法
【专利摘要】本发明公开了一种三维显示中对象的拾取装置及三维显示中对象的拾取方法，其中，所述装置包括：注视点信息获取模块，用于获取当前用户眼睛的注视点相对于用户的位置信息；对象确定模块，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。本发明的装置及方法通过眼睛的注视点位置确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高，尤其适合三维显示空间中场景较大的场合中对象的拾取，在可拾取物体较稠密时依然有良好的性能。
【专利说明】三维显示中对象的拾取装置及三维显示中对象的拾取方法
【技术领域】
[0001]本发明涉及三维显示互动【技术领域】，尤其涉及一种三维显示中对象的拾取装置及方法。
【背景技术】
[0002]随着三维(3 Dimension)显示技术的发展，与之相应的交互方式和方法变得越来越重要。在三维显示的内容中选取物体是与三维显示技术进行交互的重要一步。
[0003]然而在三维空间中选择一个物体是比较困难的，一种方法是需要用户移动自己(或身体的一部分，如手)的位置进行选取，对于一些场景较大的场合来说，用户需要大范围的移动自己的位置，操作很不方便；另一种方法是通过选择一个方向来拾取需要的物体，然而三维显示空间中，特别是空间中可拾取物体比较稠密的场合，在一个选定的方向上往往具有多个物体，从该多个物体中进行二次选取得到自己需要拾取的对象又会使得物体选取的效率降低、用户体验不好。
[0004]此外，以基于体素(Volumetric Pixel，又称动态体扫描)技术的真三维显示为例，由于显示的三维画面是由显示面旋转形成，选取物体进行交互就更为困难，需要用投影设备把图像投影到旋转显示设备之外才可以进行直接的物体选取。
[0005]因此需要找到一种更加方便、效率高的三维显示物体拾取方法，提高用户体验。
【发明内容】
[0006]本发明要解决的技术问题是:提供一种三维显示中对象的拾取装置及方法，以使得对三维显示中对象的拾取更加方便、效率更高。
[0007]为实现上述目的，第一方面，本发明提供了一种三维显示中对象的拾取装置，包括:
[0008]注视点信息获取模块，用于获取当前用户眼睛的注视点相对于用户的位置信息；
[0009]对象确定模块，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。
[0010]结合第一方面，在第二种可能的实现方式中，所述装置还包括:
[0011]定位单元，用于获得所述用户当前在显示空间中的位置信息。
[0012]结合第一方面或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述装置还包括:
[0013]运动姿态传感器，用于获得所述运动姿态信息。
[0014]结合第一方面、第一方面的第二种或第三种可能的实现方式，在第四种可能的实现方式中，所述装置还包括:通信模块，用于获取所述显示空间中当前物体的分布信息。
[0015]结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述通信模块还用于获取所述用户当前在显示空间中的位置和/或运动姿态信息。
[0016]结合第一方面、第一方面的第二种至第五种可能的实现方式中的任一个，在第六种可能的实现方式中，所述对象确定模块包括:[0017]注视点空间位置确定单元，用于根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；
[0018]对象确定单元，用于根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。
[0019]结合第一方面、第一方面的第二至第六种可能的实现方式中的任一个，在第七种可能的实现方式中，所述装置还包括:对象信息提示模块，用于提示被拾取对象的对应信
肩、O
[0020]结合第一方面、第一方面的第二种至第七种可能的实现方式中的任一个，在第八种可能的实现方式中，所述注视点信息获取模块包括:
[0021]图像采集设备，用于采集眼睛眼底呈现的图像；
[0022]可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
[0023]图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。
[0024]结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述可调成像设备包括:
[0025]可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。
[0026]结合第一方面的第八种或第九种可能的实现方式，在第十种可能的实现方式中，所述可调成像设备包括:
[0027]曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。
[0028]结合第一方面的第八、第九或第十种可能的实现方式，在第十一种可能的实现方式中，所述注视点信息获取模块还包括:
[0029]投射设备，用于向眼底投射光斑图案。
[0030]结合第二方面，本发明提供了一种三维显示中对象的拾取方法，包括:
[0031]注视点信息获取步骤，用于获取当前用户眼睛的注视点相对于用户的位置信息；
[0032]对象确定步骤，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。
[0033]结合第二方面，在第二种可能的实现方式中，所述方法还包括:
[0034]获取所述用户当前在显示空间中的位置信息的步骤。
[0035]结合第二方面或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述方法还包括:
[0036]获取所述运动姿态信息的步骤。
[0037]结合第二方面、第二方面的第二或第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括:
[0038]获取所述显示空间中当前物体的分布信息的步骤。[0039]结合第二方面、第二方面的第二至第四种可能的实现方式中的任一种，在第五种可能的实现方式中，所述对象确定步骤包括:
[0040]根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；
[0041]根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。
[0042]结合第二方面、第二方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述方法还包括:提示被拾取对象的对应信息。
[0043]结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述被拾取对象的对应信息包括被拾取对象的被选中状态信息。
[0044]结合第二方面的第六或第七种可能的实现方式，在第八种可能的实现方式中，所述被拾取对象的对应信息包括所述被拾取对象的属性信息。
[0045]结合第二方面的第六、第七或第八种可能的实现方式，在第九种可能的实现方式中，所述被拾取对象的对应信息包括所述被拾取对象的可操作信息。
[0046]结合第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所述被拾取对象的可操作信息包括: [0047]对所述被拾取对象的加标签、查询、删除、复制、剪切、粘贴、移动、旋转以及变形操作信息中的一种或多种。
[0048]结合第二方面、第二方面的第二至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，所述注视点信息获取步骤包括:
[0049]采集眼睛眼底呈现的图像；
[0050]进行所述图像采集位置与眼睛之间光路的成像参数的调节以使得采集到最清晰的图像；
[0051]对采集到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信
肩、O
[0052]结合第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述进行所述图像采集位置与眼睛之间光路的成像参数的调节包括:
[0053]调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。
[0054]结合第二方面的第十一种或第十二种可能的实现方式，在第十三种可能的实现方式中，所述注视点信息获取步骤还包括:
[0055]分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采
集位置。
[0056]结合第二方面的第十一、十二或十三种可能的实现方式，在第十四种可能的实现方式中，所述注视点信息获取步骤还包括:
[0057]向眼底投射光斑图案。
[0058]本发明实施例的方法及装置根据用户眼睛的注视点位置来确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高。其中，对于一些场景较大的三维显示空间来说，用户无需整体来回移动或者大幅度移动一些部位(例如手部)来拾取需要的对象，仅仅通过眼睛的注视就可以完成对象的选取，使得对象的选取更加方便；对于一些场景中物体较多的三维显示空间来说，通过用户眼睛的注视点位置来确定要拾取的对象的准确度和效率大大提闻，进而提闻了用户的体验。
【专利附图】
【附图说明】
[0059]图1为本发明实施例的一种三维显示中对象的拾取装置的结构示意框图；
[0060]图2为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块的结构框图；
[0061]图3为本发明实施例的一种三维显示中对象的拾取装置的另一种注视点检测模块的结构框图；
[0062]图4a为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块使用的光斑图案示意图；
[0063]图4b为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块拍摄到的具有光斑图案的眼底图像示意图；
[0064]图5a为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块眼睛成像的光路不意图；
[0065]图5b为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块根据系统已知成像参数和眼睛的光学参数得到眼睛注视点相对于用户的位置的示意图；
[0066]图6为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块应用在眼镜上的示意图；
[0067]图7为本发明实施例的另一种三维显示中对象的拾取装置的注视点检测模块应用在眼镜上的示意图；
[0068]图8为本发明实施例的一种三维显示中对象的拾取装置在三维显示空间中确认拾取对象的不意图；
[0069]图9为本发明实施例的一种三维显示中对象的拾取方法流程图；
[0070]图10为本发明实施例的又一种三维显示中对象的拾取装置中对象确认模块的结构示意框图。
【具体实施方式】
[0071]本发明的方法及装置结合附图及实施例详细说明如下。
[0072]在三维显示空间中对象的拾取往往会遇到拾取效率低、用户操作不方便等问题，特别是在三维显示空间中可拾取物体分布比较稠密、以及三维显示空间的场景较大的场合，这些问题更加突出。因此，如图1所示，本发明实施例提供了一种三维显示中对象的拾取装置100，包括:
[0073]注视点信息获取模块110，用于获取当前用户眼睛的注视点相对于用户的位置信息；
[0074]对象确定模块120，用于根据用户当前在显示空间中的位置信息和用户当前的运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。
[0075]在本发明实施例中，所述三维显示空间主要为真三维显示空间，即显示空间中显示的物体具有物理上的深度差，用户看到的近处的物体，实际上离用户也比较近，例如通过体素技术形成的立体显示空间、由静态成像技术形成的立体显示空间或者三维全息显示空间。
[0076]在本发明实施例中，所述用户拾取的对象可以是三维显示空间中虚拟的物体，也可以是该空间中实际存在的物体，或者还可以为该三维显示空间中的一块区域(例如用户与三维显示空间进行交互时，选中一块区域并在该区域内增加新的虚拟物体)。
[0077]在本发明实施例的一种可能的实施方式中，所述注视点信息获取模块可以是注视点位置检测模块，通过实时检测的方式获取当前用户眼睛的注视点相对于用户的位置信息；或者，所述注视点信息获取模块通过一信息接收模块(例如下面所述的通信模块)，通过接收外部检测装置的检测结果的方式获取所述注视点相对于用户的位置信息。
[0078]本发明实施例通过眼睛的注视点位置确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高。
[0079]在本发明实施例的一种可能的实施方式中，所述装置还包括:
[0080]定位单元，用于获得所述用户当前在显示空间中的位置信息。
[0081]其中，在一种可能的实施方式中，所述定位单元可以是室内定位装置(这种情况下，所述三维显示空间一般为室内空间)，例如基于无线传感器网络的室内定位装置等，或者还可以为其它可以实现室内定位的装置，这些室内定位技术不是本发明实施例的重点，并且多为已有技术，本实施例中不再赘述。
[0082]在另一种可能的实施方式中，所述定位单元还可以是室外定位装置(这种情况下，所述三维显示空间一般为室外空间)，例如全球定位系统等，当然，本领域的技术人员可以知道，其它可以实现室外定位的定位单元也可以应用在本发明实施例的实施方式中，此处不再赘述。
[0083]在本发明实施例的一种可能的实施方式中，所述装置还包括:
[0084]运动姿态传感器，用于获取用户当前的运动姿态信息。
[0085]这里所述用户的运动姿态信息主要包括用户头部运动以及朝向信息(包括左、右方向以及上、下方向的朝向)。
[0086]在本发明实施例的一种可能的实施方式中，所述装置还包括通信模块，用于获取所述显示空间中当前物体的分布信息。该显示空间中物体的分布信息可以包括在显示设备显示的元数据中，通过通信模块传递给本发明实施例的装置。当然，当所述显示空间内物体为静止不动的分布时，该显示空间中当前物体的分布信息还可以是预先存储在所述装置中的。
[0087]本发明实施例的所述通信模块可以是有线通信模块，但是优选的为无线通信模块。
[0088]在本发明实施例的一种可能的实施方式中，上面所述的定位单元和/或运动姿态传感器并非本发明装置的一部分，而是作为外部设备，分别采集用户当前在显示空间的位置和/或运动姿态信息，再通过所述通信模块传递给本发明实施例的装置。
[0089]在本发明实施例的一种可能的实施方式中，所述对象确定模块包括:[0090]注视点空间位置确定单元，用于根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；
[0091]对象确定单元，用于根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。
[0092]在本实施方式中，装置根据所述用户在显示空间中的位置和运动姿态信息可以确定用户在显示空间中的坐标以及面部的朝向等信息，再根据注视点相对于用户的位置信息就可以计算得到注视点在显示空间中的位置信息，进而与显示空间中物体的分布信息进行匹配，找到用户拾取的对象。
[0093]在本发明实施例的一种可能的实施方式中，所述注视点信息获取模块为注视点检测模块。所述注视点检测模块可以为以下几种中的一种:
[0094]a)采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过眼睛光轴方向上三维显示空间中物体的分布信息，得到眼睛视线的注视点位置，该技术为已有技术，本实施方式中不再赘述。
[0095]b)分别检测两眼的光轴方向，再得到两眼光轴方向的交点，进而得到眼睛视线的注视点位置，该技术也为已有技术，此处不再赘述。
[0096]c)根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数，得到所述眼睛视线的注视点位置。在本实施方式中，所述注视点检测模块可以为以下图2至图7所示的注视点检测模块中的一种。
[0097]上面三种注视点检测模块中，前两种在三维显示空间中可拾取物体分布比较稠密时，对物体的拾取效率和准确率都会降低，因此本发明实施例中优选第三种注视点检测模块来获取用户眼睛的注视点相对于用户的位置信息。
[0098]当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测模块外，其它可以用于检测用户眼睛注视点的装置也可以用于本发明实施例的装置中。
[0099]如图2所示，在本发明实施例的一种可能的实施方式中，所述注视点检测模块500包括:
[0100]图像采集设备510，用于采集眼睛眼底呈现的图像；
[0101]可调成像设备520，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
[0102]图像处理设备530，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。
[0103]本发明实施例的注视点检测模块500通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点位置，为进一步实现眼睛自适应操作提供基础。
[0104]这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。
[0105]如图3所示，本发明实施例的一种可能的实施方式中，所述图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。
[0106]在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括:可调透镜单元521，位于眼睛与所述图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜单元521，使得从眼睛到所述图像采集设备510之间的光学系统的等效焦距可调，通过可调透镜单元521的调节，使得所述图像采集设备510在可调透镜单元521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜单元521在检测过程中连续实时的调节。
[0107]优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜单元521为:焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为:1)通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2)通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
[0108]在本发明实施例的另一种可能的实施方式中，所述可调透镜单元521包括:多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。
[0109]除了上述两种通过调节可调透镜单元521自身的特性来改变系统的光路参数以夕卜，还可以通过调节所述可调透镜单元521在光路上的位置来改变系统的光路参数。
[0110]优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得模块可以便携应用在穿戴式设备上，所述可调成像设备520还包括:分光单元522，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小模块的体积，同时尽可能不影响用户的其它视觉体验。
[0111]优选地，在本实施方式中，所述分光单元包括:第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。
[0112]所述第一分光单元可以为分光镜、分光光波导(包括光纤)或其它适合的分光设备。
[0113]在本发明实施例的一种可能的实施方式中，所述模块的图像处理设备530包括光路校准模块，用于对系统的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
[0114]在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括:
[0115]图像分析模块531，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；
[0116]参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时模块已知的成像参数计算眼睛的光学参数和眼睛注视点相对于用户的位置。
[0117]在本实施方式中，通过可调成像设备520使得所述图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及模块已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。[0118]在本发明实施例的一种可能的实施方式中，优选地，所述模块还包括:投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。
[0119]这里投射的光斑可以没有特定图案仅用于照亮眼底。
[0120]在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图4a所示为一个光斑图案550的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图4b所示为在有光斑图案550投射时拍摄到的眼底的图像。
[0121]为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。
[0122]此时，为了减小其它光谱的干扰:
[0123]所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。
[0124]所述图像采集设备的入射面设置有眼睛不可见光透射滤镜。
[0125]优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括:
[0126]投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射
光斑亮度。
[0127]例如所述投射控制模块534可以根据图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
[0128]这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。
[0129]此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。
[0130]优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括:图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
[0131]所述图像分析模块531将图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
[0132]优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括:
[0133]眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。
[0134]这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。
[0135]优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括:第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。[0136]在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中:
[0137]当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant Feature Transform, SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向；
[0138]当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准模块获得)的位置来确定眼睛光轴方向确定用户视线方向。
[0139]在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括:第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
[0140]优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括:眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
[0141]在本实施方式中，所述模块已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜单元的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
[0142]在得到眼睛到图像采集装置之间光路系统已知的成像参数之后，就可以计算得到眼睛注视点到眼睛的距离，具体为:
[0143]图5a所示为眼睛 成像示意图，结合经典光学理论中的透镜成像公式，由图5a可以得到公式⑴:
【权利要求】
1.一种三维显示中对象的拾取装置，其特征在于，包括: 注视点信息获取模块，用于获取当前用户眼睛的注视点相对于用户的位置信息；对象确定模块，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。
2.如权利要求1所述的装置，其特征在于，所述注视点信息获取模块包括: 图像采集设备，用于采集眼睛眼底呈现的图像； 可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像； 图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。
3.如权利要求2所述的装置，其特征在于，所述可调成像设备包括: 可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。
4.如权利要求2所述的装置，其特征在于，所述可调成像设备包括: 曲面分光单元，用于 分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。
5.如权利要求2所述的装置，其特征在于，所述注视点信息获取模块还包括: 投射设备，用于向眼底投射光斑图案。
6.如权利要求1至5中任一项所述的装置，其特征在于，所述装置还包括: 定位单元，用于获得所述用户当前在显示空间中的位置信息。
7.如权利要求1至5中任一项所述的装置，其特征在于，所述装置还包括: 运动姿态传感器，用于获得所述运动姿态信息。
8.如权利要求1至5中任一项所述的装置，其特征在于，所述装置还包括:通信模块，用于获取所述显示空间中当前物体的分布信息。
9.如权利要求8所述的装置，其特征在于，所述通信模块还用于获取所述用户当前在显示空间中的位置和/或运动姿态信息。
10.如权利要求1至5中任一项所述的装置，其特征在于，所述对象确定模块包括: 注视点空间位置确定单元，用于根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置； 对象确定单元，用于根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。
11.如权利要求1至5中任一项所述的装置，其特征在于，所述装置还包括:对象信息提示模块，用于提示被拾取对象的对应信息。
12.—种三维显示中对象的拾取方法，其特征在于，包括: 注视点信息获取步骤，用于获取当前用户眼睛的注视点相对于用户的位置信息；对象确定步骤，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。
13.如权利要求12所述的方法，其特征在于，所述注视点信息获取步骤包括:采集眼睛眼底呈现的图像； 进行所述图像采集位置与眼睛之间光路的成像参数的调节以使得采集到最清晰的图像； 对采集到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。
14.如权利要求13所述的方法，其特征在于，所述进行所述图像采集位置与眼睛之间光路的成像参数的调节包括: 调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。
15.如权利要求13所述的方法，其特征在于，所述注视点信息获取步骤还包括: 分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集位置。
16.如权利要求13所述的方法，其特征在于，所述注视点信息获取步骤还包括: 向眼底投射光斑图案。
17.如权利要求12至16中任一项所述的方法，其特征在于，所述方法还包括: 获取所述用户当前在显示空间中的位置信息的步骤。
18.如权利要求12至16中任一项所述的方法，其特征在于，所述方法还包括: 获取所述运动姿态信息的步骤。
19.如权利要求12至16中任一项所述的方法，其特征在于，所述方法还包括: 获取所述显示空间中当前物体的分布信息的步骤。
20.如权利要求12至16中任一项所述的方法，其特征在于，所述对象确定步骤包括: 根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置； 根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。
21.如权利要求12至16中任一项所述的方法，其特征在于，所述方法还包括:提示被拾取对象的对应信息。
22.如权利要求21所述的方法，其特征在于，所述被拾取对象的对应信息包括被拾取对象的被选中状态信息。
23.如权利要求21所述的方法，其特征在于，所述被拾取对象的对应信息包括所述被拾取对象的属性信息。
24.如权利要求21所述的方法，其特征在于，所述被拾取对象的对应信息包括所述被拾取对象的可操作信息。
25.如权利要求24所述的方法，其特征在于，所述被拾取对象的可操作信息包括: 对所述被拾取对象的加标签、查询、删除、复制、剪切、粘贴、移动、旋转以及变形操作信息中的一种或多种。
【文档编号】G02B27/22GK103475893SQ201310418251
【公开日】2013年12月25日 申请日期:2013年9月13日 优先权日:2013年9月13日
【发明者】于魁飞, 杜琳, 张宏江 申请人:北京智谷睿拓技术服务有限公司