交互投射显示方法及交互投射显示系统的制作方法
【专利摘要】本发明公开了一种交互投射显示方法及交互投射显示系统，所述方法包括：位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；显示信息获取步骤，获取与所述协同设备对应的当前显示信息；内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。本发明的方法及系统通过在一协同设备附近投射所述协同设备用于与用户交互的虚拟显示内容，使得用户与协同设备的交互更加方便。
【专利说明】交互投射显示方法及交互投射显示系统
【技术领域】
[0001]本发明涉及设备交互【技术领域】，尤其涉及一种交互投射显示方法及交互投射显示系统。
【背景技术】
[0002]可穿戴式设备逐渐被大众所接受，例如谷歌眼镜、智能手表、智能手套、智能饰品(如智能戒指、智能手环)等，这些电子化智能设备将为人们的日常生活带来更多便利。但是，由于可穿戴式设备通常具有贴合用户、小巧轻便、能耗较低等特点，这些特点决定了多数可穿戴式设备(例如上述的智能手表、智能手套、智能饰品等)不具有强大的显示、处理和交互能力。
[0003]为了解决这个问题，往往通过将这些可穿戴式设备中的数据导出至电脑、智能手机等具有较强显示、处理能力的设备上，完成这些可穿戴式设备与用户的交互。但是这样交互时比较不便，并且有可能用户无法实时与这些可穿戴设备进行交互。
[0004]此外，由于智能眼镜直接与用户眼睛相关，通常具备强大的显示能力，因此，还可以通过智能眼镜来增强其它可穿戴式设备的显示能力。但是这样一般用户的视线要在智能眼镜的显示界面以及其它可穿戴式设备之间切换，眼睛对焦点的频繁改变，会给用户带来眩晕等不良体验。
【发明内容】
[0005]本发明要解决的技术问题是:提供一种交互投射显示方法及系统，通过在一协同设备附近投射所述协同设备用于与用户交互的虚拟显示内容，使得用户与协同设备的交互更加方便。
[0006]为实现上述目的，第一方面，本发明提供了一种交互投射显示方法，包括:
[0007]位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；
[0008]显示信息获取步骤，获取与所述协同设备对应的当前显示信息；
[0009]内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
[0010]投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
[0011]结合第一方面，在第二种可能的实施方式中，所述位置信息获取步骤包括:
[0012]设备位置获取步骤，获取协同设备的当前位置信息；
[0013]待显示位置确认步骤，根据所述协同设备的当前位置信息确认当前待显示位置信
肩、O
[0014]结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述设备位置获取步骤包括:
[0015]接收协同设备的当前位置信息。[0016]结合第一方面的第三种可能的实施方式，在第四种可能的实施方式中，所述接收协同设备的当前位置信息包括:
[0017]从所述协同设备接收所述协同设备的当前位置信息。
[0018]结合第一方面的第三种可能的实施方式，在第五种可能的实施方式中，所述接收协同设备的位置信息包括:
[0019]从外部其它设备接收所述协同设备的当前位置信息。
[0020]结合第一方面的第 二种可能的实施方式，在第六种可能的实施方式中，所述设备位置获取步骤包括:
[0021]检测协同设备的当前位置信息。
[0022]结合第一方面的第六种可能的实施方式，在第七种可能的实施方式中，所述检测协同设备的当前位置信息包括:
[0023]检测用户当前的注视点位置；
[0024]根据所述注视点位置确定所述协同设备的当前位置信息。
[0025]结合第一方面的第七种可能的实施方式，在第八种可能的实施方式中，所述检测用户当前的注视点位置包括:
[0026]眼底图像采集步骤，采集用户眼底的图像；
[0027]可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
[0028]图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
[0029]结合第一方面的第八种可能的实施方式，在第九种可能的实施方式中，所述可调成像步骤包括:
[0030]调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
[0031]结合第一方面的第八或第九种可能的实施方式，在第十种可能的实施方式中，所述可调成像步骤还包括:
[0032]分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
[0033]结合第一方面的第八、第九或第十种可能的实施方式，在第十一种可能的实施方式中，所述方法还包括:向眼底投射光斑图案。
[0034]结合第一方面的第六种可能的实施方式，在第十二种可能的实施方式中，所述检测协同设备的当前位置信息包括:
[0035]检测用户的交互信息；
[0036]根据所述用户的交互信息确定所述协同设备的当前位置信息。
[0037]结合第一方面的第二种可能的实施方式，在第十三种可能的实施方式中，所述设备位置获取步骤包括:
[0038]获取本地存储的协同设备的位置相关信息。
[0039]结合第一方面的第二至第十三种可能的实施方式中的任一种，在第十四种可能的实施方式中，所述待显示位置确认步骤包括:
[0040]根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信
肩、O
[0041]结合第一方面，在第十五种可能的实施方式中，所述位置信息获取步骤包括:
[0042]通过与用户的交互获取所述当前待显示位置信息。 [0043]结合第一方面、第一方面的第二至第十五种可能的实施方式中的任一种，在第十六种可能的实施方式中，所述显示信息获取步骤包括:
[0044]从所述协同设备获取当前与所述协同设备对应的显示信息。
[0045]结合第一方面、第一方面的第二至第十五种可能的实施方式中的任一种，在第十七种可能的实施方式中，所述显示信息获取步骤包括:
[0046]从其他外部设备获取当前与所述协同设备对应的显示信息。
[0047]结合第一方面、第一方面的第二至第十七种可能的实施方式中的任一种，在第十八种可能的实施方式中，所述内容生成步骤根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
[0048]结合第一方面的第十八种可能的实施方式，在第十九种可能的实施方式中，所述虚拟显示内容包括与当前待显示位置对应的透视信息。
[0049]结合第一方面的第十八或第十九种可能的实现方式，在第二十种可能的实施方式中，所述内容生成步骤生成分别与用户的两只眼睛对应的虚拟显示内容。
[0050]结合第一方面、第一方面的第二至第二十种可能的实施方式中的任一种，在第二十一种可能的实施方式中，所述投射步骤包括:
[0051 ] 向眼底投射所述虚拟显示内容；
[0052]根据所述当前待显示位置信息调节投射位置与眼底之间光路的投射成像参数。
[0053]结合第一方面的第二十一种可能的实施方式，在第二十二种可能的实施方式中，所述根据所述当前待显示位置生成投射位置与眼底之间光路的投射成像参数的步骤包括:
[0054]调节所述投射位置与眼底之间光路的光学器件的成像参数和/或在光路中的位置。
[0055]结合第一方面的第二十一或二十二种可能的实施方式，在第二十三种可能的实施方式中，所述投射步骤还包括:
[0056]分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
[0057]结合第一方面的第二十三种可能的实施方式，在第二十四种可能的实施方式中，所述投射步骤包括:
[0058]对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
[0059]结合第一方面的第二十一至二十四种可能的实施方式中的任一种，在第二十五种可能的实施方式中，所述投射步骤还包括:
[0060]控制投射至眼底的虚拟显示内容的大小。
[0061]结合第一方面、第一方面的第二至二十五种可能的实施方式中的任一种，在第二十六种可能的实施方式中，所述方法还包括:[0062]触发步骤，获取触发信号并触发所述位置获取步骤和所述显示信息获取步骤。
[0063]结合第一方面、第一方面的第二至二十六种可能的实施方式中的任一种，在第二十七种可能的实施方式中，所述协同设备为可穿戴设备。
[0064]第二方面，本发明还提供了一种交互投射显示系统，包括:
[0065]位置信息获取装置，用于获取与协同设备对应的当前待显示位置信息；
[0066]显示信息获取装置，用于获取与所述协同设备对应的当前显示信息；
[0067]内容生成装置，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
[0068]投射装置，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
[0069]结合第二方面，在第二种可能的实施方式中，所述位置信息获取装置包括:
[0070]设备位置获取模块，用于获取所述协同设备的当前位置信息；
[0071]待显示位置确认模块，用于根据所述协同设备的当前位置信息确认当前待显示位
置信息。
[0072]结合第二方面的第二种可能的实施方式，在第三种可能的实施方式中，所述设备位置获取模块包括:
[0073]通信子模块，用于接收协同设备的当前位置信息。
[0074]结合第二方面的第三种可能的实施方式，在第四种可能的实施方式中，所述通信子模块用于:
[0075]从所述协同设备接收所述协同设备的当前位置信息。
[0076]结合第二方面的第三种可能的实施方式，在第五种可能的实施方式中，所述通信子模块用于:
[0077]从外部其它设备接收所述协同设备的当前位置信息。
[0078]结合第二方面的第二种可能的实施方式，在第六种可能的实施方式中，所述设备位置获取模块包括:
[0079]检测子模块，用于检测协同设备的当前位置信息。
[0080]结合第二方面的第六种可能的实施方式，在第七种可能的实施方式中，所检测子模块包括:
[0081]注视点检测单元，用于检测用户当前的注视点位置；
[0082]设备位置确定单元，用于根据所述注视点位置确定所述协同设备的当前位置信
肩、O
[0083]结合第二方面的第七种可能的实施方式，在第八种可能的实施方式中，所述注视点检测单元包括:
[0084]图像采集子单元，用于采集用户眼底的图像；
[0085]可调成像子单元，用于进行图像采集子单元与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
[0086]图像处理子单元，用于对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集子单元与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。[0087]结合第二方面的第八种可能的实施方式，在第九种可能的实施方式中，所述可调成像子单元包括:[0088]可调透镜器件，自身成像参数可调和/或在所述图像采集子单元与眼睛之间光路上的位置可调。
[0089]结合第二方面的第八或第九种可能的实施方式，在第十种可能的实施方式中，所述可调成像子单元还包括:
[0090]曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集子单元。
[0091]结合第二方面的第八、第九或第十种可能的实施方式，在第十一种可能的实施方式中，所述注视点检测单元还包括:
[0092]投射子单元，用于向眼底投射光斑图案。
[0093]结合第二方面的第六种可能的实施方式，在第十二种可能的实施方式中，所述检测子模块包括:
[0094]交互检测单元，用于检测用户的交互信息；
[0095]设备位置确定单元，用于根据所述用户的交互信息确定所述协同设备的当前位置信息。
[0096]结合第二方面的第二种可能的实施方式，在第十三种可能的实施方式中，所述设备位置获取模块包括:
[0097]本地获取子模块，用于获取本地存储的协同设备的位置相关信息。
[0098]结合第二方面的第二种可能的实施方式，在第十四种可能的实施方式中，所述待显示位置确认模块，用于根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
[0099]结合第二方面、第二方面的第二至第十四种可能的实施方式中的任一种，在第十五种可能的实施方式中，所述位置信息获取装置包括:
[0100]交互获取模块，用于通过与用户的交互获取所述当前待显示位置信息。
[0101]结合第二方面、第二方面的第二至第十五种可能的实施方式中的任一种，在第十六种可能的实施方式中，所述显示信息获取装置包括:
[0102]通信模块，用于从所述协同设备获取当前与所述协同设备对应的显示信息。
[0103]结合第二方面、第二方面的第二至第十五种可能的实施方式中的任一种，在第十七种可能的实施方式中，所述显示信息获取装置包括:
[0104]通信模块，用于从其他外部设备获取当前与所述协同设备对应的显示信息。
[0105]结合第二方面、第二方面的第二至第十七种可能的实施方式中的任一种，在第十八种可能的实施方式中，所述内容生成装置根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
[0106]结合第二方面的第十八种可能的实施方式，在第十九种可能的实施方式中，所述内容生成装置生成包括与当前待显示位置对应的透视信息的虚拟显示内容。
[0107]结合第二方面的第十八或十九种可能的实施方式，在第二十种可能的实施方式中，所述内容生成装置生成分别与用户的两只眼睛对应的虚拟显示内容。
[0108]结合第二方面、第二方面的第二至第二十种可能的实施方式中的任一种，在第二十一种可能的实施方式中，所述投射装置包括:
[0109]投射模块，用于向眼底投射所述虚拟显示内容；
[0110]成像调节模块，根据所述当前待显示位置信息调节投射模块与眼底之间光路的投射成像参数。
[0111]结合第二方面的第二十一种可能的实施方式，在第二十二种可能的实施方式中，所述成像调节模块包括:
[0112]可调透镜器件，自身成像参数可调和/或在所述投射模块与眼底之间光路中的位
置可调。
[0113]结合第二方面的第二十一或二十二种可能的实施方式，在第二十三种可能的实施方式中，所述成像调节模块包括:
[0114]曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
[0115]结合第二方面的第二十一、二十二或二十三种可能的实施方式，在第二十四种可能的实施方式中，所述投射装置包括:
[0116]反变形处理模块，用于对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
[0117]结合第二方面的第二十一至二十四种可能的实施方式中的任一种，在第二十五种可能的实施方式中，所述投射装置包括:
[0118]投射控制模块，用于控制投射至眼底的虚拟显示内容的大小。
[0119]结合第二方面、第二方面的第二至第二十五种可能的实施方式中的任一种，在第二十TK种可能的实施方式中，所述系统还包括:
[0120]触发装置，用于获取触发信号并触发所述位置获取装置和所述显示信息获取装置。
[0121]结合第二方面的第八种可能的实施方式，在第二十七种可能的实施方式中，所述注视点检测单元和所述投射装置的功能由同一设备实现。
[0122]结合第二方面、第二方面的第二至第二十七种可能的实施方式中的任一种，在第二十八种可能的实施方式中，所述协同设备为可穿戴设备。
[0123]结合第二方面、第二方面的第二至第二十八种可能的实施方式中的任一种，在第二十九种可能的实施方式中，所述系统为用于眼部附近的可穿戴设备。
[0124]本发明实施例的方法及系统通过获取协同设备(特别是显示能力较弱或者没有显示能力的可穿戴设备)对应的位置信息和显示信息，并根据该位置信息和显示信息生成对应的虚拟显示图像后投射至用户眼底，使得用户看到呈现在所述协同设备附近的虚拟显示图像，甚至可以让用户感觉所述虚拟显示图像是由所述协同设备显示的，大大方便了用户与所述协同设备之间的交互，提高用户体验；
[0125]本发明实施例的方法及装置将具有不同功能的设备协同工作，即通过眼部附近设备强大的投射显示功能来弥补协同设备显示能力的不足的缺陷，使得各设备的功能都最优发挥，提高用户体验。
【专利附图】
【附图说明】[0126]图1为本发明实施例的一种交互投射显示方法的流程示意图；
[0127]图2为本发明实施例的一种交互投射显示方法使用的光斑图案示意图；
[0128]图3为本发明实施例的一种交互投射显示方法拍摄到的具有光斑图案的眼底图像不意图；
[0129]图4为本发明实施例的一种交互投射显示系统的结构示意框图；
[0130]图5a为本发明实施例的一种注视点检测装置的结构示意框图；
[0131]图5b为本发明实施例的另一种注视点检测装置的结构示意框图；
[0132]图5c为本发明实施例的一种注视点检测装置眼睛成像的光路示意图；
[0133]图5d为本发明实施例的一种注视点检测装置根据系统已知成像参数和眼睛的光学参数得到眼睛注视点位置的示意图；
[0134]图6为本发明实施例的一种交互投射显示系统应用在眼镜上的示意图；
[0135]图7为本发明实施例的另一种交互投射显示系统应用在眼镜上的示意图；
[0136]图8为本发明实施例的又一种交互投射显示系统应用在眼镜上的示意图；
[0137]图9为本发明实施例的一种交互投射显示系统的应用场景示意图；
[0138]图10为本发明实施例的另一种交互投射显示系统的结构示意图。
【具体实施方式】
[0139]本发明的方法及装置结合附图及实施例详细说明如下。
[0140]一些可穿戴设备由于自身功能和/或方便携带的需要，体积不能太大，使得其无法实现高质量的信息显示，仅通过对这些设备自身设计的改变无法从根本上解决该问题，因此需要从外部其它设备着手来解决这个问题。因此，如图1所示，本发明实施例提供了一种交互投射显示方法，包括:
[0141]SllO:位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；
[0142]S120:显示信息获取步骤，获取与所述协同设备对应的当前显示信息；
[0143]S130:内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
[0144]S140:投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
[0145]在本发明实施例的方法以及后面对应的装置实施例中，所述待显示位置信息为与待显示位置相关的信息。所述待显示位置为用户看到的虚拟显示内容所呈现的位置。
[0146]在本发明实施例的方法中，根据待显示位置向用户的眼底投射与所述协同设备对应的虚拟显示内容，使得用户看到的虚拟显示内容是成像在所述待显示位置，在用户通过所述显示在待显示位置的虚拟显示内容与所述协同设备进行交互时不用在显示设备和所述协同设备之间较大幅度地来回切换，更加符合用户的使用习惯，提用户体验。
[0147]本发明实施例的一种可能的实施方式中，所述协同设备优选地为可穿戴设备。更优选为智能手表、智能戒指、智能手环、智能项链等显示能力较弱的可穿戴设备。当然，本领域的技术人员可以知道，本发明还可以应用在其它显示能力较弱的便携设备或固定设备上；或者应用在协同设备虽然有显示能力，但是需要增强显示能力的场合。
[0148]本发明实施例的一种可能的实施方式中，所述位置信息获取步骤SllO可以通过多种方式来获取当前待显示位置的对应信息，例如为下面几种中的一种:
[0149]I)获取协同设备的当前位置信息；再根据所述协同设备的当前位置信息确认当前待显示位置信息。例如，可以根据预先设置的规则或者根据当前环境实时生成的规则将所述当前待显示位置设置在与所述协同设备相关的位置，例如所述当前待显示位置设置在所述协同设备的上侧。
[0150]2)通过与用户的交互获取所述当前待显示位置的对应信息。例如，通过检测装置获取用户手部的姿势和位置，得到用户手部设置的当前待显示位置(例如用户通过手部画出一个方框，该方框对应的区域为用户需要的当前待显示位置)，或者可以通过用户手动输入待显示的位置信息(例如输入待显示位置的相对于用户眼睛的距离、角度，以及待显示位置的大小等数据)。
[0151]在上述的第I)种方法中，所述获取协同设备的当前位置信息的方法有多种，例如:
[0152]a)接收协同设备的当前位置信息。
[0153]在本发明实施例的一种可能的实施方式中，可以是从所述协同设备接收所述协同设备的当前位置信息。即，所述协同设备获取并发送自身的当前位置信息，然后本方法实施例接收该位置信息。其中，所述协同设备例如可以通过位置传感器，如定位模块(如全球定位系统或者室内定位)来获取自身的位置。
[0154]在本发明实施例的另一种可能的实施方式中，还可以是从外部其它设备接收所述协同设备的当前位置信息。这里，所述外部其它设备可以是其它便携或可穿戴设备，例如处理性能比较强的手机；或者所述外部其它设备还可以是远端的服务器(例如云端服务器)等设备。所述协同设备将自身的当前位置信息传送至所述外部其它设备后，再由该外部其它设备将这些信息转发，使得本发明实施例的方法间接接收到所述协同设备的当前位置信息。此外，在本发明实施例的另一种可能的实施方式中，所述外部其它设备可以自己获取所述协同设备的当前位置信息，再将该信息转发出来被本发明实施例的方法接收，例如所述外部其它设备可以是外部的定位装置。
[0155]b)检测协同设备的当前位置信息。
[0156]在本发明实施例的一种可能的实施方式中，所述检测协同设备的当前位置信息包括:
[0157]检测用户当前的注视点位置；
[0158]根据所述注视点位置确定所述协同设备的当前位置信息。
[0159]例如，在本发明实施例一种可能的实施方式中，可以通过与用户交互的方式获得用户当前正在注视所述协同设备的信息，此时在检测到用户当前的注视点位置后，所述注视点位置即为所述协同设备的当前位置信息。
[0160]在本发明实施例的另一种可能的实施方式中，可以通过对注视点位置对应的对象进行判断，并在判断到所述对象为所述协同设备时确定所述协同设备的当前位置信息。
[0161]c)检测用户的交互信息；根据所述用户的交互信息确定所述协同设备的当前位置信息。
[0162]所述用户的交互可以是用户手动输入的所述协同设备的当前位置信息；或者还可以是通过识别用户的动作、姿势等检测到用户与协同设备当前位置相关的交互信息，再根据这些交互信息确定所述系统设备的当前位置信息。
[0163]d)获取本地存储的协同设备的位置相关信息。
[0164]以所述协同设备为智能手表为例，例如可以根据用户的特性，例如身材特性、使用习惯特性(佩戴在哪侧手腕、在手腕上的位置、看手表时肩部和手肘抬起、弯曲的幅度等等)等等获得用户一般在查看智能手表、需要与智能手表进行交互时所述智能手表与用户眼睛的相对位置关系(智能手表到眼睛的距离、角度等)，再将该获取的数据存储在本地，使用时，直接从所述本地获取所述位置相关信息即可。
[0165]当然，本领域技术人员可以知道，其它获取所述协同设备位置的方法也可以用于本发明实施例的方法中。
[0166]其中，b)项中所述检测用户当前的注视点位置的方式有多种，例如包括以下的一种或多种:
[0167]i)采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器(如红外测距)得到眼睛注视场景的深度，得到眼睛视线的注视点位置，该技术为已有技术，本实施方式中不再赘述。
[0168]ii)分别检测两眼的光轴方向，再根据所述两眼光轴方向得到用户两眼视线方向，通过所述两眼视线方向的交点得到眼睛视线的注视点位置，该技术也为已有技术，此处不再赘述。
[0169]iii)根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数以及眼睛的光学参数(主要为眼睛的光轴方向)，得到所述眼睛视线的注视点位置，本发明实施例会在下面给出该方法的详细过程，此处不再赘述。
[0170]当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测方法外，其它可以用于检测用户眼睛注视点的方法也可以用于本发明实施例的方法中。
[0171]其中，通过第iii)种方法检测用户当前的注视点位置包括:
[0172]Slll:图像采集步骤，采集用户眼底的图像；
[0173]S112:可调成像步骤，进行图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
[0174]S113:图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
[0175]通过对眼睛眼底的图像进行分析处理，得到采集到最清晰图像时眼睛的光学参数，从而计算得到视线当前的对焦点位置，为进一步基于该精确的对焦点的位置对观察者的观察行为进行检测提供基础。
[0176]这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像，例如下面提到的光斑图案。
[0177]在步骤S112中，可通过对眼睛与采集位置之间的光路上的光学器件的焦距和/或在光路中的位置进行调节，可在该光学器件在某一个位置或状态时获得眼底最清晰的图像。该调节可为连续实时的。
[0178]在本发明实施例方法的一种可能的实施方式中，该光学器件可为焦距可调透镜，用于通过调整该光学器件自身的折射率和/或形状完成其焦距的调整。具体为:1)通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2)通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
[0179]在本发明实施例的方法的另一种可能的实施方式中，该光学器件可为:透镜组，用于通过调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。或者，所述透镜组中的一片或多片透镜为上面所述的焦距可调透镜。
[0180]除了上述两种通过光学器件自身的特性来改变系统的光路参数以外，还可以通过调节光学器件在光路上的位置来改变系统的光路参数。
[0181]此外，在本发明实施例的方法中，步骤SI 13进一步包括:
[0182]S1131.对在步骤Slll中采集到的图像进行分析，找到最清晰的图像；
[0183]S1132.根据所述最清晰的图像、以及得到所述最清晰图像时已知的成像参数计算眼睛的光学参数。
[0184]步骤S112中的调整使得能够采集到最清晰的图像，但是需要通过步骤S113来找到该最清晰的图像，根据所述最清晰的图像以及已知的光路参数就可以通过计算得到眼睛的光学参数。
[0185]在本发明实施例的方法中，步骤SI 13中还可包括:
[0186]S1133.向眼底投射光斑。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图3所示为在有光斑图案200投射时采集到的眼底的图像。
[0187]为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。此时，为了减小其它光谱的干扰:可进行滤除投射的光斑中除了眼睛不可见光透射滤镜之外的光的步骤。
[0188]相应地，本发明实施的方法还可包括步骤:
[0189]S1134.根据步骤S1131分析得到的结果，控制投射光斑亮度。该分析结果例如包括步骤Slll采集到的图像的特性，包括图像特征的反差以及纹理特征等。
[0190]需要说明的是，控制投射光斑亮度的一种特殊的情况为开始或停止投射，例如观察者持续注视一点时可以周期性停止投射；观察者眼底足够明亮时可以停止投射，利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
[0191]此外，还可以根据环境光来控制投射光斑亮度。
[0192]优选地，在本发明实施例的方法中，步骤SI 13还包括:
[0193]S1135.进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。具言之，将采集到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式的方法中，可以通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
[0194]在步骤S1132中所得到的眼睛的光学参数可包括根据采集到所述最清晰图像时眼睛的特征得到的眼睛光轴方向。这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向与眼睛视线注视的方向对应。具言之，可根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。通过眼底的特征来确定眼睛光轴方向精
确度更高。
[0195]在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中:
[0196]当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant Feature Transform, SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
[0197]当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准获得)的位置来确定眼睛光轴方向确定观察者视线方向。
[0198]在本发明实施例的方法的另一种可能的实施方式中，还可根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
[0199]此外，在本发明实施例的方法中，还可包括对眼睛光轴方向的校准步骤，以便更精确的进行上述眼睛光轴方向的确定。
[0200]在本发明实施例的方法中，所述已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
[0201]在得到眼睛当前的光学参数之后，就可以结合计算得到的眼睛对焦点到眼睛的距离(具体过程将结合装置部分详述)，得到眼睛注视点的位置。
[0202]优选地，在本发明实施例的一种可能的实施方式中，所述待显示位置确认步骤包括:
[0203]根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信
肩、O
[0204]这里所述预先设定的规则例如可以为，所述待显示位置位于所述协同设备当前位置的上方、下方、左侧、右侧、四周等等；或者还可以通过传感器(例如图像采集传感器)获取协同设备周围环境信息后，根据预先设定的规则和该环境信息确定所述待显示位置信息。
[0205]在本发明实施例中，所述当前显示信息与用户对所述协同设备的操作相对应，例如，用户在所述协同设备上通过按键输入一个数字，在所述当前显示信息中则包含输入数字相对应的信息，进而在显示时，显示该数字的输入。所述步骤S120显示信息获取步骤获取与所述协同设备对应的当前显示信息的方法有多种，例如为以下的一种或多种:
[0206]I)从所述协同设备获取当前与所述协同设备对应的显示信息。
[0207]在该种方法中，所述获取的显示信息由所述协同设备发送出。
[0208]2)从其他外部设备获取当前与所述协同设备对应的显示信息。
[0209]与上面所述的外部设备相似的，在本发明实施例的可能的实施方式中，所述外部设备可以为手机、平板电脑、笔记本电脑等便携设备，或者还可以为云端服务器等设备。
[0210]在一种可能的实施方式中，在所述协同设备与本发明实施例的协同工作时，所述外部设备可以通过通信模块(包括有线通信模块和无线通信模块，优选为无线通信模块)从所述协同设备获取所述对应的显示信息，再将该显示信息发出。
[0211]在本发明实施例的另一种可能的实施方式中，所述协同设备可能仅将与操作相关的信息发送给所述外部设备，再由外部设备处理后生成所述当前显示信息，然后再向本发明实施例方法对应的设备发送。该方式例如可以优选地应用在所述协同设备的处理能力较弱时，需要由外部设备来进行信息处理生成所述显示信息的场合。
[0212]3)获取与所述协同设备当前的状态和操作相对应的信息，对这些相对应的信息进行处理后从本地获取对应当前显示信息。
[0213]与上述通过外部设备处理生成当前显示信息类似的，在本实施方式中，直接在本地生成所述当前显示信息。该方法例如优选地应用在所述协同设备的处理能力较弱、并且本发明实施例方法对应的设备处理能力较强的场合。
[0214]为了让投射步骤投射的虚拟显示内容在用户看来具有更符合其视觉感官的效果，在本发明实施例的一种可能的实施方式中，所述内容生成步骤根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。其在生成所述虚拟显示内容时同时还考虑待显示位置信息。例如在本发明实施例一种可能的实施方式中，所述虚拟显示内容包括与当前待显示位置对应的透视信息。所述透视信息例如可以包括深度信息、透视角度信息等等。
[0215]为了让用户看到的虚拟显示内容具有立体显示效果、更加真实，在本发明实施例的一种可能的实施方式中，可以在内容生成步骤中生成分别与用户的两只眼睛对应的虚拟显示内容。即根据立体显示的原理，分别生成与左眼对应的虚拟显示内容和与右眼对应的虚拟显示内容，使得用户看到的虚拟显示内容具有适合的立体显示效果。例如可以给用户一种感觉:所看到的虚拟显示内容是由所述协调设备显示出来的，带来更好的用户体验。
[0216]在本发明实施例的一种可能的实施方式中，所述投射步骤S140包括:
[0217]S141:向眼底投射所述虚拟显示内容；
[0218]S142:根据所述当前待显示位置信息调节投射位置与眼底之间光路的投射成像参数。
[0219]本发明实施例根据所述当前待显示位置信息生成所述投射成像参数，使得用户看到的虚拟显示内容成像在所述待显示位置上，方便用户与所述协同设备之间的交互。
[0220]在本发明实施例的一种可能的实施方式中，所述步骤S142包括:
[0221]调节所述投射位置与眼底之间光路的光学器件的成像参数和/或在光路中的位置。
[0222]这里所述成像参数包括光学器件的焦距、光轴方向等等。通过该调节，可以使得虚拟显示内容被合适地投射在用户的眼底，例如通过所述调节光学器件的焦距使得虚拟显示内容清晰地在用户的眼底成像；或者在立体显示方面，除了上面所述的在生成虚拟显示内容时直接生成带视差的左、右眼图像外，还可以与用户的两只眼睛对应的虚拟显示内容是相同的但是通过具有一定偏差地将所述虚拟显示内容分别投射至两只眼睛也可以实现立体地投射，此时例如可以调节所述光学器件的光轴参数。
[0223]由于用户观看所述虚拟显示内容时眼睛的视线方向可能会变化，需要在用户眼睛的视线方向不同时都能将所述虚拟显示内容较好的投射到用户的眼底，因此，在本发明实施例的一种可能的实施方式中，所述投射步骤S140还包括:
[0224]S143:分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼。
[0225]在本发明实施例的一种可能的实施方式中，可能会需要通过曲面分光镜等曲面光学器件来实现所述步骤S143的功能，但是通过曲面光学器件后所述虚拟显示内容一般会发生变形，因此，在本发明实施例的一种可能的实施方式中，所述投射步骤S140还包括:
[0226]S144:对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。例如:对投射的虚拟显示内容进行预处理，使得投射出的虚拟显示内容具有与所述变形相反的反变形，该反变形效果再经过上述的曲面光学器件后，与曲面光学器件的变形效果相抵消，从而用户眼底接收到的虚拟显示内容是需要呈现的效果。
[0227]在本发明实施例的一种可能的实施方式中，为了使得用户看到的虚拟显示内容的大小更加适合，所述投射步骤还包括:
[0228]控制投射至眼底的虚拟显示内容的大小。
[0229]在本发明实施例的一种可能的实施方式中，可以通过步骤S142对投射成像参数的调节来实现该控制，或者，在另一种可能的实施方式中，可以在投射所述虚拟显示内容之前就对要投射出的虚拟显示内容的大小进行控制。该控制可以是自动进行的，也可以是根据与用户的交互按照用户的意图进行的，例如通过用户的手势识别、或者直接通过本发明实施例方法对应设备上的按键等调节。
[0230]优选地，在本发明实施例的一种可能的实施方式中，为了节约能耗以及避免出现用户不需要的交互显示，可以通过特定的触发动作来触发与所述协同设备之间的协同交互，而没有触发时，与所述协同设备之间不进行交互，因此，所述方法还包括:
[0231]触发步骤，获取触发信号以触发与协同设备之间交互的进行。例如可以为触发所述位置获取步骤和所述显示信息获取步骤。
[0232]本发明实施例的方法通过向用户眼底投射与协同设备对应的虚拟显示内容，使得用户在协同设备附近看到所述虚拟显示内容，方便用户与协同设备之间的交互，提高了用户体验。
[0233]如图4所示，本发明实施例还提供了一种交互投射显示系统300，包括:
[0234]位置信息获取装置310，用于获取与协同设备对应的当前待显示位置信息；
[0235]显示信息获取装置320，用于获取与所述协同设备对应的当前显示信息；
[0236]内容生成装置330，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
[0237]投射装置340，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
[0238]在本发明实施例的系统根据待显示位置向用户的眼底投射与所述协同设备对应的虚拟显示内容，使得用户看到的虚拟显示内容成像在所述待显示位置，在用户通过所述显示在待显示位置的虚拟显示内容与所述协同设备进行交互时视线不用在显示设备和所述协同设备之间大幅度地来回切换，更加符合用户的使用习惯，提用户体验。
[0239]本发明实施例的一种可能的实施方式中，所述协同设备优选地为可穿戴设备。更优选为智能手表、智能戒指、智能手环、智能项链等显示能力较弱的可穿戴设备。当然，本领域的技术人员可以知道，本发明还可以应用在其它显示能力较弱的便携设备或固定设备上；或者应用在协同设备虽然有显示能力，但是需要增强显示能力的场合。
[0240]在本发明实施例的一种可能的实施方式中，所述交互投射显示系统可以为用于眼部附近的可穿戴设备。其可以单独实现，也可以实现在已有的设备上:例如可以为智能眼镜(包括:框架眼镜、隐形眼镜、护目镜等)等靠近眼部附近的装置。对于本来就有屈光不正等眼睛问题，需要佩戴如屈光矫正眼镜的用户来说，本发明的系统可以直接在所述屈光矫正眼镜上实现，不会给用户带来额外的负担。当然，本发明实施例的其它可能的实施方式中，所述交互投射显示系统还可以实现在:例如头盔目镜等与用户的眼睛配合使用的其它光学设备。
[0241]本发明实施例的所述位置信息获取装置310的形式可以由多种，例如包括下面多种中的至少一种:
[0242]I)所述位置信息获取装置310包括:
[0243]设备位置获取模块，用于获取所述协同设备的当前位置信息；
[0244]待显示位置确认模块，用于根据所述协同设备的当前位置信息确认当前待显示位
置信息。
[0245]2)所述位置信息获取装置310包括:
[0246]交互获取模块，用于通过与用户的交互获取所述当前待显示位置信息。
[0247]例如，通过检测传感器获取用户手部的姿势和位置，得到用户手部设置的当前待显示位置(例如用户通过手部画出一个方框，该方框对应的区域为用户需要的当前待显示位置)，或者可以通过用户手动输入待显示的位置信息(例如输入待显示位置的相对于用户眼睛的距离、角度，以及待显示位置的大小等数据)。
[0248]在上述的第I)种方法中，所述设备位置获取模块的结构有多种，例如包括以下几种中的至少一种:
[0249]a)所述设备位置获取模块包括:
[0250]通信子模块，用于接收协同设备的当前位置信息。
[0251]在本发明实施例的一种可能的实施方式中，所述通信子模块可以是从所述协同设备接收所述协同设备的当前位置信息。即，所述协同设备获取并发送自身的当前位置信息，然后本方法实施例的通信子模块接收该位置信息。其中，所述协同设备例如可以通过位置传感器，如定位模块(如全球定位系统或者室内定位)来获取自身的位置。
[0252]在本发明实施例的另一种可能的实施方式中，所述通信子模块还可以是从外部其它设备接收所述协同设备的当前位置信息。这里，所述外部其它设备可以是其它便携或可穿戴设备，例如处理性能比较强的手机；或者所述外部其它设备还可以是远端的服务器(例如云端服务器)等设备。所述协同设备将自身的当前位置信息传送至所述外部其它设备后，再由该外部其它设备将这些信息转发，再由本发明实施例的通信子模块接收到所述协同设备的当前位置信息。此外，在本发明实施例的另一种可能的实施方式中，所述外部其它设备可以自己获取所述协同设备的当前位置信息，再将该信息转发出来被本发明实施例的通信子模块接收，例如所述外部其它设备可以是外部的定位装置。
[0253]b )所述设备位置获取模块包括:
[0254]检测子模块，用于检测协同设备的当前位置信息。
[0255]优选地，在本发明实施例的一种可能的实施方式中，所检测子模块包括:[0256]注视点检测单元，用于检测用户当前的注视点位置；
[0257]设备位置确定单元，用于根据所述注视点位置确定所述协同设备的当前位置信
肩、O
[0258]例如，在本发明实施例一种可能的实施方式中，本发明的系统可以通过与用户交互的方式获得用户当前正在注视所述协同设备的信息，此时在检测到用户当前的注视点位置后，所述注视点位置即为所述协同设备的当前位置信息。
[0259]在本发明实施例的另一种可能的实施方式中，本发明的系统可以通过对注视点位置对应的对象进行判断，并在判断到所述对象为所述协同设备时确定所述协同设备的当前
位置信息。
[0260]在本发明实施例的另一种可能的实施方式中，所述检测子模块包括:
[0261]交互检测单元，用于检测用户的交互信息；
[0262]设备位置确定单元，用于根据所述用户的交互信息确定所述协同设备的当前位置信息。
[0263]所述交互检测单元例如可以是输入信号检测器件，所述用户的交互可以是用户手动输入的所述协同设备的当前位置信息；所述设备位置确定单元例如可以是输入信号分析器件，用于根据所述输入获得所述协同设备的当前位置信息。
[0264]所述交互检测单元例如还可以为图像采集装置，例如摄像头，所述设备位置确定单元例如可以为图像处理装置，用于对所述图像采集装置采集到的图像进行分析确定所述协同设备当前位置信息。本发明实施例可以是通过识别用户的动作、姿势等检测到用户与协同设备当前位置相关的交互信息，再根据这些交互信息确定所述系统设备的当前位置信
肩、O
[0265]c )所述设备位置获取模块包括:
[0266]本地获取子模块，用于获取本地存储的协同设备的位置相关信息。
[0267]以所述协同设备为智能手表为例，例如可以根据用户的特性，例如身材特性、使用习惯特性(佩戴在哪侧手腕、在手腕上的位置、看手表时肩部和手肘抬起、弯曲的幅度等等)等等获得用户一般在查看智能手表、需要与智能手表进行交互时所述智能手表与用户眼睛的相对位置关系(智能手表到眼睛的距离、角度等)，再将该获取的数据存储在本地，使用时，直接从所述本地获取所述位置相关信息即可。
[0268]当然，本领域技术人员可以知道，其它可以获取所述协同设备位置的装置也可以用于本发明实施例的方法中。
[0269]其中，b)项中注视点检测单元对于观察者视线对焦点位置的检测方式可以为图1所示的方法实施例中所提到的i)至iii)中的任一种或多种。其中，在本发明实施例的系统中采用检测精度较高的iii)方式，相应地，所述注视点检测单元可以为下面图5a-图5d、图6、图7所示的注视点检测装置中的任一种。
[0270]当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测单元外，其它可以用于检测用户眼睛注视点的装置也可以用于本发明实施例的系统中。
[0271]优选地，在本发明实施例的一种可能的实施方式中，所述待显示位置确认模块，用于根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。这里所述预先设定的规则例如可以为，所述待显示位置位于所述协同设备当前位置的上方、下方、左侧、右侧、四周等等；或者还可以通过传感器(例如图像采集传感器)获取协同设备周围环境信息后，根据预先设定的规则和该环境信息确定所述待显示位置信息。
[0272]在本发明实施例中，所述当前显示信息与用户对所述协同设备的操作相对应，例如，用户在所述协同设备上通过按键输入一个数字，在所述当前显示信息中则包含输入数字相对应的信息，进而在显示时，显示该数字的输入。所述显示信息获取装置320的形式有多种，例如为以下的一种或多种:
[0273]I)所述显示信息获取装置320包括:
[0274]通信模块，用于从所述协同设备获取当前与所述协同设备对应的显示信息。
[0275]2 )所述显示信息获取装置320包括:
[0276]通信模块，用于从其他外部设备获取当前与所述协同设备对应的显示信息。
[0277]3 )所述显示信息获取装置320包括:
[0278]通信模块，用于获取与所述协同设备当前的状态和操作相对应的信息；
[0279]处理模块，用于对这些相对应的信息进行处理后从本地获取对应当前显示信息。
[0280]该三种显示信息获取装置320的具体实现方式参见方法实施例步骤S120中对应的描述，此处不再赘述。此外，上面三种实现方式中的通信模块与位置信息获取装置310中记载的通信子模块的功能可以由同一设备实现。
[0281]为了让投射步骤投射的虚拟显示内容在用户看来具有更符合其视觉感官的效果，在本发明实施例的一种可能的实施方式中，所述内容生成装置330根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。其在生成所述虚拟显示内容时同时还考虑待显示位置信息。例如在本发明实施例一种可能的实施方式中，所述内容生成装置330生成包括与当前待显示位置对应的透视信息的虚拟显示内容。所述透视信息例如可以包括深度信息、透视角度信息等等。
[0282]为了让用户看到的虚拟显示内容具有立体显示效果、更加真实，在本发明实施例的一种可能的实施方式中，所述内容生成装置330生成分别与用户的两只眼睛对应的虚拟显示内容。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
[0283]在本发明实施例的一种可能的实施方式中，所述投射装置340包括:
[0284]投射模块，用于向眼底投射所述虚拟显示内容；
[0285]成像调节模块，根据所述当前待显示位置信息调节投射模块与眼底之间光路的投射成像参数。
[0286]在本发明实施例的一种可能的实施方式中，所述成像调节模块包括:
[0287]可调透镜器件，自身成像参数可调和/或在所述投射模块与眼底之间光路中的位置可调。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
[0288]在本发明实施例的一种可能的实施方式中，所述成像调节模块包括:
[0289]曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
[0290]在本发明实施例的一种可能的实施方式中，所述投射装置包括:
[0291]反变形处理模块，用于对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。[0292]在本发明实施例的一种可能的实施方式中，所述投射装置包括:
[0293]投射控制模块，用于控制投射至眼底的虚拟显示内容的大小。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
[0294]在下面图6-图8所示的实施方式中对所述投射装置的结构也有一些记载。
[0295]在本发明实施例的一种可能的实施方式中，所述系统还包括:
[0296]触发装置，用于获取触发信号并触发所述位置获取装置和所述显示信息获取装置。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
[0297]在本发明实施例的一种可能的实施方式中，所述注视点检测单元包括:
[0298]图像采集子单元，用于采集用户眼底的图像；
[0299]可调成像子单元，用于进行图像采集子单元与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
[0300]图像处理子单元，用于对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集子单元与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
[0301]下面通过图5a_图5d、图6、图7对应的实施方式来进一步描述作为所述注视点检测单元的注视点检测装置。
[0302]如图5a所示，在本发明实施例的一种可能的实施方式中，所述注视点检测装置500包括:
[0303]图像采集设备510，用于采集眼睛眼底呈现的图像；
[0304]可调成像设备520，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
[0305]图像处理设备530，用于对所述图像采集设备得到的图像进行分析，得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，并计算得到眼睛的注视点位置。
[0306]本注视点检测装置500通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点位置，为进一步实现眼睛自适应操作提供基础。
[0307]这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。
[0308]如图5b所示，本发明实施例的一种可能的实施方式中，所述图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。
[0309]在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括:可调透镜器件521，位于眼睛与所述图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜器件521，使得从眼睛到所述图像采集设备510之间的系统等效焦距可调，通过可调透镜器件521的调节，使得所述图像采集设备510在可调透镜器件521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜器件521在检测过程中连续实时的调节。[0310]优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜器件521为:焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为:1)通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2)通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
[0311]在本发明实施例的另一种可能的实施方式中，所述可调透镜器件521包括:多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。
[0312]除了上述两种通过调节可调透镜器件521自身的特性来改变系统的光路参数以夕卜，还可以通过调节所述可调透镜器件521在光路上的位置来改变系统的光路参数。
[0313]优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得系统可以便携应用在穿戴式设备上，所述可调成像设备520还包括:分光单元522，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小系统的体积，同时尽可能不影响用户的其它视觉体验。
[0314]优选地，在本实施方式中，所述分光单元包括:第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。
[0315]所述第一分光单兀可以为分光镜、分光光波导(包括光纤)或其它适合的分光设备。
[0316]在本发明实施例的一种可能的实施方式中，所述系统的图像处理设备530包括光路校准模块，用于对系统的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
[0317]在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括:
[0318]图像分析模块531，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；
[0319]参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
[0320]在本实施方式中，通过可调成像设备520使得所述图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。
[0321]在本发明实施例的一种可能的实施方式中，优选地，所述系统还包括:投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。
[0322]这里投射的光斑可以没有特定图案仅用于照亮眼底。
[0323]在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图3所示为在有光斑图案200投射时拍摄到的眼底的图像。
[0324]为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。
[0325]此时，为了减小其它光谱的干扰:
[0326]所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。
[0327]所述图像采集设备的入射面设置有眼睛不可见光透射滤镜。
[0328]优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括:
[0329]投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射
光斑亮度。
[0330]例如所述投射控制模块534可以根据图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
[0331]这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。
[0332]此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。
[0333]优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括:图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
[0334]所述图像分析模块531将图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
[0335]优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括:
[0336]眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。
[0337]这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。
[0338]优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括:第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。
[0339]在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中:
[0340]当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant Feature Transform, SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向；
[0341]当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准模块获得)的位置来确定眼睛光轴方向确定用户视线方向。
[0342]在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括:第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
[0343]优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括:眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
[0344]在本实施方式中，所述系统已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
[0345]在得到眼睛当前的光学参数之后，就可以计算得到眼睛注视点到眼睛的距离，具体为:
[0346]图5c所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5c可以得到公式⑴:
【权利要求】
1.一种交互投射显示方法，其特征在于，包括: 位置信息获取步骤，获取与协同设备对应的当前待显示位置信息； 显示信息获取步骤，获取与所述协同设备对应的当前显示信息； 内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容； 投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
2.如权利要求1所述的方法，其特征在于，所述位置信息获取步骤包括: 设备位置获取步骤，获取协同设备的当前位置信息； 待显示位置确认步骤，根据所述协同设备的当前位置信息确认当前待显示位置信息。
3.如权利要求2所述的方法，其特征在于，所述设备位置获取步骤包括: 接收协同设备的当前位置信息。
4.如权利要求3所述的方法，其特征在于，所述接收协同设备的当前位置信息包括: 从所述协同设备接收所述协同设备的当前位置信息。
5.如权利要求3所述的方法，其特征在于，所述接收协同设备的位置信息包括: 从外部其它设备接收所述协同设备的当前位置信息。
6.如权利要求2所述的方法，其特`征在于，所述设备位置获取步骤包括: 检测协同设备的当前位置信息。
7.如权利要求6所述的方法，其特征在于，所述检测协同设备的当前位置信息包括: 检测用户当前的注视点位置； 根据所述注视点位置确定所述协同设备的当前位置信息。
8.如权利要求7所述的方法，其特征在于，所述检测用户当前的注视点位置包括: 眼底图像采集步骤，采集用户眼底的图像； 可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像； 图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
9.如权利要求8所述的方法，其特征在于，所述可调成像步骤包括: 调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
10.如权利要求8所述的方法，其特征在于，所述可调成像步骤还包括: 分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
11.如权利要求8所述的方法，其特征在于，所述方法还包括:向眼底投射光斑图案。
12.如权利要求6所述的方法，其特征在于，所述检测协同设备的当前位置信息包括: 检测用户的交互信息； 根据所述用户的交互信息确定所述协同设备的当前位置信息。
13.如权利要求2所述的方法，其特征在于，所述设备位置获取步骤包括: 获取本地存储的协同设备的位置相关信息。
14.如权利要求2所述的方法，其特征在于，所述待显示位置确认步骤包括:根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
15.如权利要求1所述的方法，其特征在于，所述位置信息获取步骤包括: 通过与用户的交互获取所述当前待显示位置信息。
16.如权利要求1所述的方法，其特征在于，所述显示信息获取步骤包括: 从所述协同设备获取当前与所述协同设备对应的显示信息。
17.如权利要求1所述的方法，其特征在于，所述显示信息获取步骤包括: 从其他外部设备获取当前与所述协同设备对应的显示信息。
18.如权利要求1所述的方法，其特征在于，所述内容生成步骤根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
19.如权利要求18所述的方法,其特征在于,所述虚拟显示内容包括与当前待显示位置对应的透视信息。
20.如权利要求18或19所述的方法，其特征在于，所述内容生成步骤生成分别与用户的两只眼睛对应的虚拟显示内容。
21.如权利要求1所述的方法，其特征在于，所述投射步骤包括: 向眼底投射所述虚拟显示内容； 根据所述当前待显示位置信息调节投射位置与眼底之间光路的投射成像参数。
22.如权利要求21所述的方法，其特征在于，所述根据所述当前待显示位置生成投射位置与眼底之间光路的投射成像参数的步骤包括: 调节所述投射位置与眼底之间光路的光学器件的成像参数和/或在光路中的位置。
23.如权利要求21所述的方法，其特征在于，所述投射步骤还包括: 分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
24.如权利要求23所述的方法，其特征在于，所述投射步骤包括: 对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
25.如权利要求21所述的方法，其特征在于，所述投射步骤还包括: 控制投射至眼底的虚拟显示内容的大小。
26.如权利要求1所述的方法，其特征在于，所述方法还包括: 触发步骤，获取触发信号并触发所述位置获取步骤和所述显示信息获取步骤。
27.如权利要求1所述的方法，其特征在于，所述协同设备为可穿戴设备。
28.一种交互投射显示系统，其特征在于，包括: 位置信息获取装置，用于获取与协同设备对应的当前待显示位置信息； 显示信息获取装置，用于获取与所述协同设备对应的当前显示信息； 内容生成装置，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容； 投射装置，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
29.如权利要求28所述的系统，其特征在于，所述位置信息获取装置包括: 设备位置获取模块，用于获取所述协同设备的当前位置信息； 待显示位置确认模块，用于根据所述协同设备的当前位置信息确认当前待显示位置信肩、O
30.如权利要求29所述的系统，其特征在于，所述设备位置获取模块包括: 通信子模块，用于接收协同设备的当前位置信息。
31.如权利要求30所述的系统，其特征在于，所述通信子模块用于: 从所述协同设备接收所述协同设备的当前位置信息。
32.如权利要求30所述的系统，其特征在于，所述通信子模块用于: 从外部其它设备接收所述协同设备的当前位置信息。
33.如权利要求29所述的系统，其特征在于，所述设备位置获取模块包括: 检测子模块，用于检测协同设备的当前位置信息。
34.如权利要求33所述的系统，其特征在于，所检测子模块包括: 注视点检测单元，用于检测用户当前的注视点位置； 设备位置确定单元，用于根据所述注视点位置确定所述协同设备的当前位置信息。
35.如权利要求34所述的系统，其特征在于，所述注视点检测单元包括: 图像采集子单元，用于采集用户眼底的图像；` 可调成像子单元，用于进行图像采集子单元与眼睛之间光路的成像参数的调节直至采集到最清晰的图像； 图像处理子单元，用于对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集子单元与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
36.如权利要求35所述的系统，其特征在于，所述可调成像子单元包括: 可调透镜器件，自身成像参数可调和/或在所述图像采集子单元与眼睛之间光路上的位置可调。
37.如权利要求35所述的系统，其特征在于，所述可调成像子单元还包括: 曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集子单元。
38.如权利要求35所述的系统，其特征在于，所述注视点检测单元还包括: 投射子单元，用于向眼底投射光斑图案。
39.如权利要求33所述的系统，其特征在于，所述检测子模块包括: 交互检测单元，用于检测用户的交互信息； 设备位置确定单元，用于根据所述用户的交互信息确定所述协同设备的当前位置信肩、O
40.如权利要求29所述的系统，其特征在于，所述设备位置获取模块包括: 本地获取子模块，用于获取本地存储的协同设备的位置相关信息。
41.如权利要求29所述的系统，其特征在于，所述待显示位置确认模块，用于根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
42.如权利要求28所述的系统，其特征在于，所述位置信息获取装置包括: 交互获取模块，用于通过与用户的交互获取所述当前待显示位置信息。
43.如权利要求28所述的系统，其特征在于，所述显示信息获取装置包括: 通信模块，用于从所述协同设备获取当前与所述协同设备对应的显示信息。
44.如权利要求28所述的系统，其特征在于，所述显示信息获取装置包括: 通信模块，用于从其他外部设备获取当前与所述协同设备对应的显示信息。
45.如权利要求28所述的系统，其特征在于，所述内容生成装置根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
46.如权利要求45所述的系统，其特征在于，所述内容生成装置生成包括与当前待显示位置对应的透视信息的虚拟显示内容。
47.如权利要求45或46所述的系统，其特征在于，所述内容生成装置生成分别与用户的两只眼睛对应的虚拟显示内容。
48.如权利要求28所述的系统，其特征在于，所述投射装置包括: 投射模块，用于向眼底投射所述虚拟显示内容； 成像调节模块，根据所述当前待显示位置信息调节投射模块与眼底之间光路的投射成像参数。
49.如权利要求48所述的系统，其特征在于，所述成像调节模块包括: 可调透镜器件，自身成像参数可调和/或在所述投射模块与眼底之间光路中的位置可调。
50.如权利要求48所述的系统，其特征在于，所述成像调节模块包括: 曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。`
51.如权利要求50所述的系统，其特征在于，所述投射装置包括: 反变形处理模块，用于对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
52.如权利要求48所述的系统，其特征在于，所述投射装置包括: 投射控制模块，用于控制投射至眼底的虚拟显示内容的大小。
53.如权利要求28所述的系统，其特征在于，所述系统还包括: 触发装置，用于获取触发信号并触发所述位置获取装置和所述显示信息获取装置。
54.如权利要求35所述的系统，其特征在于，所述注视点检测单元和所述投射装置的功能由同一设备实现。
55.如权利要求28所述的系统，其特征在于，所述协同设备为可穿戴设备。
56.如权利要求28所述的系统，其特征在于，所述系统为用于眼部附近的可穿戴设备。
【文档编号】G06F3/01GK103558909SQ201310470128
【公开日】2014年2月5日 申请日期:2013年10月10日 优先权日:2013年10月10日
【发明者】杜琳 申请人:北京智谷睿拓技术服务有限公司