一种用于近眼显示器的远程图像显示方法
【技术领域】
[0001]本发明涉及一种图像显示方法，特别涉及一种用于近眼显示的远程图像显示方法。
【背景技术】
[0002]近眼显示器(NED)是一种可将图像直接投射到观看者眼中的头戴式显示器(HMD)。这种近眼显示器的显示屏距离眼球十厘米以内，这样近的图像常规而言是人眼无法看清的。然而，近眼显示器通过特定设计的透镜阵列将图像聚焦投射于人眼视网膜上，再经过视觉神经系统加工后，在用户眼前呈现出虚拟大幅面图像，由此可以用于虚拟或增强现实应用。
[0003]在近眼显示领域，使用者对图像显示的连续性和稳定性有着较高的要求，否则就容易产生眩晕的感觉，从而降低了视觉效果和用户体验。特别是用于根据使用者姿态信息在线获取远端的图像领域，由于远端的图像采集设备的姿态调整和图像传输均存在延迟的问题，导致远端的图像采集设备的姿态很难与所显示内容之间同步调整，从而导致图像显示也存在延迟现象。现有技术中大多是采用惯性传感器用于校正远端图像采集设备姿态调整后信息，直接增加了图像采集设备的复杂度，且存在多次校正后存在较大误差的情况。
[0004]基于上述现有技术的不足之处，因此需要开发出一种能够简单地校正图像采集装置的姿态和解决由于延迟带来的视觉效果问题的图像处理方法。
【发明内容】
[0005]本发明的目的在于提供一种用于近眼显示器的远程图像显示方法，所述图像通过位于远程的图像采集装置采集后发送至近眼显示器进行显示，该方法包括如下步骤:a)所述近眼显示器以第一速率持续发送所述近眼显示器当前的第一姿态信息至所述图像采集装置；b)所述图像采集装置根据接收到的第一姿态信息进行姿态调整并进行图像采集，将采集的图像和采集该图像时所述图像采集装置的第二姿态信息以第二速率持续传回所述近眼显示器；c)所述近眼显示器获取所述图像采集装置传回的图像及第二姿态信息并存储；d)获取最近一次存储的图像，截取所述图像的一部分区域用于近眼显示器显示；e)监测所述近眼显示器的姿态是否发生变化，若不发生变化时，则返回步骤c);若发生变化，则进入步骤g) ;g)截取所获取图像中与所述第一姿态信息对应的一部分区域用于近眼显示器显示。
[0006]优选地，在进入步骤g之间还包括步骤f，获取最近一次存储的图像及其第二姿态信息，计算所述近眼显示器当前的第一姿态信息与所述第二姿态信息之差，若所述差小于或等于一阈值，则进入步骤g);若所述差大于所述阈值，则所述近眼显示器显示黑屏并等待获取当前第二姿态对应的返回图像，或者查找所存储的图像中包含所述第一姿态信息对应区域的最近一次存储的图像，再进入步骤g)。
[0007]优选地，所述阀值为获取图像的中心点至最近边缘点的距离。
[0008]优选地，所述近眼显示器的姿态通过内置的姿态传感器或鼠标或触摸感应获取。
[0009]优选地，所述图像采集装置包括图像采集单元、底座、连接图像采集单元与底座的三轴旋转机构以及姿态采集单元。
[0010]优选地，所述姿态采集单元为等间距设置于底座边缘的至少3个不同波段的指示灯。
[0011]优选地，所述姿态采集单元为姿态传感器。
[0012]优选地，所述图像采集单元包括两个平行布置的相隔一定间距的第一摄像头和第一.摄像头。
[0013]优选地，所述第一摄像头和第二摄像头之间的间距为60?75_。
[0014]优选地，所述第一摄像头和第二摄像头均为拍摄角度为150?180度的广角摄像头。
[0015]通过上述图像显示方法对近眼显示中双眼呈现的图像分别进行图像相应操作，可以有效的解决由于远程传输产生延迟导致近眼显示中的图像缺失或者不连续等问题本发明的图像采集装置可以根据近眼显示器的姿态信息进行多方位的调整，并将调整后的姿态信息和拍摄的图像及时的传回使用者的近眼显示器中。此外图像的补偿方法可以有效的解决由图像传输延迟所带来的视觉体验问题，特别是能够提高近眼显示领域的视觉体舒适度。
[0016]应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
【附图说明】
[0017]参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中:
[0018]图1示出了本发明中远程图像采集系统的原理图；
[0019]图2(a)示意性示出本发明中远端图像采集装置的立体示意图；
[0020]图2(b)示意性示出本发明中远端图像采集装置的俯视图；
[0021]图2(c)为图2(b)的侧视图；
[0022]图3示出了本发明中用于近眼显示的图像显示方法示意图；
[0023]图4(a)示出了本发明中用于远程图像采集方法的第一种具体实现步骤图；
[0024]图4(b)示出了本发明中用于远程图像采集方法的第二种具体实现步骤图。
【具体实施方式】
[0025]通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
[0026]在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
[0027]本发明提供了一种远程图像采集系统，通过该远端图像采集系统可以将远端图像传输到并呈现显示端设备中，并利用图像补偿的方式抵消图像远程传输过程中产生的延迟。
[0028]图1示意性示出了本发明用于近眼显示的远程图像采集系统的原理图。如图1所示，用于近眼显示的远程图像采集系统包括:近眼显示器100和位于远端的图像采集装置200，近眼显示器100和图像采集装置200之间通过网络连接。所述网络例如包括有线网络或无线网络，诸如内联网之类的局域网(“LAN”)和诸如互联网之类的广域网(“WAN”)。网络可被配置为支持利用多种协议设置格式的信息的传输。另外，网络可以是公共网络、专用网络或其组合。网络还可以利用任何一种或多种类型的物理介质来实现，其中包括与多个服务提供商相关联的有线通信路径和无线通信路径。无线通信方式例如WiFi或WLAN、GPRS、蜂窝网络，例如GSM网络、3G网络、LTE网络或CDMA网络。
[0029]图像采集装置200用来在远程采集图像，传送回近眼显示器100进行显示。近眼显示器100采集近眼显示器100自身的姿态(例如佩戴近眼显示器100的用户的物理姿态)，再将该姿态信息以指令方式发送至图像采集装置200。图像采集装置200可以根据近眼显示器100发送的姿态信息进行图像采集单元201的姿态调整，进而图像采集单元201采集图像并将图像和调整后的姿态信息同时远程传送至近眼显示器100。以这种方式，位于远程的图像采集装置200可以“模仿”近眼显示器100来采集图像。
[0030]如图1所示，近眼显示器100通过内置的姿态传感器101获取姿态信息，也可以利用鼠标102控制或触摸屏103控制其姿态信息。所述姿态传感器101用于及时获取使用者的姿态信息，例如可选用九轴传感器，包含三轴陀螺仪、三轴加速度计，三轴电子罗盘的运动传感器。
[0031]图2(a)至图2(c)分别示出了图1的系统中图像采集装置200的结构图。其中图2(a)示意性示出本发明中远端图像采集装置的立体示意图；图2(13)示意性示出本发明中远端图像采集装置的俯视图；图2(c)为图2(b)的侧视图。如图2(a)所示，本发明中的图像采集装置200包括图像采集单元201、底座202、连接图像采集单元201与底座202的三轴旋转机构203、以及姿态采集单元。
[0032]图像采集单元201，用于实时拍摄远程的图像，包括两个平行布置的相隔一定间距S的第一摄像头204a和第二摄像头204b。根据本发明的一个实施例，间距S优选为60-75mm。优选地，第一摄像头204a和第二摄像头204b的配置相同，以便采集冗余度较大的图像，从而为实际呈现时的图像补偿提供图像数据来源。双摄像头204a和204b的布置还可以用于模拟人眼的真实效果。
[0033]底座202，用于支撑图像采集单元201，其具有锥形圆盘状。图2 (b)示出了根据本发明的图像采集装置200的顶视图。如图2(b)所示，底座202的面积大于图像采集单元201的面积，这样就保证了广角摄像头204可以拍摄到位于底座202的边缘。
[0034]优选地，姿态采集单元可通过在所述图像采集单元201内置的九轴姿态传感器来实现，用于精确获取图像采集单元201的姿态信息。
[0035]根据本发明的另一个实施例，在底座202的边缘处等间距地布置有至少3个不同波段的指示灯205，所述指示灯205发出不同的颜色的光(比如红绿蓝三种颜色)，从而近眼显示器100就可以根据摄像头204拍摄到的含有指示灯205的图像来确定图像采集单元201的姿态信息。具体地，远端图像采集装置100通过图像处理和分析，判断出指示灯205发出的什么颜色的光以及指示灯205在图像中的位置，进而可以确定图像采集装置200拍摄该图像时的姿态信息，所以指示灯205可以用于替代上述九轴姿态传感器并实现同样的目的。
[0036]三轴旋转机构203，用于连接图像采集单元201和底座202，并根据近眼显示器100发出的姿态信息驱动图像采集单元201多角度旋转，从而使摄像头204可以在三个方向上进行姿态调整并拍摄图像。
[0037]如图2(c)所示，通过拍摄角度α为180度的广角摄像头可以拍摄到范围较大的图像，从而同时也保证了能够拍摄到位于底座202边缘的指示灯。
[0038]当使用者利用近眼显示器100来观看其他视野的景物时，需要通过转动头部或其他方式，并将变化后的姿态信息传输至图像采集装置2