利用像素再分配优化的方法和显示设备与流程

本公开总体上涉及利用像素再分配优化的显示设备。显示设备可以是诸如头戴式显示器(HMD)设备的用户可穿戴显示设备，但不限于这种显示设备。

背景技术：

这些HMD设备主要由显示模块(例如，LCD或OLED)和光学器件组成。该光学器件通常设计为修改光使其好似在距离观察者的无限远处或在有限但是大的距离(例如，人眼超焦距)处生成(以能够适应放置得如此接近的屏幕)，并且增加视场以改善沉浸感。

这些HMD设备可以与诸如惯性测量单元(IMU)的传感器耦合在一起以测量用户的头部的位置。由于传感器，通过显示器提供给用户的视频内容可以取决于他的/她的头部取向，因此用户可以在虚拟世界中移动并且感受沉浸感。

美国专利US2012/0154277 A1公开了跟踪用户的头部和眼睛位置以便确定用户的聚焦区域以及将优化的图像的一部分耦合到用户的聚焦区域。然而，在US2012/0154277 A1中未考虑用于优化将被呈现在显示器上的图像的像素再分配的任何概念。

技术实现要素：

根据本公开的一个方面，提供了用于在显示设备上呈现图像的方法。该方法包括通过向图像应用几何变换来修改图像，使得图像在显示设备上的区域比图像的其余部分以更高像素密度呈现给观察者。

根据本公开的另一个方面，提供了用于呈现图像的显示设备，所述显示设备包括处理器。处理器配置为通过向图像应用几何变换来修改图像，使得图像在显示设备上的区域比图像的其余部分以更高像素密度呈现给观察者。

将借助于在权利要求中特别指出的元素和组合来实现和获得本公开的目的和优点。

应当理解的是，前述一般描述和下文的具体实施方式两者都是示例性和说明性的，并且不限制所要求保护的本公开。

附图说明

根据结合附图的以下描述，本公开的这些和其它方面、特征和优点将变得明显，在附图中：

图1表示取决于中央凹(fovea)周围的角位置的视敏度；

图2呈现根据本公开的实施例的总概述；

图3表示由光学元件施加的失真；

图4示出了根据本公开的实施例的应用于图像的几何变换过程；

图5示出了具有与在原始系统中相同的功能的透镜的设计；

图6示出了本实施例的HMD设备的整体光学系统；

图7示出了根据显示器上的场位置绘制的感知视场；

图8示意性示地示出了根据本公开的实施例的显示设备，其中图8(a)是设备的平面图，并且图8(b)是设备的前视图；

图9是示出了在图8中显示的控制模块的组件的框图；以及

图10是示出了由根据本公开的实施例的显示设备执行的过程的示例的流程图。

具体实施方式

在以下的描述中，将描述本公开的示例性实施例的各个方面。为了说明的目的，阐述了特定的配置和细节以便提供透彻的理解。然而，还将对本领域技术人员明显的是，可以在没有本文中出现的特定的细节的情况下实现本公开。

为了促进对本公开的实施例的概念的理解，首先介绍人类视觉系统的一些特性。

图1表示取决于中央凹周围的角位置的视敏度，其引用自维基百科(Wikipedia)的“中央凹”相关的页面。中央凹是眼睛中椎体的密度最高的中心区域。该区域仅仅表示几度，其中视敏度是最大的。当视场增加时，该敏度迅速减小(参见图1)。这意味着，即使需要大视场以给观察者带来沉浸感，周边视觉也无法感知到细节。

由于分离的离散像素而生成图像的显示设备的分辨率基于该视敏度特性：取决于观察的距离，如果像素的空间频率高于眼睛的分离能力，则不能感知像素。

人眼在中央凹区域中可以大致区分由一分的弧角分离的两个点。这意味着例如可以在166cm的距离处观看具有93cm的宽度的42”HD(高清)屏幕1920x1080像素以在其中心部分中具有每度60个像素的像素密度(大致与视敏度相对应)。

在此处，将关于具有1280x800像素的分辨率的示例性HMD设备来讨论示例。在该示例中，水平视场将是大致90°(或110°，取决于源)，并且每个眼睛的理论像素数将是640(但实际上可能更接近500)：分布在90°上的500个像素意味着低于每度5个像素的像素密度。这比针对一弧分的视敏度遵循奈奎斯特-香农(Nyquist-Shannon)采样定理应当需要的低10倍。即使该HMD的下一代应当基于具有1920x1080像素的显示器，分辨率也应保持远低于在中央凹中的视敏度。

相反，在周边视觉区域中的像素密度太高而不能被人眼感知到，因为视敏度在视觉周边中急剧降低。

本公开说明性地描述了诸如HMD设备的显示设备，其在显示器的区域中增加像素密度，并且在增加了像素密度的区域的周边区域中减小该密度。因为眼睛可以在由显示器提供的内容中移动，所以该密度的增加不限于与中央凹相对应的极窄区域，而是在移动头部之前应用于与平均眼睛移动相对应的区域。这意味着用户可以在具有高密度信息的区域周围移动他的视线，并且由于提供稀疏信息的大视场而享受沉浸感。

在与惯性测量单元(IMU)耦合在一起的HMD设备中，用户可以将他的/她的头部移动到在周边以低分辨率感知的对象或区域的中心，然后显著地增加该对象或区域上的分辨率。

在诸如Oculus Riff HMD的当前可用的HMD设备上，由显示设备生产的像素由光学器件以几乎恒定的密度分布在整个视场上。由于该光学器件是简单的，所以它引入了强烈的枕形失真，其必须通过信号处理(通过将逆变形应用于将要显示的视频内容)来进行补偿。观察者可以以大的视场但是以低的分辨率(甚至在HMD的中心区域中)来感知视频或图形沉浸式内容。

所谓的“小凹(foveation)”在图像获取的技术领域中是已知的。由于小凹传感器，可以获取图像，其中图素的密度在该传感器或与小凹透镜相关联的标准传感器的中心区域中较高。

小凹成像还在信号处理(涵盖图像压缩、图像传送或注视偶然显示)的技术领域中是已知的。对于这最后的应用，眼睛跟踪器检测用户正在看哪里，并且在该区域中比在周边(仅仅低频，模糊)中动态地显示更多的信息(包含高频的图像部分)。

在该公开中提出了一种系统，其配置为(或适于)增加显示器上的区域中的像素密度，并且减小在显示器上的该区域的周边区域中的像素密度。然而，应当注意的是，与其中细节(高频)显示在感兴趣的区域中以及模糊信息(或仅仅低频)以恒定像素密度显示在周边的小凹图像不同，所提出的系统修改像素密度本身。

像素的再分配可以通过由光学器件应用的变换T来修改。在这种情况下，将要显示的内容需要通过逆几何变换T^-1来修改。然后，像素密度的增加使感知到的亮度增加，反之亦然。亮度的这种修改需要由显示器或应用于将要显示的图像的信号处理来完全或部分补偿。

图2呈现了根据本公开的实施例的总概述。

常规光学元件修改光使其好似在距离观察者的无限远(或有限但是大的距离)处生成以使观察者的眼睛能够适应(accommodation)。它还可以增加显示器的视场以改善观察者的沉浸感。

除了常规技术之外，本公开的非限制性实施例提出了根据到中心的距离来施加失真(如图3中所示)以修改感知到的像素密度的光学元件。根据水平轴，该距离可以是径向的或轴向的。如可以在图4中看到，由本公开的实施例的光学元件引起的失真提供像素再分配，即，显示在显示器上的恒定像素密度转换为修改的像素密度，其中在视场的中心区域中感知到增加的像素密度。

图4示出了根据本公开的实施例的应用于图像的几何变换过程。在被提供到显示器之前，输入图像I由函数T^-1(I)变换，将细节保留在中心区域中。该变换必须与由本公开的实施例的光学元件应用的逆变换函数相对应。它可以例如通过多项式函数来近似。光学元件施加失真T(I1)以在中心区域(β周围)(其是视场的中心(参见图4))中以高密度信息向观察者提供图像I。

由观察者感知到的像素密度由图4中的曲线来表示。“α”表示β周围的位置，其定义了其中与恒定像素密度相比像素密度被增加或减小的极限位置。该曲线取决于光学变换，并且在这里作为示例给出。感知到的像素密度可以例如连续减小直到最大视场。

感知到的密度处于最大值所在的位置β在本文放置在1/2FOV(视场)。如果眼睛移动并且由HMD设备上的眼睛跟踪系统跟踪，则该位置可以变化。光学元件可以根据来自眼睛跟踪系统输出信号的输出从左至右、向上和向下移动，以使最大密度区域与给定眼睛的光轴对准。将根据与修改的光学配置相关联的新的T/T^-1变换修改图像信号。当眼睛被跟踪并且光学元件相应地移动时，值α可以在光学设计中减小(限制于中央凹延伸，但是排除在静态配置中考虑的眼睛运动边缘)。

所提出的解决方案必须与标准实现进行比较以便比较每个角度扇区的相对感知像素密度。

图5示出了具有与在原始系统中相同的功能的透镜的设计。

光学系统的尺寸设计为具有大约95°的总视场，物场宽度是2x37.5mm，其是屏幕的宽度。图5示出了轴向场点、中间场点和边缘场的光线跟踪。系统设计为在图像空间中是无焦点的，并且瞳孔是4mm(在距离最后光学表面的垂度的10mm距离处)。在边缘场点处的MTF(调制传递函数)当然是相当糟糕的，因为这可以从到达瞳孔的非准直的红色子光束推断出。在图像空间中感知的视场是±29°。

为了修改感知到的角像素密度，需要在物平面附近设立透镜。该场透镜将在显示器的中心部分(其中与外部像素相比，在图像空间中其角密度更大)围绕光轴映射像素。具有这样的性质的光学表面必须是均匀的非球面。它是由球面的偏差的多项式展开描述的旋转对称多项式非球面。均匀非球面表面模型仅仅使用径向坐标的偶次幂来描述非球面性。该表面垂度由下式给出：

其中c是曲率，r是透镜单元中的径向坐标，并且k是圆锥常数。该场透镜需要具有非球面前表面以便分别调制场点的不同位置，并且它还需要具有非球面后表面以用于将每个主光线指向本实施例的HMD设备的光学系统的入口瞳孔。

图6示出了本实施例的HMD设备的整个光学系统，其改善了轴附近的角分辨率密度。第一透镜是将场点扭曲到图像空间中的不同角密度的透镜。其形状看起来复杂，但是它由SCHOTT AG的B 270(商标)玻璃制成，并且可以大量和低成本进行模制，以及主透镜，其也由相同的材料制成，并且其也需要进行模制，因为它也具有两个非球面表面。

透镜规定如下：

表面数据概要

表面数据细节

表面 对象 标准

表面 1 均匀非球面

关于r∧2的系数：0

关于r∧4的系数：-6.9859233e-005

关于r∧6的系数：2.4668817e-007

关于r∧8的系数：-3.9883699e-010

关于r∧10的系数：5.5885882e-013

关于r∧12的系数：-6.6854249e-016

关于r∧14的系数：3.6309444e-019

关于r∧16的系数：-1.5338173e-023

表面 2 均匀非球面

关于r∧2的系数：0.0028058026

关于r∧4的系数：-2.6206468e-005

关于r∧6的系数：1.0404351e-008

关于r∧8的系数：1.903396e-011

关于r∧10的系数：-6.34717e-015

关于r∧12的系数：0

关于r∧14的系数：0

关于r∧16的系数：0

表面 STO 标准

表面 4 均匀非球面

关于r∧2的系数：0

关于r∧4的系数：0.00049344985

关于r∧6的系数：-1.8727954e-005

关于r∧8的系数：3.8728936e-007

关于r∧10的系数：-4.8665752e-009

关于r∧12的系数：3.6241717e-011

关于r∧14的系数：-1.4659605e-013

关于r∧16的系数：2.4658053e-016

表面 5 均匀非球面

关于r∧2的系数：0

关于r∧4的系数：0.00019263165

关于r∧6的系数：-4.3484529e-006

关于r∧8的系数：5.3643851e-008

关于r∧10的系数：-3.6869579e-010

关于r∧12的系数：1.4315606e-012

关于r∧14的系数：-2.9346767e-015

关于r∧16的系数：2.4867346e-018

作为由光学系统的配置提供的顺带好处，MTF也已经进行了改进。

最后，为了证明图6中示出的光学系统具有在本公开中描述的功能，如图7中示出的，感知的视场可以绘制为显示器上的场位置的函数。如可以从图7看出，改进的系统有效地具有形状上类似图4中示出的理论曲线的曲线，导致在光轴方向附近的更高感知的像素密度。

图8示意性示出了根据本公开的实施例的显示设备，其中图8(a)是设备的平面图，并且图8(b)是设备的前视图。

如图8中所示，显示设备100可以包括显示模块105，其可以例如是具有光源的LCD(液晶显示器)或OLED(有机发光显示器)。将分别延伸到观察者的耳朵上以帮助将设备100保持在适当位置的诸如镜腿(temple arm)的固定元件110安装在显示设备100的两侧上。可替代地，固定元件110可以是将设备100保持在观察者的头上的伸缩带。

显示设备100还包括光学组件120和移动光学组件120的致动器115。光学组件120可以包括如以上结合图6所述设计的两个光学元件。光学组件120通过连接部件125连接到致动器115。致动器115安装在固定元件110上，并且光学组件120由在显示模块105前方的连接部件125支撑。这些致动器115、光学组件120和连接部件125分别安装在固定元件110的两侧上。由于致动器115，光学组件120可以向上和向下以及从左到右移动，如分别通过图8(b)中示出的箭头指示的。应当注意的是，光学组件120的每个光学元件可以可替代地具有菲涅尔透镜的形式，使得光学元件可以具有更薄的形状和更轻的重量。

显示设备100设置有检测观察者的眼睛的眼睛凝视点的眼睛跟踪传感器130。眼睛跟踪传感器130可以安装在显示模块105的上部或下部上，例如以便防止可以由传感器130引起的显示屏幕的任何阴影。此外，显示设备100设置有测量观察者(在其上安装有显示设备100)的头部的位置的诸如惯性测量单元(IMU)的位置传感器145。

显示设备100还包括控制显示模块105、致动器115、眼睛跟踪传感器130和位置传感器145的控制模块140。控制模块140经由有线或无线连接而连接到这些元件。控制模块140还经由有线或无线连接而连接到外部设备(未示出)。外部设备存储将提供给显示设备100的图像或视频。图像或视频从外部设备提供给控制模块140，然后控制模块140在显示模块105上呈现接收的图像或视频。

显示设备100可以具有在观察者的视场中提供暗空间的围绕显示模块105的周边的罩(未示出)，其可以为观察者提供更好的沉浸感。

图9是示出了图8中显示的控制模块的组件的框图。

如图9中所示，控制模块200包括I/O接口210和存储设备220。接口210和存储设备220配置为接收和存储将呈现在显示模块105(图8)上的图像或视频。

模块200还包括处理器230。处理器230执行以基于来自眼睛跟踪传感器130的输入检测观察者的眼睛凝视点，以响应于检测到的眼睛凝视点而激活致动器115，以将从外部设备接收的图像或视频呈现在显示模块105上，以及响应于由位置传感器145检测和输入的观察者的头部位置而滚动显示在显示模块105上的图像或视频。

处理器230还执行以通过应用如参考图4描述的几何变换T^-1(I)来修改图像或视频，使得可以增加围绕在显示器105(图8)上的检测到的眼睛凝视点的区域中的图像或视频的信息密度。处理器230还可以应用亮度补偿以补偿可能由几何变换T^-1(I)引起的在图像或视频中的亮度的变化。存储设备220还配置为存储将由处理器230执行以用于实施以上描述的过程的至少一个程序。

图10是示出了由根据本公开的实施例的显示设备执行的过程的示例的流程图。

在步骤S10，显示设备100的控制模块140；200经由其I/O接口210从外部设备(未示出)接收沉浸式图像或视频内容。接收的内容存储在存储模块230上。沉浸式内容可以是可供HMD设备显示360°内容(或小于360°，但是大于可以由HMD的显示屏显示的内容)的整个内容，换言之，沉浸式内容可以具有比HMD的显示屏的面积更广的面积。由于这样的沉浸式内容，观察者可以沉浸在显示在HMD设备上的虚拟世界中，并且可以移动他的/她的头部以选择他/他想要看到的整个360°内容的一部分。

在步骤S12，位置传感器145检测观察者的头部位置，然后，在步骤S14，由处理器220选择将显示在HMD设备上的360°内容的一部分。观察者想要看到的360°内容的部分与检测到的头部位置相对应。

在步骤S16，由眼睛跟踪传感器130确定观察者(其上安装有显示设备100)的眼睛的眼睛凝视位置。检测到的信息从传感器130输出到控制模块200的处理器220。基于检测到的信息，处理器220执行分析以用于在显示模块105上指定观察者的眼睛的眼睛凝视位置(换言之，用于指定观察者正在观看显示模块105上的哪个区域)。应当注意的是，可以在步骤S10-S14期间执行步骤S16。

可替代地，在步骤S16，可以采用在内容中的感兴趣的区域的信息(ROI)以确定观察者的眼睛的眼睛凝视位置而非通过眼睛跟踪传感器130来检测眼睛凝视位置。在这种情况下，在内容(每个图像或视频的每个帧)中的ROI的区域可以通过测试用户或通过任何已知的专用ROI分析软件来预先确定并且经由包含在内容中的元数据与内容相关联。在内容中的ROI的区域可以是假定的眼睛凝视位置，因为观察者最可能注意在内容中的ROI的区域，并且因此眼睛凝视将尤其被这些ROI吸引。

在步骤S18，处理器220读出存储在存储模块230中的图像或视频，并且修改图像或视频使得具有图像或视频的更高密度信息的区域可以在显示器105上的指定的眼睛凝视位置处形成。图像或视频的修改可以通过应用与由光学组件120(图4)应用的逆变换函数相对应的几何变换来执行。然后，处理器220将修改的图像或视频内容呈现在显示设备105上。

在步骤S20，响应于显示设备105上的指定的眼睛凝视位置，处理器220控制致动器115以移动相应的光学组件120，使得观察者可以通过光学组件120看到显示器105。例如，可以预先建立显示器105上的眼睛凝视位置和光学组件120的各自的相应的位置之间的关联并且存储在存储模块230上。在这种情况下，处理器220使致动器115根据这种关联将光学组件120移动到与检测到的眼睛凝视位置相对应的位置。

因为光学组件120施加失真T(I1)(其将补偿对呈现在显示器105上的图像或视频进行的变换)，所以由观察者通过光学组件120感知到的图像或视频内容在眼睛凝视位置中比在眼睛凝视位置的周边中具有更高的信息密度。

步骤S12至S20可以在图像或视频呈现在显示器105期间重复，其允许改变图像或视频上的密集信息区域(比内容的其余部分具有更高信息密度的图像或视频内容的区域)和光学组件120的位置以实时响应于检测到的眼睛凝视位置。

根据实施例，可以显著增加显示器105上的眼睛凝视区域中可用的信息的密度，因此可以在该区域中提供更多的细节。在另一方面，因为视敏度在周边视觉中低得多，因此可以保留由大视场带来的沉浸感。

可替代地，图像或视频上的密集信息区域以及光学组件120的位置可以固定，例如，图像或视频上的密集信息区域可以固定在显示器105上的图像或视频的中心区域中，并且光学组件120的位置可以是相应的位置。在这种情况下，可以省略以上描述的步骤S12和S16。

或者备选地，在步骤S14，处理器220可以修改直接从外部设备接收的图像或视频并且将修改的图像或视频呈现在显示设备105上。在这种情况下，接收的图像或视频内容可以不存储在存储模块230上。

本文所述的所有示例和条件语言旨在用于教导目的以帮助读者理解由发明者为促进技术而贡献的公开内容和概念，并且应被解释为不限于这些具体陈述的示例和条件，并且说明书中这些示例的组织不与本公开的优势和劣势的示出相关。