控制定向背光的光源的制作方法
【技术领域】
[0001]本发明整体涉及空间光调制器的照明，并且更具体地讲，涉及用于从本地光源提供大面积照明的定向背光，以在2D、3D和/或自动立体显示设备中使用。本发明整体涉及电子设备，所述电子设备具有一对立体相机，所述一对立体的相机捕获立体图像以立体地或自动立体地显示。在一些方面，本发明涉及电子设备，所述电子设备包括远程通信设备，所述远程通信设备可在远程通信网络上传输捕获的图像。
【背景技术】
[0002]3D显示器(也称为立体显示器或体视显示器)变得越来越普遍。3D显示器立体地显示立体图像(左图像和右图像)以使得左图像被导向到观察者的左眼并且右图像被导向到右眼，从而产生对图像的深度的感知。3D显示器的初始商业增长出现于影院，随后出现于电子显示设备，诸如这样的设备，其可用于电视机和计算机监视器，并且通常需要使用另外的用户佩戴装置诸如一副眼镜来分开左图像和右图像(例如使用偏光或快门)。还正在研发自动立体3D显示设备，其将左图像和右图像自动立体地导向到观察者的左眼和右眼，而不必用户佩戴另外的装置。
[0003]对移动电子设备诸如在远程通信网络上通信的远程通信设备的应用，是使用此类设备增强社交互动的质量所需的。此类移动电子设备的自动立体3D显示设备在此类应用中将是优选的，但在商业上尚未广泛付诸实施。
[0004]对于与现有商业3D显示器一起使用而言，立体图像通常由组织制作并提供给用户，一个典型例子是电影公司制作的3D电影。对于未来使用而言，期望电子设备包括一对立体相机以在设备上本地捕获立体图像。
[0005]已知的是，通过在远程通信网络上传输由相机捕获于远程通信设备上的用户面部图像，而在远程通信设备中实施远程会议。这增加了面对面交流对用户的可达性，实际上只要远程通信设备能够通信就允许如此。可通过如下方式改善此类远程会议:使用包括一对立体相机的远程通信设备，并且捕获立体图像并将立体图像传输到能够显示立体图像的另一个设备。
【发明内容】
[0006]本发明的第一方面涉及远程会议的提供，所述远程会议使用源远程通信设备，所述源远程通信设备包括显示设备和一对立体相机，并将由所述一对立体的相机捕获的面部图像传输到目标设备以供显示。具体地讲，其涉及改善由目标设备的用户感知的社交互动质量。
[0007]根据本发明的第一方面，提供了一种使用如下设备执行的远程会议方法:源远程通信设备，所述源远程通信设备包括显示设备和一对立体相机，所述一对立体的相机定位在所述显示设备的相对侧面之外并处于沿着这些侧面中途的相同标高；以及目标远程通信设备，所述目标远程通信设备包括显示设备和至少一个相机，所述源远程通信设备和所述目标远程通信设备能够在远程通信网络上通信，所述方法包括:将由所述源远程通信设备的所述一对立体的相机一者或两者捕获的输送图像从所述源远程通信设备传输到所述目标远程通信设备，以及将由所述目标远程通信设备的所述至少一个相机捕获的返回图像从所述目标远程通信设备传输到所述源远程通信设备;检测所述返回图像中的面部;使所述返回图像竖直地移位以在将所述移位的返回图像以预定取向显示于所述源远程通信设备的所述显示设备上时将所检测的面部的眼线定位在所述源远程通信设备的所述一对立体的相机的标高处，在所述预定取向上，所述图像的竖直侧面与所述显示设备的所述相对侧面对齐；以及将所述移位的返回图像以所述预定取向显示于所述源远程通信设备的所述显示设备上。
[0008]本发明的该方面涉及处理从目标远程通信设备传输回源远程通信设备的返回图像。通过检测返回图像中的面部，可使返回图像竖直地移位以在显示时将所检测的面部的眼线定位在源远程通信设备的所述一对立体的相机的标高处。因此，目标观察者的所显示的面部的眼线保持在源远程通信设备的所述一对立体的相机的标高处。在社交互动期间，源观察者的关注点将通常趋向于在所显示的面部的眼线上，并且因此该处理倾向于将源观察者的凝视定位在与相机相同的竖直标高处。
[0009]这意味着当显示输送图像时，源观察者的凝视会被目标观察者感知为竖直地导向于目标观察者。这与源远程通信设备的相机处于显示设备上方的情况截然不同，在这种情况下，源观察者的凝视会被目标观察者感知为竖直地导向于目标观察者。人类视觉系统已进化到在社交互动期间对从其他观察者的虹膜与白色巩膜的相对位置获取的线索高度敏感。感知的凝视方向的小误差就会形成不自然的互动。形成源观察者具有凝视这样的感知效果可改善远程通信系统在提供远程会议方面的效能。
[0010]此外，根据本发明的第一方面，可以提供远程通信系统、源远程通信设备、目标远程通信设备或服务器，所述服务器在远程通信网络中配置，其中实施类似方法。
[0011]本发明的第二方面涉及由一对立体相机捕获的图像所提供的人类社交互动的质量的优化，所述一对立体的相机定位在电子设备诸如远程通信设备的显示设备的相对侧面之外。就这一点而言，期望在立体地显示头部的立体图像时最小化所感知的头部形状的失真。
[0012]根据本发明的第二方面，提供了一种电子设备，所述电子设备包括:显示设备，所述显示设备能够自动立体地显示立体图像；以及一对立体相机，所述一对立体的相机定位在显示设备的相对侧面之外并处于沿着这些侧面中途的相同标高处，各相机中心之间的间隔在下限为55mm且上限为110mm的范围内。
[0013]已经认识到，感知的头部形状的失真取决于输送图像捕获与显示环境的几何形状。此外，已经认识到，当在观察关注区域中侧向放大率与纵向放大率之间的比率为大约1:1时，可获得头部形状的感知圆度。考虑到在远程会议的情况下关注区域将为将趋向于靠近电子设备的用户头部，已发现所述一对立体的各相机的中心之间的可接受间隔的范围在意外窄的范围内。
[0014]本发明的第三方面涉及由一对立体相机生成立体图像。就这一点而言，期望在立体地显示头部的立体图像时最小化所感知的图像的失真。
[0015]根据本发明的第三方面，提供了一种生成立体图像的方法，所述方法包括:通过一对立体相机捕获立体图像，所述立体图像为头部及可选的躯干的视频图像;在所述每一幅立体图像中，将头部及如果存在的躯干从背景分割;在所述每一幅立体图像中，将分割的背景替换为相应的替换图像，所述替换图像在替换图像内的感知立体深度的程度低于所述初始背景内的感知立体深度的程度。
[0016]通过用与初始背景内相比在替换图像内具有更低程度的感知立体深度的相应替换图像，来替换立体输送图像中的每个图像中分割的背景，可以改善包括前景和背景的图像的总体质量，所述前景包括头部及如果存在的躯干。与在立体图像中使用原始背景相比，可以实现具有改善的视觉舒适度水平的背景，所述改善的视觉舒适度水平由较低的背景视差范围所引起。这在针对前景进行立体捕获的优化时特别有利，在这种情况下，所得背景视差可能不适当。
[0017]此外，根据本发明的第三方面，可以提供远程通信系统、源远程通信设备、目标远程通信设备或服务器，所述服务器在远程通信网络中配置，其中实施类似方法。
[0018]本发明的各个方面及其各种特征可以任何组合一起应用。
[0019]本领域的普通技术人员在阅读本
【发明内容】
全文后，本发明的这些和其他优点以及特征将变得显而易见。
【附图说明】
[0020]实施例通过举例的方式在附图中示出，其中类似的附图标号表示类似的组件，并且其中:
[0021]图1是根据本发明的示意图，其示出了远程通信系统的正视图，所述远程通信系统包括2D显示器和单相机；
[0022]图2是根据本发明的示意图，其示出了远程通信系统的正视图，所述远程通信系统包括自动立体3D显示器和立体相机；
[0023]图3是根据本发明的示意图，其示出了远程通信系统的正视图，所述远程通信系统具有返回图像的竖直偏移；
[0024]图4是根据本发明的示意图，其示出了远程通信系统的正视图，所述远程通信系统包括具有移位的返回图像的自动立体显示器；
[0025]图5是根据本发明的示意图，其示出了远程通信系统，所述远程通信系统包括目标设备捕获系统以及针对返回图像校正输送图像位置的装置；
[0026]图6A-图6B是根据本发明的示意图，其示出了观察者跟踪自动立体显示器的俯视图；
[0027]图7A-图7C是根据本发明的示意图，其示出了返回图像中的特征数据的集合以及返回图像中的凝视的竖直校正；
[0028]图8A-图8B是根据本发明的示意图，其示出了返回图像中的凝视的水平校正；
[0029]图9-图13是根据本发明的示意图，其示出了源设备和目标设备之间通信的方式，所述源设备和目标设备被布置成实现输送图像和返回图像的位置的校正；
[0030]图14是根据本发明的示意图，其示出了源设备的立体相机中观察者的捕获条件的俯视图；
[0031]图15是根据本发明的示意图，其示出了目标设备的自动立体显示器中所捕获的观察者的图像重放条件的俯视图；
[0032]图16是根据本发明的立体捕获与显示远程通信系统的感知立体深度相对于实际深度的曲线图，包括未校正的相机几何形状和图像背景；
[0033]图17是根据本发明的立体捕获与显示远程通信系统的感知立体深度相对于实际深度的曲线图，所述立体捕获与显示远程通信系统被布置成实现感知的头部圆度和校正的图像背景；
[0034]图18-图19是根据本发明的自动立体远程通信系统的相机间隔相对于目标观察者观察距离的曲线图，所述自动立体远程通信系统被布置成实现感知的头部圆度；
[0035]图20A-图20B是根据本发明的自动立体远程通信系统的相机间隔相对于目标观察者观察距离的曲线图，所述自动立体远程通信系统被布置成实现感知的头部圆度；
[0036]图21A-图21B是根据本发明的自动立体远程通信系统的相机间隔相对于相机角视场的曲线图，所述自动立体远程通信系统被布置成实现感知的头部圆度；
[0037]图22是根据本发明的示意图，其示出了纵向取向自动立体远程通信系统的源远程通信设备或目标远程通信设备的正视图，所述纵向取向自动立体远程通信系统被布置成实现感知的头部圆度；
[0038]图23是根据本发明的示意图，其示出了横向取向自动立体远程通信系统的源远程通信设备或目标远程通信设备的正视图，所述横向取向自动立体远程通信系统被布置成实现感知的头部圆度；
[0039]图24A-图24G是根据本发明的示意图，其示出了用于校正自动立体远程通信系统的源图像的背景深度的方法的图像校正，所述自动立体远程通信系统被进一步布置成实现感知的头部圆度；
[0040]图25是根据本发明的示意图，其进一步以流程图示出了图24A-图24G的使用自动立体远程通信系统的源图像的背景数据校正源图像的背景深度的方法，所述自动立体远程通信系统被进一步布置成实现感知的头部圆度；
[0041]图26A-图26D是根据本发明的示意图，其示出了用于校正自动立体远程通信系统的源图像的背景深度的另一种方法的图像校正，所述自动立体远程通信系统被进一步布置成实现感知的头部圆度；
[0042]图27A是根据本发明的示意图，其进一步以流程图示出了图26A-图26D的使用自动立体远程通信系统的面朝后的单视场相机校正源图像的背景深度的方法，所述自动立体远程通信系统被进一步布置成实现感知的头部圆度；
[0043]图27B是根据本发明的目标远程通信设备的示意图，所述目标远程通信设备具有面朝后的相机；
[0044]图27C是根据本发明的目标远程通信设备的示意图，所述目标远程通信设备具有一对面朝后的立体相机；
[0045]图28是根据本发明的示意图，其以流程图示出了使用自动立体远程通信系统的面朝后的立体相机校正源图像的背景深度的另一种方法，所述自动立体远程通信系统被进一步布置成实现感知的头部圆度；
[0046]图29-图31是根据本发明的示意图，其示出了源设备和目标设备之间通信的方式，所述源设备和目标设备被布置成实现输送图像和返回图像的背景的校正；
[0047]图32是根据本发明的示意图，其示出了自动立体远程通信系统的一种类型自动立体显示器的结构;并且
[0048]图33是根据本发明的示意图，其示出了自动立体远程通信系统的自动立体显示器的控制系统。
【具体实施方式】
[0049]各种下文所述的实施例涉及远程通信系统，所述远程通信系统包括在远程通信网络199上通信的两个远程通信设备。一般来讲，如常规的那样，可在两个方向上进行通信。
[0050]远程通信网络199可为可在其上传输图像和其他数据的任何类型的远程通信网络，包括但不限于有线和无线网络、蜂窝网络、TCP(传输控制协议)/IP(互联网协议)网络以及其他计算机网络。远程通信网络199可在任何类型的传输信道上通信并且在源远程通信设备110与目标远程通信设备140之间的路径中可包括相同或不同类型的多个网络。
[0051]远程通信设备可为适用于在远程通信网络199上通信的任何设备，通常具有适用于该类型远程通信网络199的网络接口。
[0052]远程通信设备可为移动远程通信设备，所述移动远程通信设备与远程通信网络199无线地通信，所述远程通信网络199为无线的，例如为远程通信设备与其无线地通信的蜂窝网络(包括基站)或无线计算机网络诸如WiFi。当然，此类无线网络可包括有线传输路径，例如如常规的那样，在蜂窝网络中的基站之间的有线传输路径。虽然这不是限制性的，但就移动远程通信设备而言，所述设备自身具有有限的尺寸以实现便携性，例如具有移动智能电话或平板电脑所特有的尺寸。
[0053]下文所述的实施例涉及远程会议方法，其中所捕获并显示的图像是视频图像。
[0054]描述了用于传送在远程通信系统中实施的图像的一些具体方法，所述远程通信系统是指以标签“源”和“目标”提及的远程通信设备，其中从源远程通信设备传输到目标远程通信设备的图像称为“输送”图像，并且在从目标远程通信设备到源远程通信设备的相反方向上传输的图像称为“返回”图像。这些标签仅用于提供对用于传送图像的方法的清晰说明。该相同方法可应用于在逆向方向上传送图像，在这种情况下，标签“源”、“目标”、“输送”和“返回”颠倒。在该方法双向地应用的情况下，标签“源”和“目标”可应用于这两个远程通信设备，具体取决于需考虑的通信方向。
[0055]下文所述的实施例包括共同的各种元件。此类共同元件被给予相同附图标记，并且为简洁起见，对其的说明不再重复，但应当理解为适用于其中存在共同元件的所有实施例，可以对这些实施例进行任何随后所述的修改。
[0056]图1是示意图，其示出了远程通信系统的源远程通信设备110和目标远程通信设备140的正视图，所述目标远程通信设备140包括单相机144。源远程通信设备110包括单相机114和显示设备112，所述显示设备112由源观察者