【技术领域】
本公开总体上涉及基于计算机的交互式体验,并且更具体地,涉及用于虚拟现实(virtualreality,简写为vr)和增强现实(augmentedreality,简写为ar)的头戴式显示器(hmd)上的相机视图合成。
背景技术:
除非本文另有说明,否则本部分中描述的方法不是下面列出的权利要求的现有技术,并且不包括在本部分中作为现有技术。
在vr和ar应用程序中,用户通常会佩戴hmd以在计算机模拟环境(对于vr)或现实环境(对于ar)中进行交互体验。当将hmd戴在用户的头上时,通常将hmd的头戴件戴在用户的眼前,并且将显示装置布置在用户的眼前,以显示用于vr/ar的视觉效果。因此,由于hmd的一部分戴在用户的眼前,因此用户无法直接观看用户面前被遮挡的场景。
技术实现要素:
以下概述仅是说明性的,并不旨在以任何方式进行限制。也就是说,提供以下概述以介绍本文描述的新颖和进步的技术的概念、要点、益处和优点。下面在详细描述中进一步描述选择实现。因此,以下发明内容并非旨在标识所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。
根据本发明的一个实施例,提供了一种视图合成方法,包括:从布置在头戴式显示器(hmd)周围的多个追踪相机接收在该hmd的第一侧上的场景的图像数据;以及使用与该场景有关的该图像数据和深度信息执行视图合成,以产生从与该hmd的该第一侧相对的第二侧的观看位置观看该场景的透视效果。
根据本发明的一个实施例,提供了一种视图合成装置,包括头戴式显示器(hmd),包括:用户可佩戴在用户头部上的头戴件;以及多个追踪相机,设置在该头戴件周围;以及处理器,在操作过程中执行以下操作:从该多个追踪相机接收在该hmd的第一侧上的场景的图像数据;以及使用与该场景有关的该图像数据和深度信息执行视图合成,以产生从与该hmd的该第一侧相对的第二侧的观看位置观看该场景的透视效果。
本发明的视图合成方法及相应装置可以合成被遮挡的场景的图像。
【附图说明】
包括附图以提供对本公开的进一步理解,并且附图被并入并构成本公开的一部分。附图示出了本公开的实施方式,并且与说明书一起用于解释本公开的原理。可以理解的是,附图不一定按比例绘制,因为为了清楚地说明本公开的概念,一些部件可能被示出为与实际实施中的尺寸不成比例。
图1示出了根据本公开的实施方式的示例设计。
图2示出了根据本公开的实施方式的示例设计。
图3示出了根据本公开的实施方式的示例设计。
图4示出了根据本公开的实施方式的示例设计。
图5示出了根据本公开的实施方式的示例设计。
图6示出了根据本公开的实施方式的相机视图合成的示例场景。
图7示出了根据本公开的实施方式的示例装置。
图8示出了根据本公开的实施方式的示例过程。
【具体实施方式】
以下描述是实现本发明的最佳方案。进行该描述是为了说明本发明的一般原理,而不应被视为具有限制意义。本发明的范围通过参考所附权利要求确定。
本文公开了所要求保护的主题的详细实施例和实施方式。然而,应该理解的是,所公开的实施例和实现仅仅是对要求保护的主题的说明,其可以以各种形式体现。然而,本公开可以以许多不同的形式实施,并且不应该被解释为限于这里阐述的示例性实施例和实施方式。而是,提供这些示例性实施例和实现方式,使得本公开的描述是彻底和完整的,并且将向本领域技术人员充分传达本公开的范围。在以下描述中,可以省略公知特征和技术的细节以避免不必要地模糊所呈现的实施例和实现。
在根据本公开的各种解决方案、计划、概念和设计下,可以利用安装或以其他方式围绕hmd放置的两个或更多个侧面或追踪相机(trackingcamera)来产生一个或更多个正面透视(frontalsee-through)相机的观看效果。例如,通过对来自侧面或追踪相机的图像数据的视图合成(viewsynthesis),可以获得类似于多个正面透视相机生成的立体图像。可替代地,通过对来自侧面或追踪相机的图像数据的视图合成,可以获得类似于由单个正面透视相机生成的非立体图像。
图1示出了根据本公开的实施方式的示例设计100。图1的部分(a)示出了设计100,图1的部分(b)示出了设计100的俯视图。在设计100中,头戴件110可具有围绕头戴件110的轮廓安装或以其他方式设置的多个侧面或追踪相机
图2示出了根据本公开的实施方式的示例设计200。图2的部分(a)示出了设计200,图2的部分(b)示出了设计200的俯视图。在设计200中,头戴件210可以具有围绕头戴件210的轮廓安装或以其他方式设置的多个侧面或追踪相机
图3示出了根据本公开的实施方式的示例设计300。在设计300中,头戴件310可具有围绕头戴件310的轮廓安装或以其他方式布置的多个侧面或追踪相机
在设计300中,侧面或追踪相机
图4示出了根据本公开的实施方式的示例设计400。在设计400中,头戴件410可具有围绕头戴件410的轮廓安装或以其他方式布置的多个侧面或追踪相机
在设计400中,侧面或追踪相机
图5示出了根据本公开的实施方式的示例设计500。在设计500中,头戴件510可具有围绕头戴件510的轮廓安装或以其他方式设置的多个侧面或追踪相机
在设计500中,侧面或追踪相机
图6示出了根据本公开的实施方式的相机视图合成的示例场景600。在场景600中,多个侧面相机或追踪相机
图7示出了根据本公开的实施方式的示例装置700。装置700可执行各种功能以实现本文描述的关于vr和ar的相机视图合成的方案、技术、过程和方法,包括上文关于上述各种提议的设计概念、方案、系统和方法描述的各种方案,包括上述的设计100、设计200、设计300、设计400、设计500、场景600以及以下所述的过程800。此外,装置700可以是设计100、设计200、设计300、设计400、设计500和场景600中的一个或多个的示例实现。
装置700可以包括hmd730和处理器740。hmd730可包括头戴件710以及多个侧面或追踪相机
在一些实施方式中,处理器740可以以一个或多个集成电路(ic)芯片的形式实现,例如但不限于,一个或多个单核处理器、一个或多个多核处理器,或一个或多个复杂指令集计算(cisc)处理器。因此,即使在本文中使用单数术语“处理器”来指代处理器740,根据本公开,处理器740在一些实施方式中可包括多个处理器,而在其他实施方式中可包括单个处理器。在另一方面,处理器740可以以具有电子组件的硬件(以及可选地,固件)的形式实现,该电子组件包括例如但不限于一个或多个晶体管、一个或多个二极管、一个或多个电容器、一个或多个电阻器、一个或多个电感器、一个或多个忆阻器和/或一个或多个变容二极管,其被配置和布置为实现根据本公开的特定目的。换句话说,在至少一些实施方式中,根据本公开的各种实施方式,处理器740可以是专门设计、布置和配置为执行特定任务的专用机器,该特定任务包括与用于vr和ar的相机视图合成有关的那些任务。
在根据本公开的提议方案下,处理器740或isp750可以从围绕hmd730的头戴件710放置的侧面或追踪相机
在一些实施方式中,在执行视图合成以产生从hmd的第二侧上的观看位置观看场景的透视效果时,处理器740可以执行一些操作。例如,处理器740可以选择多个预定观察位置之一,每个预定观察位置是固定位置。另外,处理器740可以从多个预先定义观看位置中所选择的一个合成出观看场景。
在一些实施方式中,在执行视图合成以产生在hmd的第二侧上观看场景的透视效果时,处理器740可以生成具有通过hmd730的第一侧的一个或多个透视相机来观看场景的效果的场景图像,该图像的位置与佩戴hmd730的用户的眼睛相对应。
在一些实现中,在执行视图合成以生成在hmd的第二侧上观看场景的透视效果时,处理器740可以通过执行基于深度图像的渲染(dibr)和空洞填补来合成出经由在hmd730的第一侧上的一个或多个透视相机来观看的场景。
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,处理器740可执行附加操作。例如,处理器740可以使用来自多个追踪相机的图像数据生成深度信号。此外,处理器740可以基于深度信号确定深度信息。
图8示出了根据本公开的实施方式的示例过程800。过程800可以表示实现上述各种提议的设计、概念、方案、系统和方法的方面的一部分,无论是部分还是全部,包括设计100、设计200、设计300、设计400、设计500和场景600。800可以代表与用于vr和ar的相机视图合成有关的所提出的概念和方案的一方面。过程800可以包括如块810和820中的一个或多个所图示的一个或多个操作、动作或功能。尽管被示为离散的块,但是过程800的各个块可以被划分为附加的块、组合成更少的块或被消除,具体取决于所需的实现。此外,可以以图8中所示的顺序或以其他顺序执行过程800的块/子块。此外,过程800的一个或多个块/子块可以迭代地执行。过程800及其装置的任何变型可以由装置700实现或在装置700中实施。仅出于说明性目的并且不限制范围,下面在装置700的上下文中描述过程800。过程800可以在块810处开始。
在810处,过程800可涉及装置700的处理器740或装置700的isp750从围绕hmd730的头戴件710放置的侧面或追踪相机
在820处,过程800可以包括处理器740使用与场景有关的图像数据和深度信息执行视图合成,从hmd730的与第一面相对的第二面(例如,背面)的观看位置观看场景的透视效果。
在一些实施方式中,在执行视图合成以产生从hmd730的第二侧上的观看位置观看场景的透视效果时,过程800可以涉及处理器740执行一些操作。例如,过程800可以涉及处理器740选择多个预定观看位置之一,每个预定观看位置是固定位置。另外,过程800可以包括处理器740,其从多个预定观看位置中所选择的一个合成观看场景。
在一些实现中,在执行视图合成以生成在hmd730的第二侧上观看场景的透视效果时,过程800可以涉及处理器740生成具有通过hmd730的第一侧的一个或多个透视相机来观看场景的效果的场景图像,该图像的位置与佩戴hmd730的用户的眼睛相对应。
在一些实施方式中,在执行视图合成以生成在hmd730的第二侧上观看场景的透视效果时,过程800可以涉及处理器740通过执行基于深度图像的渲染(dibr)和空洞填补来合成出经由在hmd730的第一侧上的一个或多个透视相机来观看的场景。
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,侧面或追踪相机
在一些实施方式中,过程800可以涉及处理器740执行附加操作。例如,过程800可以涉及处理器740使用来自多个追踪相机的图像数据生成深度信号。此外,过程800可以涉及处理器740基于深度信号确定深度信息。
文中描述的主题有时示出了包含在其它不同部件内的或与其它不同部件连接的不同部件。应当理解:这样描绘的架构仅仅是示例性的,并且,实际上可以实施实现相同功能的许多其它架构。在概念意义上,实现相同功能的部件的任何布置是有效地“相关联的”,以使得实现期望的功能。因此,文中被组合以获得特定功能的任意两个部件可以被视为彼此“相关联的”,以实现期望的功能,而不管架构或中间部件如何。类似地,这样相关联的任意两个部件还可以被视为彼此“可操作地连接的”或“可操作地耦接的”,以实现期望的功能,并且,能够这样相关联的任意两个部件还可以被视为彼此“操作上可耦接的”,以实现期望的功能。“操作上可耦接的”的具体示例包含但不限于:物理地可联结和/或物理地相互、作用的部件、和/或无线地可相互作用和/或无线地相互作用的部件、和/或逻辑地相互作用的和/或逻辑地可相互作用的部件。
此外,关于文中基本上任何复数和/或单数术语的使用,只要对于上下文和/或应用是合适的,本领域技术人员可以将复数变换成单数,和/或将单数变换成复数。
本领域技术人员将会理解,通常,文中所使用的术语,特别是在所附申请专利范围(例如,所附申请专利范围中的主体)中所使用的术语通常意在作为“开放性”术语(例如,术语“包含”应当被解释为“包含但不限干”,术语“具有”应当被解释为“至少具有”,术语“包含”应当被解释为“包含但不限干”等)。本领域技术人员还将理解,如果意在所介绍的申请专利范围陈述对象的具体数目,则这样的意图将会明确地陈述在权利要求书中,在缺乏这样的陈述的情况下,不存在这样的意图。例如,为了帮助理解,所附权利要求可以包含使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求陈述对象。然而,这样的短语的使用不应当被解释为:用不定冠词“一个(a或an)”的权利要求陈述对象的介绍将包含这样介绍的权利要求陈述对象的任何权利要求限制为只包含一个这样的陈述对象的发明,即使在同一权利要求包含介绍性短语“一个或更多个”或“至少一个”以及诸如“一个(a)”或“一个(an)”之类的不定冠词的情况下(例如,“一个(a)”和/或“一个(an)”应当通常被解释为意味着“至少一个”或“一个或更多个”)也如此;上述对以定冠词来介绍权利要求陈述对象的情况同样适用。另外,即使明确地陈述了介绍的权利要求陈述对象的具体数目,但本领域技术人员也会认识到:这样的陈述通常应当被解释为意味着至少所陈述的数目(例如,仅有“两个陈述对象”而没有其他修饰语的陈述通常意味着至少两个陈述对象,或两个或更多个陈述对象)。此外,在使用类似于“a、b和c中的至少一个等”的惯用语的情况下,通常这样的结构意在本领域技术人员所理解的该惯用语的含义(例如,“具有a、b和c中的至少一个的系统”将包含但不限于具有单独的a、单独的b、单独的c、a和b—起、a和c一起、b和c一起和/或a、b和c一起的系统等)。在使用类似于“a、b或c中的至少一个等”的惯用语的情况下,通常这样的结构意在本领域技术人员所理解的该惯用语的含义(例如,“具有a、b或c中的至少一个的系统”将包含但不限于具有单独的a、单独的b、单独的c、a和b—起、a和c一起、b和c一起和/或a、b和c一起的系统等)。本领域技术人员将进一歩理解,不管在说明书、权利要求书中还是在附图中,表示两个或更多个可替换的术语的几乎任意析取词和/或短语应当理解成考虑包含术语中的一个、术语中的任一个或所有两个术语的可能性。例如,短语“a或b”应当被理解成包含“a”、“b”、或“a和b”的可能性。
尽管已经在文中使用不同的方法、装置以及系统来描述和示出了一些示例性的技术,但是本领域技术人员应当理解的是:可以在不脱离所要求保护的主题的情况下进行各种其它修改以及进行等同物替换。此外,在不脱离文中描述的中心构思的情况下,可以进行许多修改以使特定的情况适应于所要求保护的主题的教导。因此,意在所要求保护的主题不限制于所公开的特定示例,而且这样的要求保护的主题还可以包含落在所附权利要求的范围内的所有实施及它们的等同物。