图像处理系统和方法与流程

本发明说明书主要有关于一图像处理技术，特别有关于通过虚拟现实(virtualreality，vr)头戴式显示装置直接显示direct3d及opengl的内容的图像处理技术，尤其涉及一种图像处理系统和方法。

背景技术：

随着科技的进步，图像的显示技术也日亦演进。虚拟现实(virtualreality，简称vr)是一种利用电脑科技模拟出虚拟的三度空间的显示技术。使用者可通过专用的穿戴装置(例如：头盔、眼镜)，通过视觉让使用者有身临其境的感觉。

然而，目前的虚拟现实头盔所显示的显示内容，都是利用开发商自行开发的开发平台来进行开发。因此，目前的虚拟现实头盔并无法支持直接显示direct3d及opengl的内容的画面。然而，由于目前大部分的3d软件及3d游戏都是基于direct3d及opengl这两种引擎来进行开发。因此，若虚拟现实头盔无法支持直接显示direct3d及opengl的内容的画面，虚拟现实头盔所显示的显示内容将会受到限制。

技术实现要素：

有鉴于上述现有技术的问题，本发明提供了通过虚拟现实(vr)头戴式显示装置直接显示direct3d及opengl的内容的图像处理系统和方法。

根据本发明的一实施例提供了一种图像处理系统，上述图像处理系统包括一头戴式显示装置，以及一图像处理装置。图像处理装置包括一处理器，处理器会将上述头戴式显示装置的设定信息传送给一画面驱动程序，上述画面驱动程序从一使用者模式驱动程序取得一3d数据，且根据上述设定信息以及上述3d数据，产生一左眼画面以及一右眼画面；上述处理器将上述左眼画面以及上述右眼画面传送给上述头戴式显示装置，且上述头戴式显示装置根据上述左眼画面以及上述右眼画面显示一显示画面。

在一些实施例中，上述设定信息包括一瞳距信息、一视角信息以及一视野信息。

在一些实施例中，上述3d数据由direct3d及opengl技术所产生。

在一些实施例中，上述画面驱动程序包括一程序库，且上述画面驱动程序载入上述程序库所包含的文件，将上述3d数据和上述设定信息转换成对应上述头戴式显示装置的左眼画面和右眼画面。

根据本发明的一实施例提供了一种图像处理方法。上述图像处理方法包括：将一头戴式显示装置的设定信息传送给一画面驱动程序；从一使用者模式驱动程序取得一3d数据；根据上述设定信息以及上述3d数据，产生一左眼画面以及一右眼画面；将上述左眼画面以及上述右眼画面传送给上述头戴式显示装置；以及根据上述左眼画面以及上述右眼画面，在上述头戴式显示装置上显示一显示画面。

通过本发明的上述实施例提供的图像处理系统和方法，虚拟现实头盔将可直接显示direct3d及opengl技术所产生的显示内容，因而增加虚拟现实头盔可显示内容的相容性。可直接产生对应头戴式显示装置的左眼画面以及右眼画面，因而使得使用者从头戴式显示装置所看到的画面会更加真实。过程中直接通过画面驱动程序从使用者模式驱动程序取得3d数据，将可减少因指令或信号的传输所造成的画面延迟。

关于本发明其他附加的特征与优点，本领域技术人员在不脱离本发明的精神和范围内，当可根据本案实施方法中所公开的装置和方法，做些许的变动与润饰而得到。

附图说明

图1为显示根据本发明的一实施例所述的图像处理系统100的方块图。

图2为根据本发明的一实施例所示的显示驱动操作的示意图。

图3为根据本发明的另一实施例所示的显示驱动操作的示意图。

图4为根据本发明一实施例所述的图像处理方法的流程图400。

附图标记说明：

100图像处理系统；

110图像处理装置；

111处理器；

112显示装置；

120头戴式显示装置；

210direct3d执行程序库；

220opengl执行程序库；

230directx图形界面框架；

240使用者模式驱动程序；

250画面驱动程序；

260directx核心；

270核心模式驱动程序；

400流程图；

a13d应用软件；

a2、a3应用软件；

l1头盔程序库

具体实施方式

本章节所叙述的是实施本发明的最佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围当视后附的权利要求所界定者为准。

图1为显示根据本发明的一实施例所述的图像处理系统100的方块图。如图1所示，图像处理系统100可包含一图像处理装置110，以及一头戴式显示装置(head-mounteddisplay，hmd)120。根据本发明的一实施例，图像处理装置110可包含一处理器111以及一显示装置112。注意地是，在图1中的方块图，仅为了方便说明本发明的实施例，但本发明并不以此为限。图像处理装置110也可包括其他元件。

据本发明的一实施例，图像处理装置110可以是笔记本电脑、一智能手机或一平版电脑，但本发明不以此为限。据本发明的一实施例，显示装置112可为一般显示装置，例如：笔记本电脑屏幕、智能手机屏幕或台式电脑的屏幕，但本发明不以此为限。据本发明的一实施例，头戴式显示装置120可以是一虚拟现实(virtualreality，vr)头盔。当使用者要观看虚拟现实的画面时，可将头戴式显示装置120耦接至图像处理装置110，以从头戴式显示装置120观看虚拟现实的画面。

图2为根据本发明的一实施例所示的显示驱动操作的示意图。在本发明的实施利中，处理器111可用以执行图2所示的显示驱动的相关操作和运算。如图2所示，显示驱动操作可分成应用程序(applications)层、使用者模式(usermode)层，以及核心模式(kernelmode)层。注意地是，在图2中的示意图，仅为了方便说明本发明的实施例，但本发明并不以此为限。

根据本发明的一实施例，在应用程序层中包含了所要执行的应用程序，例如：3d应用程序a1和应用程序a2。

根据本发明的一实施例，在使用者模式层可包含一direct3d(d3d)执行程序库(runtimelibrary)210、一opengl执行程序库220、一directx图形界面框架(directxgraphicsinfrastructure(dxgi)framework)230、一使用者模式驱动程序(usermodedriver)240以及一画面驱动程序250。

根据本发明的一实施例，使用者模式驱动程序240可包含一使用者模式显示驱动程序(user-modedisplaydriver)、一opengl可安装客户驱动程序(installableclientdriver)。

根据本发明的一实施例，核心模式层可包含一directx核心(dxgkernel)260以及一核心模式驱动程序(kernelmodedriver)270。

当处理器111执行一3d应用程序a1(例如：一3d游戏)后，可通过d3d和opengl技术产生3d数据。当3d数据为要显示在一般显示装置时，处理器111即可根据传统的图像显示驱动技术，将3d图像投影到显示装置112上。

根据本发明的一实施例，当通过d3d和opengl技术所产生的3d数据为要显示在头戴式显示装置120时，处理器111会执行一应用程序a2，以产生对应头戴式显示装置120的左眼画面和右眼画面。当处理器111应用程序a2后，应用程序a2会将对应头戴式显示装置120的设定信息传送给画面驱动程序250。接着，使用者模式驱动程序240会提供处理器111执行3d应用程序a1后，通过d3d和opengl技术所产生的3d数据给画面驱动程序250。

根据本发明的一实施例，3d数据可包含使用d3d和opengl技术产生3d画面的参数设定、投影相机的位置和方向、以及投影矩阵的信息等。

根据本发明的一实施例，设定信息可包含头戴式显示装置120的所设定的一瞳距信息、一视角信息以及一视野信息，但本发明并不以此为限。

根据本发明的一实施例，当画面驱动程序250取得3d数据和设定信息后，画面驱动程序250会根据3d数据和设定信息直接产生对应头戴式显示装置120的一左眼画面以及一右眼画面。对应头戴式显示装置120的左眼画面和右眼画面产生后，画面驱动程序250会将对应头戴式显示装置120的左眼画面以及右眼画面传送给应用程序a2。接着，应用程序a2会将左眼画面和右眼画面传送给头戴式显示装置120，使用者就可直接通过头戴式显示装置120，看到通过d3d和opengl技术所产生的3d显示画面。

在传统的显示驱动操作中，使用者模式驱动程序240需要先通过directx核心250和核心模式驱动程序270取得显示装置112所显示的截图(bufferframe)，才能将显示装置112所显示的截图转换成头戴式显示装置120所适合显示的图像。然而，在本发明的实施例中，会通过画面驱动程序250会直接从使用者模式驱动程序240取得3d数据。因此，因指令或信号的传输所造成的画面延迟的时间将会减少。

根据本发明的一实施例，画面驱动程序250还包括一程序库(libary)。当画面驱动程序250要产生对应头戴式显示装置120的左眼画面和右眼画面时，会载入程序库所包含的文件，将其所取得的3d数据和设定信息转换成对应头戴式显示装置120的左眼画面和右眼画面。

图3为根据本发明的另一实施例所示的显示驱动操作的示意图。在本发明的实施利中，处理器111可用以执行图3所示的显示驱动的相关操作和运算。注意地是，在图3中的示意图，仅为了方便说明本发明的实施例，但本发明并不以此为限。此外，图3所示的架构和图2类似，因此图3中和图2相同的部分就不再做赘述。

如图3所示，根据本发明的一实施例，应用程序a3可包含一头盔程序库l1。应用程序a3和头盔程序库l1可根据头戴式显示装置120所支持显示的画面格式或显示技术来设计。当应用程序a3从画面驱动程序250取得左眼画面和右眼画面后，应用程序a3会先载入头盔程序库l1，将从画面驱动程序250所取得的左眼画面和右眼画面转换成头戴式显示装置120适用的画面格式。接着，应用程序a3再将转换后的左眼画面和右眼画面提供给头戴式显示装置120。

图4为根据本发明一实施例所述的图像处理方法的流程图400。此图像处理方法适用图像处理装置110。在步骤s410，将头戴式显示装置120的设定信息传送给一画面驱动程序。在步骤s420，从一使用者模式驱动程序取得一3d数据。在步骤s430，根据设定信息以及3d数据，产生一左眼画面以及一右眼画面。在步骤s440，将上述左眼画面以及上述右眼画面传送给头戴式显示装置。在步骤s450，根据上述左眼画面以及上述右眼画面，在头戴式显示装置上显示一显示画面。

通过本发明的图像处理方法，虚拟现实头盔将可直接显示direct3d及opengl技术所产生的显示内容，因而增加虚拟现实头盔可显示内容的相容性。此外，经过本发明的图像处理方法，可直接产生对应头戴式显示装置的左眼画面以及右眼画面，因而使得使用者从头戴式显示装置所看到的画面会更加真实。此外，通过本发明的图像处理方法，会直接通过画面驱动程序从使用者模式驱动程序取得3d数据，因此，将可减少因指令或信号的传输所造成的画面延迟。

本发明的说明书所公开的方法和演算法的步骤，可直接通过执行一处理器直接应用在硬件、软件模块或两者的结合上。一软件模块(包括执行指令和相关数据)和其它数据可储存在数据存储器中，像是随机存取存储器(ram)、快闪存储器(flashmemory)、只读存储器(rom)、可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)、暂存器、硬盘、便携式硬盘、光盘只读存储器(cd-rom)、dvd或在此领域习的技术中任何其它电脑可读取的储存媒体格式。一储存媒体可耦接至一机器装置，举例来说，像是电脑/处理器(为了对其进行说明方便，在本说明书以处理器来表示)，上述处理器可通过来读取信息(像是程序码)，以及写入信息至储存媒体。一储存媒体可整合一处理器。一特殊应用集成电路(asic)包括处理器和储存媒体。一用户设备则包括一特殊应用集成电路。换句话说，处理器和储存媒体以不直接连接用户设备的方式，包含于用户设备中。此外，在一些实施例中，任何适合电脑程序的产品包括可读取的储存媒体，其中可读取的储存媒体包括和一或多个所公开实施例相关的程序码。在一些实施例中，电脑程序的产品可包括封装材料。

本说明书中所提到的“一实施例”或“实施例”，表示与实施例有关的所述特定的特征、结构、或特性是包含根据本发明的至少一实施例中，但并不表示它们存在于每一个实施例中。因此，在本说明书中不同地方出现的“在一实施例中”或“在实施例中”词组并不必然表示本发明的相同实施例。

以上段落使用多种层面描述。显然的，本文的教示可以多种方式实现，而在范例中公开的任何特定架构或功能仅为一代表性的状况。根据本文的教示，任何本领域技术人员应理解在本文公开的各层面可独立实作或两种以上的层面可以合并实作。

虽然本发明已以较佳实施例公开如上，然其并非用以限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，当可作些许的变动与润饰，因此本发明的保护范围当以权利要求所界定的保护范围为准。