视频装置及其三维物件编解码方法与流程

本发明有关于显示装置，特别涉及一种视频装置及其三维物件编解码方法。

背景技术：

近年来，随着科技发展，虚拟实境(virtualreality，vr)及增强实境(augmentedreality，ar)的装置及相关应用也愈来愈普及。一般而言，虚拟实境装置通常包括两个显示器，且各显示器分别播放影像至使用者的左眼及右眼，进而构成3d影像。虚拟实境的视频内容可具有360度的视角(fieldofview，fov)，且具有60hz至90hz的画面更新率。进一步而言，上述的虚拟实境的视频内容通常会包含了三维物件，故所需的文件空间相当大。因此，对于传统的虚拟实境装置来说，其设计的瓶颈会在于传输频宽以及视频文件的储存空间。换言之，传统的虚拟实境装置往往会因为三维物件的视频编码后的视频文件太大，进而造成传输频宽不足，故需要牺牲画面品质，所以会造成使用者体验不佳。

因此，需要一种视频装置及其三维物件编解码方法以降低编码。

技术实现要素：

本发明提供一种视频装置，包括：一存储器；一处理器，用以取得一三维物件，并将该三维物件的多个视角所相应的多张视角影像进行编码以产生一视频流；以及一绘图处理单元，用以对该视频流进行解码以取得该三维物件相应于多个视角的多张视角影像，并将该多张视角影像储存于该存储器；其中该绘图处理单元依据来自一使用者所配戴的一显示装置的一感测信息决定该使用者与该三维物件之间的一相对视角，并从储存于该存储器中的该多张视角影像计算出相应于该相对视角的一输出影像；其中该绘图处理单元还将该输出影像传送至该显示装置进行播放。

在本发明的一实施例中，该三维物件的该多个视角在垂直角度及水平角度等距排列。

在本发明的一实施例中，该处理器将该三维物件的该多张视角影像排列为一二维影像并进行一空间编码以产生该视频流，且该视频流的一元数据记录各视角所对应的各视角影像。

在本发明的一实施例中，在该绘图处理单元取得该多张视角影像后，该绘图处理单元还对该多张视角影像进行一背景去除及影像撷取处理，再将处理后的该多张视角影像储存于该存储器。

在本发明的一实施例中，该绘图处理单元由该多张视角影像中决定最接近该相对视角的一第一视角影像及取得其相邻的一或多张视角影像，并由该第一视角影像及其相邻的该视角影像计算出该输出影像。

本发明还提供一种三维物件编解码方法，用于一视频装置，其中该视频装置包括一处理器及一绘图处理单元，该方法包括：利用该处理器取得一三维物件，并将该三维物件的多个视角所相应的多张视角影像进行编码以产生一视频流；利用该绘图处理单元对该视频流进行解码以取得该三维物件相应于多个视角的多张视角影像；利用该绘图处理单元依据来自一使用者所配戴的一显示装置的一感测信息决定该使用者与该三维物件之间的一相对视角，利用该绘图处理单元从该多张视角影像计算出相应于该相对视角的一输出影像；以及利用该绘图处理单元将该输出影像传送至该显示装置进行播放。

附图说明

图1为显示依据本发明一实施例中的视频系统的方块图。

图2a～2f为显示依据本发明一实施例中的三维物件的视角影像的示意图。

图3a及3b为显示依据本发明一实施例中使用者与三维物件的相对视角的示意图。

图4为显示依据本发明一实施例中的三维物件编解码方法的流程图。

附图标记说明：

10～视频系统；

100～视频装置；

110～处理器；

120～绘图处理单元；

130～存储器；

140～储存装置；

150～传输界面；

160～传输线；

200～显示装置；

210～处理器；

220～存储器；

230～传输界面；

240～左眼显示面板；

241～左眼镜头；

250～右眼显示面板；

251～右眼镜头；

260～感测装置；

270～壳体；

20～使用者；

30～三维物件；

31～中心点；

32～点；

300～圆球区域；

50a、50b～输出影像；

s410－s470～步骤。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合说明书附图，作详细说明如下。

图1为显示依据本发明一实施例中的视频系统的方块图。在一实施例中，视频系统10包括一视频装置100及一显示装置200，其中视频装置100及显示装置200通过一传输线160连接。

在一实施例中，视频装置100可为一运算装置，例如是一个人电脑、智能手机、平板电脑等装置，但本发明并不限于此。视频装置100用以计算欲显示的3d影像(例如包括三维物件)。然而计算而得的三维物件并无法直接进行显示。因此，3d影像需编码为一视频流，并且经由绘图处理绘制产生欲播放的输出影像。其中输出影像经由传输线160传送至显示装置200进行播放，使得使用者可通过显示装置200观看到虚拟实境及3d场景。

视频装置100包括一处理器110、一绘图处理单元120、一存储器130、一储存装置140、以及一传输界面150。处理器110例如是一中央处理器(centralprocessingunit，cpu)，且存储器130例如是一静态随机存取存储器(sram)或一动态随机存取存储器(dram)等等的挥发性存储器。举例来说，处理器110用以计算一三维物件，并将该三维物件的多个视角所相应的视角影像编码为一视频流(或视频文件)。

绘图处理单元120依据处理器110所执行的应用程序的指令以进行相应的绘图处理及视频解码以产生输出影像，其细节将详述于后。

储存装置140用以储存在便携装置上所执行的作业系统、各种应用程序、及显示驱动程序等等。储存装置140例如是一硬盘机、一固态硬盘、一快闪存储器等等的非易失性存储器存储器，但本发明并不限于此。处理器110可将储存于储存装置140中的作业系统及应用程序读取至存储器130并执行。

传输界面150可支援高速的多媒体数据传输，例如可为一多媒体传输界面，例如是高解析度多媒体界面界面(high-definitionmultimediainterface)或是显示端口(displayport)界面界面，但本发明并不限于此。

在一实施例中，绘图处理单元120包括了绘图处理管线(未绘示)，其可对顶点数据(vertexdata)及图元数据(primitivedata)进行曲面细分(tessellation)，并对细分后的数据依序进行顶点处理(vertexprocessing)、几何处理(geometryprocessing)、及像素处理(pixelprocessing)，其中在像素处理时加入材质(texture)，并接着进行像素绘制(pixelrendering)。

此外，绘图处理单元120也可进行视频解码，例如对处理器110所产生的三维物件的视频流进行解码，藉以取得该三维物件的多个视角所相应的多张视角影像。

显示装置200例如可为一虚拟实境显示装置，例如可为一头戴式显示器(head-mounteddisplay，hmd)，用以播放来自视频装置100的视频内容。

在一些实施例中，显示装置200还具有视频解码能力，例如可通过其传输界面界面230接收来自视频装置100的一视频流，并将视频流解码为一视频数据(例如可为立体影像、多视角影像等等)，并在其左眼显示面板240及右眼显示面板250上播放该视频数据。换言之，在此实施例中，显示装置200可用以执行在视频装置100中的视频解码处理。

在一实施例中，显示装置200包括一处理器210、一存储器220、一传输界面界面230、左眼显示面板240及相应的左眼镜头241、右眼显示面板250及相应的右眼镜头251、一感测装置260、一壳体270。处理器210例如可为一中央处理器(cpu)、或一微处理器(microprocessor)等等，但本发明并不限于此。存储器220例如可为一静态随机存取存储器(sram)或一动态随机存取存储器(dram)等等的挥发性存储器，用以储存进行视频解码时的暂存数据以及作为影像缓冲器(imagebuffer)。

传输界面界面230可支援高速的多媒体数据传输，例如可为一多媒体传输界面界面，例如是高解析度多媒体界面界面(high-definitionmultimediainterface)或是显示端口(displayport)界面界面，但本发明并不限于此。

左眼显示面板240及右眼显示面板250可分别接收并播放来自处理器210的视频内容，例如分别为左眼影像及右眼影像。举例来说，左眼显示面板240及右眼显示面板250例如可为一液晶屏幕(lcd)、发光二极管(led)屏幕、有机发光二极管(oled)屏幕，但本发明并不限于此。因此，通过左眼显示面板240以及右眼显示面板250及相应的左眼镜头241及右眼镜头251分别投射左眼影像及右眼影像至使用者的左眼及右眼，故使用者可观看到相应的立体影像，进而感受到虚拟实境(vr)。

感测装置260用以侦测使用者头部的移动及方向，并产生一感测数据。其中该感测数据会回报至处理器210，故处理器210可依据该感测数据计算使用者的眼睛的视角(fov)，并可从该视角决定要显示三维物件所相应的视角影像。举例来说，感测装置260可包括一陀螺仪(gyroscope)及一加速度计(accelerometer)，但本发明并不限于此。

在显示装置200中的元件210～260安置于壳体270之中，且壳体270可包括一束带或其他辅助装置(未绘示)以供使用者戴于头上以通过显示装置200观赏画面。

举例来说，处理器210可通过传输界面界面230接收来自视频装置100的视频内容，并于左眼显示面板及240及右眼显示面板250进行播放。

在本发明中，上述视频流中对于三维物件的编码方式不同于传统方法。更进一步而言，由绘图处理单元120所进行的三维物件均是由多个多边形(polygon)及材质(texture)所组成。传统的影像/视频压缩方法会直接用于材质影像及物件形状(objectshape)。然而，对于虚拟实境应用来说，所需的计算量比一般的视频压缩高出非常多，主要是在虚拟实境装置中，使用者的眼睛相当靠近显示面板，故可感受到的影像细节也愈多，若因为传输频宽的考量而牺牲影像品质，使用者很容易就可感觉到，进而造成使用者体验不佳。

另外，传统方法的另一个限制在于使用性。使用者产生的影像内容需要特定的软件及处理方式，虽然可使用已存在的影像来简化其流程，但仍需要额外的中间步骤以产生三维模型(3dmodel)，且仍使用影像绘制(imagerendering)的步骤以产生虚拟实境的视角影像。

在本发明中，视频装置100简化了在产生虚拟实境影像中绘制三维物件的流程，例如利用三维物件在不同视角的多张视角影像(二维影像)来取代原本的三维物件。需了解的是，在每一特定时间点，使用者观看该三维物件均只会看到该三维物件的其中一个视角影像。随着使用者与该三维物件之间的相对视角不同，使用者所看到的三维物件的视角影像也随着不同。

更进一步而言，视频装置100例如同时为一编码端及解码端。在处理器110绘制三维物件时，会先将预先建立的该三维物件的多个视角影像(例如可为点阵图或jpeg的格式的二维影像)进行编码，例如可先将该多个视角影像先进行排列成一整合影像再对该整合影像进行帧内编码(spatialencoding)，或是可分别将各个二维影像。因此，在编码后所产生的视频流(可储存为一视频压缩文件)即已包括该三维物件的各个视角的视角影像，且该三维物件的各视角及其相应的视角影像的信息均储存于所产生的视频流中的元数据(metadata)或标头信息(headerinformation)。因此，视频装置100中的绘图处理单元120则不需像传统方法一样先计算三维模型并再将三维模型绘制于输出影像。

更进一步而言，整合影像的大小与该三维物件的视角数量及原始视角影像的解析度有关。当视角数量愈多或是视角影像的解析度愈高，整合影像也就愈大。然而，对于较小的视角数量而言，对整合影像所产生的视频流远比对该三维物件进行编码所产生的视频流还小。

承上述实施例，视频装置100中的绘图处理单元120，例如为一解码端，会读取处理器110所产生的视频流的元数据，并可分析出目前的视频流是利用多个视角影像来取代三维物件的编码方式。接着，绘图处理单元120则可对该视频流进行解码以取得该三维物件相关的多个视角影像，并将该多个视角影像储存至存储器130中。

在一些实施例中，在取得该三维物件相关的多个视角影像之后，绘图处理单元120还可对该多个视角影像进行额外的影像处理，例如是背景去除(backgroundremoving)或影像截取(imagecropping)。

接着，绘图处理单元120会从感测装置260中取得显示装置200的感测数据，藉以判断使用者与该三维物件之间的一相对视角，并依据该相对视角从该多个视角影像中选择相应的视角影像以作为输出影像。在一些实施例中，绘图处理单元120则再将所选择的视角影像与相应的背景及材质进行影像绘制以产生输出影像(例如包括左眼影像及右眼影像)。

在一些实施例中，绘图处理单元120不需从感测装置260中取得显示装置200的感测数据，而是执行一立体投影法(stereoscopicprojectionmethod)以辨识出各个视角的方向以及计算出相对视角，但此方法中绘图处理单元120需要较高的运算能力以读取相关的影像数据。

需注意的是，在处理器110进行三维物件的多个视角影像的编码时，因为会设定一合理的视角数量以节省编码产生的视频流的长度。绘图处理单元120在依据使用者与该三维物件之间的一相对视角在选择相应的视角影像时，该相对视角并不一定可刚好对应三维物件中的一特定视角影像。因此，在考量到存储器频宽的情况下，绘图处理单元120读取与该相对视角最接近的一视角影像及其相邻的一或多视角影像，并进行内插以产生输出影像。

图2a～2f为显示依据本发明一实施例中的三维物件的视角影像的示意图。

在图2a～2f中绘示了三维物件280的不同视角所相应的视角影像。举例来说，三维物件280例如为一立方体，且6个表面均有不同的颜色。在图2a及图2b为分别绘示了三维物件280的俯视(topview)图及仰视(bottomview)图。

图2c～2f为分别表示在三维物件280在四个不同方向的斜视图。举例来说，对于使用者而言，在三维物件280的斜上方的不同视角会观看到不同的视角影像，即例如图2c～2f所示，且不同的视角影像均是二维影像。

需注意的是，为了便于说明，在此实施例中仅用6个视角影像来表示三维物件的不同视角。本发明领域中技术人员当可了解可随着实际情况以调整三维物件的视角影像的数量。

图3a及图3b为显示依据本发明一实施例中使用者与三维物件的相对视角的示意图。

如图3a所示，使用者20戴着显示装置200，且在使用者的视线对准三维物件30。举例来说，若以三维物件30的中心点31为准定义一圆球区域300，且点32在水平平面是定义为0度角。使用者的视线与该中心点31的水平平面的夹角(即倾角)为且其水平夹角为θ。因此，可定义此时的使用者与三维物件之间的相对视角为此时，使用者20可通过显示装置200观看到相应于相对视角的输出影像50a。

如图3b所示，当使用者20的头部往上移动(例如使用者站立起来)且其视线仍然对准三维物件30时，使用者的视线与该中心点31的水平平面的夹角(即倾角)增加为但其水平夹角仍然维持在θ。因此，可定义此时的使用者与三维物件之间的相对视角为此时，使用者20可通过显示装置200观看到相应于相对视角的输出影像50b。

需注意的是，使用者20所看到的输出影像50a或50b，均可能是由最接近相对视角的视角影像及其相邻的视角影像进行内插计算而得。

表1-1及表1-2显示本发明一实施例中的水平夹角及倾角的不同组合。

表1-1

表1-2

在表1-1及表1-2的实施例中，三维物件的视角变化可在水平轴及垂直轴上每45度角均设定一视角，且水平夹角θ的范围为0至360度，倾角的范围为-90度至90度。

更进一步而言，在倾角为90度或-90度时，即表示使用者是从三维物件的正上方及正下方观看该三维物件。在使用者较常观看的倾角可设定为45度、0度、及-45度，水平夹角则是每隔45度角均可设定。因此，可得出表1-1及表1-2的不同相对视角的组合。例如相对视角的集合c1表示水平夹角为0度，集合c2表示水平夹角为45度，依此类推。上述的相对视角的信息在其相应的视角影像在处理器110进行编码时均会记录于视频流或影像档的元数据中。

在一些实施例中，本发明可针对不同的视角来设定不同数量的视角影像。举例来说，三维物件的正上方及正下方这两个角度比较不会被使用者观看到，反而是斜上方及斜下方的角度(例如倾角为45度及-45度)较容易被使用者观看到。例如，在正上方及正下方的视角影像仅分别需设定一张视角影像，但在斜上方及斜下方的视角则很容易被使用者观看到，因此可针对斜上方及斜下方的视角分割为更多的视角数量，例如可在倾角为45度时，在水平夹角分为12个角度，即每30度一个水平夹角。类似地，可在倾角为-45度时，在水平夹角同样分为12个角度，即每30度一个水平夹角。

在一些实施例中，三维物件可能具有特定的标准形状，例如是立方体(cube)可用6个视角的视角影像来表示，二十面体(icosahedron)则可用20个视角的视角影像来表示，其中每个视角在垂直角度的间隔是相等的(equidistant)，且在水平角度的间隔也是相等的。

图4为显示依据本发明一实施例中的三维物件编解码方法的流程图。

在步骤s410，利用处理器110取得一三维物件。举例来说，该三维物件可以是视频装置100计算而得的三维模型，或是实际的三维物体。

在步骤s420，利用处理器110建立该三维物件的多个视角影像，其中各视角影像对应于观看该三维物件的一视角。

在步骤s430，利用处理器110对该多个视角影像进行编码以产生一视频流，其中该视频流的元数据(metadata)记录了各视角影像所相应的该视角。

在步骤s440，利用绘图处理单元120对该视频流进行解码以得到该多张视角影像。举例来说，绘图处理单元120依据该视频流的元数据对该视频流进行解码以得到该多张视角影像。此外，绘图处理单元120可选择性地对该多张视角影像进行影像处理，例如是背景去除或影像撷取，并将处理后的视角影像储存于存储器130。

在步骤s450，利用绘图处理单元120计算一使用者与该三维物件之间的一相对视角。举例来说，绘图处理单元120可依据来自感测装置260的感测信息以计算该相对视角，也可利用立体投影法计算该相对视角。在一些实施例中，计算相对视角的运算可由处理器110进行，且处理器110通知绘图处理单元120该相对视角的信息。

在步骤s460，利用绘图处理单元120从该多张视角影像中决定相应于该相对视角的一第一视角影像。

在步骤s470，利用绘图处理单元120依据该第一视角影像产生一输出影像，并将该输出影像传送至显示装置200进行播放。举例来说，该输出影像可包括一左眼影像及一右眼影像，其分别于左眼显示面板240及右眼显示面板250进行播放，通过左眼镜头214及右眼镜头251而聚焦于使用者的左眼及右眼，故使用者可通过显示装置200观看到虚拟实境影像或立体影像。

综上所述，本发明提供一种视频系统及其三维物件编解码方法，其可将虚拟实境中的三维物件利用其在不同视角的视角影像来表示，且在编码端是对三维物件的视角影像进行编码而非直接对三维物件进行编码，故能大幅编码所产生的视频流的大小，并节省编码端与解码端进行运算时所需的存储器频宽。此外，在解码端也仅需依据视频流的元数据(metadata)对视频流解码以得到三维物件的各个视角影像。解码端也可依据使用者与三维物件的相对视角从三维物件的视角影像中选择相应的一者以作为输出影像。因此，对于虚拟实境装置而言，在编码端与解码端所需的运算也大幅减少，而且也能节省运算所需的存储器频宽。

本发明虽以较佳实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可做些许的变动与润饰，因此本发明的保护范围当以所附的权利要求所界定者为准。