立体影像的无线传输系统、方法及其装置与流程

本发明涉及一种结合无线通信的影像传输技术，且特别涉及一种立体影像的无线传输系统、方法及其装置。

背景技术：

现今的3D影像呈现技术可让使用者在立体影像中选择不同视角来欣赏，以选择性地欣赏到立体影像中在不同视角的视听感官效果。例如，在观看以3D影像呈现的足球节目时，使用者可以选择许多角度来作为观赏球赛的视角(例如，相对于足球的前方、后方、左方、右方…等)，藉以享受在不同位置观看球赛的乐趣。3D影像呈现技术通常会结合特定物件或风景在不同视角上所呈现的多张2D图像以产生3D立体影像，并通过3D影像的硬件显示技术以在人眼呈现出立体的物件或风景。

然而，无论是多张2D影像或是3D立体影像所形成的影像串流，皆需占用较大的网络频宽来传输。当多个使用者装置皆希望能够通过无线通信技术来呈现同一个但具备不同视角的3D立体影像时，由于每个使用者装置想要接收不同视角的3D立体影像，虽然可将全部的平面视像全部传送给使用者，但这样既浪费频宽也毫无传输效率可言。为了节省频宽且提升传输效率，通常会依据不同视角来对这些使用者装置提供不同的影像串流。然而，基于无线通信技术的频宽限制，当有多台使用者装置同时在无线网络上接收同一个但具备不同视角的3D立体影像串流时，便有可能发生传输延迟。

因此，若想要以无线通信技术来让多个使用者装置同时收看同一个但不同视角的3D立体影像的话，则可能需要解决影像串流占用频宽的问题，否则难以实时性地让这些使用者装置同时呈现立体影像。

技术实现要素：

本发明提供一种立体影像的无线传输系统、方法及其装置，可在多个使用者装置同时通过无线通信协议观看特定立体影像串流时能够减少网络传输量，降低在传输立体影像串流所占用的频宽。

本发明一实施例的立体影像的无线传输系统包括无线传输装置以及多个使用者装置。所述使用者装置与所述无线传输装置相互通信。每个使用者装置用以接收对应使用者视角的立体影像串流，所述立体影像串流由多个视角的多个平面视像所组成。所述无线传输装置分别获得每个使用者装置中所述立体影像串流相对应的所述使用者视角以及调变类型，依据所述使用者装置的所述使用者视角而从所述视角中选择多个传输视角，并通过调整所述使用者装置的所述调变类型以分别传送对应所述传输视角的所述立体影像串流至相对应的所述使用者装置。

在本发明的一实施例中，当所述使用者装置的所述使用者视角并未属于这些传输视角其中之一时，所述使用者装置接收与所述使用者视角相邻的这些传输视角所对应的这些立体影像串流，并通过与所述使用者视角相邻的这些传输视角所对应的这些立体影像串流来进行影像差补，以产生对应所述使用者视角的所述立体影像串流。

本发明一实施例的立体影像的无线传输方法包括下列步骤。与多个使用者装置相互通信，以分别获得每个使用者装置中立体影像串流相对应的使用者视角以及调变类型。每个使用者装置用以接收对应所述使用者视角的所述立体影像串流，所述立体影像串流由多个视角的多个平面视像所组成。依据所述多个使用者装置的多个使用者视角而从这些视角中选择多个传输视角。以及，通过调整这些使用者装置的所述调变类型以分别传送对应这些传输视角的立体影像串流至相对应的使用者装置。

本发明一实施例的立体影像的无线传输装置包括无线传输模块以及控制单元。无线传输模块与多个使用者装置相互通信。每个使用者装置用以接收对应使用者视角的立体影像串流，且所述立体影像串流由多个视角的多个平面视像所组成。控制单元耦接所述无线传输模块。所述控制单元通过所述无线传输模块以分别获得每个使用者装置中立体影像串流相对应的使用者视角以及调变类型，依据这些使用者装置的这些使用 者视角而从这些视角中选择多个传输视角，并通过调整这些使用者装置的所述调变类型以分别传送对应这些传输视角的所述立体影像串流至相对应的这些使用者装置。

基于上述，本发明实施例可在多个使用者装置同时通过无线通信协议观看具有多个视角的特定立体影像串流时，无线传输装置将会统整每个使用者装置对于此特定立体影像串流的使用者视角以选择出必须传输的传输视角及其对应的特定立体影像串流。想要接收传输视角(也就是，使用者视角属于多个传输视角其中之一)的使用者装置可直接接收此传输视角相对应的特定立体影像串流，而部分的使用者装置可接收到相对于其的使用者视角的相邻视角的特定立体影像串流，并利用影像差补技术来自行产生使用者视角的特定立体影像串流。因此，本发明实施例所述的立体影像的无线传输系统、方法及其装置可在不影响立体影像串流的解析度的情况下通过影像差补技术来让多台使用者装置皆可获得所需的立体影像串流，有效地减少网络传输量并降低在传输立体影像串流所占用的频宽。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图作详细说明如下。

附图说明

图1是依照本发明一实施例的一种立体影像的无线传输系统的示意图。

图2是依照本发明一实施例中其中一个使用者装置的功能方块图。

图3是依照本发明一实施例中使用者装置UE1～UE13欲获得的立体影像串流的使用者视角以及所采用的调变类型的示意图。

图4是依照本发明一实施例中经由无线传输装置调整后提供给使用者装置UE1～UE13的传输视角以及所采用的调变类型的示意图。

图5是依照本发明一实施例的立体影像的无线传输方法的流程图。

图6是依照本发明一实施例的图5步骤S530的详细流程图。

图7是图6步骤S690中待分析视角以及已被使用者选择的视角的示意图。

附图标记说明：

100：立体影像的无线传输系统

110：无线传输装置

210：无线通信模块

220：处理单元

230：影像差补模块

240：3D影像呈现设备

UE1～UE13：使用者装置

V1～V16：视角

VT1～VT6：传输视角

S510～S530、S610～S690：步骤

R1～R3：范围

具体实施方式

图1是依照本发明一实施例的一种立体影像的无线传输系统100的示意图。无线传输系统100可包括无线传输装置110以及多个使用者装置UE1～UE13。于本实施例中，每个使用者装置UE1～UE13皆与无线传输装置110相互通信。无线传输装置110可以是符合一无线通信协议的无线基地台，或是位于网络云端的服务器设备。此无线通信协议可以是WIFI协议、ZigBee协议、蓝牙协议或是可使单一基地台同时与多台使用者装置相互通信的协议。

使用者装置UE1～UE13可以例如是智能移动终端、平板电脑、笔记本电脑、掌上型游乐装置等消费型电子设备，其具备与无线传输装置110相互通信的功能且同时具有可呈现3D影像的硬件(如穿戴式3D眼镜、裸视3D技术…等硬件设备)。

于本实施例中，在此假设无线传输装置110可提供有多个视角的立体影像串流。立体影像串流通常由多个视角的多个平面视像(view)所组成。一般来说，由于每个视角所观赏到的立体影像都会略有差异，因此每个视角的立体影像串流都会分别独立地传输给所需的使用者装置UE1～UE13，或是将此立体影像串流中每个视角所对应的平面视像全部传 输给使用者装置UE1～UE13，以使其自行产生所需视角的立体影像。然而，若是采用上述方法来传输立体影像串流，则会导致占用过多的网络频宽。

本发明实施例认为，相邻视角的立体影像或是平面视像必定有许多相近似的部分图像，且使用者装置可通过相邻视角的立体影像/平面视像并通过影像差补技术来获得所需视角的立体影像。因此，为了减少网络传输量且降低在传输立体影像串流所占用的频宽，本发明实施例可在多个使用者装置UE1～UE13同时通过无线通信协议观看具有多个视角的特定立体影像串流时，无线传输装置110将可统整每个使用者装置UE1～UE13对于此特定立体影像串流的使用者视角以选择出必须传输的传输视角及其对应的特定立体影像串流。若使用者装置想要观赏的视角位于必须传输的多个传输视角中时，可直接接收此欲观赏视角相对应的特定立体影像串流即可呈现立体影像。若使用者装置想要观赏的视角并没有位于必须传输的多个传输视角中时，则可接收到相对于其的欲观赏视角的相邻视角的特定立体影像串流，并利用影像差补技术来自行产生欲观赏视角的特定立体影像串流。以下提出符合本发明实施例的精神的举例，应用本实施例者可适度地依照本发明实施例的公开来实现或延伸其他实施例。

回到图1，无线传输装置110与使用者装置UE1～UE13在相互通信时会依据调变类型依据该无线传输装置与每个使用者装置之间的距离或无线传输干扰程度来决定无线通信协议的调变类型，藉以减少被无线干扰的机会。此调变类型可依据无线传输装置110与使用者装置UE1～UE13之间的传输频率来区分。例如，所述调变类型可包括二位元相位偏移调变(Binary phase-shift keying；BPSK)、四位元相位偏移调变(Quadrature phase-shift keying；QPSK)、16位元正交震幅调变(16Quadrature amplitude modulation；16QAM)以及64位元正交震幅调变(64QAM)中的其中之一。二位元相位偏移调变具备最佳的抗噪声能力(SNR)，在信号传送过程中即使发生严重失真的情况，在解调时仍可尽量避免信号错误。然而，二位元相位偏移调变每次仅能传送一位元的信号，也就是每次仅能传送数据“0”或“1”。因此，便需要最高的传输频率来通过二位元相位偏移调变 进行无线通信。换句话说，依据传输频率的高低来区分的话，传输频率最高者为BPSK，其次则为QPSK、16QAM以及64QAM(传输频率最低)。本实施例的图1绘示以无线传输装置110为中心的三个范围R1、R2及R3来代表使用者装置UE1～UE13相对于无线传输装置110之间的距离远近。位于范围R1之间的使用者装置UE7、UE8、UE10及UE11较接近无线传输装置110，因此可采用传输频率较低的16QAM来作为调变类型。位于范围R1与R2之间的使用者装置UE1、UE6、UE6及UE9距离无线传输装置110较远，因此可采用QPSK来作为调变类型。位于范围R2与R3之间的使用者装置UE1、UE6、UE6及UE9则距离无线传输装置110更远，因此可采用传输频率最高的BPSK来作为调变类型。

另外，每个使用者装置UE1～UE13可以接收不小于预设传输频率的调变类型所传递的无线信号(在此为立体影像串流)。例如，若使用者装置UE1的调变类型为QPSK，则使用者装置UE1便可接收以BPSK及QPSK所传递的无线信号；若使用者装置UE7的调变类型为16QAM，则使用者装置UE7便可接收以BPSK、QPSK以及16QAM所传递的无线信号。也就是说，使用者装置UE1～UE13除了可通过预先设定的调变类型来接收无线信息以外，还可收到具备较高传输频率的调变类型的无线信息。

图2是依照本发明一实施例中其中一个使用者装置UE的功能方块图。本实施例的使用者装置UE主要包括无线通信模块210、处理单元220以及3D影像呈现设备240。无线通信模块210是符合上述无线通信协议的协作硬件运算设备，其可包括通信芯片、天线、抗噪声设备…等。处理单元220通过无线通信模块210以从图1的无线传输装置110中获得无线信号。3D影像呈现设备240可以是穿戴式3D眼镜、裸视3D模块…等硬件设备。处理单元220可以是中央处理器、绘图处理器、处理芯片…等。

处理单元220可包括影像差补模块230。影像差补模块230可通过与所需的视角相邻的传输视角所对应的立体影像串流来进行影像差补，以产生所需的视角的立体影像串流。影像差补模块230可由处理器配合相应软件或固件来实现。本实施例的影像差补模块230可通过深度图像绘 图(depth-image-based rendering；DIBR)技术来实现。假设使用者装置UE有一个视角的平面视图没有接收到，则可以利用此视角的左边视角与右边视角相对应的平面视图来修补因没有接收到而缺少的视角的平面视图，藉以继续呈现立体影像。本实施例的采用DIBR技术的影像差补模块230可让使用者装置UE来决定在进行影像差补时可接受的视角范围。例如，如果视角范围设定为3的话，就表示若要修补某个视角的平面视图，则可以使用相距为2(亦即，视角范围(3)减去1)的左边视角及右边视角的平面视图以共同修补位于这两个视角之间所遗漏的平面视图，进而完成立体影像。当视角范围的数值越大时，例如设定为大于3的4或5，则可能会使差补出来的平面视图较为模糊且具备较低解析度。相对地，当视角范围的数值越小时，例如设定为小于3的2，则可能会使差补出来的平面视图具备较高的解析度。

在此举例以详加说明无线传输装置110如何依据使用者装置UE1～UE13所需的使用者视角而从多个视角中选择将要传输的传输视角。图3是依照本发明一实施例中使用者装置UE1～UE13欲获得的立体影像串流的使用者视角以及所采用的调变类型的示意图。当使用者装置UE1～UE13想要获得不同视角的特定立体影像串流时，便会提出一立体影像获得需求给无线传输装置110。此立体影像获得需求中便会具备此使用者装置UE1的识别码、特定立体影像串流、与此特定立体影像串流相对应且使用者装置UE1所需的使用者视角以及无线传输装置110与使用者装置UE1之间的调变类型。或是，无线传输装置110可能要负责传送立体影像给在其无线传输范围内的使用者装置。

为方便说明，本发明实施例利用图3来说明每个使用者装置UE1～UE13所需的使用者视角以及其调变类型。本发明实施例的特定立体影像串流多个视角V1～V16来观赏，这些连续编号的视角V1～V16互为相邻。换句话说，此立体影像是由16个视角(即，V1～V16)的平面视图所组成。例如，与视角V2左右相邻的视角为视角V1及视角V3，与视角V14左右相邻的视角为视角V13及视角V15，并依此类推。使用者装置UE1、UE4、UE6、UE9所需的使用者视角分别为V1、V4、V6、V11，且其调变类型为QPSK；使用者装置UE2、UE3、UE5、UE12、UE13 所需的使用者视角分别为V2、V3、V5、V15、V16，且其调变类型皆为BPSK；使用者装置UE7、UE8、UE10、UE11所需的使用者视角分别为V7、V10、V13、V14，且其调变类型皆为16QAM。视角V8、V9、V12并未有使用者装置需要，因此不需传输。

于本实施例中，使用者装置UE1～UE13皆采用DIBR技术来进行影像差补，且其视角范围设定为3，藉以修补没有收到的视角的平面视图。通过搭配影像差补(DIBR技术)以在使用者装置UE1～UE13来进行影像差补的限制，本发明实施例的无线传输装置将会逐一判断这些视角V1～V16是否属于传输视角其中之一，在实作上可利用暴力比对分析或是多元分析来从这些使用者视角(V8、V9、V12以外的其他视角V1～V16)中找出最佳的传输视角组合，并分别传送对应这些传输视角的立体影像串流至相对应的使用者装置UE1～UE13。因此，便可使每个使用者装置UE1～UE13皆能通过这些传输视角的平面视图或立体影像来产生所需的使用者视角的立体影像。

图4是依照本发明一实施例中经由无线传输装置110调整后提供给使用者装置UE1～UE13的传输视角以及所采用的调变类型的示意图。从图4中可知，被选择的传输视角VT1～VT6分别为原视角V1、V4、V7、V10、V13以及V16。使用者装置UE1、UE4原先使用调变类型QPSK来接收信号，因此使用者装置UE1、UE4也可使用具备较高传输频率的BPSK来接收视角V1、V4的立体影像串流。使用者装置UE2、UE3皆利用BPSK来接收视角V1、V4的立体影像串流(其内包括视角V1、V4的平面视图或是立体影像)，并通过影像差补技术来分别获得原视角V2、V3的立体影像串流。使用者装置UE5、UE6皆利用BPSK来接收视角V4、V7的立体影像串流(其内包括视角V4、V7的平面视图或是立体影像)，并通过影像差补技术来分别获得原视角V5、V6的立体影像串流。使用者装置UE7原先使用调变类型16QAM来接收信号，因此使用者装置UE7也可使用具备较高传输频率的BPSK来接收视角V7的立体影像串流。使用者装置UE8原先使用调变类型16QAM来接收信号，因此使用者装置UE8也可使用具备较高传输频率的QPSK来接收视角V10的立体影像串流。使用者装置UE9利用QPSK来接收视角V10的立体影像串 流，且利用BPSK来接收视角V13的立体影像串流，并通过影像差补技术来获得原视角V11的立体影像串流。使用者装置UE10、UE13使用具备较高传输频率的BPSK来分别接收所需的视角V13、V16的立体影像串流。使用者装置UE11、UE12皆利用BPSK来接收视角V13、V16的立体影像串流，并通过影像差补技术来分别获得原视角V14、V15的立体影像串流。

因此，无线传输装置110只需通过无线通信协议中传送被选择的传输视角VT1～VT6(也就是原视角V1、V4、V7、V10、V13以及V16)所对应的立体影像串流至对应的使用者装置UE1～UE13，即可让使用者装置UE1～UE13从这些传输视角VT1～VT6所对应的立体影像串流中产生所需的使用者视角的立体影像串流。详细来说，当使用者装置(如，UE1、UE4、UE7、UE8、UE10及UE13)的使用者视角(分别为，V1、V4、V7、V10、V13及V16)属于这些传输视角VT1～VT6其中之一时，使用者装置便可直接通过无线传输装置110以获得所需的使用者视角的立体影像串流。另一方面，当使用者装置(如，UE2、UE3、UE5、UE6、UE9、UE11、UE12的使用者视角(分别为，V2、V3、V5、V6、V11、V14及V15)并未属于这些传输视角VT1～VT6其中之一时，使用者装置便接收与所述使用者视角相邻的该些输视角所对应的立体影像串流，并通过所接收的两个立体影像串流来进行影像差补，以产生对应所需的使用者视角的该立体影像串流。

图5是依照本发明一实施例的立体影像的无线传输方法的流程图。请同时参照图1及图5，于步骤S510中，无线传输装置110与多个使用者装置UE1～UE13相互通信，以分别获得每个使用者装置中的立体影像串流相对应的使用者视角以及调变类型。每个使用者装置UE1～UE13用以接收对应使用者视角的立体影像串流，并且此立体影像串流是由多个视角(如，V1～V16)的多个平面视像所组成。于步骤S520中，无线传输装置110依据这些使用者装置UE1～UE13的使用者视角而从视角V1～V16中选择多个传输视角(如图4所示的传输视角VT1～VT6)。于步骤S530中，无线传输装置110通过调整这些使用者装置UE1～UE13的调变类型以分别传送对应这些传输视角的立体影像串流至相对应的使用者 装置UE1～UE13。因此，使用者装置UE1～UE13便可通过传输视角VT1～VT6的立体影像串流来产生出所需的使用者视角的立体影像串流。

图6是依照本发明一实施例的图5步骤S530的详细流程图。换句话说，图6中的步骤流程是用以说明图1中的无线传输装置110如何逐一判断这些视角是否属于传输视角。请参照图1与图6，于步骤S610中，无线传输装置110判断这些视角当中的其中一个待分析视角是否属于使用者装置UE1～UE13所对应的使用者视角其中之一。若步骤S610为否，则表示此视角不需要传输，因此进入步骤S620以判定此待分析视角不属于传输视角其中之一。若步骤S610为是，则进入步骤S630以判断此待分析视角是否为视角的第一个(也就是，视角V1)或最后一个(也就是，视角V16)。若步骤S630为是，表示此待分析视角无法获得左边视角或是右边视角来进行影像差补，则进入步骤S640以判定此待分析视角属于传输视角其中之一。

若步骤S630为否，则进入步骤S650以判断在待分析视角之前的视角范围内是否有视角已属于传输视角其中之一。由本实施例可知，视角范围为3，因此将会判断待分析视角之前的两个视角是否已属于传输视角其中之一。若步骤S650为否，表示此待分析视角之前并没有可参照的视角，使得此待分析视角所对应的立体影像串流需要传输，则进入步骤S660以判定此待分析视角属于传输视角其中之一。

若步骤S650为否，则进入步骤S670以判断在待分析视角之后的视角范围内是否有视角已属于这些传输视角其中之一。由于视角范围为3且于步骤S650已知道待分析视角之前已有传输视角，且待分析视角之后的视角范围内已经具备传输视角的话(亦即步骤S670为是)，则此分析视角所对应的立体影像串流可以通过前后传输视角所对应的立体影像串流以影像差补方式来获得，因此进入步骤S680以判定此待分析视角不属于传输视角其中之一。相对地，若步骤S670为否，则进入步骤S690，以判断在待分析视角以及下一个已被使用者选择的已选视角之间是否有传输视角，而此传输视角已位于待分析视角之后的视角范围内。若步骤S690为是，则表示此待分析视角所对应的立体影像串流可以通过前后传输视角所对应的立体影像串流以影像差补方式来获得，因此进入步骤 S680以判定此待分析视角不属于传输视角其中之一。相对地，若步骤S690为是否，则进入步骤S660以判定此待分析视角属于传输视角其中之一。

在此详细描述步骤S690中待分析视角以及下一个已被使用者选择的视角之间的关系。图7是图6步骤S690中待分析视角V_i以及已被使用者选择的已选视角V_SLT的示意图。请参照图7，本发明实施例的视角范围VR1设定为3，因此待分析视角V_i的立体影像串流可以利用相距为2以内的左边视角(如，视角V_i-1及视角V_i-2)及右边视角(如，视角V_i+1及视角V_i+2)的平面视图来获得。已选视角V_SLT是已被其他使用者装置指定要欣赏的视角。在判断待分析视角V_i属于传输视角时，如果已选视角V_SLT并未位于待分析视角V_i的视角范围VR当中，则无法直接判断视角V_i+1是否属于传输视角。为了要判断判断视角V_i+1是否属于传输视角，则需进一步地找出在待分析视角V_i之后的下一个已被使用者选择的已选视角V_SLT。然后，考量位于有关于已选视角V_SLT的视角范围VR2内的视角们(如，视角V_i+1以及视角V_i+2)是否位于待分析视角V_i的视角范围VR1内，且这些视角们是否有被使用者装置所选择。

假设视角V_i+1同时位于视角范围VR1以及VR2之内，且视角V_i+1有被使用者装置所选择，则步骤S690便会判定此视角V_i+1属于传输视角其中之一，且同时判定此待分析视角V_i不属于传输视角其中之一(因待分析视角V_i的立体影像串流可参考视角V_i+1的平面视图来进行影像差补而得)。相对地，假设视角V_i+1同时不属于传输视角其中之一，则判定此待分析视角V_i属于传输视角其中之一。

综上所述，本发明本发明实施例可在多个使用者装置同时通过无线通信协议观看具有多个视角的特定立体影像串流时，无线传输装置将会统整每个使用者装置对于此特定立体影像串流的使用者视角以选择出必须传输的传输视角及其对应的特定立体影像串流。想要接收传输视角(也就是，使用者视角属于多个传输视角其中之一)的使用者装置可直接接收此传输视角相对应的特定立体影像串流，而部分的使用者装置可接收到相对于其的使用者视角的相邻视角的特定立体影像串流，并利用影像差补技术来自行产生使用者视角的特定立体影像串流。因此，本发明实 施例所述的立体影像的无线传输系统、方法及其装置可在不影响立体影像串流的解析度的情况下通过影像差补技术来让多台使用者装置皆可获得所需的立体影像串流，有效地减少网络传输量并降低在传输立体影像串流所占用的频宽。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的变动与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。