本申请涉及立体图像显示方法及装置，更具体而言涉及反映用户的交互(interaction)来控制立体图像的方法及装置。
背景技术：
人在认知3d立体视觉的过程中，会受各种视觉性要素的影响。具有代表性的如下。人在左右分别具有眼睛，因此在所观察到的外部世界图像中，会产生双目视差(binoculardisparity)信息，而在大脑将其认知为一个3d立体图像。这种基于双目视差的立体感认知原理应用在大众化的3d立体显示装置上。显示装置输出要输入到用户两侧眼睛的图像，用户戴上用于分离与各个眼睛相对应的左/右图像的装置(例如，3d立体眼镜)，从而可以观看3d立体图像内容。
当前正在研究可以适用这种立体图像技术的各种显示装置，尤其基于与虚拟现实/增强现实/混合现实技术的融合，积极地开展穿戴型显示形态的立体图像显示装置的开发。
技术实现要素：
为了将立体图像的现实感最大化，必须要根据用户的行动、即用户的移动或动作来调整包含在立体图像中的场景或客体的方向、或者调整焦点。
但是，为了对应于用户的行动而调整立体图像的输出，需要处理与用户的行动相匹配地处理重组图像数据等操作，因此存在需处理或运算大量数据的问题。
本申请的课题在于提供一种可以有效地构成及播放反映了用户的交互的图像的方法及装置。
本申请的另一课题在于提供一种在将数据处理或运算处理最小化的同时，可以实现反映了用户的交互的立体图像的方法及装置。
本申请想要实现的课题并非局限在以上所提及的课题，本申请所属技术区域的普通技术人员通过以下的记载可以明确理解到未提及的其他课题。
根据本申请的一方面，可以提供一种立体图像播放方法。所述方法可以包括如下步骤：对包含多个子图像且基于所述多个子图像的组合而形成焦点的至少一个图像进行输出的步骤；确认收看所述至少一个图像的用户的用户交互信息的步骤；基于所述用户交互信息，控制所述至少一个图像中所具有的所述多个子图像，从而修正所述焦点的步骤；以及输出所述焦点得以修正的所述至少一个图像的步骤。
根据本申请的另一方面，可以提供一种立体图像播放装置。所述装置可以包括：立体图像显示部，用于输出具有基于多个子图像的组合而形成焦点的至少一个图像的立体图像；用户交互信息确认部，确认收看所述立体图像的用户的用户交互信息；以及焦点控制部，基于所述用户交互信息来控制所述多个子图像，从而修正所述焦点。
以上对本申请简略概括的特征仅仅是后述的本申请详细说明的示例性方面，而并非在限制本申请的范围。
根据本申请，能够提供一种可以有效构成及播放反映了用户相互作用的图像的方法及装置。
并且，根据本申请，能够提供一种在将数据处理或运算处理最小化的同时，可以实现反映了用户的交互的立体图像的方法及装置。
通过本申请能够达到的效果并非局限在以上所提及的效果，本申请所属技术区域的普通技术人员通过以下的记载可以明确理解到未提及的其他效果。
附图说明
图1是示出本申请一实施例的立体图像播放装置的构成的框图。
图2是例示本申请一实施例的立体图像播放装置具有的显示部所输出的立体图像输出方式的示例图。
图3是例示构成从图2所输出的立体图像的图像信息的图。
图4是例示基于图3的多个子图像来组合的立体图像的图。
图5是例示本申请一实施例的立体图像播放装置所具有的焦点控制部的操作的图。
图6是例示本申请一实施例的立体图像播放装置所输出的立体图像的图。
图7是示出本申请一实施例的立体图像播放方法的顺序的流程图。
具体实施方式
以下，参照附图详细说明本申请的实施例，以便本申请所属技术区域的普通技术人员能够容易实施本发明。但是，本申请可以由各种不同的形态来实现，并非局限于在此说明的实施例。
在说明本申请的实施例时，若判断为对公知构成或功能的具体说明可能会混淆本申请的要旨，那么省略对其详细说明。并且，在附图中省略了与本申请的说明无关的部分，对于相似的部分赋予了类似的附图标记。
本申请中，在表述某种构成要素与另一构成要素“连接”、“结合”或“接合”时，这不仅包含直接的连接关系，而且还可以包括在其中间存在其他构成要素的间接的连接关系。并且，在表述某种构成要素“包含”或“具有”另外构成要素时，在没有特别相反记载的情况下，其并非排除其他的构成要素，而是意指还可以包含其他的构成要素。
在本申请中，第一、第二等用语仅以将某一构成要素与另一构成要素区别开为目的所使用，在没有特别提及的情况下，并不限定构成要素之间的顺序或重要度等。因此，在本申请的范围内，某一实施例中的第一构成要素在另一实施例中可以称为第二构成要素，同理，某一实施例中的第二构成要素在另一实施例中可以称为第一构成要素。
在本申请中，相互区别的构成要素仅仅是为了明确说明各自的特征，而非意味着构成要素之间必须分离。即，多个构成要素可以合并后由一个单位的硬件或软件实现，或者一个构成要素可以在分散后由多个单位的硬件或软件实现。因此，即便未另外提及，这些合并或分散的实施例也包含在本申请的范围内。
本申请中，在各种实施例中说明的构成要素并非意味着其为必要构成要素，其中的一部分可以是选择性的构成要素。因此，由某一实施例中说明的构成要素的部分集合所构成的实施例也包含在本申请的范围内。并且，对各种实施例中说明的构成要素追加包含其他构成要素的实施例也包括在本申请的范围内。
在本申请的实施例中使用的技术用语定义为如下。
上述用户交互信息是为了控制立体图像的焦点而使用的信息，其包括用于指示所述用户的视线所观望的方向以及所述用户的视线所观望的区域的信息。
立体图像包括考虑了水平或垂直方向的视差(disparity)和视觉差异(parallax)的多个子图像。因此，所述多个子图像分别具有互不相同的水平或垂直方向的视差(disparity)和视觉差异(parallax)。
以下，参照附图说明本申请的实施例。
图1是示出本申请一实施例的立体图像播放装置的构成的框图。
参照图1，本申请一实施例的立体图像播放装置可以包含显示部11、用户交互信息确认部13以及焦点控制部15。
显示部11可以包括用于输出所输入的立体图像数据的显示面板。尤其，显示部11为了显示三维的立体图像，可以利用左右两个显示面板、用于分离视差的视差屏障(parallaxbarrier)、双凸透镜(lenticularlens)、微透镜(microlens)、线光源等。
图2是例示本申请一实施例的立体图像播放装置具有的显示部所输出的立体图像输出方式的图，图3是例示构成从图2输出的立体图像的图像信息的图。
参照图2，显示部11可以包括与左眼及右眼分别对应的左眼显示面板110l及右眼显示面板110r，而且还可以包括设置在左眼与左眼显示面板110l之间的左眼透镜112l、以及右眼与右眼显示面板110r之间的右眼透镜112r。
根据这种结构，从左眼显示面板110l输出的左图像200l可经由左眼透镜112l提供至用户的左眼，从右眼显示面板110r输出的右图像200r可经由右眼透镜112r提供至用户的右眼。在此，左眼透镜112l的焦距120l可以设定为大于左眼显示面板110l与左眼透镜112l之间的距离130l，并且右眼透镜112r的焦距120r可以设定为大于右眼显示面板110r与右眼透镜112r之间的距离130r。
根据这种结构，用户可以认识到左图像200l和右图像200r形成在虚像平面(virtualimageplane)150上。
进而，左图像200l和右图像200r可以具备至少一个客体，而所述至少一个客体在左图像200l和右图像200r中可以形成预定的视差(disparity)。如此，根据在左图像200l与右图像200r上的视差，所述至少一个客体被识别为相对于虚像平面150更近。
前述基于左图像200l与右图像200r上的视差来实现立体图像的方式是以单一的视点(view)为基准提供立体图像的方式。进而，为了实现多视点(multi-view)图像，左眼显示面板110l及右眼显示面板110r分别可以具备至少一个视差屏障(parallaxbarrier)，通过视差屏障可以实现多视点立体图像。
在前述的一实施例中，通过左图像200l和右图像200r上的视差(disparity)及运动视差(motionparallax)，例示了水平方向的视差，但是为了如在光场(light-field)表现全视觉差异(full-parallax)，需要能反映垂直方向视差的图像。
据此，左图像200l和右图像200r分别可以具备能够提供水平及垂直方向的视差的子图像。
参照例示了用于构成立体图像的图像信息的图3可知，立体图像可以具备多个子图像301、302、303、304。所述多个子图像基于构成图像的水平及垂直方向的视差。所述立体图像所具备的子图像的数量可以对应于水平方向视点的量与垂直方向视点的量的乘积。
例如，立体图像可以包含极平面图像(epipolarplaneimage,epi)图像。
在图3，x轴和y轴分别表示水平及垂直分辨率。例如，当视点(view)轴指示水平视点时，x表示水平分辨率，y轴表示垂直分辨率，当视点(view)轴为垂直视点时，x轴表示垂直分辨率，y轴表示水平分辨率。
并且，在立体图像中可以具备至少一个客体，这种至少一个客体在多个子图像301、302、303、304之间可以表示出互不相同的视差d1、d2、d3。
图4是例示基于图3的多个子图像301、302、303、304来组合的立体图像400的图。
多个子图像301、302、303、304可以具备第一客体410和第二客体420，第一客体410在多个子图像301、302、303、304中无视差地设置在相同的位置，第二客体420在多个子图像301、302、303、304中可以具备预定视差d1、d2、d3。由此，在立体图像400中，第一客体410所存在的区域可能呈现为焦点对准的主视点，第二客体420所存在的区域可能呈现为焦点未对准的区域。
另外，用户交互信息确认部13可以用来确认用户交互信息。
在本申请的一实施例中，所述用户交互信息是为了控制立体图像的焦点而使用的信息，其可以包含用于指示所述用户的视线所观望的方向以及所述用户的视线所观望的区域的信息。
用户交互信息可以包含用于指示所述用户的头部位置和所述用户的头部方向的信息。
并且，所述用户交互信息可以包含用于指示所述用户的瞳孔位置、瞳孔大小以及瞳孔方向的信息。
显示部11可以包含作为个人终端的头戴式显示器(hmd)，而用户交互信息确认部13可以包括：运动传感器，可确认3轴方向的移动；运动确认部，基于所述运动传感器检测出的传感器数据来确认用于指示用户的视线所观望的方向和所述用户的视线所观望的区域的信息。
作为另一例，显示部11可以包含预定大小的显示装置。此时，用户交互信息确认部13可以包括：摄像头，用于拍摄观望显示部11的用户；运动确认部，基于所述摄像头拍摄的图像来检测用户的特定区域(例如，头部区域)，通过检测所述特定区域的移动来确认所述用户的视线所观望的方向和所述用户的视线所观望的区域。所述运动确认部也可以检测出用户的眼睛(或瞳孔)所在的区域，并检测瞳孔的大小和瞳孔的方向。
焦点控制部15用于检测与用户交互信息确认部13所确认的用户交互信息相对应的视点的子图像。并且，焦点控制部15通过控制子图像的输出来控制由显示部11所输出的立体图像的焦点。
例如，焦点控制部15可以检测与用户交互信息确认部13所确认的用户的视线所观望的方向和所述用户的视线所观望的区域相对应的视点的子图像。所述子图像可以包含将要作为左图像输出的至少一个子图像以及将要作为右图像输出的至少一个子图像。如此，通过控制左图像中包含的至少一个子图像和右图像中包含的至少一个子图像的输出位置，可以调整对于包含在立体图像中的至少一个客体的焦点。此时，焦点控制部15通过控制左图像中包含的子图像和右图像中包含的子图像的主视点，或者控制左图像中包含的子图像与右图像中包含的子图像的视差，从而可以调整对于立体图像中包含的至少一个客体的焦点。
图5是例示本申请一实施例的立体图像播放装置所具有的焦点控制部的操作的图。
焦点控制部15根据在立体图像中包含的左图像所具有的多个子图像510l-1、510l-2、510l-3、...510l-n(n＝正整数)以及右图像所具有的多个子图像510r-1、510r-2、510r-3、...510r-n，可以检测与用户交互信息确认部13所确认的用户的视线所观望的方向和所述用户的视线所观望的区域相对应的视点的子图像，例如左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3。并且，焦点控制部15，为了使得左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3中相应于主视点的区域沿垂直方向对准，可以移动(shift)各个线条(line)。
焦点控制部15可以输出主视点被移动及对准的、左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像(510r-1、510r-2、510r-3)。
如此，当输出主视点被移动及对准的、左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3时，立体图像所具有的客体的焦点能够得以调整(参照图6)。
更进一步来讲，焦点控制部15通过使用了主视点被移动及对准的、左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3的插值(interpolation)操作，可以产生对应于虚拟视点的至少一个子图像510l-1'、510l-2'、510l-3'、510r-1'、510r-2'、510r-3'。并且，焦点控制部15还可以过滤处理对于虚拟视点的至少一个子图像。
并且，焦点控制部15还可以反映用户的视线所观望的方向和所述用户的视线所观望的区域，通过剪切(cropping)或组合(添加(adding))主视点被移动及对准的、左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3，从而重新构成子图像。
更进一步，焦点控制部15还可以通过剪切(cropping)或组合(添加(adding))经由插值及过滤而产生的子图像来重新构成子图像。
图7是示出本申请一实施例的立体图像播放方法的顺序的流程图。
根据本申请一实施例的立体图像播放方法可以通过前述的立体图像播放装置来实施。立体图像播放装置可以包含如下的装置，该装置使用为了显示三维的立体图像而分离视差的左右两个显示面板、视差屏障(parallaxbarrier)、双凸透镜(lenticularlens)、微透镜(microlens)、线光源等。
参照图7，立体图像播放装置可以确认并输出立体图像数据(s701)。所述立体图像可以具备至少一个子图像。
所述立体图像可以具备提供水平及垂直方向的视差所需的子图像。更进一步，所述立体图像可以包含提供给用户的左眼的左图像和提供给用户的右眼的右图像，而所述左图像及右图像分别可以包含子图像。
在这种环境下，立体图像播放装置可以确认输出立体图像所需的子图像。忧郁所述多个子图像基于构成图像的水平及垂直方向的视差，因而所述立体图像所具备的子图像的数量可以对应于水平方向视点的量与垂直方向视点的量的乘积。
例如，所述立体图像例示为如图3及图4所示。在立体图像中可以具备至少一个客体，这种至少一个客体在多个子图像301、302、303、304之间可以呈现出互不相同的视差d1、d2、d3。根据子图像301、302、303、304的视差，可以控制立体图像400所具有的客体的焦点。例如，多个子图像301、302、303、304可以具备第一客体410和第二客体420，第一客体410在多个子图像301、302、303、304中无视差地设置在相同的位置，第二客体420在多个子图像301、302、303、304中可以具备预定视差d1、d2、d3。由此，在立体图像400中，第一客体410所存在的区域可能被呈现为焦点对准的主视点，第二客体420所存在的区域可能被呈现为焦点未对准的区域。
此外，在步骤s702，立体图像播放装置可以确认用户交互信息。
在本申请的一实施例中，所述用户交互信息是为了控制立体图像的焦点而使用的信息，其可以包含用于指示所述用户的视线所观望的方向和所述用户的视线所观望的区域的信息。
用户交互信息可以包含用于指示所述用户的头部位置和所述用户的头部方向的信息。
并且，用户交互信息可以包含用于指示所述用户的瞳孔位置、瞳孔大小以及瞳孔方向的信息。
立体图像播放装置能够以作为个人终端的头戴式显示器(hmd)形式所具备，可以包括用于确认3轴方向的移动的运动传感器。由此，立体图像播放装置基于所述运动传感器检测出的传感器数据，可以确认用于指示用户的视线所观望的方向和所述用户的视线所观望的区域的信息。
作为另一例，立体图像播放装置可以包含预定大小的显示装置。此时，立体图像播放装置可以包括用于拍摄用户的摄像头，并基于所述摄像头拍摄的图像来检测用户的特定区域(例如，头部区域)，通过检测所述特定区域的移动，可以确认用于指示所述用户的视线所观望的方向和所述用户的视线所观望的区域的信息。更进一步，立体图像播放装置还可以从所述摄像头拍摄的图像中，检测用户的眼睛(或瞳孔)所在的区域，并检测出瞳孔的大小和瞳孔的方向。
接着，立体图像播放装置检测与用户交互信息相对应的视点的子图像(s703)，按照用户交互信息来重新构成子图像(s704)。
具体而言，立体图像播放装置可以检测与所确认的用户的视线所观望的方向和所述用户的视线所观望的区域相对应的视点的子图像。所述子图像可以包含将要作为左图像输出的至少一个子图像以及将要作为右图像输出的至少一个子图像。并且，通过控制如上所述左图像所包含的至少一个子图像和右图像所包含的至少一个子图像的输出位置、输出大小、排列等，从而可以重新构成子图像。
如此，通过在步骤s704重新构成子图像，从而可以调整对立体图像中包含的至少一个客体的焦点。
参照图5，更加详细例示步骤s703及s704的操作。
立体图像播放装置根据在立体图像中包含的左图像所具有的多个子图像510l-1、510l-2、510l-3、...510l-n以及右图像所具有的多个子图像510r-1、510r-2、510r-3、...510r-n，可以检测与用户交互信息相对应的视点的子图像，例如左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3。
立体图像播放装置可以重新构成为了使得左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3中相应于主视点的区域沿垂直方向对准而移动(shift)了各个线条(line)所得的子图像。
并且，立体图像播放装置通过处理使用了主视点被移动及对准的、左图像所具有的子图像510l-1、510l-2、510l-3和右图像所具有的多个子图像510r-1、510r-2、510r-3的插值(interpolation)操作，可以产生对于虚拟视点的至少一个子图像，还可以通过过滤处理所产生的子图像而重新构成子图像。
并且，立体图像播放装置可以反映用户的视线所观望的方向和所述用户的视线所观望的区域，通过剪切(cropping)或组合(添加(adding))主视点被移动及对准的子图像510l-1、510l-2、510l-3、510r-1、510r-2、510r-3而可以重新构成子图像，或者还可以通过剪切(cropping)或组合(添加(adding))经由对虚拟视点的至少一个子图像的插值及过滤所产生的子图像而重新构成子图像。
在步骤s705，可以输出包含通过前述的操作所重新构成的子图像的立体图像。
如此，通过反映用户交互信息而重新构成子图像，并构成及输出含有重新构成的子图像的立体图像，据此，对于立体图像而言，图像中所包含的客体的焦点能够得以调整，或者图像的输出区域能够得以调整。
根据本申请，在用于显示立体图像的装置，尤其如hmd等个人型实感显示装置中，通过较少的运算处理，可以提供能实现连续的视差和焦点可变的立体图像，进而可以提供用户的投入效果大且观看疲劳小的虚拟现实服务。
本申请的示例性方法是为了说明的明确性而以操作系列进行了说明，但是这并非为了限制执行步骤的顺序，根据需要可以同时或按不同的顺序执行各步骤。为了实现本申请的方法，可以在所例示的步骤追加包含其他步骤，或者去除一部分步骤而包含剩余的步骤，或者去除一部分步骤而追加其他步骤。
本申请的各种实施例，并非列出了所有可能的组合，而是为了说明本申请具有代表性的方面，在各种实施例中说明的事项可以单独适用或者能以两个以上的组合来得以适用。
并且，本申请的各种实施例可以基于硬件、固件(firmware)、软件或者它们的结合等得以实现。当基于硬件来实现时，可以由一个或其以上的专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器等得以实现。
本申请的范围包含：使得根据各种实施例的方法的操作可在装置或计算机上执行的软件或者机器可执行命令(例如，操作系统、应用程序、固件、程序等)、以及存储有这些软件或命令等进而在装置或计算机上执行的非暂时性计算机可读介质。