电子装置及其控制方法与流程

本公开涉及电子装置及其控制方法，更具体地，涉及包括图像感测元件的电子装置及其控制方法。

背景技术：

随着电子技术的发展，已经开发并分销了各种类型的电子设备。特别地，近年来，在诸如家庭、办公室、公共场所等各种场所中使用的显示设备不断发展。

最近，已经提供了一种显示设备，该显示设备允许用户在屏幕上观看用户自己的外观的同时执行各种交互。

例如，智能电话自拍的图像可以显示在屏幕上。在这种情况下，由于相机大多位于智能电话的顶部，因此会出现视线(gaze)不匹配的问题，即用户注视智能电话的视线指向智能电话的前显示屏，而用户在屏幕上的视线看起来在显示屏上向下。此外，还存在一个问题，即在智能电话的顶部需要用于相机布置的空间，这导致了在实施无边框全屏显示方面的限制。

技术实现要素：

技术问题

提供了一种电子装置及其控制方法，更具体地，提供了一种包括图像感测元件的电子装置及其控制方法。

附加的方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来了解。

技术方案

根据本公开的一个方面，一种电子装置包括：面板设备，其包括多个图像显示像素和多个图像感测元件，其中每个图像感测元件设置在多个图像显示像素之间；光学元件，其设置在面板设备的上部，其中多个图像感测元件被配置为感测通过光学元件的入射光；视区调节组件，被配置为调节多个图像感测元件的视场(fov)；以及处理器，被配置为控制视区调节组件以调节至少一个图像感测元件的fov，并且控制面板设备以显示基于感测到的入射光而生成的图像。

多个图像显示像素可以以二维阵列来设置，其中多个图像感测元件中的每一个分别以二维阵列设置在多个图像显示像素中的每一个之间，并且其中多个图像感测元件中的每一个与多个图像显示像素设置在相同的层上，或者与多个图像显示像素设置在不同的层上。

视区调节组件可以包括设置在光学元件之上或之下的液晶快门，液晶快门包括尺寸小于多个图像感测元件的尺寸的多个单元，并且处理器还可以被配置为通过控制是否向液晶快门中所包括的多个单元中的每一个施加电压来控制多个单元中的每一个的打开或关闭操作。

处理器还可以被配置为通过基于光学元件中所包括的光学透镜中的每一个的布置位置而调节相对应的液晶快门的打开位置或打开尺寸中的至少一个，来调节显示器的fov。

处理器还可以被配置为当显示器的fov被放大时，控制多个单元中的每一个的打开或关闭操作，使得光从与设置在外面(outer)区域中的至少一个感测元件相对应的液晶快门入射到位于第一位置的至少一个单元区域，以及当显示器的fov被缩小时，控制多个单元中的每一个的打开或关闭操作，使得光从与设置在所述外面区域中的至少一个感测元件相对应的液晶快门入射到位于第二位置的至少一个单元区域，第二位置不同于第一位置。

光学元件可以包括含有液晶的多个液晶透镜，其中视区调节组件可以包括被配置为向光学元件施加电压的电压施加器，其中处理器还可以被配置为控制电压施加器基于多个液晶透镜的布置位置向多个液晶透镜中的每一个施加不同的电压，并且其中液晶的对准角可以基于所施加的电压的强度而改变。

光学元件可以被配置为分散从多个图像显示像素发射的光。

处理器还可以被配置为执行时分驱动，使得在驱动多个图像显示像素的第一时段期间不驱动多个图像感测元件，并且在驱动多个图像感测元件的第二时段期间不驱动多个图像显示像素。

处理器还可以被配置为基于从多个图像感测元件获取的多个图像中的每一个的fov来处理多个图像，以获得要显示在多个图像显示像素上的输出图像。

处理器还可以被配置为控制视区调节组件基于用户命令来不同地调节设置在不同布置位置的多个图像感测元件的fov。

处理器可以控制视区调节组件基于至少一个图像感测元件相对于面板设备的中心的距离来调节至少一个图像感测元件的fov。

处理器可以随着至少一个图像感测元件相对于面板设备的中心的距离的增加，来增加至少一个图像感测元件的fov。

多个图像感测元件中的每一个可以是单个感测元件或宏像素形式的二维感测元件。

根据本公开的另一方面，一种电子装置的控制方法，该电子装置包括：面板设备，其包括多个图像显示像素和多个图像感测元件，其中每个图像感测元件设置在多个图像显示像素之间；光学元件，其设置在面板设备的上部，其中多个图像感测元件被配置为感测通过光学元件的入射光；以及视区调节组件，被配置为调节多个图像感测元件的视场(fov)，该控制方法包括：控制视区调节组件以调节至少一个图像感测元件的fov，以及控制面板设备以显示基于感测到的入射光而生成的图像。

多个图像显示像素可以以二维阵列来布置，其中多个图像感测元件中的每一个以二维阵列分别设置在多个图像显示像素中的每一个之间，并且其中多个图像感测元件中的每一个与多个图像显示像素设置在相同的层上，或者与多个图像显示像素设置在不同的层上。

视区调节组件包括可以设置在光学元件之上或之下的液晶快门，液晶快门包括尺寸小于多个图像感测元件的多个单元，其中在视区调节组件的控制中，通过控制是否向构成液晶快门的多个单元中的每一个施加电压来控制多个单元中的每一个的打开或关闭操作。

在视区调节组件的控制中，可以通过基于光学元件中所包括的光学透镜中的每一个的布置位置而调节相对应的液晶快门的打开位置或打开尺寸中的至少一个，来调节显示器的fov。

在视区调节组件的控制中，当显示器的fov被放大时，控制多个单元中的每一个的打开或关闭操作，使得光从与设置在外面区域中的至少一个感测元件相对应的液晶快门入射到位于第一位置的至少一个单元区域，以及当显示器的fov被缩小时，控制多个单元中的每一个的打开或关闭操作，使得光从与设置在所述外面区域中的至少一个感测元件相对应的液晶快门入射到位于第二位置的至少一个单元区域，第二位置不同于第一位置。

光学元件可以包括含有液晶的多个液晶透镜，其中视区调节组件包括被配置为向光学元件施加电压的电压施加器，并且其中在视区调节组件的控制中，控制电压施加器基于多个液晶透镜的布置位置向多个液晶透镜中的每一个施加不同的电压，并且其中液晶的对准角基于所施加的电压的强度而改变。

在视区调节组件的控制中，可以执行时分驱动，使得在驱动多个图像显示像素的第一时段期间不驱动多个图像感测元件，并且在驱动多个图像感测元件的第二时段期间不驱动多个图像显示像素。

发明的有益效果

根据上述各种实施例，通过将多个图像感测元件安装在面板设备上，可以减少或防止在自拍或通过自拍进行的各种交互期间发生的视线不匹配问题。

附图说明

通过参考附图描述本公开的实施例，本公开的上述和/或其他方面将变得更加明显，其中：

图1a是示出根据本公开的实施例的显示器的实施方式的视图；

图1b是示出根据实施例的显示器的操作的视图；

图2a是示出根据实施例的电子装置的拍摄模式的视图；

图2b是示出根据实施例的电子装置的拍摄模式的视图；

图2c是示出根据实施例的电子装置的显示模式的视图；

图2d是示出根据实施例的电子装置的显示模式的视图；

图3a是示出根据实施例的图像感测元件的视场(fov)被扩大的情况的视图；

图3b是示出在图3a的情况下获取的图像的视图；

图3c是示出根据实施例的图像感测元件的fov被缩小的情况的视图；

图3d是示出在图3c的情况下获取的图像的视图；

图4是示出根据实施例的电子装置的配置的框图；

图5a是示出根据实施例的面板设备的一种实施方式的形式的视图；

图5b是示出根据实施例的面板设备的另一实施方式的形式的视图；

图6a是示出根据另一实施例的显示器的一种实施方式的形式的视图；

图6b是示出根据另一实施例的显示器的另一实施方式的形式的视图；

图6c是示出根据另一实施例的显示器的另一实施方式的形式的视图；

图7是示出根据实施例的用于调节图像感测元件的fov的方法的图；

图8a是示出根据实施例的使用液晶快门方法来加宽显示器的fov的方法的图；

图8b是示出根据实施例的使用液晶快门方法来加宽显示器的fov的方法的图；

图8c是示出根据实施例的使用液晶快门方法来缩窄显示器的fov的方法的图；

图8d是示出根据实施例的使用液晶快门方法来缩窄显示器的fov的方法的图；

图9a是示出根据另一实施例的使用液晶透镜方法来调节图像感测元件的fov的方法的图；

图9b是示出根据另一实施例的使用液晶透镜方法来调节图像感测元件的fov的方法的图；

图9c是示出根据另一实施例的使用液晶透镜方法来调节图像感测元件的fov的方法的图；

图9d是示出根据另一实施例的使用液晶透镜方法来调节图像感测元件的fov的方法的图；

图9e是示出根据另一实施例的液晶透镜的实施方式的图；

图9f是示出根据另一实施例的液晶透镜的实施方式的图；

图9g是示出根据另一实施例的液晶透镜的实施方式的图；

图10是示出根据另一实施例的使用液晶透镜方法来调节显示器的fov的方法的图；

图11是示出根据实施例的显示驱动方法的图；

图12是示出根据实施例的使用液晶快门方法的显示驱动方法的图；

图13是示出根据另一实施例的使用液晶透镜方法的显示驱动方法的图；

图14是示出根据实施例的图像获取方法的图；

图15是示出根据实施例的电子装置的详细配置的框图；以及

图16是示出根据实施例的电子装置的控制方法的流程图。

具体实施方式

在下文中，将参考附图详细描述本公开。

本公开提供了一种电子装置及其控制方法，该电子装置通过在面板设备中包括多个图像感测元件来减少或防止视线不匹配问题，并且通过调节多个图像感测设备的视场(fov)来提供适合于用户交互的拍摄图像。

考虑到本公开中的功能，选择当前广泛使用的通用术语作为本公开的实施例中使用的术语，但是可以取决于本领域技术人员的意图或司法先例、新技术的出现等进行改变。此外，在特定情况下，可能存在申请人任意选择的术语。在这种情况下，这种术语的含义将在本公开的相应描述部分中详细提及。因此，本公开中使用的术语应当基于术语和内容贯穿本公开的含义来定义，而不是基于术语的简单名称来定义。

本公开的实施例可以应用各种修改并具有各种实施例，并且具体实施例将在附图中示出并在详细描述中详细地描述。然而，这并不旨在将范围限制于特定实施例，并且应当理解为包括包含在所公开的精神和技术的范围内的所有修改、等同物和替代物。在描述实施例时，当确定相关已知技术的详细描述可能模糊要点时，将省略其详细描述。

术语“第一”、“第二”等可用于描述各种部件，但是部件不应受这些术语的限制。这些术语仅用于区分一个部件和另一部件。

单数表达包括复数表达，除非上下文另有明确说明。还应当理解，本申请中使用的术语“包括”或“构成”指定了说明书中提到的特征、数字、步骤、操作、部件、部分或其组合的存在，但不排除一个或多个其他特征、数字、步骤、操作、部件、部分或其组合的存在或添加。

“a和b中的至少一个”应理解为代表“a”或“b”或“a和b”中的任何一个。

在本公开中，“模块”或“某某器/机”可以执行至少一个功能或操作，并且可以由硬件或软件来实施，或者由硬件和软件的组合来实施。此外，多个“模块”或多个“某某器/机”可以集成在至少一个模块中，并且被实施为至少一个处理器(未示出)，除了需要由特定硬件实施的“模块”或“某某器/机”之外。

诸如“……中的至少一个”的表达在元素列表之前时修饰整个元素列表，而不修饰列表中的单个元素。例如，表达“a、b和c中的至少一个”应当理解为包括仅有a、仅有b、仅有c、a和b两者、a和c两者、b和c两者、或者a、b和c的全部。

在下文中，将参考附图详细描述本公开的实施例，使得本公开所属领域的技术人员可以容易地实践本公开。然而，本公开可以以各种不同的形式来实施，并且不限于本文描述的实施例。此外，在附图中，与描述无关的部分将被省略以清楚地描述本公开，并且在整个说明书中，相似的部分将由相似的附图标记表示。

图1a和图1b是示出根据实施例的电子装置的实施方式的视图。

如图1a所示，根据实施例的电子装置可以包括显示器，该显示器包括多个图像显示像素(显示像素)p和多个图像感测元件is。这里，图像显示像素可以包括所有自发光元件(诸如有机发光二极管(oled)、发光二极管(led)和微型led)和透射元件(诸如液晶显示器(lcd))。此外，图像感测元件可以包括使用光电效应的所有元件，诸如光电二极管、互补金属氧化物半导体(cmos)、电荷耦合器件(ccd)等。图像感测元件可以被实施为单个感测元件(或单个像素元件)，或者被实施为宏像素形式的二维感测元件。

根据实施例，多个图像感测元件中的每一个可以以至少一个图像显示像素为单位来设置。这里，“至少一个”可以指一个或两个或更多。例如，图像显示像素和图像感测元件可以以1:1的比例来交替地设置，或者可以以n:1(n>1)的比例来设置。此外，多个图像显示像素可以以二维形式来布置，并且多个图像感测元件可以以至少一个图像显示像素为单位、以二维形式来布置。在这种情况下，多个图像感测元件中的每一个可以与至少一个图像显示像素设置在相同的层(例如，相同的板(sheet))上，或者可以与至少一个图像显示像素设置在不同的层(例如，不同的板)上。作为示例，多个图像显示像素的全部可以设置在相同的层上，并且多个图像感测元件的全部可以与多个图像显示像素设置在相同的层或不同的层上。作为另一示例，多个图像显示像素的全部可以设置在相同的层上，多个图像感测元件的至少一些可以与多个图像显示像素设置在相同的层上，并且多个图像感测元件的剩余部分可以与多个图像显示像素设置在不同的层上。

根据实施例，如图1a和图1b所示，图像显示像素p被配置为发射光，并且图像感测元件is被配置为收集光。在这种情况下，用于分散光的光学元件10可以设置在图像显示像素p上，并且用于收集从特定视区(viewingzone)入射的光的光学元件20可以设置在图像感测元件is上。例如，用于分散光的光学元件10可以包括棱镜或各种类型的漫射光学系统，并且可以以一个或多个光学膜(opticalfilm)或光学板(opticalsheet)的形式来实施。用于收集光的光学元件20可以包括微型透镜阵列、双凸透镜或另一种类型的小透镜阵列。这里，用于收集光的光学元件20可以由能够调节焦距的至少一个光学板构成。此外，用于收集光的光学元件20可以包括能够通过电信号控制对光进行透射、屏蔽或折射的液晶面板。

图2a和图2b是示出根据实施例的电子装置的拍摄模式的视图。

如图2a所示，根据实施例的显示器可以提供通过图像感测元件收集从特定视区入射的光以获取图像的拍摄模式。

例如，如图2b所示，显示器可以包括面板设备110、光学元件120和视区调节组件130。从外部入射的光可以通过光学元件120投射到设置在面板设备110中的图像感测元件120，并且图像感测元件120可以基于投射的信号来获取图像。这里，光学元件120可以包括光学透镜，例如，微型透镜阵列、双凸透镜或另一种类型的小透镜阵列。在这种情况下，视区调节组件130执行调节图像感测元件的fov的功能，这将在稍后详细描述。

图2c和图2d是示出根据实施例的电子装置的显示模式的视图。

如图2c所示，根据实施例的显示器可以提供用于通过将来自图像显示像素的光漫射(diffuse)到特定视区来显示图像的显示模式。

例如，如图2d所示，由图像感测元件is获取的图像信号可以被提供给图像显示像素p，并且作为结果，图像显示像素p可以显示图像。

图3a至图3d是示出基于图像感测元件的fov而获取的图像的视图。

如图1a所示，多个图像感测元件is中的每一个具有特定的视场(fov)。也就是说，由于第一图像感测元件is1具有第一fov(fov1)并且第二图像感测元件is2具有第二fov(fov2)，所以第一图像感测元件is1和第二图像感测元件is2具有彼此对应的视区。

在这种情况下，如图3a所示，当每个图像感测元件的fov相对较宽时，每个图像感测元件的fov重叠，并且相应地，所获取的图像由于模糊现象而可能是模糊图像，如图3b所示。此外，如图3c所示，当每个图像感测元件的fov较窄时，在获取的图像中出现诸如点或块伪影的现象，如图3d所示。

相应地，在下文中，将描述基于各种用户上下文或电子装置的上下文来调节至少一个图像感测元件的fov并且进一步调节显示器的fov的各种实施例。

图4是示出根据实施例的电子装置的配置的框图。

参考图4，电子装置100包括面板设备110、光学元件120、视区调节组件130和处理器140。

电子装置100可以被实施为电视(tv)、智能电话等，但不限于此，并且可以没有限制地应用于具有显示功能和拍摄功能的装置，诸如平板pc、笔记本pc、大格式显示器(lfd)、数字标牌、数字信息显示器(did)、视频墙、信息亭等。

面板设备110可以被实施为各种显示单元，诸如液晶显示器(lcd)面板、发光二极管(led)、微型led、有机发光二极管(oled)、真空荧光显示器(vfd)、场发射显示器(fed)、电致发光显示器(eld)、等离子面板设备(pdp)等。

面板设备110可以包括多个图像显示像素p和多个图像感测元件is。这里，每个图像感测元件可以设置在多个图像显示像素之间，如图1a至图3b所述。这里，图像显示像素p可以包括任何自发光元件(诸如有机发光二极管(oled)、发光二极管(led)和微型led)和透射元件(诸如液晶显示器(lcd))。例如，图像显示像素p中的每一个可以包括多个子像素，并且多个子像素可以由红色(r)、绿色(g)和蓝色(b)构成。也就是说，由r、g和b子像素构成的像素可以布置在多个行方向和列方向上，也就是说，以矩阵形式来设置以构成面板设备110。

此外，图像感测元件is可以包括使用光电效应的任何元件，诸如光电二极管、互补金属氧化物半导体(cmos)、电荷耦合器件(ccd)等。图像感测元件is可以被实施为单个感测元件(或单个像素元件)或者宏像素形式的二维感测元件。

图5a和图5b是示出根据实施例的显示器的实施方式的形式的视图。

根据实施例，显示器110可以具有图像显示像素510和图像感测元件520以1:1的比例来设置的形式，如图5a所示。例如，图像显示像素510和图像感测元件520可以如图所示交替地设置。这里，图像感测元件520可以是单个感测元件(或单个像素元件)，但不限于此。例如，图像感测元件520也可以被实施为多个像素元件。

根据另一实施例，显示器110可以具有图像显示像素510和图像感测元件520以n:1的比例来设置的形式，如图5b所示。例如，如图所示，图像感测元件520可以设置在多个图像显示像素510之间。这里，图像感测元件520可以被实施为多个像素元件，例如，宏像素形式的二维感测元件。然而，图像感测元件520不限于此。例如，当图像显示像素510和图像感测元件520是以n:1的比例来设置的形式时，图像感测元件520可以被实施为单个感测元件(或单个像素元件)。

图6a至图6c是示出根据另一实施例的显示器的实施方式的形式的视图。

根据实施例，如图6a所示，图像显示像素510和图像感测元件520可以二维地垂直设置。例如，如图所示，图像感测元件520可以设置在图像显示像素510的前表面或后表面上。

根据另一实施例，如图6b所示，图像显示像素510和图像感测元件520可以二维地水平设置。例如，如图所示，图像感测元件520可以设置在图像显示像素510的右侧或左侧。

根据另一实施例，如图6c所示，图像显示像素510和图像感测元件520可以二维地设置成垂直和水平交叉。例如，如图所示，图像显示像素510可以交替地布置成彼此不相邻，并且图像感测元件520也可以交替地布置成彼此不相邻。

面板设备110还可以包括驱动电路、背光单元等，其可以以非晶硅薄膜晶体管(a-sithin-film-transistor，tft)、低温多晶硅(lowtemperaturepolysilicon，ltps)tft和有机tft(otft)的形式来实施。

回头参考图4，光学元件120用于收集从特定视区入射的光。这里，光学元件120可以被实施为微型透镜阵列、双凸透镜或另一种类型的小透镜阵列。这里，光学元件120可以设置在面板设备的上部。在这种情况下，多个图像感测元件520可以被配置为感测通过光学元件的入射光。

光学元件120可以收集从特定视区入射的光，并且将收集的光提供给图像感测元件is。在这种情况下，图像感测元件is可以基于通过光学元件120收集的光来获取图像信号。例如，图像感测元件is可以包括光电元件，从而可以通过将入射光转换成电信号来获取图像信号。在这种情况下，电信号可以通过位于基板上部的金属线而传输到处理器140。

视区调节组件130被配置为调节多个图像感测元件is的视场(fov)。根据实施例，视区调节组件130可以调节多个图像感测元件中的每一个的fov。根据另一实施例，视区调节组件130可以不同地调节一个或多个图像感测元件is中的每一个的fov，并且作为结果，可以调节面板设备110的fov。

根据实施例的视区调节组件130可以包括设置在光学元件120之上或之下并且由尺寸小于图像感测元件is的尺寸的多个单元构成的液晶快门。液晶快门是指被实施为类似于相机的快门那样阻挡光的形式。这里，多个单元中的每一个可以根据所施加的电压以液晶快门方法进行操作。例如，通过控制是否向多个单元中的每一个施加电压来控制多个单元中的每一个是打开还是关闭，并且可以基于多个单元中的每一个的打开或关闭来调节图像感测元件is的视区。

根据另一实施例的视区调节组件130可以包括向光学元件施加电压的电压施加器。在这种情况下，光学元件可以包括多个液晶透镜，这些液晶透镜的液晶对准角(alignmentangle)根据电压的强度而改变。在这种情况下，可以通过控制是否向与图像感测元件is中的每一个相对应的液晶透镜施加电压或者所施加的电压的强度中的至少一项来调节图像感测元件is的视区。

稍后将参考附图来描述与视区调节组件130相关的详细描述。

处理器140控制电子装置100的总体操作。

根据实施例，处理器140可以被实施为处理数字图像信号的数字信号处理器(dsp)、微型处理器或定时控制器(tcon)。然而，处理器140不限于此，而是可以包括中央处理单元(cpu)、微型控制器单元(mcu)、微型处理单元(mpu)、控制器、应用处理器(ap)、通信处理器(cp)和arm处理器中的一个或多个，或者可以被定义为相对应的术语。此外，处理器140还可以被实施为其中嵌入了处理算法的片上系统(soc)或大规模集成电路(lsi)，并且还可以以现场可编程门阵列(fpga)的形式来实施。

处理器140可以控制视区调节组件130以调节至少一个图像感测元件is的fov，并且控制面板设备110以显示基于感测到的入射光而生成的图像。

处理器140可以控制视区调节组件130以调节至少一个图像感测元件is的fov，并且可以处理从多个图像感测元件接收的输入信号以及在图像显示像素上显示经处理的输入信号。

根据实施例，当通过液晶快门方法来实施视区调节组件130时，处理器140可以通过控制是否向构成液晶快门的多个单元中的每一个施加电压来控制多个单元中的每一个的打开或关闭操作。相应地，可以调节图像感测元件的fov。

通过使用这样的原理，也可以调节显示器的fov。

在这种情况下，处理器140可以通过控制视区调节组件130基于光学元件120中所包括的光学透镜中的每一个的布置位置而调节相对应的液晶快门的打开位置或打开尺寸中的至少一个，来调节显示器的fov。这里，显示器的fov可以是由电子装置100中所包括的多个图像感测元件中的每一个的fov整体提供的fov。也就是说，当多个图像感测元件被假设为一个集成相机时，显示器的fov可以是该集成相机的fov。例如，处理器140可以根据用户命令(或用户交互)来不同地调节设置在不同布置位置的多个图像感测元件的fov。作为示例，当输入诸如放大命令或缩小命令的用户命令时，处理器140可以调节至少一个液晶快门的打开位置或打开尺寸中的至少一个，以根据用户命令提供放大或缩小的图像。也就是说，处理器140可以调节显示器的fov以对应于用户命令。

例如，当根据用户命令来放大显示器的fov时，处理器140可以控制多个单元中的每一个的打开或关闭操作，使得光从与设置在外面区域中的至少一个感测元件相对应的液晶快门中的每一个入射到位于第一位置的至少一个单元区域。这里，第一位置的单元区域可以是在设置在外面区域中的液晶快门中靠近面板设备110的中心区域的位置的单元区域。将参考图8a和图8b对其进行详细描述。

当根据用户命令来缩小显示器的fov时，处理器140可以控制多个单元中的每一个的打开或关闭操作，使得光从与设置在外面区域中的至少一个感测元件相对应的液晶快门中的每一个入射到位于第二位置的至少一个单元区域。这里，第二位置的单元区域可以是在设置在外面区域中的液晶快门中远离面板设备110的中心区域的位置的单元区域。将参考图8c和图8d对其进行详细描述。

根据另一实施例，当通过液晶透镜方法来实施视区调节组件130时，可以通过控制是否向多个液晶透镜中的每一个施加电压或者所施加的电压的强度中的至少一项来调节相对应的图像感测元件的fov。

此外，处理器140可以通过控制电压施加器基于多个液晶透镜的布置位置向多个液晶透镜中的每一个施加不同的电压，来调节显示器的fov。

例如，当根据用户命令来放大显示器的fov时，处理器140可以向相对应的液晶透镜施加电压，使得与设置在外面区域中的至少一个感测元件相对应的液晶透镜的fov被放大，并且还可以基于液晶透镜的位置向剩余的液晶透镜施加适当的电压。

当根据用户命令来缩小显示器的fov时，处理器140可以向相对应的液晶透镜施加电压，使得与设置在外面区域中的至少一个感测元件相对应的液晶透镜的fov被缩小，并且还可以基于液晶透镜的位置向剩余的液晶透镜施加适当的电压。

图7是示出根据实施例的用于调节图像感测元件的fov的方法的图。

根据实施例的视区调节组件可以以液晶快门的形式来实施，如图7所示。这里，液晶快门710可以具有包括尺寸小于图像感测元件520的尺寸的多个单元的形式。例如，液晶快门710可以被设计成具有tft阵列结构，使得光可以入射在图像感测元件520的一部分上。例如，液晶快门710可以由透明基板和电极构成，并且可以被实施为使得没有被施加电力的单元保持透明状态以透射光，以及被施加电力的单元被转换成不透明状态从而不透射光。例如，液晶快门710可以被实施为针孔掩模(pinholemask)或针孔掩模阵列。

参考图7，当仅向液晶快门710的至少一个单元区域711不施加电力，并且向剩余的单元区域施加电力时，光可以仅通过单元区域711入射，并且入射光可以在光学元件120的一个区域中折射且可以入射到图像感测元件520的一部分。也就是说，图像感测元件520的视场(fov)可以通过液晶快门710的控制来调节。根据实施例，至少一个光学元件120可以设置在每个液晶快门710之上或之下，以便为每个图像感测元件520生成单独的fov。

根据实施例，可以提供用于控制对液晶快门710的电力施加的控制器，并且该控制器可以根据处理器140的控制信号来控制液晶快门710。

图8a至图8d是示出根据实施例的用于调节显示器的fov的方法的图。

图8a和图8b示出了使用液晶快门方法来加宽显示器的fov的情况。如图所示，可以控制与图像感测元件的每个位置相对应的液晶快门的打开位置。例如，如图8a所示，可以控制与位于中心区域的图像感测元件b相对应的液晶快门720，使得位于中心部分的单元区域721被打开，并且可以控制与位于外面区域的图像感测元件a和c相对应的液晶快门710和730，使得与面板设备110的中心区域更靠近的位置的单元区域711和731被打开。

具体地，如图8b所示，假设图像感测元件设置在面板设备110的位置①至⑨，可以控制与位于中心区域的图像感测元件⑤相对应的液晶快门，使得位于中心部分的单元区域815被打开，并且可以控制与位于外面区域的图像感测元件①、②、③、④、⑥、⑦、⑧和⑨相对应的液晶快门，使得更靠近面板设备110的中心区域的位置的单元区域811、812、813、814、816、817、818和819被打开。在这种情况下，显示器的fov被加宽，如图所示。

图8c和图8d示出了使用液晶快门方法来缩窄显示器的fov的情况。如图所示，可以控制与图像感测元件的每个位置相对应的液晶快门的打开位置。例如，如图8c所示，可以控制与位于中心区域的图像感测元件b相对应的液晶快门720，使得位于中心部分的单元区域721被打开，并且可以控制与位于外面区域的图像感测元件a和c相对应的液晶快门710和730，使得远离面板设备110的中心区域的位置的单元区域712和732被打开。

例如，如图8d所示，假设图像感测元件设置在面板设备110的位置①至⑨，可以控制与位于中心区域的图像感测元件⑤相对应的液晶快门，使得位于中心部分的单元区域825被打开，并且可以控制与位于外面区域的图像感测元件①、②、③、④、⑥、⑦、⑧和⑨相对应的液晶快门，使得更远离面板设备110的中心区域的位置的单元区域821、822、823、824、826、827、828和829被打开。在这种情况下，显示器的fov被缩窄，如图所示。

图9a至图9d是示出根据另一实施例的用于调节图像感测元件的fov的方法的图。

根据另一实施例，光学元件120可以被实施为液晶透镜阵列(例如，微型液晶透镜阵列)，以执行视区调节组件130的功能。例如，液晶的铁电体可以用于改变液晶透镜的焦距。也就是说，液晶分子的取向(或取向角(orientationangle))可以根据电压的强度而发生改变，从而可以调节液晶透镜的焦距。在这种情况下，图像感测元件优选地形成为2×2或更大的宏像素结构。

根据实施例，液晶透镜可以包括透镜层121、液晶层122以及电极层123-1和123-2，如图9a至图9d所示。液晶层122可以具有根据通过电极层123-1和123-2施加的电压的强度而改变的光学特性，以控制穿过透镜层121的光在不同方向上的折射。这里，电极层123-1和123-2可以由透明材料形成并且具有扁平的形状，以最小化或减少对穿过其中的光的影响。例如，如图9a至图9d所示，液晶分子的取向角可以根据施加到电极层123-1和123-2的电压的强度而改变，从而可以改变液晶透镜的焦距。这样，当液晶透镜的焦距被改变时，图像感测元件520的fov可能因此被改变。

图9e至图9g是示出根据另一实施例的液晶透镜的实施方式的图。

根据另一实施例，液晶透镜920可以包括电极层923和924以及液晶层922，如图9e所示。

电极层923和924向液晶层922施加电场。这里，电极层923和924可以由透明材料形成并且具有扁平的形状，以最小化或减少对穿过电极层923和924的光的影响。这里，液晶层922可以根据是否向第一电极层924中所包括的多个电极施加电压而形成透镜形状，并且第二电极层923可以是公共电极。

液晶层922可以根据构成第一电极层924的多个电极当中被施加电压的电极的位置而形成具有不同尺寸或不同形状的透镜形状。为此，液晶层922可以由液体或纳米材料形成，其透镜形状根据电压而改变。

图9f示出了一个示例，并且液晶层922可以根据构成电极层924的多个电极924-1、924-2和924-3当中被施加电压的电极的位置而形成透镜形状。为此，液晶层922可以由液体或纳米材料形成，其透镜形状根据电压而改变。例如，当负(-)电压被施加到彼此隔开的电极924-1和924-3并且正(+)电压被施加到位于电极924-1和924-3之间的电极时，液晶层922在相对应的位置形成液晶(lc)透镜，如图所示。图9g示出了另一示例，并且可以通过向公共电极923-1以及多个电极924-1、924-2和924-3施加电压的方法在相对应的位置形成lc透镜。

处理器140可以通过施加不同的电压来调节相对应的图像感测元件的fov，使得在液晶层922中形成的透镜形状被改变。

图10是示出根据实施例的用于调节显示器的fov的方法的图。

图10示出了使用液晶透镜方法来调节显示器的fov的情况。如图所示，可以调节与图像感测元件的每个位置相对应的液晶透镜的焦距，即fov。例如，如图所示，与位于中心区域的图像感测元件523相对应的液晶透镜可以调节液晶透镜的fov，使得fov被缩窄，并且可以调节液晶透镜的焦距，使得相对应的液晶透镜522、524、521和525的fov随着图像感测元件的位置远离中心区域移动而被加宽。在这种情况下，也可以基于每个液晶透镜的fov来调节显示器的fov。

回头参考图4，处理器140可以不同地控制多个图像感测元件和多个图像显示像素的驱动定时。例如，处理器140可以执行时分驱动，使得在驱动多个图像显示像素的第一时段期间不驱动多个图像感测元件，并且在驱动多个图像感测元件的第二时段期间不驱动多个图像显示像素。这是为了排除从图像显示像素发射的光和由图像感测元件收集的光的干扰。在一些情况下，驱动图像显示像素的第一时段和驱动图像感测元件的第二时段可以部分重叠。例如，至少一个图像显示像素和至少一个图像感测元件可以在被改变成第一时段和第二时段的时段中的至少一些期间被同时驱动。

图11至图13是示出根据实施例的显示驱动方法的图。

根据实施例，如图11所示，在图像显示像素被驱动的同时，图像感测元件可以被停用。例如，液晶快门或液晶透镜可以被切换到透明状态，使得从图像显示像素发射的光不被遮蔽。在图像感测元件被驱动的同时，图像显示像素可以被停用。例如，在液晶快门方法的情况下，可以通过根据图像感测元件在面板上的位置控制液晶快门掩模(例如，针孔掩模)的打开位置或尺寸中的至少一个来调节fov。在液晶透镜方法的情况下，可以通过根据图像感测元件在面板上的位置而不同地施加液晶透镜的电压来调节fov。

例如，如图12和图13所示，在拍摄模式中，设置在面板设备110上的图像感测元件可以在水平方向上以行为单位被顺序地激活，并且可以在垂直方向上在下一行中被顺序地激活。

图12示出了通过液晶快门方法来实施视区调节组件130的情况。如图所示，当特定图像感测元件被激活时，与该图像感测元件相对应的液晶快门掩模也可以与该图像感测元件同步并且被驱动。

例如，在图像感测元件a和b被激活并且图像感测元件c被停用的状态下，如图所示，在特定行中所包括的图像感测元件在水平方向上被顺序地激活的特定时间，与图像感测元件a、b和c相对应的液晶快门掩模可以被同步驱动。在这种情况下，可以基于每个感测元件的位置来不同地控制液晶快门掩模的打开位置或尺寸中的至少一个。例如，基于图像感测元件a的位置，可以仅将液晶快门掩模的左边缘的中心区域中的至少一个单元保持在透明状态以透射光，并且可以将剩余区域中的单元改变成不透明状态以阻挡光。此外，基于图像感测元件b的位置，可以仅将液晶快门掩模的中心区域中的至少一个单元保持在透明状态以透射光，并且可以将剩余区域中的单元改变成不透明状态以阻挡光。此外，因为图像感测器件c处于非活动状态，所以可以控制视区调节组件130来保持与图像感测器件c相对应的液晶快门掩模中包括的所有单元的透明状态以透射光。

图13示出了通过液晶透镜方法来实施视区调节组件130的情况。如图所示，当特定的图像感测元件被激活时，与该图像感测元件相对应的液晶透镜也可以与该图像感测元件同步并且被驱动。

例如，在图像感测元件a和b被激活并且图像感测元件c被停用的状态下，如图所示，在特定行中所包括的图像感测元件在水平方向上被顺序地激活的特定时间，与图像感测元件a、b和c相对应的液晶透镜可以被同步驱动。在这种情况下，可以基于每个感测元件的位置来不同地控制液晶透镜的焦距，即fov。例如，可以基于图像感测元件a的位置将液晶透镜的fov调节到第一值。此外，可以基于图像感测元件b的位置将液晶透镜的fov调节到第二值。此外，因为图像感测器件c处于非活动状态，所以可以控制与图像感测元件c相对应的液晶透镜来无折射率地按原样透射光(transmitlightasitiswithoutrefractiveindex)。

回头参考图4，处理器140可以基于从多个图像感测元件获取的多个图像中的每一个的fov来处理多个图像，以获取要显示在图像显示像素上的输出图像。例如，当图像感测元件被实施为宏像素形式的二维感测元件时，从多个图像感测元件获取的图像信号的fov可以重叠。在这种情况下，处理器140可以通过对从多个图像感测元件获取的多个图像信号执行图像处理(例如，图像拼接处理)来获取要提供给图像显示像素的输出图像信号。例如，处理器140可以获取通过图像拼接处理而重构的图像信号，根据显示驱动定时将重构的图像信号转换成电信号，并且将电信号传输到每个图像显示像素。

图14是示出根据实施例的图像获取方法的图。

如图14所示，由于从宏像素形式的图像感测元件中的每一个获取的图像信号的fov重叠，可以获取如图所示的马赛克图像。在这种情况下，处理器140可以执行图像拼接处理以获取要显示在图像显示像素上的输出图像。例如，处理器140可以通过扭曲、基于特征的对准、旋转、平移或白平衡中的至少一个来获取输出图像。处理器140可以控制面板设备110以显示所获取的输出图像。处理器140可以控制视区调节组件130以根据用户的各种交互(例如，图像放大命令或图像缩小命令)调节与至少一个图像感测元件相对应的fov，基于通过包括具有调节后的fov的图像感测元件的多个图像感测元件而获取的图像信号来获取与用户的交互相对应的输出图像，以及控制面板设备110以显示所获取的输出图像。例如，处理器140可以根据用户的图像放大命令来控制视区调节组件130缩小显示器的fov，或者根据用户的图像缩小命令来控制视区调节组件130放大显示器的fov。

图15是示出根据实施例的电子装置的详细配置的框图。

参考图15，电子装置100包括面板设备110、光学元件120、视区调节组件130、处理器140、输入接口160、存储器170和用户接口180。

已经参考图4描述了包括面板设备110、光学元件120和视区调节组件130的显示器150的配置，因此将省略其详细描述。

处理器140可以控制显示器150以显示根据各种实施例处理的图像。

根据一个示例，处理器140可以执行图形处理功能(视频处理功能)。例如，处理器140可以通过使用计算器和渲染器来生成包括诸如图标、图像、文本等各种对象的屏幕。这里，计算器可以基于接收到的控制命令，根据屏幕的布局来计算显示对象的属性值，诸如坐标值、形状、尺寸、颜色等。此外，渲染器可以基于由计算器计算的属性值来生成包括对象的各种布局的屏幕。此外，处理器140可以对视频数据执行各种图像处理，诸如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。

根据另一示例，处理器140可以对音频数据执行处理。例如，处理器140可以对音频数据执行各种处理，诸如解码、放大、噪声滤波等。

输入接口160接收各种类型的内容。例如，输入接口160可以通过诸如基于ap的wi-fi(无线lan网络)、蓝牙、zigbee、有线/无线局域网(lan)、广域网(wan)、以太网、ieee1394、高清多媒体接口(hdmi)、移动高清链路(mhl)、通用串行总线(usb)、显示端口(dp)、thunderbolt、视频图形阵列(vga)端口、rgb端口、d-超小型(d-sub)、数字视觉接口(dvi)等的通信方法，以流式或下载方式从外部设备(例如，源设备)、外部存储介质(例如，usb)、外部服务器(例如，网络硬盘驱动器)等接收图像信号。这里，图像信号可以是数字信号，但不限于此。

存储器170可以存储各种实施例所需的数据。例如，存储器170可以可以根据数据存储目的以嵌入在电子装置100中的存储器的形式来实施，或者以可附接到电子装置100且可从电子装置100拆卸的存储器的形式来实施。例如，用于驱动电子装置100的数据可以存储在嵌入在电子装置100中的存储器中，并且用于电子装置100的扩展功能的数据可以存储在可附接到电子装置100且可从电子装置100拆卸的存储器中。嵌入在电子装置100中的存储器可以被实施为易失性存储器(例如，动态随机存取存储器(dram)、静态ram(sram)、同步动态ram(sdram)等)或非易失性存储器(例如，一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩膜rom、闪速rom、闪存(例如，nand闪存、nor闪存等)、硬盘驱动器或固态驱动器(ssd))，并且可附接到电子装置100且可从电子装置100拆卸的存储器可以以诸如存储卡(例如，紧凑型闪存(cf)、安全数字(sd)、微型安全数字(micro-sd)、迷你安全数字(mini-sd)、极限数字(xd)、多媒体卡(mmc)等)、可连接到usb端口的外部存储器(例如，usb存储器)等形式来实施。

用户接口180可以被实施为诸如按钮、触摸板、鼠标或键盘的设备，或者可以被实施为也可以执行上述显示功能和操纵/输入功能的触摸屏。这里，按钮可以是各种类型的按钮，诸如机械按钮、触摸板、滚轮等，其形成在电子装置100的主体外部的任意区域，诸如前部、侧部和后部。

根据实施方式，电子装置100还可以包括调谐器和解调器。

调谐器可以通过调谐用户所选择的频道或所有先前存储的频道来接收通过天线接收的射频(rf)广播信号当中的rf广播信号。

解调器可以接收和解调由调谐器转换的数字if信号(dif)，并且执行频道解码。

图16是示出根据本公开实施例的电子装置的控制方法的流程图。

在图16所示的电子装置的控制方法中，该电子装置可以包括：面板设备，其包括多个图像显示像素和多个图像感测元件，其中每个图像感测元件设置在多个图像显示像素之间；光学元件，其设置在面板设备的上部，其中多个图像感测元件被配置为感测通过光学元件的入射光；以及视区调节组件，被配置为调节多个图像感测元件的视场(fov)。

根据示出的控制方法，首先，控制视区调节组件以调节至少一个图像感测元件的fov(s1610)。例如，为了根据各种用户命令来获取相对应的拍摄图像，可以调节至少一个图像感测元件的fov。

接下来，控制面板设备以显示基于感测到的入射光而生成的图像(s1620)。

这里，多个图像感测元件中的每一个可以被实施为单个感测元件或者宏像素形式的二维感测元件。

此外，多个图像显示像素可以以二维形式来布置，并且多个图像感测元件可以以至少一个图像显示像素为单位以二维形式来布置。

此外，多个图像感测元件中的每一个可以与至少一个图像显示像素设置在相同的层上，或者与至少一个图像显示像素设置在不同的层上。

与此同时，视区调节组件可以包括液晶快门，该液晶快门设置在光学元件之上或之下并且由尺寸小于图像感测元件的尺寸的多个单元构成。在这种情况下，在s1610中，可以通过控制是否向构成液晶快门的多个单元中的每一个施加电压来控制多个单元中的每一个的打开或关闭操作。

此外，在s1610中，可以基于光学元件中所包括的光学透镜中的每一个的布置位置，通过调节相对应的液晶快门的打开位置或打开尺寸中的至少一个来调节显示器的fov。

此外，在s1610中，当显示器的fov被放大时，可以控制多个单元中的每一个的打开或关闭操作，使得光从与设置在外面区域中的至少一个感测元件相对应的液晶快门入射到位于第一位置的至少一个单元区域。此外，在s1610中，当显示器的fov被缩小时，可以控制多个单元中的每一个的打开或关闭操作，使得光从与设置在外面区域中的至少一个感测元件相对应的液晶快门入射到位于第二位置的至少一个单元区域。

这里，光学元件可以包括其液晶对准角根据电压的强度而改变的多个液晶透镜，并且视区调节组件可以包括用于向光学元件施加电压的电压施加器。视区调节组件可以包括被实施为液晶透镜的光学元件和电压施加器。在这种情况下，在s1610中，可以控制电压施加器基于多个液晶透镜(即，相对应的图像感测元件)的布置位置向多个液晶透镜中的每一个施加不同的电压。

此外，在s1610中，可以执行时分驱动，使得在驱动多个图像显示像素的第一时段期间不驱动多个图像感测元件，并且在驱动多个图像感测元件的第二时段期间不驱动多个图像显示像素。

此外，该控制方法还可以包括基于从多个图像感测元件获取的多个图像中的每一个的fov来处理多个图像以获取要显示在图像显示像素上的输出图像的操作。

此外，在s1610中，可以控制视区调节组件以根据用户命令来不同地调节设置在不同布置位置的多个图像感测元件的fov。

根据上述各种实施例，通过将多个图像感测元件安装在面板设备上，可以减少或防止在自拍或通过自拍进行的各种交互期间发生的视线不匹配问题。

此外，通过在显示器中嵌入图像感测元件，可以最小化显示设备的边框，并且最终可以实施全屏显示。

此外，因为可以调节图像感测元件的焦点，所以可以获取在适合于用户交互的视角拍摄的图像。

此外，根据上述公开的各种实施例的方法可以通过仅升级电子装置的现有硬件来实施，但是在一些情况下，可能另外需要软件升级。

根据实施例，上述各种实施例可以由包括存储在机器(例如，计算机可读存储介质)中的指令的软件来实施。该机器是从存储介质调用存储的指令并且可根据调用的指令操作的设备，并且该机器可以包括根据各种实施例的图像处理设备(例如，图像处理设备a)。当处理器执行指令时，处理器可以直接地或使用处理器控制下的其他部件来执行与指令相对应的功能。指令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式来提供。这里，术语“非暂时性”意味着存储介质不包括信号并且是有形的，但是不区分数据是半永久地还是临时地存储在存储介质中。

根据上述各种实施例的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述子部件的一些子部件，或者可以在各种实施例中进一步包括其他子部件。一些部件(例如，模块或程序)可以被集成到一个实体中，以执行在集成之前由各个部件执行的相同或相似的功能。根据各种实施例，由模块、程序或其他部件执行的操作可以以顺序、并行、迭代或启发式的方式来执行，或者至少一些操作可以以不同的次序来执行或被省略，或者可以添加其他操作。

尽管上文已经示出和描述了实施例，但是本公开不限于上述实施例，而是可以由本公开所属领域的技术人员进行各种修改，而不脱离如所附权利要求中所公开的本公开的要点。这些修改也应该被理解为落入本公开的范围和精神内。