获得深度信息的方法和显示设备的制作方法
【专利摘要】一种获得深度信息的方法和显示设备可基于距对象的距离来调整传感器面板的传感器区域，并可基于经过调整的传感器区域来获得对象的深度信息。
【专利说明】获得深度信息的方法和显示设备
[0001]本申请要求于2012年12月28日提交到韩国知识产权局的第10_2012_0156387号韩国专利申请以及2013年I月28日提交到韩国知识产权局的第10-2013-0009075号韩国专利申请的优先权，所述申请的公开通过引用合并于此。
【技术领域】
[0002]一个或更多个实施例涉及一种获得深度信息的方法以及用于执行所述方法的显示设备。
【背景技术】
[0003]三维(3D)图像提供服务作为下一代多媒体服务受到关注，并使得用户能够使用从两个或更多个视点获得的图像感知3D效果。
[0004]实现3D图像提供服务的方法可采用通过向期望使用例如相机拍摄的对象发射光来产生3D图像的方法。随后测量光被发射出至被反射回源的时间量，并且基于测量的时间量来计算对象的深度。
【发明内容】
[0005]通过提供一种获得深度信息的方法来实现前述和/或其他方面，所述方法包括:调整传感器面板的传感器区域；基于调整的传感器区域来获得对象的深度信息。
[0006]通过提供一种获得深度信息的方法来实现前述和/或其他方面，所述方法包括:估计参考距离；基于所述参考距离从传感器面板选择传感器数据；使用所述传感器数据来产生对象的多视点图像；使用所述多视点图像来获取对象的深度图像。
[0007]通过提供一种估计深度信息的方法来实现前述和/或其他方面，所述方法包括:估计参考距离；基于所述参考距离从传感器面板选择传感器数据；使用所述传感器数据产生对象的多视点图像；使用所述多视点图像产生多个重新聚焦的图像；使用所述多个重新聚焦的图像来获取对象的深度图像。
[0008]通过提供一种估计深度信息的方法来实现前述和/或其他方面，所述方法包括:使用基于参考距离从传感器面板选择的传感器数据来产生对象的多视点图像；使用所述多视点图像产生多个重新聚焦的图像；使用所述多视点图像和所述多个重新聚焦的图像来获取对象的深度图像。
[0009]通过提供一种显示设备来实现前述和/或其他方面，所述显示设备包括:参考距离估计单元，用于估计参考距离；传感器数据选择单元，用于基于所述参考距离从传感器面板选择传感器数据；数据解码单元，用于使用所述传感器数据产生对象的多视点图像；深度获取单元，用于使用所述多视点图像来获取对象的深度图像。
[0010]通过提供一种显示设备来实现前述和/或其他方面，所述显示设备包括:参考距离估计单元，用于估计参考距离；传感器数据选择单元，用于基于所述参考距离从传感器面板选择传感器数据；数据解码单元，用于使用所述传感器数据产生对象的多视点图像，并且使用所述多视点图像产生多个重新聚焦的图像；深度获取单元，用于使用所述多个重新聚焦的图像来获取对象的深度图像。
[0011]通过提供一种显示设备来实现前述和/或其他方面，所述显示设备包括:数据解码单元，用于使用基于参考距离从传感器面板选择的传感器数据来产生对象的多视点图像，并且使用所述多视点图像产生多个重新聚焦的图像；深度获取单元，用于使用所述多视点图像和所述多个重新聚焦的图像来获取对象的深度图像。
[0012]通过提供一种显示设备来实现前述和/或其他方面，所述显示设备包括:显示面板，具有多个像素；以及处理器，用于控制显示面板在第一预定时间段期间在显示模式下进行操作，并在第二预定时间段期间在图像捕捉模式下进行操作。
[0013]通过提供一种使用包括显示面板和传感器面板的显示设备来获得对象的深度信息的方法来实现前述和/或其他方面。所述方法包括:估计参考距离；基于所述参考距离从传感器面板选择传感器数据；通过组合使用所述传感器数据产生的多视点图像来通过处理器的方式产生第一深度图像；通过对通过组合使用所述多视点图像产生的重新聚焦的图像而获取的多视点图像进行组合来产生第二深度图像；通过重新组合第一深度图像和第二深度图像来获取对象的深度图像。
[0014]通过提供一种显示设备来实现前述和/或其他方面，所述显示设备包括:显示面板，具有多个像素；传感器面板，布置在显示面板的后面，用于捕捉图像；处理器，用于控制显示面板使用所述多个像素同时显示图像信号，并且允许外部光穿过显示面板到达传感器面板，使得在图像信号被显示面板显示的同时，传感器面板可使用所述外部光捕捉图像。
[0015]将在下面的描述中部分阐述实施例的另外的方面，还有部分从描述中将是清楚的，或者可通过本公开的实施而得知。
【专利附图】
【附图说明】
[0016]通过下面结合附图对实施例进行的描述，这些和/或其他方面将变得清楚并更易于理解，在附图中:
[0017]图1示出根据实施例的用于获得深度信息的显示设备的结构；
[0018]图2A和图2B示出根据实施例的多视点图像的示例和传感器面板的图像捕捉区域；
[0019]图3示出根据实施例的用于描述用于检测传感器数据的传感器区域和图像捕捉区域之间的关系的示图；
[0020]图4示出根据实施例的基于距对象的距离调整传感器区域的大小的示例；
[0021]图5示出根据实施例的用于获得深度信息的显示设备的配置；
[0022]图6A和图6B示出根据实施例的为了选择传感器区域而确定参考距离的方法；
[0023]图7示出根据实施例的可变地选择在传感器面板上检测到的传感器数据的示例；
[0024]图8A和图SB示出通过使用相应的点匹配多视点图像来获得深度图像的示例；
[0025]图9A和图9B示出根据实施例的使用多视点图像产生重新聚焦的图像的构思；
[0026]图10示出根据实施例的使用多视点图像产生重新聚焦的图像的示例；
[0027]图11示出根据实施例的使用边界来匹配重新聚焦的图像以获取深度图像的示例；[0028]图12示出根据实施例的通过重新组合第一深度图像和第二深度图像来获取对象的深度图像的示例；
[0029]图13示出根据实施例的使用显示设备来获得深度信息的方法。
【具体实施方式】
[0030]现在将详细参照实施例，其示例在附图中被示出，其中，相似的参考标号始终是指相似的元件。以下描述实施例以通过参照附图解释本公开。
[0031]根据实施例的显示设备可包括:显示面板,包括成像图案(imaging pattern)以使对象的输入光穿过成像图案内的孔径(aperture);以及传感器面板，用于检测由已穿过成像图案的输入光编码的数据(在下文中，传感器数据)并用于恢复对象的图像。所述传感器面板可包括作为可检测到传感器数据的最大区域的图像捕捉区域。图像捕捉区域的大小可被设置为与成像图案的大小相应。
[0032]显示设备可基于距对象的距离(例如，对象和显示面板之间的距离)选择图像捕捉区域的至少一部分作为传感器区域。传感器区域可以是用于选择在恢复对象的图像的解码处理过程期间将被实际使用的传感器数据的区域。
[0033]根据实施例的显示设备可通过基于距对象的距离可变地选择传感器区域来产生最佳深度图像。
[0034]图1示出根据实施例的用于获得深度信息的显示设备100的结构。
[0035]参照图1，显示设备100可包括例如显示面板110和传感器面板120。
[0036]显示面板110可以是用于显示图像的面板。例如，包括液晶显示(IXD)像素的面板或包括有机发光二极管(LOD)像素的面板可被采用为显示面板110。然而，实施例不限于此。依据实施例，显示面板110可允许来自外部的输入光穿过显示面板110，使得传感器面板120可基于外部光获取传感器数据。传感器数据可以是由包括在传感器面板120中的传感器检测的数据。
[0037]为了允许输入光穿过，显示面板110可包括多个成像图案112。形成成像图案112的处理可基于组成显示面板110的显示像素的类型而不同。
[0038]例如，当使用IXD像素构成显示像素时，显示面板110可通过IXD像素的组合光学地形成成像图案112。这里，包括多个IXD像素的显示面板110可通过在预定时间段(例如，诸如广播图像信号的图像信号没有正被显示的预定时间段)期间形成成像图案112来使输入光穿过。
[0039]例如，使用时分复用方案，包括多个IXD像素的显示面板110可在诸如第一时隙的一段预定时间段期间在显示模式下进行操作，并且可在诸如第二时隙的另一预定时间段期间在图像捕捉模式下进行操作。
[0040]在显示模式下，显示面板110可使用多个IXD像素显示图像信号(诸如广播信号)。在图像捕捉模式下，显示面板110可通过IXD像素的光学组合形成成像图案112，并可引导来自外部的输入光穿过成像图案112，使得位于显示面板110后面的传感器面板120可检测传感器数据。
[0041]可通过基于预定规则布置光学地组合为透明的图像(在下文中，透明光学组合图像)以及光学地组合为不透明的图像(在下文中，不透明光学组合图像)，按照各种方式设计通过IXD像素的光学组合形成的成像图案112。
[0042]作为一个示例，可通过将多个不透明光学组合图像布置在透明光学组合图像周围来将成像图案112设计为针孔图案。作为另一示例，可通过可选择地按照预定图案布置透明光学组合图像和不透明光学组合图像来将成像图案112设计为修正均匀冗余阵列(MURA)图案。作为另一示例，当使用OLED像素配置显示像素时，显示设备110可包括可在面板制造操作中预先设计的成像图案112。
[0043]在设计成像图案112的情况下，组成显示面板110的OLED像素中的每一个的一部分可包括使输入光穿过的透明窗口。可通过将OLED像素内的窗口调整为透明来制造包括透明窗口的OLED像素。
[0044]OLED像素中的每一个的另一部分可包括防止输入光穿过的不透明窗口。可通过将OLED像素内的窗口调整为不透明来制造包括不透明部分的OLED像素。
[0045]可通过基于预定规则布置包括透明窗口的OLED像素和包括不透明窗口的OLED像素来各种地设计成像图案112。作为一个示例，可通过将均包括不透明窗口的多个OLED像素布置为在包括透明窗口的OLED像素周围来将成像图案112设计为针孔图案。作为另一示例，可通过可选择地将包括透明窗口的OLED像素和包括不透明窗口的OLED像素布置为处于预定图案来将成像图案112设计为MURA图案。在图4中，四方形MURA图案被平铺为成像图案112作为示例。
[0046]可基于用于接收输入光的显示面板110的大小、面板制造环境等来确定成像图案112的数量及其在显示面板110中的位置。
[0047]在使用时分复用方案使输入光穿过的过程中，包括多个OLED像素的显示面板110可在一段预定时间段期间在显示模式下进行操作，并可在另一预定时间段期间在图像捕捉模式下进行操作。
[0048]在显示模式下，显示面板可使用多个OLED像素显示图像信号，诸如广播图像信号。在图像捕捉模式下，显示面板110可使来自外部的输入光穿过预先设计的包括在显示面板110中的成像图案112，使得位于显示面板110后面的传感器面板120可检测传感器数据。
[0049]此外，在包括多个OLED像素的显示面板110的情况下，由于成像图案112包括在显示面板110中，因此显示面板110可依据实施例而同时显示广播图像信号并使输入光穿过显示面板到达传感器面板120。
[0050]例如，包括多个OLED像素的显示面板110可使用包括在OLED像素中的透明窗口或不透明窗口同时显示广播图像信号并使光穿过，而不必执行时分复用。在该示例中，用于显示广播图像信号的光可从对象被反射并被额外输入。因此，显示面板110可使额外量的输入光穿过，这可增强在位于显示面板Iio后面的传感器面板120检测的传感器数据的质量。
[0051]穿过显示面板110的成像图案112的输入光可被编码为关于图像的传感器数据。可通过传感器面板120检测传感器数据。例如，传感器面板120可使用穿过每个成像图案112的输入光来从多个图像捕捉区域检测传感器数据。
[0052]显示设备110可通过对传感器面板120感测的传感器数据进行解码并通过恢复与针对各个图像捕捉区域的输入光关联的对象的图像，产生多视点图像。[0053]即使深度相机未被单独使用，根据实施例的显示设备100也可获取深度图像。
[0054]图2A和图2B示出根据实施例的多视点图像的示例和传感器的图像捕捉区域。
[0055]如在此所使用的术语多视点图像可指通过改变针对单个对象的视点而获取的多个图像，并且可以是与多个图像捕捉区域关联产生的图像的通用名称。显示设备可通过对在单个图像捕捉区域中检测的传感器数据进行解码，来将与图像捕捉区域的数量相应的多个图像产生为多视点图像。
[0056]在检测传感器数据的情况下，传感器面板可从穿过包括在成像图案中的孔径(例如，包括在OLED像素中的透明窗口)的输入光检测与成像图案的数量相应的传感器数据。
[0057]图2A示出对于显示面板包括九个成像图案的情况，通过穿过传感器面板的图像捕捉区域210中的九个成像图案的输入光，显示面板检测传感器数据的示例。例如，来自对象的输入光可以以不同角度穿过九个成像图案，并且传感器面板可在九个图像捕捉区域210中检测由所述九个成像图案编码的传感器数据。
[0058]基于距与输入光关联的对象的距离(例如，对象与显示面板之间的距离)，在图像捕捉区域210中检测到的传感器数据可集中在图像捕捉区域210内的预定部分。因此，显示面板可基于距对象的距离从传感器面板的图像捕捉区域210选择用于确定将被实际解码的传感器数据的传感器区域220。
[0059]例如，显示设备可首先将距对象的距离估计为参考距离，并可基于所述参考距离将传感器面板的图像捕捉区域210的至少一部分选为传感器区域220。稍后将描述对参考距离的估计。
[0060]图2B示出通过对从各自的九个图像捕捉区域210选择的传感器区域220内的传感器数据进行独立地解码来产生包括图像231、232、233、234、235、236、237、238和239的九个多视点图像的示例。
[0061]参照图2B，多视点图像231、232、233、234、235、236、237、238和239可包括针对单个对象从多个视点获取的多个图像，并且因此可分别与所述多个视点相应。
[0062]例如，当来自对象的光以接近于垂直的角度穿过成像图案时，可通过对在位于传感器面板的中心的图像捕捉区域220中检测到的传感器数据进行解码来产生在多视点图像231、232、233、234、235、236、237、238和239的中心产生的图像(诸如多视点图像235)(在下文中，称为中心图像235)。中心图像235的视点可以是从对象的正面观察到的角度。
[0063]此外，与中心图像235水平邻近的图像(例如，多视点图像234和236)可被产生为与中心图像235具有水平视点的视差，因此，可通过在中心图像235的左侧和右侧观察对象来获取。
[0064]类似地，与中心图像235垂直邻近的图像(例如，多视点图像232和238)可被产生为与中心图像235具有垂直视点的视差，因此，可通过从中心图像235的上面或下面观察对象来获取。
[0065]此外，与中心图像235对角线邻近的图像(例如，多视点图像231、233、237和239)可被产生为与中心图像235具有水平视点和垂直视点两者的视差。例如，可通过从中心图像235的左侧上方获取对象来获取与多视点图像231相应的图像。
[0066]可通过基于中心图像235逐渐改变观察对象的视点来产生多视点图像231、232、233、234、235、236、237、238 和 239。[0067]提出图2B的多视点图像231、232、233、234、235、236、237、238和239仅作为描述
实施例的示例，因此，依据实施例，可使用其他数量的图像。
[0068]图3示出根据实施例的用于描述用于检测传感器数据的传感器区域和图像捕捉区域之间的关系的示图。
[0069]如上所述，显示面板可包括多个成像图案。图3示出单个成像图案310。例如，可通过布置四方形MURA图案321、322、323和324 (均具有长度为“r”的边)来构成成像图案310。
[0070]MURA图案321、322、323和324使得能够通过使来自对象350的输入光穿过在MURA图案321、322、323和324内形成的孔径，在位于显示面板后面的传感器面板检测传感器数据。例如，所述孔径可以是包括透明窗口的OLED像素。检测的传感器数据可随后被编码。
[0071]传感器面板可包括图像捕捉区域330，并且可从图像捕捉区域330检测由成像图案310编码的传感器数据。
[0072]图像捕捉区域330可以是能够检测传感器数据的最大区域。在图3中，图像捕捉区域330可被设置为具有与成像图案310的一边相应的一边“2r”的四方形区域。这里，如上所述，“r”表示MURA的一边的长度。
[0073]根据实施例，显示设备300可通过基于距对象350的距离调整传感器区域340的范围来选择传感器数据。这里，传感器区域340可表示包括在图像捕捉区域330中的区域，例如，图像捕捉区域330中用于获取深度图像的区域。可选择地，例如，传感器区域340可表示图像捕捉区域330中传感器数据实际分布的区域。依据实施例，可基于距对象350的距离来确定传感器区域340的范围。
[0074]例如，显示设备300可使用对象350和显示面板之间的距离将图像捕捉区域330的至少一部分选为传感器区域340。
[0075]在图3中，对象350和显示面板之间的距离(例如，距对象350的距离)可被称为“Z”。如上所述，显示面板可包括成像图案310。
[0076]显示面板和传感器面板之间的距离可被称为“F”。这里，依据实施例，当图像捕捉区域330的一边的长度为“2r”时，显示设备300可从图像捕捉区域330选择一边的长度为“(1+(F/Z))r”的传感器区域340。
[0077]如图3中所示，例如，基于距对象350的距离，选为传感器区域340的“(1+(F/Z))r”可与输入光穿过MURA图案324并到达图像捕捉区域330的左端与输入光穿过MURA图案323并到达图像捕捉区域330的右端之间的长度相应。
[0078]通过输入光产生的传感器数据可集中在基于距对象350的距离从图像捕捉区域330选择的传感器区域340上。
[0079]依据实施例，显示设备300可通过根据距对象350的距离的改变调整传感器区域340的大小来选择传感器区域340。例如，根据对象350和显示面板之间的距离的增加，显示设备300可通过减小传感器区域340的大小来选择传感器区域340。由于“(1+(F/Z))r”中的“Z”的增加，将被选择的传感器区域340的大小可被减小。
[0080]相对地，根据对象350和显示面板之间的距离的减小,显示设备300可通过增加传感器340的大小来选择传感器区域。例如，由于“(1+(F/Z))r”中的“Z”的减小，将被选择的传感器区域340的大小可被增大。[0081]多个传感器区域340可被确定为与成像图案310的数量相应。显示设备300可使用属于各自的多个传感器区域340的传感器数据，通过解码处理来产生多个视点的多视点图像。
[0082]根据实施例，通过基于距对象350的距离调整传感器区域340的大小，可产生位于相对远离显示设备300的对象350的深度图像，并且还可产生位于相对接近显示设备300的对象350的深度图像。
[0083]根据实施例，通过识别与显示设备300接近的用户的手部动作等并且通过执行与识别的手部动作相应的处理，可向用户提供交互体验，诸如作为示例的触摸屏。
[0084]根据实施例，显示设备300可提供用于使用基于距对象350的距离可变地选择的传感器区域340内的传感器数据通过解码处理产生多视点图像，并且通过组合所述多视点图像来获取对象350的深度图像的环境。
[0085]图4示出根据实施例的基于距对象420的距离调整传感器区域的大小的示例。
[0086]将参照图4描述基于距对象420的距离调整传感器区域的大小的操作。
[0087]图4示出在显示面板430与传感器面板440之间的距离为F的情况下，将当对象420和显示面板430之间的距离为Ztl时选择的传感器区域的大小与当对象420与显示面板430之间的距离为Z1 (大于Ztl)时选择的传感器区域的大小进行比较的示例。
[0088]在图4 Ca)中，显示设备可从传感器面板440检测关于位于距显示面板430Z。处的对象420的传感器数据。这里，来自对象420的输入光可以以角度Θ。穿过成像图案的孔径410，并且显示设备可在传感器面板440的范围S。内检测由成像图案编码的传感器数据。显示设备可将所述范围Stl选为传感器区域。
[0089]可根据等式1计算角度Θ 0。
[0090][等式1]
[0091]
【权利要求】
1.一种使用包括显示面板和传感器面板的显示设备来获得深度信息的方法，所述方法包括: 调整传感器面板的传感器区域； 基于调整的传感器区域来获得对象的深度信息。
2.如权利要求1所述的方法，其中，调整传感器区域的步骤包括:基于从对象估计的距离来调整传感器面板的传感器区域的大小。
3.如权利要求2所述的方法，其中，在调整传感器区域的步骤中，根据从对象估计的距离的增加来减少传感器区域的大小。
4.一种使用包括显示面板和传感器面板的显示设备来获得对象的深度信息的方法，所述方法包括: 估计参考距离； 基于所述参考距离从传感器面板选择传感器数据； 使用所述传感器数据来产生对象的多视点图像； 使用所述多视点图像来获取对象的深度图像。
5.如权利要求4所述的方法，其中，获取深度图像的步骤包括: 确定对象的相应点； 通过使用所述相应点匹配多视点图像来获取深度图像。
6.如权利要求4所述的方法，还包括: 使用所述多视点图像来产生多个重新聚焦的图像； 其中，获取深度图像的步骤包括:使用所述多个重新聚焦的图像来获取对象的深度图像。
7.如权利要求6所述的方法，其中，产生多个重新聚焦的图像的步骤包括: 基于多视点图像之中的中心图像，使用像素单位来移动多视点图像中的每一个； 将根据所述移动而与中心图像重叠的图像产生为重新聚焦的图像。
8.如权利要求7所述的方法，其中，重新聚焦的图像是基于移动的像素值而锐利地表现对象的一部分的图像。
9.如权利要求6所述的方法，其中，使用多个重新聚焦的图像来获取对象的深度图像的步骤包括: 在所述多个重新聚焦的图像中的每一个中确定边界； 通过使用所述边界匹配相应的重新聚焦的图像来获取深度图像。
10.如权利要 求4所述的方法，其中，选择传感器数据的步骤包括:通过基于估计的参考距离改变传感器数据的量来选择传感器数据。
11.如权利要求10所述的方法，其中，传感器数据的量根据参考距离的增加而减少。
12.如权利要求4所述的方法，其中，估计参考距离的步骤包括: 选择多个候选距离； 基于与传感器面板关联产生的与所述多个候选距离中的每一个相应的图像的清晰程度，在所述多个候选距离之中确定参考距离。
13.如权利要求12所述的方法，其中，确定参考距离的步骤包括:当相对少量的模糊包括在图像中时，确定图像的清晰程度高。
14.如权利要求12所述的方法，其中，确定参考距离的步骤包括: 基于所述多个候选距离来从传感器面板选择候选传感器数据； 计算平均绝对梯度(MAG)值作为使用候选传感器数据产生的图像的清晰程度。
15.如权利要求14所述的方法，其中，计算MAG值的步骤包括: 通过对候选传感器数据进行解码来产生第一图像； 通过针对第一图像执行非局部平均来产生第二图像； 通过针对第二图像执行二值化来产生第三图像； 计算第二图像的MAG值。
16.一种使用包括显示面板和传感器面板的显示设备来估计对象的深度信息的方法，所述方法包括: 使用基于参考距离从传感器面板选择的传感器数据来产生对象的多视点图像； 使用所述多视点图像产生多个重新聚焦的图像； 使用产生的多视点图像和所述多个重新聚焦的图像来获取对象的深度图像。
17.如权利要求16所述的方法，其中，获取深度图像的步骤包括:使用与多视点图像的点关联的深度信息以及与重新聚焦的图像的边缘关联的深度信息来获取对象的深度图像。
18.如权利要求16所述的方法，其中，获取深度图像的步骤包括: 通过使用对象的相应点匹配多视点图像来产生针对多视点图像的第一深度图像；通过使用重新聚焦的图像内的边界匹配重新聚焦的图像来产生针对重新聚焦的图像的第二深度图像； 通过组合第一深度图像和第二深度图像来获取深度图像。
19.一种包括显示面板和传感器面板的显示设备，所述显示设备包括: 参考距离估计单元，用于估计参考距离； 传感器数据选择单元，用于基于参考距离从传感器面板选择传感器数据； 数据解码单元，用于使用传感器数据产生对象的多视点图像； 深度获取单元，用于使用多视点图像来获取对象的深度图像。
20.如权利要求19所述的显示设备，其中，深度获取单元确定对象的相应点，并通过使用所述相应点匹配多视点图像来获取深度图像。
21.如权利要求19所述的显示设备，其中: 数据解码单元使用多视点图像来产生多个重新聚焦的图像； 深度获取单元使用所述多个重新聚焦的图像来获取对象的深度图像。
22.如权利要求21所述的显示设备，其中，数据解码单元基于多视点图像之中的中心图像，使用像素单位来移动多视点图像中的每一个，并将根据所述移动而与中心图像重叠的图像产生为重新聚焦的图像。
23.如权利要求22所述的显示设备，其中，重新聚焦的图像是基于移动的像素值而锐利地表现对象的一部分的图像。
24.如权利要求21所述的显示设备，其中，深度获取单元在所述多个重新聚焦的图像中的每一个中确定边界，并通过使用所述边界匹配相应的重新聚焦的图像来获取深度图像。
25.如权利要求19所述的显示设备，其中，传感器数据选择单元通过基于参考距离改变传感器数据的量来选择传感器数据。
26.如权利要求25所述的显示设备，其中，传感器数据的量根据参考距离的增加而减少。
27.如权利要求19所述的显示设备，其中，参考距离估计单元选择多个候选距离，并基于与传感器面板关联产生的与所述多个候选距离中的每一个相应的图像的清晰程度，在所述多个候选距离之中确定参考距离。
28.如权利要求27所述的显示设备，其中，当相对少量的模糊包括在图像中时，参考距离估计单元确定图像的清晰程度高。
29.如权利要求27所述的显示设备，其中，参考距离估计单元基于所述多个候选距离从传感器面板选择候选传感器数据，并计算平均绝对梯度(MAG)值作为使用候选传感器数据产生的图像的清晰程度。
30.如权利要求29所述的显示设备，其中，参考距离估计单元通过对候选传感器数据进行解码来产生第一图像，通过针对第一图像执行非局部平均来产生第二图像，通过针对第二图像执行二值化来产生第三图像，并计算第三图像的MAG值。
31.一种包括显示面板和传感器面板的显示设备，所述显示设备包括: 数据解码单元， 用于使用基于参考距离从传感器面板选择的传感器数据来产生对象的多视点图像，并且使用所述多视点图像产生多个重新聚焦的图像； 深度获取单元，用于使用产生的多视点图像和所述多个重新聚焦的图像来获取对象的深度图像。
32.如权利要求31所述的显示设备，其中，深度获取单元使用与多视点图像的点关联的深度信息以及与重新聚焦的图像的边缘关联的深度信息来获取对象的深度图像。
33.如权利要求31所述的显示设备，其中，深度获取单元通过使用对象的相应点匹配多视点图像来产生针对多视点图像的第一深度图像，通过使用重新聚焦的图像内的边界匹配重新聚焦的图像来产生针对重新聚焦的图像的第二深度图像，并且通过组合第一深度图像和第二深度图像来获取深度图像。
34.一种显示设备，包括: 显示面板，包括多个像素； 处理器，用于控制显示面板在第一预定时间段期间在显示模式下进行操作，并在第二预定时间段期间在图像捕捉模式下进行操作。
35.如权利要求34所述的显示设备，其中，所述显示面板还包括:用于在图像捕捉模式期间捕捉图像的传感器面板。
36.如权利要求35所述的显示设备，其中，在第一预定时间段期间，显示面板使用多个像素显示广播图像信号，在第二预定时间段期间，显示面板允许外部光穿过显示面板到达传感器面板，其中，传感器面板基于所述外部光获取传感器数据。
37.一种使用包括显示面板和传感器面板的显示设备来获得对象的深度信息的方法，所述方法包括: 估计参考距离； 基于所述参考距离从传感器面板选择传感器数据； 通过组合使用所述传感器数据产生的多视点图像来通过处理器的方式产生第一深度图像； 通过对通过组合使用所述多视点图像产生的重新聚焦的图像而获取的多视点图像进行组合来产生第二深度图像； 通过重新组合第一深度图像和第二深度图像来获取对象的深度图像。
38.一种显不设备,包括: 显示面板，包括多个像素； 传感器面板，布置在显示面板的后面，用于捕捉图像； 处理器，用于控制显示面板使用所述多个像素同时显示图像信号，并且允许外部光穿过显示面板到达传感器面板，使得在图像信号被显示面板显示的同时，传感器面板可使用所述外 部光捕捉图像。
【文档编号】H04N13/04GK103916654SQ201310744537
【公开日】2014年7月9日 申请日期:2013年12月30日 优先权日:2012年12月28日
【发明者】徐成住, 崔昌圭, 朴斗植 申请人:三星电子株式会社