数字装置及其处理三维图像的方法
【技术领域】
[0001]本发明涉及处理三维图像的数字装置，更具体地讲，涉及一种能够拍摄彩色图像和深度图像二者的数字装置以及使用该数字装置处理三维图像的方法。
【背景技术】
[0002]通常，处理3维图像的数字装置可包括被配置为拍摄彩色图像的彩色相机以及被配置为拍摄深度图像的深度相机。
[0003]在这种情况下，彩色相机对应于配备有CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体)的相机。彩色相机可通过感测从接收太阳光或闪光的对象反射的可见光来拍摄对象的二维彩色图像。
[0004]深度相机可通过用诸如激光束、红外光等的光照射对象并获得从对象反射的光来拍摄对象的深度图像。
[0005]在这种情况下，深度可指示从深度相机至对象的距离。
[0006]此后，可利用所拍摄的二维彩色图像和深度图像获得对象的三维图像。
[0007]然而，由于处理三维图像的数字装置应该分别驱动被配置为拍摄彩色图像的彩色相机以及被配置为拍摄深度图像的深度相机，所以数字装置的配置可能复杂，图像处理时间可能花费较长时间并且总成本也可能增加。
[0008]因此，未来需要一种能够拍摄彩色图像和深度图像二者的处理三维图像的数字装置。
【发明内容】
[0009]因此，本发明致力于一种基本上避免了由现有技术的局限和缺点引起的一个或更多个问题的设备及其方法。
[0010]本发明的一个实施方式计划的一个技术任务在于提供一种使用能够拍摄彩色图像和深度图像二者的光接收单元的简单结构的数字装置以及使用该数字装置处理三维图像的方法。
[0011]本发明的一个实施方式计划的另一技术任务在于提供一种能够通过增加红外光的曝光时间来改进深度图像的对比度的数字装置以及使用该数字装置处理三维图像的方法，其中，通过将光接收单元的分辨率从第一分辨率转换为比第一分辨率低的第二分辨率来增加红外光的曝光时间。
[0012]本发明的另外的优点、目的和特征将部分地在以下描述中阐述，并且部分地将在本领域普通技术人员研宄以下描述时变得明显，或者可通过本发明的实践而了解。本发明的目的和其它优点可通过所撰写的说明书及其权利要求书以及附图中具体指出的结构来实现和获得。
[0013]为了实现这些目的和其它优点并且依据本发明的目的，如本文具体实现并广义描述的，根据一个实施方式，一种数字装置处理三维图像的方法包括以下步骤:将光接收单元的分辨率从第一分辨率切换为比所述第一分辨率低的第二分辨率；从规定对象感测可见光和红外光；在第一时间期间从所述光接收单元的第一感测单元所感测的可见光提取彩色图像信息；在第二时间期间从所述光接收单元的第二感测单元所感测的红外光提取深度图像信息；确定所述对象的所述彩色图像信息和所述深度图像信息二者的提取是否完成；以及如果所述对象的所述彩色图像信息的提取和所述深度图像信息的提取完成，则基于所提取的彩色图像信息和深度图像信息实现所述对象的3D图像。
[0014]为了进一步实现这些目的和其它优点并且依据本发明的目的，如本文具体实现并广义描述的，根据一个实施方式，一种数字装置可包括:接收单元，其被配置为接收2维(2D)或3维(3D)图像模式请求信号；光接收单元，其被配置为包括从规定对象感测与光谱的可见区域对应的可见光的第一感测单元以及感测与光谱的红外区域对应的红外光的第二感测单元；图像处理单元，其被配置为在第一时间期间从所述第一感测单元提取彩色图像信息并且在第二时间期间从所述第二感测单元提取深度图像信息；3D图像实现单元，其被配置为基于所提取的彩色图像信息和深度图像信息实现所述对象的3D图像；以及控制单元，如果接收到所述3D图像模式请求信号，则所述控制单元被配置为检查所述光接收单元的分辨率模式，如果所述光接收单元的分辨率对应于第一分辨率，则所述控制单元被配置为将所述光接收单元的分辨率从所述第一分辨率切换为比所述第一分辨率低的第二分辨率，所述控制单元被配置为控制所述光接收单元、所述图像处理单元和所述3D图像实现单元。
[0015]根据本发明的一个实施方式，由于可利用包括被配置为感测可见光的第一感测单元和被配置为感测红外光的第二感测单元的光接收单元同时处理彩色图像和深度图像二者，所以数字装置可简单地配置，并且三维图像处理时间和总成本可降低。
[0016]根据本发明的一个实施方式，可通过按照增加在彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的红外光的曝光时间的方式增强深度图像的灵敏度和对比度来改进三维图像的深度，其中，通过将光接收单元的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率来增加红外光的曝光时间。
[0017]应该理解，对本发明的以上总体描述和以下详细描述均是示例性和说明性的，旨在提供对要求保护的本发明的进一步说明。
【附图说明】
[0018]附图被包括以提供对本发明的进一步理解，并且被并入本申请并构成本申请的一部分，附图示出本发明的实施方式并与说明书一起用于说明本发明的原理。附图中:
[0019]图1是说明根据本发明的一个实施方式的数字装置的框图；
[0020]图2是说明根据本发明的不同实施方式的数字装置的框图；
[0021]图3是根据本发明的数字装置的三维图像处理装置的框图；
[0022]图4a至图4b是根据图3所示的光接收单元的贝尔图案(bayer pattern)的示图；
[0023]图5a至图5b是光接收单元的单元像素的第一实施方式的示图；
[0024]图6是光接收单元的单元像素的第二实施方式的示图；
[0025]图7a至图7b是光接收单元的单元像素的第三实施方式的示图；
[0026]图8是光接收单元的单元像素的第四实施方式的示图；
[0027]图9a至图9b是光接收单元的单元像素的第五实施方式的示图；
[0028]图10是光接收单元的单元像素的第六实施方式的示图；
[0029]图11是图3的图像处理单元的框图；
[0030]图12是图11的第一图像处理单元的框图；
[0031]图13是图11的第二图像处理单元的框图；
[0032]图14是图11的第二图像处理单元的不同实施方式的框图；
[0033]图15是图14的第一深度图像信息提取单元的框图；
[0034]图16和图17是根据本发明的数字装置处理三维图像的方法的流程图；
[0035]图18至图23是说明根据本发明的数字装置的三维图像处理过程的示意图；
[0036]图24是根据时间的光发射单元的开/关的示图；
[0037]图25是根据时间的图像处理单元的图像信息处理的示图；
[0038]图26是图16的提取彩色图像信息的方法的详细流程图；
[0039]图27是图16的提取深度图像信息的方法的详细流程图；
[0040]图28是第一深度图像信息和第二深度图像信息未结合的贝尔图案的示图；
[0041]图29是由光接收单元感测的红外光的分布的示图；
[0042]图30是第一深度图像信息和第二深度图像信息结合的贝尔图案的示图；
[0043]图31是图16的提取第二深度图像信息的方法的详细流程图；
[0044]图32是示出第一感测单元和第二感测单元的灵敏度特性的曲线图；
[0045]图33和图34是根据第一深度图像信息和第二深度图像信息是否结合来将深度图像的对比度彼此比较的示图。
【具体实施方式】
[0046]现在将参照附图根据本文公开的示例性实施方式给出详细描述。为了参照附图简要描述，可向相同或等同的组件提供相同或相似的标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文中使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给出任何特殊含义或功能。在本公开中，为了简明，本领域普通技术人员熟知的内容通常被省略。使用附图来帮助容易地理解各种技术特征，应该理解，本文所呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的形式以外的任何更改形式、等同形式和替代形式。
[0047]在以下描述中，参照【附图说明】根据本发明的各种实施方式。
[0048]图1是根据本发明的实施方式的数字接收器的示意图。
[0049]数字接收器200可包括网络接口 201、TCP/IP管理器202、服务传送管理器203、SI (系统信息、服务信息或信令信息)解码器204、解复用器205、音频解码器206、视频解码器207、显示A/V和OSD (屏幕显示)模块208、服务控制管理器209、服务发现管理器210、SI和元数据数据库(DB) 211、元数据管理器212、应用管理器等。
[0050]网络接口 201可通过网络接收或发送包括服务数据的IP分组。换言之，网络接口201可通过网络从与其连接的服务器接收包括用于SNS的文本数据、图像数据、音频数据和视频数据以及服务和应用中的至少一个的IP分组。[0051 ] TCP/IP管理器202可参与发送给数字接收器200的IP分组和从数字接收器200发送来的IP分组的传送，即，源与目的地之间的分组传送。TCP/IP管理器202可根据适当协议将接收的分组分类，并将分类的分组输出给服务传送管理器205、服务发现管理器210、服务控制管理器209和元数据管理器212。
[0052]服务传送管理器203可控制服务数据的分类和处理。服务传送管理器203可例如利用实时协议/实时控制协议(RTP/RTCP)控制实时流数据。换言之，在服务管理器213的控制下，服务传送管理器203可根据RTP解析基于RTP发送的实时流数据分组，并将解析的数据分组发送给解复用器205或者将解析的数据分组存储在SI和元数据DB 211中。服务传送管理器203可基于RTP将网络接收信息反馈给服务器。
[0053]解复用器205可通过分组标识符(PID)过滤来从接收的分组解复用音频数据、视频数据、SI，并将解复用的数据发送给对应处理器，即，音频/视频解码器206/207和SI解码器204。
[0054]SI解码器204可解析和/或解码诸如节目特定信息(PSI)、节目和系统信息协议(PSIP)、数字视频广播-服务信息(DVB-SI)等的SI数据。
[0055]SI解码器204可将解析和/或解码的SI数据存储在SI和元数据DB 211中。存储在SI和元数据DB 211中的SI数据可被需要SI数据的组件读取或提取并使用。还可从SI和元数据DB 211读取EPG数据。这将在下面详细描述。
[0056]音频解码器206和视频解码器207分别可对由解复用器205解复用的音频数据和视频数据进行解码。解码的音频数据和视频数据可通过显示单元208提供给用户。
[0057]应用管理器可包括服务管理器213和用户接口(UI)管理器214，管理数字接收器200的总体状态，提供UI，并管理其它管理器。
[0058]UI管理器214可接收来自用户的键输入，并通过OSD提供与键输入所对应的接收器操作有关的图形用户界面(GUI)。
[0059]服务管理器213可控制并管理诸如服务传送管理器203、服务发现管理器210、服务控制管理器209和元数据管理器212的服务相关管理器。
[0060]服务管理器213可配置信道映射并使得能够基于该信道映射应用户的请求进行信道控制。
[0061]服务管理器213可从SI解码器204接收与信道对应的服务信息，并将选择的信道的音频/视频PID设定给解复用器205以控制解复用器205的解复用程序。
[0062]当用户请求SNS时，应用管理器可配置OSD图像或者控制OSD图像的配置，以在屏幕的预定区域上提供用于SNS的窗口。应用管理器可配置OSD图像或者控制OSD图像的配置，使得可考虑其它服务(例如，广播服务)来应用户的请求确定并提供SNS窗口。换言之，当数字接收器200可通过屏幕上的图像提供服务(例如，SNS)时，数字接收器200可配置该图像，使得可考虑与其它服务的关系、优先级等适当地应对请求。
[0063]应用管理器可从相关外部服务器(例如，SNS提供服务器或者制造商提供的服务器)接收用于SNS的数据并将接收的数据存储在存储器中，使得应用户的请求使用所述数据来配置OSD以提供SNS，并且可通过屏幕的预定区域提供SNS。另外，数字接收器200可按照类似方式将在服务期间由用户输入的与服务有关的数据存储在存储器中，使得使用所述数据来配置服务，并且如果需要，将所述数据处理成另一数字接收器所需的形式并将所处理的数据发送给所述另一数字接收器或相关服务服务器。
[0064]另外，当用户在使用SNS的同时做出请求时，应用管理器、控制器或数字接收器可控制执行与用户的请求对应的信息或动作。例如，当用户在使用SNS的同时选择另一用户的输入数据或者与该输入数据对应的区域时，应用管理器、控制器或数字接收器可控制执行用于处理所选择的数据或区域的第一处理和/或第二处理，并控制以适当形式输出第一结果和/或第二结果。第一结果和/或第二结果可包括信息、动作、相关Π等，并且按照诸如文本、图像、音频/视频数据等的各种形式来配置。第一结果和/或第二结果可手动地或者由数字接收器自动地提供并执行。
[0065]当用户通过拖放将第一结果(例如，图像数据)移至广播节目或广播服务输出区域时，数字接收器可利用电子节目指南(EPG)或电子服务指南(ESG)(以下称作“广播指南”)(即，搜索引擎)对与第一结果有关的数据执行第二处理(例如，搜索处理)，以提供第二结果。这里，第二结果可按照与用作搜索引擎的广播指南类似的形式提供，或者作为单独配置的UI提供。当以广播指南的形式提供第二结果时，可利用第二结果提供其它数据。在这种情况下，第二结果可按照与其它数据相区分的方式配置，以使得用户能够容易地识别出第二数据。为了将第二结果与其它数据相区分，第二结果可被高亮、加阴影线并以3维(3D)形式