获得可视信息的装置、驱动其光源的方法和系统的制作方法
【专利摘要】提供了一种用于获得三维(3D)信息的装置、用于驱动其光源的方法、以及用于获得3D信息的系统。该装置包括：投射器、拍摄单元和使得驱动信号施加于投射器的控制器。该驱动信号在显示模式中具有第一峰值电流，并且在3D模式中具有比第一峰值电流高的第二峰值电流。
【专利说明】获得可视信息的装置、驱动其光源的方法和系统
[0001 ] 本申请是申请日为2011年I月5日、申请号为201110001424.6、发明名称为“获得3D信息的装置、驱动其光源的方法、和获得3D信息的系统”的发明专利申请的分案申请。
[0002]对相关申请的交叉引用
[0003]本申请要求于2010年I月5日向韩国知识产权局提交的专利申请N0.10-2010-0000447的优先权，该在先申请的内容以整体引用的方式并入本文。
技术领域
[0004]本发明涉及一种用于获得三维(3D)信息的装置、用于驱动其光源的方法、和用于获得3D信息的系统，更具体地，涉及一种用于使用结构光(structured-light)方法获得3D信息的装置、用于驱动其光源的方法、和用于获得3D信息的系统。
【背景技术】
[0005]3D(三维)图像技术应用于各种领域，诸如信息通信、广播、医疗护理、教育和训练、军事、游戏、动画、虚拟现实、计算机辅助设计(CAD)、工业技术等等。3D图像技术被认为是在这些各种领域中共同需要的下一代3D多媒体信息通信的核心技术。
[0006]一般说来，人感觉到的3D效果是通过由将要观察的对象的位置的变化引起的晶状体的厚度变化度、两眼和对象之间的角度差、左右眼看见的对象的位置和形状差、由对象的运动引起的视差(disparity)、和其它各种心理学和记忆效应等等的合成动作产生的。
[0007]在上述因素当中，由于人的左右眼之间的大约6cm到大约7cm的水平距离引起的双目视差被认为是3D效果的最重要的因素。换句话说，由于双目视差，人看对象时具有角度差，并且由于该角度差，进入左眼和右眼的图像实际上是不同的。当这两个不同的图像被发送到人的大脑时，大脑准确地联合这两个不同的图像的信息以使得人感受到原始的3D图像。
[0008]为了产生这样的3D图像，使用如下方法:使用几个照相机的立体视觉方法、在对象的表面上扫描激光源的方法、将结构图像发射(radiate)到对象上并捕获该对象以获得3D信息的结构光方法，等等。具体地，根据结构光方法，需要具有足够克服周围环境光的亮度的光量的结构光以发射到对象上。
【发明内容】
[0009]根据本公开的一方面，一种用于获得三维(3D)信息的装置可以包括投射器、拍摄单元和控制器。该投射器可以被配置为投射光。该拍摄单元可以被配置为捕获光已被到其上的对象的图像。该控制器可以被配置为使得:在显示模式中将具有第一峰值电流的驱动信号施加于该投射器，以及在3D模式中将具有比第一峰值电流高的第二峰值电流的驱动信号施加于该投射器。
[0010]根据本公开的另一方面，一种用于驱动用于获得3D信息的装置的光源的方法可以确定该装置工作在显示模式还是3D模式。如果确定该装置工作在显示模式，则将具有第一峰值电流的驱动信号施加到该光源。如果确定该装置工作在3D模式，则将具有比第一峰值电流高的第二峰值电流的驱动信号施加到该光源。投射基于该驱动信号的光。
[0011]根据本公开的另一方面，一种用于获得3D信息的系统可以包括投射装置和拍摄单元。该投射装置可以包括光源并且可以被配置为投射光。该拍摄装置可以被配置为捕获光已被投射到其上的对象的图像。该投射装置可以在显示模式中将具有第一峰值电流的驱动信号施加于该光源，以及在3D模式中将具有比第一峰值电流高的第二峰值电流的驱动信号施加于该光源。
[0012]根据本公开的另一方面，一种用于获得可视信息的装置，包括:投射器，被配置为投射光；拍摄单元，被配置为捕获光已被投射到其上的对象的图像;和控制器，被配置为使得，在显示模式中将具有第一峰值电流的驱动信号施加于该投射器，以及在可视信息获得模式中将具有比第一峰值电流高的第二峰值电流的驱动信号施加于该投射器，其中，所述可视信息获得模式是其中装置将模式光投射到对象上并捕获模式光被投射到其上的对象以获得该对象的深度信息的模式，其中，所述模式是可交换的。
[0013]根据本公开的另一方面，一种用于驱动用于获得可视信息的装置的光源的方法，包括:确定该装置工作在显示模式还是可视信息获得模式;如果确定该装置工作在显示模式，则将具有第一峰值电流的驱动信号施加到该光源，并且如果确定该装置工作在可视信息获得模式，则将具有比第一峰值电流高的第二峰值电流的驱动信号施加到该光源；以及基于该驱动信号投射光，其中，所述可视信息获得模式是其中装置将模式光投射到对象上并捕获模式光被投射到其上的对象以获得该对象的深度信息的模式，其中，所述模式是可交换的。
[0014]根据本公开的另一方面，一种用于获得可视信息的系统，包括:投射装置，具有被配置为投射光的光源；以及拍摄装置，被配置为捕获光已被投射到其上的对象的图像，其中该投射装置在显示模式中将具有第一峰值电流的驱动信号施加于该光源，以及在可视信息获得模式中将具有比第一峰值电流高的第二峰值电流的驱动信号施加于该光源，其中，所述可视信息获得模式是其中装置将模式光投射到对象上并捕获模式光被投射到其上的对象以获得该对象的深度信息的模式，其中，所述模式是可交换的。
【附图说明】
[0015]通过下面结合附图对实施例的描述，本发明的实施例的各个特征、方面和益处将变得明显且更易理解，其中:
[0016]图1是示出了根据本发明的实施例的用于获得三维(3D)信息的装置的框图；
[0017]图2A至图2D是示出了模式光(patterned light)的图；
[0018]图3是示出了由投射器将模式光发射到对象上并由拍摄单元捕获该对象的过程的图；
[0019]图4是示出了由拍摄单元捕获的对象的图像的图；
[0020]图5是示出了根据本发明的实施例的控制光量的方法的图；
[0021]图6是示出了根据本发明的实施例的获得3D信息的方法的流程图；和
[0022]图7是示出了根据本发明的实施例的用于获得3D信息的系统的图。
【具体实施方式】
[0023]现在参考附图更详细地描述本发明的某些实施例。
[0024]在下面的描述中，相同的附图标记即使在不同的附图中也用于相同的元件。尽管利用详细的结构和元件来描述实施例以帮助全面理解实施例的各个应用和优点，但是应当理解，可以在不用那些详细的特定物的情况下实现实施例。此外，将不会详细描述公知的功能或结构以避免用不必要的细节混淆该描述。应当注意，在附图中，特征的尺寸不一定是真正的比例，并且为了使得更好地理解，可能被放大。
[0025]具体地，将参考图1至图4描述用于获得三维(3D)信息的装置的结构和用于获得3D信息的方法，并且将参考图5描述用于控制光量的方法。此外，将参考图6描述用于获得3D信息的操作流，并且将参考图7描述用于获得3D信息的系统的结构。
[0026]1.用于获得3D信息的装置的结构和用于获得3D信息的方法
[0027]图1是示出了根据本发明的实施例的用于获得3D信息的装置100的框图。参考图1，装置100可以是移动设备并且使用结构光方法获得对象的3D信息。
[0028]结构光方法是指将编码的模式光(结构光)连续地发射到对象上并捕获该模式光已被发射到其上的对象的图像，以由所捕获的图像获得对象的3D深度信息的方法。换句话说，如果使用结构光方法，则需要用于连续地发射模式光的单元和用于捕获对象的图像的单元。
[0029]根据本实施例的装置100包括控制器110、驱动器120、投射器130、拍摄单元140和存储单元150。
[0030]控制器110控制装置100的总体操作。具体地，控制器110基于装置100的模式来操作装置100。
[0031]装置100的模式分为显示模式和用于获得3D信息的3D模式。
[0032]显示模式是指其中如果装置100作为一般设备工作则根据用户控制的模式产生光并且发射光的模式。
[0033]由于根据本实施例的装置100可以是移动设备，因此与装置100不是移动设备或是仅仅为了获得3D信息而生产的移动设备相比较，装置100具有更低的光输出。
[0034]3D模式是指产生具有不同模式的光并且发射到对象上以获得3D信息的模式。需要提供足够亮以克服周围环境光的亮度的光以获得3D信息。例如，如果周围环境的亮度是lOOlux，则具有大约201ux或更大的亮度的光量能够获得3D信息。
[0035]但是，如上所述，由于根据本实施例的装置100可以是移动设备，因此与装置100不是移动设备或是仅仅为了获得3D信息而生产的移动设备相比较，装置100可能具有更低的光输出。为了解决此问题，在装置100中，在3D模式下光源的占空比可以比显示模式下的占空比低，以增大光源的瞬时峰值电流以便产生高的光输出。
[0036]为了增大光源的瞬时峰值电流，发光二极管(LED)或激光二极管(LD)可以用作光源。如果如上所述故意降低光源的占空比，则所产生的光可能看上去在闪烁。但是，由于3D模式的目的是获得对象的3D信息，因此光的闪烁不影响3D模式。如果通过在3D模式下与显示模式下相比降低光源的占空比来在3D模式下与显示模式相比减少光量，则可以通过长时间开启拍摄单元140的快门以增加曝光时间来补偿光量的减少，这将在后面进行描述。
[0037]控制器110可以将控制信号发送到驱动器120以指示显示模式或者3D模式。
[0038]驱动器120可以基于从控制器110接收到的控制信号来驱动投射器130。具体地，如果接收到与显示模式对应的控制信号，则驱动器120可以产生用于显示模式的驱动信号并将驱动信号发送到投射器130。如果接收到与3D模式对应的控制信号，则驱动器120可以产生用于3D模式的驱动信号并将驱动信号发送到投射器130。
[0039]投射器130包括诸如LED、LD等的光源，根据从驱动器120接收到的驱动信号产生光，并在显示模式下发射具有任何期望的(或没有)模式的光，但是在3D模式下将该光已被调制成的模式光发射到对象上。
[0040]现在将参考图2A至图2D描述发射到对象上的模式光。图2A至图2D是示出了模式光的图。
[0041]如图2A至图2D所示，模式光可以包括多个模式的光。
[0042]参考图2A，模式光可以包括多个不同的模式。具体地，可以形成模式光以使得，在多个模式光的每一个中交替排列较暗部分和较亮部分，并且在多个模式光的每一个中的较亮部分和较暗部分的数目和排列彼此不同。
[0043]参考图2B，模式光可以具有变化的强度分布。
[0044]参考图2C和图2D，可以按照具有不同类型的颜色信息(RGB信息)的不同模式形成模式光。
[0045]再一次参考图1，投射器130可以以预设时间间隔将参考图2A至图2D描述的模式光依次发射到对象上。
[0046]当投射器130将模式光依次发射到对象上时，拍摄单元140可以捕获该对象的图像以基于控制器110的控制信号产生捕获的图像。
[0047]现在将参考图3和图4进行描述。
[0048]图3是示出了由投射器130将模式光发射到对象300上并由拍摄单元140捕获该对象300的图像的过程的图。如图3所示，投射器130和拍摄单元140隔开预设的距离“d”，且投射器130在离拍摄单元140距离“d”处将模式光发射到对象300上。拍摄单元140捕获模式光已被投射到其上的对象300的图像，以便用算术计算从拍摄单元140到对象300的各个部分的距离。
[0049]图4是示出了由拍摄单元140捕获的对象300的图像的图。具体地，图4是示出了图2A的模式光已被投射到其上的对象300的捕获的图像的图。如图4所示，在离拍摄单元140—定距离处捕获由模式光照亮的对象300的图像，因而显示在捕获的图像上的模式光具有与由投射器130发射的模式光的原始形式不同的形式。基于此，计算作为对象300的3D信息的深度信息，即从拍摄单元140到对象300的各个部分的距离。
[0050]再一次参考图1，拍摄单元140可以捕获由一系列模式光照亮的对象的图像并将捕获的图像发送到控制器110。控制器110可以分析该图像以从如上所述的图像中提取对象300的3D信息。控制器110可以将元数据增加到与施加于该对象的光的模式有关的每个图像。
[0051]存储单元150可以存储用于操作装置100的所有程序和由拍摄单元140捕获的图像，并且可以被实现为硬盘驱动器(HDD)、存储器等等。
[0052]2.用于控制光量的方法
[0053]图5是示出了根据本发明的实施例用于控制光量的方法的图。为了方便起见，在图5中一起示出了在显示模式中使用的驱动电流和在3D模式中使用的驱动电流。
[0054]如上所述，在显示模式的情况下，驱动电流具有峰值“a”和占空比b/cο由于在显示模式中使用峰值“a”和占空比“b/c”，因此可以优化峰值“a”和占空比“b/c”以防止来自于光源的光看起来像是在闪烁。
[0055]在3D模式的情况下，驱动电流具有比显示模式下的驱动电流的峰值“a”高的峰值“a’”，和占空比“b’/c”’。在3D模式下的驱动电流的占空比“b’/c’”可以比显示模式下的驱动电流的占空比“b/c”低。峰值“a’”可以随占空比“b/c”的减小而增大。
[0056]因而，在显示模式的情况下，装置100可以驱动光源以使得光源具有峰值“a”和占空比“b/c”。如果显示模式转变为3D模式，则装置100可以将驱动电流的占空比“b/c”减小到占空比“b’/c’”，并且将峰值“a”增大到峰值“a’”。此外，如果如上所述光量随着占空比的减小而减小，则装置100可以长时间开启拍摄单元140的快门以增加曝光时间，以便保证光量足够获得3D彳目息。
[0057]3D模式下的峰值“a’”可以是显示模式下的峰值“a”的5倍或更小倍数。如果使用此方法，则尽管装置100可以是移动设备，但是可以提取占据人的身体的上半部分或更多的对象的深度。
[0058]3.用于获得3D信息的操作流
[0059]现在将参考图6描述装置100的操作流。图6是示出了根据本发明的实施例的获得3D信息的方法的流程图。
[0060]装置100确定工作模式(S610)。如上所述，装置100可以至少工作在显示模式和用于获得3D信息的3D模式。
[0061 ]如果确定装置100的模式是3D模式(S610)，则装置100产生具有比在显示模式下低的占空比和高的峰值的驱动信号(S620)。根据所产生的驱动信号来驱动光源以将模式光发射到对象上(S630)。
[0062]装置100捕获模式光已被发射到其上的对象的图像以产生图像(S640)。装置100确定图像的捕获是否已经结束(S650)。如果确定图像的捕获已经结束(S650-是)，则装置100分析所产生的图像以提取对象的3D信息(S660)。
[0063]如果确定装置100的模式是显示模式(S610)，则装置100产生具有比在3D模式下高的占空比和低的峰值的驱动信号(S670)。根据所产生的驱动信号来驱动光源以发射光(S680)。任何特定模式的光，或者实际上未被模式化的光，可以由控制器110控制。发射的光可以被施加于显示面板。
[0064]装置100确定显示是否已经结束。如果确定显示已经结束(S690-是)，则装置100结束显示模式。
[0065]因此，可以提供足够克服周围环境光的亮度并且获得3D信息的光量。
[0066]4.用于获得3D信息的系统
[0067]图7是示出了根据本发明的实施例的用于获得3D信息的系统的图。如上所述，装置100可以被实现为合并了投射器130和拍摄单元140的设备。但是，如图7所示，分离的设备可以被集成到用于获得3D信息的系统中。
[0068]为此，该系统包括投射装置710、拍摄装置720和控制装置730，并且也工作在显示模式和3D模式。
[0069]投射装置710、拍摄装置720和控制装置730的操作和角色可以与图1的装置100的投射器130、拍摄单元140和控制器110相同或者可以由其推出，因而将省略它们的详细描述。
[0070]因此，可以提供足够克服周围环境光的亮度并且获得3D信息的光源。
[0071]虽然在上面的描述中，参考DSLR照相机描述了实施例，但是可以在具有焦点检测器件的任何SLR照相机中实践所述的实施例的教导。
[0072]前述实施例和优点仅仅是示范性的，并且不应被理解为限制本发明。本教导可以容易地应用于其它类型的装置。此外，实施例的描述预期是说明性的，本领域技术人员将理解，可以在不脱离本公开的教导的原理和精神的情况下，做出许多改变、替换、修改和变化，本公开的范围由所附权利要求书和它们的等价物定义。
【主权项】
1.一种用于获得可视信息的装置，包括: 投射器，被配置为投射光； 拍摄单元，被配置为捕获光已被投射到其上的对象的图像;和 控制器，被配置为使得，在显示模式中将具有第一峰值电流的驱动信号施加于该投射器，以及在可视信息获得模式中将具有比第一峰值电流高的第二峰值电流的驱动信号施加于该投射器， 其中，所述可视信息获得模式是其中装置将模式光投射到对象上并捕获模式光被投射到其上的对象以获得该对象的深度信息的模式， 其中，所述模式是可交换的。2.如权利要求1所述的装置，其中，所述可视信息是三维(3D)信息，并且所述深度信息是对象的3D?米度彳目息，并且 其中，该控制器使得在3D信息获得模式中施加于该投射器的驱动信号的占空比比在显示模式中施加于该投射器的驱动信号的占空比低，以使得该驱动信号具有比第一峰值电流高的第二峰值电流。3.如权利要求2所述的装置，其中，该第二峰值电流是第一峰值电流的5倍或更小倍数。4.如权利要求1所述的装置，其中，在所述可视信息获得模式中，该投射器将多个模式光依次投射到该对象上，该拍摄单元依次捕获多个模式光已被投射到其上的对象的图像以产生多个图像，并且该控制器分析该多个图像以获得该对象的深度信息。5.如权利要求4所述的装置，其中，该控制器控制该存储单元单独地存储该多个图像的每一个或者将与该多个模式光有关的元数据增加到该多个图像。6.如权利要求4所述的装置，其中，在该多个模式光的每一个中交替排列较暗部分和较亮部分来形成该多个模式光。7.如权利要求1所述的装置，其中，在该显示模式中，该投射器将光投射到显示面板上，并且该控制器在该显示面板上产生图像。8.如权利要求1所述的装置，其中，该投射器使用发光二极管(LED)或激光二极管(LD)作为光源来投射光。9.如权利要求1所述的装置，其中，该装置是移动显示装置。10.—种用于驱动用于获得可视信息的装置的光源的方法，包括: 确定该装置工作在显示模式还是可视信息获得模式； 如果确定该装置工作在显示模式，则将具有第一峰值电流的驱动信号施加到该光源，并且如果确定该装置工作在可视信息获得模式，则将具有比第一峰值电流高的第二峰值电流的驱动信号施加到该光源；以及 基于该驱动信号投射光， 其中，所述可视信息获得模式是其中装置将模式光投射到对象上并捕获模式光被投射到其上的对象以获得该对象的深度信息的模式， 其中，所述模式是可交换的。11.如权利要求10所述的方法，其中，所述可视信息是三维(3D)信息，并且所述深度信息是对象的3D深度信息，并且 其中，施加该驱动信号包括:与在显示模式中施加的驱动信号的占空比相比，减小在3D信息获得模式中施加的驱动信号的占空比，以施加具有比第一峰值电流高的第二峰值电流的驱动信号。12.如权利要求10所述的方法，其中，在所述可视信息获得模式中，投射的光包括依次投射的多个模式光， 其中该方法还包括:依次捕获多个模式光已被依次投射到其上的对象的图像以产生多个图像，并分析该多个图像以获得深度信息。13.如权利要求12所述的方法，还包括:单独存储该多个图像或将与该多个模式光有关的元数据增加到该多个图像。14.如权利要求12所述的方法，其中，在该多个模式光的每一个中交替排列较暗部分和较亮部分来形成该多个模式光。15.—种用于获得可视信息的系统，包括: 投射装置，具有被配置为投射光的光源；以及 拍摄装置，被配置为捕获光已被投射到其上的对象的图像， 其中该投射装置在显示模式中将具有第一峰值电流的驱动信号施加于该光源，以及在可视信息获得模式中将具有比第一峰值电流高的第二峰值电流的驱动信号施加于该光源， 其中，所述可视信息获得模式是其中装置将模式光投射到对象上并捕获模式光被投射到其上的对象以获得该对象的深度信息的模式， 其中，所述模式是可交换的。
【文档编号】H04N13/02GK106060525SQ201610511449
【公开日】2016年10月26日
【申请日】2011年1月5日
【发明人】郑泽成
【申请人】三星电子株式会社