电子设备及其控制方法与流程

1.本公开涉及一种电子设备及其控制方法，更具体地，涉及一种用于基于深度图像获取对象的距离信息的电子设备及其控制方法。


背景技术：

2.飞行时间(tof)传感器基于朝向对象发射的光的飞行时间或相位信息来获取对象的距离信息。根据获取距离信息的方法，tof传感器被划分成测量光的往返飞行时间的直接tof方法和测量发射光和反射光之间的相位差的间接tof方法。


技术实现要素：

3.技术问题
4.使用直接tof方法的tof传感器的缺点在于需要昂贵的时间数字转换器(tdc)元件来进行高速测量，并且因此具有高的单位成本。另外，因为使用间接tof方法的tof传感器基于发射光和反射光之间的相位差来测量距离，所以存在不能精确地测量位于超过发射光信号的一个周期的距离处的对象的问题。
5.相应地，需要一种能够以低成本测量存在于长距离处的对象的技术。
6.技术方案
7.提供了一种能够通过使用光的相移来测量存在于长距离处的对象的距离的电子设备。
8.另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施例来学习。
9.根据本公开的一方面，提供了一种电子设备，包括：光发射器，被配置为朝向电子设备周围的区域发射光作为发射光；光接收器，被配置为获取来自对象的反射光，其中，所述对象反射从光发射器发射的发射光；存储器，存储一个或更多个指令；以及处理器，被配置为执行所述一个或更多个指令以执行以下操作：基于在第一时间周期期间通过光接收器获取的第一反射光来获取第一深度图像，并将所第一深度图像存储在存储器中，基于在第一时间周期之后的第二时间周期期间通过光接收器获取的第二反射光来获取第二深度图像，以及通过从第二深度图像的每个像素的第二深度值减去存储在存储器中的第一深度图像的每个像素的第一深度值来获取电子设备与第二深度图像中包括的所述对象之间的距离信息，并且通过使用基于与第二时间周期对应的时间信息获取的补偿值来校正差信息。
10.处理器还可以被配置为执行所述一个或更多个指令以基于与第二时间周期对应的所述时间信息和发射光的波长来获取所述补偿值。
11.处理器还可以被配置为执行所述一个或多个指令以执行以下操作：基于发射光和第一反射光获取图像数据，基于所述图像数据获取第一反射光的相位信息，以及基于第一反射光的所述相位信息获取第一深度图像。
12.光接收器可以包括多个传感器，其中，所述多个传感器包括第一传感器和第二传
感器，并且处理器还可以被配置为执行所述一个或更多个指令以执行以下操作：控制光接收器使得第一传感器和第二传感器以预设时间差被激活，通过基于由第一传感器和第二传感器中的每个获取的第一反射光获取第一图像数据和第二图像数据，来获取所述图像数据，以及基于第一图像数据和第二图像数据获取关于第一反射光的所述相位信息。
13.光接收器可以包括第一传感器单元和第二传感器单元，其中，第一传感器单元和第二传感器单元中的每个包括多个传感器，并且处理器还可以被配置为执行所述一个或更多个指令来控制光接收器使得与第一时间周期同步地激活第一传感器单元，并且与第二时间周期同步地激活第二传感器单元。
14.电子设备还可以包括：镜头单元，设置在发射光的发射路径上，其中，镜头单元被配置为调整发射光的发射范围，其中，处理器还被配置为执行所述一个或更多个指令以控制镜头单元与第一时间周期和第二时间周期同步地调整发射光的发射范围。
15.镜头单元可以包括：非反射涂层构件，被配置为防止由光接收器获取的反射光的至少一部分被光接收器反射，然后被镜头单元反射以再次到达光接收器。
16.处理器还可以被配置为执行所述一个或更多个指令以执行以下操作：获取指示第二深度图像的每个像素的第二深度值的可靠性的置信图像，以及使用所述置信图像来更新第二深度图像。
17.根据本公开的另一方面，提供了一种用于控制电子设备的方法，所述方法包括：朝向电子设备周围的区域发射光作为发射光；获取来自对象的反射光，其中，所述对象反射从光发射器发射的发射光；基于在第一时间周期期间获取的第一反射光来获取并存储第一深度图像；基于在第一时间周期之后的第二时间周期期间获取的第二反射光来获取第二深度图像；以及通过从第二深度图像的每个像素的第二深度值减去存储的第一深度图像的每个像素的第一深度值来获取电子设备与第二深度图像中包括的所述对象之间的距离信息，并且通过使用基于与第二时间周期对应的时间信息获取的补偿值来校正差信息以获取距离。
18.校正所述距离的步骤可以包括：基于与第二时间周期对应的所述时间信息和发射光的波长来获取所述补偿值。
19.获取第一深度图像的步骤可以包括：基于发射光和第一反射光获取图像数据，基于所述图像数据获取第一反射光的相位信息，以及基于关于第一反射光的所述相位信息来获取第一深度图像。
20.在获取所述相位信息时，可以基于通过以预设时间差被激活的多个传感器获取的多个图像数据来获取关于第一反射光的所述相位信息。
21.获取第一深度图像的步骤可以包括：控制第一传感器单元和第二传感器单元，使得分别与第一时间周期和第二时间周期同步地激活各自包括多个传感器的第一传感器单元和第二传感器单元。
22.所述方法还可以包括：与第一时间周期和第二时间周期同步地控制发射光的发射范围。
23.获取第二深度图像的步骤可包括：获取指示第二深度图像的每个像素的第二深度值的可靠性的置信图像，以及使用所述置信图像更新第二深度图像。
24.根据本公开的另一方面，提供了一种电子设备，包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所述一个或更多个指令以执行以下操作：在第一时间周期
期间获取第一反射光；在第二时间周期期间获取第二反射光；基于第一反射光获取第一深度图像；基于第二反射光获取第二深度图像；通过从第二深度图像的每个像素的第二深度值减去第一深度图像的每个像素的第一深度值获取虚拟深度图像，在对第二深度图像执行校正之后获取关于第二深度图像中的第一对象的距离信息。
25.可以通过在电子设备周围的区域中重复发射光来获取第一反射光和第二反射光。
26.第一深度图像可以包括关于第二对象的第一深度信息，并且第二深度图像包括关于第一对象和第二对象的第二深度信息。
27.处理器还可以被配置为执行一个或多个指令以基于发射光的频率、光通量和与第二时间周期对应的数量来获取用于对第二深度图像执行校正的补偿值。
28.有益效果
29.电子设备可以以低成本获得存在于长距离处的对象的距离信息。
附图说明
30.根据以下结合附图的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
31.图1是示出根据本公开的实施例的电子设备的配置的示图；
32.图2是用于描述间接tof方法的示图；
33.图3是用于描述间接tof方法的示图；
34.图4是示出根据实施例的电子设备的配置的示图；
35.图5是用于描述根据实施例的电子设备的操作的示图；
36.图6a是用于描述根据实施例的电子设备的操作的流程图；
37.图6b是用于描述根据实施例的用于获取图像数据的方法的示图；
38.图7是示出根据实施例的光接收器的示意图；
39.图8是示出根据另一实施例的电子设备的配置的示图；
40.图9a至图9c是示出根据实施例的调整电子设备的视场和发射光的发射距离的状态的示图；
41.图10是用于描述镜头光斑的示图；
42.图11是示出根据实施例的用于控制电子设备的方法的流程图；以及
43.图12是示出根据实施例的电子设备的配置的框图。
具体实施方式
44.最佳模式
45.考虑到本公开中的功能，选择在本公开的准备期间广泛使用的通用术语作为本公开的实施例中使用的术语，但是可以依据本领域技术人员的意图或司法判例、新技术的出现等进行改变。另外，在特定情况下，可能存在由申请人任意选择的术语。在这种情况下，这些术语的含义将在本公开的相应描述部分中详细提及。因此，本公开中使用的术语应当基于术语的含义和贯穿本公开的内容而不是术语的简单名称被定义。
46.本公开的实施例可以应用各种修改并具有各种实施例，并且将在附图中示出并在具体实施方式中详细描述具体实施例。然而，这并不旨在将范围限制于特定实施例，并且应
当理解为包括在公开的精神和技术的范围内包括的所有修改、等同和替代。在描述实施例时，当确定相关已知技术的详细描述可能模糊主旨时，将省略其详细描述。
47.术语“第一”、“第二”等可以用于描述各种组件，但是这些组件不应被解释为受这些术语的限制。这些术语仅用于将一个组件与其他组件区分开。
48.除非上下文另有明确说明，否则单数表达包括复数表达。还应当理解，本技术中使用的术语“包括”或“构成”指定说明书中提及的特征、数字、步骤、操作、组件、部件或其组合的存在，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、组件、部件或其组合。
49.在下文中，将参照附图详细描述实施例，使得本公开所属领域的技术人员可以容易地实践本公开。然而，本公开可以以各种不同的形式实现，并且不限于这里描述的实施例。另外，在附图中，将省略与描述无关的部分以清楚地描述本公开，并且在整个说明书中将用类似的附图标号表示类似的部分。
50.图1是用于描述根据实施例的电子设备100的操作的示图。根据实施例，电子设备100可以是tof传感器，但不限于此。根据另一实施例，电子设备100可以是配备有tof传感器的各种电子装置之一。例如，电子装置可以是具有tof传感器以测量周围对象的距离的各种机器人装置之一。机器人装置可以是机器人清洁器，但不限于此。
51.参照图1，电子设备100可以包括光发射器110、光接收器120和处理器170。另外，稍后将参照图3描述电子设备100的每个组件的详细描述，并且下面将描述电子设备100的操作。
52.电子设备100可以使用光发射器110朝向对象13发射发射光11。另外，电子设备100可以通过光接收器120接收从对象13反射的反射光12。反射光12是由对象13反射的发射光11。此时，电子设备100可以基于发射光11的飞行时间(即，从电子设备100发射发射光11的时间和电子设备100再次接收到反射光的单位时间)来获取从电子设备100到对象13的距离。
53.作为使用光的飞行时间获取距离的方法的示例，存在直接tof方法。使用直接tof方法的tof传感器通过比较发射光11的发射时间点和反射光12的接收时间点来计算光的飞行时间，并且基于计算的飞行时间获取关于对象13的距离信息。另一方面，使用直接tof方法的tof传感器需要高速调制发射光11以便获取接收反射光12的准确时间点，并且需要包括用于高速测量的昂贵的时间数字转换器(tdc)元件。因此，使用直接tof方法的相关技术的tof传感器具有制造成本高的缺点。
54.作为使用光的飞行时间获取距离的方法的另一示例，存在间接tof方法。间接tof方法是指基于发射光11和反射光12之间的相位差(即，光的相移)来计算光的飞行时间的方法。在下文中，将参照图2和图3更详细地描述间接tof方法。
55.图2和图3是用于描述间接tof方法的示图；如上所述，使用间接tof方法的传感器(下文中称为间接tof传感器)可以获取关于发射光21的第一相位信息和关于反射光22的第二相位信息。间接tof传感器可以通过比较第一相位信息和第二相位信息来获取第一相位差θ1，并且基于第一相位差θ1获取关于对象13的距离信息。
56.另一方面，因为可能无法识别360度或更大度数的相位差，所以当需要长距离测量时，间接tof传感器存在问题。具体地，间接tof传感器基于属于反射光被获取的时间周期的
发射光的相位和反射光的相位来计算对象的距离。因此，如图3所示，当获取与发射光31具有360度或更大度数的相位差的反射光32时，间接tof传感器基于第一相位差θ1而不是第二相位差θ2(即，θ1+360
°
)来计算对象13的距离。
57.相应地，间接tof传感器获取小于对象13的实际距离的距离值作为对象13的距离。因此，间接tof传感器的问题在于不可能获取到位于长距离(即，当发射光和反射光的相位相差360度或更大时)处的对象13的精确距离。
58.在下文中，将描述与现有技术的间接tof传感器不同的能够在使用上述间接tof方法的同时获取到位于长距离处的对象的精确距离的电子设备100。
59.图4是示出根据实施例的电子设备的配置的示图。
60.参照图4，电子设备100可以包括光发射器110、光接收器120、存储器130和处理器170。电子设备100可以是tof传感器或配备有tof传感器的各种电子装置。例如，电子装置可以是包括机器人清洁器的各种机器人装置，但不限于此。另一方面，电子设备100不一定必须被实现为包括所有上述组件，并且可以通过省略或添加一些组件被实现。
61.在下文中，将详细描述上述组件的配置。
62.光发射器110可以朝向对象发射光。此时，从光发射器110发射的光(在下文中称为发射光)可以具有正弦波形式的波形。然而，这仅是示例，并且发射光可以具有方波形式的波形。另外，光发射器110可以包括各种类型的激光元件。例如，光发射器110可以包括垂直腔面发射激光器(vcsel)或激光二极管(ld)。另外，光发射器110可以包括多个激光元件。此时，多个激光元件可以以阵列形式布置。另外，光发射器110可以发射各种频带的光。例如，光发射器110可以发射具有100mhz频率的激光束。
63.光接收器120可以是用于获取从对象反射的反射光的组件。光接收器120可以包括各种类型的传感器元件。例如，光接收器120可以包括电荷耦合器件(ccd)传感器、互补金属氧化物半导体(cmos)传感器、光电二极管(pd)和雪崩光电二极管(apd)。另外，光接收器120可以包括配置有多个传感器元件(或传感器)的多个传感器单元。此时，多个传感器元件和传感器单元中的每个可以以阵列形式布置。可以以预设的时间间隔激活多个传感器来以预设的时间间隔获取反射光。
64.存储器130可以存储用于控制电子设备100的组件的整体操作的操作系统(os)以及与电子设备100的组件相关的命令或数据。根据实施例，存储器130可以被实现为非易失性存储器(例如，硬盘、固态驱动器(ssd)或闪存)、易失性存储器等。
65.处理器170可以控制电子设备100的整体操作。处理器170可以包括图像数据获取模块171、相位信息获取模块172、深度图像获取模块173和对象距离获取模块174。
66.图像数据获取模块171可以基于由光接收器120获取的反射光来获取图像数据。根据实施例，图像数据获取模块171可以基于反射光的电信号和发射光的电信号来获取图像数据。图像数据可以是通过光接收器120获取的图像的每个像素的像素值。另外，图像数据获取模块171可获取与由包括在光接收器120中的多个传感器获取的每个反射光对应的图像数据。当多个传感器以特定间隔获取反射光时，图像数据获取模块171可以获取以特定间隔获取的每个反射光的图像数据。根据实施例，间隔可以具有预设的时间差。例如，图像数据获取模块171可以以预设时间间隔获取由第一传感器至第四传感器获取的第一图像数据至第四图像数据。
67.相位信息获取模块172可以基于通过图像数据获取模块171获取的图像数据来获取关于反射光的相位信息。相位信息可以包括与光接收器120的每个像素对应的发射光和反射光之间的相位差值。具体地，相位信息获取模块172可以通过将通过图像数据获取模块171获取的第一图像数据至第四图像数据应用于预定义的数学表达式来获取发射光与反射光之间的相位差。另外，稍后将参照图6a和图6b更详细地描述获取发射光和反射光之间的相位差的方法。
68.深度图像获取模块173可基于通过相位信息获取模块172获取的相位信息来获取深度图像。具体地，深度图像获取模块173可基于包括在相位信息中的发射光和反射光之间的相位差值来获取与从光发射器110发射的光对应的通过光接收器120获取的光的飞行时间。也就是说，深度图像获取模块173可以使用间接tof方法获取光的飞行时间。另外，深度图像获取模块173可基于光的飞行时间获取深度图像的每个像素的深度值。
69.对象距离获取模块174可基于通过深度图像获取模块173获取的深度图像来获取关于深度图像中包括的对象的距离信息。这里，关于对象的距离信息可以表示从电子设备100到对象的距离。具体地，对象距离获取模块174可基于深度图像的每个像素的深度值的分布来检测对象。另外，对象距离获取模块174可以获取与检测到的对象对应的像素的深度值作为到对象的距离。
70.另外，通过深度图像获取模块173获取的深度图像可能包括由于间接tof方法的特性引起的误差。具体地，与存在于距电子设备100预设距离范围或更远的距离处的对象对应的像素的深度值可能具有误差。因此，对象距离获取模块174可校正到基于深度图像获取的对象的距离。
71.对象距离获取模块174可在每个间隔(即，在每个预设时间周期)获取多个深度图像。例如，对象距离获取模块174可获取与第一时间周期对应的第一深度图像并将第一深度图像存储在存储器130中。另外，对象距离获取模块174可获取与第二时间周期对应的第二深度图像，其中，第二时间周期是紧接在第一时间周期之后的时间周期。
72.对象距离获取模块174可执行从第二深度图像的每个像素的深度值减去第一深度图像的每个像素的深度值的操作。此时，对象距离获取模块174可获取关于第二深度图像中包括的至少一个对象的距离信息。具体地，对象距离获取模块174可获取关于存在于第二深度图像中但不存在于第一深度图像中的第二对象的距离信息。具体地，对象距离获取模块174可以通过识别与第二对象对应的像素的深度值来获取关于第二对象的距离信息。
73.另外，对象距离获取模块174可以通过使用基于关于第二时间周期的时间信息获取的补偿值来校正关于第二对象的距离信息。此时，对象距离获取模块174可以基于关于第二时间周期的时间信息和从光发射器110发射的发射光的波长来获取补偿值。对象距离获取模块174可以通过将获取的补偿值和与第二对象对应的像素的深度值相加来获取第二对象的校正的距离信息。以这种方式，对象距离获取模块174可通过从与当前时间周期对应的深度图像中减去与紧接的先前时间周期对应的深度图像来获取关于仅包括在与当前时间周期对应的深度图像中的对象的距离信息。另外，稍后将参照图5描述对象距离获取模块174的更详细的操作。
74.另外，处理器170可以控制光接收器120，使得以预设时间间隔获取从对象反射的反射光并且以预设时间间隔激活多个传感器。
75.包括在上述处理器170中的每个模块可以被实现为软件，但这仅是示例，并且可以被实现为硬件或软件和硬件的组合。在下文中，将更详细地描述电子设备的对象获取操作。
76.图5是用于描述根据实施例的电子设备的操作的示图。
77.电子设备100可以通过在第一时间段t1内重复发射发射光51来获取第一反射光52和第二反射光54。具体地，电子设备100可以在第一时间周期t1-1期间获取第一反射光52，并且可以在第二时间周期t1-2期间获取第二反射光54，其中，第一时间周期t1-1是时间段t1内的第一时间周期，第二时间周期t1-2是第二时间周期。
78.电子设备100可基于第一反射光52获取第一深度图像53，并且可基于第二反射光54获取第二深度图像55。此时，第一深度图像53可包括关于第一对象ob1的距离信息。第二深度图像55可包括关于第一对象ob1和第二对象ob2的距离信息。
79.电子设备100可以基于第一深度图像53获取关于第一对象ob1的距离信息(即，从电子设备100到第一对象ob1的距离)。此时，因为第一反射光52与发射光的第一周期信号具有360度内的相位差，所以电子设备100可在不校正第一深度图像53的深度数据的情况下获取关于第一对象ob1的距离信息。
80.另一方面，因为第二反射光54与发射光的第一周期信号具有360度或更大度数的相位差，所以第二深度图像55的深度数据可包括误差。具体地，不存在于第一深度图像53中但存在于第二深度图像55中的第二对象ob2的距离值(或深度数据)可以小于第二对象ob2的实际距离值。因此，电子设备100可在对第二深度图像55的深度数据执行校正之后获取关于第二对象ob2的距离信息。
81.具体地，电子设备100可以通过从第二深度图像55的每个像素的深度值减去第一深度图像53的每个像素的深度值来获取虚拟深度图像56。此时，与第一深度图像53和第二深度图像55中共同包括的第一对象ob1对应的像素的深度值可减小为小于阈值。
82.另外，电子设备100可以获取用于校正与第二对象ob2对应的像素的深度值的补偿值(da)。具体地，电子设备100可以使用[数学式1]获取补偿值(da)。
[0083]
[数学式1]
[0084][0085]
这里，f表示发射光信号的频率，c
l
表示光通量(即，300m m/s)，并且n表示时间周期的时间信息。
[0086]
例如，用于校正基于在第一时间周期t1-1中获取的第一反射光52获取的第一深度图像53的第一补偿值变为0(即，n为1)。作为另一示例，用于校正基于在第二时间周期t1-2中获取的第二反射光54获取的第二深度图像55的第二补偿值是
[0087]
电子设备100可以通过将获取的补偿值与深度图像中包括的对象的距离信息相加来校正对象的距离信息。例如，当f为100mhz时，电子设备100可通过将第二补偿值(即，1.5m)和与第二对象ob2对应的像素的深度值相加来获取校正的对象距离信息57。另外，在图5中，为了便于解释，虚拟深度图像56被示出为图像，但是电子设备100可以基于第一深度图像53和第二深度图像55获取校正的对象距离信息57，而不产生虚拟深度图像56。另外，在图5中，为了便于解释，仅描述了第一时间段t1，但是电子设备100可以在多个时间段中获取
校正的对象距离信息57。另外，电子设备100可以通过基于与在多个时间周期中的每个时间周期内获取的深度图像对应的时间周期计算补偿值来校正对象的距离信息。此时，可以基于发射发射光51的时间点和电子设备100的测量范围中的至少一个来确定包括第一时间段t1的每个时间段的大小。
[0088]
另外，如上所述，电子设备100可以基于每个预设时间周期获取的图像数据来获取关于反射光的相位信息(即，发射光和反射光之间的相位差)。另外，电子设备100可以基于相位信息获取深度图像。在下文中，将参照图6a和图6b描述上述电子设备100的操作。
[0089]
图6a是用于描述根据实施例的电子设备的操作的流程图。电子设备100可以包括图像数据获取模块171、相位信息获取模块172、深度图像获取模块173和对象距离获取模块174。
[0090]
图像数据获取模块171可以基于反射光60获取图像数据61。具体地，图像数据获取模块171可以基于通过按照每个预设时间周期的时间差激活的多个传感器获取的反射光的电信号来获取图像数据。例如，如图6b所示，可以顺序地激活第一传感器620-1、第二传感器620-2、第三传感器620-3和第四传感器620-4以获取反射光60。此时，图像数据获取模块171可以基于分别由第一传感器至第四传感器获取的反射光的电信号60-1、60-2、60-3和60-4来获取第一图像数据至第四图像数据i1、i2、i3和i4。这里，电子设备100可以控制第一传感器620-1、第二传感器620-2、第三传感器620-3和第四传感器620-4中的每个按照与针对发射光的电信号的90度相位对应的时间差被激活。另外，获取的图像数据i1、i2、i3和i4中的每个可以包括针对每个像素的多个传感器620-1、620-2、620-3和620-4的强度。
[0091]
相位信息获取模块172可以通过将图像数据61应用于[数学式2]来获取相位信息62。
[0092]
[数学式2]
[0093][0094]
这里，相位信息是出射光和反射光之间的相位差，并且i1至i4分别是第一图像数据至第四图像数据。
[0095]
另外，在图6b中，已经描述了通过四个传感器获取第一图像数据至第四图像数据i1、i2、i3和i4，但是本公开不限于四个传感器，并且电子设备100可以使用两个传感器获取第一图像数据至第四图像数据i1、i2、i3和i4。例如，可以通过第一传感器620-1获取第一图像数据i1和第三图像数据i3，并且可以通过第二传感器620-2获取第二图像数据i2和第四图像数据i4。
[0096]
深度图像获取模块173可通过将经由相位信息获取模块172获取的相位信息62应用于[数学式3]来获取深度图像63。
[0097]
[数学式3]
[0098][0099]
这里，c
l
是光速，δt是光的飞行时间，t是发射光的调制周期，并且是相位信息62。
[0100]
对象距离获取模块174可通过执行如图5中所描述的校正操作来从深度图像63获取校正的对象距离信息64。
[0101]
图7是示出根据实施例的光接收器的示意图。
[0102]
光接收器120可以包括配置有以阵列形式布置的多个传感器单元的传感器模块。传感器模块可以包括第一传感器单元620和第二传感器单元720。如图6b所述，电子设备100可以通过属于第一传感器单元620的多个传感器获取深度图像。另外，如图5所示，电子设备100可以获取与预设时间周期对应的多个深度图像。
[0103]
在下文中，将描述用于这种操作的光接收器120的实现示例。
[0104]
电子设备100可以通过在第一时间周期t1-1中激活第一传感器单元620来获取第一深度图像53。此时，电子设备100可以通过以预定时间间隔顺序地激活属于第一传感器单元620的多个传感器来获取第一深度图像53。另外，电子设备100可以通过在第二时间周期t1-2中激活第二传感器单元720来获取第二深度图像55。此时，电子设备100可以通过以预定时间间隔顺序地激活属于第二传感器单元720的多个传感器来获取第一深度图像53。另外，电子设备100可以通过激活属于第一传感器单元620和第二传感器单元720所在的每行的其他传感器单元来获取第一深度图像53和第二深度图像55。也就是说，电子设备100可以通过以行或列为单位控制传感器单元来获取深度图像。以这种方式，传感器模块可以不利用所有传感器单元获取一个深度图像，而是可以利用每个传感器单元获取多个深度图像。
[0105]
然而，这仅是示例，并且电子设备100可以在每个时间周期中使用包括第一传感器单元620和第二传感器单元720的多个传感器单元的整体来获取深度图像。例如，电子设备100可以通过在第一时间周期t1-1中激活整个传感器单元来获取第一深度图像53。另外，电子设备100可以通过在第二时间周期t1-2中激活整个传感器单元来获取第二深度图像55。以这种方式，通过使用包括在光接收器120中的整个传感器单元获取深度图像，可以增大深度图像的分辨率。
[0106]
在上文中，已经描述了通过处理与每个时间周期对应的深度图像以校正对象距离来获取关于远距离对象的距离信息的方法。另一方面，为了测量存在于长距离处的对象的距离，发射光需要能够到达长距离。存在一种增大发射光的强度以便将发射光发射到长距离处的方法，但是增大发射光的强度增加功耗。在下文中，将描述能够通过控制镜头单元将发射光发送到长距离处而不增大发射光的强度的电子设备。
[0107]
图8是示出根据另一实施例的电子设备的配置的示图。
[0108]
参照图8，电子设备800可以包括光发射器810、光接收器820、存储器830、处理器870和镜头单元840。另外，处理器870可包括图像数据获取模块871、相位信息获取模块872、深度图像获取模块873、对象距离获取模块874和透镜驱动模块875。另外，除了透镜驱动模块875和镜头单元840之外的电子设备800的其余组件与图4的电子设备100的配置重复，因此将省略其详细描述。
[0109]
镜头单元840可以是用于控制从光发射器810发射光的发射方向的组件。具体地，镜头单元840可以通过折射发射光来形成电子设备800的视场(fov)。例如，电子设备800可以在水平方向上具有60度的视场。另外，镜头单元840可以包括用于调整视场的变焦透镜、用于从发射光形成平行光的准直器、以及用于将从对象反射的反射光引导到光接收器820的光接收器820。
[0110]
另外，透镜驱动模块875可以控制镜头单元840。具体地，透镜驱动模块875可以通过控制包括在镜头单元840中的变焦透镜来调整电子设备800的视场。具体地，透镜驱动模块875可以通过调整光发射器810和变焦透镜之间的距离来调整视场。另外，透镜驱动模块875可通过使用包括在镜头单元840中的变焦透镜来控制发射光的发射距离。例如，透镜驱动模块875可以通过调整光发射器810和变焦透镜之间的距离来减小电子设备800的视场，并且增大从光发射器810发射的发射光的发射距离。相应地，可以在不增大用于输出从光发射器810输出的光的功率的情况下增大电子设备800的可测量距离。
[0111]
图9a、图9b和图9c是示出根据实施例的调整电子设备的视场和发射光的发射距离的状态的示图。
[0112]
如图9a、图9b和图9c所示，电子设备800可以通过控制镜头单元840来调整发射光的视场和发射距离。
[0113]
根据图9a的电子设备800可以具有比根据图9b的电子设备800更大的视场和更小的发射光的输出距离。另外，根据图9b的电子设备800可以具有比根据图9c的电子设备800更大的视场和更小的发射光的输出距离。
[0114]
透镜驱动模块875可控制镜头单元840使得与深度图像获取模块873获取深度图像的时间周期同步地调整电子设备800的视场。具体地，透镜驱动模块875可控制镜头单元840使得在深度图像获取模块873获取深度图像的每个时间周期改变电子设备800的视场。例如，透镜驱动模块875可以控制镜头单元840使得电子设备800在第一时间周期t1-1期间具有第一视场fov1。另外，透镜驱动模块875可以控制镜头单元840使得电子设备800在第二时间周期t1-2期间具有小于第一视场fov1的第二视场(fov2)。另外，电子设备800可以控制镜头单元840使得在第三时间周期t1-3期间形成小于第二视场fov2的第三视场(fov3)。以这种方式，电子设备800可以通过控制镜头单元840在保持光输出功率的同时增大发射光的发射距离。然而，这仅是示例，并且可以以各种方式调整电子设备800的视场和测量范围。
[0115]
另外，电子设备800可以包括抗反射(ar)涂层构件以防止镜头光斑或重影现象。如图10所示，镜头光斑是指从对象1010反射的反射光被光接收器1020反射，然后反射回镜头单元1040以到达光接收器1020的现象。具体地，当对象1010位于相对靠近电子设备800并且从对象1010反射的反射光的强度大于阈值时，经常发生光斑现象。当发生镜头光斑时，从电子设备获取的深度图像的深度值可能失真。
[0116]
为了防止镜头光斑，可以在镜头单元1040上形成抗反射(ar)涂层。相应地，从光接收器1020反射并到达镜头单元1040的反射光可以不被镜头单元1040反射，并且可以不到达光接收器1020。
[0117]
另外，当由于镜头光斑等而在获取的深度图像中发生失真时，电子设备800可校正深度图像。具体地，电子设备800可获取深度图像的置信图像，并基于获取的置信图像校正深度图像。这里，置信图像是指表示深度图像的每个像素的深度值的可靠性的图像。置信图像的每个像素值可表示深度图像的每个像素的深度值的可靠性得分。电子设备800可以通过[数学式4]获取深度图像的置信图像。
[0118]
[数学式4]
[0119]
[confidemce]＝abs(i2-i4)-abs(ii-i3)
[0120]
这里，i1至i4分别表示第一图像数据至第四图像数据i1、i2、i3和i4。
[0121]
电子设备800可以基于置信图像的每个像素值来确定深度图像的每个像素的深度值的可靠性。如果置信图像的每个像素值大于特定值，则电子设备800可以确定对应像素的深度值是可靠的。根据实施例，特定值被预设。此时，电子设备800可以不执行校正所获取的深度图像的操作。另一方面，如果置信图像的每个像素值小于预设值，则电子设备800可以确定相应像素的深度值不可靠。此时，电子设备800可以基于深度图像和置信图像来获取校正的深度图像。具体地，电子设备800可以通过[数学式5]获取校正的深度图像(dc(i，j))。
[0122]
[数学式5]
[0123][0124]
这里，d(i，j)是通过深度图像获取模块873获取的深度图像，c(i，j)是与获取的深度图像对应的置信图像，并且p是(这里，f是发射光信号的频率，并且c
l
是光速)。另外，α表示校正程度，并且c
min
是常数。根据实施例，α是指示校正程度的用户定义的变量，并且c
min
是用户定义的常数。
[0125]
以这种方式，电子设备800可以通过执行校正深度图像的操作来提高对象距离信息的准确性。
[0126]
图11是示出根据实施例的用于控制电子设备的方法的流程图。
[0127]
电子设备100可以发射光(s1110)，并且获取从对象反射的反射光(s1120)。根据实施例，电子设备100可以朝向电子设备100周围的区域发射光。电子设备100可基于在第一时间周期期间获取的第一反射光来获取第一深度图像，并将第一反射光存储在存储器中(s1130)。另外，电子设备100可以基于在作为第一时间周期之后的时间周期的第二时间周期期间获取的第二反射光来获取第二深度图像(s1140)。此时，当确定每个时间周期的深度图像的深度值不可靠时，电子设备100可以通过使用与深度图像对应的置信图像来获取校正的深度图像。另外，对于获取深度图像的方法的详细描述，参照图6a和图6b。
[0128]
电子设备100可以通过从第二深度图像的每个像素的深度值减去第一深度图像的每个像素的深度值来获取从电子设备到第二深度图像中包括的对象的距离，并且可以通过使用基于关于第二时间周期的时间信息获取的补偿值来校正获取的距离(s1150)。对于这种操作的详细描述，参照图5。
[0129]
图12是示出根据实施例的电子设备的配置的框图。电子设备1100可以被实现为能够获取关于对象的距离信息的机器人装置，但不限于此。
[0130]
参照图12，电子设备1100可以包括光源1110、光接收器1120、镜头单元1140、存储器1130、通信接口1150、驱动器1160和处理器1170。另外，将省略光源1110、光接收器1120、镜头单元1140、存储器1130和处理器1170的冗余描述。
[0131]
通信接口1150可以包括至少一个电路，并且可以与各种类型的外部装置通信。例如，通信接口1150可以与外部服务器或用户终端通信。另外，通信接口1150可以根据各种类型的通信方法与外部装置通信。通信接口1150可以以无线或有线方式执行数据通信。当以无线通信方式与外部装置执行通信时，通信接口1150可以包括wi-fi通信模块、蜂窝通信模块、3g(第三代)移动通信模块、4g(第四代)移动通信模块、第四代长期演进(lte)通信模块
或5g(第五代)移动通信模块中的至少一个。另外，根据实施例的通信接口1150可以被实现为无线通信模块，但这仅是实施例，并且通信接口1150可以被实现为有线通信模块(例如，lan等)。
[0132]
驱动器1160可以是用于移动电子设备1100的组件。具体地，驱动器1160可以包括用于驱动电子设备1100的致动器。另外，除了驱动器1160之外，还可以包括用于驱动电子设备1100的其他物理组件(例如，臂等)的运动的致动器。
[0133]
另外，可以使用软件、硬件或软件和硬件的组合在计算机或计算机可读记录介质中实现上述各种实施例。在一些情况下，说明书中描述的实施例可以由处理器本身实现。根据软件实现，诸如本公开中描述的过程和功能的实施例可以被实现为单独的软件模块。每个软件模块可以执行本公开中描述的一个或更多个功能和操作。
[0134]
另外，用于执行根据上述各种实施例的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。存储在非暂时性计算机可读介质中的计算机指令在由处理器执行时可以允许特定装置执行根据上述各种实施例的处理操作。
[0135]
非暂时性计算机可读介质不是短时间存储数据的介质(诸如寄存器、高速缓存、存储器等)，而是指半永久地存储数据的机器可读介质。非暂时性计算机可读介质的具体示例可以包括光盘(cd)、数字通用盘(dvd)、硬盘、蓝光盘、通用串行总线(usb)、存储卡、只读存储器(rom)等。
[0136]
尽管上文已经示出和描述了实施例，但是本公开不限于上述具体实施例，而是可以在不脱离如所附权利要求中公开的本公开的主旨的情况下由本公开所属领域的技术人员进行各种修改。这些修改也应被理解为落入本公开的范围和精神内。