使用注视跟踪的增强照片和视频拍摄的制作方法
【专利摘要】当用户用图像捕捉设备(例如具有相机的计算设备)拍摄照片或视频时，在场景中的一个兴趣点被确定。所述计算设备包括眼睛跟踪器，所述眼睛跟踪器输出通过取景器观看场景的用户眼睛的注视向量，其指示了场景中的兴趣点。随后，基于所确定的在场景中的兴趣点来执行所选择的操作。可以基于所述兴趣点来选择用于捕捉图像的曝光量。通过取景器缩放或调整视野可以被锚定在所述兴趣点处，并且在捕捉图像之前，通过取景器的图像可以围绕所述兴趣点被缩放。可以围绕兴趣点执行图像增强效果。
【专利说明】使用注视跟踪的増强照片和视频拍摄
[0001 ] 背景
[0002]不同类型的计算设备可捕捉或拍摄主体或对象的电子图像。例如，用户可使用相机或摄像机来拍摄某人或场景的照片或视频。其他计算设备也可捕捉图像，诸如电子布告栏、个人计算机、膝上型计算机、笔记本、平板、电话或可穿戴计算设备。
[0003]被捕捉的图像可被本地地存储在计算设备中，或被传送到远程计算设备以供存储。类似地，图像可被拍摄该图像的计算设备检索和查看，或替换地，图像可在远程站点处的不同计算设备的显示器上被查看。
[0004]概述
[0005]当用户用图像捕捉设备(诸如具有相机的计算设备)拍摄照片或视频时，确定场景中的一个兴趣点。所述计算设备包括眼睛跟踪器，所述眼睛跟踪器输出通过取景器观看场景的用户眼睛的注视向量，其指示了场景中的兴趣点。
[0006]随后，可基于所确定的在场景中的兴趣点来执行所选择的操作。例如，可以基于所述兴趣点来选择用于捕捉图像的曝光量。通过取景器缩放或调整视野可以被锚定在所述兴趣点处，并且在捕捉图像之前，通过取景器的图像可以围绕所述兴趣点由用户自动地或手动地(或用姿势地)缩放。可以在所述兴趣点周围执行图像增强效果，例如增强在所述兴趣点处或附近的形状的模糊线条。
[0007]—个获得图像的方法实施例包括接收指示在取景器中的注视方向的信息。基于指示所述注视的方向的信息做出在取景器中的兴趣点的确定。也基于所述兴趣点来做出捕捉图像的曝光量的确定。视野在所述取景器中被围绕兴趣点调整，并且图像以所确定的曝光量和视野被捕捉。
[0008]—个装置实施例包括取景器和至少一个传感器，所述传感器响应于指示曝光量的第一信号和指示在取景器中要从其缩放的点的第二信号捕捉取景器中的图像。至少一个眼睛跟踪器输出指示在取景器中的注视的方向的注视向量。至少一个处理器执行存储在处理器可读存储器中的处理器可读指令以:I)接收注视向量;2)基于注视向量确定取景器中的兴趣点；3)基于所述兴趣点确定曝光量;4)确定在取景器中要从其缩放的点；以及5)输出指示曝光量的第一信号和指示在取景器中要缩放的点的第二信号。在一个实施例中，要从其缩放的点(point to zoom from)是所述兴趣点。
[0009]在另一实施例中，一个或多个处理器可读存储器包括在被执行时使得一个或多个处理器执行一种用于通过相机捕捉图像的方法的指令。所述方法包括从眼睛跟踪器接收注视向量，并基于所述注视向量确定在相机的取景器中的兴趣点。兴趣点是基于注视向量在相机的取景器中被确定的。基于所述兴趣点的曝光量被确定。在取景器中要缩放的点被确定。将指示相机的曝光量的第一信号和指示在取景器中要从其缩放的点的第二信号一起输出给相机。指示围绕兴趣点的缩放量的第三信号可被输出。在一个实施例中，要从其缩放的点是所述兴趣点。
[0010]提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
[0011]附图简述
[0012]图1是示例性系统体系结构的高级框图。
[0013]图2是示例性软件体系结构的高级框图。
[0014]图3A解说示例场景。
[0015]图3B示出用于拍摄在图3A中所示的场景的图像的示例性图像捕捉设备。
[0016]图3C示出具有用于拍摄在图3A中所示的场景的图像的所确定的曝光和缩放量的示例性图像捕捉设备。
[0017]图4A-B示出具有在示例性网络中使用的图像捕捉设备的示例性眼镜。
[0018]图5A-B示出示例性眼镜的侧部和顶部。
[0019]图6-8是捕捉图像的示例性方法的流程图。
[0020]图9示出了示例性计算设备。
[0021 ] 详细描述
[0022]当用户用图像捕捉设备(例如具有相机的计算设备)拍摄照片或视频时，在场景中的一个兴趣点被确定。所述计算设备包括眼睛跟踪器，所述眼睛跟踪器输出通过指示场景中的兴趣点的取景器观看场景的用户眼睛的注视向量。
[0023]随后，基于所确定的在场景中的兴趣点来执行所选择的操作。例如，可以基于所述兴趣点来选择用于捕捉图像的曝光量。通过取景器缩放或调整视野可以被锚定在所述兴趣点处，并且在捕捉图像之前，通过取景器的图像可以围绕所述兴趣点由用户自动地或手动地(或用姿势地)缩放。可以围绕所述兴趣点执行图像增强效果，例如增强在所述兴趣点处或附近形状的模糊线条。
[0024]图1是用于捕捉图像(诸如照片或视频)的装置(或系统)100的高级框图。具体而言，当捕捉场景的图像时装置100使用用户的眼睛注视信息来确定兴趣点。在一实施例中，装置100包括图像捕捉设备104(诸如相机)、计算设备101和眼睛跟踪器105。
[0025]在一个实施例中，图像捕捉设备104在眼睛跟踪器105提供了指示在图像捕捉设备104的取景器(诸如如图3B所示的取景器303)中所示的场景中的用户111的兴趣点的信息(注视向量108)之后，拍摄或捕捉图像106。在一个实施例中，图像捕捉设备104包括捕捉图像106的电子传感器104a。在一个实施例中当计算设备101将一个或多个控制信号传送给图像捕捉设备104之后，图像捕捉设备104将图像106传输给计算设备101。响应于计算设备101从眼睛跟踪器105接收到注视向量108而输出控制信号107。
[0026]眼睛跟踪器105输出指示了要由图像捕捉设备104捕捉的场景中的用户111的兴趣点的信息。在一个实施例中，眼睛跟踪器105输出指示了图像捕捉设备104的取景器中的场景的兴趣点的注视向量108。在一个实施例中，眼睛跟踪器105被定位在图像捕捉设备104的取景器附近。
[0027]计算设备101包括执行(或读取)存储在存储器102中的输出用于捕捉图像的控制信号的处理器可读指令的处理器103。在一实施例中，存储器102是存储软件组件(诸如控件102a、点102b、照片/视频应用102c和图像102d)的处理器可读存储器。
[0028]在一个实施例中，从图像捕捉设备104接收的图像(诸如图像106)被存储在图像102d中。在一替换实施例中，图像被存储在远程计算设备处。
[0029]在一个实施例中，控件102a至少部分控制计算设备101。在一个实施例中，控件102a输出控制信号107并接收一个或多个注视向量108。在一个实施例中，控件102a是计算设备101的操作系统。
[0030]在一个实施例中，点102b通过控件102a接收注视向量108并确定通过取景器观看场景的用户111的兴趣点。例如，如图3B所示用户可以具有对应于在取景器303中的日落的兴趣点305。在实施例中，在确定用户111的兴趣点之前点102b接收多个注视向量108。点102b随后基于注视向量108将兴趣点信息输出给照片/视频应用102c。
[0031]照片/视频应用102c负责基于观看图像捕捉设备的取景器中的场景的用户的兴趣点确定曝光量并调整视角(或缩放量)。照片/视频应用102c还负责确定要调整视角(或应用缩放量)的锚点或取景器中的点。在一个实施例中，照片/视频应用102c还基于所述兴趣点向图像提供图像增强效果。
[0032]在一个实施例中，图像捕捉设备104被包括在计算设备101中或与计算设备101封装在一起。在另一个实施例中，图像捕捉设备104和眼睛跟踪器105与计算设备101分开封装。
[0033]在一实施例中，图像捕捉设备104、计算设备101和眼睛跟踪器105被封装并被包括在单个设备中。例如，图像捕捉设备104、计算设备101和眼睛跟踪器105可被包括在眼镜、数码相机、蜂窝电话、计算机、笔记本计算机、膝上计算机或平板中。
[0034]计算设备101、图像捕捉设备104和眼睛跟踪器105可通过有线或无线连接来传送信息，诸如图像、控制和注视向量信息。计算设备101、图像捕捉设备104和眼睛跟踪器105可通过网络(诸如局域网(LAN)、广域网(WAN)和/或因特网)的方式进行通信。
[0035]图2是照片/视频应用102c的示例性软件体系结构200的高级别框图。
[0036]在一实施例中，照片/视频应用102c包括至少一个软件组件。在各实施例中，软件组件可包括计算机(或软件)程序、对象、函数、子例程、方法、实例、脚本和/或处理器可读指令、或它们的一部分、单个地或组合的。在此描述了可由各种软件组件来执行的一个或多个示例功能。在替换实施例中，可使用在此描述的更多或更少软件组件和/或软件组件的功會K。
[0037]在一实施例中，照片/视频应用102c包括软件组件，例如曝光201、缩放202和增强203。
[0038]在一个实施例中，曝光201负责基于用户的兴趣点确定曝光量。在一个实施例中，确定曝光量包括确定抵达用于捕捉图像106的电子传感器104a的光量，如图1和3A-C所示。在一个实施例中，以勒克斯(Iux)秒为单位来测量曝光量。
[0039]缩放202，在一个实施例中，是负责基于用户的兴趣点确定视角(或放大或缩小)。例如，在(使用眼睛跟踪器302)做出用户将日落310a作为场景中的兴趣点的确定之后缩放202在取景器303中提供了经缩放的日落350，如图3A-C所示。在一个实施例中，缩放202确定要调整视角或应用缩放量的锚点(或要从其缩放的点)。在一个实施例中，锚点或从其要应用缩放量的点是兴趣点。
[0040]缩放202还确定要应用的缩放量(正的或负的)。在一个实施例中，缩放202基于取景器中的场景确定缩放量。在另一个实施例中，缩放202应用预定的缩放量，例如2X、3X、4X……。在一个实施例中，可以由用户选择预定的缩放量。在另一个实施例中，基于在拍摄图像时的用户输入或姿势来应用缩放量。
[0041]在一个实施例中，增强203负责将图像增强效果提供给图像，诸如图1中的图像106。在一个实施例中，增强203对图像的兴趣点周围的形状线条进行锐化，这些线条可能由于应用了缩放量而被模糊。在一个实施例中，增强203可以将图像增强效果应用到存储在图像102d中或从远程位置检索到的图像。
[0042]在替换实施例中，增强203包括其他类型的图像增强效果软件来增强图像。例如，增强203可以包括噪声减少、剪裁、变色、取向、对比度和亮度软件组件以将相应的图像增强效果应用于图像，诸如图像106。
[0043]图3A示出具有男人310b和日落310a的场景310。在一个实施例中，用户可以使用图像捕捉设备(诸如图3B所示的相机300)来捕捉场景310的图像。
[0044]图3B示出相机300，用于如用户在相机300的取景器303中所见的那样捕捉场景310的图像。在一实施例中，相机300包括图像捕捉设备104、计算设备101和眼睛跟踪器105。用户可以通过按下触发器301来捕捉取景器303中所见的图像(照片或视频)。控制按钮304还包括用于操作相机300的按键。例如，控制按键304可以包括手动放大或缩小以及设置曝光的按键。在替换实施例中，触发器301和按键304被包括在触摸屏中，所述触摸屏也被包括在取景器303中。在一个实施例中，对应于如图1所示的眼睛跟踪器105的眼睛跟踪器302被放置在相机300上以输出指示用户将日落310a作为兴趣点305的注视向量。
[0045]图3C示出是在取景器303中的经放大的日落310的版本(或经调整的日落310a的视角)的经缩放日落350，它具有针对经缩放日落350所确定的曝光。在一个实施例中，照片/视频应用102c确定缩放量(例如2x、3x……)、从其缩放的锚点并确定兴趣点305(诸如在特定的日落310a下)的曝光量。
[0046]图4A示出包括眼镜1502的装置1500，所述眼镜包括相机和如在此所述的眼睛跟踪系统。装置1500包括在其中通过在本示例中的线1506或在其他示例中是无线地与伴随处理模块1524通信的眼镜1502。在一个实施例中，伴随处理模块1524对应于如图1所示的计算设备101。在该实施例中，眼镜1502包括具有镜腿臂1513和1515以及鼻梁架1504的框架1515。
[0047]在一个实施例中，眼镜1502包括针对每个眼睛的显示光学系统1514，1514r和15141，在其中图像数据被投射入用户的眼睛中以生成图像数据的显示，同时用户还透视显示光学系统1514获得现实世界的实际直接视图。
[0048]每个显示光学系统1514也被称为透视显示器，并且两个显示光学系统1514—起也可被称为透视，意味着光学透视显示器1514。
[0049]框架1515提供用于将该装置的各元件保持在原位的支撑结构以及用于电连接的管道。在该实施例中，框架1515提供了便利的眼镜架作为对下面进一步讨论的该装置的各元件的支撑。框架1515包括具有用于记录声音并向控制电路1536传送音频数据的话筒1510的鼻梁架1504。在此示例中，镜腿臂1513被示出为包括眼镜1502的控制电路1536。
[0050 ]如在图5A和5B中例示出的是面向外的例如相机的图像捕捉设备1613，用于记录诸如静止图像(照片)、视频或二者之类的数字图像数据，以及将视觉记录传送给控制电路1536，控制电路1536进而可将捕捉到的图像数据发送给所述伴随处理模块1524，伴随处理模块1524还可通过一个或多个通信网络1560将该数据发送给一个或多个计算机系统1512或另一个人A/V装置。[0051 ]在另一实施例中，图像生成单元1620被包括在每个镜腿臂1513上。
[0052]如图4B所示，眼镜1502(或伴随处理模块1524)可以通过一个或多个通信网络1560有线地和/或无线地(例如WiF1、蓝牙、红外、红外个域网、RFID传输、WUSB、蜂窝、3G、4G或其他无线通信手段)与一个或多个计算机系统1512(无论是位于附近还是远程位置)、处于某个位置或环境中的其他眼镜1508进行通信。在一个实施例中，在图9中还示出计算机系统1512的一些硬件组件的示例。组件的规模和数量可以因计算机系统1512的不同实施例而显著变化。
[0053]应用可以在计算机系统1512上执行，其与在装置1500中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D地图绘制应用可以在装置1500中的所述一个或多个计算机系统1512上执行。
[0054]在图4A和4B的所例示的实施例中，所述一个或多个计算机系统1512和装置1500还具有对一个或多个3D图像捕捉设备1520的网络访问，所述3D图像捕捉设备例如可以是一个或多个相机，相机在视觉上监视一个或多个用户和周围空间，使得由所述一个或多个用户执行的姿势和移动以及包括表面和物体的周围空间的结构可被捕捉、分析和跟踪。图像数据以及在由一个或多个3D捕捉设备1520捕捉的情况下的深度数据可以补充由装置1500的眼镜1502上的一个或多个图像捕捉设备1613所捕捉的数据。
[0055]图5A是提供对硬件和软件组件的支持的眼镜1502的框架的眼镜腿臂1513的侧视图。在框架1515前面描述了至少两个面向物理环境的图像捕捉设备1613(例如，可捕捉真实世界或场景的诸如视频和静止图像之类的图像(通常是彩色的)的相机)中的一个。在一些示例中，图像捕捉设备1613也可以是深度敏感的，例如它们可以是传送和检测红外光的深度敏感相机，深度数据可从所述红外光中被确定。
[0056]'控制电路1536提供支持眼镜1502的其他组件的各种电子设备。在该示例中，右镜腿臂1513包括用于眼镜1502的控制电路1536，该控制电路包括处理器15210、处理器15210可访问的用于存储处理器可读指令和数据的存储器15244、通信地耦合到处理器15210的无线接口 1537、以及为控制电路1536的各组件以及眼镜1502的其他组件(如相机1613、话筒1510)提供电力的电源15239。处理器15210可以包括一个或多个处理器，所述处理器可以包括控制器、CPU、GPU和/或FPGA以及多个处理器核。
[0057]在实施例中，眼镜1502可以包括其他传感器。在镜腿臂1502内或安装到镜腿臂1502的是一耳机或一组耳机1630、包括一个或多个惯性传感器的惯性感测单元1632、以及包括一个或多个位置或邻近度传感器的位置感测单元1644，位置感测单元的一些示例是GPS收发机、IR收发机或用于处理RFID数据的射频收发机。
[0058]在该实施例中，在其操作中处理模拟信号的每个设备都包括与数字处理器15210和存储器15244数字对接，并且为其相应设备产生或转换模拟信号或者既产生又转换模拟信号的控制电路。处理模拟信号的设备的一些示例是用于下面所讨论的每只眼睛的显示光学系统15141、1514r的感测单元1644、1632和耳机1630以及话筒1510、图像捕捉设备1613和相应的IR照明器1634A、以及相应的IR检测器或相机1634B。
[0059]在又一个实施例中，安装到镜腿臂1515或其内部的是产生表示图像的可见光的图像源或图像生成单元1620。图像生成单元1620可将虚拟物体显示为出现在显示器视野中的指定深度位置来提供虚拟物体的真实的、聚焦的三维显示，该虚拟物体可以与一个或多个现实物体交互。
[0060]在一些实施例中，图像生成单元1620包括微显示器，用于投影一个或多个虚拟物体的图像以及耦合诸如透镜系统之类的用于将图像从微显示器引导到反射表面或元件1624的光学器件。反射表面或元件1624将光从图像生成单元1620引导到光导光学元件1612中，光导光学元件将表示图像的光引导到用户的眼睛中。
[0061 ]图5B是包括显示光学系统1514的眼镜1502的一侧的实施例的俯视图。眼镜1502的框架1515的一部分将围绕显示光学系统1514以用于提供支撑和进行电连接。为了示出眼镜1502中的显示光学系统1514(在该情况下是用于右眼系统的1514r)的各个组件，围绕显示光学系统的框架1515的一部分未被描绘。
[0062]在所例示的实施例中，显示光学系统1514r是集成式眼睛跟踪和显示系统。该系统实施例包括用于增强虚拟图像的对比度的不透明滤光器1514，在该示例中不透明滤光器1514处于可任选的透视透镜1616之后并与之对齐，用于投影来自图像生成单元1620的图像数据的光导光学元件1612处于不透明滤光器1514之后并与之对齐，以及可任选的透视透镜1618处于光导光学元件1612之后并与之对齐。
[0063]光导光学元件1612将来自图像生成单元1620的光传送到佩戴眼镜1502的用户(例如如图1所示的用户111)的眼睛1640。光导光学元件1612还允许眼睛1640通过光导光学元件1612接收到来自眼镜1502的前方的光，如表示显示光学系统1514r的光轴1542的箭头所描绘的那样，由此允许用户除接收来自图像生成单元1620的虚拟图像之外，还具有眼镜1502的前方空间的实际直接视图。从而，光导光学元件1612的壁是透视的。在该实施例中，光导光学元件1612是平面波导。代表性的反射元件1634E表示一个或多个光学元件，比如反射镜、光栅以及将表示图像的可见光从平面波导引导向眼睛1640的其他光学元件。
[0064]红外照明和反射也穿越平面波导以供眼睛跟踪系统(或眼睛跟踪器)1634跟踪用户的眼睛1640(通常为用户的瞳孔)的位置和移动。眼睛移动也可包括眨眼。所跟踪的眼睛数据可被用于诸如注视检测、眨眼命令检测以及收集指示用户的个人存在状态的生物测定信息之类的应用。在一个实施例中，眼睛跟踪器1634输出指示了将由图像捕捉设备1613成像或拍成视频的场景中的兴趣点的注视向量。在一个实施例中，显示光学系统1514r的镜头被用作拍摄照片或视频的取景器。
[0065]眼睛跟踪系统1634包括眼睛跟踪IR照明源1634A(红外发光二极管(LED)或激光器(例如VCSEL))和眼睛跟踪IR传感器1634B(例如IR相机、IR光电检测器的布置、或者用于跟踪闪光位置的IR位置敏感检测器(PSD))。在该实施例中，代表性的反射元件1634E还实现了双向IR滤光，它将IR照明优选地以光轴1542为中心地引导向眼睛1640，并从眼睛1640接收IR反射。波长选择性滤光器1634C让来自反射表面或元件1624的可见光谱光通过，以及将来自眼睛跟踪照明源1634A的红外波长照明引导到平面波导中。波长选择性滤光器1634D在朝向鼻梁架1504的光路方向上传递可见光和红外照明。波长选择性滤光器1634D将来自波导的包括眼睛1640的红外反射(优选地包括光轴1542周围捕捉的反射)的红外辐射从被具体化为波导的光导光学元件1612引导到IR传感器1634B。
[0066]与光导光学元件1612对齐的不透明滤光器1514选择性地阻挡自然光穿过光导光学元件1612，来增强虚拟图像的对比度。不透明滤光器1514帮助使虚拟物体的图像表现得更真实并表示全范围的颜色和强度。在该实施例中，用于不透明滤光器1514的电控制电路(未示出)通过路经框架的电连接从控制电路1536接收指令。
[0067]再次，图5A和5B示出了眼镜1502的一半。对于所例示的实施例，完整的眼镜1502可包括另一显示光学系统1514以及本文所述的组件。
[0068]图6-8是捕捉图像的示例性方法的流程图。在各实施例中，图6-8中所示的框表示硬件(例如，处理器、存储器、电路)、软件(例如，操作系统、应用、驱动器、机器/处理器可执行指令)或用户的操作个体或其组合。如本领域普通技术人员将理解的，各实施例可以包括比示出的更多或更少的框。
[0069]图6是示出一种用于通过基于兴趣点的所确定的曝光量和视野捕捉图像的方法的流程图。在一实施例中，方法600由计算设备101以及图1中示出的软件组件中的至少一些来执行。
[0070]框601示出接收指示在取景器中的注视方向的信息。在一个实施例中，计算设备101从眼睛跟踪器105接收到注视向量108。在一个实施例中，注视向量108指示了在图像捕捉设备104的取景器中的用户111的兴趣点。
[0071]框602示出了基于指示所述注视的方向的信息确定在取景器中的兴趣点。在一个实施例中，点102b基于指示用户的注视方向的信息(诸如注视向量108)来确定兴趣点。
[0072]框603示出基于所述兴趣点来确定捕捉图像的曝光量。在一个实施例中，确定曝光量包括确定抵达用于捕捉图像106的传感器104a的光量，如图1和3A-C所示。在一个实施例中，以勒克斯秒为单位来测量曝光量。
[0073]框604示出围绕兴趣点调整取景器中的视野。在一个实施例中，调整视野包括围绕兴趣点放大或缩小取景器上的图像。在一个实施例中，图像以预定量被缩放，诸如2x。在其他实施例中，用户可以手动或做姿势来放大或缩小。
[0074]框605示出了以该曝光量和经调整的视野捕捉图像。在一个实施例中，图像捕捉设备104通过所确定的曝光和所确定的视野捕捉图像。在一个实施例中，图像106被传送给计算设备101并被存储在存储器102的图像102d中，如图1所示。图像随后由计算设备101检索并查阅。在一实施例中，照片/视频应用102c检索并呈现所储存的图像。
[0075]图7是示出一种用于输出用于捕捉图像的信息的方法700的流程图。
[0076]框701示出接收注视向量，例如图1示出的注视向量108。
[0077]框702示出了基于所述注视向量确定在取景器中的兴趣点。在一个实施例中，存储在存储器102中的点102b基于用户的注视向量108确定兴趣点。
[0078]框703示出基于所述兴趣点来确定曝光量。在一个实施例中，确定曝光量包括确定如本文描述的抵达传感器的光量。
[0079]框704示出确定在取景器中要从其缩放的点。在一实施例中，点102b确定兴趣点。在一个实施例中，兴趣点被用作取景器中用于放大或缩小的要从其缩放的点或锚。
[0080]框705示出输出指示曝光量的第一信号和指示在取景器中要从其缩放的点的第二信号。在另一个实施例中，指示在兴趣点周围(或围绕兴趣点)的缩放量也如在一个实施例中的逻辑框705所示被输出。缩放量可以由照片/视频应用102c确定，并且在一个实施例中具体为缩放202。第一和第二信号(以及在一个实施例中的第三控制信号)被包括在从计算设备101到图像捕捉设备104的控制信号107中，如图1所示。
[0081]图8是示出一种用于输出用于捕捉图像的信息的方法800的流程图。
[0082]框801示出从眼睛跟踪器接收注视向量。
[0083]框802示出了基于所述注视向量确定在相机的取景器中的兴趣点。
[0084]框803示出基于所述兴趣点来确定曝光量。
[0085]框804示出确定在取景器中要从其缩放的点。
[0086]框805不出将指不曝光量的第一信号输出给相机。
[0087]框806示出将指示在取景器中要从其缩放的点的第二信号输出给相机。在一个实施例中，要从其缩放的点是所述兴趣点。
[0088]框807示出向图像提供图像增强效果。在一个实施例中，增强203增强图像，诸如图像106。在一个实施例中，增强203可以包括滤镜或其他图像处理软件组件或功能以围绕兴趣点锐化模糊线条。
[0089]框808示出将具有图像增强效果的图像存储在存储器中，例如如图1所示的存储器102 中。
[0090]框809示出从存储器中检索具有图像增强效果的图像以供用户观看。
[0091]图9是可托管图1和2中解说的软件组件中的至少一些的(并且在一实施例中对应于计算设备101的)计算设备1800的一个实施例的框图。在一个实施例中，图像捕捉设备1820和眼睛跟踪器1822被包括在计算设备1800中。在各实施例中，图像捕捉设备1820和眼睛跟踪器1822对应于如图1所示的图像捕捉设备104和眼睛跟踪器105。在一实施例中，计算设备1800是具有相机的移动设备，诸如蜂窝电话或平板。眼睛跟踪器105可与计算设备1800包括在一起或可在计算设备1800外部，诸如本文中描述的眼镜。
[0092]在其最基本的配置中，计算设备1800通常包括一个或多个处理器1802，其包括一个或多个CPU和/或GPU以及一个或多个处理器核。计算设备1800还包括系统存储器1804。取决于计算设备的确切配置和类型，系统存储器1804可包括易失性存储器1805(如RAM)、非易失性存储器1807(如R0M、闪存等)或是两者的某种组合。该最基本配置在图9中由虚线1806来例示出。另外，设备1800还可具有附加特征/功能。例如，设备1800还可包含附加存储(可移动和/或不可移动)，其包括但不限于磁盘、光盘或磁带。这样的附加存储在图9中由可移动存储1808和不可移动存储1810来例示出。
[0093]设备1800还可包含允许该设备与其他设备通信的通信连接1812，如一个或多个网络接口和收发机。设备1800还可具有诸如键盘、鼠标、笔、话音输入设备、触摸输入设备(触摸屏)、姿势输入设备等输入设备1814。还可包括诸如显示器、扬声器、打印机等输出设备1816。这些设备在本领域是公知的，因此不在此详细讨论。
[0094]在一个实施例中，用户可以通过姿势、触摸或声音向输入设备1814键入输入。在一个实施例中，输入设备1814包括自然用户界面(NUI)以接收并转换来自用户的声音和姿势输入。在一个实施例中，输入设备1814包括触摸屏和话筒以用于接收并转换用户的触摸或声音(诸如声音命令)。
[0095]一个或多个处理器1802、系统存储器1804、易失性存储器1805和非易失性存储器1807通过一条或多条总线互连。在此实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、夕卜围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的架构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。
[0096]在一个实施例中，一个或多个处理器1802、易失性存储器1805和非易失性存储器1807被集成到片上系统(SoC，也称为S0C)上，其是将计算设备或其他电子系统的电子组件和/或子系统集成到安置在单个封装内的单个半导体基板和/或单个芯片中的集成电路(IC)。例如，先前在个人计算机(PC)中的存储器模块子系统中的存储器现在可被包括在SoC中。类似地，存储器控制逻辑可被包括在SoC的处理器中而不是包括在分开地封装的存储器控制器中。
[0097]如本领域普通技术人员将理解的，其他电子组件可以被包括在SoC中。SoC可以包括数字的、模拟的、混合信号的，和/或射频电路一一在单个半导体基板上的一个或多个。SoC可以包括振荡器、锁相环、计数器-计时器、实时计时器、加电复位发电机、外部接口(例如，通用串行总线(USB)、IEEE 1394接口(火线)、以太网、通用异步接收机/发射机(USART)和串行外围总线(SPI))、模拟接口、电压调节器和/或电源管理电路。
[0098]在替换的实施例中，SoC可以被系统级封装(SiP)或层叠封装(PoP)替换。在SiP中，多个芯片或半导体基板被安置在单个封装中。在SiP实施例中，(诸)处理器核将可以在一个半导体基板上，而高性能存储器将可以在第二半导体基板上，二者都被安置在单个封装中。在一个实施例中，第一半导体基板通过线结合耦合至第二半导体基板。
[0099]在PoP实施例中，(诸)处理器核将可以在布置在第一封装中的一个半导体管芯上，而高性能存储器将可以在布置在第二不同封装中的第二半导体管芯上。第一封装和第二封装随后将通过标准接口被堆叠以在各封装(具体而言在各半导体管芯)间路由信号。在一个实施例中，所堆叠的封装接着可被耦合到将附加存储器作为组件的印刷线路板。
[0100]在各实施例中，处理器包括执行(或读取)存储在处理器可读存储器中的处理器(或机器)可读指令的至少一个处理器核。处理器可读指令的一示例可包括图1中示出的控件102a、点102b、照片/视频应用102c以及图像102d。处理器核还可以包括控制器、图形处理单元(GPU)、数字信号处理器(DSP)和/或现场可编程门阵列(FPGA)。
[0101]在各实施例中，存储器包括在集成电路上的一个或多个存储器单元阵列。易失性存储器的类型包括但不限于动态随机存取存储器(DRAM)、基于分子电荷的(ZettaCore)DRAM、浮体DRAM和静态随机存取存储器(“SRAM” ) ARAM的特定类型包括双倍数据速率SDRAM(“DDR” )，或晚一代SDRAM(例如，“DDRn” )。
[0102]非易失性存储器的类型包括但不限于以下类型:电可擦除可编程只读存储器(“EEPR0M”)、闪存(包括NAND和NOR闪存)、0N0闪存、磁阻或磁性RAM( “MRAM” )、铁电RAM(“FRAM” )、全息介质、奥弗辛斯基效应的/相变、纳米晶体、纳米管RAM(NRAM-Nantero)、MEMS扫描探针系统、MEMS悬臂式开关、聚合物、分子、纳米浮栅和单电子。
[0103]在一个实施例中，控件102a、点102b、照片/视频应用102c以及图像102d的至少一些部分被存储在存储器(例如硬盘驱动器)中。当计算设备1800通电时，控件102a、点102b、照片/视频应用102c以及图像102d的各部分被加载入RAM以供处理器1802执行。在各实施例中，其他应用可以存储在硬盘驱动器上以供由处理器1802执行。
[0104]以上描述的计算设备1800仅仅是以上参考图1和各个其他附图讨论的计算设备
101、图像捕捉设备104和眼睛跟踪器105的一个示例。如上所解释的，存在此处中所述的各实施例可以使用的各种其他类型的计算设备。
[0105]附图中的流程图和框图示出根据各实施例的系统(装置)、方法和计算机(软件)程序的可能实现的体系结构、功能和操作。关于这个方面，流程图或框图中的每个框可表示一软件组件。还应当注意，在一些替换实现中，框中提到的功能可不以附图中提到的次序来发生。例如，连续示出的两个框实际上可基本并发地执行，或者取决于所涉及的功能，这些框有时可以相反的次序执行。还注意，框图和/或流程图说明中的每个框以及框图和/或流程图示意中各框的组合可由基于专用硬件的系统来实现，基于专用硬件的系统执行指定的功能或动作或专用硬件和软件组件的组合。
[0106]在各实施例中，所示出和/或所描述的信号路径是传输信号的介质，诸如互连、传导元件、触头、引脚、半导体基板中的区域、引线、金属迹线/信号线或光电导体个体或其组合。在一个实施例中，多个信号路径可以替代图中所示的单个信号路径，并且单个信号路径可以替代图中所示的多个信号路径。在各实施例中，信号路径可以包括总线和/或点到点连接。在一实施例中，信号路径包括控制和数据信号线。在又一些其他实施例中，信号路径是单向的(信号在一个方向上传播)或双向的(信号在两个方向上传播)或者是单向信号线和双向信号线两者的组合。
[0107]上述详细描述只是为了说明和描述的目的而提出的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。如本文中使用的，单数形式的“一”、“一个”以及“其”旨在也包括复数形式，除非上下文明确地以其他方式指示。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。
【主权项】
1.一种获得图像的方法，所述方法包括: 接收指示在取景器中的注视方向的信息； 基于所述指示注视方向的信息确定在所述取景器中的兴趣点； 基于所述兴趣点来确定捕捉图像的曝光量； 围绕所述兴趣点调整所述取景器中的视野；以及 以所述曝光量和视野捕捉所述图像。2.如权利要求1所述的方法，其特征在于，指示所述注视的方向的所述信息包括注视向量，其中所述注视向量是从眼睛跟踪器接收的。3.如权利要求2所述的方法，其特征在于，调整所述视野包括围绕所述兴趣点数字放大。4.如权利要求3所述的方法，其特征在于，确定所述曝光量包括确定抵达用于捕捉所述图像的传感器的光量，其中所述曝光量是以勒克斯(Iux)秒为单位来测量。5.如权利要求4所述的方法，其特征在于，所述图像被包括在照片和视频中的一者中。6.如权利要求5所述的方法，其特征在于，还包括将具有所述曝光量和视野的图像存储到处理器可读存储器中。7.如权利要求6所述的方法，其特征在于，所述取景器包括显示器并且权利要求6的方法还包括: 在所述处理器可读存储器中检索具有所述曝光量和视野的所述图像；以及 在所述显示器上提供具有所述曝光量和视野的所述图像。8.如权利要求7所述的方法，其特征在于，所述眼睛跟踪器、取景器、传感器和处理器可读存储器被封装在相机、平板、电话和眼镜中的一者中。9.如权利要求1所述的方法，其特征在于，所述指示注视方向的信息是从眼睛跟踪器接收的，其中确定所述曝光量包括确定抵达捕捉所述图像的传感器的光量，还包括: 在所述处理器可读存储器中存储具有所述曝光量和视野的所述图像； 在所述处理器可读存储器中检索具有所述曝光量和视野的所述图像；以及 在所述取景器上提供具有所述曝光量和视野的所述图像。10.如权利要求1所述的方法，其特征在于，进一步包括: 基于所述兴趣点在具有所述曝光量和视野的所述图像上执行图像增强效果。11.一种装置，包括: 取景器； 至少一个传感器，所述传感器响应于指示曝光量的第一信号和指示在所述取景器中要从其缩放的点的第二信号捕捉所述取景器中的图像； 至少一个眼睛跟踪器，输出指示在所述取景器中的注视的方向的注视向量； 至少一个处理器；以及 用于存储处理器可读指令的至少一个处理器可读存储器， 其中所述至少一个处理器执行所述处理器可读指令以: 接收所述注视向量； 基于所述注视向量确定在所述取景器中的兴趣点； 基于所述兴趣点确定曝光量； 确定在所述取景器中的要从其缩放的点；以及 输出指示所述曝光量的所述第一信号和指示在所述取景器中要从其缩放的点的所述第二信号，其中所述要从其缩放的点是所述兴趣点。12.如权利要求11所述的装置，其特征在于，所述装置包括眼镜，并且所述取景器被投射在眼镜的镜片上。13.如权利要求11所述的装置，其特征在于，所述装置包括蜂窝电话，并且所述取景器被提供在所述蜂窝电话的触摸屏上。14.如权利要求11所述的装置，其特征在于，所述至少一个处理器执行所述处理器可读指令以进行以下操作: 将所述图像存储在所述至少一个处理器可读存储器中；以及 从所述至少一个处理器可读存储器中检索要在所述取景器上观看的所述图像。15.如权利要求11所述的装置，其特征在于，所述至少一个处理器执行所述处理器可读指令以进行以下操作: 基于所述兴趣点在所述图像上执行图像增强效果。
【文档编号】H04N5/232GK105900415SQ201480072875
【公开日】2016年8月24日
【申请日】2014年12月24日
【发明人】Q·S·C·米勒, S·G·拉塔, D·斯蒂里
【申请人】微软技术许可有限责任公司