本发明涉及相机设备领域，特别涉及一种通过检测眼睛视线自动结束摄像的装置及方法。
背景技术：
自拍已成为人们生活中比较常见的活动之一，在手机、电脑、平板等计算设备上配备摄像头，并通过在设备中配置用于控制摄像头的软硬件来控制拍摄从而完成自拍，大部分的设备中还配有显示屏实时显示被拍摄对象的状态。已有技术中在进行摄像特别是自拍摄像结束时，需要依靠人为控制，比如收回相机、点击结束按钮等，由此往往导致摄像视频的最后几帧的照片是多余的，在后期进行剪辑势必要增加成本。
技术实现要素：
本发明的目的是为了解决现有技术中的拍照装置在自拍摄像结束时需要手动结束按钮，导致摄像视频的最后几帧照片多余的问题，提出一种通过检测眼睛视线自动结束摄像的装置及方法。
本发明通过检测眼睛视线自动结束摄像的装置，包括：拍照相机，对目标进行摄像，获取包含所述目标面部的二维图像；深度相机，用于获取包含所述目标面部的深度图像，或者还用于获取包含所述目标面部的二维图像；处理器，接收并分析所述深度图像和所述二维图像，以检测所述目标相对于所述拍照相机的视线方向，当所述视线远离所述拍照相机时，控制所述拍照相机结束摄像。
在优选的实施方式中，所述处理器在控制所述拍照相机结束摄像之前，在当所述视线指向所述拍照相机时，所述处理器还控制所述拍照相机执行摄像操作。
在优选的实施方式中，所述处理器控制所述拍照相机执行摄像操作，包括：获取所述目标面部的深度信息和/或光照信息；利用所述深度信息和/或光照信息调整所述拍照相机的焦距和/或曝光参数；基于调整后的焦距和/或曝光参数执行摄像。
在优选的实施方式中，所述处理器检测所述目标相对于所述拍照相机的视线方向，包括：根据所述深度图像检测所述目标的面部方向；根据所述二维图像检测眼睛相对于面部的相对视线方向；利用所述面部方向与所述相对视线方向计算所述目标相对于所述拍照相机的视线方向。
在优选的实施方式中，所述视线远离所述拍照相机，包括所述视线持续远离所述拍照相机超过预设的时间阈值。
本发明还提出一种通过检测眼睛视线自动结束摄像的方法，包括以下步骤：利用拍照相机对目标进行摄像，获取包含所述目标面部的二维图像；利用深度相机获取包含所述目标面部的深度图像，或者还用于获取包含所述目标面部的二维图像；利用处理器接收并分析所述深度图像和所述二维图像，以检测所述目标相对于所述拍照相机的视线方向，当所述视线远离所述拍照相机时，控制所述拍照相机结束摄像。
在优选的实施方式中，在利用所述处理器控制所述拍照相机结束摄像之前，当所述视线指向所述拍照相机时，还利用所述处理器控制所述拍照相机进行摄像。
在优选的实施方式中，所述利用处理器控制所述拍照相机进行摄像操作，包括：获取所述目标面部的深度信息和/或光照信息；利用所述深度信息和/或光照信息调整所述拍照相机的焦距和/或曝光参数；基于调整后的焦距和/或曝光参数进行摄像。
在优选的实施方式中，所述利用处理器检测所述目标相对于所述拍照相机的视线方向，包括：根据所述深度图像检测所述目标的面部方向；根据所述二维图像检测眼睛相对于面部的相对视线方向；利用所述面部方向与所述相对视线方向计算所述目标相对于所述拍照相机的视线方向。
本发明还提出一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述通过检测眼睛视线自动结束摄像的方法。
与现有技术相比，本发明的有益效果有：
本发明通过检测眼睛视线自动结束摄像的装置及方法，通过采集包含目标面部的深度图像和二维图像来检测人眼的视线方向，并根据人眼的视线方向进行自动结束摄像，避免了在自拍摄像结束时需要手动结束按钮，导致摄像视频的最后几帧照片多余的现象，极大地提高了用户的自拍摄像体验。
附图说明
图1是本发明一个实施例中用户拍照或摄像示意图。
图2是本发明一个实施例中能够检测眼睛视线的拍照装置硬件结构示意图。
图3是本发明一个实施例中通过检测眼睛视线方向进行自动拍照或摄像的方法流程图。
图4是本发明一个实施例中通过检测眼睛视线方向进行更高质量的自动拍照或摄像方法流程图。
图5是本发明一个实施例中通过检测眼睛视线方向进行自动结束摄像的方法流程图。
图6是本发明一个实施例中眼睛视线指向拍照相机时的拍照装置及拍照或摄像示意图。
图7是本发明一个实施例中眼睛视线远离拍照相机时的拍照装置及拍照或摄像示意图。
具体实施方式
下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
图1是根据本发明一个实施例的用户拍照示意图。用户10手持拍照装置11对自己进行拍照或摄像以获取图像或视频，在拍照或摄像时将拍照装置11的相机111对准用户脸部101以采集脸部图像。这一拍照方式一般称为自拍，在一些实施例中，拍照装置11也可以由其他用户控制或者自动对用户进行拍照或摄像。拍照装置11中设置有用于拍照或摄像的拍照相机111，拍照相机可以分布在装置的不同位置，比如装置的前后表面均设置有拍照相机；拍照相机111可以是彩色相机、灰度相机、广角相机、长焦相机、光场相机、深度相机、双摄相机等任何合适的相机类型，所拍摄的图像相应的可以包括彩色(如RGB图像)、灰度等二维图像，也可以包括深度图像等三维图像。
本发明将提供一种在拍照过程中基于视线方向检测自动进行拍照或摄像的拍照装置及拍照方法，在后面的说明中将以拍照相机111为彩色相机、所拍摄的图像为RGB图像为例进行说明。可以理解的是，本发明的方案中拍照相机111也适用于其他相机。
图2是根据本发明一个实施例的拍照装置结构示意图。拍照装置包括处理器20、拍照相机21、存储器24、深度相机23，在一些实施例中还可以包括显示器22。
拍照相机21包括透镜210、光圈211、图像传感器212、快门(图中未求出)以及镜头调整系统213等。透镜210用于将目标的光线聚集在图像传感器212上，图像传感器212接收光线并将光信号转换成电信号，电信号被图像处理器(图中未示出)处理后以输出目标的图像。在拍照或摄像过程中，镜头调整系统213用于控制镜头进行调整，其包括实现调整的机械驱动，比如快门马达、音圈马达等。
在对目标比如面部进行拍照或摄像时，往往需要对面部区域进行对焦以实现对面部清晰成像。除了焦距，影响成像质量的还有快门、光圈、感光度等，这些在后面统称为曝光参数，合理地设置曝光参数将会使得面部区域以合理的亮度呈现，以避免少量曝光或过量曝光的情形。
拍照相机21与处理器20连接，处理器20用于接收由拍照相机21传输来的图像数据，图像可以进一步被传输至显示器22进行显示。同时，处理器20还可以用于控制拍照相机的调整，比如发出控制信号至镜头调整系统以实现焦距、曝光参数的调整，进一步地，基于这些参数处理器20可以控制拍照相机执行拍照或摄像以获取目标的图像(包括图像序列或视频)。处理器20可以由单个或多个处理器单元组成。显示器22也可以包括触摸功能以实现与用户的交互。
对于具备自动调整能力的拍照装置而言，其含有自动调整的相关程序，比如自动对焦程序240、自动曝光程序241等，其被存储在存储器24内，在激活相应自动调整功能时，处理器20将会从存储器24中调用相应的自动调整程序并执行。存储器24可以是任何类型的存储介质，比如ROM、RAM、FLASH等。存储器24可以保存程序执行过程中产生的临时数据等。
深度相机23用于采集深度图像，比如红外结构光深度相机、TOF深度相机等。深度相机23与拍照相机21可以是集成的单一相机也可以是独立的多个相机。当为独立的多个相机时，由于二者在空间中位置的不同导致有视差，在一些应用中需要将二者的图像进行配准。在一个实施例中，拍照相机为RGB相机，存储器24内保存有RGBD配准程序243。当拍照相机21与深度相机23获取了RGB图像与深度图像后，由处理器20执行RGBD配准程序243实现RGB图像与深度图像的对齐。
存储器24还可以包括视线检测程序242，用于检测眼睛视线的方向。本发明将根据该视线方向执行自动拍照功能。
图3是根据本发明一个实施例的通过检测眼睛视线方向进行自动拍照或摄像的流程图。当程序开始后，进行步骤S301，采集包含目标面部的深度图像及二维图像。在一种实施例中，处理器控制深度相机对目标进行成像并采集目标深度图像及二维图像(301)，这里的二维图像包括不可见光图像，比如红外图像。在一个实施例中，当深度相机为红外结构光深度相机时，还需要额外增加一个红外泛光灯，当红外泛光灯打开时深度相机中的成像模组可以采集目标的红外图像。在一个实施例中，当深度相机为红外时间飞行法深度相机时，往往可以直接得到深度图像与红外图像，因此也可以无需增加额外的红外泛光灯。在另一个实施例中，当程序开始后，处理器分别控制深度相机和拍照相机对目标进行成像，分别获取包含目标面部的深度图像和二维图像，此处的二维图像主要包括可见光图像。优选地，当拍照相机为RGB相机时，二维图像为RGB图像。
其次，进行步骤S302，利用深度图像以及二维图像检测眼睛视线方向(302)。任何眼睛视线方向检测算法均可以应用于本发明中。在一个实施例中，分别通过深度图像对面部的方向进行检测，以及通过二维图像对眼睛相对于面部的相对视线方向进行检测。结合面部方向以及眼睛相对于面部的相对视线方向就可以计算出视线相对于拍照相机的视线方向。利用深度图像检测面部方向时，可以利用通过对多个关键点的测量来进行面部方向检测，比如通过深度图像获取双眼、鼻子、嘴部等关键点的三维坐标信息，进一步基于三维坐标信息获取面部朝向。利用二维图像对眼睛相对于面部的相对视线方向检测，可以通过获取眼球相对于眼框的相对位置来实现。
在一个实施例中，也可以通过闪烁点法来对眼睛的相对视线方向进行检测。当二维图像为红外图像时，利用主动光源，如红外LED、红外激光二极管等对眼睛进行照明，在获取的眼睛照片中将会有一个对应于光源的闪烁点，通过闪烁点与眼球中心的相对位置也可以获取眼睛的相对视线方向。在一个实施例中，主动光源的数量也可以设置为多个，通过多个闪烁点与眼球之间的关系可以获取更加准确的眼睛相对视线方向。当二维图像为可见光图像，例如RGB图像时，也可以通过闪烁点法来对眼睛的相对视线方向进行检测，即利用可见光光源对眼睛进行照明，在获取的眼睛照片中将会有一个对应于光源的闪烁点，通过闪烁点与眼球中心的相对位置也可以获取眼睛的相对视线方向。
结合面部方向以及眼睛相对于面部的相对视线方向，获得视线相对于拍照相机的视线方向后，结合眼睛的深度信息可以计算出眼睛视线的具体指向，当指向拍照相机时即认为是最佳拍照状态，此时进入步骤S303，处理器控制拍照相机对目标进行拍照或摄像，具体情形可以参考图6中的人脸面部61的眼球62的视线方向。
在一些实施例中，为了避免误拍照，设定一定的眼睛凝视时间阈值，比如1秒，即仅当眼睛视线指向拍照相机超过该时间阈值后才会触发拍照指令进入步骤S303，由此可以避免当眼睛视线扫过拍照相机或其他形式产生的误触发现象。
在一些实施例中，结合深度图像、二维图像可以实现更高质量的自动拍照或摄像，具体的拍照流程如图4所示。在图4所示的自动拍照或摄像流程中，步骤S401和步骤S402与图3所示的自动拍照流程中步骤S301和步骤S302相同，即获取视线相对于拍照相机的视线方向的方法与图3所示的实施例相同。在图4所示的实施例中，在检测到的视线方向指向拍照相机或持续指向拍照相机一段时间后，进行步骤S403，通过深度信息检测面部的距离信息，然后进行步骤S404，根据距离信息调整拍照相机的焦距；在一个实施例中，在检测到的视线方向指向拍照相机或持续指向拍照相机一段时间后，通过二维图像检测面部的光照信息，并进一步根据光照信息来调整拍照相机的曝光参数，如快门、光圈、感光度等，比如当光照信息为面部图像的平均像素值且该平均像素值较低时，则认为曝光不足，因此调整曝光参数如降低快门速度、提高光圈值、提高图像传感器的感光度(ISO)等，反之则往相反的方向调整曝光参数。在此需要说明的是，用于检测面部光照信息的二维图像为可见光二维图像，优选地为RGB图像。
在调整完焦距以及曝光参数后，进行步骤S405,基于调整后的参数进行拍照或摄像。
可以理解的是，在进行摄像时，也可以实时地对视线方向、距离值、曝光参数等进行检测，以实现高质量的摄像。已有技术中在进行摄像特别是自拍摄像结束时，需要依靠人为控制，比如收回相机、点击结束按钮等，由此往往导致摄像视频的最后几帧的照片是多余的，在后期进行剪辑势必要增加成本。
图5是根据本发明一个实施例的通过视线检测来自动结束拍摄的方法流程图。在图5所示的自动拍摄流程中，步骤S501至步骤S505与图4所示的自动拍照流程中步骤S401至步骤S405相同，即在基于图4所示自动拍摄的基础上，图5所示的自动拍照流程增加了步骤S506，在拍摄过程中对眼睛视线方向进行实时检测，当视线方向远离拍照相机时，进行步骤S507，即结束摄像，具体可以参考图7所示的眼球70的视线指向。同样在一些实施例中，为了避免误触，设置一个时间阈值，当视线方向持续远离拍照相机超过该时间阈值时才会触发结束摄像指令进行步骤S507。可以理解的是，开始摄像的指令也可以不由图4所示的方法触发，比如可以手动触发等。另外，可以将时间阈值设置为一个合适的数值，比如1秒，由此低于该时间的眼睛视线偶尔远离拍照相机是被允许的，以防止眨眼等其他情况会引起摄像结束的情形出现。
图6是根据本发明一个实施例的眼睛视线指向拍照相机时的拍照装置示意图。图7是根据本发明一个实施例的眼睛视线远离拍照相机时的拍照装置示意图。拍照装置60包括拍照相机602、用于获取深度图像以及红外图像的红外相机601以及投影模组604、显示器605，在一些实施例中还包括传感器603，比如红外泛光灯、听筒、环境光/接近度传感器等。由拍照相机采集的目标图像61会实时显示在显示器605上。图6中的人脸正向面对拍照相机，眼球62也正好指向拍照相机，而图7的眼球70则远离拍照相机。
可以理解的是，以上各实施例所示的方法或装置可以用于除了人眼拍照之外的其他含有眼睛的物体拍照，均属于对本案的简单变形或变换，落入本案的保护范围。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本发明上述通过检测眼睛视线进行自动拍照和/或自动结束拍照的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。