照相机系统及图像提供方法与流程

本发明涉及一种照相机系统及一种图像提供方法。更具体来说，本发明涉及一种自动照相机系统及一种自动图像提供方法。

背景技术

照相机是一种用于捕获及/或记录图像的光学仪器，人们喜欢持有照相机来作为存储器。视人们的需求而定，此类图像可以是个别的静态相片，或者可以是构成视频或影片的图像序列。已开发出各种照相机，但其全部实质上均为仅根据用户的操纵及/或指令而工作的被动式图像捕获仪器。关键因素在于，此类传统照相机无法独立地作出关于是否及/或如何捕获图像的决策。

由于所述因素，此类传统照相机可能会为用户带来不便。举例来说，如果用户打算捕获他/她出现在其中的图像但无法独立地操纵照相机，则他/她不得不设定定时器来推迟对照相机快门的触发、请求其他人来捕获图像、或者使用各种自拍工具(例如自拍杆)来捕获图像。此外，由于决定如何捕获图像是由用户作出，因而始终存在捕获到不合意图像的风险，尤其在用户并非是专业摄影师的情况下。鉴于此，提供一种解决方案以使得照相机能够独立地作出关于是否及/或如何捕获图像的决策是重要的。

技术实现要素：

本发明包括一种用于计算估计照相机位置及估计照相机姿态的计算机装置。所述计算机装置可包括存储装置及电连接至所述存储装置的处理器。所述存储装置可用以基于多个参考图像来存储多个特征模型。所述多个特征模型中的每一个包括多个参考特征点。所述处理器可用以计算初始图像的多个初始特征点及所述多个初始特征点的多个相应三维坐标。所述初始图像可对应于初始照相机位置及初始照相机姿态。所述处理器还可用以将多个特征差值进行比较以从所述多个特征模型中决定特征模型候选者，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的所述多个参考特征点之间的特征差值，且所述特征模型候选者可对应于所述多个特征差值中的最小者。所述处理器还可用以在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下基于所述初始图像的所述多个初始特征点的所述多个三维坐标的投影来决定估计照相机位置及估计照相机姿态，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。

本发明还包括一种照相机系统。所述照相机系统可包括上述计算机装置、照相机、位置调整装置、及姿态调整装置。所述照相机可电连接至所述计算机装置，且用以基于所述初始照相机位置及所述初始照相机姿态来提供所述初始图像并基于所述估计照相机位置及所述估计照相机姿态来提供所述估计图像。所述位置调整装置可电连接至所述计算机装置并以可操作方式连接至所述照相机，且用以将所述照相机分别调整至所述初始照相机位置及所述估计照相机位置。所述姿态调整装置可电连接至所述计算机装置并以可操作方式连接至所述照相机，且用以将所述照相机分别调整至所述初始照相机姿态及所述估计照相机姿态。

本发明进一步包括一种用于计算照相机的估计照相机位置及估计照相机姿态的计算方法。所述计算方法可包括：

由计算机装置计算初始图像的多个初始特征点及所述多个初始特征点的多个相应三维坐标，其中所述初始图像对应于初始照相机位置及初始照相机姿态；

由所述计算机装置将多个特征差值进行比较以从多个特征模型中决定特征模型候选者，其中所述多个特征模型存储在所述计算机装置中，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的多个参考特征点之间的特征差值，且所述特征模型候选者对应于所述多个特征差值中的最小值；以及

由所述计算机装置在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下，基于所述初始图像的所述多个初始特征点的所述多个三维坐标的投影来计算所述估计照相机位置及所述估计照相机姿态，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。

本发明另外包括一种图像提供方法。所述图像提供方法可包括上述计算方法及以下步骤：

由照相机基于所述初始照相机位置及所述初始照相机姿态来提供所述初始图像，且由所述照相机基于所述估计照相机位置及所述估计照相机姿态来提供所述估计图像；

由位置调整装置将所述照相机分别调整至所述初始照相机位置及所述估计照相机位置；以及

由姿态调整装置将所述照相机分别调整至所述初始照相机姿态及所述估计照相机姿态。

由所提出的计算机装置计算的估计照相机位置可指示照相机应位于何处来捕获图像，而由所提出的计算机装置计算的估计照相机姿态可指示照相机应保持何种姿态来捕获此些图像。因此，所提出的计算机装置使所提出的照相机系统能够独立地作出关于如何捕获图像的决策。

位置调整装置使照相机能够自动地移动至估计照相机位置，且姿态调整装置使照相机能够自动地摆出估计照相机姿态。因此，所提出的照相机系统可独立地作出关于是否捕获图像的决策，因为一旦照相机移动至估计照相机位置且摆出估计照相机姿态，所述照相机便准备好捕获图像。

估计照相机位置及估计照相机姿态是依据已基于多个参考图像产生的存储在所提出的计算机装置中的特征模型而计算。用户可通过将相关图像指派为参考图像或直接将相关特征模型存储至所提出的计算机装置中来决定合意图像的构成。这样一来，不论用户是否为专业摄影师，所提出的照相机系统均能够为用户捕获合意图像。

因此，所提出的计算机装置及照相机系统以及相关计算方法及图像提供方法确实提供一种良好的解决方案来使得照相机能够独立地作出关于是否及/或如何捕获图像的决策。

以上所述内容呈现本发明的概要(包括将要解决的问题、解决所述问题的方式及本发明的效果)，以实现对本发明的基本理解。然而，以上所述内容并非旨在设想出本发明的所有方面。另外，以上所述内容既不旨在辨识本发明任何或所有方面的关键或重要要素也不旨在阐述本发明任何或所有方面的范围。提供此概要仅是为了以简单的形式且作为对以下详细说明的介绍来呈现本发明某些方面的某些概念。

在以下段落中结合附图来阐述为本发明实施的详细技术及优选实施例，以使所属领域的技术人员充分理解本发明的特征。

附图说明

图1例示根据本发明一个或多个实施例的计算机装置的架构；

图2是例示根据本发明一个或多个实施例，计算机装置如何计算估计照相机位置及估计照相机姿态的流程图；

图3a是例示根据本发明一个或多个实施例，计算机装置如何决定空间结构的特征模型的示意图；

图3b是例示根据本发明一个或多个实施例，计算机装置如何将初始图像与图3a所示特征模型进行比较的示意图；

图4a是例示根据本发明一个或多个实施例，计算机装置如何决定面部的特征模型的示意图；

图4b是例示根据本发明一个或多个实施例，计算机装置如何将初始图像与图4a所示特征模型进行比较的示意图；

图5是例示根据本发明一个或多个实施例，计算机装置如何计算初始图像的初始特征点的相应三维坐标的示意图；

图6是例示根据本发明一个或多个实施例，计算机装置如何基于初始图像的初始特征点的三维坐标的投影来计算估计照相机位置及估计照相机姿态的示意图；

图7是例示计算机装置如何计算参考图像的统计前景分布比例及估计图像的估计前景分布比例的示意图；

图8例示根据本发明一个或多个实施例的照相机系统的架构；以及

图9例示根据本发明一个或多个实施例用于计算估计照相机位置及估计照相机姿态的计算方法的流程图。

主要元件标记说明

1：计算机装置8：照相机系统

9：计算方法11：存储装置

13：处理器15：i/o接口

17：网络接口19：网络

21～27：过程32：空间结构群组

34：空间特征模型42：面部群组

44：面部特征模型81：照相机

83：位置调整装置85：姿态调整装置

131：空间结构分析模块133：点分布模块

135：面部检测模块137：前景分割模块

321：空间结构群组322：空间结构群组

341：空间特征模型342：空间特征模型

421：面部群组422：面部群组

441：面部特征模型442：面部特征模型

901～905：步骤f1：初始图像

f3：近似图像f5：参考图像

f7：估计图像

具体实施方式

以下所述的实例性实施例并非旨在将本发明限于在这些实例性实施例中所述的任何具体环境、应用、结构、过程、或步骤。在附图中，省略了与本发明无关的元件而不予以绘示；且附图中的个别元件间的尺寸及尺寸关系仅为实例性实例而并非旨在限制本发明。除非具体陈述，否则在以下说明中，相同(或类似)的元件编号可对应于相同(或类似)的元件。

图1例示根据本发明一个或多个实施例用于计算估计照相机位置及估计照相机姿态的计算机装置的架构。然而，图1中所例示的计算机装置仅作为实例性实例提供，而并非用于限制本发明。参照图1，计算机装置1可包括存储装置11、处理器13、可选i/o接口15、及可选网络接口17等等。存储装置11、处理器13、可选i/o接口15、及可选网络接口17可经由其他构件(例如，经由各种总线)彼此电连接(即，彼此间接地电连接)，或者可在中间无任何其他构件的条件下彼此电连接(即，彼此直接地电连接)。经由直接连接或间接连接，可在存储装置11、处理器13、可选i/o接口15、及可选网络接口17中实现信号传送及数据交换。

处理器13可以是公用计算机装置/计算机的中央处理器(cpu)，且可被编程为解释计算机指令、在计算机软件中处理数据并执行各种操作程序。cpu可以是由多个独立单元构成的处理器、或由一个或多个集成电路(ic)构成的微处理器。

存储装置11可包括公用计算机装置/计算机的各种存储单元中的任一者。存储装置11可包括与cpu直接通信的第一级存储器(又称为主要存储器或内部存储器)，所述第一级存储器通常被简称为存储器。cpu可视需要读取存储在存储器中的指令集并执行这些指令集。存储装置11还可包括第二级存储器(又称为辅助存储器或外部存储器)，所述第二级存储器并非直接地而是经由存储器的i/o通道与cpu进行通信并经由数据缓冲器将数据传送到第一级存储器。存储在第二级存储器中的数据在电源被关断时将不会丢失(即，是非易失性的)。第二级存储器可例如是各种硬盘、紧致磁盘(cd)等中的任一者。存储装置11还可包括第三级存储装置，即，可直接插入至计算机中或可从计算机拆卸的存储装置(例如，移动磁盘)。

可选i/o接口15可包括公用计算机装置/计算机的各种输入/输出元件，用于从外部接收数据及将数据传送至外部，例如但不限于鼠标、轨迹球、触摸面板、键盘、扫描仪、麦克风、用户接口(ui)、屏幕、触摸屏、投影仪等。

可选网络接口17可包括公用计算机装置/计算机的至少一个物理网络接口卡，以用作计算机装置1与网络19之间的互连点。网络19可以是专用网络(例如，局域网(lan))或公用网络(例如，因特网)。视不同需要而定，可选网络接口17使计算机装置1能够以有线方式或以无线方式与网络19上的其他电子装置进行通信并交换数据。在某些实施例中，在网络接口17与网络19之间还可存在切换装置、路由装置等。

存储装置11可用以在处理器13计算照相机的估计照相机位置及估计照相机姿态之前基于一个或多个参考图像来存储一个或多个特征模型。参考图像中的每一个可包括多个参考特征点。在某些实施例中，处理器13可独立地基于参考图像来计算特征模型，并接着预先将所述特征模型存储至存储装置11中。在某些实施例中，用户可经由可选i/o接口15或可选网络接口17控制处理器13，以预先将特征模型从外部存储至存储装置11中。在某些实施例中，处理器13可经由可选网络接口17自动地在网络19上搜索特征模型，并接着预先将所述特征模型存储至存储装置11中。

图2是例示根据本发明一个或多个实施例，计算机装置1如何计算照相机的估计照相机位置及估计照相机姿态的流程图。然而，图2所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图2，处理器13可用以计算初始图像的多个初始特征点(被标示为过程21)。所述初始图像对应于初始照相机位置及初始照相机姿态；换句话说，所述初始图像是由位于所述初始照相机位置处并呈所述初始照相机姿态的照相机产生的图像。

处理器13还可用以计算初始特征点的多个相应三维坐标(被标示为过程23)。处理器13还可用以将多个特征差值进行比较以从多个特征模型中决定特征模型候选者(被标示为过程25)，所述多个特征差值中的每一个均是初始图像的初始特征点与每一个特征模型的参考特征点之间的特征差值。在某些实施例中，所决定的特征模型候选者对应于所述多个特征差值中的最小者。

处理器13可进一步用以在估计图像的多个特征点接近特征模型候选者的参考特征点的情况下，基于初始图像的初始特征点的三维坐标的投影来计算估计照相机位置及估计照相机姿态(被标示为过程27)，其中所述估计图像是基于估计照相机位置及估计照相机姿态而产生。

在某些实施例中，计算机装置1可在特征模型的参考特征点是空间参考特征点且初始图像的初始特征点是空间初始特征点的情况下将初始图像与特征模型中的每一者之间的空间结构(或布局)特征差值进行比较。将依据图3a及图3b来进一步阐述细节。图3a是例示根据本发明一个或多个实施例，计算机装置如何决定空间结构的特征模型的示意图，而图3b是例示根据本发明一个或多个实施例，计算机装置如何将初始图像与图3a所示特征模型进行比较的示意图。然而，图3a及图3b所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图3a，处理器13可用以利用空间结构分析模块131分析多个参考图像f5中的每一个，以计算参考图像f5中的每一个的多个空间特征点。空间结构分析模块131可用于基于各种空间结构分析算法来分析参考图像f5中的每一个的空间结构。在某些实施例中，空间结构分析模块131可基于由大卫·c.李(davidc.lee)、阿比纳夫·古普塔(abhinavgupta)、马提雅尔·赫伯特(martialhebert)、及金出武雄(takeokanade)在nips2010的论文“利用关于物体及表面的体积推理来估计房间的空间布局(estimatingspatiallayoutofroomsusingvolumetricreasoningaboutobjectsandsurfaces)”中所公开的体积推理算法来分析参考图像f5。所述体积推理算法仅作为实例性实例公开，而并非用于限制本发明。举例来说，处理器13可使用空间结构分析模块131来检测并辨识墙壁、天花板、地板及/或任何背景物体的边缘，且根据参考图像f5中每一个的所辨识边缘的交叉点来决定相应参考图像f5的空间特征点。为易于阐述图3a，在参考图像f5中的每一个上所示的空心圆圈表示对应参考图像f5的空间特征点。

在决定所有参考图像f5的空间特征点之后，处理器13可进一步用以根据参考图像f5的空间特征点将参考图像f5划分成与不同空间结构类型对应的一个或多个空间结构群组32。举例来说，如图3a中所示，具有八个空间特征点的参考图像f5可被分组至空间结构群组321中，且具有四个空间特征点的参考图像f5可被分组至空间结构群组322中。

在划分参考图像f5之后，处理器13可进一步用以利用点分布模块133分别将空间结构群组32优化，以决定具有相应空间参考特征点的一个或多个空间特征模型34。点分布模块133是一种用于表示形状的平均几何学的模型，并且从一组训练形状能推断出几何变化的某些统计模式。通过点分布模块133，处理器13可从空间结构群组32中决定最优代表来分别作为空间特征模型34。举例来说，如图3a中所示，空间特征模型341可以是空间结构群组321的最优代表，且空间特征模型342可以是空间结构群组322的最优代表。为易于阐述图3a，在空间特征模型34中的每一个上所示的实心圆圈表示对应空间特征模型34的空间参考特征点。

参照图3b，处理器13还可用以利用空间结构分析模块131分析初始图像f1，以计算初始图像f1的空间初始特征点。为易于阐述图3b，在初始图像f1上所示的空心圆圈表示初始图像f1的空间初始特征点，且在空间特征模型34中的每一个上所示的实心圆圈表示对应空间特征模型34的空间参考特征点。

在计算初始图像f1的空间初始特征点及空间特征模型34的空间参考特征点之后，处理器13可进一步用以计算初始图像f1与相应空间特征模型34之间的空间特征点差值并接着将所述多个空间特征点差值进行比较，以从空间特征模型34中决定具有所述多个特征差值中的最小值的空间特征模型候选者。举例来说，如图3b中所示，处理器13可决定空间特征模型341作为空间特征模型候选者，因为初始图像f1与空间特征模型341之间的空间特征点差值小于初始图像f1与其他空间特征模型34之间的空间特征点差值。

在某些实施例中，计算机装置1可在特征模型的参考特征点是面部参考特征点且初始图像的初始特征点是面部初始特征点的情况下将初始图像与特征模型中的每一者之间的面部特征差值进行比较。将依据图4a及图4b来进一步阐述细节。图4a是例示根据本发明一个或多个实施例，计算机装置如何决定面部的特征模型的示意图。图4b是例示根据本发明一个或多个实施例，计算机装置如何将初始图像与图4a所示特征模型进行比较的示意图。然而，图4a及图4b所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图4a，处理器13可用以利用面部检测模块135分析多个参考图像f5中的每一个，以计算参考图像f5中的每一个的多个面部特征点。面部检测模块135可用于基于各种面部检测算法来分析在参考图像f5中的每一个中出现的面部。在某些实施例中，面部检测模块135可基于由林·z(linz)及戴维斯·ls(davisls)在ieeetpami2010的论文“通过分级式局部模板匹配来进行基于形状的人类检测与分割(shape-basedhumandetectionandsegmentationviahierarchicalpart-templatematching)”中所公开的基于形状的人类检测算法来分析参考图像f5。基于形状的人类检测算法仅作为实例性实例公开，而并非用于限制本发明。举例来说，处理器13可使用面部检测模块135来检测并辨识参考图像f5中的每一个的面部，并接着在参考图像f5中的每一个中利用一对对角线面部特征点来界定每一面部。为易于阐述图4a，在参考图像f5中的每一个上所示的空心圆圈表示对应参考图像f5的面部特征点。

在决定所有参考图像f5的面部特征点之后，处理器13可进一步用以根据参考图像f5的面部特征点将参考图像f5划分成与不同面部数量对应的一个或多个面部群组42。举例来说，如图4a中所示，具有由两个面部特征点表示的仅一个面部的参考图像f5可被分组至面部群组421中，且具有由四个面部特征点表示的两个面部的参考图像f5可被分组至面部群组422中。

在划分参考图像f5之后，处理器13可进一步用以利用点分布模块133分别将面部群组42优化，以决定具有相应面部参考特征点的一个或多个面部特征模型44。通过点分布模块133，处理器13可从面部群组42中决定最优代表来分别作为面部特征模型44。举例来说，如图4a中所示，面部特征模型441可以是面部群组421的最优代表，且面部特征模型442可以是面部群组422的最优代表。为易于阐述图4a，在面部特征模型44中的每一个上所示的实心圆圈表示对应面部特征模型44的面部参考特征点。

参照图4b，处理器13还可用以利用面部检测模块135分析初始图像f1，以计算初始图像f1的面部初始特征点。为易于阐述图4b，在初始图像f1上所示的空心圆圈表示初始图像f1的面部初始特征点，且在面部特征模型44中的每一个上所示的实心圆圈表示对应面部特征模型44的面部参考特征点。

在计算初始图像f1的面部初始特征点及面部特征模型44的面部参考特征点之后，处理器13可进一步用以计算初始图像f1与相应面部特征模型44之间的面部特征点差值并接着将所述面部特征点差值进行比较，以从面部特征模型44中决定具有特征差值中的最小者的面部特征模型候选者。举例来说，如图4b中所示，处理器13可决定面部特征模型441来作为面部特征模型候选者，因为初始图像f1与面部特征模型441之间的面部特征点差值小于初始图像f1与其他面部特征模型44之间的面部特征点差值。

在某些实施例中，计算机装置1可同时将初始图像f1与空间特征模型34中的每一个之间的空间结构(或布局)特征差值进行比较以从空间特征模型34中决定空间特征模型候选者，并将初始图像f1与面部特征模型44中的每一个之间的面部特征差值进行比较以从面部特征模型44中决定面部特征模型候选者。

图5是例示根据本发明一个或多个实施例，计算机装置1如何计算初始图像f1的初始特征点(空间初始特征点及/或面部初始特征点)的相应三维(3d)坐标的示意图。然而，图5所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图5，如果照相机81已在3d空间中在初始照相机位置li(xi,yi,zi)处以初始照相机姿态pi(θi,ωi,ψi)拍摄初始图像f1并在近似照相机位置la(xa,ya,za)处以近似照相机姿态pa(θa,ωa,ψa)拍摄至少一个近似图像f3，则计算机装置1的处理器13可基于初始图像f1的初始特征点与近似图像f3的特征点之间的对应关系来计算初始图像f1的初始特征点的相应3d坐标，以辨识初始特征点在3d空间中的实际位置。

元素xi、yi及zi表示照相机81在初始照相机位置li处的3d坐标，而元素xa、ya及za表示照相机81在近似照相机位置la处的3d坐标。关于初始照相机姿态pi及近似照相机姿态pa，元素θi及θa表示y-z平面内的相应旋转角，元素ωi及ωa表示x-y平面内的相应旋转角，且元素ψi及ψa表示x-z平面内的相应旋转角。

为易于阐述图5，在初始图像f1上所示的实心圆圈表示初始图像f1的初始特征点，在近似图像f3上所示的空心圆圈表示近似图像f3的特征点，且双圆圈符号表示初始特征点在3d空间中的实际位置。如图5中所示，穿过初始图像f1的初始特征点的每一条线可与穿过近似图像f3的对应特征点的另一条线在3d空间中的特定3d坐标点处相交。所述相交点(即，特定3d坐标点)中的每一个表示初始图像f1的一个初始特征点在3d空间中的实际位置。因此，通过计算此类相交点，计算机装置1的处理器13能够辨识初始特征点在3d空间中的实际位置。

在某些实施例中，照相机81可在拍摄近似图像f3之后拍摄初始图像f1。在某些实施例中，照相机81可在拍摄近似图像f3之前拍摄初始图像f1。

在某一实施例中，近似照相机位置la(xa,ya,za)可与初始照相机位置li(xi,yi,zi)相同，但近似照相机姿态pa(θa,ωa,ψa)可略微不同于初始照相机姿态pi(θi,ωi,ψi)。在某一实施例中，近似照相机姿态pa(θa,ωa,ψa)可与初始照相机姿态pi(θi,ωi,ψi)相同，但近似照相机位置la(xa,ya,za)可略微不同于初始照相机位置li(xi,yi,zi)。在某一实施例中，近似照相机位置la(xa,ya,za)可略微不同于初始照相机位置li(xi,yi,zi)，且近似照相机姿态pa(θa,ωa,ψa)可略微不同于初始照相机姿态pi(θi,ωi,ψi)。

在某些实施例中，在照相机81包括深度传感器的情况下，计算机装置1的处理器13可在不使用近似图像f3的信息的条件下计算初始图像f1的初始特征点的相应3d坐标，所述深度传感器用于检测初始图像f1的初始特征点的深度。

图6是例示根据本发明一个或多个实施例，计算机装置1如何基于初始图像f1的初始特征点的3d坐标的投影来计算照相机81的估计照相机位置及估计照相机姿态的示意图。然而，图6所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图6，在计算初始图像f1的初始特征点的相应3d坐标之后，计算机装置1的处理器13可在估计图像f7的特征点接近特征模型候选者(包括空间特征模型候选者及/或面部特征模型候选者)的参考特征点(包括空间特征点及/或面部特征点)的情况下基于初始图像f1的初始特征点的3d坐标的投影来计算照相机81的估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)，其中估计图像f7是基于估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)而产生。元素xe、ye及ze表示照相机81在估计图像f7处的3d坐标。关于估计照相机姿态pe，元素θe表示y-z平面内的旋转角，元素ωe表示x-y平面内的旋转角，且元素ψe表示x-z平面内的旋转角。

为易于阐述图6，在初始图像f1上所示的实心圆圈表示初始图像f1的初始特征点，在估计图像f7上所示的空心圆圈表示估计图像f7的特征点，且双圆圈符号表示初始特征点在3d空间中的实际位置(即，初始特征点的3d坐标)。如图6中所示，举例来说，计算机装置1的处理器13可将照相机81在3d空间中的照相机位置及照相机姿态分别视为估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)，因为初始图像f1的初始特征点的3d坐标到在所述照相机位置处以所述照相机姿态拍摄的图像上的投影满足如下条件：所述图像与特征模型候选者之间的特征差值小于预定临限值。

在某些实施例中，计算机装置1的处理器13可基于各种匹配与优化算法来计算照相机81的估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)。举例来说，计算机装置1的处理器13可基于由裴秀敏(soonminbae)、阿西木·阿加尔瓦拉(aseemagarwala)及佛瑞多·迪朗(fredodurand)在acm图形学会刊2010的论文“计算重摄影(computationalre-photography)”中所公开的重摄影算法来计算照相机81的估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)。重摄影算法仅作为实例性实例公开，而并非用于限制本发明。

在某些实施例中，计算机装置1的处理器13可独立地计算参考图像f5的统计前景分布比例，并接着预先将所述统计前景分布比例存储至计算机装置1的存储装置11中。此外，在计算照相机81的估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)之后，计算机装置1的处理器13可进一步用以计算估计图像f7的估计前景分布比例，并比较出估计前景分布比例与统计前景分布比例之间的差值以决定估计图像f7的估计视野。

图7是例示计算机装置1如何计算参考图像f5的统计前景分布比例及估计图像f7的估计前景分布比例的示意图。然而，图7所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图7，计算机装置1的处理器13可用以利用前景分割模块137分析参考图像f5中的每一个，以计算参考图像f5中的每一个的前景分布比例。前景分割模块137可用于基于各种前景分割算法来计算参考图像f5中的每一个的前景分布比例。在某些实施例中，前景分割模块137可基于由林·z(linz)及戴维斯·ls(davisls)在ieeetpami2010的论文“通过分级式局部模板匹配来进行基于形状的人类检测与分割(shape-basedhumandetectionandsegmentationviahierarchicalpart-templatematching)”中所公开的基于形状的人类分割算法来计算参考图像f5中的每一个的前景分布比例。所述基于形状的人类分割算法仅作为实例性实例公开，而并非用于限制本发明。

在计算参考图像f5中的每一个的前景分布比例之后，计算机装置1的处理器13可进一步用以基于参考图像f5的所有前景分布比例来计算统计前景分布比例。统计前景分布比例是标引与参考图像f5的所有前景分布比例有关的概率分布族的统计值。举例来说，正态分布族具有两个参数，即平均值及方差。

计算机装置1的处理器13还可用以利用前景分割模块137分析估计图像f7，以计算估计图像f7的估计前景分布比例。

为易于阐述图7，将参考图像f5的前景分布比例表达为fp1％、fp2％、…、及fpn％，将统计前景分布比例表达为sfp％，且将估计图像f7的估计前景分布比例表达为fp％。下标n是参考图像f5的编号。计算机装置1的处理器13可比较出估计前景分布比例fp％与统计前景分布比例sfp％之间的差值，以为照相机81决定估计图像f7的估计视野。举例来说，如果估计前景分布比例fp％大于统计前景分布比例sfp％，则处理器13可决定对于估计图像f7需要更宽的视野(即，照相机81可需要变焦缩小估计图像f7)。反之，处理器13可决定对于估计图像f7需要更窄的视野(即，照相机81可需要变焦放大估计图像f7)。

在某些实施例中，用户还可经由可选i/o接口15或可选网络接口17来控制处理器13，以预先将预定前景分布比例从外部存储至存储装置11中。另外，处理器13可比较出估计图像f7的估计前景分布比例与预定前景分布比例之间的差值，以决定估计图像f7的估计视野。

在某些实施例中，处理器13还可经由可选网络接口17自动地在网络19上搜索特定前景分布比例，并接着预先将所述特定前景分布比例存储至存储装置11中。另外，处理器13可比较出估计图像f7的估计前景分布比例与所述特定前景分布比例之间的差值，以决定估计图像f7的估计视野。

图8例示根据本发明一个或多个实施例的照相机系统8的架构。然而，图8中所例示的照相机系统仅作为实例性实例公开，而并非用于限制本发明。参照图8，照相机系统8可包括如上所述的计算机装置1及照相机81，且可进一步包括位置调整装置83及姿态调整装置85。计算机装置1、照相机81、位置调整装置83、及姿态调整装置85可以有线方式或无线方式彼此电连接。计算机装置1可用于经由有线连接或无线连接来控制照相机81、位置调整装置83及姿态调整装置85。

根据计算机装置1的指令，照相机81可用以基于初始照相机位置li(xi,yi,zi)及初始照相机姿态pi(θi,ωi,ψi)来提供初始图像f1，基于近似照相机位置la(xa,ya,za)及近似照相机姿态pa(θa,ωa,ψa)来提供近似图像f3，且基于估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)来提供估计图像f7。在某些实施例中，照相机81还可用以提供参考图像f5。

在某些实施例中，在照相机81已位于估计照相机位置le(xe,ye,ze)处并呈估计照相机姿态pe(θe,ωe,ψe)时，照相机81可进一步用以基于也已由计算机装置1计算出的估计图像f7的估计视野来变焦放大或变焦缩小当前视野。换句话说，除估计照相机位置le(xe,ye,ze)及估计照相机姿态pe(θe,ωe,ψe)以外，照相机81也可基于估计图像f7的估计视野来提供估计图像f7。

位置调整装置83可以可操作方式连接至照相机81。根据计算机装置1的指令，位置调整装置83可用以将照相机81分别调整至初始照相机位置li(xi,yi,zi)及估计照相机位置le(xe,ye,ze)。举例来说，位置调整装置83可包括各种运载工具(包括移动单元(例如，轮)及驱动单元(例如，引擎))，以使照相机81能够分别移动至初始照相机位置li(xi,yi,zi)及估计照相机位置le(xe,ye,ze)。

姿态调整装置85可以可操作方式连接至照相机81。根据计算机装置1的指令，姿态调整装置85可用以将照相机81分别调整至初始照相机姿态pi(θi,ωi,ψi)及估计照相机姿态pe(θe,ωe,ψe)。举例来说，姿态调整装置85可包括各种调整器(包括旋转单元(例如，球体转子)及驱动单元(例如，引擎))，以使照相机81能够分别调整至初始照相机姿态pi(θi,ωi,ψi)及估计照相机姿态pe(θe,ωe,ψe)。

照相机系统8可实现如上所述计算机装置1所完成的所有结果。由于所属领域的技术人员可基于对计算机装置1的前述说明而易于了解照相机系统8如何实现所述结果，因而将不再进一步阐述相关内容。

图9例示根据本发明一个或多个实施例用于计算估计照相机位置及估计照相机姿态的计算方法9的流程图。然而，图9所示内容仅作为实例性实例公开，而并非用于限制本发明。

参照图9，用于计算估计照相机位置及估计照相机姿态的计算方法9可包括：由计算机装置计算初始图像的多个初始特征点及所述多个初始特征点的多个相应3d坐标(被标示为步骤901)，其中所述初始图像对应于初始照相机位置及初始照相机姿态；由所述计算机装置将多个特征差值进行比较以从多个特征模型中决定特征模型候选者(被标示为步骤903)，其中所述多个特征模型存储在所述计算机装置中，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的多个参考特征点之间的特征差值，且所述特征模型候选者对应于所述多个特征差值中的最小者；以及由所述计算机装置在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下，基于所述初始图像的所述多个初始特征点的所述三维坐标的投影来计算所述估计照相机位置及所述估计照相机姿态(被标示为步骤905)，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。

在某些实施例中，所述多个特征模型的所述多个参考特征点可以是空间参考特征点，且所述初始图像的所述多个初始特征点可以是空间初始特征点。

在某些实施例中，所述多个特征模型的所述多个参考特征点可以是空间参考特征点，且所述初始图像的所述多个初始特征点可以是空间初始特征点。此外，计算方法9可进一步包括：由所述计算机装置利用空间结构分析模块分析所述多个参考图像中的每一个，以计算所述多个参考图像中的每一个的多个空间特征点并根据所述多个参考图像的所述多个空间特征点将所述多个参考图像划分成与不同空间结构类型对应的多个空间结构群组；由所述计算机装置利用点分布模块分别将所述多个空间结构群组优化，以决定具有所述相应空间参考特征点的所述多个特征模型；以及由所述计算机装置利用所述空间结构分析模块分析所述初始图像，以计算所述多个空间初始特征点。

在某些实施例中，所述多个特征模型的所述多个参考特征点可以是面部参考特征点，且所述初始图像的所述多个初始特征点可以是面部初始特征点。

在某些实施例中，所述多个特征模型的所述多个参考特征点可以是面部参考特征点，且所述初始图像的所述多个初始特征点可以是面部初始特征点。此外，计算方法9可进一步包括：由所述计算机装置利用面部检测模块分析所述多个参考图像中的每一个，以计算所述多个参考图像中的每一个的多个面部特征点并根据所述多个参考图像的所述面部特征点将所述多个参考图像划分成与不同面部数量对应的多个面部群组；由所述计算机装置利用点分布模块分别将所述多个面部群组优化，以决定具有所述相应面部参考特征点的所述多个特征模型；以及由所述计算机装置利用所述面部检测模块分析所述初始图像，以计算所述多个面部初始特征点。

在某些实施例中，计算方法9可进一步包括：由所述计算机装置计算所述估计图像的估计前景分布比例；以及由所述计算机装置比较出所述估计前景分布比例与存储在所述计算机装置中的统计前景分布比例之间的差值，以决定所述估计图像的估计视野。

在某些实施例中，计算方法9可进一步包括：由所述计算机装置计算所述估计图像的估计前景分布比例；以及由所述计算机装置比较出所述估计前景分布比例与存储在所述计算机装置中的统计前景分布比例之间的差值，以决定所述估计图像的估计视野。此外，计算方法9可进一步包括：由所述计算机装置利用前景分割模块分析所述多个参考图像中的每一个，以计算所述多个参考图像中的每一个的前景分布比例；由所述计算机装置基于所有所述前景分布比例来计算所述统计前景分布比例；以及由所述计算机装置利用所述前景分割模块分析所述估计图像，以计算所述估计图像的所述估计前景分布比例。

在某些实施例中，计算方法9可进一步包括：由所述计算机装置基于所述初始图像的所述多个初始特征点与至少一个近似图像的多个特征点之间的对应关系来计算所述初始图像的所述多个初始特征点的所述多个三维坐标。此外，所述至少一个近似图像对应于分别与所述初始照相机位置及所述初始照相机姿态近似的近似照相机位置及近似照相机姿态。

根据本发明的一个或多个实施例，还公开一种图像提供方法。所述图像提供方法可包括计算方法9及以下步骤：由照相机基于所述初始照相机位置及所述初始照相机姿态来提供所述初始图像，且由所述照相机基于所述估计照相机位置及所述估计照相机姿态来提供所述估计图像；由位置调整装置将所述照相机分别调整至所述初始照相机位置及所述估计照相机位置；以及由姿态调整装置将所述照相机分别调整至所述初始照相机姿态及所述估计照相机姿态。

在某些实施例中，所述图像提供方法可进一步包括：由所述计算机装置计算所述估计图像的估计前景分布比例；以及由所述计算机装置比较出所述估计前景分布比例与存储在所述计算机装置中的统计前景分布比例之间的差值，以决定所述估计图像的估计视野，其中所述照相机在所述提供所述估计图像的步骤中基于所述估计照相机位置、所述估计照相机姿态及所述估计视野来提供所述估计图像。

在某些实施例中，计算方法9可应用于计算机装置1以实现计算机装置1的所有操作，且所述图像提供方法可应用于照相机系统8以实现照相机系统8的所有操作。由于所属领域的技术人员基于对计算机装置1及照相机系统8的前述说明可直接了解用于由计算方法9及所述图像提供方法实现所述操作的对应步骤，因而本文中将不进一步阐述所述步骤的相关细节。

根据以上公开内容，由所提出的计算机装置计算的估计照相机位置可指示照相机应位于何处来捕获图像，而由所提出的计算机装置计算的估计照相机姿态可指示照相机应保持何种姿态来捕获此些图像。因此，所提出的计算机装置使所提出的照相机系统能够独立地作出关于如何捕获图像的决策。

位置调整装置使照相机能够自动地移动至估计照相机位置，且姿态调整装置使照相机能够自动地摆出估计照相机姿态。因此，所提出的照相机系统可独立地作出关于是否捕获图像的决策，因为一旦照相机移动至估计照相机位置且摆出估计照相机姿态，所述照相机便准备好捕获图像。

估计照相机位置及估计照相机姿态是依据已基于多个参考图像产生的存储在所提出的计算机装置中的特征模型而计算。用户可通过将相关图像指派为参考图像或直接将相关特征模型存储至所提出的计算机装置中来决定合意图像的构成。这样一来，不论用户是否为专业摄影师，所提出的照相机系统均能够为用户捕获合意图像。

因此，所提出的计算机装置及照相机系统以及相关计算方法及图像提供方法确实提供一种良好的解决方案来使得照相机能够独立地作出关于是否及/或如何捕获图像的决策。

以上公开的内容涉及其详细技术内容及发明特征。所属领域的技术人员可基于所阐述的本发明公开的内容及建议来继续作出各种修改及替换，此并不背离本发明的特性。虽然在以上说明中并未全面地公开此类修改及替换，但此类修改及替换已被实质上涵盖在以上所附权利要求书中。