专利名称：多模型相机以及用于选择相机的操作模式的方法
技术领域：
本发明涉及多模型相机以及用于选择相机的操作模式的方法。
背景技术：
在传统数字相机中，用于诸如图片/视频回放、视频捕获、利用手动设置的图片拍摄、利用自动设置的图片拍摄等相机功能的操作模式通常是通过调谐位于相机上的主拨盘来选择或通过控制方向键盘来选择的。主拨盘和/或方向键盘的另一个用途是允许一个人选择用于拍摄特定图片的最佳设置。例如，主拨盘和/或方向盘可用于在诸如夜间图片模式、肖像模式、特写图片模式、 风景模式、运动模式等操作模式之间切换。已观察到在传统数字相机中除了主拨盘和/或方向键盘之前无法找到别的东西来提供进一步的在相机操作模式之间进行选择的用户方便性。因此希望提供至少解决上述问题的多模型相机和用于选择相机的操作模式的方法。
发明内容
根据本发明的一个方面，提供了一种用于选择相机的操作模式的方法，所述方法包括感应场景照明；检测相机的运动，包括检测全景摄影的旋转运动；检测相机的选择器的选择，所述选择器用于在基于场景照明的第一组一个或多个操作模式和基于相机运动的第二组第一或多个操作模式之间进行选择；以及基于由与相机运动、场景照明和选择器的选择相关联的数据定义的条件来从第一组和第二组一个或多个操作模式中选择一个操作模式。所述方法还包括检测选择器上的持续保持时间，其中与选择器的选择相关联的数据包含与选择器上的持续保持时间相关联的数据。该方法还包括确定选择器的状态，其中与选择器的选择相关联的数据包含与选择器的状态相关联的数据。该方法还包括对按照操作模式捕获多于一个图像进行辅助，所述操作模式是由全景摄影模式、立体摄影模式、突发照片拍摄模式、高动态范围成像模式或超分辨率摄影模式组成的集合中的一个。该方法还包括通过选择器的第一按钮来选择第一组一个或多个操作模式以及通过选择器的第二按钮来选择第二组一个或多个操作模式。该方法还可包括警告和引导相机用户来满足用于按照操作模式捕获图像的条件。该方法还可包括确定相机的快门速度和基于由与相机的快门速度相关联的数据定义的其他条件来选择操作模式。检测相机的运动可包括以预定时间间隔对由光传感器捕获的图像进行比较。检测相机的运动可包括使用数字指南针、惯性传感器或它们二者。
由与相机的运动、选择器的选择和场景照明相关联的数据定义的条件可以是固定的、发展的并适合于用户选择样式。该方法还可包括在显示器中显示一个或多个可选选项；以及选择一个或多个可选选项以选择或退出操作模式。根据本发明的另一方面，提供了一种多模型相机，所述相机包含用于感应场景照明的光传感器，用于检测相机的运动、包括检测全景摄影的旋转运动的运动检测装置，用于在基于场景照明的第一组一个或多个操作模式和基于相机运动的第二组第一或多个操作模式之间进行选择的选择器；以及用于基于由与相机运动、场景照明和选择器的选择相关联的数据定义的条件来从第一组和第二组一个或多个操作模式中选择一个操作模式的处理单元。多模型相机还可包括用于对选择器上的持续保持时间进行计数的计数器，其中与选择器的选择相关联的数据包含与选择器上的持续保持时间相关联的数据。与选择器的选择相关联的数据可包含与选择器的状态相关联的数据。操作模式可对多于一个图像的捕获进行辅助，所述操作模式是由全景摄影模式、 立体摄影模式、突发照片拍摄模式、高动态范围成像模式或超分辨率摄影模式组成的集合中的一个。选择器可包括两个按钮，一个用于选择第一组一个或多个操作模式，另一个用于选择第二组一个或多个操作模式。警告装置可被提供以警告和引导相机用户来满足用于按照操作模式捕获图像的条件。处理单元可被用于确定相机的快门速度，所选择的操作模式是由处理单元基于由与相机的快门速度相关联的数据定义的其他条件来选择的。相机的运动可基于以预定时间间隔对由光传感器捕获的图像的比较来检测。运动检测装置可包括使用数字指南针、惯性传感器或它们二者。由与相机的运动、选择器的选择和场景照明相关联的数据定义的条件可以是固定的、发展的并适合于用户选择样式。选择器还可包括在相机的显示器中图形化地呈现的一个或多个可选选项，其中选择一个或多个可选选项以选择或退出操作模式。
通过以下说明书、仅以示例方式并结合附图，本发明的实施例将被本领域普通技术人员更好地理解并欣然认同，附图中图1示出本发明的示例实施例的相机的前视图。图2示出本发明的示例实施例的组件的框图。图3示出本发明的示例实施例的流程图。图4示出本发明的示例实施例的流程图。图5示出本发明的示例实施例的流程图。图6示出本发明的示例实施例的流程图。图7示出本发明的示例实施例的相机的后视图。
图8示出根据本发明的示例实施例的方法的流程图。
具体实施例方式本发明的示例实施例包括能够在以下基于摄影的操作模式中的两个或多个操作模式之间进行自动无缝选择和变换的相机全景摄影(panorama photography)、高动态范围(HDR)成像、突发照片(burst photograph)拍摄、超分辨率摄影、立体即三维(3D)摄影和常规静止图像捕获。一般地，操作模式之间的自动选择和变化是基于由与相机的运动、选择器的选择和相机的光传感器感应到的场景照明相关联的数据定义的条件来选择的。选择器被用于在基于场景照明的第一组一个或多个操作模式和基于相机运动的第二组一个或多个操作模式之间进行选择。在示例实施例中，第一组操作模式是HDR成像模式、超分辨率摄影模式和常规静止图像捕获模式。第二组操作模式是全景摄影模式、突发模式和立体摄影模式。将理解，光传感器可包括一个或多个光电二极管、光敏元件、基于光电光传感器的电荷耦合器件(CCD)、基于光电光传感器的互补金属氧化物半导体(CM0Q等。在示例实施例中，提供了一种处理单元，所述处理单元被用于选择辅助一个或多个图像的捕获的相机的操作模式、基于来自检测装置的输入来确定相机的运动、基于来自光传感器的输入来确定场景照明条件以及确定选择器的选择。通过相机镜头的帮助，光被聚焦在光传感器上。处理单元处理基于在光传感器上聚焦的光而获得的照明数据。相机运动是使用相机中包含的数字指南针和惯性传感器来检测的。将理解，惯性传感器可包括陀螺仪和加速计。将理解，相机运动还可使用图像登记/跟踪(简而言之，成像)、即表示光传感器捕获的图像的数字数据的比较来检测。为了更精确，图像登记/跟踪、一个或多个数字指南针和一个或多个惯性传感器可被一起使用。与选择器的选择相关联的数据取决于正在使用的选择器的类型。例如，在使用相机的快门触发器作为选择器的情况中，与选择器的选择相关联的数据包括快门触发器的状态(开或关)以及快门触发器上的持续保持时间。在示例实施例中，全景摄影模式涉及创建全景照片、即场景的连续广角表示。例如，通过缝合彼此相邻地拍摄的、具有重叠的场景的两张或更多张照片，可以形成表示整个场景的一张全景照片。HDR成像模式涉及允许场景的亮区域和暗区域之间的更大动态亮度范围的技术。 例如，通过利用不同的曝光级别融合两张或更多张照片，可以形成一张照明增强的照片。突发照片拍摄或突发模式涉及在短的时间间隔内连续拍摄两张或更多张常规静止照片。超分辨率模式涉及增强成像系统的分辨率的技术，例如打破相机数字成像传感器的分辨率限制的技术。例如，通过将若干低分辨率的照片融合在一起，可以形成一张分辨率增强的照片。立体摄影模式涉及创建3D图像的技术，例如拍摄并融合从对象的不同角度拍摄的对象的两张或更多张照片以形成3D照片。示例实施例中的常规静止图像捕获模式是指普通照片的拍摄。参考图1和图2，示例实施例提供了手持数字相机100。相机100包括镜头102，所述镜头102用于将对象的图像聚焦在相机100中位于镜头102附近的光传感器104上。提供了用于使相机100通电或断电以便拍摄照片的通断开关106。还提供了可伸缩的快门触发器(这里也称为快门按钮)108(即选择器)，用于通过按压快门按钮108来拍摄照片。此外，提供了用于帮助照亮拍照场景的、位于相机100的前面板1 上的闪光单元122以及用于给相机100供电的电池228。光传感器104由驱动电路202计时，以产生与对象的静止图像相对应的模拟图像信号，并且该图像信号被模数(A/D)转换器204转换成数字图像信号。 光传感器204上图像的曝光时间由包括镜头102附近的光圈(diaphragm) 124的快门控制单元206和受驱动电路202控制的光传感器104的电子快门来控制，所述快门控制单元调节镜头102的孔径尺寸。孔径尺寸是以焦比(f/stop)(例如，f/2.8)为单位来测量的，并且它指示将进入镜头102并被聚焦在光传感器104上的光量和光速。快门按钮108被连接到驱动电路202。按压快门按钮108激活电子快门以使得光能够到达光传感器104来进行图像捕获。将理解，作为替代，机械快门(图中未示出)可以被使用。四向方向按钮形式的多个操作按钮2 位于相机100的后面板1 上，以使能相机100的功能的用户选择和激活。将理解，在其他示例实施例中，可能存在仅一个用于激活目的的按钮，以及/或者使能滚动的、被配置成四向方向键盘的四个操作按钮或操纵杆。将理解，如果相机100的功能的激活和选择是通过触摸屏的选择来执行的，则多个操作按钮 226可被省略。在照片拍摄期间，被捕获图像的数字图像信号由作为驱动电路202的一部分的处理单元208处理，并且被存储在用于存储多个经处理的数字图像的数字存储模块、即可移除固态存储卡210中。存储卡访问接口 212将存储卡210连接到处理单元208。存储卡 210的类型示例包括安全数字(SD)、迷你SD (Mini SD)、微型SD (micro SD)、安全数字高容量(SDHC)、多媒体卡0MC)、致密闪存(CF)、记忆棒I3RO ；记忆棒Duo、记忆棒I3RO Duo、记忆棒微型(IC)、记忆棒(PRO-HG)等。作为替代，将理解，数字存储模块可以是硬盘、磁带、光盘等，而不是存储卡210。提供了位于连接到处理单元208的1/0(数据输入/输出)连接器的、相机100的后面板1 上的显示器214，以显示光传感器104上的被捕获的图像、存储的图像、相机操作菜单和相机配置参数，所述相机配置参数例如是快门速度、传感器灵敏度、孔径尺寸等。将理解，显示器214可以是触摸屏。数字指南针216和惯性传感器218 (可包括陀螺仪和加速计)被连接到处理单元 208。惯性传感器218基于3D笛卡尔坐标系统来检测相机100的平移运动，3D笛卡尔坐标系统从彼此正交的三个轴提供参考，即χ轴110 (水平轴)、y轴112 (竖直轴)和ζ轴114 (与 χ轴110和y轴112垂直的轴)。数字指南针216和惯性传感器218还被用来检测相机100 分别关于χ轴110、y轴112和ζ轴114的旋转运动，即俯仰(pitch, ρ) 116、偏转(yaw, a) 118 和滚转(roll，r) 120。具体地，数字指南针216被用来检测偏转运动。惯性传感器218被用于其他方向的运动检测。另外，提供了警告装置，一个警告装置是连接到处理单元208、以产生警告声来引导用户按照某种摄影模式拍摄照片的蜂鸣器220。另一个警告装置是连接处理单元208、以产生光信号来引导用户拍摄照片的LED222。驱动电路202包括用于临时存储指令和包括被捕获图像的数据、光传感器104的读数、数字指南针216和惯性传感器218的读数在内的数据的随机存取存储模块2 (RAM)。
在示例实施例中，处理单元208用作用于对快门按钮108上的持续保持时间进行计数的定时器，并通过连接到快门按钮108的处理单元208的1/0(数据输入/输出)连接器来确定快门按钮108的状态，例如1为开，0为关。在操作期间，与快门按钮108上的持续保持时间和快门按钮108的状态相关联的数据可以被存储在RAM 224和/或存储卡210中。图3示出用于根据参考图1和图2描述的示例实施例的摄影模式选择的流程图 300。对图3的以下描述参考图1和图2中的组件。在步骤302，相机100的光传感器104感应场景照明。处理单元208根据来自相机 100的固件的指令来评估与从光传感器104收集的场景照明相关联的数据。在步骤302处的场景评估被执行后，来自基于场景照明的第一组操作模式的操作模式将被选择并缓存。 场景评估作为相机100的后台操作连续发生，并且来自第一组操作模式的操作模式的选择可依据场景照明来改变，或者在某些实施例中，依据用户偏好来改变。场景评估的细节稍后将参考图4来描述。在步骤304，相机100检查被用户控制的选择器(在本实例中，即快门按钮108)以确定是按照在步骤302处选择和缓存的来自第一组操作模式的操作模式之一来继续进行 (选择1)，还是继续从第二组操作模式选择操作模式(选择2、。依据与选择器的选择相关联的数据，处理单元208按照两种选择之一来继续进行。关于选择器选择的检查的细节稍后将参考图5来描述。在步骤306，处理单元208通过第一选择来继续进行，即运行在步骤302处选择和缓存的操作模式。在步骤308，处理单元208通过第二选择来继续进行，即评估相机100的运动并从基于相机100的运动的第二组操作模式选择操作模式。与相机100的运动相关联的数据是在相机100的运动检测装置的检测之后被获取的。在示例实施例中，运动检测装置是数字指南针216和惯性传感器218。在另一示例实施例中，将理解，运动检测装置可以是例如通过比较在光传感器104上捕获的不同图像帧而不是依靠本示例实施例中的数字指南针216 和/或惯性传感器218、来使用成像的运动检测。如果由于步骤302被执行而不存在相机运动，则处理单元208在步骤310选择并运行突发模式。如果由于302被执行而仅相机100的旋转运动被检测到，则处理单元在步骤312 选择并运行全景摄影模式。在所选操作模式已被执行后，操作模式在步骤316中被退出。操作模式例如可通过摇动相机100来退出，相机100的摇动可以通过使用惯性传感器218寻找相对方向上的快速重复相机运动来检测。作为替代，操作模式可在已拍摄了预定数目的照片后退出。另外，操作模式可在用户选择在相机100的显示器214中显示的图形用户界面中呈现给用户的退出选项后退出。此外，操作模式可在用户释放例如他/她可能已按压以选择和运行某些操作模式的快门按钮108后退出。图4详述了为图3的步骤302处的场景评估而采取的步骤。对图4的以下描述参考图1和图2中的组件和图3中的步骤。在步骤402，相机100确定是否存在良好的场景对比。注意，场景对比是照明条件。处理单元208将与场景对比相关联的数据与阈值读数相比较，以确定场景是曝光过度还是曝光不足。在示例实施例中，曝光过度是由光传感器104捕获的图像的大约10%的像素的从光传感器104取得的平均或中间RGB(红绿蓝)读数高于接近白饱和的值(250，250，250) 的条件。本示例实施例中的曝光不足是由光传感器104捕获的图像的大约10%的像素的从光传感器104取得的平均或中间RGB (红绿蓝)读数低于值(16，16，16)的条件。在示例实施例中，良好的场景对比被定义为场景既未曝光过度也未曝光不足的条件。如果良好的场景对比被检测到，则处理单元208继续进行到在步骤406处针对阈值来检查相机100的当前快门速度，以查看快门速度是否被认为是快的。如果读数小于1/ m秒，则快门速度被认为是快的。在示例实施例中，m等于200。注意，快门速度是场景明度的衡量。场景明度也是照明条件。如果快门速度快，则超分辨率摄影模式在步骤408处被缓存或建议。被缓存是指由处理单元208将超分辨率摄影模式作为选择存储在RAM 2 中。被建议是指将超分辨率摄影模式呈现给用户作为供选择的选项。呈现可以例如经由相机100的显示器214上显示的图形用户接口来进行。这些情况中，仅在用户经由图形用户接口同意接受该选项的情况下，超分辨率摄影模式才被处理单元208缓存。如果用户决定不接受该选项，则处理单元继续进行到缓存默认模式，即常规静止摄影模式。作为替代，在另一示例实施例中，超分辨率摄影模式可以由处理单元208自动缓存，并且仅在用户选择不应用所呈现的超分辨率摄影模式的选项的情况下，才被回复到常规静止摄影模式。在本示例实施例中，超分辨率摄影模式在步骤408处被处理单元208缓存而不建议。如果快门速度慢，则常规静止摄影模式在步骤410处被缓存。如果在步骤318处由光传感器104捕获的图像曝光过度或曝光不足，即具有恶劣的场景对比，则高动态范围摄影模式在步骤404处被缓存或建议。这里缓存和建议的含义与前面步骤408处针对超分辨率摄影模式描述的含义相同。图5详述了为在图3的步骤304处检查的选择器选择而采取的步骤。对图5的以下描述参考图1和图2中的组件和图3中的步骤。图5中描述的选择器是快门按钮108。在步骤502，快门按钮108被按压。当快门按钮108被按压时，相机100继续进行到在步骤504处拍摄第一张照片。在步骤506，处理单元208缓存第一组相机定位读数，所述第一组相机定位读数是从与收集从数字指南针216和惯性传感器218的相机运动相关联的数据获取的。在使用成像来检测相机运动的另一示例实施例中，由光传感器104捕获的图像的第一参考帧将在该步骤中被缓存。图1所示的关于各个轴的第一组相机定位读数在这里将用&、％、 、Pt^rci 禾口 a0来表不。在步骤508，处理单元208检查快门按钮108是否已被连续按压了 η秒。在示例实施例中，η等于1。这1秒延迟被提供给用户，以用于移动相机100来选择全景或立体摄影模式，如果这些模式之一将被选择的话。如果快门按钮108在步骤508被保持少于1秒，则处理单元208将继续进行到步骤306 (选择1)，步骤306将运行在步骤302处的场景评估期间选择和缓存的操作模式。如果快门按钮108在步骤508被保持了 1秒或更长，则处理单元208将继续进行到步骤308 (选择幻，步骤308将评估相机100的运动并从基于相机100的运动的第二组操作模式选择操作模式。将理解，在另一示例实施例中，选择器可以是两个分开的按钮，其中按压一个按钮将激活步骤306(选择1)并且按压另一个按钮将激活步骤308(选择幻。这种情况中，无需按住按钮，并且可在用于激活步骤308(选择幻的按钮被按压之后故意引入延迟，以便为用户移动相机来选择全景或立体摄影模式提供某些时间。将理解，前述一个或多个按钮可以是在相机100的触摸屏上的图形用户界面中呈现的(一个或多个)可选选项。作为替代， 一个或多个按钮可以是在显示器214上显示的图形用户界面中呈现的(一个或多个)可选选项，并且(一个或多个)选项的选择可以在可由多个操作按钮2 控制的图形用户界面中通过可视标记来进行。图6详述了为在图3的步骤308处评估相机100的运动而采取的步骤。对图6的以下描述参考图1和图2中的组件和图3中的步骤。在步骤602，处理单元208缓存第二组相机定位读数，所述第二组相机定位读数是从与收集从数字指南针216和惯性传感器218的相机运动相关联的数据获取的。在使用成像来检测相机运动的另一示例实施例中，由光传感器104捕获的图像的第二参考帧将在该步骤中被缓存。在步骤604，处理单元208将第二组相机定位读数与步骤506处缓存的第一组相机定位读数相比较以确定相机100的运动。在使用成像来检测相机运动的另一示例实施例中，第二参考帧将被与光传感器104捕获的图像的第一参考帧相比较以确定相机运动。基于与相机100的运动相关联的数据，相机100将相应地按照步骤310处的突发模式、步骤 312处的全景摄影模式或步骤314处的立体摄影模式来选择和继续进行。图1所示的关于各个轴的第二组相机定位读数在这里将用Xl、YpZpPpr1和 来表示。在数字指南针216和惯性传感器218被使用的示例实施例中，仅当以下公式集之一的条件被满足时，全景摄影模式才在图3中的步骤312处运行。公式集1:xd| 0，|yd| 0，zd| 0，ad 0，rd 0 并且 |pd| > P 或者公式集2 xd| 0，|yd| 0，zd| 0，pd 0，rd 0 并且 |ad| ^A0XdMyd和|zd|分别是关于χ轴(图1中的110)、y轴(图1中的112)和ζ轴 (图1中的114)的、当前相机位置读数(例如，在步骤604处测量的那些)与上次相机位置读数(例如，在步骤506处测量的那些)之间的平移读数差的绝对值。以下公式适用|xd| =χι"χ01 ‘ yd = Iyry0I'且 IzdI = Z1-Z0I |pd|、|rd|和|ad|分别是当前相机位置读数(例如，在步骤604处测量的那些)与上次相机位置读数(例如，在步骤506处测量的那些)之间的俯仰、滚转和偏转方向上的旋转读数差的绝对值。以下公式适用IpdI = |p「p。l，IrdI = Iml，且IadI = 14- |。公式集1和2中的|xd| 0，|yd| 0且|zd| 0意味着关于χ轴110、y轴112 和ζ轴114没有大的相机平移运动，并且|rd| 0意味着滚转方向没有相机旋转运动。
ad| 0并且|pd| SPtl意味着在偏转方向上没有检测到相机旋转运动，而在俯仰方向上已检测到大于等于阈值Ptl的旋转运动。IpdI 0并且IadI彡Atl意味着在俯仰方向上没有检测到相机旋转运动，而在偏转方向上已检测到大于等于阈值Atl的旋转运动。Ptl和Atl是指示为了选择全景摄影模式、用户在俯仰或偏转方向上分别应旋转相机 100的最小旋转度的预定值。将理解，在具有更复杂的全景摄影缝合机的另一示例实施例中，不是仅以固定的俯仰、变化的偏转运动(公式幻或固定的偏转、变化的俯仰运动(公式 1)来拍摄旋转照片，而是俯仰和偏转都可以变化来拍摄全景照片。在全景摄影模式在步骤312处被选择之后，第二照片被拍摄并且此时的相机位置读数被缓存。注意，第一照片是在图5的步骤504处拍摄的。此时的相机位置读数可以用 x2> y2、z2, p2、r2和 来表示。只要某种预定照片图像质量标准被满足、相机100不从上次缓存相机位置读数之前的相机运动方向改变运动方向、并且当前和上次缓存的相机位置读数的比较结果满足以下公式集之一的条件，第三照片、第四照片等就将在第二照片被拍摄之后被拍摄。公式集3 xd| 0，|yd| 0，zd| 0，ad 0，rd 0 并且 P1 彡 |pd| 彡 P2 或者公式集4 xd| 0，|yd| 0，zd| 0，pd 0，rd 0 并且 A1 彡 ad| ^A2公式集3和4中|xd|、|yd|、bd|、|pd|、|rd|和|ad|的定义与前面讨论的公式集1 和2中的定义相同。然而，关于在按照全景摄影模式拍摄的第二照片以外拍摄的照片，以下公式适用I xd I = IX2-X31，I yd I = I y2-y31，I zd I = I z2-z31，| pd | = | p2-p31,1 rd | = | r2-r31, 且IadI = 1 - !，其中x2、y2、Z2, p2、r2和 是当在全景摄影模式被选择的时候拍摄第二照片时缓存的相机位置读数，并且x3、y3> z3, p3、r3和％是当在全景摄影模式被选择的时候拍摄第三照片时缓存的相机位置读数。P1和A1是指示为了适当的全景摄影模式、用户在俯仰或偏转方向上分别应旋转相机100的最小旋转度的预定值。相应方向上小于P1和A1的值的旋转将在上次拍摄的照片和下次将拍摄的照片之间提供过多的重叠区域。注意，对于全景照片拍摄，足够的重叠区域是必要的。例如，足够的重叠区域可被定义为上次拍摄的照片的至少50%与下次将拍摄的照片重叠(或者换言之相同)。P2和A2是指示为了适当的全景摄影模式、用户在俯仰或偏转方向上分别应旋转相机100的最大旋转度的预定值。相应方向上大于P2和A2的值的旋转将意味着上次拍摄的照片和下次将拍摄的照片之间没有足够的重叠区域。将理解，适当的容忍值可被设计，以便处理单元208对什么范围的值将被视为适当的PrAc^PpApPyA2和零作出决定。这些值可以在进行多个经验测试后获取。在前面描述的选择器是快门按钮108的示例实施例中，只要快门按钮108被持续按压，相机100就将保持在全景摄影模式中。在选择器由两个按钮组成的前述示例实施例中，相机100保持在全景摄影模式中，直到被按压以进入全景摄影模式的按钮被按压第二次为止。作为替代将理解，快门按钮108可被按压以退出全景摄影模式，而不是第二次按压过去被按压以进入全景摄影模式的按钮。全景摄影模式还可在一长段时间已流逝而用于拍摄照片的图像质量条件仍不被满足后(例如，在30秒之后不满足照片拍摄条件)退出。另外，全景摄影模式可通过摇动相机100来退出。照片图像质量标准与上次拍摄的照片和被光传感器104捕获但尚未保存为照片的图像之间的重叠区域中的图像质量有关。在公式集3或4被满足之后，利用算法来评估图像的图像质量。重叠区域内的最佳图像质量照片将被存储为用于最终全景照片的缝合素材(即，被缝合在一起以形成最终全景照片的照片之一)。如果公式集3或4不被满足，则在自动拍摄照片之前，相机100将等待用户调整相机100直到条件被满足。如果公式集3或4的条件在照片被拍摄后的规定时间段(例如， 1秒)内不被满足并且另一照片被设置成将被拍摄或者重叠区域的图像质量在规定时间段内仍不可接受，则蜂鸣器220可被配置成发声并且/或者LED 222可被配置成点亮。当这种情况发生时，用户将被警告以调整相机位置直到条件被满足。当条件被满足时或者当全景摄影模式被退出时，蜂鸣器220和LED 222将被解除激活。当全景摄影模式退出并且多于两张照片已被连续成功拍摄时，处理单元208将使用已知的全景照片缝合算法来将已拍摄的所有照片彼此缝合以形成在适用情况下在偏转或/和俯仰方向上连续存在的全景照片。将理解，在替代实施例中，所拍摄的多于一张照片的缝合以产生全景照片可被配置成每次按照全景摄影模式拍摄照片时发生，而不是在全景照片已结束后一次缝合所拍摄的所有照片。在数字指南针216和惯性传感器218被使用的示例实施例中，仅当以下公式集之一的条件被满足时，立体摄影模式才在图3中的步骤314处运行。公式集5:|yd| 0，zd| 0，xd| ^Tx, ad 0，|pd| 0 并且 |rd| 0 或者公式集6:|yd| ^Ty, Zd 0，Xd 0，ad 0，|pd| 0 并且 |rd| ^O公式集5和6中|xd|、|yd|、|zd|、|pd|、|rd|和|ad|的定义与前面讨论的公式集1、 2、3和4中的定义相同。对于公式集5和6，以下公式适用|xd| = X1-X0I, |yd = Υι-γ0|,
ZdI = Z1-Z0I , Pd = IP1-P01, IrdI = T1T01 , |ad| = ara01 ad| ^ 0, pd 0且|rd| 0意味着没有检测到相机旋转运动。|yd| 0， ZdI 0且IxdI彡Tx意味着没有沿y轴112和Z轴114的相机平移运动，而沿X轴110检
测到相机运动。|zd| ^o, Ixd 0且IydI彡Ty意味着没有沿X轴110和Z轴114的相机平移运动，而沿1轴112检测到相机运动。！；和Ty是指示为了选择立体摄影模式、用户在俯仰或偏转方向上分别应旋转相机 100的最小旋转度的预定值。当立体摄影模式在步骤314被选择时，第二照片被拍摄并且此时的相机位置读数被缓存。注意，第一照片是在图5中的步骤504拍摄的。只要相机100不从上次缓存相机位置读数之前的相机运动方向改变运动方向、并且当前和上次缓存的相机位置读数的比较结果满足以下公式集之一的条件，第三照片、第四照片等直到预定数目的照片就将在第二照片被拍摄之后被拍摄。公式集7:|yd| 0，zd| 0，xd| ^Txl, ad| 0，|pd| 0 并且 |rd| 0 或者公式集8:|yd| ^Tyl, zd| 0，xd| 0，ad| 0，pd 0 并且 | rd | ^O公式集7和8中|&|、|yd|、zdU |pd|、|rd|和|ad|的定义与前面讨论的公式集1、2、3、4、5和6中的定义相同。对于公式集7和8，以下公式适用I Xd I = x2-x3|, |yd| = Iy2I3I, I Zd I = Z2-Z3I , Ipd = P2-P31 , I rd = T2-T41 , I ad = | ει2_ει31，其中 x2、y2、z2、 p2、r2和％是当在立体摄影模式被选择的时候拍摄第二照片时缓存的相机位置读数，并且 χ3>Υ3>Ζ3,Ρ3>Γ3和 是当在立体摄影模式被选择的时候拍摄第三照片时缓存的相机位置读数。Txl和Tyl是指示为了适当的3D照片拍摄、用户分别在χ和y平移方向上(即分别沿χ轴110和y轴112)应移动相机100的最小移动量的预定值。小于Txl和Tyl的值的相机移动将意味着，相应方向上的上次拍摄的照片和下次将拍摄的照片之间没有足够的距离来进行适当的3D照片拍摄。将理解，适当的容忍值可被设计，以便处理单元208对什么范围的值将被视为适当的Tx、Ty、Txl、Tyl和零作出决定。在选择器是快门按钮108的前述示例实施例中，只要快门按钮108被持续按压，相机100就将保持在立体摄影模式中。在选择器由两个按钮组成的前述示例实施例中，相机 100保持在立体摄影模式中，直到被按压以进入立体摄影模式的按钮被按压第二次为止。作为替代将理解，快门按钮108可被按压以退出立体摄影模式，而不是第二次按压过去被按压以进入立体摄影模式的按钮。立体摄影模式还可在预定数目的照片(例如，2或5张)已被拍摄后并且用于拍摄照片的图像质量条件(例如，没有运动模糊等)在一长段时间(例如，30秒)后仍不被满足的情况下退出。另外，立体摄影模式可通过摇动相机100来退出。如果公式集7或8不被满足，则在自动拍摄照片之前，相机100将等待用户调整相机100直到条件被满足。如果公式集7或8的条件在照片被拍摄后的规定时间段(例如，1 秒)内不被满足并且另一照片被设置成将被拍摄，则蜂鸣器220可被配置成发声并且/或者LED 222可被配置成点亮。当这种情况发生时，用户将被警告以调整相机位置直到条件被满足。当条件被满足时或者当立体摄影模式被退出时，蜂鸣器220和LED 222将被解除激活。当立体摄影模式退出并且多于两张照片已被连续成功拍摄时，照片将通过已知的基于3D的照片缝合算法而被缝合以形成一张3D照片并被存储在可移除固态存储卡210 中。在数字指南针216和惯性传感器218被使用的示例实施例中，仅当以下公式集被满足时，突发模式才在步骤310处被自动选择。公式集9:xd| 0，|yd| 0，zd| 0，ad 0，pd 0 并且 |rd| 0公式集9中|xd|、|yd|、bd|、|pd|、|rd|和|ad|的定义与前面讨论的公式集1_8中的定义相同。由于所有读数都近似为零，意味着相机100在第一组相机位置读数已在步骤 504处被缓存后基本保持静止。当突发模式在步骤310处被选择时，第二照片将被拍摄。注意，第一照片是在图5 中的步骤504处拍摄的。第三照片、第四照片等将在第二照片被拍摄后尽可能快地或者例如每隔1秒被拍摄，不管图像质量和相机位置读数如何。将理解，在另一示例实施例中，按照突发模式拍摄的每张照片可在相机100的自动照片拍摄之前经历图像质量检查。这种情况中，照片仅在预定的图像质量标准被满足时才将被拍摄。在前面描述的选择器是快门按钮108的示例实施例中，只要快门按钮108被持续按压，相机100就将保持在突发模式。突发模式还在已进行预定次数(通常为幻的照片拍摄的情况下退出。当在步骤306处的选择之后超分辨率摄影模式生效时，第二照片被拍摄并且此时的相机位置读数被缓存。注意，第一照片是在图5中的步骤504处拍摄的。只要当前和上次缓存的相机位置读数的比较满足以下公式集10定义的条件，包括第二照片和后续照片在内的被拍照片就将被拍摄。公式集10:xd| 0，|yd| 0，zd| 0，ad 0，pd 0 并且 |rd| 0公式集10中、|yd |、zd|, | pd |、|rd|和|ad|的定义与前面讨论的公式集1_9 中的定义相同。由于所有读数都近似为零，意味着相机100在激活超分辨率摄影模式以便自动拍摄照片后必须基本保持静止。如果公式集10的条件在照片被拍摄后的规定时间段(例如，0. 5秒)内不被满足并且另一照片被设置成将被拍摄，则蜂鸣器220可被配置成发声并且/或者LED 222可被配置成点亮。当这种情况发生时，用户将被警告以调整相机位置直到条件被满足。当条件被满足时，蜂鸣器220和LED222将被解除激活。当预定次数的照片拍摄已被进行时并且当用于拍摄照片的图像质量条件(例如， 没有运动模糊等)在一长段时间(例如，2秒)后不被满足时，超分辨率摄影模式退出。注意，用于拍摄照片的图像质量条件的满足是可选的。退出时，如果多于两张图片已被连续成功拍摄，则处理单元208将使用已知的超分辨率照片组合算法来将所有拍摄的照片彼此组合以形成一张超分辨率照片。将理解，在另一实施例中，为了超分辨率摄影模式下的用户方便性，不要求满足公式集10的条件才能拍摄照片。当在步骤306处的选择之后HDR摄影模式生效时，第二照片被拍摄并且此时的相机位置读数被缓存。注意，第一照片是在图5中的步骤504处拍摄的，并且它是通过普通曝光设置来拍摄的。第二照片通过另一曝光设置(例如，曝光不足设置)被拍摄。跟着，第三照片通过又一曝光设置(例如，曝光过度设置)被拍摄。之后可拍摄具有不同曝光率的第四、第五直到预定数目的照片。只要当前和上次缓存的相机位置读数的比较结果满足以下公式集定义的条件，所有照片都将被拍摄。xd| 0，|yd| 0，zd| 0，ad 0，pd 0 并且 |rd| 0公式集11中|xd|、|yd|、bd|、|pd|、|rd|和IadI的定义与前面讨论的公式集1-10 中的定义相同。由于所有读数都近似为零，意味着相机100在激活HDR摄影模式以便自动拍摄照片后必须基本保持静止。按照HDR摄影模式拍摄的照片的曝光级别可处于例如-2EV(曝光不足)到 +2EV(曝光过度)之间的范围。正常曝光照片将以OEV被拍摄。曝光可以被定义成相机100 的快门速度、孔径尺寸和传感器灵敏度的函数，并且它可通过调整这些规定的参数中的一个或多个来变化。在示例实施例中，相机100的快门速度变化以取得不同的曝光级别，孔径尺寸和传感器灵敏度保持恒定。在示例实施例中，用于按照HDR模式以不同的曝光级别进行多个拍摄的快门速度的变化范围是预确定的并被硬编码到相机100。在示例实施例中，如果环境照明条件已被相机100检测为暗条件(例如，在夜间)，则将由相机100拍摄的照片的预定最小数目将被自动设置为2，即一张照片将以OEV被拍摄，另一张以-2EV被拍摄。在这种场景照明对比条件下以OEV到+2EV或更高的范围拍摄一张或更多张照片被省略，因为可能导致模糊的照片。如果环境照明条件已被相机100检测为亮条件，则将由相机100拍摄的照片的预定最小数目将被自动设置为3，即一张以OEV 拍摄，一张以-2EV被拍摄，一张以+2EV被拍摄。因此，有利地，示例实施例能够基于环境照明条件自动且动态地拍摄2至N张照片。如果公式集11的条件在照片被拍摄后的规定时间段(例如，1秒)内停止被满足 (即，用户已移动相机)并且另一照片被设置成将被拍摄，则蜂鸣器220可被配置成发声并且/或者LED 222可被配置成点亮。当这种情况发生时，用户将被警告以调整相机位置直到条件被满足。当条件被满足时或者当HDR摄影模式退出时，蜂鸣器220和LED 222将被解除激活。当预定次数的照片拍摄已被进行时并且当用于拍摄照片的图像质量条件(例如， 没有运动模糊等)在一长段时间(例如，30秒)后不被满足时，HDR摄影模式退出。注意， 用于拍摄照片的图像质量条件的满足是可选的。在前面模式的选择器是快门按钮108的示例实施例中，HDR摄影模式还可在快门按钮108在被按压后被释放时退出。退出时，如果多于两张图片已被连续成功拍摄，则照片将通过已知的基于HDR的照片融合算法被融合以形成一张HDR照片并被存储在可移除固态存储卡210中。将理解，在另一实施例中，为了 HDR摄影模式下的用户方便性，不要求满足公式集 11的条件才能继续拍摄照片。将理解，前面描述的相机100的选择器可以是相机100的显示器214中显示的一个或多个可选选项。一个或多个可选选项与超分辨率或HDR摄影模式相关联并且在相应的模式已在图4的步骤404或408处被缓存或暗示时显示。例如，参考图7，图标702可针对 HDR摄影模式而被显示以指示出它被缓存，并且用户可以通过使用多个操作按钮2 手动选择图标702来退出HDR摄影模式。作为替代，图标702可由于相机100对特定模式的建议而被显示，并且在这种情况下选择图标702将会对操作模式做出选择。将理解，在显示器 214是触摸屏的替代实施例中，可选选项可以通过对触摸屏上显示的选项进行触摸而被选择/退出。将理解，在示例实施例的相机100中，前述相机摄影模式中的任一个在它们可以通过自动选择来开启/关闭的意义上是可配置的。关闭的摄影模式即使在该摄影模式的选择条件被满足时也不会被相机100自动激活。公式集1至11是关于硬判决方法的使用的示例，其中，选择摄影模式的决定是基于固定的条件来做出的。将理解，在其他示例实施例中，也可采用软判决方法。例如，神经网络、模糊逻辑、涉及机器学习/训练的实现方式等可以被采用。在软判决方法的情况中， 确定摄影模式选择判决的条件是发展的并且适合于用户使用样式。前面提到过，相机运动检测可以基于成像，即基于相机100的光传感器104在预定时间间隔捕获的图像之间的比较，而不是使用数字指南针216和惯性传感器218。例如，利用OpenCV、计算机视觉库的计算机视觉技术可被采用。一般地，涉及的步骤可包括相机100 以例如每秒约30或60帧的预定时间间隔捕获图像T1、T2、T3等等。之后，在所有捕获的图像中，两张或更多张图像被当作用于比较的参考图像(例如，在步骤506处缓存的第一参考帧或在步骤602处缓存的第二参考帧)。适当的算法被用来计算参考图像和当前图像之间的单应性(homography)。然后，摄影模式根据从单应性获得的相机运动而被选择。在另一示例实施例中，将理解，相机可以采用一种或多种相机运动检测的方法，例如，使用成像、使用数字指南针216和/或使用惯性传感器218来检测相机运动。参考图8，下面描述用于根据本发明的示例实施例来选择相机的操作模式的方法。在步骤802，感应场景照明(例如，图4中的步骤402和406)。在步骤804，检测相机的运动(例如，图3中的步骤308)。在步骤806，检测相机的选择器的选择，所述选择器用于在基于场景照明的第一组一个或多个操作模式和基于相机运动的第二组一个或多个操作模式之间进行选择(例如， 图3中的步骤304)。在步骤808，基于由与相机运动、场景照明和选择器的选择相关联的数据定义的条件从第一组和第二组一个或多个操作模式中选择一个操作模式。将理解，在其他示例实施例中，参考图1描述的数字相机100可以是嵌入便携设备 (例如，移动手机、便携数字助理、便携游戏设备等)的相机模块、网络摄像头、视频相机等。理解了上述公开和附图的本领域技术人员可以对用于选择相机的操作模式的方法和多模型相机做出很多修改和其他实施例。因此，应该明白，用于选择相机的操作模式的方法和多模型相机不仅限于这里包含的以上说明书，并且可能的修改将被包括在公开的权利要求中。
1权利要求
1.一种用于选择相机的操作模式的方法，所述方法包括 感应场景照明；检测所述相机的运动，包括检测全景摄影的旋转运动；检测所述相机的选择器的选择，所述选择器用于在基于场景照明的第一组一个或多个操作模式和基于所述相机的运动的第二组第一或多个操作模式之间进行选择；以及基于由与所述相机的运动、所述场景照明和所述选择器的选择相关联的数据定义的条件来从所述第一组一个或多个操作模式和所述第二组一个或多个操作模式中选择一个操作模式。
2.根据权利要求1所述的方法，所述方法还包括 检测所述选择器上的持续保持时间，其中与所述选择器的选择相关联的数据包括与所述选择器上的持续保持时间相关联的数据。
3.根据权利要求1所述的方法，所述方法还包括 确定所述选择器的状态，其中与所述选择器的选择相关联的数据包括与所述选择器的状态相关联的数据。
4.根据权利要求1所述的方法，所述方法还包括对按照操作模式捕获多于一个图像进行辅助，所述操作模式是由全景摄影模式、立体摄影模式、突发照片拍摄模式、高动态范围成像模式或超分辨率摄影模式组成的集合中的一个。
5.根据权利要求1所述的方法，所述方法还包括通过所述选择器的第一按钮来选择所述第一组一个或多个操作模式；以及通过所述选择器的第二按钮来选择所述第二组一个或多个操作模式。
6.根据权利要求1所述的方法，所述方法还包括警告和引导所述相机的用户来满足用于按照操作模式捕获图像的条件。
7.根据权利要求1所述的方法，所述方法还包括 确定所述相机的快门速度；以及基于由与所述相机的快门速度相关联的数据定义的其他条件来选择操作模式。
8.根据权利要求1所述的方法，其中检测所述相机的运动包括以预定时间间隔对由所述光传感器捕获的图像进行比较。
9.根据权利要求1所述的方法，其中检测所述相机的运动包括使用数字指南针、惯性传感器或它们二者。
10.根据权利要求1所述的方法，其中由与所述相机的运动、所述选择器的选择和所述场景照明相关联的数据定义的条件是固定的、或者是发展的并适合于用户选择样式。
11.根据权利要求1所述的方法，所述方法还包括 在显示器中显示一个或多个可选选项；以及选择所述一个或多个可选选项以选择或退出操作模式。
12.—种多模型相机，包含用于感应场景照明的光传感器；用于检测所述相机的运动、包括检测全景摄影的旋转运动的运动检测装置；用于在基于场景照明的第一组一个或多个操作模式和基于所述相机的运动的第二组第一或多个操作模式之间进行选择的选择器；以及用于基于由与所述相机的运动、所述场景照明和所述选择器的选择相关联的数据定义的条件来从所述第一组一个或多个操作模式和所述第二组一个或多个操作模式中选择一个操作模式的处理单元。
13.根据权利要求12所述的多模型相机，所述多模型相机还包括用于对所述选择器上的持续保持时间进行计数的计数器，其中与所述选择器的选择相关联的数据包含与所述选择器上的持续保持时间相关联的数据。
14.根据权利要求12所述的多模型相机，其中与所述选择器的选择相关联的数据包含与所述选择器的状态相关联的数据。
15.根据权利要求12所述的多模型相机，其中操作模式对多于一个图像的捕获进行辅助，所述操作模式是由全景摄影模式、立体摄影模式、突发照片拍摄模式、高动态范围成像模式或超分辨率摄影模式组成的集合中的一个。
16.根据权利要求12所述的多模型相机，其中所述选择器可包括两个按钮，一个用于选择所述第一组一个或多个操作模式，并且另一个用于选择所述第二组一个或多个操作模式。
17.根据权利要求12所述的多模型相机，其中提供了所述警告装置以警告和引导所述相机的用户来满足用于按照操作模式捕获图像的条件。
18.根据权利要求12所述的多模型相机，其中所述处理单元被用于确定所述相机的快门速度，所选择的操作模式是由所述处理单元基于由与所述相机的快门速度相关联的数据定义的其他条件来选择的。
19.根据权利要求12所述的多模型相机，其中所述相机的运动是基于以预定时间间隔对由所述光传感器捕获的图像的比较来检测的。
20.根据权利要求12所述的多模型相机，其中所述运动检测装置包括使用数字指南针、惯性传感器或它们二者。
21.根据权利要求12所述的多模型相机，其中由与所述相机的运动、所述选择器的选择和所述场景照明相关联的数据定义的条件是固定的、或者是发展的并适合于用户选择样式。
22.根据权利要求12所述的多模型相机，其中所述选择器包括在所述相机的显示器中图形化地呈现的一个或多个可选选项，其中选择所述一个或多个可选选项以选择或退出操作模式。
全文摘要
一种多模型相机以及用于选择相机的操作模式的方法，所述方法包括感应场景照明；检测相机的运动，包括检测全景摄影的旋转运动；检测相机的选择器的选择，所述选择器用于在基于场景照明的第一组一个或多个操作模式和基于相机运动的第二组第一或多个操作模式之间进行选择；以及基于由与相机运动、场景照明和选择器的选择相关联的数据定义的条件来从第一组和第二组一个或多个操作模式中选择一个操作模式。
文档编号G03B19/00GK102422219SQ201080020972
公开日2012年4月18日 申请日期2010年4月19日 优先权日2009年5月11日
发明者沈望傅, 道恩·德斯蒙德·许 申请人:创新科技有限公司