相机区域锁定的制作方法

文档序号:22689100发布日期:2020-10-28 12:59阅读:166来源:国知局
相机区域锁定的制作方法



背景技术:

数码相机为用户提供在各种设置下捕获诸如照片和视频的图像的便利。在使用相机时,相机可能会以无意的方式稍微移动,诸如被晃动、远离场景移位或否则以改变相机的视场的方式移动。这样的移动可能会对所得到的图像产生负面影响。相机移动可以包括相机的平移(即,方位的变化)和/或旋转(即,定向的变化)。因为图像的源由相机的一个或多个镜头捕获,所以常常在显示屏上显示捕获图像的场景的实时视图。



技术实现要素:

本申请的实施方式涉及将相机锁定在场景的区域上,以使相机在相机移动时捕获该区域。该区域可以包括可以由相机捕获的较大区域的子区。

在一些实施方式中,一种方法包括在相机处于第一物理方位时确定由相机检测到的场景中的第一捕获域。接收用户输入以瞄准场景的第一捕获区内的子区。当相机处于第一物理方位时,捕获子区的第一图像。该方法进一步包括使第一图像以固定的定向显示在显示屏的用户界面的预览部分上。相机被移动到与第一物理方位不同的第二物理方位。当相机处于第二物理方位时,确定由相机检测到的场景的第二捕获区。第二捕获区包括子区。捕获子区的第二图像,并以固定的定向使其显示在用户界面的预览部分中。第二图像对通知用户该子区的捕获是否由于相机移动而更改是有效的。

描述了该方法的各种实施方式和示例。例如,在一些实施方式中,该方法还包括确定子区在第一捕获区内的第一方位点,并且当相机处于第三物理方位时,还确定由相机检测到的场景的第三捕获区。然后,第三捕获区不包括子区的一部分。确定在第三捕获区内的子区的第二方位点。第一方位点和第二方位点处于子区内的对应方位处以及场景的不同坐标方位处。通过更新的方位点确定更新的子区,该更新的方位点位于在第一方位点和第二方位点之间绘制的直线上。

在一些实施方式中,用户输入的方法包括用于放大第一捕获区并激活子区上的预览锁定的用户命令。该方法可以包括通过检测子区中的至少一个对象来识别子区,其中该至少一个对象由用户输入指定。在一些实施方式中,通过具有参考点的形状来定义子区,并且跟踪子区包括跟踪参考点。该方法可以包括通过将子区识别为第一捕获区的尺寸的至少一半的区来识别第一捕获区内的子区。

在一些实施方式中,相机至少包括第一镜头和第二镜头,其中第一捕获区和第二捕获区在第一镜头和第二镜头的相应视场内。在一些实施方式中,相机包括广域镜头,并且第一捕获区和第二捕获区在广域镜头的视场内。

在一些实施方式中,相机被大幅地移动,并且可以实现一种方法来重新配置子区。例如,该重新配置方法可以包括:当相机处于第一物理方位时,确定由相机检测到的场景中的捕获第一区;以及接收用户输入以瞄准场景的第一捕获区内的子区,其中用户输入指示该子区。在一些实施方式中,确定子区的第一方位点,并且当相机处于第一物理方位时,通过相机可以捕获子区的第一图像。可以在相机移动物理方位时跟踪子区并且确定在相机处于第二物理方位时由相机检测到的第二捕获区。第二物理方位例如在方位和/或定向上与第一物理方位不同。确定第二捕获区以不包括子区的部分。当相机处于第二物理方位时,确定第二捕获区内的子区的第二方位点。第一方位点和第二方位点处于子区内的相应方位处并且处于场景的不同坐标位置处。确定具有更新的方位点的更新的子区。更新的方位点位于在第一方位点和第二方位点之间绘制的直线上。当相机处于第二物理方位时,捕获更新的子区的第二图像。

在重新配置方法的一些实施方式中,用户输入包括用于放大第一捕获区并激活子区上的预览锁定的用户命令。该方法还可以包括响应于确定第二捕获区不包括子区的一部分而引起提醒。子区还可以由具有参考点的形状来定义,并且跟踪子区包括跟踪参考点。在一些实施方式中,通过确定子区的参考点中的至少一个位于第二捕获区之外,来确定第二捕获区不包括子区的部分。

在一些实施方式中,一种系统包括一个或多个处理器以及一个或多个具有存储在其上的指令的计算机可读介质,该指令在由一个或多个处理器执行时使执行操作。该操作可以包括:当相机处于第一物理方位时,确定由相机检测到的场景中的第一捕获区和接收用户输入以瞄准场景的第一捕获区内的子区,诸如用于放大第一捕获区并激活子区上的预览锁定的用户命令。还可以通过检测可以通过用户输入来指定至少一个对象的子区中的至少一个对象来识别该子区。当相机处于第一物理方位时,相机捕获子区的第一图像。所述操作进一步包括使第一图像以固定的定向显示在显示屏的用户界面的预览部分上。所述操作可以进一步包括:当相机处于与第一物理方位不同的第二物理方位时,确定由相机检测到的场景的第二捕获区。第二捕获区包括子区。该操作还可以进一步包括捕获子区的第二图像,并使第二图像以固定的定向显示在用户界面的预览部分上。第二图像可以对通知用户子区的捕获是否由于相机移动而更改是有效的。

在系统的一些实施方式中,可以通过具有参考点的形状来定义子区,并且跟踪子区包括跟踪参考点。该子区也可以通过将子区识别为第一捕获区的尺寸的至少一半的区来在第一捕获区内被识别。

在系统的一些实施方式中,相机可以至少包括第一镜头和第二镜头,并且第一捕获区和第二捕获区中的每一个均在第一镜头和第二镜头的相应视场内。此外,在一些实施方式中,相机可以包括广域镜头,并且第一捕获区和第二捕获区在广域镜头的视场内。

附图说明

图1是图示示例环境的概念图,其中可以通过捕获系统来实现在初始相机方位处捕获锁定子区的各个方面;

图2是图示示例环境的概念图,其中可以通过捕获系统实现在摇摄(pan)的相机方位处捕获图1的锁定子区的各个方面;

图3是图示示例环境的概念图,其中通过捕获系统可以实现在旋转角度的相机方位处捕获图1的锁定子区的各个方面;

图4是图示示例环境的概念图,其中通过实现移动重新配置过程的捕获系统可以实现在大幅地移位的相机方位处从图1的场景捕获修改的锁定子区的各个方面;

图5是图示具有多个镜头的相机设备的扩展的捕获区的概念图;

图6a和6b是示例相机区域锁定过程的流程图,其中图6a示出锁定、捕获和显示来自图像的子区的过程,并且图6b示出移动重新配置过程;以及

图7是图示实现锁定子区的过程的捕获系统的所选示例组件的示意图;全部根据本公开。

具体实施方式

提供捕获系统以使用户能够捕获图像。捕获系统包括相机设备和用于实现所描述过程的软件。可以用本捕获系统捕获的图像可以包括视频、电子照片以及由相机设备捕获的其他电子图像。捕获系统锁定到场景中捕获区的子区部分,以捕获子区的图像。因为在捕获图像时相机设备略微移动,所以相机视场中的每一个都会改变,并且可以跟踪子区。子区的图像可能继续以给出克服相机的移动的外观的方式被捕获。由诸如陀螺仪的传感器提供的信息可用于确定相机设备的移动并且更新在改变的视场内的到子区的坐标。快速地,可以向用户提供自适应用户界面,该自适应用户界面以固定的定向在显示屏上显示捕获的子区图像。以这种方式,该子区可能会显现在显示屏上,并且所得到的捕获图像显现为未被相机的移动相对地改变。

需要稳定且集中的平台的相机技术可能给用户带来挑战。在一个说明性示例中,乐团音乐会上的观众成员打算观看和录制节目中家庭成员的视频。如果没有本捕获系统,即使观众成员在录制期间进行很小的移动也可能导致录制内容模糊、晃动和/或倾斜。在录制期间的相机移动可能会部分或完全从图像中切除家庭成员。

在没有本捕获系统的情况下,观众成员可能需要在捕获图像时将眼睛保持固定在相机屏幕或取景器上,以避免发生此类移动事故。观众成员的注意力从观看表演的整个场景中去除。防止移动问题的其他尝试还可能包括使用笨重且昂贵的硬件来固定相机的方位,诸如常平架设备和三脚架。此外,可以在录制场景后编辑图像,以调整由相机移动而引起的复杂。例如,观众成员可以录制比捕获所旨在的更广的场景视图,诸如整个乐团和舞台。可以将图像保存,下载到计算机系统,以稍后使用可以帮助将图像聚焦到家庭成员上的软件工具处理图像。要求此类后处理可能导致分辨率不佳的录制,使用其他技术资源并消耗额外时间。在观众成员希望在表演期间或之后不久分享图像的情况下,这种后处理可能不可行。

如果相机将在图像的录制期间补偿相机移动并且不需要额外的硬件来稳定相机,则将是有利的。如果观众成员可以欣赏表演并录制包括家庭成员在内的场景的所旨在的区而无需专心于显示屏或取景器上,那将是进一步有益的。如果可以使观众成员放心家庭成员正被适当地捕获,则他或她就可以更加专注于观看表演。

捕获系统的实施方式可以帮助观众成员捕获以家庭成员为特征的图像,同时使用户能够体验演出。在此示例中,观众成员使用相机放大以获得家庭成员的靠近视图。观众成员激活相机设备的锁定元素并开始录制。例如,观众成员可以轻敲相机设备的用户界面上的录制按钮。在录制期间,该子区出现在相机设备的显示屏的预览部分上。观众成员可以在将相机指向家庭成员的方向时自由利用相机做出无意移动。观众成员偶尔会瞥视相机设备的数字屏幕,该数字屏幕继续示出子区的稳定图像的录制。如果观众成员大幅地移动相机从而家庭成员不在视图范围内,则观众成员可能会从捕获系统收到提醒,诸如相机设备上的闪烁灯。观众成员将相机返回到家庭成员,并且恢复观看节目。

在一些实施方式中,捕获系统通过使相机设备能够产生更好地捕获场景的瞄准的区域的图像来改善摄影和摄像的场。技术改进包括对捕获图像时发生的相机移动进行调整。捕获系统可以通过避免至少一些后处理需求来节省计算资源和时间。图像的后处理对于产生特定对象的稳定图像可能不是必需的。捕获系统还可以避免需要庞大且昂贵的稳定硬件配件,诸如常平架设备。此外,图像质量很大程度上取决于用户操作相机的能力。向用户提供有关正在捕获的视图的即时反馈使用户能够快速进行调整,同时存在更好的机会来校正图像的捕获区。根据本文提供的公开捕获系统的其他益处显而易见。

图1图示示例捕获环境100,其中采用捕获系统102的实施方式来使包括一个或多个镜头(即,一个或多个相机)的相机设备104能够捕获场景106的图像。捕获系统102进一步包括显示屏120以示出正在捕获的图像。

相机设备104在初始物理方位时被锁定到场景106的较大捕获区108的子区110上。捕获区108是场景106的能够被相机设备104在相机设备104的镜头的视场内捕获的区域。在一些实施方式中,子区110包括至少一个或多个目标对象112a和112b。

相机设备104具有一个或多个镜头,其将光聚焦到捕获图像的相机传感器上。捕获区108的尺寸、形状和/或定向可以至少部分取决于镜头的特性。这样的特性的示例可以包括镜头的类型、镜头的数量、镜头范围、每个镜头的方位、以及每个镜头指向的角度,如下面关于图5更详细地描述的。

被瞄准以在图像中捕获的子区110是捕获区108的较小部分。子区110的识别可以使捕获系统102避免捕获区104的不期望的区域在所得到的图像中,诸如如图1中的示例所示的观众成员的头。

子区可以是捕获区108内的预定义尺寸和/或形状和/或处于预定义方位。例如,子区110可以是四边形,其中心方位点与捕获区108的中心对齐,并且可以被调整为捕获区108的50%的尺寸。

子区110可以是任何模板形状,诸如正方形、三角形、圆形、椭圆形、不对称区域等或者可以是自由形状。子区110可以由用户、通过捕获系统102的诸如图像辨识的自动处理或通过其他手段来定义。例如,捕获系统102可以检测目标对象的轮廓形状,并且可以自动地将子区110确定为与目标对象相似的形状。

在一些实施方式中,子区110的尺寸和/或形状可以基于目标对象的尺寸和/或形状。例如,在目标对象被辨识为至少大体上是特定形状,诸如人是细长的椭圆形,的情况下,则子区110可以被指定为细长的椭圆形。在一些实施方式中,子区110的尺寸可以基于捕获区108内的目标对象的尺寸。例如,在目标对象涵盖该区的大部分的情况下,可以将子区的尺寸调整为包括目标对象的全部或仅目标对象的部分以及场景背景的再多一点。在另一示例中,在目标对象涵盖该区的小部分的情况下,子区的尺寸可以调整为包括整个目标对象和场景背景的更多。

在一些实施方式中,子区可适合区的某个百分比或百分比范围内。例如,该子区可以是该区的大约百分之五十(50%)、大约三十五(35%)、大约二十五(25%)、大约十五(15%)、大约十(10%)或大约五(5%)以及这些值中任何两个之间的任何范围或值。在一个示例中,该子区可以作为最小尺寸适合在该区的大约百分之二十五(25%)内,并且作为最大尺寸可以适合在该区的大约百分之七十五(75%)内。

在一些实施方式中,当用户创作拍摄(shot)时,用户可以指定子区110。然后,用户指令相机设备通过各种捕获激活机制来捕获拍摄,例如,触摸用户界面122上的专用捕获元素、按下智能手机的音量控制、激活相机设备的其他捕获机制等。

为了定义子区110,用户可以在激活图像捕获之前应用数字缩放工具或以其他方式扩大区域并使视图成帧。用户可以通过在用户界面122上示出的兴趣区域(例如,目标对象)上在显示屏120上伸展开两个手指,或者通过在目标对象上或其附近轻敲或两次轻敲并滑动手指来放大。用户应用数字缩放的其他技术可能包括设置用户定义的缩放级别、键入或输入控制命令、激活专用缩放按钮、单击菜单命令、使用鼠标或触控板滚动、移动滑块、提供语音命令、提供注视命令、提供手势命令、使用光学缩放,例如,远距镜头等等。以这种方式,显示屏扩大率增加,直到达到所旨在的缩放级别为止。在一些实施方式中,例如,由用户指定目标对象。在其他实施方式中,在子区110中没有指定或识别目标对象。

在一些实施方式中,用户可以在图像录制期间调整锁定。例如,用户可以改变缩放级别或摇摄相机设备并重新锁定新的子区,诸如通过针对新的子区再次轻敲锁定元素。在这些情况下,捕获系统继续跟踪具有新的参考点的新的子区。

在一些实施方案中,可以由捕获系统102应用一个或多个预定义参数,诸如通过检测场景106中的特定目标对象来自动指定子区110。例如,捕获系统102可以接收用户输入以瞄准特定对象,例如,人、物体、场景、地标或动物。在一些实施方式中,当接收到诸如用户的指令以捕获图像时,相机系统可以在捕获区108中搜索目标对象。在一些实施方式中,当在捕获区108内检测到目标对象时,捕获系统可以自动捕获图像。在目标对象在场景106内移动的情况下,相机系统102可以跟踪这种移动并调整子区110以包括移动的目标对象。

例如,在一些实施方式中,目标对象可以移动到相机设备104的捕获区108中,可以在目标对象的区域中自动激活子区锁定。在一些实施方式中,如果目标对象移动出子区并且仍在捕获区108内,则捕获系统102可以自动解除锁定子区110并将子区110重新锁定在目标对象的新方位处。

在一些实施方式中,可以利用各种对象辨识过程来识别如在显示屏120上所表示的场景106的捕获区108中的目标对象112a、112b。在一些实施方式中,为了辨识图像中的对象,捕获系统102可以将目标对象(例如,对象的图像)进行比较,并将目标对象与包括目标对象的参考图像进行匹配。在一些实施方式中,捕获系统102可以搜索参考图像以便于识别与场景中的目标对象相似的任何一个或多个参考图像。在一些实施方式中,对于给定的参考图像,捕获系统102可以从所显示的目标对象提取特征以进行分析,并且然后将那些特征与一个或多个参考图像的特征进行比较。例如,捕获系统102可以分析诸如面部特性、身体特性等的目标对象特征的相对方位、尺寸和/或形状。在一些实施方式中,捕获系统102可以使用从分析中收集的数据来使目标对象与具有匹配或相似特征的又一个参考图像进行匹配。在一些实施方式中,捕获系统102可以归一化多个参考图像,并将来自那些图像的对象数据压缩为具有信息的合成表示(例如,对象特征数据),并且然后将场景中的目标对象与合成表示进行比较以进行人脸辨识。

在一些情况下,场景中的目标对象可能类似于与相同类别中的对象相关联的多个参考图像。这样,捕获系统102将确定存在场景中的目标对象是与参考图像相关联的相同对象的高可能性。

在一些实施方式中,为了促进对象辨识,捕获系统102可以使用基于特征判别的几何辨识算法。捕获系统102还可以使用光度算法,其基于将目标对象特征蒸馏(distill)为用于比较的值的统计方法。当将图像中的目标对象与一个或多个参考进行比较时,也可以使用几何和光度方法的组合。

可以使用其他辨识算法。例如,捕获系统102可以使用利用主成分分析、线性判别分析、弹性束图匹配、隐马尔可夫模型和动态链接匹配中的一种或多种的辨识算法。将会理解,捕获系统102可以使用其他已知的或以后开发的辨识算法、技术和/或系统。

在一些实施方式中,在用户同意的情况下,可以采用面部辨识,并且捕获系统102使社交网络系统的用户能够指定和/或同意使用个人信息,这可以包括捕获系统102在辨识场景中所识别的人时使用图像中的他们的人脸或使用他们的身份信息。例如,捕获系统102可以向用户提供针对指定和/或同意使用个人信息的多个选择。例如,关于指定和/或同意的选择可以与个别图像、整个图像集、单个相册、整个相册集等相关联。可以以多种方式来实现选择。例如,捕获系统102可以使按钮或复选框显示在各种选择旁边。在一些实施方式中,捕获系统102通常使社交网络的用户能够指定和/或同意将他们的图像用于面部辨识的使用。

在一些实施方式中,可以通过对目标对象上面或接近目标对象的红外信号的红外检测来检测和/或跟踪目标对象。例如,提供红外信号的红外信标可以被附接到目标对象、嵌入到目标对象、放置在目标对象上或由目标对象佩戴或者紧密接近目标对象,使得红外信标与目标对象相关联。相机系统102可以包括红外传感器,以检测红外信号并为捕获系统102提供信号坐标数据,以查明目标对象在场景内的位置。

场景106的子区110可以用一个或多个参考点114标记。捕获系统102可以跟踪参考点114,以随着相机设备104的移动并且捕获区108改变来对子区110进行定位。例如,参考点114的坐标(x、y和/或z)可以被存储和参考以找到子区110的位置。

参考点114可以位于子区110中的各个方位处,诸如沿着子区的边界。例如,单个参考点114可以是子区110的中心中的点,多个参考点114可以位于子区的外围处或接近于子区的外围,或者可以用作参考子区110在捕获区108内的位置的其他区域。通过图1中的示例所示,子区110是具有四个参考点114的四边形形状,在该形状的每个拐角处一个参考点。

相机系统102的显示屏120具有包括预览部分124的用户界面122,该预览部分124显示子区110的图像130。用户界面122的控制部分126可以具有至少一个锁定元素128和其他用户控制元素,诸如捕获按钮、解除锁定元素、移动提醒指示器、捕获状态指示器等。

相机设备104是数码相机,诸如内置在例如如图1中所示的智能手机、可穿戴设备、平板计算机等的便携式设备中的相机。在一些实施方式中,相机设备104是专用数码相机。一些类型的数码相机还包括单镜头反光相机(slr)、傻瓜相机、桥式相机、无反光镜可换镜头相机(milc)、全向相机、摄像机、便携式摄像机和能够捕获电子图像的其他相机。

显示屏120示出场景106的捕获区108和/或子区110。例如,在子区被锁定到视图之前和/或在子区被锁定到视图之后,显示屏120的预览部分124可以示出捕获区108。一旦子区被锁定,预览部分124可以专用于在捕获期间将子区110示出在固定方位中,如图1中所图示。在子区110被修改的情况下,例如由于大幅的相机设备移动,显示屏120的预览部分124可以显示修改后的子区。在这种情况下,用户界面112可以指示该子区已经被修改。此外,在初始子区110被恢复的情况下,例如由于诸如响应于提醒而将相机设备移回到初始子区的范围内,预览部分124可以再次示出初始子区110。在这样的情况下,用户界面112可以指示初始子区110已经被复原。在一些实施方式中,除了在显示器的一部分中示出固定子区110之外,显示屏120还可以继续示出变化的捕获区。

显示屏120可以是相机设备104的主要部分、附接到相机设备104的可去除组件或与相机设备104通信的单独屏幕。显示屏120可以包括液晶显示器(lcd),具有或不具有触摸屏能力或具有固定的或具有铰接能力的控制面板按钮、薄膜晶体管(tft)、合成、分量视频、高清多媒体接口(hdmi)、串行数字接口(sdi)、交叉转换、循环显示其他显示屏以显示描绘正在录制的图像。当用显示屏120捕获图像时,相机设备104可以在半空中诸如以手臂的长度保持远离用户的身体。以这种方式将相机设备104保持远离身体可以增加晃动相机设备104并在远离场景106的方向上移动相机设备104的机会。在这种情况下,捕获系统102可以提供益处。

在捕获系统的一些实施方式中,锁定元素128的激活可以发起捕获的子区的瞄准。锁定元素128可以是接受用户的触摸以进行激活的触摸屏按钮,如图1中所示。在一些实施方式中,锁定元素128是能够接收例如语音辨识、注视检测等的音频的麦克风组件。在一些实施方式中,锁定元素128可以响应各种其他输入,诸如但不限于鼠标、手势辨识、面部辨识、移动跟踪器、眼睛移动跟踪器、智能按钮、轨迹球、轨迹笔、手写板、笔、触笔和手形鼠标。输入可以包括用户应用触摸、语音、点击、轻敲、键入、手势、移动(例如,移动眼睛、手臂、身体)和/或其他动作。在一些实施方式中,用户使用手指或触笔接触显示屏120,以便选择显示在显示屏120的用户界面112上的锁定元素128。用户可以输入文本或激活控制功能。

相机设备104可以在捕获图像的同时在各种定向和方位中移动。例如,当将相机设备104的镜头至少大体上指向目标对象的方向时,相机设备104可以在至少大体上将相机设备104的镜头指向目标对象的方向的同时沿着水平或垂直轴移动以摇摄场景,例如沿着z轴移动更加靠近场景或更加远离场景,顺时针或逆时针旋转或移动的组合。相机设备移动可能是快速、缓慢、突然、不平稳、稳定、间歇等。

当子区110被锁定时,相机设备104可以被移动到其他物理方位。图2图示示例捕获环境200,在该示例捕获环境200中采用捕获系统102的一些实施方式以使相机设备104能够摇摄场景106。相机设备104可以捕获场景106的移位的区208内的图1的锁定子区110。子区110被相机设备104的锁定元素128保持锁定。

可以移动相机设备104以从其初始方位沿着水平或垂直轴改变其面对的方向。可以通过各种方法来摇摄场景106,诸如使相机设备104沿着水平轴、垂直轴或成角度的轴移动,诸如相机设备104被移动单元——例如,人、车辆、设备等等——保持。相机设备104可以通过从固定点被枢转以面对沿着水平或垂直轴的位置来摇摄场景106。相机设备104还可以通过保持在固定方位来摇摄场景106,并且可以操纵——例如,倾斜——其镜头中的一个或多个,以面对沿着水平或垂直轴的位置。可以使用其他摇摄方法和摇摄方法的组合。

在图2中的所图示的示例中,相机设备104从在其中锁定子区的初始方位(例如,如图1中所示)向左摇摄。作为相机的摇摄的结果,目标对象112a、112b被重新定位到移位区208的右侧。移位区208可以添加来自场景106的本没有被包括在用于捕获的子区110中的非目标对象212。锁定子区110可以不包括由于相机设备104的摇摄而出现的非目标对象212。如显示屏120上的图像所示,静止的目标对象112a、112b显现为保留在子区110中的相同方位中。

可以通过来自相机系统102的一个或多个传感器的数据来跟踪锁定子区110的参考点114。例如,加速度计可以用于测量相机设备104在诸如摇摄的空间中移动的加速度,以及相机设备104指向的方向。陀螺仪传感器可以用于提供相机设备104定向数据,诸如旋转移动。其他传感器可能包括磁力计、全球定位系统(gps)等。

从如在图1中的相机设备104的原始方位的摇摄位置处的相机设备104的显示屏120包括用户界面122的预览部分124,其在与图1中的图像130至少大体上相同的方位中显示区208的子区110的图像230。子区110可以以固定的定向显示在显示屏120的预览部分124上。

图3图示示例捕获环境300,其中采用捕获系统102的一些实施方式以使相机设备104能够旋转一定角度并且当相机设备104处于旋转角度相机方位时捕获在场景106的成角度的区308内的图1的锁定子区110。子区110保持被相机设备104的锁定元素128锁定。在子区锁定被激活时当相机设备104继续以从其初始方位成角度的定向捕获图像时,场景的区308对应于相机的角度。区308还可以包括本不包括在捕获的子区中的至少一个附加的非目标对象312。锁定子区110可以不包括由于相机设备104成角度而出现的非目标对象212。子区110保持固定在相机的初始水平方位中。

处于旋转方位的相机设备104的显示屏120包括用户界面122的预览部分124,其显示区308的子区110的图像330。图像330包括至少与图1中的图像130大体上相同的方位中的子区110。因此,不管相机设备104移动,子区110可以继续以固定的定向显示在显示屏120的预览部分124上。

图4图示示例捕获环境400,其中采用捕获系统102的移动重新配置过程的一些实施方式,使相机设备104能够在相机设备104大幅地从图1的其初始方位移位时从场景106捕获图像。以在相机可观看到的改变的捕获区408内切除图1至图3的原始锁定子区110的至少一部分的方式移动相机。在图4中所示的示例中,目标对象112b被从改变的捕获区408部分地切除。

在改变的捕获区408不包括初始锁定子区110的至少一部分的情况下,例如,至少一个参考点114从初始捕获区108的边界出界,捕获系统102可以使用各种自动处理来解决子区的切除部分。在一些实施方式中,锁定的子区可以被解除锁定,在改变的捕获区408内被重新配置并且被重新锁定以创建修改的锁定的子区410,该修改的锁定的子区410相对于初始的锁定的子区110可以具有改变的方位、尺寸和/或形状。

在一些实施方式中,诸如在激活视图锁定时,在相机移动之前的原始方位点被确定。原始方位点可以是子区内的任何位置,诸如子区的中心。例如,子区110可以最初中心在初始捕获区108内在初始子区110的原始中心方位点432处。在一些实施方式中,原始中心方位点432可以与参考点114中的至少一个相同。在一些实施方式中,多个参考点114定义子区110的边缘,并且用于绘制原始中心方位点432作为子区110的中心。

当捕获区随着相机移动而改变时,暂定中心方位点434被确定在如果子区110没有被修改则子区110本应处于的在改变的捕获区408中的点处。在一些实施方式中,捕获系统可以确定从原始中心方位432延伸到暂定中心方位点434的假想线436。捕获系统102可以沿着假想线436绘制重定位的中心方位点438。

在一些实施方式中,重定位的中心方位点438可以是适合于改变的捕获区408内的子区的最近的位置。重定位的中心方位点438可以用作定义修改的位置中的修改的锁定子区410的中心,所述修改的锁定子区410具有与初始子区110相同的大小并且具有修改的参考点414。

在一些实施方式中,修改后的锁定子区的尺寸和/或形状也可以在移动重新配置过程中被改变。例如,可以减小子区的尺寸和/或形状,以保持变化的捕获区408中的目标对象的尽可能多,并且切除变化的捕获区的无关部分,诸如非目标对象。

在一些实施方式中,如果在移动重新配置中对子区进行修改之后相机设备104返回到包括捕获区内的初始子区110的方位,捕获系统102可以重回重新锁定初始子区110。例如,在捕获系统102提醒用户相机设备104的大幅移动的情况下,用户可以通过将相机设备104移回以包括子区110进行响应。指定初始子区110和参考点114的数据被保留在存储器中,并且可以被访问以重新锁定回到初始子区110并复原参考点114。例如,在至少有足够数量的参考点114重新出现在在当前捕获区中的情况下,初始子区110可以如重新配置之前那样恢复。

在一些实施方式中,以增量执行移动重新配置以使子区的修改显得自然。这种软锁定过程的细节在下面关于图6b进行描述。

在一些实施方式中,其中大幅相机移动导致从捕获区中不包括初始子区110的情况下,捕获系统102可以保持原始子区而不进行修改。在这些情况下,相机系统102可以继续捕获保留在初始子区110中的改变的捕获区的任何部分,而不补偿任何切除部分。在一些实施方式中,例如,如果相机移动是大幅的使得在改变的捕获区中不包括初始子区110达预定义的时间段,则大的相机移动可以触发子区110的锁定的去激活。

在一些实施方式中,当子区110在当前捕获区的界限之外时,捕获系统默认返回初始子区110,并且不修改子区。该视图可以复原到用户移动之前。

图5图示由相机设备104的至少两个镜头502、504检测到的场景的扩展捕获区508的示例。每个镜头502、504指向不同的方向,以通过镜头502的观看限度a-b和c-d以及镜头504的观看限度a’-b’和c’-d’定义每个镜头的视场。单个视场描绘具有重叠区域512和外部区域514的区508。在扩展的捕获区508中指定子区510。

由多个镜头和/或多种镜头创建的扩展的捕获区508增强锁定效果。例如,扩展的捕获区508可以允许更大的相机设备移动,同时降低子区落入在捕获区之外的风险。因此,尽管例如具有多个镜头或具有一个或多个广域镜头的相机设备可以比具有单个正常域镜头捕获场景的更多,但是该子区可以使得到的图像聚焦在目标对象上。随着捕获区的扩展,子区被切除、需要重新配置子区的机会可能会减少。可以使用各种镜头、传感器和/或硬件来实现扩展的捕获区。

可以采用任何数量的镜头来扩展相机检测的捕获区,诸如两个(双相机)、四个、六个、八个和其他数量的镜头。任意数量的多个镜头可以被定位在相机设备104中的不同位置中,并且可以指向场景中的不同方向。每个镜头可以具有特定的视场。镜头的组合可以创建扩展的捕获区,诸如170度、180度、270度、360度等。

镜头的组合可以包括一个或多个广域、超广域、鱼眼、单色、长焦、微距镜头等。每个镜头可以是相同类型或不同类型的镜头。诸如鱼眼镜头的一些类型的镜头会引入畸变,所述畸变例如可以基于子区110的参考点114的真实世界坐标(诸如x、y和/或z值)确定畸变系数来校正。

图6a示出过程600的流程图,其中在相机设备104被锁定并且子区110被显示的捕获阶段期间,相机设备104对捕获区108的子区110进行捕获。在框602中,根据相机的一个或多个镜头的视场检测场景的捕获区108。在框604中,在此区内,指定子区110,并且辨识用以识别子区110的一个或者多个参考点114。此外,在框604中,可以为该子区110确定原始中心方位点432以用于在相机设备移动是大幅的并且子区110在改变的捕获区的边界之外的情况下修改子区。例如,参考点114的诸如x、y和/z值的坐标值可以存储在相机的存储器中。在框606中接收到锁定命令以激活在相机设备104移动并捕获图像时对子区110的参考点114的跟踪。

在接收锁定命令时,可以在框608中确定诸如x、y和/或z值的初始相机坐标。在一些实施方式中,初始相机坐标可以在各种时间点确定或由各种事件触发,诸如在激活锁定后捕获第一图像、激活陀螺仪或其他传感器、将相机方位(例如,相机的坐标轴)与陀螺仪传感器方位对准、相机的特定定向以及可用于比较和确定相机移动的其他时间和/或事件。

在框610中捕获第一图像。进一步在框610中,基于子区110的参考点114来确定图像的子区110。在框612中,子区110的图像被显示在捕获系统102的显示屏120上。

在框614中,可以在各个时间捕获场景的后续图像。在框616中,可以更新相机坐标以确定相机设备移动。对于诸如照片或视频帧的单个图像,可以确定相机投影矩阵以描述来自场景的图像如何被投影到相机成像传感器上。例如,可以用指示产生选择像素的时间的诸如时间戳的时间数据来标记选择像素,诸如图像中的像素行。每个选择像素的时间数据都可以与来自诸如陀螺仪和/或光学图像稳定器(ois)的相机的方位传感器的数据相关,以校正由ois镜头倾斜引起的任何镜头偏移。

相机陀螺仪可以被用于累积相机设备移动的陀螺仪读数。例如,可以确定表示相机设备相对于初始相机坐标的方位的3x3单应性矩阵。相机设备移动对应于相机坐标的变化。3x3单应性矩阵可以用诸如时间戳的时间数据标记并且存储在存储器中,诸如在计算机设备中的队列中。将点乘以此矩阵可以将其从来自初始未知陀螺仪坐标系中定义的坐标系的该点的坐标变换成当前旋转/移动的坐标系。将点乘以矩阵的逆可以将坐标从当前坐标系转变换成初始未知陀螺仪坐标系。

在相机坐标的更新的图示中,初始相机坐标可以是在时间t=5时的单应性矩阵a和在时间t=10时的另一个单应性矩阵b的形式,在该时间t=10处下一个图像被捕获。描述从t=5到t=10的变换的单应性矩阵可以是:

a*inv(b)

给定在t=10时坐标系中的点x,inv(b)*x会使坐标回到初始未知坐标系。将此乘以a(即,a*inv(b)*x)会使t=10时的坐标回到t=5时的坐标。

此外,可以将单应性矩阵乘以固有相机矩阵,使得a成为两个矩阵的乘积。固有相机矩阵是相机设备104特定的,并由相机镜头的焦距和光学中心定义。固有相机矩阵可以被用于将场景中的三维(3d)点转换成二维(2d)图像。当不存在ois变化时,固有相机矩阵可以在时间上是固定的。如果引入ois变化,则光学中心可能会随时间变化,至少部分取决于镜头如何移位。固有相机矩阵可以相应地更新。

固有相机矩阵的形式可以是:

fx,0,tx

0,fy,ty

0,0,1

其中,fx=fy=焦距并且tx、ty是光学中心。

在一些实施方式中,诸如鱼眼镜头的镜头可能会引入畸变,并且畸变的影响可能需要在更新相机坐标之前被去扭曲。

在框624中,图像可以被存储和/或消费,例如,通过网络被传输或者以其它方式被共享,张贴在网站上,打印等等。在一些实施方式中,捕获区108可以被捕获并与标签一起存储,所述标签例如,元数据,其指示组成子区110的像素。

在框618中,通过确定更新的相机坐标,可以跟踪下一个图像的参考点114并且识别子区110。在框620中,子区的下一个图像,例如,所捕获的视频的下一帧或照片可以被显示在显示屏120的用户界面122的预览部分124上。下一子区图像可以看起来与显示的先前的子区图像,即,初始子区图像相同或大体上相似。在一些情况下,相机移动导致子区110的至少一部分移动到由相机检测到的区之外,该子区图像显示可以被更改,如下面图6b中的示例所描述的。

在判定框622中,可以确定是否要获取一个或多个图像。例如,用户可以按下按钮或以其他方式激活命令以捕获附加图像。在一些实施方式中,可以自动地获取附加图像,诸如在计时器上或通过事件的发生来触发,诸如检测到的某些音频,例如,播放音乐。如果正在录制视频,则可以以特定速率捕获附加帧,直到停止命令被激活或在视频录制结束之后达某一时间段为止。如果要获取更多图像,则处理进行到框614以捕获下一图像。如果确定不存在附加图像,则在一些实施方式中,在框624中,捕获系统102可以消费和/或存储子区110的图像。

在框624中,可以存储图像中的至少一个。图像的消费可以包括共享子区110的图像,诸如通过网络——例如,社交网络——传输图像。对于在激活视图锁定的捕获阶段期间捕获的任何数量的图像,该过程都可以重复。

在一些实施方式中,当在录制期间子区图像在出现在预览屏幕124上时被存储。在一些实施方式中,捕获系统102存储捕获区108并存储表示子区110的元数据。以这种方式,子区110可以稍后在捕获的图像中可选地重新成帧。

在过程600的任何步骤处,可以去激活视图锁定,此后不再跟踪子区,并且捕获区的图像可以或者可以不继续被捕获。用户可以诸如通过再触摸锁定元素128来去激活锁定。可以通过诸如正在捕获的场景中事件的结束的某些事件来自动触发锁定的去激活。例如,如果目标对象不再处于捕获区中达一时间段,则可以去激活锁定。

图6b示出移动重新配置过程650的流程图,其中由于大幅相机移动而对子区110进行修改。在框652中,在相机锁定被激活的捕获阶段期间确定相机移动。将当前相机坐标与所描述的初始相机坐标进行比较,例如,如上面关于图4所述。在框654中,捕获系统可以通过确定参考点114在变化的捕获区内的位置来跟踪子区110。在框656中,可以确定子区110的至少一部分,例如至少一个参考点,落入在原始捕获区108之外。在这种情况下,将丢失来自子区的切除部分的图像像素。如果子区110的至少一部分在原始捕获区108的界限之外,则相机移动被认为是大幅的,并且该过程可以可选地进行到框658以提供相机移动是大幅的并且子区可能需要修改的提醒。在一些实施方式中,在提供提醒之后,系统可以暂时等待以修改子区,以允许将相机设备重新定位以包括子区。如果子区继续在界限之外达特定时间量,则捕获系统102可以修改子区。如果确定相机移动不是大幅的,使得子区110完全位于改变的捕获区内,则处理进行以捕获包括子区110的图像并以最初锁定的形式显示子区110,如图6a中所描述的。

在一些实施方式中,当子区的诸如参考点114的任何部分在原始捕获区的界限之外时,触发提醒。在一些实施方式中,当预定义量的初始子区110,例如,15%、25%、50%等在原始捕获区的界限之外时,触发提醒。此外,在一些实施方式中,在子区在界限之外的预定义时间段之后触发提醒。其他提醒触发及其组合也是可能的。

提醒可以是视觉指示,诸如在用户界面的部分处的光效果,例如,预览窗口的照亮边缘或专用光指示。在一些实施方式中,提醒可以是听觉指示,诸如低音量的声音。在一些实施方式中,提醒可以是诸如相机设备104的软振动的触觉指示。其他提醒类型及其组合可以向用户提供相机设备104已经偏离太远的反馈。

在框660中确定暂定方位点434。暂定方位点434可以基于如果子区110没有被修改则子区110本将在改变的捕获区内的方位。例如,在原始方位点432是子区上的中心点的情况下,暂定方位点434被确定为如果子区110没有被修改则子区本将在改变的捕获区内的中心。

在框662中,捕获系统可以绘制假想线436以从原始方位点432延伸到暂定方位点434。在框664中,可以在该线上确定重新定位的方位点以定义修改的锁定子区410。为了平滑地调整子区,捕获系统102可以执行软锁定以增量地移动子区。

子区的软锁定修改可以包括增量方位变化,以使子区平滑地浮动到修改的锁定方位中。以这种方式,修改不是突然的变化。锁定子区的修改是逐步的。例如,在框666中,可以确定中间方位点,并根据该中间方位点临时修改子区。中间方位点可以是假想线436上原始方位点和暂定方位点之间的任何方位。在框668,在预览屏幕124上显示下一个中间子区图像。在判定块670,可以确定子区是否被定位在修改后的方位点处。在框672中,如果确定该子区已经被重新定位在该修改的方位点处,则该修改的子区被锁定。如果该子区不在该修改的方位点处,则增量过程进行到框666以在比假想线上的先前的中间方位点更靠近修改后的方位点的另一个中间方位点处修改子区。

图7是图示实现锁定场景的捕获区的子区的过程的捕获系统102的所选示例组件的示意图。捕获系统102包括一个或多个相机设备104。

相机设备104包括图像传感器702、用于将光聚焦到图像传感器702上的至少一个镜头704,例如,图5中的镜头502和504、以及光圈706。图像传感器702可以是捕获图像的任何传感器,并且可以包括互补金属氧化物半导体(cmos)技术、电荷耦合器件(ccd)技术等。镜头可以由透明材料制成,诸如玻璃和塑料。镜头704中的一个或多个可以相对于图像传感器702的方位移动,诸如调整为特定的焦距,诸如5mm或更小。光圈706的尺寸可以调整为使得特定量的光能够行进到图像传感器702,并且取决于所旨在的图像锐度和焦点。

捕获系统102可以包括一个或多个处理器750和存储器720。一个或多个处理器750和存储器720可以实现显示控制器722、相机控制器724、子区跟踪模块726、一个或多个传感器728、数字缩放模块730和数据存储732。存储器720可以进一步包括一个或多个其他应用734和操作系统736。

捕获系统102可以在存储器720中包括一个或多个控制器,诸如用于指导显示器120和相机控制器724来控制相机和图像捕获的显示控制器722。例如,相机控制器可以诸如通过i/o接口752接收用户请求以捕获一个或多个图像,并且作为响应,相机控制器724可以指导相机设备104捕获图像。显示控制器722可以与显示器120通信以提供子区的图像数据以在显示器120上示出。

i/o接口752可以提供使捕获系统102与其他系统和设备(诸如通过无线网络的服务器)对接的功能。对接的设备可以被包括为捕获系统102的一部分,或者可以被分离并与捕获系统102通信。在一些实施方式中,网络通信设备、存储设备(例如,存储器和/或数据库)和输入/输出设备可以经由i/o接口752进行通信。

i/o接口752可以与其他输入和输出设备对接。在一些实施方式中,i/o接口752可以连接到接口设备,诸如输入设备(键盘、指示设备、触摸屏、麦克风、相机、扫描仪、传感器等)和/或输出设备(显示设备、扬声器设备、打印机,马达等)。一些实施方式可以提供用于捕获声音的麦克风(例如,作为捕获的图像、语音命令等的一部分)、用于输出声音的音频扬声器设备或其他输入和输出设备。

处理器750可以处理用于在捕获系统102中执行的指令,包括存储在存储器720或数据存储728中的指令。处理器可以通过接口等等协调计算设备组件,例如,应用、无线或者有线通信。在一些实施方式中,可以使用多个处理器和总线。

处理器750可以被实现为包括分离的和多个模拟数字处理器的芯片的芯片组。处理器也可以使用各种架构来实现。例如,处理器750可以是cisc(复杂指令集计算机)处理器、risc(精简指令集计算机)处理器或misc(最小指令集计算机)处理器。

“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机制或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能性的专用电路的系统或其他系统。处理不必限于地理位置或具有时间限制。例如,处理器可以“实时”、“离线”、“批模式”等执行其功能。处理的部分可以在不同的时间和不同的位置处通过不同的(或相同的)处理系统执行。

存储器720在捕获系统102中存储信息。存储器720可以是任何合适的数据存储、存储器和/或非暂时性计算机可读存储介质,包括诸如随机存取存储器(ram)、只读存储器(rom)、磁存储设备(硬盘驱动器等)、闪存、光存储设备(cd、dvd等)、磁或光盘或适合存储指令以供处理器执行的其他有形介质(例如,程序或软件指令)的电子存储设备。例如,诸如硬件存储设备的有形介质可以用于存储控制逻辑,该控制逻辑可以包括可执行指令。指令还可以包含在电子信号中,并例如以从服务器(例如,分布式系统和/或云计算系统)传递的软件即服务(saas)的形式作为电子信号提供。

数据存储732可以保留应用和其他数据。数据存储也可以被采用以存储原始图像以及图像的各种编辑版本。信息的至少一部分还可以存储在捕获系统102内的磁盘驱动器或其他计算机可读存储设备(未示出)上。这种存储设备包括软盘设备、硬盘设备、光盘设备、或磁带设备、数字卡、闪存或其他类似的固态存储设备或设备阵列。

计算机程序,也称为程序、软件、软件应用或代码,还可以包含在被执行时执行诸如在本文描述的那些的一种或多种方法的指令。该计算机程序可以有形地体现在诸如计算机或机器可读介质的信息载体中,例如,存储器720、存储设备或处理器750上的存储器。机器可读介质是用于向可编程处理器提供机器指令或数据的任何计算机程序产品、装置或设备。

捕获系统102可以以多种不同形式实现。在一些实施方式中,捕获系统102的一些功能性可以被一个或多个联网的服务器代替,诸如云计算网络中的服务器。在一些实施方式中,其可以在诸如膝上型计算机的个人计算机中实现。

可以使用任何适当的编程语言和编程技术来实现特定实施例的例程。可以采用诸如程序或面向对象的不同编程技术。该例程可以在单个处理设备或多个处理器上执行。尽管可以以特定顺序呈现步骤、操作或计算,但是在不同的特定实施例中可以改变顺序。在一些特定实施例中,在本说明书中被示为顺序的多个步骤可以同时执行。已经描述许多实施方式。用条件语言描述的特征可以描述可选的实施方式。如本领域的技术人员所知,本公开中描述的功能块、方法、设备和系统可以被集成或划分为系统、设备和功能块的不同组合。尽管已经相对于其特定实施方式描述了描述,但是这些特定实施方式仅是说明性的,而不是限制性的。示例中图示的概念可以应用于其他示例和实施方式。因此,可以在不脱离本公开的精神和范围的情况下进行各种修改,并且其他实施方式在所附权利要求的范围内。

本文描述的方法可以通过可以在计算机上执行的计算机程序指令或代码来实现。在一些实施方式中,代码可以由一个或多个数字处理器(例如,微处理器或其他处理电路)实现,并且可以存储在计算机程序产品上,其包括非暂时性计算机可读介质(例如,存储介质),诸如磁、光、电磁或半导体存储介质,包括半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(ram)、只读存储器(rom)、闪存、硬磁盘、光盘、固态存储器驱动等等。程序指令还可以包含在电子信号中,并作为电子信号提供,例如,以从服务器(例如,分布式系统和/或云计算系统)传递的软件即服务(saas)的形式。可替选地,可以以硬件(逻辑门等)或以硬件和软件的组合来实现一种或多种方法。示例硬件可以是可编程处理器(例如,现场可编程门阵列(fpga)、复杂可编程逻辑设备)、通用处理器、图形处理器、专用集成电路(asic)等。可以将一种或多种方法作为在系统上运行的应用的一部分或组成部分,或作为与其他应用734和操作系统736一起运行的应用或软件来执行。

尽管已经关于其特定实施方式描述了描述,但是这些特定实施方式仅是说明性的,而不是限制性的。示例中图示的概念可以应用于其他示例和实施方式。

在此处讨论的某些实施方式可以收集或使用关于用户的个人信息(例如,用户数据、关于用户的社交网络的信息、用户的位置和在该位置的时间、用户的生物特征信息、用户的活动和人口统计信息)的情况下,为用户提供一个或多个机会来控制是否收集信息、是否存储个人信息、是否使用个人信息以及如何收集、存储和使用有关用户的信息。也就是说,特别在从相关用户接收到这样做的明确的授权后,本文讨论的系统和方法收集、存储和/或使用用户的个人信息。在一些实施例中,向用户提供对程序或特征是否收集关于该特定用户或与程序或特征相关的其他用户的用户信息的控制。向要为其收集个人信息的每个用户呈现一个或多个选项,以允许控制与该用户有关的信息收集,以提供关于是否收集信息以及信息的哪些部分要被收集的许可或授权。在一些实施例中,可以通过通信网络向用户提供一个或多个这样的控制选项。另外,在存储或使用某些数据之前,可能会以一种或多种方式处理某些数据,使得移除个人可识别信息。在一些实施方式中,可以处理用户的身份,使得不能确定个人可识别信息。作为另一示例,用户设备的地理位置可以被概括为更大的区,使得不能确定用户的特定位置。

如本领域的技术人员所知,可以将本公开中描述的功能块、操作、特征、方法、设备和系统集成或划分为系统、设备和功能块的不同组合。可以使用任何适当的编程语言和编程技术来实现特定实施方式的例程。可以采用不同的编程技术,例如,过程的或面向对象的。该例程可以在单个处理设备或多个处理器上执行。尽管可以以特定顺序呈现步骤、操作或计算,但是在不同的特定实施方式中可以改变顺序。在一些实施方式中,可以同时执行在本说明书中被示为顺序的多个步骤或操作。

因此,总而言之,本文所述的实施方式总体上涉及将相机锁定在子区上以利用移动的相机捕获子区的图像。在一些实施方式中,一种方法包括在相机处于第一物理方位时确定由相机检测到的场景中的第一区。该方法进一步包括:接收用户输入以瞄准场景的第一捕获区内的子区;以及在相机处于第一物理方位时捕获子区的第一图像。第一图像以固定的定向显示在显示屏的预览部分上。将相机移动到第二物理方位,并且检测场景的第二捕获区。该方法还包括捕获该子区的第二图像,以及以固定的定向将其显示在显示屏的预览部分上。第二图像对通知用户该子区的捕获是否由于相机的移动而更改是有效的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1