用于创建经排序的图像的可操纵视图的系统及方法
【专利说明】用于创建经排序的图像的可操纵视图的系统及方法
[0001 ] 相关申请案的交叉参考
[0002]本申请案涉及2013年7月30日申请的标题为“用于创建可操纵视图的方法(METHODFOR CREATING NAVIGABLE VIEWS)”序列号为61/859,935的美国临时专利申请案及2013年7月30日申请的标题为“用于创建可操纵视图的系统(SYSTEM FOR CREATING NAVIGABLEVIEWS)”序列号为61/859,941的美国临时专利申请案，且本申请案主张前述两个临时专利申请案的优先权。上述共同待决的临时申请案的揭示内容特此以全文引用的方式并入。
技术领域
[0003]本发明大体上涉及数字图像处理领域，且特定来说，涉及用于创建消费者媒体集合中的可操纵视图及演示的系统及方法。
【背景技术】
[0004]数码相机及智能电话的激增已导致大量数字图像及视频的出现，从而产生大的个人图像及视频数据库。由于拍摄数字照片及视频是容易的且几乎免费的，因此消费者不再将拍摄照片限于重要事件及特殊场合。图像及视频被频繁地捕获，且成为消费者日常生活中每天都要发生的事情。由于一般用户已积累许多年的数字图像及视频，因此浏览数字图像及视频的集合来创建幻灯片放映或可操纵多媒体演示对于消费者来说是耗时的过程。
[0005]从消费者图像及包含音乐声轨的视频帧汇编而成的数字幻灯片放映是众所周知的。与从模拟到数字摄像的许多转换形式一样，数字幻灯片未能相对于其模拟对应物在很大程度上增强用户体验，且未充分利用数字处理及媒体的潜能。除了数字转换及音乐节拍导出的演示时序之外，图像随着声轨播放而按顺序呈现，与模拟幻灯片放映一样。用户通常拍摄人物及对象的照片，而将背景作为次要考虑因素，除非用户在拍摄日落或风景。由于人物及对象提供摄像的主要动机，因此其还应作为呈现所得图像的主要考虑因素。图像编辑软件(例如，Adobe “后效应”(Adobe “After Effects”))用于创建运动图形及视觉效应且允许用户借助于各种内置工具及第三方插件以及对如视差的变量的个人关注及用户可调整的观察角度而在2D及3D空间中把媒体制成动画效果、改变及合成媒体。问题在于学习及使用如上述图像编辑软件的工具非常复杂，且需要熟练的专业图形绘制技术人员。使用经提取的对象、人物或所关注的区域、基于主题的“脚本”、及经导引的用户选择、多个选择选项，创建动画的/可操纵的多媒体演示的整个过程可为自动的。本发明提供一种自动化方法以使创建针对用户的图像集合的有趣且个性化的多媒体演示及可操纵视图的繁琐过程更容易Ο
【发明内容】
[0006]根据本发明，提供一种用于使用多个经排序的图像来创建可操纵视图的系统及方法，其包括:接收多个数字图像;使用处理器来计算所述多个数字图像中的每一者的一组特征点；选择所述多个数字图像中的一者作为参考图像;识别所述参考图像中显著的所关注的区域;使用所述处理器来使用针对其它数字图像中的每一者而计算的所述组特征点来识别含有与所述参考图像中所述显著的所关注的区域类似的所关注的区域的所述多个图像中的其它数字图像;指定针对所述参考图像或所述经识别的一组类似图像中的一者中所述显著的所关注的区域的参考位置;使用所述处理器来将所述其它数字图像与含有所述经指定的参考位置的图像对准;将含有所述经指定的参考位置的图像及所述其它数字图像进行排序；以及产生显示所述经排序的数字图像的可操纵视图。
[0007]现有消费者图像集合可经组织及集成以创建虚拟环境。通过使用计算机视觉及模式辨识技术，图像集合的演示及操纵变成与常规“模拟式”数字幻灯片放映相反的交互式、沉浸式、非线性体验。本发明旨在通过对数字图像的群组中显著的反复出现的所关注的区域(R0I)或对象的进行识别来促进可操纵多媒体演示。通过将参考图像中的关键点与目标图像中的关键点进行匹配来识别显著的反复出现的R0I或对象。因此，冗余、较不受关注的图像可获得作为用于创建虚拟背景的潜在材料的价值。这与现有图像集合(即，无需准备或特殊捕获需求)兼容。此外，反复出现的静止对象可用作到额外信息或操纵点的超链接。用户可独立地选择背景及对象以创建适于打印及共享的场景。
【附图说明】
[0008]图1展示根据本发明的实施例的系统的框图；
[0009]图2描述根据本发明的实施例的方法的流程图；
[0010]图3描述图2的框102的流程图；
[0011]图4展示根据本发明的实施例的出现在两个不同图像中的同一对象的SIFT关键点的匹配的实例；
[0012]图5A展示根据本发明的实施例的按时间顺序的图像顺序；
[0013]图5B展示根据本发明的实施例的按人物的数目来排序的图像；
[0014]图5C展示根据本发明的实施例的按年龄来排序的具有单个人物的图像；
[0015]图f5D展示根据本发明的实施例的按时间来排序的具有同一人物的图像;及
[0016]图6展示根据本发明的实施例的经由缩放及裁剪的对准的实例。
【具体实施方式】
[0017]如所属领域的技术人员将熟知，本发明可在计算机系统中实施。在以下描述中，本发明的一些实施例将被描述为软件程序。所属领域的技术人员将容易认识到，此方法的等效物还可被解释为本发明范围内的硬件或软件。
[0018]因为图像处理算法及系统是众所周知的，所以本描述将尤其涉及形成根据本发明的方法的部分或更直接地与根据本发明的方法协作的算法及系统。此类算法及系统的其它方面，以及用于产生及以其它方式处理其中所涉及的图像信号的硬件或软件(本文未特定展示或描述)可从所属领域已知的此类系统、算法、组件及元件中选择。鉴于如以下说明书中所阐述的描述，本发明的所有软件实施方案为常规的且在所属领域的技术人员理解范围之内。
[0019]集合中的视频在描述的其余部分中包含于术语“图像”中。
[0020]本发明可在计算机硬件及计算机化设备中实施。举例来说，可在数码相机、多媒体智能电话、数字打印机中执行所述方法，可在因特网服务器、自助服务终端及个人计算机上执行所述方法。参考图1，图1说明用于实施本发明的计算机系统。尽管出于说明根据本发明的实施例的目的展示所述计算机系统，但本发明不限于所展示的计算机系统，而是可用在任何电子处理系统(例如，数码相机、家用计算机、自助服务终端中的电子处理系统)或用于数字图像处理的任何其它系统上。计算机10包含基于微处理器的单元20(本文也称作处理器)，其用于接收及处理软件程序且用于执行其它处理功能。存储器单元30存储用户供应及计算机生成的数据，所述数据可由处理器20在运行计算机程序时存取。显示装置(例如，监视器)70(例如，通过图形用户接口)电连接到计算机10用于显示与软件相关联的信息及数据。键盘60也连接到所述计算机。作为对使用键盘60进行输入的替代，可使用鼠标来移动显示装置70上的选择器且用于选择所述选择器覆盖的项，如在所属领域中为众所周知的。输入装置50(例如，光盘(CD)及DVD)可插入计算机10以用于将软件程序及其它信息输入计算机10及处理器20。此外，如在所属领域中为众所周知的，计算机10可经编程以用于内部存储软件程序。此外，媒体文件(例如，图像、音乐及视频)可通过输入装置50(例如，存储卡、随身盘、CD及DVD)被传送到计算机10的存储器30，或通过将捕获装置(例如，摄像机、蜂窝电话及视频记录器)作为输入装置直接连接到计算机10来将所述媒体文件传送到计算机10的存储器30。计算机10可具有到外部网络(例如，局域网或因特网)的网络连接(例如，电话线或无线连接80)。软