一种辅助拍摄的方法及其装置制造方法
【专利摘要】本发明提供一种辅助拍摄的方法及其装置，应用于拍摄设备，该装置包括：特征提取模块，用于对拍摄设备对准的拍摄场景进行识别，提取图像特征；图片搜索模块，用于根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版；图片显示模块，用于将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。本发明能够在照片的拍摄过程中向用户提供构图和取景的参考摄影作品，辅助用户进行照片拍摄。
【专利说明】一种辅助拍摄的方法及其装置
【技术领域】
[0001]本发明涉及照片拍摄领域，尤其涉及一种辅助拍摄的方法及其装置。
【背景技术】
[0002]随着人们生活水平的提高，常常需要采用拍摄装置来拍摄高分辨率的数码来增加生活情趣。拍摄一张好的照片，不仅仅需要好的摄影器材，更需要好的构图，色彩和光线的组合。构图和取景的技巧，往往与个人的经验和审美素养有关，需要长时间的学习，摸索和积累。自从照相机发明以来，照相器材厂商就一直致力于教育用户如何拍摄好的，具有美感的照片。而对于广大用户来说，通过看书，上网学习，或者上课的方式来获得拍摄的技巧，需要花费大量时间，除非特别有兴趣的，很难坚持下来。
[0003]因此，如何在用户拍摄过程中提供构图和取景的指导，成为拍摄装置亟待解决的技术问题。
【发明内容】
[0004]有鉴于此，本发明提供一种辅助拍摄的方法及其装置，其能够在照片的拍摄过程中向用户提供构图和取景的参考摄影作品，辅助用户进行照片拍摄。
[0005]本发明提供一种辅助拍摄的装置，应用于拍摄设备，包括:
[0006]特征提取模块，用于对拍摄设备对准的拍摄场景进行识别，提取图像特征；
[0007]图片搜索模块，用于根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版；
[0008]图片显示模块，用于将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。
[0009]进一步，本发明还包括信息获取模块，用于将传感器获取的所述拍摄场景信息提供给所述图片搜索模块，所述图片搜索模块结合所述图像特征和所述拍摄场景信息在所述图片库中进行搜索。
[0010]进一步，本发明所述拍摄场景信息包括拍摄场景的全球定位系统GPS信息和/或拍摄角度信息。
[0011]进一步，本发明所述特征提取模块包括:
[0012]类别特征提取单元，用于在所述拍摄场景的整幅图片以及分割的子区域图片分别提取类别特征作为图像特征。
[0013]进一步，本发明所述特征提取模块包括:
[0014]人脸信息提取单元，用于在所述拍摄场景中提取人脸特征；
[0015]和/或姿态信息提取单元，用于在所述拍摄场景中提取人体姿势特征。
[0016]进一步，本发明所述特征提取模块包括:
[0017]底层特征提取单元，用于在所述拍摄场景中提取图像的颜色直方图、边缘分布直方图、纹理描述子其中之一或者任意组合。[0018]进一步，本发明所述图片搜索模块包括:
[0019]前端过滤单元，用于将图片库中和所述拍摄场景的图像特征不属于同一类别的图片过滤掉；
[0020]结果排序单元，用于将剩余的图片按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序。
[0021]进一步，本发明采用贪婪算法向所述图片库中添加图片。
[0022]进一步，本发明所述图片显示模块采用相邻放置、半透明叠加、动态叠加其中任一将所述接近的图片进行显示。
[0023]本发明还提供一种辅助拍摄的方法，应用于拍摄设备，所述方法包括:
[0024]对拍摄设备对准的拍摄场景进行识别，提取图像特征；
[0025]根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄1吴版；
[0026]将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。
[0027]进一步，本发明所述根据所述图像特征，在图片库中进行搜索包括:根据传感器获取的所述拍摄场景信息结合所述图像特征和所述拍摄场景信息在所述图片库中进行搜索。
[0028]进一步，本发明所述拍摄场景信息包括拍摄场景的全球定位系统GPS信息和/或拍摄角度信息。
[0029]进一步，本发明所述对拍摄设备对准的拍摄场景进行识别，提取图像特征包括:
[0030]在所述拍摄场景的整幅图片以及分割的子区域图片分别提取类别特征作为图像特征。
[0031]进一步，本发明所述对拍摄设备对准的拍摄场景进行识别，提取图像特征包括:
[0032]在所述拍摄场景中提取人脸特征；
[0033]和/或在所述拍摄场景中提取人体姿势特征。
[0034]进一步，本发明所述对拍摄设备对准的拍摄场景进行识别，提取图像特征包括:
[0035]在所述拍摄场景中提取图像的颜色直方图、边缘分布直方图、纹理描述子其中之一或者任意组合。
[0036]进一步，本发明所述根据图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片包括:
[0037]将图片库中和所述拍摄场景的图像特征不属于同一类别的图片过滤掉；
[0038]将剩余的图片按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序。
[0039]进一步，本发明采用贪婪算法向所述图片库中添加图片。
[0040]进一步，本发明所述将所述接近的图片进行显示采用相邻放置、半透明叠加、动态叠加其中任一将所述接近的图片进行显示。
[0041]由技术方案可见，本发明通过对拍摄设备对准的拍摄场景进行识别，提取图像特征以及根据图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版。从而，将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。让用户即时从参考的作品中学习构图技巧，获取灵感，在实地场景中模仿，从而快速提高了当前照片的拍摄质量。【专利附图】
【附图说明】
[0042]图1是本发明辅助拍摄的装置的结构示意图；
[0043]图2是本发明提取类别特征信息的示意图；
[0044]图3是本发明提取人脸特征信息的示意图；
[0045]图4是本发明辅助拍摄的方法流程图。
【具体实施方式】
[0046]下面结合本发明附图具体说明本发明实现。
[0047]本发明通过对拍摄设备对准的拍摄场景进行识别，提取图像特征以及根据图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版。从而，将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。让用户即时从参考的作品中学习构图技巧，获取灵感，在实地场景中模仿，从而快速提高了当前照片的拍摄质量。
[0048]参见图1，本发明提供一种辅助拍摄的装置1，应用于拍摄设备，比如照相机，或者具有照相功能的便携装置。
[0049]所述装置包括:
[0050]特征提取模块11，用于对拍摄设备对准的拍摄场景进行识别，提取图像特征。
[0051]图片搜索模块12，用于根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版。
[0052]图片显示模块13，用于将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。
[0053]本发明图片库中存储可以作为拍摄参考作品的图片或者拍摄模板，用户可以即时从辅助拍摄的装置I提供的参考作品(接近的图片或者拍摄模版)中学习构图技巧，获取灵感，在实地场景中模仿，从而快速提高了当前照片的拍摄质量。
[0054]进一步，本发明还包括信息获取模块14，用于将传感器获取的所述拍摄场景信息提供给所述图片搜索模块12，所述图片搜索模块12结合所述图像特征和所述拍摄场景信息在所述图片库中进行搜索。
[0055]进一步，本发明所述拍摄场景信息包括拍摄场景的全球定位系统GPS信息和/或拍摄角度信息。
[0056]具体地，所述GPS信息和拍摄角度信息可以分别从拍摄设备的GPS，陀螺仪和指南针中获得。
[0057]在具体实现中，本发明所述特征提取模块11不仅仅对拍摄场景中是否包含人物，拍摄场景为大海、沙漠、森林等简单特征进行提取，还进一步对拍摄场景中景物的特征信息进行详细统计，对拍摄场景中人物的人脸信息、姿势信息等进行提取。
[0058]进一步，本发明所述特征提取模块11包括:
[0059]类别特征提取单元，用于在所述拍摄场景的整幅图片以及分割的子区域图片分别提取类别特征作为图像特征。
[0060]例如，为了保留一定的图片位置构成信息，本发明在拍摄场景的整幅图片中划分4个子区域，每个区域提取分别提取类别特征信息，再加上从原图中提取的类别特征信息，总共五个向量。参见图2，将整幅图片划分为4个子区域，加上原图共五个区域。根据图2中天、水、桥作为类别特征信息，则五个区域的向量分别如图所示，该五个向量作为类别特征提取单元提取的图像特征。
[0061]进一步，本发明所述特征提取模块11包括:
[0062]人脸信息提取单元，用于在所述拍摄场景中提取人脸特征。
[0063]在具体实现中，对于人脸特征，本发明将所述拍摄场景图片分隔成3x3的区域，每个区域统计所有的人脸检测数目，从而构成区域直方图作为人脸特征。
[0064]参见图3，将图片分割成3x3的区域，统计每个区域所包含人脸的数目，如果包含半个人脸则计为0.5，例如中心区域包含0.7个人脸。本实施例利用区域直方图作为人脸特征，本领域技术人员亦可选择其他方式来标示图片中的人脸信息。
[0065]进一步，本发明所述特征提取模块11还可以包括:
[0066]姿态信息提取单元，对图片采用人体姿势检测算法(参考文献:LubomirBourdev, Jitendra Malik, Poselets:Body Part Detectors Trained Using3D Human PoseAnnotations, International Conference on Computer Vision2009)进行计算，然后对检测出的图片中人体姿势进行分类，如站立，坐，跑步，躺着，然后同人脸一样计算分布直方图。将图片分割成3x3的区域，统计每个区域所包含人体姿势的数目。
[0067]所述特征提取模块包括:
[0068]底层特征提取单元，用于在所述拍摄场景中提取图像的颜色直方图、边缘分布直方图、纹理描述子其中之一或者任意组合。其具体提取方法为本领域公知常识(参考文献:Thomas Deselaers, Daniel Keysers, Hermann Ney, "Features for image retrieval: anexperimental comparison", Information Retrieval, volll, no2, pp77-107, 2008),故在此不再赘述。
[0069]进一步，本发明所述图片搜索模块包括:
[0070]前端过滤单元，用于将图片库中和所述拍摄场景的图像特征不属于同一类别的图片或者拍摄模版过滤掉；
[0071]结果排序单元，用于将剩余的图片或者拍摄模版按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序。
[0072]例如，若本发明所述拍摄场景的图像为人物图片，所述前端过滤单元则过滤掉所有不包含人物的图片；若本发明所述拍摄场景的图像为海边，所述前端过滤单元则过滤掉所有不包含大海(如草原)的图片。这样，可以进一步节约图片搜索模块的处理速度。并且，结果排序单元按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序可以令最接近拍摄场景的图片或者拍摄模版最先显示，提升用户体验。
[0073]另外，所述前端过滤单元还可以进一步结合信息获取模块14获取的拍摄场景的全球定位系统GPS信息和/或拍摄角度信息对图片库进行过滤。所述结果排序单元亦可在进行排序时，结合信息获取模块14获取的拍摄场景的全球定位系统GPS信息和/或拍摄角度信息完成排序。
[0074]在结果排序单元还可以有多种排序模式，用户可以通过用户界面进行自定义设置。[0075]进一步，本发明采用贪婪算法向所述图片库中添加图片。
[0076]在本发明的实际应用中，图片库需要选择具有高质量拍摄水准的照片，又要尽量覆盖用户所可能拍摄的各种场景，同时，为了避免过多的参考照片加大在拍摄设备安装下载的负担，可以利用贪婪算法过滤在图片库里已有类似的图片。在具体每次添加一张新图片到图片库前，计算该图片与图片库中与该图片最近的一张图片的差异度，如果所述差异度小于一定阈值，则不添加这张图片，否则添加这张图片。
[0077]进一步，本发明所述图片显示模块采用相邻放置、半透明叠加、动态叠加其中任一将所述接近的图片或者拍摄模版进行显示。
[0078]在具体实现中，为了将搜索到的图片或者拍摄模版以最好的方式展示给用户，以让用户最大程度地拿搜索到的图片或者拍摄模版和当前场景做对比，以便调整，模仿搜索到的图片或者拍摄模版的构图形式，可以采用以下几种方式将所述搜索到的图片或者拍摄模版进行显示:
[0079]1.相邻放置一现实场景与搜索到的图片或者拍摄模版上下相邻或者左右相邻放置。
[0080]2.半透明叠加一搜索到的图片或者拍摄模版以一定透明度叠加在现实场景上。
[0081]3.动态叠加一搜索到的图片或者拍摄模版以一定透明度叠加在现实场景上，但是透明度是以动态的方式从100%到0%再返回到100%，不断循环。
[0082]4.动画叠加-搜索到的图片或者拍摄模版和实时照片中背景的区别被用来生成箭头，指导如何放置照相机的位置和角度；搜索到的图片或者拍摄模版和实时照片中背景的区别被用来指导如何放置照相机的位置和角度以获取和推荐照片最相似效果；搜索到的图片或者拍摄模版和实时照片中前景的区别被用来生成提示文字，箭头，指导如何拍摄最合适的表情和姿态。
[0083]对应于上述装置，本发明还提供一种辅助拍摄的方法，应用于拍摄设备。
[0084]参看图4,所述方法包括:
[0085]S1、对拍摄设备对准的拍摄场景进行识别，提取图像特征。
[0086]S2、根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄1吴版。
[0087]S3、将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。
[0088]用户可以即时从辅助拍摄的装置I提供的参考作品中学习构图技巧，获取灵感，在实地场景中模仿，从而快速提高了当前照片的拍摄质量。
[0089]进一步，本发明所述根据所述图像特征，在图片库中进行搜索包括:根据传感器获取的所述拍摄场景信息结合所述图像特征和所述拍摄场景信息在所述图片库中进行搜索。
[0090]进一步，本发明所述拍摄场景信息包括拍摄场景的全球定位系统GPS信息和/或拍摄角度信息。
[0091]具体地，所述GPS信息和拍摄角度信息可以分别从拍摄设备的GPS和指南针中获得。
[0092]进一步,本发明步骤SI包括:
[0093]在所述拍摄场景的整幅图片以及分割的子区域图片分别提取类别特征作为图像特征。
[0094]进一步，本发明步骤SI包括:
[0095]在所述拍摄场景中提取人脸特征；
[0096]和/或在所述拍摄场景中提取人体姿势特征。
[0097]进一步,本发明步骤SI包括:
[0098]在所述拍摄场景中提取图像的颜色直方图、边缘分布直方图、纹理描述子其中之一或者任意组合。
[0099]进一步，本发明所述根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片包括:
[0100]将图片库中和所述拍摄场景的图像特征不属于同一类别的图片或者拍摄模版过滤掉；
[0101]将剩余的图片或者拍摄模版按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序。
[0102]进一步，本发明采用贪婪算法向所述图片库中添加图片。
[0103]进一步，本发明所述将所述接近的图片或者拍摄模版进行显示采用相邻放置、半透明叠加、动态叠加其中任一将所述接近的图片进行显示。
[0104]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【权利要求】
1.一种辅助拍摄的装置，应用于拍摄设备，其特征在于，包括: 特征提取模块，用于对拍摄设备对准的拍摄场景进行识别，提取图像特征； 图片搜索模块，用于根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版； 图片显示模块，用于将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。
2.根据权利要求1所述的装置，其特征在于，还包括信息获取模块，用于将传感器获取的所述拍摄场景信息提供给所述图片搜索模块，所述图片搜索模块结合所述图像特征和所述拍摄场景信息在所述图片库中进行搜索。
3.根据权利要求2所述的装置，其特征在于，所述拍摄场景信息包括拍摄场景的全球定位系统GPS信息和/或拍摄角度信息。
4.根据权利要求1所述的装置，其特征在于，所述特征提取模块包括: 类别特征提取单元，用于在所述拍摄场景的整幅图片以及分割的子区域图片分别提取类别特征作为图像特征。
5.根据权利要求1或4所述的装置，其特征在于，所述特征提取模块包括: 人脸信息提取单元，用于在所述拍摄场景中提取人脸特征； 和/或姿态信息提取单元，用于在所述拍摄场景中提取人体姿势特征。
6.根据权利要求1或4所述的装置，其特征在于，所述特征提取模块包括: 底层特征提取单元，用于在所述拍摄场景中提取图像的颜色直方图、边缘分布直方图、纹理描述子其中之一或者任意组合。
7.根据权利要求1所述的装置，其特征在于，所述图片搜索模块包括: 前端过滤单元，用于将图片库中和所述拍摄场景的图像特征不属于同一类别的图片过滤掉； 结果排序单元，用于将剩余的图片按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序。
8.根据权利要求1所述的装置，其特征在于，采用贪婪算法向所述图片库中添加图片。
9.根据权利要求1所述的装置，其特征在于，所述图片显示模块采用相邻放置、半透明叠加、动态叠加其中任一将所述接近的图片进行显示。
10.一种辅助拍摄的方法，应用于拍摄设备，其特征在于，所述方法包括: 对拍摄设备对准的拍摄场景进行识别，提取图像特征； 根据所述图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片或者拍摄模版； 将所述接近的图片或者拍摄模版进行显示，作为照片拍摄中构图和取景的参考。
11.根据权利要求10所述的方法，其特征在于，所述根据所述图像特征，在图片库中进行搜索包括:根据传感器获取的所述拍摄场景信息结合所述图像特征和所述拍摄场景信息在所述图片库中进行搜索。
12.根据权利要求11所述的方法，其特征在于，所述拍摄场景信息包括拍摄场景的全球定位系统GPS信息和/或拍摄角度信息。
13.根据权利要求10所述的方法，其特征在于，所述对拍摄设备对准的拍摄场景进行识别，提取图像特征包括: 在所述拍摄场景的整幅图片以及分割的子区域图片分别提取类别特征作为图像特征。
14.根据权利要求10或13所述的方法，其特征在于，所述对拍摄设备对准的拍摄场景进行识别，提取图像特征包括: 在所述拍摄场景中提取人脸特征； 和/或在所述拍摄场景中提取人体姿势特征。
15.根据权利要求10或13所述的方法，其特征在于，所述对拍摄设备对准的拍摄场景进行识别，提取图像特征包括: 在所述拍摄场景中提取图像的颜色直方图、边缘分布直方图、纹理描述子其中之一或者任意组合。
16.根据权利要求10所述的方法，其特征在于，所述根据图像特征，在图片库中进行搜索，获得和所述拍摄场景接近的图片包括: 将图片库中和所述拍摄场景的图像特征不属于同一类别的图片过滤掉； 将剩余的图片按照其图像特征相对于所述拍摄场景的图像特征的空间距离进行排序。
17.根据权利要求10所述的方法，其特征在于，采用贪婪算法向所述图片库中添加图片。
18.根据权利要求10所述的方法，其特征在于，所述将所述接近的图片进行显示采用相邻放置、半透明叠加、动态叠加其中任一将所述接近的图片进行显示。
【文档编号】H04N5/232GK103929597SQ201410184181
【公开日】2014年7月16日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】俞天力, 冉阳 申请人:杭州摩图科技有限公司