一种增强现实ar的拍摄方法、装置及智能终端的制作方法
【专利摘要】本发明实施例公开了一种增强现实AR的拍摄方法、装置及智能终端。该方法包括：启动智能终端中的摄像头，并监测是否存在AR拍摄事件；在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理；依据AR处理后的图像得到拍摄结果。本发明实施例中，在拍摄过程对摄像头采集到的图像进行AR处理，相比于先拍摄得到拍摄结果，再对拍摄结果进行AR处理，简化了用户操作，提升了用户体验的满意度。
【专利说明】
一种増强现实AR的拍摄方法、装置及智能终端
技术领域
[0001]本发明涉及图像处理技术领域，尤其是一种增强现实AR的拍摄方法、装置及智能终端。【背景技术】
[0002]增强现实(Augmented Reality，AR)，把原本在现实世界的一定时间空间范围内很难体验到的实体信息例如，视觉信息、声音、味道或触觉等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称AR技术。
[0003]然而，目前AR技术主要应用于对拍摄得到的图像进行后处理，需要用户人工从拍摄结果中选择待处理图像，才能对待处理图像进行AR处理，操作繁琐，即目前尚且缺乏将AR 技术应用于拍摄过程中的技术方案。
【发明内容】
[0004]本发明实施例的目的在于提供一种增强现实AR的拍摄方法、装置及智能终端，以实现在拍摄过程对摄像头采集到的图像进行AR处理，简化了用户操作。
[0005]第一方面，本发明实施例提供了一种增强现实AR的拍摄方法，包括:
[0006]启动智能终端中的摄像头，并监测是否存在AR拍摄事件；
[0007]在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理；
[0008]依据AR处理后的图像得到拍摄结果。
[0009]第二方面，本发明实施例提供了一种增强现实AR的拍摄装置，包括:
[0010]摄像头启动t吴块，用于启动智能终端中的摄像头；[〇〇11]拍摄监测模块，用于监测是否存在AR拍摄事件；
[0012]图像处理模块，用于在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理；[〇〇13]拍摄结果模块，用于依据AR处理后的图像得到拍摄结果。[〇〇14]第三方面，本发明实施例提供了一种智能终端，包括本发明任意实施例提供的增强现实AR的拍摄装置。
[0015]本发明实施例提供的技术方案，通过在智能终端中的摄像头拍摄过程中，若监测至IJAR拍摄事件，则对取景框中展示的通过摄像头采集到的图像进行AR处理，并依据采集处理后的图像得到拍摄结果，即，该方法实现了在拍摄过程对摄像头采集到的图像进行AR处理，相比于先拍摄得到拍摄结果，再对拍摄结果进行AR处理，简化了用户操作，提升了用户体验的满意度。【附图说明】
[0016]图la为本发明实施例一提供的AR的拍摄方法的流程示意图；
[0017]图lb为本发明实施例一提供的AR图像处理效果示意图；
[0018]图2为本发明实施例二提供的AR的拍摄方法的流程示意图；
[0019]图3为本发明实施例三提供的AR的拍摄方法的流程示意图；
[0020]图4为本发明实施例四提供的AR的拍摄装置的结构示意图；
[0021]图5为本发明实施例五提供的智能终端的结构示意图。【具体实施方式】
[0022]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。[〇〇23] 实施例一[〇〇24]图la为本发明实施例一提供的AR的拍摄方法的流程示意图，该方法可以由AR的拍摄装置执行，其中该装置可以由软件和/或硬件实现，可作为智能终端的一部分被内置在智能终端内部。如图la所示，该实现流程包括:
[0025]步骤11、启动智能终端中的摄像头，并监测是否存在AR拍摄事件。
[0026]其中，智能终端指的是诸如智能手机、平板电脑和个人计算机之类的电子产品，且智能终端中设置有摄像头。具体的，可以依据用户操作启动摄像头，也可以通过即时通讯应用的摄像头接口启动摄像头，如通过聊天应用的摄像头接口启动摄像头。
[0027]具体的，可以依据用户操作控制摄像头处于AR拍摄模式，如检测到用户选择AR拍摄选项时，使摄像头处于AR拍摄模式，也可以依据拍摄对象的类型控制摄像头处于AR拍摄模式，如若拍摄对象为人物图像或景物图像，则控制摄像头处于AR拍摄模式，此时监测到AR 拍摄事件。
[0028]步骤12、在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理。
[0029]具体的，在摄像头拍摄过程中，智能终端的取景框中展示通过摄像头采集到的图像，监测到AR拍摄事件时，采用图像识别技术对取景框中展示的图像进行识别，并依据识别结果确定展示的图像中包含的AR目标，并对AR目标进行AR处理。参考图lb，可以在包含奔跑姿势的图像中增加月亮虚拟图片、星星虚拟图片和汗水虚拟图片等。
[0030]步骤13、依据AR处理后的图像得到拍摄结果。
[0031]具体的，在图像拍摄过程中，可以直接将AR处理后的图像作为拍摄结果，在视频拍摄过程中，可以对AR处理后的图像进行编码以得到拍摄结果。
[0032]本实施例提供的技术方案，通过在智能终端中的摄像头拍摄过程中，若监测到AR 拍摄事件，则对取景框中展示的通过摄像头采集到的图像进行AR处理，并依据采集处理后的图像得到拍摄结果，即，该方法实现了在拍摄过程对摄像头采集到的图像进行AR处理，相比于先拍摄得到拍摄结果，再对拍摄结果进行AR处理，简化了用户操作，提升了用户体验的满意度。
[0033]示例性的，监测是否存在AR拍摄事件，可以包括:
[0034]采用图像识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像中是否包含特征景物；
[0035]若包含特征景物，则监测到存在AR拍摄事件。
[0036]在本实施例中，特征景物指的是预先设定的预期作AR处理的景物，如特征景物可以包括太阳、月亮、星星或白云等。特征景物可以统一设定，也可以依据用户需求进行个性化设定。[〇〇37] 实施例二[〇〇38]本实施例在上述实施例一的基础上，提供了一种新的AR的拍摄方法。图2为本发明实施例二提供的AR的拍摄方法的流程示意图，如图2所示，该实现流程包括:[〇〇39]步骤21、启动智能终端中的摄像头。
[0040]步骤22、采用人脸识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像是否为人物图像。
[0041]具体的，采用人脸识别技术确定取景框中展示的图像是否包含人脸，若包含，则确定取景框中展示的图像为人物图像;否则，确定取景框中展示的图像为非人物图像。需要说明的是，若取景框展示的图像为非人物图像，则可以继续采用人脸识别技术，确定摄像头新采集到的图像是否为人物图像。
[0042]步骤23、若为人物图像，则识别所述人物图像中是否包含特征姿势。[〇〇43]在本实施例中，特征姿势指的是预先设定的预期作AR处理的人物姿势，如特征姿势可以包括奔跑、吹气、双手合十、哭泣或者拥抱等姿势。特征姿势可以统一设定，也可以依据用户需求进行个性化设定。
[0044]具体的，采用图像识别技术识别人物图像中是否包含奔跑、呼喊、吹气或双手合十等特征姿势，若包含，则获取人物图像中包含的特征姿势。若识别到人物图像中不包含特征姿势，则可以继续采用人脸识别技术及图像识别技术，确定摄像头新采集到的图像是否包含特征姿势。
[0045]步骤24、若包含特征姿势，则监测到存在AR拍摄事件。
[0046]步骤25、在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理。[〇〇47]具体的，在监测到AR拍摄事件时，则人物图像中包含的特征姿势作为待处理的AR 目标，并对特征姿势进行AR处理。需要说明的是，本实施例中对特征姿势进行AR处理的方式不作具体限定，只需通过在特征姿势对应位置增加虚拟画面以调整待处理图像的显示效果即可。[〇〇48]步骤26、依据AR处理后的图像得到拍摄结果。[〇〇49]本实施例提供的技术方案，通过在智能终端中的摄像头拍摄过程中，确定智能终端的取景框中展示的图像是否为包含特征姿势的人物图像，若是，则监测到AR拍摄事件，并对取景框展示的图像中包含的特征姿势进行AR处理，且依据AR处理后的图像得到拍摄结果，即，该方法实现了在拍摄过程中对人物图像中包含的特征姿势进行AR处理，进一步丰富了用户体验，提升了用户体验的满意度。
[0050]实施例三
[0051]本实施例在上述实施例二的基础上，提供了一种新的AR的拍摄方法。图3为本发明实施例三提供的AR的拍摄方法的流程示意图，如图3所示，该实现流程包括:[0〇52]步骤31、启动智能终端中的摄像头。
[0053]步骤32、采用人脸识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像是否为人物图像。[〇〇54]步骤33、若为人物图像，则识别所述人物图像中是否包含特征姿势。[〇〇55]步骤34、若包含特征姿势，则监测到存在AR拍摄事件。
[0056]步骤35、在监测到AR拍摄事件时，确定所述人物图像包含的特征姿势的优先级。
[0057]具体的，可以依据特征姿势对应的肢体位置预先设定优先级，例如，头部姿势的优先级高于手部姿势的优先级，手部姿势的优先级高于脚部姿势的优先级等。[〇〇58]特征姿势的优先级也可以依据对待处理图像的图像识别结果确定。示例性的，确定所述待处理图像中包含的特征姿势的优先级，可以包括:依据所述特征姿势所属人物的位置、脸部面积、脸部朝向或遮挡情况，确定所述待处理图像中包含的特征姿势的优先级。
[0059]其中，特征姿势的优先级可以依据特征姿势所属人物的优先级确定，如若第一人物的优先级高于第二人物，则第一人物的特征姿势的优先级高于第二人物的特征姿势的优先级；否则，第一人物的特征姿势的优先级低于第二人物的特征姿势的优先级。例如，位置居中人物的优先级高于位置在两侧的人物，位置靠前的人物的优先级高于位置在两侧的人物，脸部面积大的人物的优先级高于脸部面积小的人物，脸部朝前的人物的优先级高于脸部朝侧边的人物，遮挡面积小的人物的优先级高于遮挡面积大的人物等。
[0060]步骤36、依据所述特征姿势的优先级，从所述人物图像包含的特征姿势中选择待处理特征姿势。[0061 ]示例性的，为了避免对所有特征姿势作AR处理导致的AR处理工作量较大，可以从待处理图像中包含的特征姿势中选择优先级较高的预设数值个待处理姿势，其中对预设数值不作具体限定，如可以为3。也可以将优先级高于预设优先级的特征姿势确定为待处理姿势。[〇〇62] 步骤37、对选择的待处理特征姿势进行AR处理。[〇〇63]步骤38、依据AR处理后的图像得到拍摄结果。[〇〇64]本实施例提供的技术方案，通过在智能终端中的摄像头拍摄过程中，确定智能终端的取景框中展示的图像是否为包含特征姿势的人物图像，若是，则监测到AR拍摄事件，并有选择性地对取景框展示的图像中包含的特征姿势进行AR处理，且依据AR处理后的图像得到拍摄结果，即，该方法通过减少AR目标进一步提高了AR的拍摄效率。
[0065]实施例四
[0066]图4为本发明实施例四提供的AR的拍摄装置的结构示意图，该装置可以配置于智能终端中。如图4所示，该AR的拍摄装置的具体结构可以包括:
[0067]摄像头启动t吴块41，用于启动智能终端中的摄像头；[〇〇68]拍摄监测模块42，用于监测是否存在AR拍摄事件；[〇〇69]图像处理模块43,用于在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理；
[0070]拍摄结果模块44,用于依据AR处理后的图像得到拍摄结果。[0071 ]示例性的，所述拍摄监测模块42可以包括:
[0072]人脸识别单元，用于采用人脸识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像是否为人物图像；
[0073]姿势识别单元，用于若为人物图像，则识别所述人物图像中是否包含特征姿势；
[0074]第一拍摄监测单元，用于若所述姿势识别单元识别到所述人物图像中包含特征姿势，则监测到存在AR拍摄事件。[〇〇75]示例性的，所述图像处理模块43可以包括:
[0076]优先级确定单元，用于确定所述人物图像包含的特征姿势的优先级；
[0077]姿势选择单元，用于依据所述特征姿势的优先级，从所述人物图像包含的特征姿势中选择待处理特征姿势；[〇〇78]图像处理单元，用于对选择的待处理特征姿势进行AR处理。
[0079]示例性的，所述优先级确定单元具体可以用于:
[0080]依据所述特征姿势所属人物的位置、脸部面积、脸部朝向或遮挡情况，确定所述人物图像中包含的特征姿势的优先级。[0081 ]示例性的，所述拍摄监测模块42也可以包括:
[0082]景物识别单元，用于采用图像识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像中是否包含特征景物；
[0083]第二拍摄监测单元，用于若所述景物识别单元识别到所述人物图像中包含特征景物，则监测到存在AR拍摄事件。[〇〇84]本实施例提供的AR的拍摄装置，与本发明任意实施例所提供的AR的拍摄方法属于同一发明构思，可执行本发明任意实施例所提供的AR的拍摄方法，具备执行AR的拍摄方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的AR的拍摄方法。
[0085] 实施例五[〇〇86]本实施例提供了一种智能终端，该智能终端可以包括本发明任意实施例提供的AR 的拍摄装置。图5为本发明实施例五提供的智能终端的结构示意图，如图5所示，图示智能手机500可以包括:存储器501、中央处理器(Central Processing Unit，以下简称CPU)502、外设接口 503、RF电路505、音频电路506、扬声器511、电源管理芯片508、输入/输出(I/O)子系统509、其他输入/控制设备510以及外部端口 504,这些部件通过一个或多个通信总线或信号线507来通信。[〇〇87]应该理解的是，图示智能手机500仅仅智能终端的一个范例，并且智能手机500可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0088]下面就本实施例提供的用于AR的拍摄的智能手机进行详细的描述。[〇〇89] 存储器501:所述存储器501可以被CPU502、外设接口 503等访问，所述存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、 闪存器件、或其他易失性固态存储器件。
[0090]外设接口 503,所述外设接口可以将设备的输入和输出外设连接到CPU502和存储器 501。
[0091]I/O子系统509:所述I/O子系统509可以将设备上的输入输出外设，例如触摸屏502(相当于上述实施例中的显示器)和其他输入/控制设备510,连接到外设接口 503。1/0子系统509可以包括显示控制器5091和用于控制其他输入/控制设备510的一个或多个输入控制器5092。其中，一个或多个输入控制器5092从其他输入/控制设备510接收电信号或者向其他输入/控制设备510发送电信号，其他输入/控制设备510可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器5092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
[0092]触摸屏512:所述触摸屏512是用户终端与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。[〇〇93] I/O子系统509中的显示控制器5091从触摸屏512接收电信号或者向触摸屏512发送电信号。触摸屏512检测触摸屏上的接触，显示控制器5091将检测到的接触转换为与显示在触摸屏512上的用户界面对象的交互，即实现人机交互，显示在触摸屏512上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。 [〇〇94] RF电路505,主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路505接收并发送RF信号，RF信号也称为电磁信号，RF电路505将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路505可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。[〇〇95]音频电路506,主要用于从外设接口 503接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器511。[〇〇96]扬声器511，用于将手机通过RF电路505从无线网络接收的语音信号，还原为声音并向用户播放该声音。[〇〇97]电源管理芯片508,用于为CPU502、I/O子系统及外设接口所连接的硬件进行供电及电源管理。[〇〇98]本发明实施例提供的CPU502可执行如下操作:
[0099]启动智能终端中的摄像头，并监测是否存在AR拍摄事件；
[0100]在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像进行AR处理；
[0101]依据AR处理后的图像得到拍摄结果。[〇1〇2]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解， 本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、 重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1.一种增强现实AR的拍摄方法，其特征在于，包括:启动智能终端中的摄像头，并监测是否存在AR拍摄事件；在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过摄像头采集到的图像 进行AR处理；依据AR处理后的图像得到拍摄结果。2.根据权利要求1所述的方法，其特征在于，监测是否存在AR拍摄事件，包括:采用人脸识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像是 否为人物图像；若为人物图像，则识别所述人物图像中是否包含特征姿势；若包含特征姿势，则监测到存在AR拍摄事件。3.根据权利要求2所述的方法，其特征在于，对所述智能终端的取景框中展示的通过摄 像头采集到的图像进行AR处理，包括:确定所述人物图像包含的特征姿势的优先级；依据所述特征姿势的优先级，从所述人物图像包含的特征姿势中选择待处理特征姿 势；对选择的待处理特征姿势进行AR处理。4.根据权利要求3所述的方法，其特征在于，确定所述人物图像包含的特征姿势的优先 级，包括:依据所述特征姿势所属人物的位置、脸部面积、脸部朝向或遮挡情况，确定所述人物图 像中包含的特征姿势的优先级。5.根据权利要求1所述的方法，其特征在于，监测是否存在AR拍摄事件，包括:采用图像识别技术，确定所述智能终端的取景框中展示的通过摄像头采集到的图像中 是否包含特征景物；若包含特征景物，则监测到存在AR拍摄事件。6.—种增强现实AR的拍摄装置，其特征在于，包括:摄像头启动t吴块，用于启动智能终端中的摄像头；拍摄监测模块，用于监测是否存在AR拍摄事件；图像处理模块，用于在监测到AR拍摄事件时，对所述智能终端的取景框中展示的通过 摄像头采集到的图像进行AR处理；拍摄结果模块，用于依据AR处理后的图像得到拍摄结果。7.根据权利要求6所述的装置，其特征在于，所述拍摄监测模块包括:人脸识别单元，用于采用人脸识别技术，确定所述智能终端的取景框中展示的通过摄 像头采集到的图像是否为人物图像；姿势识别单元，用于若为人物图像，则识别所述人物图像中是否包含特征姿势；第一拍摄监测单元，用于若所述姿势识别单元识别到所述人物图像中包含特征姿势， 则监测到存在AR拍摄事件。8.根据权利要求7所述的装置，其特征在于，所述图像处理模块包括:优先级确定单元，用于确定所述人物图像包含的特征姿势的优先级；姿势选择单元，用于依据所述特征姿势的优先级，从所述人物图像包含的特征姿势中选择待处理特征姿势；图像处理单元，用于对选择的待处理特征姿势进行AR处理。9.根据权利要求8所述的装置，其特征在于，所述优先级确定单元具体用于:依据所述特征姿势所属人物的位置、脸部面积、脸部朝向或遮挡情况，确定所述人物图 像中包含的特征姿势的优先级。10.根据权利要求6所述的装置，其特征在于，所述拍摄监测模块包括:景物识别单元，用于采用图像识别技术，确定所述智能终端的取景框中展示的通过摄 像头采集到的图像中是否包含特征景物；第二拍摄监测单元，用于若所述景物识别单元识别到所述人物图像中包含特征景物， 则监测到存在AR拍摄事件。11.一种智能终端，其特征在于，包括权利要求6-10任一项所述的增强现实AR的拍摄装置。
【文档编号】G06K9/00GK105979154SQ201610503220
【公开日】2016年9月28日
【申请日】2016年6月28日
【发明人】孙剑波
【申请人】广东欧珀移动通信有限公司