用于移动智能终端的图像处理方法和装置制造方法
【专利摘要】本发明提供一种用于移动智能终端的图像处理方法和装置。所述用于移动智能终端的图像处理方法包括：通过移动智能终端中的摄像头捕捉宣传物的视频图像；从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息；基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中；通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染；显示经过三维渲染的视频图像。可通过识别宣传物上的宣传标志，并且使用增强现实技术将具有生动视觉效果的虚拟物体叠加在宣传物图像上，从而产生个性化、具有冲击力的视觉效果，有助于使宣传物的受众对发宣传物的人乃至企业产生较鲜明、深刻的印象，加强宣传效果。
【专利说明】用于移动智能终端的图像处理方法和装置
【技术领域】
[0001]本发明涉及一种图像处理技术，尤其涉及一种用于移动智能终端的图像处理方法和装置。
【背景技术】
[0002]企业在商业活动中，经常制作、发布例如名片、广告、宣传手册、礼品等宣传物。好的宣传物能体现和提升企业/个人的品牌形象，产生宣传、营销效果，并且具有欣赏和收藏的审美价值。
[0003]制作具有鲜明个性和冲击效果的宣传物一直是企业公共关系和营销人员不断追求的目标。
【发明内容】
[0004]本发明的目的在于提供一种用于移动智能终端的图像处理方法和装置，用户通过对宣传物进行拍摄扫描，可看到增强现实的个性化展示，因而对宣传物受众产生冲击性的效果。
[0005]根据本发明的一方面，提供一种用于移动智能终端的图像处理方法。所述方法包括:通过移动智能终端中的摄像头捕捉宣传物的视频图像；从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息；基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中；通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染；显示经过三维渲染的视频图像。
[0006]根据本发明的另一方面，提供一种用于移动智能终端的图像处理装置。所述装置包括:图像获取单元，用于通过移动智能终端中的摄像头捕捉宣传物的视频图像；标记提取单元，用于从图像获取单元捕捉的所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息；跟踪注册单元，用于基于标记提取单元获取的所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中；效果处理单元，用于通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染；效果显示单元，用于显示经过三维渲染的视频图像。
[0007]本发明的用于移动智能终端的图像处理方法和装置可通过识别宣传物上的宣传标志，并且使用增强现实技术将具有生动视觉效果的虚拟物体叠加在宣传物图像上，从而产生个性化、具有冲击力的视觉效果，有助于使宣传物的受众对发宣传物的人乃至企业产生较鲜明、深刻的印象，加强宣传效果。
[0008]在此基础上，还可根据用户操作进一步进行视觉、声音等的互动处理，进一步加强受众对宣传物的印象。
【专利附图】
【附图说明】
[0009]图1是示出根据本发明的示例性实施例的用于移动智能终端的图像处理方法的流程图；
[0010]图2是示出名片的示意图；
[0011]图3?图6分别是示出根据本发明的示例性实施例的用于移动智能终端的图像处理方法显示的名片效果的示意图；
[0012]图7是示出根据本发明的示例性实施例的用于移动智能终端的图像处理装置的逻辑框图。
【具体实施方式】
[0013]本发明的总体发明构思是，企业人员在其设计的宣传物上预先设置标记；当将例如名片、广告、宣传手册、礼品等的宣传物分发给受众(如客户、潜在客户、合作伙伴等)时，通过安装在例如智能手机等的便携式终端的应用对设置有宣传标志(如企业logo)和标记的宣传物进行拍摄；安装的应用对通过摄像头捕捉的视频图像进行分析、处理，通过增强现实技术将预设的虚拟物体叠加在捕捉的视频图像并进行三维渲染，然后显示经过增强现实处理的宣传物图像，产生具有冲击力的视觉效果。在此基础上，为了进一步增强效果，还提供用户交互功能，当用户对经过增强现实处理的宣传物图像做出特定反应(如点击)时，还对所述虚拟物体进行附加效果处理(如动作、声音、光照)。
[0014]下面结合附图对本发明实施例的用于移动智能终端的图像处理方法和装置进行详细描述。
[0015]图1是示出根据本发明的示例性实施例的用于移动智能终端的图像处理方法的流程图。图3?图6分别示出以图2所示的名片为例，根据本发明的图像处理方法的展示效果。
[0016]参照图1，在步骤S110，通过移动智能终端中的摄像头捕捉宣传物的视频图像。本发明的方法对摄像头捕捉的视频图像帧执行处理。
[0017]在步骤S120，从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息。例如，在图2示出的名片中，上端显示有立体五角星形状的企业图标(logo),logo旁显示有特定字体设计的企业字号“德馨同创”，可将名片上的所述logo、企业字号“德馨同仓Γ或两者的组合确定为所述预定的宣传标志，当然所述宣传标志不限于前述企业标志类，而可以是任何的宣传标志(如产品或服务标志)；在步骤S120，从捕捉的视频图像识别出所述logo、企业字号“德馨同创”或两者的组合；如果识别出所述预定的宣传标志，则进一步从所述宣传标志获取标记信息，所述标记信息用于执行增强现实的跟踪注册，也称为虚实注册。
[0018]在步骤S130，基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中。
[0019]跟踪技术主要表现在相机坐标系与现实场景坐标系之间的坐标变换关系；注册技术主要表现在检测摄像机相对于现实场景的位置姿态和方向角，根据跟踪获得的摄像机信息，确定虚拟增强信息在现实场景中的显示位置。三维注册需要结合摄像机的内部参数(焦距和像元宽高比等)，通过摄像机与标记物的坐标系的转换和摄像机姿态的计算，实时确定虚拟物体在真实空间坐标中的映射位置，进行虚拟摄像机的匹配，最后得到虚拟摄像机与虚拟物体的相对位置和矩阵信息，然后生成虚拟物体的坐标数据。
[0020]具体地，根据本发明的示例性实施例，步骤S130可包括以下的操作A)?C):
[0021]A)根据所述标记信息和摄像头的参数数据进行运算，确定预定的虚拟物体在拍摄场景中的映射位置以及虚拟摄像机在所述拍摄场景中的相对矩阵信息；
[0022]B)根据所述映射位置生成所述虚拟物体的坐标数据；
[0023]C)根据所述相对矩阵信息及所述虚拟物体的坐标数据将虚拟物体匹配到所述视频图像中。
[0024]在步骤S140，通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染。这里所述的拍摄场景即用于叠加所述虚拟物体的视频图像。其中，根据本发明的优选实施例，将所述虚拟物体三维渲染成为动态的视频图像。
[0025]在步骤S150，显示经过三维渲染的视频图像。
[0026]图3和图5分别示出根据本发明的示例性实施例的用于移动智能终端的图像处理方法显示的名片效果。
[0027]其中，图3示出叠加了坦克三维图像的名片效果，叠加的迷彩风格的坦克跃然显示在拍摄的名片之上，对观看者可产生预想不到的冲击性效果，使名片的受众对发名片的人乃至企业产生较鲜明、深刻的印象。虽然无法示出，但通过三维渲染引擎，还可对所述坦克附加例如左右或前后摇摆的动态效果。图5示出叠加了卡车三维图像的名片效果。
[0028]根据本发明的优选实施例，所述用于移动智能终端的图像处理方法还包括，响应于用户对显示的视频图像的操作，对所述虚拟物体附加执行以下至少一种处理:地形渲染、光照渲染、声音处理、粒子渲染、物理渲染以及用户交互响应处理。
[0029]例如，通过粒子渲染可在三维空间中渲染出例如烟、火、水滴、烟火或落叶等，营造出独特的视觉效果。再例如，光照渲染附加方向光源效果、点光源、聚光灯和区域光，可渲染动态阴影，渲染出漫反射、镜面反射、透明或折射效果，还可渲染水面菲涅耳反射效果。再例如，物理渲染可支持刚体运动，即可接受外力与扭矩力来保证三维对象像在真实世界中那样进行运动；可支持碰撞体，保证物体之间不相互穿过；可支持角色控制，模拟人的受力环境以及行为交互；可支持布料效果，可在一个网格上模拟布料的运动状态，可模拟随风飘扬的旗子、衣服等布料的物体效果；可支持铰链关节，其由两个刚体组成，该关节会对刚体进行约束，使得它们就好像被连接在一个铰链上那样运动，等等。
[0030]图4和图6分别示出根据本发明的优选实施例的在用户对显示的视频图像的点击时，根据所述图像处理方法显示的名片效果。
[0031]其中，在图4中，对图3中叠加的虚拟坦克渲染出光照效果，仿佛该坦克在发射炮弹，同时附加坦克发射的声音，使得叠加的坦克看起来非常生动。在图6中，对图5所示的虚拟卡车进行动作处理，使得卡车左右摇摆并且卡车两侧的侧灯张开，还渲染出两个前灯开启的光照效果，整体效果生动、具个性化，有助于进一步加强受众对名片的印象。
[0032]图7是示出根据本发明的示例性实施例的用于移动智能终端的图像处理装置的逻辑框图。
[0033]参照图7，根据本发明的示例性实施例的用于移动智能终端的图像处理装置包括图像获取单元710、标记提取单元720、跟踪注册单元730、效果处理单元740和效果显示单元 750ο
[0034]图像获取单元710用于通过移动智能终端中的摄像头捕捉宣传物的视频图像。
[0035]标记提取单元720用于从图像获取单元710捕捉的所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息，所述标记信息用于执行增强现实的跟踪注册。
[0036]跟踪注册单元730用于基于标记提取单元720获取的所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中。具体地，跟踪注册单元730用于根据所述标记信息和摄像头的参数数据进行运算，确定预定的虚拟物体在拍摄场景中的映射位置以及虚拟摄像机在所述拍摄场景中的相对矩阵信息，根据所述映射位置生成所述虚拟物体的坐标数据，并且根据所述相对矩阵信息及所述虚拟物体的坐标数据将虚拟物体匹配到所述视频图像中。
[0037]效果处理单元740用于通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染。根据本发明的优选实施例，效果处理单元740将所述虚拟物体三维渲染成为动态的视频图像。
[0038]效果显示单元750用于显示经过三维渲染的视频图像。
[0039]根据本发明的优选实施例，效果处理单元740还响应于用户对显示的三维动画的操作，对所述虚拟物体附加执行以下至少一种处理:地形渲染、光照渲染、声音处理、粒子渲染、物理渲染以及用户交互响应处理。
[0040]通过以上参照图1?图7对本发明的实施例的描述可以看出，本发明的用于移动智能终端的图像处理方法和装置可通过识别宣传物上的宣传标志，并且使用增强现实技术将具有生动视觉效果的虚拟物体叠加在宣传物图像上，从而产生个性化、具有冲击力的视觉效果，有助于使宣传物的受众对发宣传物的人乃至企业产生较鲜明、深刻的印象，加强宣传效果。
[0041]在此基础上，还可根据用户操作进一步进行视觉、声音等的互动处理，进一步加强受众对宣传物的印象。
[0042]以上所述仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【权利要求】
1.一种用于移动智能终端的图像处理方法，其特征在于，所述图像处理方法包括以下步骤: 通过移动智能终端中的摄像头捕捉宣传物的视频图像； 从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息； 基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中； 通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染； 显示经过三维渲染的视频图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中的处理包括: 根据所述标记信息和摄像头的参数数据进行运算，确定预定的虚拟物体在拍摄场景中的映射位置以及虚拟摄像机在所述拍摄场景中的相对矩阵信息； 根据所述映射位置生成所述虚拟物体的坐标数据； 根据所述相对矩阵信息及所述虚拟物体的坐标数据将虚拟物体匹配到所述视频图像中。
3.根据权利要求1?2中任一项所述的图像处理方法，其特征在于，所述通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染的处理包括:将所述虚拟物体三维渲染成为动态的视频图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述方法还包括: 响应于用户对显示的视频图像的操作，对所述虚拟物体附加执行以下至少一种处理:地形渲染、光照渲染、声音处理、粒子渲染、物理渲染以及用户交互响应处理。
5.一种用于移动智能终端的图像处理装置，其特征在于，所述装置包括: 图像获取单元，用于通过移动智能终端中的摄像头捕捉宣传物的视频图像； 标记提取单元，用于从图像获取单元捕捉的所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息； 跟踪注册单元，用于基于标记提取单元获取的所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中； 效果处理单元，用于通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染； 效果显示单元，用于显示经过三维渲染的视频图像。
6.根据权利要求5所述的装置，其特征在于，跟踪注册单元用于根据所述标记信息和摄像头的参数数据进行运算，确定预定的虚拟物体在拍摄场景中的映射位置以及虚拟摄像机在所述拍摄场景中的相对矩阵信息，根据所述映射位置生成所述虚拟物体的坐标数据，并且根据所述相对矩阵信息及所述虚拟物体的坐标数据将虚拟物体匹配到所述视频图像中。
7.根据权利要求5?6中任一项所述的装置，其特征在于，效果处理单元将所述虚拟物体三维渲染成为动态的视频图像。
8.根据权利要求7所述的装置，其特征在于，效果处理单元还用于响应于用户对显示的视频图像的操作，对所述虚拟物体附加执行以下至少一种处理:地形渲染、光照渲染、声音处理、粒子渲染、物理渲染以及用户交互响应处理。
【文档编号】H04N5/262GK104270577SQ201410418044
【公开日】2015年1月7日 申请日期:2014年8月22日 优先权日:2014年8月22日
【发明者】张永立, 罗昌铭 申请人:北京德馨同创科技发展有限责任公司