3D画照片自动修复方法与流程

本发明涉及移动互联网、图像处理领域，是一种图像还原方法，尤其是一种先人工设置缺陷图案再用程序自动修复的方法。

背景技术：

随着互联网技术的日益成熟和智能手机的普及，全世界已经进入移动互联时代；移动终端以智能手机为主，智能手机已逐渐普及，用智能手机拍照已经逐步替代数码相机拍照了；3D画是一种通过利用反透视原理、阴影设计手法等在墙上、地面、画布等上面画出的具备很强立体效果的画面，人们通过与3D画的合影，拍出来的照片几乎难辨真假；3D画若设计得与周边实景融合，或者增加一些道具，真假结合可以拍出各种奇异场景(比如实景是一尊大佛，3D画可以画一大片云海，合影后就是人在云海中的大佛边)，为生活增添乐趣(随着景区越来越多，各景区变得越来越雷同，用这种虚拟增强现实的方式可以创造很多差异性梦幻场景，吸引游客)；3D画的合影照片的立体效果要大大好于肉眼所见，原因是3D画用画出的阴影等虚拟立体图与实物混合，经过拍照后才难以分清，也就是3D画要看照片才立体真实感强；由于3D画的制作维护需要成本，目前大部分通过开办3D画馆(少部分以搞活动的方式赞助)的方式来对参观者实行封闭人工收费，这种封闭收费方式不利于3D画的大规模推广，也限制了3D画的与户外实景结合的各种创意设计。

技术实现要素：

为了更好地普及推广3D画，丰富人们的生活，本发明提供一种3D画照片自动修复方法，通过该方法为3D画照片设计一种自动修复方法，将能否自动修复的权利作为一种获利方式，从而达到无人值守、无封闭户外推广3D画的好处。

本发明解决其技术问题所采用的技术方案是：在一副完整的3D画(不含缺陷的正常3D画称为3D原画，下同)里定义若干个小区域(这样的每个小区域称为待修复区，照片里的待修复区指的是3D画之待修复区在照片里的影像，下同)，将这些小区域中的图像做错误变换，也就是将这些区域的图像故意变得与原画不一致(比如将待修复区全涂黑)，当用户与存在待修复区的3D画合影后，由于待修复区的存在，所拍照片是不完整的，也就是说照片中3D画有部分与原3D画有画质的差别(画质变差了)，此时用户若想获得原3D画质，必须进行修复，电脑程序对含待修复区的照片进行处理，自动识别出各待修复区的位置后，用各待修复区的原画经过电脑程序模拟变换后替换待修复区，从而获得与原3D画同质的照片(就如同待修复区不存在一样)。具体替换方法为：先自动识别出合影照片中的待修复区，然后运用投影变换模型将合影照片转换成正拍照片(也就是正面直立照片，用户拍照时由于拍照角度不同，会存在变形旋转)，之后定位各待修复区，运用待修复区的组合特征识别出原画之ID(ID即身份标识，每幅画具备唯一的ID)，从原画数据库中调出该原画的各待修复区的原始图像分别替换，这样就可获得修复后的正拍照，然后利用投影逆变换模型将正拍照变换回用户拍摄角度的照片。

本发明的实现原理是：在3D原画上人为制造若干个待修复区，待修复区画质与3D原画之画的质量有差异，各待修复区具备明显特征，待修复区能被自动识别的特征可以是形状、大小、颜色、颜色变化规律、相对位置等特征；其特征组合(比如左边一个正三角形待修复区，其右边有两个正方形待修复区，下边有一个正五角星等等)可以用来识别不同的3D画即识别 3D画之ID，并且这些特征组合是冗余的，即用户遮挡部分待修复区依然可以区别不同3D画。用户用手机(或相机)与3D合影后得到的原始照片含有待修复区，用户获得该原始照片的修复权限后，可用程序自动恢复(比如手机上的APP或者上传到服务器后由服务器程序恢复)，也就是用待修复区之原始图像经变换后替换掉对应的照片中的待修复区后，原始照片就如同不存在待修复区一样，也就是照片质量得到恢复。

由于在不同地点会设置有不同的3D画，所以将部分待修复区的特征组合用来区别不同的3D画(3D画的ID)，并且在现场注明拍照时不要遮挡这些待修复区。

当3D合影照片中用户遮挡某待修复区的部分区域时(一般3D画的最佳合影拍摄点是固定几个地方，所以只要将待修复区设置在离最佳合影点远一点的地方基本可以避免用户部分遮挡待修复区之情形出现)，修复程序能根据先确定3D画之ID，再根据该3D画各待修复区的相对位置来推断(由于待修复区特征有冗余，缺少部分特征依然可以推断)特征不全的待修复区的区域所在，并且根据这个部分被遮挡的待修复区的区内特征进行部分替换(比如此待修复区内所有图案设置成红绿蓝交替，一般衣服、肤色不可能呈现如此像素级颜色规律变化)，当然自动修复仍然有错误可能，此时用户可根据修复结果反馈出错信息至后台提醒人工修复或重新拍照，也就是用户对自动修复不满意的合影照片可以发给后台服务器做人工修改或做更多高级特效。

万一用户在合影时遮挡了大多数待修复区(虽然3D画设置待修复区时尽量将待修复区分散以使得尽量不被遮挡)，以至于修复程序无足够信息来修复至原画像质，则修复程序会自动提醒用户换个位置重照。

本发明的有益效果是，提供了一种3D画照片自动修复方法，使得通过该方法能够设置一个修复权限，该权限可由用户发生一些能产生经济价值的活动(比如上传照片、看广告、下载APP、问卷调查、点评等等)来获得，也就是自动修复权限可以通过上传照片、下载APP、 浏览广告、分享照片、评论、直接付费等方式获得。用户获得修复权限后，程序即可自动将照片恢复到原画水平；修复权限可以带来经济价值，而且修复权限可以自动获得(即不需要人值守)，从而可以弥补3D画的创作成本；同时由于3D画带有待修复区，所以这种3D画避免了为了获得经济收益只能放置在封闭区域(任人自由免费拍的话无法产生收益，无法支付创作成本)，它可以放置在开阔区域任用户拍照(因为拍的照还有待修复区，用户必须获得修复权才可自动恢复为原画画质)，从而大大提高了3D画的商业使用场景；由于用户需要修复3D合影才可得到完美照片，在修复过程中可以获得拍照用户人数及人群特点等，为3D创作提供了一个量化的考核指标(拍照修复的人多，表示此3D画受欢迎，反之需改进)。

总之本发明的有益效果是可使3D画之商业应用推广至无人值守、无封闭环境中，大大拓展3D画的商业使用范围；并且通过修复权的设置为3D画的创作提供充足的经济来源和客观的评价标准；能极大促进3D画的创作水平，促进文化事业的繁荣和丰富人民的生活水平。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的3D原画。

图2是本发明的3D现场画(含待修复区)。

图3是本发明的原始合影照片。

图4是本发明的自动修复后之合影照片。

图中1.待修复区(位于3D原画中)，2.广告信息，3.待修复区(位于原始合影照片中)。

具体实施方式

在图2所示实施例中，是一个景区户外3D画，此3D画的意思是给小朋友拍照，该景区此景点讲述大白兔故事，此立体3D画之目的效果是让一只立体的大白兔用胡萝卜把小朋友顶飞起来(附图做了简化，仅取各画面的轮廓作示意说明，不含3D信息了；附图只说明正拍合影照片之修复过程，对于非正拍照片只需要增加两步：先将原始合影照片经过投影变换转换成正拍照；修复后再经过逆向投影变换转换成用户所拍角度之合影照片即修复好的照片)。该案例中3D原画(图1)是一只吃胡萝卜的大白兔，但是在户外现场所作的3D画却故意在三个地方留有三个三角形黑色待修复区(1)，也就是现场画的3D画(图2)是故意不完整的，此时任何用户与该3D画合影后得到的是一张修复前的原始合影照片(图3)，也就是说若用户想获得完美3D合影照片必须修复。

本实施例中，为了节省用户照片上传流量，在现场设置有免费WIFI，采用本人发明“无线安全信息门户方法”(申请号：201310512123.9)实现的安全WIFI门户，用户选择联上WIFI后，打开浏览器输入任意网址后，浏览器中自动弹出安全首页提示用户上传照片或下载修复照片的APP，用户上传完需修复的原始照片后，点击修复按钮，此时网页提醒用户输入修复码(也就是验证修复权限)，输入修复码后，上传的画面经后台服务器自动修复后刷新显示为完整的修复后照片，该新照片可以被用户另存为本地照片，用户也可输入邮箱地址，修复后的新照片自动传送到用户邮箱；修复码可以通过各种方式获得：电子支付(比如短信支付)、积分更换、奖励、赠送或者完成特定任务(如看广告、下载、评论、分享照片等)获得修复权限即修复码。

本实施例中若用户选择下载一个修复APP，在该APP里用短信支付一元钱后获得修复权(也就是一元钱可以修复一张3D合影照片)，付费后修复APP获得修复码并自动启动修复程序修复还原一张照片。根据修复码确定该用户是否有合影照片的修复权，从而启动自动修复程序(修复码是一个权限检查点，只要权限足够就自动进入照片自动修复程序，用户可以不用手工输 入)。自动修复程序的算法有很多种，可选取最一般通用算法，具体为：首先识别出原始合影照片中的各待修复区(由于待修复区都是事先设置好的特征明显的与原画易于区别的形状，可采用霍夫变换等图形识别算法来识别边界形状)，原始合影照片(图3)中各待修复区(3)实际是照相镜头在不同位置对3D原画的待修复区(1)的旋转投影变形，图像的旋转处理算法比较简单，投影变形也有成熟的投影变换模型：也就是在原图和投影图中找到4个对应点，利用投影变换模型即建立双线性方程来建模(具体可参见人民邮电出版社张铮所编《数字图像处理与机器视觉》P129等书页)，在本实施例中对应点可从三个大小不一的三个三角形待修复区顶点中提取。转换成正拍照片后的合影照片中的待修复区被替换成3D原画中的对应图像，再经过逆向投影变换模型计算自动修复后的照片就好像拍合影时如同现场3D画中不存在待修复区一样即得到自动修复后之合影照片(图4)。

由于在不同的场景放置有不同的带不同待修复区的3D画，所以修复时要区分不同3D画以便获取相应的原画信息，各修复区的相对位置以及大小个数的不同可以用来识别不同的3D画，由于待修复区位于3D画的关键立体效果位置，也就是说若拍的合影照不包含待修复区，则此合影照也就失去了3D画的关键意境，是残缺的照片，以此来保证主要待修复区必须在合影照片里。

3D合影修复APP(手机应用程序)是方便用户不需要每次碰到不同的3D画(含待修复区)都要上传合影，也不需要每次合影都要获取修复码，可以一次获取多张合影照片的修复权，比如看一段广告就可修复一张照片，玩游戏通一关就可以修复2张合影照等等，修复APP在网络通畅的情况下会从后台服务器获取附近各种3D画的待修复区对应的原画信息以方便自动修复；修复APP能获得基于位置信息的各3D画位置，提醒用户走近合影。

待修复区的设置在有些地方还要考虑适应不愿意付出任何金钱、时间获取修复码的人，此时不必像本实施例一样将原画之待修复区变成全黑，可能只是略微丑化原画即可，比如色 彩改变：白色改红色、或者原画是孔雀的地方变成乌鸦等等；本实施例中有一个待修复区里含有广告信息(2)即“百度赞助”四个字，用户具备修复权时则可以自动去掉此赞助信息。也就是不修复3D合影照也勉强能看，不完美而已；付费则可以享受更高的美感合影照，这符合互联网消费规则。

为了应对可能存在的恶意破解修复算法的人，可增加待修复区轮廓形状、数量大小的复杂性(比如三角形待修复区变成任意形状待修复区)，甚至将待修复区变得肉眼不可识别，只能由计算机按某种特殊自定规则才能识别，这样就可增加破解难度并使得破解版修复效果不及正版(当然更主要是通过法律手段保护知识产权)，以保护正当收益。

本3D画照片自动修复方法，不仅可用于3D画，还可用于普通画面、模板合成照、立体塑像、蜡像等各种场合；用户对自动修复不满意的合影照片还可以发给后台服务做人工修改或高级特效；修复后的照片还可叠加各种纪念文字、图案等等。