基于增强现实展示照片书的实现方法及显示系统与流程

本发明涉及照片书制作及展示方法领域，特别涉及一种基于增强现实展示照片书的实现方法及显示系统。

背景技术：

现有技术中仅有在移动智能终端的照片书制作方法和增强现实的预定内容显示方法，其中的照片书制作方法并没有解决如何通过增强现实环境来获得照片书的沉浸式体验方案，而其中的预定内容显示方法不能为照片和照片书特有的属性即自定义需求提供实现方法，仅利用移动智能终端制作照片书的方法是无法通过简单的技术累加从而获得照片书的增强现实效果的。

增强现实正在各个平台上使用，包括电视机，显示器，以及在一定程度上的手持装置，比如手机、平板电脑。在增强现实中使用手持装置产生的输入来增强对现实世界环境的观察。而照片拍摄是这些手持装置的基本应用之一，将拍摄的照片制作成实体照片书是保存、浏览以及装订成册的重要途径之一。因此，在手持装置上实现照片书的增强现实环境和制作方法是必要的。然而，由于现有增强现实技术无法为照片书提供个性化内容和情景浏览支持，并缺乏具有完整流程结构的标准框架，因此将照片书在手持装置上实现增强现实的方法和自定义的互动被认为较为困难。

技术实现要素：

鉴于现有技术的缺陷，本发明提供一种基于增强现实展示照片书的实现方法及显示系统，其基于AR引擎单元和三维引擎单元的情景模组设计方法，为在手持装置上制作基于增强现实的照片书提供了实现方法，从而使传统照片书获得了具有强烈沉浸感和趣味性的展示效果。

为达到上述目的，一方面本发明提供一种基于增强现实展示照片书的实现方法，其具体方法为：使用手持装置的模板编辑器进行原始照片数据采集、压缩、预览和编辑，在模板编辑器中对经过压缩的带通道模板图像预览和编辑，在模板编辑器上进行自定义情景模组数据的选择和输入，进而由情景模组的数据库通过逻辑关系筛选数据单元进行输入和输出,将模板编辑器上的最终输出结果通过服务器传输到供应链制作端并进行制作，获得照片书，通过AR引擎单元启动摄像机获取现实世界和附着在照片书上的可识别图像，使用运算单元提取情景模组数据，输出到显示单元上；通过手持装置的输入单元，如麦克风根据自定义情景模组和照片书的内容输入自定义数据，如录制旁白录音，进而当再次输出到显示单元时，增加额外的自定义数据，如播放旁白录音，对预置内容的个性化的补充。

上述的实现方法具体步骤如下：

步骤1: 在手持装置上通过浏览器使用模板编辑器上传原始照片数据到服务器的数据库中储存、压缩；

步骤2:根据手持装置传输速度预测其所处网络环境，当网络环境较差时，将比较模糊但数据量更小的原始照片压缩数据回传到模板编辑器，当网络环境较好时，将数据量较大但更清晰的原始照片压缩数据回传到模板编辑器。

服务器收到原始数据后，将原始数据从服务器压缩以后传输到模板编辑器上，用于预览和编辑。考虑到实际用户网络环境的差异性，并上传网速评估，决定从服务器下载压缩数据的规格。避免手持装置上使用原始数据进行编辑会增加实时通信的数据压力，可能导致一些问题。

回传数据的指标是由人工进行预设的，比如在服务器上预设，当从手持装置上传原始数据照片时，整个过程平均网速低于50KB/s，向模板编辑器传输的原始照片分辨率是原有的20%，平均网速超过100KB/s，向模板编辑器传输的原始照片分辨率是原有的50%。这一部分我们也要实际应用过程中，获得一定数量的用户实际网速以后才会确定的数值，所以没做具体的指标界定。

步骤3：在模板编辑器上显示压缩后的照片、压缩后的带通道模板图像，使用进行预览和编辑；优选步骤3中预览和编辑采用HTML5 技术。

步骤4: 在模板编辑器上进行初始状态下的自定义情景模组数据的选择和输入，进而由情景模组的数据库通过逻辑关系筛选数据单元进行输入和输出。

步骤5:对三维引擎中的数字资源按照现实世界情景逻辑关系和序列进行排列形成情景模组数据；

步骤6: 通过服务器连接供应链制作端并向模板编辑器传输原始照片数据与照片书需求数据匹配状态，当匹配状态错误时，提示模板编辑器原始照片需要修改，另外，该传输还包括前序等待制作排序信息、预测物流信息等在内的基础信息；

步骤7：由压缩后的照片、压缩后的带通道模板图像输出照片书可识别图像预览，由原始照片、原始带通道的模板输出制成品照片书上的可识别图像；

步骤8: 将模板编辑器上的最终输出结果通过服务器传输到供应链制作端并进行制作，获得照片书；所述最终结果是两个部分，一个部分是给到数据库对情景模组的选择结果，是步骤4的最终结果。另外一个是步骤7的结果，原始照片、原始带通道的模板合并成的最终可识别图像结果。也就是印刷在照片书的图像。

步骤9：通过手持装置上的摄像机获得附着在照片书上的验证码，使用通信单元从服务器向手持装置的储存单元传输与该照片书匹配的情景模组数据；

步骤10：通过AR引擎单元启动摄像机获取现实世界和附着在照片书上的可识别图像，使用运算单元从手持装置的储存单元提取情景模组数据，根据上述可识别图像与现实世界空间关系锚定位置后输出到显示单元上。

步骤11：通过手持装置的输入单元，根据自定义情景模组和照片书的内容输入自定义数据。在步骤10的情景模组基础上通过手持装置的输入单元进一步扩展情景模组的内容，并输出在显示单元上。即通过手持装置的麦克风输入自定义语音数据，在手持装置的储存单元选择自定义音乐、视频数据，同时，使用摄像机输入视频数据，通过手持装置的交互控制单元输入自定义文字数据，其是在自定义的基础上根据增强现实环境二次自定义。

步骤12：使用交互控制单元对情景模组输出数据进行操作，即选择自定义当次起后续的未再次进行操作干预前的输出数据内容，进而，使用手持装置的交互单元控制上述情景模组的开始、暂停、停止、输出内容修改操作。

所述步骤4中所述由情景模组的数据库通过逻辑关系筛选数据单元进行输入和输出，即由所述自定义情景模组数据结合逻辑关系进行情景模组筛选。

所述步骤10中所述运算单元从手持装置的储存单元提取情景模组数据时，当情景模组数据中包含有自定义数据时，优先输出自定义数据；当情景模组数据中包含同一数据类型的多个自定义数据时，优先输出最后采集的数据；当情景模组数据中尚未包含自定义数据时，输出该情景模组的预置数据。

另一方面，本发明提供一种基于增强现实展示照片书的显示系统，其特征在于：包括手持装置的模板编辑器、供应链制作端、服务器、AR引擎单元；所述手持装置的模板编辑器用于原始照片数据采集、压缩、预览和编辑；其次用于对经过压缩的带通道模板图像预览和编辑，最后在模板编辑器中自定义情景模组数据；模板编辑器连接服务器用于情景模组数据的传输，模板编辑器通过服务器连接供应链制作端用于制作数据和制作信息的传输， AR引擎单元用于进行增强现实环境下照片书展示。

所述情景模组数据包括压缩后的照片数据、经过逻辑关系筛选的三维模型数据、动画数据、特效数据、音乐数据、音效数据、语音数据和视频数据。

本发明的有益效果：本发明提供了在手持装置上从原始照片数据采集、照片与模板的编辑和预览、供应链制作数据传输再到增强现实的实现方法及自定义互动显示内容的全流程解决方案，简化了制作中各个环节上的资源浪费和信息不匹配问题，提高了资源使用效率和效能。

本发明提供一种照片书基于增强现实环境中的实现方法及在增强现实环境中情景自定义系统，用户可以根据自己的照片书内容、外观、模板和情景故事性自定义增强现实中的情景模组，然后在本系统中输入文字、语音、音乐和视频等内容，实现在个性化的照片书基础上的个性化增强现实环境，从而提升用户在浏览照片书的沉浸感，提高了参与性和互动性。另外，还提供了手持装置的模板编辑器，三维引擎的情景模组，为实现基于增强现实照片书的制作提供了简洁、高效的流程管理方法。

本发明从技术先进性上和易用性上解决了照片书的增强现实方法，进一步的通过建立情景模组框架和基于手持便携装置的模板编辑器，简化增强现实照片书的制作流程。

本发明创新的提出以情景模组为基础，通过具有逻辑关系的序列进行储存，进而用户使用基于手持便携装置的模板编辑器自定义数据来完成在增强现实环境下的照片书自定义创作。同时，自定义情景模组、模板编辑器标准和完整的制作流程标准，也为追求个性化的照片书提供了从用户到供应链上的高效运作解决方法。

本发明中部分术语解释：

增强现实：是一种实时地计算摄像机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实环境并进行互动。

现实世界：现实世界是指取自现实的图像，比如使用电子照片捕获技术例如视频记录的物理的现实世界情况。

模板编辑器：为手持装置的用户、比如手机用户提供用于增强现实照片书的模板编辑程序。通过装置的浏览器运行并与服务器、供应链制作端和数据库连接。模板编辑器可实现原始照片数据传输、增强现实内容预览、压缩后的照片编辑、压缩后带通道的模板编辑、自定义数据输入、制作周期预测等素材采集、编辑和信息浏览功能。

情境模组：是三维引擎中的数字资源以一定现实世界情景逻辑关系和序列组成的富媒体文件，其中包括：三维模型、动画、特效、图形、文字、音频和视频等元件。

自定义数据：包括语音旁白、背景音乐、文字、图案和视频数据。自定义数据与数据库中已存在情景模组通过逻辑关系进行匹配和储存，用于实现自定义增强现实环境下照片书的沉浸式体验。情景模组的主体自定义部分是照片，而自定义数据是额外为情景模组增加进一步的自定义内容，是二级自定义项。

综上所述，本发明的关键点首先在于提供了增强现实环境下的展示照片书的方法；其次提供了在手持装置上通过模板编辑器自定义用于增强现实环境下照片书情景模组互动显示系统；最后提供了从手持装置上的模板编辑器、供应链配发制作到增强现实实现方法及自定义互动显示的流程系统。保护点包括：1、基于增强现实的照片书实现方法；2、应用于手持装置上的增强现实照片书制作系统；3、基于增强现实照片书的自定义情景模组。基于增强现实照片书的自定义旁白录音实现方法。在定制的情景模组基础上通过手持装置的输入单元进一步扩展情景模组的内容。

附图说明

图1为本发明的方法流程图；

图2为本发明系统的结构示意图；

图3为本发明情景模式组结构示意图。

具体实施方式

一种基于增强现实展示照片书的实现方法，其具体方法为：使用手持装置的模板编辑器进行原始照片数据采集、压缩、预览和编辑，在模板编辑器中对经过压缩的带通道模板图像预览和编辑，在模板编辑器中自定义增强现实环境，通过服务器连接模板编辑器、供应链及用户手持装置增强现实程序，实现制作数据、制作信息和情景模组数据的传输和管理，并为AR引擎单元、三维引擎单元提供增强现实环境的照片书情景模组。通过在模板编辑器中，选择不同的模板和图形样式，来对应选择增强现实情景模组内容。最终实现效果是，让用户的逻辑关系通过模板选择和编辑，来对应到增强现实显示内容上。通过手持装置的输入单元，根据自定义情景模组和照片书的内容输入自定义数据。

上述的实现方法具体步骤如下：

步骤1: 在手持装置上通过浏览器使用模板编辑器上传原始照片数据到服务器的数据库中储存、压缩；

步骤2: 虑到实际用户网络环境的差异性，并上传网速评估，根据手持装置传输速度预测其所处网络环境，在服务器上预设，当从手持装置上传原始数据照片时，整个过程平均网速低于50KB/s，向模板编辑器传输的原始照片分辨率是原有的20%，平均网速超过100KB/s，向模板编辑器传输的原始照片分辨率是原有的50%。避免手持装置上使用原始数据进行编辑会增加实时通信的数据压力，可能导致一些问题。

步骤3：在模板编辑器上显示压缩后的照片、压缩后的带通道模板图像，使用HTML5 技术进行预览和编辑。

步骤4: 在模板编辑器上进行初始状态下的自定义情景模组数据的选择和输入，进而由服务器上的情景模组的数据库通过逻辑关系筛选数据单元进行输入和输出，并将上述数据由逻辑关系进行情景模组筛选，然后，存储到手持装置的储存单元，当该情景模组再次输出时，即输出上述的自定义情景模组数据。

步骤5：对三维引擎中的数字资源按照现实世界情景逻辑关系和序列进行排列形成情景模组数据；

步骤6: 通过服务器连接供应链制作端并向模板编辑器传输原始照片数据与照片书需求数据匹配状态，当匹配状态错误时，提示模板编辑器原始照片需要修改，另外，该传输还包括前序等待制作排序信息、预测物流信息等在内的基础信息；

步骤7：由压缩后的照片、压缩后的带通道模板图像输出照片书可识别图像预览，由原始照片、原始带通道的模板输出制成品照片书上的可识别图像；

步骤8: 将模板编辑器上的最终输出结果通过服务器传输到供应链制作端并进行制作，获得照片书；

步骤9：通过手持装置上的摄像机获得附着在照片书上的验证码，使用通信单元从服务器向手持装置的储存单元传输与该照片书匹配的情景模组数据；

步骤10：通过AR引擎单元启动摄像机获取现实世界和附着在照片书上的可识别图像，使用运算单元从手持装置的储存单元提取情景模型数据时，当情景模组数据中包含有自定义数据时，优先输出自定义数据；当情景模组数据中包含同一数据类型的多个自定义数据时，优先输出最后采集的数据；当情景模数据中尚未包含自定义数据时，输出该情景模组的预置数据。之后根据上述可识别图像与现实世界空间关系锚定位置后输出到显示单元上。

步骤11：通过手持装置的麦克风输入自定义语音数据，在手持装置的储存单元选择自定义音乐、视频数据，使用摄像机输入视频数据，通过手持装置的交互控制单元输入自定义文字数据，在定制的情景模组基础上通过手持装置的输入单元进一步扩展情景模组的内容。

步骤12：使用交互控制单元对情景模组输出数据进行操作，进而，使用手持装置的交互单元控制上述情景模组的开始、暂停、停止、输出内容修改操作。

具体步骤中存在两次自定义过程：第一次自定义是用户上传了和孩子出去玩的照片，选择了游乐场的三维模型，这两个部分是主体，在识别照片书的时候就可以看的增强现实内容。第二次自定义是用户可以在手持装置上直接用麦克风针对上述已经实现的浏览内容进行旁白录音，通过输入文字进行字幕的录入。当再次识别时，该情景模组就会在显示原有内容基础上增加额外的旁白语音和字幕显示。选择自定义当次起后续的未再次进行操作干预前的输出数据内容，进而，使用手持装置的交互单元控制上述情景模组的开始、暂停、停止、输出内容修改操作。

用户选择一种内容，系统根据这个内容在服务器的数据库上为其筛选符合逻辑关系的情景模组内容。用户为照片书选择了一个“太阳花”的平面图案素材。这个时候，在数据库中就筛选了“花”、“植物”、“黄色”、“阳光”符合这四个逻辑的三维模型、特效、音效等内容。然后用户还会选择其他的平面图案素材，比如用户又选择了“郊游”，选择了一段和“晴天”有关的文字，完成。进一步的对上述四种素材进行筛选，筛选掉“植物”，保留其他三种“花”、“阳光”、“黄色”，假设数据库中，有10种“花”的三维模型，其中有3种“黄色”的，有4种“阳光”特效，有5段“阳光”的音效，其中有2段“旅游”的，这个时候还会有144种符合逻辑的输出结果。数据库会根据用户上传的照片尺寸、比例、该数据是否在附近页被使用过和使用的次数再对这144种结果进行筛选，假设这个时候结果还剩3种，那么就会随机输出1种。

上述的逻辑关系是照片书模板素材与情景模组数据之间的关联、包含、比喻、隐喻等的逻辑。其就是日常生活中的常用的逻辑关系。比如“花”对应“植物”，“时间”“一天”对应钟表，“汽车”对应“汽车”，“可爱”对应“卡通形象”等。用户选择了一个“花”的素材（图形、文字），从数据库情景模型中提供与“花”以及“植物”相关的数据。在用户进行浏览时，实物照片书有“花”的内容，增强现实中也包含了“花”或者“植物”来做逻辑配合。

另一方面，本发明提供一种基于增强现实展示照片书的显示系统，其特征在于：包括手持装置的模板编辑器、供应链制作端、服务器、AR引擎单元；所述手持装置的模板编辑器用于原始照片数据采集、压缩、预览和编辑；其次用于对经过压缩的带通道模板图像预览和编辑，最后在模板编辑器中自定义情景模组数据；模板编辑器连接服务器用于情景模组数据的传输，模板编辑器通过服务器连接供应链制作端用于制作数据和制作信息的传输， AR引擎单元用于进行增强现实环境下照片书展示。

所述情景模组数据包括压缩后的照片数据、经过逻辑关系筛选的三维模型数据、动画数据、特效数据、音乐数据、音效数据、语音数据和视频数据。

本实施例的有益效果：

将应用于增强现实的三维引擎中各个组件进行了有效的序列组合，为照片书在增强现实环境下展示提供了个性化自定义文字、语音旁白、背景音乐及视频的方法。这种方法大大提升了用户在基于增强现实情景下浏览照片书的沉浸式体验，同时，为其在增强现实环境下进行二次设计创造提供了简洁的方法，进一步的提高沉浸式体验的趣味性和参与性。

另外，本实施例提供了在手持装置上从原始照片数据采集、照片与模板的编辑和预览、供应链制作数据传输与管理到增强现实的实现方法及自定义互动显示内容的全流程解决方案，简化了制作中各个环节上的资源浪费和信息不匹配问题，提高了资源使用效率和效能。

除此之外，现有增强现实的实现方法不能提供必要的情景模组自定义方法。使用情景模组可以使基于增强现实的数据包灵活的调用和替换，简洁的框架结构为实施不同逻辑形态的实例提供了标准，同时也方便用户通过手持装置对照片书的增强现实内容进行二次交互创作。