产生增强现实内容的方法和使用所述增强现实内容的终端的制作方法
【专利摘要】提供了一种产生增强现实内容的方法和使用所述增强现实内容的终端。用于产生增强现实内容的方法包括：接收用于基于电子书内容来产生增强现实内容的增强现实模式执行请求；响应于所述请求来激活相机以提供预览图像；将电子书的书数据加载到预览图像上；检测在增强现实模式下发生的事件；检索被预先映射到所述事件的反应数据；将所述反应数据加载到预览图像上。
【专利说明】产生增强现实内容的方法和使用所述增强现实内容的终端
【技术领域】
[0001]本发明总体上涉及增强现实，并且具体地讲，涉及一种用于产生增强现实内容的方法和使用所述内容的终端，所述方法能够通过加载经由反映用户的运动、其他传感器值和通过解析电子书而获取的数据构造真实环境的预览图像，来提高用户参与和沉浸水平。
【背景技术】
[0002]数字技术的进步已经见证了能够通信和处理信息的各种类型的移动装置(诸如移动通信终端、个人数字助理(PDA)、电子记事本、智能电话和平板个人计算机(PC))的扩散。这种移动终端以用于诸如通讯、召开会议、组织、图片拍摄、日程安排、游戏、阅读和视频的任务的各种已知的应用为特色。
[0003]电子书是在文本和/图片中包含信息的已出版的实体书的数字版本。相比于平装书，电子书价格低廉，并可被部分购买。
[0004]电子书还能够存储在便携式装置中，从而让用户在做其他事情(诸如听音乐)时灵活地阅读电子书。
[0005]从出版商的角度看，电子书在以下方面有利:不涉及装订、分销和存储成本最低、电子书的内容可被容易更新。
[0006]最近，增强现实正在用数字动画丰富电子书，以使用户使用智能装置享受实体书的现实。
[0007]增强现实的书是新概念电子书。当启用增强现实的电子装置接近实体书时，增强现实动画被播放。也就是说，增强现实的书是用以3维(3D)图形和视频实现的补充信息增强书的内容的新技术。
[0008]由于各种2维(2D)和3D图形和多媒体内容被添加到电子书的页面，因此电子书的内容丰富并变得更生动。
[0009]虽然具有3D图形的电子书是已知的，但是缺乏用于允许用户的参与和与电子书的交互以及用于满足各种用户需求的技术。
[0010]也就是说，由于一个装置不能反映每个用户的行为和环境变化，因此在本领域中需要手动操作，诸如触摸手势。
【发明内容】
[0011]本发明提供一种用于增强现实内容产生的方法和使用所述增强现实内容的移动终端，所述方法能够通过将经由预览图像获取的用户的运动或基于通过各种传感器获取的传感器而提取的反应数据以及通过解析电子书而获取的默认数据加载到预览图像上，来提高用户的参与水平和沉浸水平。
[0012]根据本发明的一方面，增强现实内容产生方法包括:接收用于基于电子书内容来产生增强现实内容的增强现实模式执行请求；响应于所述请求来激活相机以提供预览图像；将电子书的书数据加载到预览图像上；检测在增强现实模式下发生的事件；检索被预先映射到所述事件的反应数据；将所述反应数据加载到预览图像上。
[0013]根据本发明的另一方面，被构造为产生增强现实内容的移动终端包括:显示单元，被构造为在增强现实模式下显示从电子书的执行屏幕转换的预览图像，并呈现电子书的书数据和根据事件而检索到的反应数据；存储单元，被构造为存储书数据、反应数据和书数据和反应数据被加载的预览图像；控制单元，被构造为激活相机以获取预览图像，获得在增强现实模式下用户的运动或传感器值，基于用户的运动或传感器值检索反应数据，并加载书数据和反应数据以产生增强现实内容。
【专利附图】
【附图说明】
[0014]当结合附图进行描述时，通过以下详细描述，本发明的以上和其他方面、特征和优点将会更加明显，其中:
[0015]图1示出根据本发明的实施例的移动终端的构造；
[0016]图2示出根据本发明的实施例的增强现实(AR)识别跟踪引擎模块的构造；
[0017]图3示出根据本发明的实施例的移动终端的AR内容产生方法；
[0018]图4示出根据本发明的实施例的用于解释AR内容产生方法的屏幕显示；
[0019]图5示出根据本发明的实施例的用于解释在AR内容产生方法中加载AR内容的过程的屏幕显示。
【具体实施方式】
[0020]参照附图详细描述本发明的实施例。相同的参考标号被用于在整个附图中始终指示相同或相似部件。为了清楚和简明，可省略在本领域中已知的结构或处理的详细描述。
[0021]根据本发明的实施例的移动终端的构造及其控制方法不限于以下描述。在不脱离本发明的范围的情况下，可做出各种修改。以硬件方式来进行以下描述。然而，本发明包括使用硬件和软件两者的技术。
[0022]在本发明的实施例中，移动终端可以是任意一种公知的信息通信和多媒体装置，包括平板PC、移动通信终端、移动电话、个人数字助理(PDA)、智能电话、国际移动通信2000(IMT-2000)终端、码分多址(CDMA)终端、宽带码分多址(WCDMA)终端、全球移动通信系统(GSM)终端、通用分组无线业务(GPRS )终端、增强数据GSM环境(EDGE )终端、通用移动通信业务(UMTS)终端、数字广播终端和异步传输模式(ATM)终端。
[0023]图1示出根据本发明的实施例的移动终端的构造。
[0024]如图1所示,移动终端100包括无线电通信单元105、控制单元200、存储单元120、触摸屏130、传感器单元140、音频处理单元160、按键输入单元150、触控笔180和相机单元190。
[0025]无线电通信单元105负责与基站或其他装置进行无线电通信。无线电通信单元105可以是射频(RF)通信单元，射频(RF)通信单元包括用于对发送信号进行上变频和放大的发送器(未示出)和用于对接收到的信号进行低噪声放大和下变频的接收器(未示出)。无线电通信单元105包括调制器(未示出)和解调器(未示出)。调制器对发送信号进行调制并将调制后的信号输出到发送器，解调器对由接收器接收到的信号进行解调。调制器/解调器可以是长期演进(LTE)、宽带码分多址(WCDMA)、全球移动通信系统(GSM)、W1-Fi和WIBRO。无线电通信单元105能够连接到公共无线电通信网络和/或互联网，以执行与另一终端的无线电通信。无线电通信单元105可被设置有用于与LTE演进节点B (eNB)进行通信的LTE通信模块以及W1-Fi通信模块。
[0026]存储单元120是控制单元200的存储装置。存储单元120可以是硬盘、随机存取存储器(RAM)、只读存储器(ROM)或闪存。存储单元120可存储在移动终端100的内部产生的数据以及通过无线电通信单元105或外部装置连接接口(未示出)从外部装置(例如，服务器、桌上型PC和平板PC)接收到的数据。
[0027]存储单元120存储启动程序和用于管理移动终端100的操作系统(OS)。
[0028]存储单元120存储嵌入式应用和第三方应用。嵌入式应用被安装在移动终端中，并包括例如web浏览器、电子邮件应用和即时消息应用。第三方应用包括能够从网上市场下载并安装在移动终端100中的多种多样的应用。第三方应用可被容易地安装和控制。当移动终端100通电时，启动程序被加载到控制单元200的主存储装置(例如，RAM)上。启动程序将OS加载到主存储装置上以操作移动终端100。OS将应用加载到主存储装置上。
[0029]触摸屏130包括触摸面板132和显示面板134。触摸面板132可以以附加型被放置在显示面板134的表面上，或者可以以on-cell型或in-cell型被插入到显示面板134中。
[0030]触摸面板132响应于在其上做出的用户的手势来产生模拟信号(例如，触摸事件)，并将模拟信号转换为被发送到控制单元200的数字信号。
[0031]控制单元200基于来自触摸面板132的信号来检测用户手势。控制单元200响应于可被分类为触摸和触摸手势的用户手势来控制组件。
[0032]触摸手势包括“轻击”、“拖动”和“轻弹”。也就是说，触摸指示在触摸屏上接触的状态，触摸手势指示触摸状态的任何改变。
[0033]触摸面板132可以是包括用于检测手部手势的手触摸面板和用于检测笔手势的笔触摸面板的集成触摸面板。手部触摸面板被实现为电容型。手触摸面板可被实现为电阻型、红外型或微波型。
[0034]手触摸面板能够检测由物体(例如，能够影响电容量的导电材料物体)做出的触摸事件以及由用户的手部手势做出的触摸事件。笔触摸面板可被实现为电磁感应型。在此情况下，笔触摸面板检测由被制造来形成磁场的触控笔180做出的触摸事件。
[0035]在控制单元200的控制下，显示面板134将从控制单元200输入的视频数据转换为用于显示的模拟信号。显示面板134显示各种屏幕，诸如锁定、主页、环境配置和应用(App)执行屏幕和键区。
[0036]如果检测到用于屏幕解锁的用户手势，则控制单元200可将锁屏改变为主页屏幕或app执行屏幕。
[0037]主页屏幕可包括多个页面。用户可选择所述页面中的一个，以便选择的页面被呈现。所述页面包括至少一个应用执行屏幕(可选地，执行图像和执行视图)。所述页面包括表示应用的至少一个图标(例如，环境设置、浏览器、电话和消息)。
[0038]所述页面还包括至少一个应用执行屏幕(可选地，执行图像、执行视图)、至少一个图标和空页面。如果用户选择了(例如，触摸了)图标，则控制单元200执行相应应用，并控制显示面板134显示执行屏幕。[0039]显示面板134在背景上显示以上屏幕中的一个(主页屏幕页面)并在前景上显示另一个(例如，键区)，使得主屏幕页面和键区重叠。显示面板134还可在控制单元200的控制下显示多个屏幕而彼此不重叠。例如，显示面板134可在第一屏幕区域上显示多个屏幕中的一个并在第二屏幕区域上显示另一个。
[0040]可用液晶显示器(IXD)、有机发光二极管(OLED)和有源矩阵OLED (AMOLED)中的一个来实现显示面板134。
[0041]在本文中的实施例中，显示面板134可显示电子书中的至少一个页面、在AR模式下执行的预览图像、被加载到预览图像上的电子书的默认数据以及用户的运动，其中，通过预览图像或者基于预览图像上的由传感器单元140检测到的传感器值而提取的反应数据检测到所述用户的运动。
[0042]音频处理单元160与扬声器(SPK)和麦克风(MIC)连接，以执行语音识别、语音记录、数字记录和用于电话功能的音频信号输入/输出。
[0043]音频处理单元从控制单元200接收数字音频信号，将数字音频信号转换为模拟音频信号，对模拟音频信号进行放大，并通过SPK输出音频信号。音频处理单元160将通过MIC输入的模拟音频信号转换为数字音频信号，并将数字音频信号输出到控制单元200。
[0044]扬声器转换从音频处理单兀160接收到的音频信号，以按可听声波的形式输出音频信号。MIC将来自其他声源的语音和声波转换为音频信号。在处于AR模式下,扬声器可输出从电子书的文本数据转换的语音数据。
[0045]传感器单元140可包括例如速度传感器、加速度传感器、高度传感器、温度传感器、陀螺仪传感器和罗盘传感器。传感器单元140检测物理量(诸如速度、加速度、高度、温度、陀螺仪和罗盘)的改变，并能够在AR模式下检测外部环境的改变的变化，使用检测到的变化来产生传感器值，并将传感器值发送到控制单元200。
[0046]键输入单元150包括用于接收字母数字信息输入的多个键(按钮)和用于构造和执行各种功能的功能键。这些功能键包括例如菜单键、屏幕开/关键、电源开/关键和音量控制键。
[0047]键输入单元150将与移动终端100的用户配置和功能控制相关联的键信号产生给控制单元200。
[0048]键信号包括例如电源开/关信号、音量控制信号和屏幕开/关信号。控制单元200响应于这种键信号来控制组件。键输入单元150的键(按钮)被称为硬键，而呈现在触摸屏130上的键(按钮)被称为软键。
[0049]控制单元200控制移动终端100的全部操作以及在终端100的内部组件中的信号流，处理数据，并控制电池向组件的电力供应。控制单元200包括用于存储应用和操作系统
(OS)的主存储装置、用于临时存储将被写入存储单元120的数据和从存储单元120读取的数据的高速缓冲存储器、中央处理单元(CPU)和图形处理单元(GPU)。OS提供硬件和程序之间的接口，并管理计算资源(诸如CPU、图形处理单元(GPU)、主存储装置和辅助存储装置)。
[0050]也就是说，OS操作移动终端100，调度任务并控制CPU和GPU操作。OS负责控制应用程序的执行并管理数据和文件。
[0051]如本领域中公知的，CPU是计算机系统的用于执行数据运算和比较并解释和执行命令的核心控制单元。GPU是用于代替CPU对图形数据执行运算和比较并解释和执行与图形数据相关的命令的图形控制单元。CPU和GPU中的每个都可被制造为两个或更多个独立核(例如，四核)的封装件。CPU和GPU可集成为片上系统(SoC)。CPU和GPU也可以是多层封装件。CPU和GPU的结构可被称为应用处理器(AP)。
[0052]在本发明的实施例中，控制单元200包括管理器模块210、电子书内容获取模块114、AR识别跟踪引擎模块230和数据加载模块118。
[0053]管理器模块210监视以检测当电子书的页面被显示在显示面板134上时或当电子书被执行时的用户的AR模式执行请求。在检测到AR模式执行请求时,管理器模块210执行与AR模式执行请求相关的至少一个模块。
[0054]当检测到用户的AR模式执行请求时，管理器模块210执行电子书数据获取模块220、AR识别跟踪引擎模块230、数据加载模块240和相机单元190。用户可使用在触摸屏130上以文本“AR”的形式呈现的软键、硬键或手势来输入AR模式执行请求。
[0055]电子书数据获取模块220由管理器模块210激活，并解析已经执行或正在执行的电子书中的至少一个页面。通过电子书解析，至少一种预先存储的书数据被映射到相应页面，并且提取的数据被显示在显示面板134上。
[0056]所述书数据包括与相应的电子书库相关联的文本数据、图像数据、2D图形数据、3D图形数据、视频数据、音频数据和振动数据中的至少一种。
[0057]如图2中所示，AR识别跟踪引擎模块230包括预览图像获取器232、默认数据提取器234、特定事件检测器236和反应数据提取器238。
[0058]预览图像获取器232将来自相机单元190的预览图像输出到显示面板134。预览图像通过相机单元190的图像传感器被得到并被显示在显示面板134上。
[0059]默认数据提取器234从由电子书数据获取模块220获取的数据中提取将在AR模式下输出到预览图像上的数据。
[0060]例如，由于AR模式将当前的实际用户环境的预览图像用为背景，因此除了默认的背景图像之外，在电子书的图像数据中仅可提取特征图像。
[0061]默认数据提取器234能够一起提取音频数据和预览图像。随着电子书的执行而显示的文本数据可在AR模式下被转换为语音(文本到语音)。
[0062]上述默认数据是示例，并且可根据用户的配置或电子书设计者的配置用各种数据来替代。
[0063]特定事件检测器236检测在通过在AR模式下执行的相机单元190获取的预览图像中的用户的运动。用户的运动表示通过相机单元190检测到的物体或用户的移动，或者特定事件检测器236能够检测到的用户或对象的位置、角度和方向中的改变。例如，没有运动的周围环境图像不被检测为用户的运动。
[0064]特定事件检测器236能够将在相同坐标区域处发生的用户的运动检测为预览图像中的默认数据。
[0065]特定事件检测器236接收通过传感器单元140的各种传感器(诸如加速度传感器、重力传感器、罗盘传感器、陀螺仪传感器、温度传感器和运动识别传感器)获取的传感器值中的至少一个。运动识别传感器检测物体的运动或位置，并且可被实现为与例如电磁传感器、加速度传感器、高度计或陀螺仪传感器封装在一个芯片中的集成传感器。
[0066]在实施例中，如果用户按与水平线的角度倾斜了移动终端，则传感器单元140检测斜率，并将与所述斜率相应的传感器值产生给特定事件检测器236。
[0067]在另一实施例中，如果用户对MIC吹气，则传感器单元140检测到用户的呼吸，并将传感器值产生给特定事件检测器236。
[0068]反应数据提取器238可从元数据表提取映射到用户运动和/或由特定事件检测器236提供的传感器值的反应数据。
[0069]元数据表可存储根据与默认数据的坐标区域相应地产生的特定事件而被输出到预览图像的反应数据。反应数据是根据特定事件加载到预览图像上的新数据，并且可以是从预览图像上的默认数据改变的数据或者替换预览图像上的默认数据的数据。
[0070]元数据表还可包括被预定根据在除了相同坐标区域以外的坐标区域处产生的特定事件被加载到预览图像上的作为默认数据的反应数据。反应数据可被加载到相同坐标区域上作为默认数据，或者被加载为其他坐标区域上。
[0071]数据加载模块240将反应数据加载到输出默认数据的预览图像上以便被显示在显示面板134上。数据加载模块240可加载响应于特定事件而从默认数据改变的反应数据，或可加载用于替换预览图像上的默认数据的反应数据。
[0072]虽然难以列举可融合的所有的功能组件，但是移动终端100还可包括全球定位系统(GPS)模块、近场通信(NFC)模块和振动电机。GPS模块可用来定位移动终端漫游的区域。振动电机可用来向用户告警特定情况的开始和结束。移动终端100可被实现为具有或不具有上述和其他组件中的任意一种。
[0073]图3示出根据本发明的实施例的移动终端的AR内容产生方法。
[0074]在步骤301，控制单元200响应于用户请求来执行电子书功能，并显示由用户选择的原始数据。控制单元200可在移动终端100的显示面板134上显示电子书中的至少一个页面。
[0075]控制单元200监视以检测用户请求，并且如果检测到用户请求，则在步骤303确定用户请求是否是AR模式请求。如上所述，在AR模式下，与电子书相关的默认数据被加载到真实环境的预览图像上，并且反应数据响应于特定事件的发生被加载到具有默认数据的预览图像上，以便产生AR内容。用户可使用移动终端的按钮或基于触摸的输入界面来输入AR模式请求。
[0076]如果用户请求不是AR模式请求，则在步骤305控制单元200执行与用户请求相应的功能。例如，控制单元200可响应于用户请求显示电子书执行屏幕并结束电子书。
[0077]如果用户请求是AR模式请求，则在步骤307控制单元200执行相机单元190并从电子书提取默认数据。
[0078]在AR模式下控制单元200提取作为默认数据将被显示在显示面板134上的数据，其中，所述默认数据为预先映射到电子书的文本、图像、2D图形、3D图形、视频、音频和振动数据中的至少一种。
[0079]当AR模式将当前的真实用户环境的预览图像用作背景时，除了在AR模式下的电子书的基本背景屏幕图像以外，控制单元200能够提取上述数据中的至少一种。电子书的文本数据可被转换为音频数据(文本到语音)。
[0080]默认数据可由电子书设计者预先存储。
[0081]在步骤309，控制单元200将默认数据加载到预览图像上。控制单元200可通过预览图像识别真实环境中的物体、背景和人，检测构成真实环境的组件的坐标，并基于所述检测结果来配置参考坐标平面以输出默认数据和反应数据。也就是说，控制单元200可基于配置的参考坐标平面将默认数据加载到预览图像上。
[0082]在步骤311，控制单元200确定特定事件是否发生。例如，控制单元200可将两个事件检测为特定事件。
[0083]所述事件之一可以是通过预览图像检测到的用户的运动。用户的运动表示通过相机单元190检测到的用户或物体的移动，或者控制单元200能够检测的用户或物体的位置、角度和方向的改变。例如，不具有运动的周围环境图像不被检测为用户的运动。
[0084]控制单元200可通过预览图像检测在与默认数据相应的坐标区域上发生的用户的运动。
[0085]另一事件可由传感器单元140检测。例如，由上述传感器中的至少一个检测的在移动终端中发生的改变可被视为特定事件。
[0086]如果没有检测到特定事件，则控制单元220返回步骤309以继续将默认数据加载到预览图像上。
[0087]如果特定事件被检测到，则在步骤313，控制单元200响应于检测到特定事件来提取反应数据。控制单元200可检索被预先映射到用户运动和/或从特定事件提取的传感器值的反应数据。反应数据可被存储为被映射到相应的用户运动和传感器值。
[0088]例如，可以以输出形式从默认数据来改变反应数据，或者反应数据可替换默认数据，以在预览图像上示出默认数据的改变。除默认数据之外，反应数据还可被重新加载到预览图像上。
[0089]反应数据可在相同坐标区域被加载为默认数据，或者在与默认数据相邻的预定坐标区域被加载到预览图像上。
[0090]反应数据可由电子书设计者或移动终端设计者来构造并被存储在元数据表中。
[0091]控制单元200可将反应数据加载到示出默认数据的预览图像上。也就是说，控制单元200将反应数据与默认数据一起加载到预览图像上以显示具有默认数据的预览图像，并且反应数据被显示在显示面板134上。
[0092]通过将响应于特定事件所提取的反应数据加载到已经加载了电子书的默认数据的预览图像上而产生的数据被称为AR内容。
[0093]在步骤317，控制单元200确定AR模式终止请求是否被检测到，并且如果AR模式终止请求被检测到，则在步骤319控制单元200结束AR模式。控制单元200可停用相机190，并将在先前步骤中所产生的AR内容存储在存储单元120中。如果在步骤317没有检测到AR模式终止请求，则所述方法进行到步骤318以执行相应功能。
[0094]AR内容由加载到在用户执行AR模式时的真实环境图像的预览图像上的电子书的默认数据和反应数据构成。因此，与传统的电子书相比，AR内容在允许其他用户的参与方面是全新的，并且是逼真的。
[0095]如以上所描述的，本发明的AR内容产生系统和方法能够将真实环境的预览图像以及根据通过移动终端的各种传感器获得的传感器值而检索的反应数据和通过解析电子书而获得的数据一起输出，以便为用户提供更生动和更逼真的电子书AR内容。
[0096]本发明的AR内容产生系统和方法响应于通过预览图像检测到的用户的运动来提取反应数据，并将所述反应数据加载到真实环境的预览图像上，以便实现用户参与和动态AR内容，从而提高用户在电子书中的沉浸感。
[0097]图4示出根据本发明的实施例的用于解释AR内容产生方法的屏幕显示。
[0098]如图4中所示，执行屏幕示出在移动终端中执行的电子书的原始数据(如显示器401中所示)。
[0099]执行屏幕示出电子书的页面之一。详细地讲，电子书页面示出了刷牙动作，所述电子书页面包括口腔环境图像410和特定文本数据435。口腔环境图像410包括细菌人物图像 420。
[0100]呈现出电子书的原始数据的执行屏幕可提供用于将模式切换到AR模式的软键“AR”，如图4的410中所示。如果用户使用AR键请求执行AR模式，则控制单元200将模式切换到具有如图4的显示器402中所示的AR模式执行屏幕的AR模式。
[0101]显示器402中所示的AR模式执行屏幕将通过相机单元415输入的用户的实际客厅图像430显示为预览图像。
[0102]在AR模式下，控制单元200可检查通过相机415输入的预览图像上的坐标，并识别物体、人和背景。假设儿童、客厅地板、书架、沙发和玩具被区别地检测出。
[0103]在电子书的多个数据中，细菌人物图像数据420可被显示在如图4的显示器402中所示的执行屏幕上，并且电子书的文本数据“请战胜细菌”可被转换为将通过SPK被输出的语音数据。
[0104]细菌人物图像420可以是预先构造为在显示器401的执行屏幕期间当模式被切换到AR模式时被加载到预览图像上的默认数据。可将细菌人物图像420构造为被呈现于在预览图像中被检测到的人的坐标区域。
[0105]通过相机415输入的预览图像也可根据在AR模式下的移动终端的位置的改变而改变。这表示预览图像是被实时拍摄的环境的实时图像。
[0106]虽然预览图像改变，但是控制单元200可用预览图像上的坐标来区分人、物体和背景，并且默认数据可根据检测到的坐标被显示在新的坐标区域。
[0107]例如，如果在客厅被拍摄为如显示器402中所示的预览的状态下移动终端移动到卧室，则卧室图像450被显示在如图4的显示器403中所示的执行屏幕上。细菌图像420可被加载在人的特定坐标区域。
[0108]如果在人的特定坐标区域440检测到刷牙运动445，则控制单元200可将被预先映射到刷牙运动445的新的反应数据460加载到预览图像上。新的人物460可以是具有预定逃走动作的细菌人物图像460。图4的显示器403中的刷牙运动是用户的运动。
[0109]图5示出根据本发明的实施例的用于解释在AR内容产生方法中加载AR内容的过程的屏幕显示。
[0110]如图5中所示，显示器501的执行屏幕显示由移动终端执行的电子书的原始数据。例如，显示器501的执行屏幕包括作为背景的天空图像510、蒲公英图像520和作为电子数据的一部分的文本数据525。
[0111]如显示器501中所示的显示电子书的原始数据的执行屏幕可提供能够切换到AR模式的标志“AR”511。如果用户选择标志511，则电子书的模式被切换到如显示器502的执行屏幕中所示的AR模式。[0112]如显示器502中所示的AR模式执行屏幕示出了通过相机415被生动地输入为预览图像530的用户的房间的图像。
[0113]控制单元200检查被识别为平面的区域的坐标，并将蒲公英图像520作为默认数据加载到平面坐标区域上。这种执行也可由控制单元200预先配置。
[0114]执行屏幕503示出了蒲公英图像520被加载到桌子的坐标区域540上的预览图像，其中，控制单元220将桌子的坐标区域540部分地识别为平面。
[0115]当蒲公英图像520被加载时，文本数据“温暖的春风轻轻地在阳光下的田地上吹过”被转换为将通过SPK输出的语音数据。
[0116]如果用户对着移动终端的吹气传感器526吹气，则吹气传感器526将与吹的气相应的传感器值产生给控制单元200，使得控制单元200基于传感器值检索反应数据550，并将反应数据550加载到预览图像上，如显示器503的执行屏幕中所示。
[0117]例如，控制单元200检索花瓣在风中旋转的图像数据550，并将所述图像数据加载到蒲公英图像520的坐标区域周围和/或加载到蒲公英图像520的相同坐标区域上，其中，图像数据550被预先映射到来自映射表的传感器值。
[0118]如上所述，本发明的AR内容产生方法和移动终端能够显示真实环境的预览图像连同根据通过移动终端的各种传感器获取的传感器值而检索到的反应数据，以及通过解析电子书而获取的数据，从而提供更生动的电子书内容和更逼真的AR内容。
[0119]此外，根据本发明的AR内容产生方法和移动终端能够响应于通过预览图像检索到的用户的运动来检索反应数据，并将所述反应数据加载到真实环境的预览图像上，从而实现用户参与和动态AR内容，并提高电子书阅读者的沉浸水平。
[0120]以上描述的根据本发明的实施例的移动终端的AR内容产生方法和设备可以以计算机可执行程序命令的形式来实现，并被存储在计算机可读存储介质中。计算机可读存储介质可以以单独形式或组合形式来存储程序命令、数据文件和数据结构。记录在存储介质中的程序命令可被设计并被实现用于本发明的各种实施例，或可被计算机软件领域的技术人员使用。计算机可读存储介质包括磁介质(诸如软盘和磁带)、包括高密度盘(CD) ROM和数字视频盘(DVD) ROM的光学介质、磁光介质(诸如光磁盘)和被设计用于存储和执行程序命令的硬件装置(诸如R0M、RAM和闪存)。程序命令包括可由计算机使用解释器来执行的语言代码以及由编译器创建的机器语言代码。可使用用于执行本发明的各种实施例的一个或更多个软件模块来实现上述硬件装置。
[0121]虽然已经使用特定术语描述了本发明的优选实施例，但是说明书和附图将被认为是说明性的而不是限制性的，以帮助理解本发明。可在不脱离由权利要求限定的本发明的精神和范围的情况下，在本文中做出形式和细节上的各种改变。
【权利要求】
1.一种增强现实内容产生方法，包括: 接收用于基于电子书内容来产生增强现实内容的增强现实模式执行请求； 响应于所述请求执行相机，并提供预览图像； 将电子书的书数据加载到预览图像上； 检测在增强现实模式下发生的事件； 提取被预先映射到所述事件的反应数据； 将提取的反应数据加载到预览图像上。
2.如权利要求1所述的方法，还包括:在增强现实模式下从电子书的书数据中提取将被呈现在预览图像上的默认数据。
3.如权利要求1所述的方法，还包括: 存储被加载了反应数据和书数据的预览图像； 识别被提供为预览图像的真实环境的物体、人和背景； 确定在预览图像上的物体、人和背景的坐标， 其中，在与书数据相同的坐标区域处或在与书数据相邻的另一坐标区域处加载反应数据， 其中，书数据被加载到通过对预览图像的坐标检测而被识别为平面的参考坐标的区域上。
4.如权利要求1所述的方法，其中，检测所述事件的步骤包括以下步骤中的至少一个: 检测预览图像中的用户的运动； 检测通过移动终端的传感器单元获得的传感器值。
5.如权利要求4所述的方法，其中，传感器单元包括加速度传感器、重力传感器、罗盘传感器、陀螺仪传感器、温度传感器和运动传感器中的至少一个， 其中，反应数据包括从预览图像上的默认数据改变的数据或者替换预览图像上的默认数据的数据。
6.如权利要求4所述的方法，还包括:将被映射到用户的运动和传感器值的反应数据存储在映射表中。
7.如权利要求1所述的方法，其中，除了基本的背景图像数据以外，电子书的书数据包括人物图像数据、音频数据、振动数据、视频数据、2维(2D)图形数据和3D图形数据中的至少一个。
8.如权利要求1所述的方法，其中，加载电子书的书数据的步骤包括: 将电子书的文本数据转换为语音数据； 输出所述语音数据。
9.一种被构造为广生增强现实内各的移动终端，所述终端包括: 显示单元，被构造为在增强现实模式下显示从电子书的执行屏幕转换的预览图像，并呈现电子书的书数据和根据事件检索的反应数据； 存储单元，被构造为存储书数据、反应数据以及书数据和预览图像被加载的预览图像； 控制单元，被构造为激活相机以获取预览图像，获得在增强现实模式下的用户的运动或传感器值，基于用户的运动或传感器值来检索反应数据，并加载书数据和反应数据以产生增强现实内容。
10.如权利要求9所述的终端，其中，控制单元包括: 电子书数据获取模块，解析电子书中的至少一个页面以提取书数据，并将书数据发送到显示单元； 预览图像获取器，从相机获取预览图像； 默认数据提取器，在增强现实模式下从书数据提取默认数据以输出到预览图像上； 特定事件检测器，在增强现实模式下检测用户的运动或获取传感器值； 反应数据提取器，提取被预先映射到用户的运动或传感器值的反应数据； 管理器模块，响应于增强现实模式执行请求来激活预览图像获取器、默认数据提取器、特定事件检测器和反应数据提取器。
11.如权利要求9所述的终端，其中，控制单元识别被提供为预览图像的真实环境的物体、人和背景，并确定在预览图像上的物体、人和背景的坐标，其中，书数据被加载到通过对预览图像的坐标检测而被识别为平面的参考坐标的区域上。
12.如权利要求11所述的终端，其中，在与书数据相同的坐标区域处或在与书数据相邻的另一坐标区域处加载反应数据。
13.如权利要求9所述的终端，其中，控制单元将被映射到用户的运动和传感器值的反应数据存储在映射表中，将电子书的文本数据转换为语音数据，并输出所述语音数据。
14.如权利要求9所述的终端，其中，反应数据包括从预览图像上的默认数据改变的数据或者替换预览图像 上的默认数据的数据。
15.如权利要求9所述的终端，其中，除了基本的背景图像数据以外，电子书的书数据包括人物图像数据、音频数据、振动数据、视频数据、2维(2D)图形数据和3D图形数据中的至少一个。
【文档编号】G06F3/0487GK103970409SQ201410041446
【公开日】2014年8月6日 申请日期:2014年1月28日 优先权日:2013年1月28日
【发明者】慎大揆, 曹圭星, 曹益焕 申请人:三星电子株式会社