用于分布式故事阅读的视觉内容修改的制作方法_3

文档序号:9277568阅读:来源:国知局
那些词语。在该实例中,系统已经知晓页面或页码,因为这是被采用来确定何时改变显示以 示出电子书的下一页或者接下来的页面的机制。
[0075] 作为可以如何利用使用上面描述的技术提取的定位数据触发各种增强的示例,考 虑下面的表格。 表1。
[0076] 表1是来自适当配置的定位跟踪器的定位信息可以如何用作效果表格的索引以 便当在表格所绑定的页面上到达特定词语时触发特定增强的示例。在一个或多个实施例 中,可以利用单个表格对书中的每一页触发增强效果。可替换地,可以对于整本书利用单个 表格。在该实例中,表格可以不通过页面内的定位来被标引,而是通过整本书内的定位来被 标引。
[0077] 此外,可以利用一个或多个表格确定何时触发背景音频声音,例如丛林声音、雷 声、掌声等等。如果只有一个表格,那么它可以像在以下示例中那样通过页码来标引。
表2。
[0078] 在这里,表2包括通过页码而标引的全局背景音频效果。如果对于何时触发这些 背景声音的更细粒的控制是所希望的,那么通过页面内的定位而标引的多个元数据表格 (例如,每页一个)可以被包括在内。在这种情况下,表格将具有与表1类似的格式,其中"话 音效果"列将由"背景声音"代替。
[0079] 图5图示出描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以结 合任何适当的硬件、软件、固件或者其组合实现。在至少一些实施例中,该方法的方面可以 通过适当配置的软件模块(诸如图1-3的增强效果模块112)实现。
[0080] 步骤500建立多个参与者之间的通信连接。该通信连接被建立以便使得参与者能 够共享在参与者之中共享电子故事的交互式阅读体验。可以建立任何适当类型的通信连 接,其示例在上文中提供。
[0081] 步骤502接收与电子故事的读者关联的音频数据,该电子故事正在与一个或多个 其他远程参与者共享。该步骤可以以任何适当的方式执行。例如,当读者将电子故事读入 麦克风时,可以将关联的音频转换成音频数据以便进一步处理。
[0082] 步骤504根据音频数据查明电子故事内的位置。上文中提供了可以这可以被如何 完成的示例。响应于查明电子故事内的位置,步骤506增强音频数据。该音频数据可以以 任何适当的方式增强,其示例在上文和下文中提供。此外,该步骤可以在任何适当的位置执 行。例如,在至少一些实施例中,该步骤可以在读者的计算设备处或者由读者的计算设备执 行。可替换地或者附加地,该步骤可以由步骤502的接收音频数据的服务器执行。可替换 地或者附加地,该步骤可以由与远程参与者的每个参与者关联的计算设备执行。上文中提 供了这可以被如何完成的示例。
[0083] 步骤508使得远程参与者能够消费增强的音频数据。该步骤可以以任何适当的方 式执行。例如,在其中在读者的计算设备上增强音频数据的实施例中,步骤508可以通过向 与远程参与者的每个参与者关联的计算设备传输或者以其他方式传达增强的音频数据而 执行。在其中音频数据由服务器增强的实施例中,该步骤可以通过服务器将增强的音频数 据分发至与远程参与者的每个参与者关联的计算设备而执行。在其中音频数据由与远程参 与者关联的计算设备增强的实施例中,该步骤可以通过以下而执行,即:使得远程参与者的 设备能够通过使用适当配置的应用在本地处理音频数据来增强该音频数据。
[0084] 考虑了利用语音识别给予增强效果的暗示的示例实施例之后,现在考虑各种基于 触摸的方法。
[0085] 使用触摸决定何时增强语音 在一个或多个实施例中,可以利用触摸决定何时增强与阅读电子故事关联的语音。举 例而言,考虑以下所述。如果读者使用启用触摸的设备参与共享故事体验,那么当读者阅读 时,他们可以在读词语时将其手指或触笔沿着词语进行追踪。可以基于这些词语及其在故 事中的定位触发增强。使用该方法可以提供比上面描述的语音识别方法更多的控制。例如, 如果用户将其手指保持在处于导致增强的语音的特定定位,那么用户可以即兴演讲并且说 出不包括在故事中的词语,同时使那些词语增强。
[0086] 使用该方法,可以通过使用边界框方法生成基于触摸的索引,以确定指向页面上 的词语集合中的哪一个。依照该方法,各词语具有关联的边界框。当触摸位置落入词语的 边界框内时,生成其对应的索引。该索引可以结合一个或多个表格(诸如上面所描述的那些 表格)使用,以便查明要应用的增强效果。
[0087] 图6图示出描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以结 合任何适当的硬件、软件、固件或者其组合实现。在至少一些实施例中,该方法的方面可以 通过适当配置的软件模块(诸如图1-3的增强效果模块112)实现。
[0088] 步骤600建立多个参与者之间的通信连接。该通信连接被建立以便使得参与者能 够共享在参与者之中共享电子故事的交互式阅读体验。可以建立任何适当类型的通信连 接,其示例在上文中提供。
[0089] 步骤602接收与共享电子故事的参与者关联的触摸输入,该参与者可以是故事的 读者或者其他远程参与者之一。该步骤可以以任何适当的方式执行。例如,当读者将电子 故事读入麦克风时,可以在读者利用他或她的手指沿着故事的文本进行跟随时接收关联的 触摸输入。
[0090] 步骤604根据触摸输入查明电子故事内的位置。上文中提供了这可以被如何完成 的示例。响应于查明电子故事内的位置,步骤606增强音频数据。该音频数据可以以任何 适当的方式增强,其示例在上文和下文中提供。此外,该步骤可以在任何适当的位置执行, 其示例在上文中提供。
[0091] 步骤608使得远程参与者能够消费增强的音频数据。该步骤可以以任何适当的方 式执行,其示例在上文中提供。
[0092] 考虑了利用触摸输入应用增强效果的示例实施例之后,现在考虑可以如何利用故 事内容内的用户界面元素以应用增强。
[0093] 使用用户界面元素决定何时增强语音 在一个或多个实施例中,可以利用用户界面元素决定何时增强语音。用户界面元素可 以包括不是故事内容的一部分的元素。可替换地或者附加地,用户界面元素可以包括是故 事内容的一部分的元素。
[0094] 在一个或多个实施例中,当在显示设备上呈现电子故事时,也可以呈现各种控制 按钮或控制小部件以便使得能够实现音频增强或其他增强效果。在这些实施例中,控制按 钮或小部件不构成故事内容的一部分。而是,这些按钮或小部件构成用户可以通过其与特 定故事交互的工具。举例而言,考虑图7。在那里,图示出电子故事的方面的用户界面总体 上示出在700处。在该特定电子故事中,存在两个演员--Max和Grace,以及两种效果-- 下雨和打雷。应当注意,在该示例中,提供了四个控制按钮702、704、706和708。控制按钮 702和704与故事的演员关联,而控制按钮706和708与出现在故事内的效果关联。当选 取与故事的演员关联的特定控制按钮(例如702)时,读者的语音将变形为听起来像该演员。 可替换地,当选取与故事内出现的效果关联的特定控制按钮时,将展现与特定效果关联的 音频。在该特定示例中,选取下雨控制按钮706将使得为故事的参与者展现下雨声。这些 按钮可以由参与者中的任一参与者选取。
[0095] 该方法也可以允许一定程度的即兴演讲,使得读者可以"脱离脚本"在若干位置处 造成故事内的不同效果,在这些位置处,这样的效果不是内容开发者所预期的。例如,读者 可以选择通过在特别的或者幽默的时间按下特定控制按钮而随机地应用某种效果。此外, 该方法使用特定故事的较少预处理(或者不使用预处理)。例如,在整个故事中提供诸如角 色话音、背景声音等等之类的固定的增强集合,并且何时激活特定增强取决于读者。
[0096] 可替换地或者附加地,可以利用构成故事内容的一部分的用户界面元素作为用于 应用增强的基础。举例而言,考虑图8,其类似于图7并且示出了图示出电子故事的方面的 用户界面,其总体上示出在800处。然而,在这里,移除了控制按钮和小部件。在这些实施例 中,读者可以触摸故事内的对象(诸如图示出的闪电),以使得某种效果被应用。类似地,通 过触摸特定演员,读者的话音可以变形为听起来像那个演员。同样地,通过触摸特定短语, 例如可能出现在故事文本中的"消防车警笛",可以应用消防车警笛效果。因此,按照这种方 式,可以利用故事内的对象作为触发增强效果的"隐式"按钮。
[0097] 在这些实施例中,读者的乐趣可以通过向其提供以下能力而加强,即:探索特定页 面上的哪些对象会触发哪些效果。可替换地,这些"隐式"按钮可以利用指示可以触摸它们 以激活增强效果的高亮、链接或者轮廓线而被可视地指示。
[0098] 从教育的角度看,使用这些"隐式"按钮以激活增强效果可以用作对于一个人(诸 如孙子女)正确地标识另一个人(诸如祖父母)所说的或者指导的话的奖励。例如,如果祖 父母说"点击树来听森林的声音",那么当孙子女正确地点击书中的树时,可以播放森林背 景声音作为对该小孩的奖励。举另一个示例而言,祖父母可能说"点击松鼠来使我听起来像 松鼠"。如果小孩点击松鼠,那么与不正确的猜测相反,他们现在将听见其被变形为听起来 像松鼠的祖父母的话音。
[0099] 除了对读者话音的增强效果之外,触摸特定对象可以造成以某种方式修改该对 象。例如,如果读者触摸故事中的特定演员,那么不仅读者的话音会变形为听起来像该演 员,而且也可以将该演员动画化,使得其嘴巴和脸部以反映读者的嘴巴和脸部的方式来移 动。这可以通过处理由关联的视频摄像机捕获的读者的视频信号来创建可以用来驱动电子 书中演员的呈现的模型而完成。例如,可以在算法上将三维网格拟合到读者的脸部以便实 时地跟踪其脸部特征和定位。该信息然后可以用作用于驱动电子书中演员的呈现的模型。 这种方法可以与微软的用于Windows的Kinect中的方法相同或类似。
[0100] 图9图示出描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以结 合任何适当的硬件、软件、固件或者其组合实现。在至少一些实施例中,该方法的方面可以 通过适当配置的软件模块(诸如图1-3的增强效果模块112)实现。
[0101] 步骤900建立多个参与者之间的通信连接。该通信连接被建立以便允许参与者共 享在参与者之中共享电子故事的交互式阅读体验。可以建立任何适当类型的通信连接,其 示例在上文中提供。
[0102] 步骤902接收和与一个或多个远程参与者共享的电子故事关联的用户界面元素 的触摸输入。如上文中所指出的,用户界面元素可以包括或者可以不包括故事内容的一部 分。触摸输入可以接收自参与者中的任一参与者。
[0103] 响应于接收到触摸输入,步骤904增强故事的一个或多个属性或特性。例如,可以 如上面所描述的增强读者的话音。可替换地或者附加地,可以如上面所描述的应用一种或 多种效果。此外,可以增强或修改故事本身的内容。例如,增强可以进一步包括增强与故事 关联的视频,例如如上文和下文中描述的操纵故事内的一个或多个对象。此外,该步骤可以 在任何适当的位置执行,其示例在上文中提供。
[0104] 步骤906使得远程参与者能够消费增强的电子故事。该步骤可以以任何方式执 行,其示例在上文中提供。
[0105] 考虑了利用触摸输入应用增强效果的示例实施例之后,现在考虑可以如何利用姿 态来应用增强。
[0106] 使用姿态来应用增强 在一个或多个实施例中,可以利用姿态来应用增强。姿态可以包括基于触摸的姿态以 及基于非触摸的姿态,诸如通过自然用户界面(NUI)提供的那些姿态。在任一情况下,可以 将特定姿态映射到各种增强。举例而言,考虑可以以与微软的Kinect技术捕获和分析姿态 大致相同的方式由视频摄像机捕获且分析的基于非触摸的姿态。
[0107] 在该特定实例中,假定读者正在阅读与其他参与者共享的故事。前向摄像机捕获 读者的图像。当读者到达故事的特定部分时,他们对故事角色之一做出刷动(swipe)姿态。 该刷动姿态然后被映射为这样的话音效果,即:将读者的话音变形为刷动姿态在其上出现 的角色的话音。类似地,假定在该特定故事中,若干背景声音是可用的。随着读者在故事中 前进,他们在雨云上的空间中做出敲击姿态,其被前向摄像机捕获并且映射为雷形式的背 景声音。
[0108] 图10图示出描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以 结合任何适当的硬件、软件、固件或者其组合实现。在至少一些实施例中,该方法的方面可 以通过适当配置的软件模块(诸如图1-3的增强效果模块112)实现。
[0109] 步骤1000建立多个参与者之间的通信连接。该通信连接被建立以便使得参与者 能够共享在参与者之中共享电子故事的交互式阅读体验。可以建立任何适当类型的通信连 接,其示例在上文中提供。
[0110] 步骤1002捕获和与一个或多个其他远程参与者共享的电子故事关联的姿态输 入。该姿态输入可以是如上面所指出的基于触摸的输入或者基于非触摸的输入。
[0111] 响应于捕获姿态输入,步骤1004将该姿态输入映射为增强效果,并且步骤1006使 用该增强效果增强故事的一个或多个属性或特性。例如,可以如上面所描述的增强读者的 话音。可替换地或者附加地,可以如上面所描述的应用一种或多种效果。此外,可以增强或 修改故事本身的内容。例如,增强可以进一步包括增强与故事关联的视频,例如如上文和下 文中描述的操纵故事内的一个或多个对象。此外,该步骤可以在任何适当的位置执行,其示 例在上文中提供。
[0112] 步骤1008使得远程参与者能够消费增强的电子故事。该步骤可以以任何方式执 行,其示例在上文中提供。
[0113] 考虑了利用姿态输入应用增强效果的示例实施例之后,现在考虑可以如何利用故 事内容本身来应用增强。
[0114] 使用故事内容来应用增强 在一个或多个实施例中,故事内容可以提供关于何时应用增强的暗示。例如,增强效果 模块112可以包括解析内容以查找要应用增强的地方的内容解析器。内容解析器可以标识 某些词语,例如"消防车",这些词语然后被用作为用于应用增强(例如消防车声音)的位置 的指示。类似地,内容解析器可以查找用于应用增强的某些标点符号暗示。例如,内容解析 器可以查找引号并且使用引号的位置作为增强效果表格的索引。考虑以下示例: Sadie老鼠说"我要移动那块奶酪。"
[先前的文字是引用区域1]。
[0115] Billy老鼠说"你最好快点移动它,因为我想他们正在观看。"
[先前的文字在引用区域2]。
[0116] 图11图示出描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以 结合
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1