用于分布式故事阅读的视觉内容修改的制作方法_5

文档序号:9277568阅读:来源:国知局
的,最终用户终端102及其关联的元件和环境已经被简化。然而,应当领会且理 解的是,该简化并非预期限制要求保护的主题的范围。
[0148] 除别的以外,最终用户终端102从摄像机1502接收视频输入。摄像机1502表示 可以电子地捕获、记录和/或处理运动中的一系列图像的功能性。此外,电子捕获的图像可 以存储在任何适当类型的存储设备上,其示例在下文中提供。在这里,摄像机1502被图示 为最终用户终端外部的设备,其通过有线连接发送捕获的视频。然而,可以使用任何适当类 型的连接,诸如无线连接。在一些实施例中,摄像机1502和用户终端102彼此集成在相同 的硬件平台上(诸如集成在智能电话上的视频摄像机)。可替换地或者附加地,摄像机1502 可以与最终用户终端102的外设集成在一起,诸如集成在连接到最终用户终端102的显示 设备上的摄像机。因此,摄像机1502表示可以电子地捕获视频和/或将视频发送至最终用 户终端102的任何形式的设备,不管它们是集成的还是分离的。
[0149] 视频捕获1504表示被最终用户终端102接收的视频图像。在该示例中,视频捕获 1504由摄像机1502生成,并且本地地存储在最终用户终端102上。然而,应当领会的是,视 频捕获1504也可以远离最终用户终端102存储,而不脱离要求保护的主题的范围。因此, 最终用户终端102可以以任何适当的方式获取视频捕获,诸如通过直接连接到最终用户终 端102的摄像机(如这里图示的)或者通过远程连接获取视频捕获。在一些实施例中,视频 捕获可以包括诸如所共享的故事体验的一个或多个参与者和/或读者之类的一个或多个 人的图像。在这里,视频捕获图像1506表示包括视频捕获1504的多幅静止图像之一。为 了简单起见,将参照视频捕获图像1506进行讨论。然而,应当领会的是,参照视频捕获图像 1506描述的功能性可等同地应用到视频捕获1504和/或所述多幅图像。
[0150] 当参与到多用户通信会话中时,视频经常比纯文本更有效地传达与用户关联的情 感。例如,文本短语"哦"可以被解释为许多情感之一:惊奇,失望,好奇,兴奋,愤怒,厌恶等 等。在不知道任何上下文的情况下,阅读该短语的用户可能不能如所预期的解释它,从而导 致一定程度上"平淡的(flat)"且误导性的体验。然而,观看说出该短语的第二用户的视频 的用户可以根据第二用户在说该短语时脸部如何变化的视觉暗示更好地解释预期的情感。 按照类似的方式,将这些视觉暗示和/或姿态捕获到共享的故事中可以加强故事体验。
[0151] 在一些实施例中,脸部检测算法可以自动地检测视频捕获中的脸部和/或脸部区 域。这些算法可以标识视频和/或静止图像内的脸部特征,同时忽略和/或不考虑图像内 的其他对象。例如,考虑图16,其描绘了应用到图15的视频捕获图像1506的脸部检测算 法1602a、1602b和1602c的方面。脸部检测算法1602a表示总体上检测脸部并且使用框标 记脸部位置的算法。在该示例中,使用矩形框来限定区域1604以便标识检测的脸部位于何 处。可以使用任何适当的尺寸和形状,例如正方形框、椭圆形框、圆形框等等。可替换地或 者附加地,区域的尺寸可以基于图像中有多少内容包含所检测的脸部而变化。在一些情况 下,这种总体标识可能在其中存在较少的可用处理能力的环境中是合适的。
[0152] 脸部检测算法1602b表示具有比脸部检测算法1602a更精细的标识的脸部检测算 法。在这里,标识了与脸部检测关联的两个区域,内区域1606和外区域1608。在一些实施 例中,内区域1606与外区域1608之间的区域表示由脸部检测算法标识的要用作"混合"和 /或平滑的区域。例如,混合区域可用用来将所标识的脸部和/或视频转变到故事内的第二 图像中。在区域1608之外,不存在将被拷贝到故事内的第二图像中的与视频捕获图像1506 关联的像素和/或内容。相反地,被区域1606包围的像素和/或内容将被拷贝和/或传 递。区域1606与1608之间的区域可能导致视频捕获图像1506与第二图像之间的混合以 在单独的图像之间平滑地转变。可以使用任何适当的混合算法,例如阿尔法(Alpha)混合 算法。在一些情况下,(一个或者多个)混合算法使用诸如区域1606与区域1608之间的空 间之类的空间以将所选取的图像(诸如视频捕获图像1506)的透明度从0 (无透明度,100% 可见)转变到1 (完全透明度,0%可见)。按照这种方式,与故事中的参与者关联的视频图像 可以叠加在故事内的一个或多个角色上,从而使体验个性化。
[0153] 作为另一个示例,脸部检测算法1602c标识与脸部关联的特定细节,这里总体示 为区域1610。在这里,眼睛、鼻子和嘴巴彼此分开地定位和标识。像在上面的情况下那样,这 些特征可以叠加在故事中包含的一幅或多幅图像上,诸如代替故事内的卡通角色的眼睛、 鼻子和嘴巴。可替换地或者附加地,可以随着时间监视这些特征以便标识姿态,例如眼色、 吻、喷嚏、□哨、谈话、叫喊、眨眼、点头、摇头等等。所标识的姿态进而又可以驱动故事内的 卡通角色的动画。例如,在一些实施例中,检测到视频内的眼色可以进而又使得关联的卡通 角色使眼色。尽管在脸部检测的上下文中进行讨论,但是应当领会且理解的是,可以监视和 /或检测任何适当的姿态,而不脱离要求保护的主题的范围。
[0154] 在一些实施例中,用户可以人工地标识视频和/或静止图像内的一个或多个区域 以便合并到共享故事体验中。考虑图17,其图示出一个示例用户界面1702。用户界面1702 使得用户和/或参与者能够定制要增强视频和/或静止图像的哪些部分。在该示例中,作 为定制过程的一部分,用户界面1702向用户显示图15的视频捕获图像1506。该显示可以 被配置成在对视频捕获图像1506做出变化和/或应用变化时更新以反映修改。例如,控件 1704允许用户经由缩放和旋转修改定位图像内的关联头部。当用户向左边或右边滑动缩放 控制条时,用户界面1702可以更新视频捕获图像1506的显示以反映关联的缩放因子。类 似地,当用户向左边或右边滑动旋转控制条时,用户界面1702可以顺时针和/或逆时针旋 转视频捕获图像1506的显示。这些更新可以在用户主动地参与控制时和/或在用户选择 应用所述变化时发生。可替换地或者附加地,一个或多个参考点可以用来锚定图像的定位。 在这里,锚1706指示与包含在视频捕获图像1506内的眼睛关联的定位。这些锚可以是固 定的或者是可调节的。在一些实施例中,用户界面1702可以被配置成允许用户拖动和/或 移动锚1706。在其他实施例中,锚1706可以在定位上是固定的,并且用户可以相对于锚将 视频捕获图像1506拖动和/或移动到希望的定位。用户界面1702包括允许用户找到对视 频捕获图像1506做出的调整变化、定位嘴巴的锚并且保存变化的附加控件1708。然而,应 当领会且理解的是,任何适当的控件组合和/或类型可以包括在用户界面1702中,而不脱 离要求保护的主题的范围,诸如与裁剪、修改颜色饱和度、修改颜色着色、标识鼻子的定位 等等关联的控件。此外,这些人工标识可以在与视频捕获关联的静止图像、与视频捕获关联 的一系列图像或者其任意组合上执行。例如,然后,对静止图像做出的标识可以被随后应用 到具有类似的脸部放置和/或纵横比的一系列其他图像中。
[0155] 上面的讨论描述了与视频捕获和静止图像关联的人工和自动检测技术。尽管在标 识脸部、脸部特征和/或脸部姿态的上下文中进行了描述,但是应当领会的是,可以以任何 适当的方式修改和/或应用这些技术。例如,代替脸部识别和/或标识眼色,可以处理视频 以标识挥手、手语姿态等等。如上面所讨论的,这些所标识的姿态然后可以用来影响共享故 事体验的动画和/或行为。可替换地或者附加地,一旦标识了各种特征(诸如脸部检测),作 为讲故事过程的一部分,可以增强和/或加强视频。
[0156] -些实施例增强和/或修改视频捕获数据作为共享故事体验的一部分。读者和/ 或参与者可以上传视频和将视频捕获数据的修改版本合并到故事中。在一些情况下,可以 将一个或多个滤波器应用到视频以便修改其外观,所述滤波器诸如高通滤波器、低通滤波 器(使图像模糊)、边缘加强技术、彩色滤波器(例如使用源图像的亮度通道对任意RGB表进 行标引)、失真滤波器(纹波、透镜、垂直波、水平波等等)、棕褐色调滤波等等。例如,"转描" 滤波器可以将"真实世界"图像的外观修改为"卡通世界"图像。转描可以使用数个滤波器 的组合实现(例如,应用对比度加强,然后从RGB颜色空间转换到HSV颜色空间,然后对V坐 标非常粗糙地量化)。专业转描的一个阶段典型地涉及展现要转描的每张脸部周围的轮廓 线,并且然后应用转描算法。可替换地或者附加地,故事的可视背景可以个性化为参与者熟 悉的东西。例如,背景可以是参与者卧室、住宅或者邻居的图片。因此,故事内的图像和/ 或对象可以与视频捕获和/或静止图像的至少一部分相组合。例如,电子故事可以包括显 示坐在卧室中的卡通角色的图像和/或对象。在一些实施例中,可以上传单独的卧室图像 并且将其与卡通角色组合,使得所产生的图像和/或对象显示坐在单独的卧室中的卡通角 色。此外,在至少一些实施例中,类似于Kinect类型的场景,可以捕获读者的身体运动,并 且将其用于驱动故事中的角色的动画。
[0157] 考虑图18,其图示出转描滤波器的示例之前和之后。图像1802图示出某个男人 的静止图像。该图像表示由摄像机(例如图15的摄像机1502)拍摄的真实世界图像。在这 里,图像以男人的头部为中心。在一些实施例中,先前已使用如上面所描述的脸部检测算法 处理了图像1802以移除脸部周围的其他元素和/或对象。该图像可以用作是对于一个或 多个滤波器(诸如上面描述的转描滤波器)的输入。图像1804图示出图像1802在应用转描 滤波器之后看起来如何。在滤波之后,图像1804与图像1802的绘制版本或者卡通版本很 相似。尽管在静止图像的上下文中进行了讨论,但是应当领会的是,可以将滤波器应用到视 频捕获,而不脱离要求保护的主题的范围。
[0158] 如先前所描述的,各种事件的检测可以给予用户何时可以个性化、修改和/或定 制故事的方面的暗示。响应于这些暗示,用户可以除别的以外通过修改视频捕获并且将所 修改的视频嵌入到故事中而对故事进行个性化。在一些情况下,可以对于与讲故事有关的 各种特征和/或姿态自动地分析和/或人工地标记视频捕获。例如,考虑图19,其图示出加 强的交互式故事1902。在该示例中,视频捕获图像1506以两种单独的方式被增强并且嵌入 到加强的交互式故事1902中。增强的视频1904表示与视频捕获图像1506关联的转描图 像。在这里,利用转描滤波器效果对视频捕获图像1506滤波以便如上面所描述的将关联的 脸部传递到"卡通世界"中。除了应用转描滤波器作为增强过程之外,将所修改的图像叠加 在花的卡通体上。在一些实施例中,增强的视频1904可以是与视频关联的某个静止图像, 而在其他实施例中,增强的视频1904可以是一系列图像。可替换地或者附加地,视频捕获 图像1506中检测的脸部特征可以驱动与故事中包含的卡通关联的脸部变化。
[0159] 除了合并增强的视频1904之外,加强的交互式故事1902包括与叠加在图像1906 上的视频捕获图像1506的脸部关联的静止图像。如上面所讨论的,可以使用自动和/或人 工脸部检测过程提取脸部。在这里,脸部特征被简单地剪切并且粘贴到图像1906中。然而, 在其他实施例中,可以应用其他的增强滤波器,诸如上面描述的阿尔法混合算法。
[0160] 用户可以选择以数种方式将视频合并到故事体验中。一些实施例在阅读过程之 前、期间或者之后通知用户对于视频插入和/或增强的潜在机会和/或给予用户这些潜在 机会的暗示,其示例在上文中提供。在一些情况下,用户可以从故事内的可用角色列表中选 取角色以便补充、增强或者替换为视频捕获。这也可以自动地完成。例如,在读者读到来自 Elmo的引用的任何时间,将读者的话音变形为听起来像Elmo,并且相应地将电子故事中的 Elmo的图片动画化为读者的脸部表情。可替换地或者附加地,由用户选取角色或暗示通知 可以激活摄像机和/或视频捕获过程。除了通知用户潜在的增强机会之外,一些实施例使 得用户能够选取如何对视频捕获进行处理、滤波、分析等等。在其他实施例中,当检测到用 于视频插入和/或增强的机会时,视频插入和/或增强可以自动地发生。例如,使用上面的 Elmo示例,当Elmo的话音被检测为正被读时,可以针对姿态而分析视频捕获,其随后可以 用来自动地将电子故事中的Elmo图像动画化。按照这种方式,故事体验可以由与故事关联 的所有参与者来个性化。附加地,可以指出的是,视频处理和/或增强可以发生在系统内的 任何适当的设备处,诸如与捕获视频关联的设备、被配置成存储复合故事体验的服务器设 备和/或接收设备。
[0161] 为了进一步证明,考虑图20,其图示出描述依照一个或多个实施例的方法中的步 骤的流程图。该方法可以由任何适当的硬件、软件、固件或者其组合执行。在至少一些实施 例中,该方法的方面可以通过在一个或多个计算设备上执行的一个或多个适当配置的软件 模块(诸如图1-3的增强效果模块112)实现。
[0162] 步骤2000接收与电子故事的读者关联的视频数据,该电子故事被配置成与一个 或多个远程参与者共享。在一些实施例中,视频数据接收自与读者关联的计算设备。在其 他实施例中,视频数据从与读者关联的计算设备外部的服务器位置中获取。可替换地或者 附加地,视频数据可以从作为远程参与者的读者或者存储在计算设备本地和/或外部的预 先记录的视频中获取。有时,如上文中进一步描述的,可以响应于接收到和与电子故事关联 的提示和/或暗示关联的输入而获取和/或接收视频数据。
[0163] 响应于接收到视频数据,步骤2002增强视频数据以生成至少一幅新图像。例如, 可以使用诸如脸部检测算法、姿态检测算法等等之类的各种算法分析视频数据。这些检测 算法有时可以更改和/或增强视频数据以保留感兴趣区域和/或图像并且移除被确定为不 太相关的区域和/或图像。在一些情况下,可以将滤波器应用到视频数据以生成视频数据 的更改版本,诸如应用转描滤波器效果以生成视频数据的"卡通世界"版本,或者将视频数 据与其他图像混合。在其他情况下,可以分析视频数据以便标识视频数据内捕获的一种或 多种姿态。这些姿态然后可以被利用来驱动与电子故事关联的图像和/或视频数据的行 为。例如,在电子故事内所关联的卡通角色的图像可以模仿视频数据内标识的姿态。此外, 该步骤可以在任何适当的位置执行。在至少一些实施例中,该步骤可以在读者的计算设备 处或者由读者的计算设备执行。可替换地或者附加地,该步骤可以由接收了步骤2000的视 频数据的服务器执行。可替换地或者附
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1