基于内容的视频分段的制作方法_3

文档序号:9757014阅读:来源:国知局
备2可以包括一个或多个处理器32、一个或多个输入设 备34、一个或多个通信单元36、一个或多个输出设备38、一个或多个存储设备40、以及用户 界面(UI)设备4。在一个实现中,计算设备2进一步包括应用模块12A-12N以及操作系统42, 它们能够由计算设备2执行。组件4、32、34、36、38和40中的每一个可以互连(物理地、通信地 和/或操作地)以便进行组件间通信。在一些示例中,通信信道52可以包括系统总线、网络连 接、进程间通信数据结构或者用于通信数据的任意其它通道。如图2中的一个示例,组件4、 32、34、36、38和40可以通过一个或多个通信信道52进行耦合。应用模块12和操作系统42还 可以互相以及与计算设备2中的其它组件通信信息。
[0042]在一个示例中,处理器32被配置为实现功能和/或处理指令以便在计算设备2内执 行。例如,处理器32可以能够处理存储在存储设备40中的指令。处理器32的示例可以包括微 处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或 者等同的离散或集成逻辑电路中的任意一个或多个。
[0043] 一个或多个存储设备40可以被配置为在操作期间存储计算设备2内的信息。在一 些示例中,存储设备40被描述为一个或多个计算机可读存储介质和/或一个或多个计算机 可读存储设备。在一些示例中,存储设备40包括临时存储器,意味着存储设备40的主要目的 不是长期存储。在一些示例中,存储设备40被描述为易失性存储器,意味着存储设备40在计 算机关机时不保存所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随 机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其它形式的易失性存 储器。在一些示例中,存储设备40被用来存储程序指令以便由处理器32执行。在一个示例 中,存储设备40被在计算设备2上运行的软件或应用(例如,应用模块12)用来在程序执行期 间临时存储信息。
[0044] 在一些示例中,存储设备40还包括一个或多个计算机可读存储介质。这样的计算 机可读存储介质的示例可以包括非瞬态计算机可读存储介质,以及各种计算机可读存储设 备。存储设备40可以被配置为存储比各种形式的易失性存储器更大量的信息。存储设备40 可以进一步被配置用于信息的长期存储。在一些示例中,存储设备40包括非易失性存储元 件。这样的非易失性存储元件的示例包括磁性硬盘、固态盘(SSD)、光盘、软盘、闪存、或者多 种形式的电可编程存储器(EPROM)或电可擦除可编程存储器(EEPR0M)。
[0045] 在一些示例中,计算设备2还包括一个或多个通信单元36。在一个示例中,计算设 备2利用通信单元36经由诸如一个或多个无线网络的一个或多个网络与外部设备进行通 信。通信单元36可以是网络接口卡,诸如以太网卡、光学收发器、射频收发器、或者能够发送 并接收信息的任意其它类型的设备。这样的网络接口的其它示例可以包括蓝牙、3G、4G和 WiFi?无线电计算设备以及通用串行总线(USB)。在一些示例中,计算设备2利用通信单元 36与外部设备进行无线通信。
[0046] 在一个示例中,计算设备2还包括一个或多个输入设备34。在一些示例中,输入设 备34被配置为通过触觉、音频或视频反馈来接收来自用户的输入。输入设备34的示例包括 存在敏感设备(诸如存在敏感显示器)、鼠标、键盘、语音响应系统、视频相机、麦克风或者用 于检测来自用户的命令的任意其它类型的设备。在一些示例中,存在敏感显示器包括触摸 敏感屏幕。
[0047] 一个或多个输出设备38也可以包括在计算设备2中。在一些示例中,输出设备38被 配置为使用触觉、音频或视频刺激向用户提供输出。在各个示例中,输出设备38包括存在敏 感设备(例如,触摸敏感屏幕)、声卡、视频图形适配器卡、或者用于将信号转换为人或机器 所能够理解的适当形式的任意其它类型的设备。输出设备38的进一步示例包括扬声器、阴 极射线管(CRT)监视器、液晶显示器(LCD)、或者能够生成用户可理解的输出的任意其它类 型的设备。
[0048]在一些示例中,UI设备4可以包括输入设备34和/或输出设备38的功能。在图2的示 例中,UI设备4可以包括、作为存在敏感显示器和/或存在敏感输入设备,或者可以是其一部 分。在一些示例中,存在敏感显示器和/或存在敏感输入设备可以检测在相应显示器或输入 设备处和/或附近的物体。作为一个非限制示例范围,存在敏感显示器可以检测处于存在敏 感显示器的物理屏幕2英寸或更近内的诸如手指或触控笔的物体。存在敏感显示器可以确 定检测到物体处或附近的存在敏感显示器的位置(例如(x,y)坐标集)。在另一个非限制性 示例范围中,存在敏感显示器可以检测距存在敏感显示器的物理屏幕6英寸或更近的物体, 并且其它范围也是可能的。存在敏感显示器可以使用电容、电感和/或光学识别技术来确定 物体(例如,用户手指)所选择的显示器位置。在一些示例中,如关于输出设备38所描述的, 存在敏感显示器使用触觉、音频或视频刺激提供输出。
[0049]计算设备2可以包括操作系统42。在一些示例中,操作系统42控制计算设备2的组 件的操作。例如,在一个示例中,操作系统42促成应用模块12与处理器32、通信单元36、存储 设备40、输入设备34和输出设备38的通信。如图2所不,存储设备40可以包括如图1中所描述 的视频标记模块6、分段那模块8以及可选地包括缩略图选择模块10。进而,在图2中所图示 的计算设备2的示例中,分段模块8包括子模块,也就是事件检测模块44、活动量度模块46、 帧搜索模块48和边界重置模块50。图2中所示的各个模块均可以包括能够由计算设备2执行 或者以其它方式使用的程序指令和/或数据。作为一个示例,分段模块8和/或其子模块可以 包括使得计算设备2执行本公开中所描述的操作和动作中的一个或多个的指令。
[0050] 如关于图1所描述的,视频标记模块6可以识别视频文件或者与视频文件相关联的 诸如歌曲的音频实体中包括的人、位置或物体的各种表示。在标记人的视觉或图形表示的 实例中,视频标记模块6可以使用面部识别技术以将在帧中检测到的面部表示与诸如演员 或运动员的人的基准图像进行比较。在各个示例中,视频标记模块6可以使用一种或多种算 法来执行该比较,举几个例子,上述算法诸如几何和/或测光方法、三维(3D)建模和识别技 术、使用本征脸的主分量分析、线性区别分析、弹性图匹配、模式匹配和动态链接匹配。
[0051] 基于所应用的算法产生的基于比较的值,诸如预先编程的可接受裕量误差,视频 标记模块6可以确定帧中的面部表示是否充分类似于基准面部图像。视频标记模块8可以应 用这些或相对应的基于比较的技术来识别视频帧中的其它类型的视觉表示,诸如特定物体 的表示,或者基于城市的天际线识别诸如城市的位置。类似地,在识别与一个或多个视频帧 相关联的诸如歌曲、与屏幕外演员相关联的讲话或者叙述之类的音频数据的实例中,视频 标记模块6可以使用能够应用于音频数据的各种识别技术。能够应用于音频数据的识别技 术的示例包括语音识别和声音指纹。
[0052 ]如图2所不,分段模块8可以包括一个或多个子模块。分段模块8的每个子模块可以 被配置为或者能够以其它方式进行操作以实现这里关于分段模块8所描述的功能的各个部 分。虽然分段模块8的子模块为了便于讨论和说明而在这里被描述为实现分段模块8的功能 的特定部分,但是将要意识到的是,在依据本公开的其它实施方式中,功能在子模块之间的 不同分配是可能的。
[0053]在图2所示的示例实现中,分段模块8包括事件检测模块44、活动量度模块46、帧搜 索模块48和边界设置模块50。事件检测模块44可以别配置为或者能够以其它方式进行操作 以基于一个或多个被标记演员进入或离开有关视频文件中的帧转换的视场来检测视频文 件中表示的事件。例如,事件检测模块44可以关于至少一个被标记演员在其进入或离开视 场的每个帧转换来检测事件。事件检测模块44关于帧转换所检测的事件在这里可以由项 "e_t"表示。
[0054]虽然以上关于视频标记模块6所标记的演员进行了描述,但是将要意识到的是,事 件检测模块44可以实现针对视频中所表示的演员所描述的功能中的一个或多个,而无论视 频标记模块6是否已经标记了演员。在一些示例中,事件检测模块44可以实现一种或多种跟 踪技术,诸如通过确定演员的脸在一段时间内(例如,跨视频的连续帧)连续出现。基于演员 是否跨多个连续帧连续出现,事件检测模块44可以检测由该演员进入或离开视场所触发的 事件。在各个示例中,事件检测模块44可以实现包括一种或多种检测(例如,面部检测)和运 动建模(例如,基于一种或多种运动模型)的技术,以关于未标记演员确定事件。
[0055]分段模块8的活动量度模块46可以被配置为或者能够以其它方式进行操作以确定 与事件检测模块44所检测到的每个事件(e_t)相关联的活动水平。更具体地,活动量度模块 46在一个示例中可以基于进入视场的被标记演员的数量与离开视场的被标记演员的数量 之和来关于特定帧转换确定特定事件的活动水平。应用以上关于图1所描述的示例(但是非 限制性)情形,特定帧转换可以表示离开视场的三个被标记演员。在以上所描述的该情形 中,相同的帧转换可以表示进入视场的七个被标记演员。在该示例中,活动量度模块46可以 确定帧转换处的事件与活动水平10相关联。更具体地,活动量度模块46可以通过对在帧转 换处进入视场的被标记演员的总数和离开视场的演员的总数进行求和来计算该事件的活 动水平。活动量度模块关于事件所确定的活动水平在这里能够由表达式"D(e_t)"表示,其 中e_t指代对其应用该活动水平的特定事件。
[0056]在一些示例中,活动量度模块46可以利用与关于帧转换处于静态的被标记演员相 关的数据对活动水平计算进行扩增。例如,在以上所描述的示例中,其中活动量度模块46将 D(e_t)计算为10,活动量度模块46可以基于跨越该帧转换保持处于视场内的被标记演员的 数量来调节所计算的D(e_t)。在一个非限制性示例中,活动量度模块46可以确定两个被标 记演员在该帧转换期间始终保持处于视场之内。在该示例中,活动量度模块46可以将所计 算的D(e_t)数值递减2,导致经调节的D(e_t)数值8。
[0057]在经扩增的D(e_t)计算的
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1