用于产生全景视频的视频处理设备及其方法_3

文档序号:9618963阅读:来源:国知局
[0074]图6是解释根据示例性实施例的用于使用平移区间产生全景视频的方法的示图。如图6中所示,TV 100’可通过调谐器从广播设备接收由相机捕捉的图像。在这种情况下,TV可同时接收相机姿态信息等。包括在TV中的存储器可存储接收的图像以产生全景视频。当从广播设备接收的图像是由相机200 (图5)捕捉的图像时,由于这些图像是通过平移相机200获得的,因此图像中示出的区域可改变。例如,当接收的图像是关于体育事件(诸如足球比赛)时,假设相机200沿方向610拍摄体育场,随后通过沿方向620平移相机200来拍摄左球门柱以显示左球门柱,或者通过沿方向630平移相机200来拍摄右球门柱以显示右球门柱。在这种情况下,当从平移区间中的帧选择多个关键帧611、621和631时,在关键帧中可存在重叠区域。因此,可考虑重叠区域将通过从关键帧分离作为一个目标对象的一个运动员的图像或作为多个目标对象的多个运动员的图像所获得的帧彼此拼接以产生全景背景图像。在这种情况下,全景背景图像可以是包含右球门柱和左球门柱的背景图像。之后,目标对象的图像被合成以获取构成全景视频的全景图像。获取的全景图像沿时间轴被组合以产生全景视频,并且通过压缩全景视频所准备的全景视频文件可被存储在包括在TV中的存储器中。
[0075]图7是示出根据另一示例性实施例的视频处理设备100”的配置的示意性框图。如图7中所示,根据本示例性实施例的视频处理设备100”包括存储器110、控制器120、显示器130、相机190和运动检测传感器160。在下文中,这里将省略与图1和图5相关的重复描述。
[0076]相机190在控制器120的控制下执行一般的数字相机功能以拍摄从外部拍摄目标输入的可见光。相机190可包括包含电荷耦合器件(CCD)等的成像单元,并包括用于照度测量的照度传感器、用于测量距对象的距离的距离传感器等。控制器120可处理从相机190输出的图像数据以将所述数据转换为适当格式的数字图像数据。因此,视频处理设备100”可从由包括在视频处理设备100”中的相机190捕捉的视频产生全景视频。
[0077]运动检测传感器160可以是用于检测视频处理设备100”的运动的组件。当运动检测传感器160检测到视频处理设备100”的运动时,控制器120可将由包括在视频处理设备100”中的相机190捕捉的视频区间确定为平移区间。也就是说,视频处理设备100”可在不使用用于提取运动向量或特征点的方法的情况下,从包括在视频处理设备100”中的运动检测传感器160确定视频处理设备100”的相机190是否被平移,并提取捕捉的视频中的平移区间。运动检测传感器160可包括用于测量视频处理设备100”的相机190的运动或旋转角度的各种传感器,诸如加速度传感器、地磁传感器等。
[0078]图8是示出根据另一示例性实施例的视频处理设备的配置的详细框图。如图9所示,根据本示例性实施例的语音识别设备100”包括存储器110、控制器120、显示器130、接口 140、通信单元150、运动检测传感器160、音频输出单元170、音频处理器180和相机190。在下文中,这里将省略与图7相关的重复描述。
[0079]存储器110存储用于驱动视频处理设备100”的各种模块以及捕捉的视频和通过处理视频产生的全景视频。具体地,以下将参照图9描述存储器110的配置。
[0080]图9是根据示例性实施例的存储器110的详细框图。
[0081]参照图9,存储器110可存储包括以下模块的软件:基本模块111、感测模块112、通信模块113、呈现模块114、网页浏览器模块115、服务模块116和全景产生模块117。
[0082]基本模块111是指处理从包括在视频处理设备100”中的硬件发送的信号并将所述信号发送到更高层模块的基本模块。存储模块111-1是用于管理数据库(DB)或注册表的程序模块。安全模块111-2是用于支持对硬件、请求许可、安全存储等的认证的程序模块,网络模块111-3是用于支持网络访问的模块。
[0083]感测模块112是从各种传感器收集信息,并分析和管理收集的信息的模块。
[0084]通信模块113是用于与外部装置通信的模块。通信模块113可包括消息传送模块和电话模块。
[0085]呈现模块114是用于配置显示图像的模块。呈现模块114包括用于再现和输出多媒体内容的多媒体模块以及用于执行用户界面(UI)和图形处理的UI渲染模块。
[0086]网页浏览器模块115是执行网页浏览以访问网络服务器的模块。
[0087]服务模块116是包括用于提供各种服务的各种应用的模块。详细地,服务模块116可包括各种程序模块,诸如社交网络服务(SNS)程序、内容再现程序等。
[0088]全景产生模块117可包括用于产生全景视频的各种模块,并可包括显示设备检测模块117-1、全景产生区间检测模块117-2、关键帧选择模块117-3全景背景产生模块117-4和合成模块117-5。
[0089]显示设备检测模块117-1可检测关于显示设备的EDID信息以识别连接的显示设备的数量和分辨率,并确定全景视频的最大宽高比。
[0090]全景产生区间检测模块117-2可分析相机运动的方向、运动向量的变化的方向和大小、对象跟踪的方向等,以产生能够产生全景视频的帧区间(诸如平移区间)。
[0091]关键帧选择模块117-3可考虑装置的数量和最大分辨率来确定需要的关键帧的最小数量,并使用相机运动的方向、运动向量的变化的方向和大小、对象跟踪的方向、关于视频的FPS信息、相机姿态信息等来选择关键帧。
[0092]全景背景产生模块117-4可将选择的关键帧的背景图像与一个或更多个目标对象分离,并拼接背景图像来产生全景背景图像。
[0093]合成模块117-5可将产生的全景背景图像与目标对象的图像合成以产生构成全景视频的全景图像。
[0094]参照回图8,控制器120使用存储在存储器110中的各种模块控制视频处理设备100”的总体操作。
[0095]如图8中所示,控制器120包括随机存储存储器(RAM) 121、只读存储器(ROM) 122、图像处理器123、主中央处理器(CPU) 124、第一接口 125-1至第η接口 125_η和总线126。在这种情况下,RAM 12UR0M 122、图像处理器123、主CPU 124、第一接口 125-1至第η接口125-η等可通过总线126彼此连接。
[0096]ROM 122存储用于系统启动的命令集等。主CPU 124将存储在存储器110中的各种应用程序复制到RAM 121,并运行复制到RAM 121中的应用程序以执行各种操作。
[0097]图像处理器123是用于对捕捉的视频执行图像处理的组件。图像处理器123可对捕捉的视频执行各种图像处理操作,诸如解码、缩放、噪声滤除、帧速率转换、分辨率转换等。具体地,图像处理器123可合成捕捉的视频的帧以获取全景图像,沿时间轴组合获取的全景图像以构成全景视频,并随后压缩视频以产生全景图像文件。
[0098]主CPU 124访问存储器110并使用存储在存储器110中的操作系统(0/S)执行启动。此外,主CPU 124使用存储在存储器110中的各种程序、内容、数据等执行各种操作。
[0099]第一接口 125-1至第η接口 125_η连接到前述组件。接口中的一个接口可以是通过网络连接到外部装置的网络接口。
[0100]用户接口 140是用于检测用于控制视频处理设备100”的总体操作的用户交互的组件。具体地,如图8所示,用户接口 140可包括各种交互检测装置,诸如麦克风141、遥控器信号接收器142等。
[0101]通信单元150是用于根据各种类型的通信方法与各种类型的外部装置或外部服务进行通信的组件。通信单元150可包括各种通信芯片(诸如,WiFi芯片、蓝牙芯片、近场通信(NFC)芯片、无线通信芯片等)。在这种情况下,WiFi芯片、蓝牙芯片和NFC芯片分别使用WiFi方法、蓝牙方法和NFC方法执行通信。在这些芯片中,NFC芯片是使用利用各种RF-1D 频率(诸如 135kHz、13.56MHz、433MHz、860MHz 至 960MHz 和 2.45GHz)中的 13.56MHZ的频带的NFC方法进行操作的芯片。当使用WiFi芯片或蓝牙芯片时,各种连接信息(诸如服务集标识符(SSID)和会话密钥)可被首先发送和接收以使用连接信息连接通信,随后各种信息可被发送和接收。无线通信芯片是指根据各种通信标准(诸如IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)执行通信的芯片。通信单元150可与外部服务器通信以接收由外部相机捕捉的视频的拍摄信息(相机姿态信息等),并根据接收的信息产生全景视频。
[0102]音频输出单元170是用于输出各种警报声音或语音消息以及由音频处理器180处理的各种音频数据的组件。具体地,音频输出单元170可被实施为(仅为示例性的)扬声器,并可被实施为不同的音频输出单元(诸如音频输出端子)。
[0103]音频处理器180是用于处理音频数据的组件。音频处理器180可对音频数据执行各种处理操作,诸如解码、放大、噪声滤除等。
[0104]也就是说,如上所述,视频处理设备100”可被实施为包括所有以下项的一个用户终端设备:存储器110、控制器120、显示器130、用户接口 140、通信单元150、运动检测传感器160、音频输出单元170、音频处理器180和相机190。
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1