专利名称：生成多视点视频的装置及方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种生成多视点视频的装置及方法。
背景技术：
立体视频通过让人眼接收到不同视点的视频，使观看者产生立体视觉，感受到置身于三维世界的临场感。在三维视角下，人们能够感知到更丰富视频信息，因而，立体视频在广告、医疗、电影、游戏、体育展示等多领域都有着广阔的应用。在立体视频产业中，立体视频的生成和显示是至关重要的。目前，立体视频显示设备接收的立体视频的视点数目由双目到八目。当前立体视频的制作，主要依靠采集双目或多目视频，再进行图像后处理的方式进行。现有技术存在的问题是，立体视频的制作周期长，人工成本和计算成本高，集成度低，进行大规模的立体视频制作难度较大。
发明内容
本发明旨在至少解决上述技术问题之一。为达到上述目的，本发明一方面提出生成多视点视频的装置，包括参数设置模块，用于根据输出设备的类型和输入视频数据设置输入视频识别参数、深度计算参数和输出视点控制参数，其中，所述输出视点控制参数包括输出视点数目和输出排列方式模型；输入视频识别模块，用于根据所述输入视频识别参数对输入视频数据进行分析，确定所述输入视频数据的类型是单路视频数据还是双路视频数据；数据缓存模块，用于缓存所述输入视频数据；深度计算模块，用于根据所述输入视频数据的类型、所述深度计算参数和所述数据缓存模块缓存的所述输入视频数据进行深度计算以获得所述输入视频数据的图像深度数据，并将所述图像深度数据缓存至所述数据缓存模块；以及立体渲染模块，用于根据所述数据缓存模块缓存的输入视频数据和图像深度数据，以及所述输入视频数据的类型和所述输出视点数目，计算所需输出的各视点视频，并根据所述输出排列方式对所述各视点视频进行视频数据排列，输出多视点视频数据。在本发明的一个实施例中，所述输入视频数据包括帧同步信号、行同步信号、数据有效信号和场同步信号，所述输入视频识别参数用于指示所述输入视频识别模块进行分析时所选用的同步信号，所述所选用的同步信号为帧同步信号、行同步信号、数据有效信号和场同步信号中的一种。在本发明的一个实施例中，所述输出排列方式包括以视点图像为单位的图像数据排列方式；以图像行数据为单位的图像数据排列方式；以及以图像像素点数据为单位的图像数据排列方式。在本发明的一个实施例中，所述数据缓存模块包括输入视频数据缓存区域和图像深度数据缓存区域，且所述输入视频数据缓存区域和所述图像深度数据缓存区域通过两个相互独立的时钟分别控制。
6
在本发明的一个实施例中，所述深度计算模块包括零平面确定单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，以及所述深度计算参数，确定所述图像深度数据的零平面位置；深度赋值单元，用于对所述双路视频数据中的任一路视频数据或者所述单路视频数据进行深度数据赋值以生成该路视频对应的图像深度数据作为输入视频数据的图像深度数据，其中将所述零平面所在位置的深度数据设为0，零平面以上位置的深度数据设为负值，零平面以下位置的深度数据设为正值，且对于同一颜色连通区域赋予相同的深度数据值；以及深度数据缓存单元，用于将所述输入视频数据的图像深度数据缓存至所述数据缓存模块。在本发明的一个实施例中，所述深度计算参数包括阈值参数和预定的深度模型。在本发明的一个实施例中，所述深度计算模块的零平面确定单元包括灰度均值子单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，进行像素颜色数据统计，求取图像灰度均值；深度模型确定子单元，用于根据所述图像灰度均值和所述阈值参数，确定所选用的深度模型，其中所选用的深度模型为所述预定的深度模型中的一种；以及零平面位置确定子单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，确定所述选用的深度模型位置，并将所述选用的深度模型位置确定为所述图像深度数据的零平面位置。在本发明的一个实施例中，所述立体渲染模块包括计算单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据的各个像素点及其对应的深度图像数据的像素点，结合所述输出视点数目，计算多视点视频的各视点视频需要更新的区域；填充单元，用于根据所述双路视频数据或者所述单路视频数据，对所述各视点视频需要更新的区域进行线性插值填充，生成更新区域的像素点数据，并用所述双路视频数据中的任一路视频数据或者所述单路视频数据对不需要更新的区域进行直接填充，以获得多视点视频所有视点的图像像素点数据；以及输出单元，用于根据所述输出排列方式对所述多视点视频所有视点的图像像素点数据进行排列或交织，输出多视点视频数据。在本发明的一个实施例中，所述立体渲染模块的填充单元在进行线性插值填充时，如果是单路视频数据，以深度值作为填充权值，进行像素填充，生成更新区域的像素点数据；如果是双路视频数据，像素值加权平均计算后，再根据深度值作为填充权值，进行像素填充，生成更新区域的像素点数据。本发明另一方面还提出一种生成多视点视频的方法，包括以下步骤S1 根据输出设备的类型和输入视频数据设置输入视频识别参数、深度计算参数和输出视点控制参数，其中所述输出视点控制参数包括输出视点数目和排列方式模型；S2 根据所述输入视频识别参数对输入视频数据进行类型分析，确定输入视频数据的类型是单路视频数据还是双路视频数据；S3 将输入视频数据缓存至数据缓存设备；S4 根据所述输入视频数据的类型、所述深度计算参数和数据缓存设备缓存的所述输入视频数据进行深度计算以获得所述输入视频数据的图像深度数据，并将所述输入视频数据的图像深度数据缓存至所述数据缓存设备；以及S5 根据所述数据缓存设备缓存的输入视频数据和图像深度数据，以及所述输入视频数据的类型和所述输出视点数目，计算所需输出的各视点视频，并根据所述输出排列方式对所述各视点视频进行视频数据排列，输出多视点视频数据。
本发明实施例的生成多视点视频的方法，通过对单路视频数据或双路视频数据进行深度计算和立体渲染，将单路视频数据或双路视频数据转换为多视点视频，制作视频容易，制作周期短，制作成本低。而且本发明的装置集成度高，体积小，计算能力强，专用性强， 能够解决多视点视频片源匮乏的困境。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中图1是本发明实施例的生成多视点视频的装置的结构示意图；图2是本发明实施例的输入视频识别模块的示意图；图3是本发明实施例的深度计算模块的示意图；图4是本发明实施例的预定的深度模型的示意图；图5是本发明实施例的深度计算模块中的零平面确定单元的示意图；图6是本发明实施例的立体渲染模块的示意图；以及图7是本发明实施例的生成多视点视频的方法的流程图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。图1为本发明实施例的生成多视点视频的装置的结构示意图，如图1所示，该装置包括参数设置模块100、输入视频识别模块200、数据缓存模块300，深度计算模块400和立体渲染模块500。参数设置模块100用于根据输出设备的类型和输入视频数据设置输入视频识别参数、深度计算参数和输出视点控制参数，其中，输出视点控制参数包括输出视点数目和输出排列方式模型。输入视频识别模块200用于根据输入视频识别参数对输入视频数据进行分析，确定输入视频数据的类型是单路视频数据还是双路视频数据。数据缓存模块300用于缓存所述输入视频数据以供深度计算模块400调取，还可用于缓存深度计算模块400生成的图像深度数据以供立体渲染模块600调取(将在下文详细描述)。深度计算模块400 用于根据输入视频数据的类型、深度计算参数和数据缓存模块300缓存的输入视频数据进行深度计算以获得输入视频数据的图像深度数据，并将图像深度数据缓存至数据缓存模块 300。立体渲染模块500用于根据数据缓存模块300缓存的输入视频数据和图像深度数据， 以及输入视频数据的类型和输出视点数目，计算所需输出的各视点视频，并根据输出排列方式对所述各视点视频进行视频数据排列，输出多视点视频数据。在本发明的一个实施例中，如图2所示，输入视频数据包括帧同步信号、行同步信号、数据有效信号和场同步信号。参数设置模块100设置的输入视频识别参数用于指示所述输入视频识别模块200进行分析时所选用的同步信号，所述同步信号为帧同步信号、行
8同步信号、数据有效信号和场同步信号中的一种。输入视频识别模块200根据该输入视频识别参数来选择同步信号进行分析与比较，判断所接收的输入视频数据是单路视频数据还是双路视频数据。现有的多视点播放设备的视点数目在2到8之间，输出视点排列方式一般包括下列三种以视点图像为单位的图像数据排列方式，即同一视点的图像排列在一起，不同视点的图像并排或上下排列；以图像行数据为单位的图像数据排列方式，即输出的图像数据由不同视点的图像行数据交织排列；以及以图像像素点数据为单位的图像数据排列方式，即输出的图像数据由不同视点的图像像素点数据按照一定的规律交织排列。在本发明的一个实施例中，根据输出设备的类型，输出视点数目确定为6，排列方式确定为上述三种排列方式之一。在本发明的一个实施例中，数据缓存模块300进一步包括输入视频数据缓存区域和图像深度数据缓存区域，且输入视频数据缓存区域和图像深度数据缓存区域通过两个相互独立的时钟分别控制，加快数据存取速度，提高视频转换效率。在本发明的一个示例中， 缓存输入视频数据时，单路视频数据为32位视频图像像素数据，双路为64位视频图像像素数据。缓存深度计算模块400计算得到的图像深度数据为8位像素数据。在本发明的一个实施例中，如图3所示，深度计算模块400还可包括零平面确定单元410，深度赋值单元420和深度数据缓存单元430。零平面确定单元410用于根据双路视频数据中的任一路视频数据或者单路视频数据，以及深度计算参数，确定图像深度数据的零平面位置。深度赋值单元420用于对双路视频数据中的任一路视频数据或者单路视频数据进行深度数据赋值以生成该路视频对应的图像深度数据作为输入视频数据的图像深度数据，其中将零平面所在位置的深度数据设为0，零平面以上位置的深度数据设为负值， 零平面以下位置的深度数据设为正值，且对于同一颜色连通区域赋予相同的深度数据值。 深度数据缓存单元430用于将输入视频数据的图像深度数据缓存至数据缓存模块。具体地，当输入视频识别模块200确定输入视频数据为单路视频数据时，零平面确定单元410根据该单路视频数据以及深度计算参数，确定图像深度数据零平面位置。深度赋值单元420对该单路视频数据进行深度数据赋值以生成该路视频对应的图像深度数据作为输入视频数据的图像深度数据，例如，将所述零平面所在位置的深度数据设为0，零平面以上位置的深度数据设为负值，零平面以下位置的深度数据设为正值，深度数据范围为-63到+63之间，且对于同一颜色连通区域赋予相同的深度数据值。深度数据缓存单元 430将该输入视频数据的图像深度数据缓存至所述数据缓存模块300。当输入视频识别模块200确定输入视频数据为双路视频数据时，零平面确定单元 410根据该双路视频数据的左路视频数据(右路亦可)以及深度计算参数，确定图像深度数据零平面位置。深度赋值单元420对该左路视频数据(如果零平面确定单元选择右路，在此也选择右路)进行深度数据赋值以生成该路视频对应的图像深度数据作为输入视频数据的图像深度数据，例如，将所述零平面所在位置的深度数据设为0，零平面以上位置的深度数据设为负值，零平面以下位置的深度数据设为正值，深度数据范围为-63到+63之间， 且对于同一颜色连通区域赋予相同的深度数据值。深度数据缓存单元430将输入视频数据的图像深度数据缓存至所述数据缓存模块300。在本发明的一个实施例中，深度计算参数还可包括阈值参数和预定的深度模型。本发明实施例的预定的深度模型如图4所示。在本发明的一个实施例中，如图5所示，零平面确定单元410还可包括灰度均值子单元411、深度模型确定子单元412和零平面位置确定子单元413。其中，灰度均值子单元411用于根据双路视频数据中的任一路视频数据或者所述单路视频数据，进行像素颜色数据统计，求取图像灰度均值。深度模型确定子单元412用于根据图像灰度均值和阈值参数，确定所选用的深度模型，其中所选用的深度模型为如图4所示的预定的深度模型中的一种。例如，当图像灰度均值大于或等于阈值参数(一般为170)时，选用预定的深度模型为抛物线型；当图像灰度均值小于阈值参数时，选用预定的深度模型为直线型。零平面位置确定子单元413用于根据双路视频数据中的任一路视频数据或者单路视频数据，确定所选用的深度模型位置，并将所选用的深度模型位置确定为图像深度数据的零平面位置。具体地，当选用的深度模型为抛物线型时，抛物线即为零平面所在位置， 抛物线左右对称，顶点位置在图像的上1/3、上1/4、上1/5等处，根据图像上半部分灰度梯度变化最大位置近似确定；当选用的深度模型为直线型时，直线即为零平面所在位置，位置在图像的上1/3、上1/4、上1/5等处，根据图像上半部分灰度梯度变化最大位置近似确定。具体地，如图6所示，立体渲染模块500还可包括计算单元510、填充单元520和输出单元530。其中，计算单元510用于根据双路视频数据中的任一路视频数据或者所述单路视频数据的各个像素点及其对应的深度图像数据的像素点，结合所述输出视点数目，计算多视点视频的各视点视频需要更新的区域。填充单元520用于根据所述双路视频数据或者所述单路视频数据，对各视点视频需要更新的区域进行线性插值填充，生成更新区域的像素点数据，并用所述双路视频数据中的任一路视频数据或者所述单路视频数据对不需要更新的区域进行直接填充，以获得多视点视频所有视点的图像像素点数据。以及输出单元 630用于根据输出排列方式对该多视点视频所有视点的图像像素点数据进行排列或交织， 输出多视点视频数据，连接到相应的多视点视频播放设备上。在本发明的一个实施例中，立体渲染模块500的填充单元520在进行线性插值填充时，如果输入视频数据是单路视频数据，则以该单路视频数据的深度值作为填充权值，直接进行像素填充，生成更新区域的像素点数据；如果输入视频数据是双路视频数据，则对该双路视频数据进行像素值加权平均计算后，再根据深度值作为填充权值进行像素填充，生成更新区域的像素点数据。根据上述实施例，本发明还提出一种生成多视点视频的方法，图7为本方法的流程示意图，如图7所示，包括以下步骤Sl 根据输出设备的类型和输入视频数据设置输入视频识别参数、深度计算参数和输出视点控制参数，其中所述输出视点控制参数包括输出视点数目和排列方式模型。S2:根据输入视频识别参数对输入视频数据进行类型分析，确定输入视频数据的类型是单路视频数据还是双路视频数据。S3 将输入视频数据缓存至数据缓存设备。S4:根据输入视频数据的类型、深度计算参数和数据缓存设备缓存的输入视频数据进行深度计算以获得输入视频数据的图像深度数据，并将输入视频数据的图像深度数据缓存至数据缓存设备。
S5 根据数据缓存设备缓存的输入视频数据和图像深度数据，以及输入视频数据的类型和输出视点数目，计算所需输出的各视点视频，并根据输出排列方式对各视点视频进行视频数据排列，输出多视点视频数据。在本发明的一个实施例中，在步骤Sl设置的输入视频识别参数用于指示步骤S2 进行分析时所选用的同步信号，所选用的同步信号为输入视频数据包括的帧同步信号、行同步信号、数据有效信号和场同步信号中的一种。在本发明的一个实施例中，输出排列方式可为以视点图像为单位的图像数据排列方式、以图像行数据为单位的图像数据排列方式和以图像像素点数据为单位的图像数据排列方式三种排列方式中的任意一种。在本发明的一个实施例中，步骤S3及步骤S4在将输入视频数据缓存至缓存设备以及将深度计算得到的图像深度数据缓存至缓存设备时，分别将所述输入视频数据和所述图像深度数据缓存至不同的缓存区域，并通过两个相互独立时钟分别控制。在本发明的一个实施例中，步骤S4具体操作如下首先，根据双路视频数据中的任一路视频数据或者单路视频数据，以及深度计算参数，确定图像深度数据的零平面所在位置。其次，对双路视频数据中的任一路视频数据或者单路视频数据进行深度数据赋值以生成双路视频数据中的任一路视频数据或者单路视频数据对应的图像深度数据作为输入视频数据的图像深度数据。其中，将零平面所在位置的深度数据设为0，零平面以上位置的深度数据设为负值，零平面以下位置的深度数据设为正值，且对于同一颜色连通区域赋予相同的深度数据值；最后，将输入视频数据的图像深度数据缓存至缓存设备。在本发明的一个实施例中，深度计算参数可包括阈值参数和预定的深度模型。根据本发明的一个实施例，步骤S4在根据双路视频数据中的任一路视频数据或者单路视频数据以及深度计算参数确定图像深度数据的零平面所在位置时，其操作过程如下首先根据双路视频数据中的任一路视频数据或者单路视频数据，进行像素颜色数据统计，求取图像灰度均值；接着根据图像灰度均值和阈值参数，确定所选用的深度模型，其中所选用的深度模型为所述预定的深度模型中的一种；最后根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，确定所述选用的深度模型位置，并将所述选用的深度模型位置确定为所述图像深度数据的零平面位置。在本发明的一个实施例中，步骤S6的具体操作如下首先，根据双路视频数据中的任一路视频数据或者单路视频数据的各个像素点及其对应的深度图像数据的像素点，结合输出视点数目，计算多视点视频的各视点视频需要更新的区域。其次，根据双路视频数据或者单路视频数据，对所述各视点视频需要更新的区域进行线性插值填充，生成更新区域的像素点数据，并用所述双路视频数据中的任一路视频数据或者所述单路视频数据对不需要更新的区域进行直接填充，以获得多视点视频所有视点的图像像素点数据。最后，根据输出排列方式对所述多视点视频所有视点的图像像素点数据进行排列或交织，输出多视点视频数据。
在本发明的一个实施例中，步骤S6在进行线性插值填充时，如果是单路视频数据，则以深度值作为填充权值，进行像素填充，生成更新区域的像素点数据；如果是双路视频数据，则像素值加权平均计算后，再根据深度值作为填充权值，进行像素填充，生成更新区域的像素点数据。本发明的生成多视点视频的装置和方法，通过对单路视频数据或双路视频数据中的一路进行深度计算和立体渲染，将单路视频数据或双路视频数据转换为多视点视频。通过合理的硬件电路设计，实现了常用单路或双路视频源与立体播放设备的直接对接。本装置专用于多视点视频的生成，体积可以做到很小，同时还可以嵌入到立体播放设备或立体显示器中。本发明节省了以往大规模的人工绘制工作，制作成本低。并且本发明通过模块之间的有效配合，实现了从输入信号到显示设备的集成处理，集成度高，用户操作使用便捷， 制作视频容易，制作周期短，能够解决当前多视点视频片源匮乏的困境。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
权利要求
1.一种生成多视点视频的装置，其特征在于，包括参数设置模块，用于根据输出设备的类型和输入视频数据设置输入视频识别参数、深度计算参数和输出视点控制参数，其中，所述输出视点控制参数包括输出视点数目和输出排列方式模型；输入视频识别模块，用于根据所述输入视频识别参数对输入视频数据进行分析，确定所述输入视频数据的类型是单路视频数据还是双路视频数据；数据缓存模块，用于缓存所述输入视频数据；深度计算模块，用于根据所述输入视频数据的类型、所述深度计算参数和所述数据缓存模块缓存的所述输入视频数据进行深度计算以获得所述输入视频数据的图像深度数据， 并将所述图像深度数据缓存至所述数据缓存模块；以及立体渲染模块，用于根据所述数据缓存模块缓存的输入视频数据和图像深度数据，以及所述输入视频数据的类型和所述输出视点数目，计算所需输出的各视点视频，并根据所述输出排列方式对所述各视点视频进行视频数据排列，输出多视点视频数据。
2.根据权利要求1所述的装置，其特征在于，所述输入视频数据包括帧同步信号、行同步信号、数据有效信号和场同步信号，所述输入视频识别参数用于指示所述输入视频识别模块进行分析时所选用的同步信号，其中所述所选用的同步信号为帧同步信号、行同步信号、数据有效信号和场同步信号中的一种。
3.根据权利要求1所述的装置，其特征在于，所述输出排列方式包括以视点图像为单位的图像数据排列方式；以图像行数据为单位的图像数据排列方式；以及以图像像素点数据为单位的图像数据排列方式。
4.根据权利要求1所述的装置，其特征在于，所述数据缓存模块包括输入视频数据缓存区域和图像深度数据缓存区域，且所述输入视频数据缓存区域和所述图像深度数据缓存区域通过两个相互独立的时钟分别控制。
5.根据权利要求1所述的装置，其特征在于，所述深度计算模块进一步包括零平面确定单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，以及所述深度计算参数，确定所述图像深度数据的零平面位置；深度赋值单元，用于对所述双路视频数据中的任一路视频数据或者所述单路视频数据进行深度数据赋值以生成该路视频对应的图像深度数据作为输入视频数据的图像深度数据，其中将所述零平面所在位置的深度数据设为0，零平面以上位置的深度数据设为负值， 零平面以下位置的深度数据设为正值，且对于同一颜色连通区域赋予相同的深度数据值； 以及深度数据缓存单元，用于将所述输入视频数据的图像深度数据缓存至所述数据缓存模块。
6.根据权利要求5所述的装置，其特征在于，所述深度计算参数包括阈值参数和预定的深度模型。
7.根据权利要求6所述的装置，其特征在于，所述零平面确定单元进一步包括灰度均值子单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，进行像素颜色数据统计，求取图像灰度均值；深度模型确定子单元，用于根据所述图像灰度均值和所述阈值参数，确定所选用的深度模型，其中所选用的深度模型为所述预定的深度模型中的一种；以及零平面位置确定子单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，确定所述选用的深度模型位置，并将所述选用的深度模型位置确定为所述图像深度数据的零平面位置。
8.根据权利要求1所述的装置，其特征在于，所述立体渲染模块进一步包括计算单元，用于根据所述双路视频数据中的任一路视频数据或者所述单路视频数据的各个像素点及其对应的深度图像数据的像素点，结合所述输出视点数目，计算多视点视频的各视点视频需要更新的区域；填充单元，用于根据所述双路视频数据或者所述单路视频数据，对所述各视点视频需要更新的区域进行线性插值填充，生成更新区域的像素点数据，并用所述双路视频数据中的任一路视频数据或者所述单路视频数据对不需要更新的区域进行直接填充，以获得多视点视频所有视点的图像像素点数据；以及输出单元，用于根据所述输出排列方式对所述多视点视频所有视点的图像像素点数据进行排列或交织，输出多视点视频数据。
9.根据权利要求8所述的装置，其特征在于，所述填充单元根据所述双路视频数据或者所述单路视频数据，对所述各视点视频需要更新的区域进行线性插值填充进行线性插值填充，进一步包括如果所述输入视频数据是单路视频数据，则以所述输入视频数据的深度值作为填充权值进行像素填充，生成更新区域的像素点数据；如果所述输入视频数据是双路视频数据，则对所述输入视频数据的像素值进行加权平均计算后，再以所述输入视频数据的深度值作为填充权值进行像素填充，生成更新区域的像素点数据。
10.一种生成多视点视频的方法，其特征在于，包括以下步骤51根据输出设备的类型和输入视频数据设置输入视频识别参数、深度计算参数和输出视点控制参数，其中所述输出视点控制参数包括输出视点数目和输出排列方式模型；52根据所述输入视频识别参数对输入视频数据进行类型分析，确定输入视频数据的类型是单路视频数据还是双路视频数据；53将输入视频数据缓存至数据缓存设备；S4:根据所述输入视频数据的类型、所述深度计算参数和数据缓存设备缓存的所述输入视频数据进行深度计算以获得所述输入视频数据的图像深度数据，并将所述输入视频数据的图像深度数据缓存至所述数据缓存设备；以及S5 根据所述数据缓存设备缓存的输入视频数据和图像深度数据，以及所述输入视频数据的类型和所述输出视点数目，计算所需输出的各视点视频，并根据所述输出排列方式对所述各视点视频进行视频数据排列，输出多视点视频数据。
11.根据权利要求10所述的方法，其特征在于，所述输入视频数据包括帧同步信号、行同步信号、数据有效信号和场同步信号，所述输入视频识别参数用于指示所述输入视频识别模块进行分析时所选用的同步信号，其中所述所选用的同步信号为帧同步信号、行同步信号、数据有效信号和场同步信号中的一种。
12.根据权利要求10所述的方法，其特征在于，所述输出排列方式包括以视点图像为单位的图像数据排列方式；以图像行数据为单位的图像数据排列方式；以及以图像像素点数据为单位的图像数据排列方式。
13.根据权利要求10所述的方法，其特征在于，在将所述输入视频数据缓存至缓存设备以及将所述图像深度数据缓存至缓存设备时，分别将所述输入视频数据和所述图像深度数据缓存至不同的缓存区域，并通过两个相互独立时钟分别控制。
14.根据权利要求10所述的方法，其特征在于，所述步骤S4进一步包括S41 根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，以及所述深度计算参数，确定所述图像深度数据的零平面所在位置；S42:对所述双路视频数据中的任一路视频数据或者所述单路视频数据进行深度数据赋值以生成所述双路视频数据中的任一路视频数据或者所述单路视频数据对应的图像深度数据作为输入视频数据的图像深度数据，其中将所述零平面所在位置的深度数据设为0， 零平面以上位置的深度数据设为负值，零平面以下位置的深度数据设为正值，且对于同一颜色连通区域赋予相同的深度数据值；以及S43 将所述输入视频数据的图像深度数据缓存至缓存设备。
15.根据权利要求14所述的方法，其特征在于，所述深度计算参数包括阈值参数和预定的深度模型。
16.根据权利要求15所述的方法，其特征在于，所述步骤S41进一步包括5411根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，进行像素颜色数据统计，求取图像灰度均值；5412根据所述图像灰度均值和所述阈值参数，确定所选用的深度模型，其中所选用的深度模型为所述预定的深度模型中的一种；以及5413根据所述双路视频数据中的任一路视频数据或者所述单路视频数据，确定所述选用的深度模型位置，并将所述选用的深度模型位置确定为所述图像深度数据的零平面位置。
17.根据权利要求10所述的方法，其特征在于，所述步骤S5进一步包括551根据所述双路视频数据中的任一路视频数据或者所述单路视频数据的各个像素点及其对应的深度图像数据的像素点，结合所述输出视点数目，计算多视点视频的各视点视频需要更新的区域；552根据所述双路视频数据或者所述单路视频数据，对所述各视点视频需要更新的区域进行线性插值填充，生成更新区域的像素点数据，并用所述双路视频数据中的任一路视频数据或者所述单路视频数据对不需要更新的区域进行直接填充，以获得多视点视频所有视点的图像像素点数据；以及553根据所述输出排列方式对所述多视点视频所有视点的图像像素点数据进行排列或交织，输出多视点视频数据。
18.根据权利要求17所述的方法，其特征在于，所述步骤S52在进行线性插值填充时进一步包括如果所述输入视频数据是单路视频数据，则以所述输入视频数据的深度值作为填充权值进行像素填充，生成更新区域的像素点数据；如果所述输入视频数据是双路视频数据，则对所述输入视频数据的像素值加权平均计算后，再以所述输入视频数据的深度值作为填充权值，进行像素填充，生成更新区域的像素点数据。
全文摘要
本发明提出一种生成多视点视频的装置及方法。其中，装置包括参数设置模块，用于设置输入视频识别参数、深度计算参数和输出视点控制参数；输入视频识别模块，用于根据输入视频识别参数识别输入视频数据的类型；数据缓存模块，用于缓存视频数据；深度计算模块，用于根据输入视频数据的类型和深度计算参数计算输入视频数据的图像深度数据；立体渲染模块，用于根据输入视频数据的类型、图像深度数据和输出视点控制参数对输入视频数据进行立体渲染，生成多视点视频并输出。本发明装置体积小，集成度高，专用性强，计算能力强，制作视频容易，制作周期短，制作成本低，可广泛应用于多视点立体视频制作领域。
文档编号H04N13/00GK102271271SQ20111023706
公开日2011年12月7日 申请日期2011年8月17日 优先权日2011年8月17日
发明者张晶, 戴琼海, 曹汛 申请人:清华大学