专利名称：一种影片处理方法
技术领域：
本发明涉及图像处理领域，特别是一种影片处理方法。
背景技术：
在生活中，环幕、球幕电影虽然深受大家喜爱，但是由于内容缺乏，拍摄、制作和后期成本高，这类放映形式很不普及。而传统格式影片的片源多、制作成本低，但是不能直接将传统格式影片投放至环幕、球幕电影的放映系统，因此环幕、球幕电影的放映系统无法直接采用传统格式影片的片源。现有技术无法将传统格式影片处理成环幕、球幕电影。
发明内容
本发明提供一种影片处理方法，能够将传统格式影片处理成适合投放至环幕或球幕放映的影片。本发明提供了一种影片处理方法，包括以下步骤步骤一将传统格式影片进行数字化处理，得到包含二维空间画面的多个数字序列帧；步骤二 根据所述数字序列帧中的二维空间画面和/或根据具有环形或球形屏幕的放映系统的屏幕参数和放映参数，构建对应于所述二维空间的三维空间模型环境和用于所述模型环境中的虚拟相机及其新拍摄参数；步骤三在所述模型环境中，使用所述虚拟相机并利用所述新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染，得到对应的新画面，使得所述新画面在视觉上呈现出符合所述环形或球形屏幕的曲率的弯曲效果。在本发明的各实施例中，优选地，对于针对每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，在该数字序列帧的前M个数字序列帧和后N个数字序列帧中搜索相似度大于预定值的相似画面，并基于所述相似画面形成一填充画面填充到所述画面空缺区域，其中M和N为正整数；禾口/ 或对于针对每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，根据所述画面空缺区域的边界状态和数据库素材构造一填充画面填充到所述画面空缺区域。在本发明的各实施例中，优选地，将所述填充画面在进行人工修整之后填充到所述画面空缺区域。在本发明的各实施例中，优选地，所述渲染包括针对至少一个所述新画面设置以下附加信息中的至少一种艺术创作画面，其未包含于所述传统格式影片的数字序列帧中，并与所述新画面的其他部分的背景和/或前景不相同或不相似；和/或字符信息，其未包含于所述传统格式影片的数字序列帧中，并与所述新画面的其他部分的背景和/或前景不相同或不相似；和/或视频信息和/或音频信息，其未包含于所述传统格式影片的数字序列帧中。在本发明的各实施例中，优选地，所述附加信息设置在所述新画面的画面空缺区域。在本发明的各实施例中，优选地，所述渲染包括针对至少一个所述数字序列帧的二维空间画面，进行多次渲染后合成所述新画禾P/或针对至少一个所述数字序列帧的二维空间画面中的多个子画面，分别进行渲染而得到对应的多个新子画面，并将所述多个新子画面合成为所述新画面。在本发明的各实施例中，优选地，所述虚拟相机的新拍摄参数包括新拍摄位置， 新拍摄方向，新拍摄视角。在本发明的各实施例中，优选地，所述基于所述相似画面形成填充画面包括通过对所述相似画面进行逆变形和/或色彩还原处理，形成所述填充画面。在本发明的各实施例中，优选地，所述渲染包括根据传统格式影片的多个数字序列帧中所体现的一个对象的运动状态的改变，在所述多个数字序列帧中选定多个关键帧，基于所述多个关键帧中所述对象的拍摄参数利用插值法设定所述虚拟相机的新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染。在本发明的各实施例中，优选地，所述渲染包括利用插值法得到所述填充画面。通过本发明提供的一种影片处理方法，能够带来以下有益效果1.给环幕、球幕电影带来丰富的片源。传统格式影片的片源多，直接将传统格式影片进行处理，转换成环幕或球幕电影，增加了此类电影的片源。2.实现环幕或球幕电影的多元化制作。不仅可直接拍摄环幕或球幕电影，还可将传统格式影片进行处理，转换成适合投放至环幕或球幕放映系统的电影，为环幕或球幕电影的制作提供了更多的选择。3.降低环幕、球幕电影的制作成本。相对于拍摄环幕或球幕电影的高成本来说，传统格式影片的拍摄成本较低，同时，将传统格式影片进行处理，转换成适合投放至环幕或球幕放映系统的电影的后期制作成本也不高，这样可以有效降低环幕、球幕电影的制作成本。
为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。图1为本发明的一种实施例的方法步骤图。图2为本发明将传统格式影片进行处理投放到环幕或球幕放映系统与传统格式影片未进行处理就投放到环幕或球幕放映系统的一种实施例的对比图。
图3是本发明的一种实施例的方法流程示意图。图4是本发明的使用虚拟相机并采用新拍摄参数的一种实施例的示意图。图5是本发明通过渲染得到的新画面的一种实施例。图6是本发明补充填充画面的一种实施例的示意图。图7是本发明设置附加信息的一种实施例的示意图。图8a、图Sb、图8c是经本发明处理后得到的环幕或球幕的电影投放于环幕、拼接幕、球幕的实施例的示意图。
具体实施例方式以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。本发明提供了一种影片处理方法，包括以下步骤步骤一将传统格式影片进行数字化处理，得到包含二维空间画面的多个数字序列帧；步骤二 根据所述数字序列帧中的二维空间画面和/或根据具有环形或球形屏幕的放映系统的屏幕参数和放映参数，构建对应于所述二维空间的三维空间模型环境和用于所述模型环境中的虚拟相机及其新拍摄参数；步骤三在所述模型环境中，使用所述虚拟相机并利用所述新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染，得到对应的新画面，使得所述新画面在视觉上呈现出符合所述环形或球形屏幕的曲率的弯曲效果。图1为本发明的一种实施例的方法步骤图。如图1所示，步骤一 101是本发明的基础，之后的影片处理都是基于步骤一得到的多个数字序列帧进行的，得到的多个数字序列帧包含二维空间画面。由于最终要将影片投映到环形幕或球形幕，并使原来的二维影片变成三维的立体效果，步骤二 102就要构建对应步骤一种二维空间的三维空间模型环境。在二维空间的基础上构建三维空间模型环境，并使三维空间模型与原二维空间的画面显示重合。在三维空间模型环境中构建用于所述模型环境中的虚拟相机以对每一个数字序列帧进行渲染，并设置虚拟相机的新拍摄参数。三维空间模型环境根据数字序列帧中的二维空间画面(比如二维空间画面的内容)和/或根据具有环形或球形屏幕的放映系统的屏幕参数和放映参数 (比如屏幕大小)来建立。步骤三103是要在步骤二 102构建的三维空间模型环境中，使用构建的虚拟相机并利用新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染，即数字拍摄，比如将虚拟相机换个位置，如将虚拟相机推进画面，加宽画面的视角，放大画面，这一过程即利用新拍摄参数拍摄到不同角度的画面，得到对应的新画面。得到的所述新画面在视觉上要呈现出符合所述环形或球形屏幕的曲率的弯曲效果，在观看时达到三维的效果。在对每个所述数字序列帧的二维空间画面进行渲染时，可对整个画面进行渲染， 也可对需要实现三维效果的部分画面进行渲染。
在本发明的各实施例中，优选地，对于针对每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，在该数字序列帧的前M个数字序列帧和后N个数字序列帧中搜索相似度大于预定值的相似画面，并基于所述相似画面形成一填充画面填充到所述画面空缺区域，其中M和N为正整数；和/ 或对于针对每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，根据所述画面空缺区域的边界状态和数据库素材构造一填充画面填充到所述画面空缺区域。在构建的三维空间模型环境里，重新渲染出的数字序列帧的二维画面由于虚拟相机拍摄参数的变化可能会导致出现缺失画面，比如在每个数字序列帧画面的周边区域，比如每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，这就需要对该缺失画面的信息进行补充。在补充该缺失画面的信息时，可在每个数字序列帧的前M个数字序列帧和后N个数字序列帧中搜索相似度大于预定值的相似画面，并基于所述相似画面形成一填充画面填充到所述画面空缺区域。在补充该缺失信息时，也可根据所述画面空缺区域的边界状态和数据库素材人为地构造一填充画面填充到所述画面空缺区域，以使每个数字序列帧的画面完整。在本发明的一个实施例中，优选地，在找到相似画面或人为地构造填充画面后，人为地判断该相似画面或填充画面是否可用，当判断可用后再进行填充。如图6本发明补充缺失信息的一种实施例的示意图所示。在本发明的各实施例中，优选地，将所述填充画面在进行人工修整之后填充到所述画面空缺区域。优选地，填充画面在数字合成后需要进行人工修整后再填充到所述画面空缺区域，以更好地跟周围的画面相互配合。在本发明的各实施例中，优选地，所述渲染包括针对至少一个所述新画面设置以下附加信息中的至少一种艺术创作画面，其未包含于所述传统格式影片的数字序列帧中，并与所述新画面的背景和/或前景不相同或不相似；和/或字符信息，其未包含于所述传统格式影片的数字序列帧中，并与所述新画面的背景和/或前景不相同或不相似；和/或视频信息和/或音频信息，其未包含于所述传统格式影片的数字序列帧中。在对每个所述数字序列帧的二维空间画面进行渲染时，可包括对至少一个所述新画面设置附加信息。设置附加信息可以通过人为地艺术创作画面来实现，比如图7中，在画面的空白区域通过艺术创作添加了白云。艺术创作的画面未包含于传统格式影片的数字序列帧中， 即二维的画面中，同时艺术创作的画面与得到的新画面的其他部分的背景和/或前景不相同或不相似。设置附加信息还可以包括字符信息，即文字和符号信息，比如图标符号。附加的字符信息未包含于传统格式影片的数字序列帧中，即二维的数字序列帧中，同时艺术创作的画面与得到的新画面的其他部分的背景和/或前景不相同或不相似。设置附加信息还可以包括视频信息和/或音频信息，其未包含于所述传统格式影片的数字序列帧中。在本发明的各实施例中，优选地，所述附加信息设置在所述新画面的画面空缺区域。在新画面的画面空缺区域添加附加信息，使整个新画面的画面完整、和谐。比如图7中， 顶部为空缺区域，在顶部添加了白云后，整幅画面看起来就更加完整，画面更具有美感。在本发明的各实施例中，优选地，所述渲染包括针对至少一个所述数字序列帧的二维空间画面，进行多次渲染后合成所述新画和/ 或针对至少一个所述数字序列帧的二维空间画面中的多个子画面，分别进行渲染而得到对应的多个新子画面，并将所述多个新子画面拼合为所述新画面。针对至少一个所述数字序列帧的二维空间画面，有时一次渲染并不能达到满意的效果，需要对画面进行多次渲染，比如多次变换虚拟相机的拍摄参数进行数字拍摄。针对至少一个所述数字序列帧的二维空间画面中的多个子画面，分别进行渲染而得到对应的多个新子画面，需要将多个新子画面进行拼合，得到完整的新画面。在本发明的一个实施例中，优选地，在最终将处理后的影片投放到拼接幕时，多个子幕上的画面拼合后即为完整的新画面。如图8b中将影片投放至拼接幕所示。在本发明的各实施例中，优选地，所述虚拟相机的新拍摄参数包括新拍摄位置， 新拍摄方向，新拍摄视角。在三维空间模型环境中，使用虚拟相机并利用新拍摄参数对每个数字序列帧的二维空间画面进行渲染时，新拍摄参数可选取如下三种中的至少一种根据不同的新拍摄位置，使所述得到的新画面包含在所述三维空间内；和/或根据不同的新拍摄方向，使所述得到的新画面包含在所述三维空间内；和/或改变或放大拍摄视角，得到新拍摄视角，以改变或放大所述二维空间画面的视野。在选取新拍摄参数时，不限于上述三种方法，比如相机焦距等参数也可调整。在本发明的各实施例中，优选地，所述基于所述相似画面形成填充画面包括通过对所述相似画面进行逆变形和/或色彩还原处理，形成所述填充画面。比如某局部在目前帧(即被填充帧在t Frame, i. e. Frame being filled)没有相关纹理(Texture)信息，在其它帧找到类似纹理后将其用来填充目前帧，而往往该相似纹理会有不同的几何变形，比如代表不同视角，或由于光线变化产生颜色变化，需要将这种变化反过来(注，在其它帧寻找相似纹理过程中需要将目前帧缺失纹理的周边区域做变形或变色处理，当基于某种变形或变色的处理使搜索产生满意结果(Find Match)，即在其它帧找到类似纹理，而其周边存在相对于目前帧的纹理信息，这种变形或变色处理便用来反转， 将其它帧相对于缺失部分反处理填充于Current Frame.在本发明的各实施例中，优选地，所述渲染包括根据传统格式影片的多个数字序列帧中所体现的一个对象的运动状态的改变，在所述多个数字序列帧中选定多个关键帧，基于所述多个关键帧中所述对象的拍摄参数利用插值法设定所述虚拟相机的新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染。
在设置关键帧时,根据如下方法。Parameter setting in Key Frames, followed by interpolation in between.在图像序列(帧)中可以在个别帧设置相机位置等参数， 比如帧1为X，y，ζ = 10，10，10，帧5为x，y，ζ = 14，14，14，自动的通过插值，可以计算出帧2到帧4分别为11,11,11 ；12,12,12 ； 13，13，13.关键帧和插值是相联的概念。关键帧和插值在本发明里可以用于1)对相机参数设置使画面视角在时间上(沿序列帧)变化；2)用于多角度拍摄形成最终图像。在本发明的各实施例中，优选地，所述渲染包括利用插值法得到所述填充画面。插值法为常用方法，可在选取关键帧后利用插值法，得到填充画面，这样可以提高效率。如图2本发明将传统格式影片进行处理后投放到环幕或球幕的放映系统与传统格式影片未进行处理就投放到环幕或球幕的放映系统的的一种实施例的对比图中所示，未经过本发明处理的传统格式影片投放到环幕或球幕的放映系统产生的变形不符合观众的视觉要求，而经过本发明处理的传统格式影片投放到环幕或球幕的放映系统产生的变形符合观众的视觉要求。同时由图8a、图Sb、图8c经本发明处理后得到的环幕或球幕的电影投放于环幕、 拼接幕、球幕的实施例的示意图中可看出本发明能够成功实现对传统格式影片的处理，并成功投放至宽视角的放映系统。在本发明的一个实施例中，优选地，在一个简单例子中，在原图基础上建立三维模型与原图重合，满足重合的过程也就隐含了拍摄角度、参数的建立(虚拟相机，一般是在建立任何物体模型前先建立相机)。与原图重合的模型建立后，将相机换个位置，比如深入到场景内并加宽视角(广角)，将该三维空间在建模软件环境中再次拍摄(渲染)，得到的画面代表采用广角镜头拍摄的原画面场景即可用于环幕/球幕等。在本发明的一个实施例中，优选地，重新拍摄出的场景由于角度的变化可能会缺乏画面(纹理)信息，需要人工制造(绘制/合成)，或自动从其它帧寻找可用信息。以上简单例子可以用来对照片加工，但延伸到视频，虚拟相机的位置可以在序列帧中逐渐变化而产生观众在场景中移动等效果。关键帧和插值用于。可以通过多个拍摄角度多次渲染数字序列帧，达到更宽视角。通过本发明提供的一种影片处理方法，能够带来以下有益效果1.给环幕、球幕电影带来丰富的片源。传统格式影片的片源多，直接将传统格式影片进行处理，转换成环幕或球幕电影，增加了此类电影的片源。2.实现环幕或球幕电影的多元化制作。不仅可直接拍摄环幕或球幕电影，还可将传统格式影片进行处理，转换成适合投放至环幕或球幕放映系统的电影，为环幕或球幕电影的制作提供了更多的选择。3.降低环幕、球幕电影的制作成本。相对于拍摄环幕或球幕电影的高成本来说，传统格式影片的拍摄成本较低，同时，将传统格式影片进行处理，转换成适合投放至环幕或球幕放映系统的电影的后期制作成本也不高，这样可以有效降低环幕、球幕电影的制作成本。本发明提供的各种实施例可根据需要以任意方式相互组合，通过这种组合得到的技术方案，也在本发明的范围内。显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。
权利要求
1.一种影片处理方法，其特征在于，包括以下步骤步骤一将传统格式影片进行数字化处理，得到包含二维空间画面的多个数字序列帧；步骤二 根据所述数字序列帧中的二维空间画面和/或根据具有环形或球形屏幕的放映系统的屏幕参数和放映参数，构建对应于所述二维空间的三维空间模型环境和用于所述模型环境中的虚拟相机及其新拍摄参数；步骤三在所述模型环境中，使用所述虚拟相机并利用所述新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染，得到对应的新画面，使得所述新画面在视觉上呈现出符合所述环形或球形屏幕的曲率的弯曲效果。
2.如权利要求1所述的影片处理方法，其特征在于，所述渲染包括对于针对每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，在该数字序列帧的前M个数字序列帧和后N个数字序列帧中搜索相似度大于预定值的相似画面，并基于所述相似画面形成一填充画面填充到所述画面空缺区域，其中M和N为正整数； 和/或对于针对每个所述数字序列帧的所述新画面的相对于所述二维空间画面形成弯曲效果所致的画面空缺区域，根据所述画面空缺区域的边界状态和数据库素材构造一填充画面填充到所述画面空缺区域。
3.如权利要求2所述的影片处理方法，其特征在于，所述渲染包括 将所述填充画面在进行人工修整之后填充到所述画面空缺区域。
4.如权利要求1至3中的任一项所述的一种影片处理方法，其特征在于，所述渲染包括针对至少一个所述新画面设置以下附加信息中的至少一种艺术创作画面，其未包含于所述传统格式影片的数字序列帧中，并与所述新画面的其他部分的背景和/或前景不相同或不相似；和/或字符信息，其未包含于所述传统格式影片的数字序列帧中，并与所述新画面的其他部分的背景和/或前景不相同或不相似；和/或视频信息和/或音频信息，其未包含于所述传统格式影片的数字序列帧中。
5.如权利要求4所述的影片处理方法，其特征在于，所述附加信息设置在所述新画面的画面空缺区域。
6.如权利要求1至5中的任一项所述的影片处理方法，其特征在于，所述渲染包括 针对至少一个所述数字序列帧的二维空间画面，进行多次渲染后合成所述新画面； 和/或针对至少一个所述数字序列帧的二维空间画面中的多个子画面，分别进行渲染而得到对应的多个新子画面，并将所述多个新子画面合成为所述新画面。
7.如权利要求1至6中的任一项所述的影片处理方法，其特征在于， 所述虚拟相机的新拍摄参数包括新拍摄位置，新拍摄方向，新拍摄视角。
8.如权利要求2至7中的任一项所述的影片处理方法，其特征在于，所述基于所述相似画面形成填充画面包括通过对所述相似画面进行逆变形和/或色彩还原处理，形成所述填充画面。
9.如权利要求1至8中的任一项所述的影片处理方法，其特征在于，所述渲染包括 根据传统格式影片的多个数字序列帧中所体现的一个对象的运动状态的改变，在所述多个数字序列帧中选定多个关键帧，基于所述多个关键帧中所述对象的拍摄参数利用插值法设定所述虚拟相机的新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染。
10.如权利要求1至9中任一项所述的影片处理方法，其特征在于，所述渲染包括利用插值法得到所述填充画面。
全文摘要
本发明涉及图像处理领域，特别是一种影片处理方法，包括步骤一将传统格式影片进行数字化处理，得到包含二维空间画面的多个数字序列帧；步骤二根据所述数字序列帧中的二维空间画面和/或根据具有环形或球形屏幕的放映系统的屏幕参数和放映参数，构建对应于所述二维空间的三维空间模型环境和用于所述模型环境中的虚拟相机及其新拍摄参数；步骤三在所述模型环境中，使用所述虚拟相机并利用所述新拍摄参数对每个所述数字序列帧的二维空间画面进行渲染，得到对应的新画面，使得所述新画面在视觉上呈现出符合所述环形或球形屏幕的曲率的弯曲效果。本发明能够将传统格式影片处理成适合投放至环幕或球幕放映系统的电影。
文档编号H04N5/253GK102438108SQ20111030945
公开日2012年5月2日 申请日期2011年10月13日 优先权日2011年10月13日
发明者张淑英 申请人:江苏尚阳数字科技有限公司