专利名称：一种影视作品字幕的生成方法
技术领域：
本发明涉及影视作品的场景字幕的生成方法，具体地说，涉及如何描述影视作品的场景的对白、如何表示字幕与对白以及利用对白生成字幕的方法。
背景技术：
随着影视娱乐事业的发展，影视作品的跨国交流已经日益频繁。不同语言、不同民族、不同国家之间的影视作品交流已经成为多元化国际文化交流的一个重要组成部分。影视作品要跨越语言障碍，在很大程度上需要依靠在影视作品上添加字幕来实现。
以下所称的影视作品包括电影、电视、卡拉OK、语言学习等影像作品，对白则包括电影、电视的对白以及卡拉OK的歌词等。
目前现有的技术方案只能解决简单的字幕生成，但是对于卡拉OK中两个或两个以上的拥有者之间不同步演唱的情况，如A先唱、B后唱，且A唱后一句之前B唱多句之类的复杂情况，则不能进行有效的处理。在制作不同步字幕的时候往往采用非线编的方式直接将字幕合成到视频中，并且字幕语言单一，如果要制作多种语言的带字幕视频，则需要多次重复非线编，所需的时间和工作强度都比较大。
发明内容
本发明所要解决的技术问题在于提供一种影视作品的场景字幕的生成方法，可解决复杂的多场景对白的字幕生成问题。
本发明所述影视作品的场景字幕的生成方法，包括记录有对白场景的全部对白；按照拥有者对全部对白进行分类，获取每句对白的开始时间和结束时间；生成基准字幕，获得每个字幕页的开始时间和结束时间；根据基准字幕和其他对白生成影视作品的场景字幕。
采用本发明，可实现对复杂的影视作品中的场景对白的组织，并将对白组织成为字幕，确定字幕中每个字幕页的开始时间和结束时间，其应用领域广泛，不仅可以处理非同步的对白，而且可以方便地应用于非线编的情况或者制作各种复杂的数字化字幕。
图1是本发明场景字幕的生成方法的流程图；图2是对白的分类示意图；图3是对白与字幕之间的对应关系示意图；图4是生成基准字幕的流程图；图5是本发明中生成场景字幕的详细流程图；图6是图4中生成新的独立字幕页的流程图；图7是调整独立字幕页时间的流程图；图8是将被调整的独立字幕页与前一字幕页进行时间调整的流程图；图9是将被调整的独立字幕页与后一字幕页进行时间调整的流程图。
具体实施例方式
下面结合附图和实施例，对本发明的技术方案做进一步的详细说明。
如图1所示，本发明场景字幕的生成方法包括采集对白、对对白进行分类、生成基准字幕和生成最终的影视作品字幕。首先收集有对白场景中的全部对白，包括对白的内容和对白的时间信息，获取对白内容的方法很多，可以采用人工输入的方法，或者直接从剧本中获得对白内容；对白的时间信息包括对白的开始时间和结束时间，也可以使用多种方法采集，比如使用人工输入的方法，或者采用辅助工具来获取每一句对白的开始时间和结束时间，对白时间可以采用自然时间表示方法(时:分:秒:毫秒)，也可以采用电影时间码(时:分:秒:格)。然后对全部的对白数据进行组织，可以使用脚本描述或者图片结合脚本等方式。
图2是对白的分类示意图。一段有对白场景中的全部对白首先按照不同的拥有者划分，每个拥有者都拥有一句或者一句以上的对白；而每一句对白都包括开始时间、结束时间和对白内容，对白内容包括每一个字/词的内容、开始时间和结束时间。对于特殊的应用环境，例如制作卡拉OK字幕或者多语言的学习系统字幕，对白中每一个字/词的开始时间和结束时间都是很重要的。对白经过上述分类后，每个拥有者的每一句对白都是按照时间有序排列的。
图3是对白与字幕之间的对应关系示意图。每段场景的字幕是由多个独立在屏幕上显示的字幕页构成的，每个独立字幕页中都描述了该独立字幕页的开始显示时间和结束显示时间，这样每个独立字幕页可按照显示的时间有序排列。同时，独立字幕页还记录了当前独立字幕页所包含的全部对白，包括对白的拥有者、对白的开始时间、对白的结束时间以及对白的内容，对白的内容再进一步的包括每个字/词的内容、字/词的开始时间及结束时间。
在生成场景字幕的过程中，存在基准字幕作为最终生成的场景字幕的中间形态，基准字幕是独立字幕页的集合；当将该场景中全部拥有者的对白都合成到基准字幕中后，就生成了最终的场景字幕。
图4是生成基准字幕的流程图，首先从场景的所有对白中选取任意一个拥有者的对白作为生成基准字幕的基础，将该套对白称为基准对白(步骤4-1)，再生成一个用于存放后续字幕页的空白字幕页集合(步骤4-2)，然后从基准对白中任意选择一个单句对白(步骤4-3)，利用选择的单句对白创建一个独立字幕页(步骤4-4)，再将该独立字幕页添加到字幕页集合中(步骤4-5)。判断基准对白中是否存在没被添加到字幕页集合中的单句对白(步骤4-6)，如果有，则反复执行步骤4-3到步骤4-6，直到基准对白中的所有单句对白都已全部添加到字幕页集合中，至此所得到的字幕页集合就是基准字幕。生成基准字幕的对白被标识为已处理的对白。
图5给出了根据基准字幕生成场景字幕的详细流程。首先从场景的所有对白中选取未处理的任一个拥有者的对白作为参考对白(步骤5-1)，然后从参考对白中选取一句对白(步骤5-2)，判断基准字幕中是否存在与上述选取的对白有时间重叠的独立字幕页(步骤5-3)，其中时间重叠是指该句对白的开始时间小于基准字幕中某个独立字幕页的结束时间且该句对白的结束时间大于该独立字幕页的开始时间。
如果存在时间重叠的独立字幕页，则将该句对白合并入每一个重叠的独立字幕页中(步骤5-4)，然后根据新加入的对白的开始时间和结束时间调整每一个合并后的独立字幕页的开始时间和结束时间(步骤5-5)。
如果基准字幕中没有与选取的对白有时间重叠的独立字幕页，则根据该句对白生成独立字幕页(步骤5-6)，然后将该独立字幕页加入基准字幕中(步骤5-7)。
然后判断参考对白中是否存在没有加入基准字幕的单句对白(步骤5-8)，如果有，则返回步骤5-2，重复执行上述步骤，否则将作为参考对白的拥有者对白标识为已处理的对白。如果没有，则判断场景的全部拥有者的对白是否存在未被处理的对白(步骤5-9)，如果有，则返回步骤5-1，直到将该场景的全部拥有者的对白都整合到基准字幕中，这样就生成了最终的场景字幕。
由上可知，要完成一个场景中的所有字幕页，需要利用未加入到字幕中的对白不断地生成、记录和调整基准字幕中的独立字幕页与被选取的参考对白的关系。
独立字幕页的生成流程如图6所示，独立字幕页是以单句对白为依据生成的。首先创建一个新的空白独立字幕页；然后将单句对白的内容记录在该独立字幕页中(步骤6-1)，调整该独立字幕页的开始时间和结束时间(步骤6-2和步骤6-3)。
图7是调整独立字幕页时间的流程图。首先判断被调整的独立字幕页是否只包含一句对白(步骤7-1)，如果只有一句对白，则将独立字幕页的开始时间和结束时间分别设置为该句对白的开始时间和结束时间(步骤7-2和步骤7-3)。
如果被调整的独立字幕页包含有多句对白，则需要根据不同的情况从对白和相邻的独立字幕页中获取被调整的独立字幕页的开始时间和结束时间。
对于获取独立字幕页的开始时间，包括首先查找该独立字幕页中开始时间最早的一句对白(步骤7-4)，再判断该句对白的开始时间是否早于被调整的独立字幕页的开始时间(步骤7-5)；如果是，则进一步判断该句对白的开始时间是否早于被调整的独立字幕页的前一独立字幕页的结束时间(步骤7-6)，如果是，则将被调整的独立字幕页与前一字幕页进行时间调整(步骤7-7)；如果该句对白的开始时间晚于被调整的独立字幕页的前一独立字幕页的结束时间或者不早于被调整的独立字幕页的开始时间，则将被调整的独立字幕页的开始时间调整为开始时间最早的一句对白的开始时间(步骤7-8)。
对于获取独立字幕页的结束时间，包括查找该独立字幕页中结束时间最晚的对白(步骤7-9)，判断该句对白的结束时间是否晚于被调整的独立字幕页的结束时间(步骤7-10)；如果是，则进一步判断该句对白的结束时间是否晚于被调整的独立字幕页的后一独立字幕页的开始时间(步骤7-11)，如果是，则将被调整的独立字幕页与后一字幕页进行时间调整(步骤7-12)；如果该句对白的结束时间早于被调整的独立字幕页的后一独立字幕页的开始时间或者不晚于内调整的独立字幕页的结束时间，则将被调整的独立字幕页的结束时间设置为该句对白的结束时间。
图8是图7中被调整的独立字幕页与前一字幕页之间进行时间调整的流程图。首先判断被调整的独立字幕页的前一字幕页中是否包含被调整的独立字幕页中开始时间最早的对白(步骤8-1)，如果包含，则将前一字幕页的结束时间调整为前一字幕页中除被调整的独立字幕页中开始时间最早的对白之外的结束时间最晚的对白的结束时间(步骤8-4)，同时将该对白的结束时间作为被调整的独立字幕页的开始时间(步骤8-7)。如果前一字幕页中不包含被调整的独立字幕页中开始时间最早的对白，则进一步判断前一字幕页中是否包含被调整的独立字幕页中开始时间最早的对白的拥有者的对白(步骤8-2)，如果包含，则获取前一字幕页里所有结束时间晚于被调整的独立字幕页中开始时间最早的对白的开始时间的对白，或者是前一字幕页里所有结束时间晚于被调整的独立字幕页中开始时间最早的对白拥有者在前一字幕页里的对白的结束时间的对白(步骤8-5)，得到前一字幕页的对白。
然后调整前一字幕页的结束时间(步骤8-8)，如果前一字幕页的对白是由所有结束时间晚于被调整的独立字幕页中开始时间最早的对白的开始时间的对白构成，则前一字幕页的结束时间设置为被调整的独立字幕页中开始时间最早的对白的开始时间；如果前一字幕页的对白是由前一字幕页里所有结束时间晚于被调整的独立字幕页中开始时间最早的对白拥有者在前一字幕页里的对白的结束时间的对白构成，则前一字幕页的结束时间设置为被调整的独立字幕页中开始时间最早的对白的拥有者在前一字幕页中的对白的结束时间。
然后合并由步骤8-5获得的前一字幕页的对白与被调整的独立字幕页中开始时间最早的对白，生成新的独立字幕页(步骤8-9)。对于该新的独立字幕页，开始时间设置为调整后的前一字幕页的结束时间；结束时间设置为被调整的独立字幕页中除开始时间最早的对白外开始时间最早的对白的开始时间(步骤8-10)，最后设置被调整的独立字幕页的开始时间为新的独立字幕页的结束时间(步骤8-11)。
如果前一字幕页中不包含被调整的独立字幕页中开始时间最早的对白的拥有者的对白，则将被调整的独立字幕页中开始时间最早的对白加入前一字幕页中(步骤8-3)，并对调整后的前一字幕页的时间进行调整(步骤8-6)。
如图9所示的将被调整独立字幕页与后一字幕页进行时间调整的流程图中，首先判断被调整的独立字幕页的后一字幕页中是否包含被调整的独立字幕页中结束时间最晚的对白(步骤9-1)，如果包含，则将后一字幕页的开始时间调整为后一字幕页中除了被调整的独立字幕页中结束时间最晚的对白之外开始时间最早的对白的开始时间(步骤9-4)，同时将该对白的开始时间作为被调整的独立字幕页的结束时间(步骤9-7)。如果后一字幕页中不包含被调整的独立字幕页中结束时间最晚的对白，则进一步判断后一字幕页中是否包括被调整的独立字幕页中结束时间最晚的对白的拥有者的对白(步骤9-2)，如果包括，则获取后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的结束时间的对白，或者是后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的拥有者在后一字幕页的对白的开始时间的对白(步骤9-5)，得到后一字幕页的对白。
然后调整后一字幕页的开始时间(步骤9-8)，如果后一字幕页的对白是由后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的结束时间的对白构成，则将后一字幕页的开始时间设置为被调整的独立字幕页中结束时间最晚的对白的结束时间；如果后一字幕页的对白是由后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的拥有者在后一字幕页的对白的开始时间的对白构成，则后一字幕页的开始时间设置为被调整的独立字幕页中结束时间最晚的对白的拥有者在后一字幕页中的对白的开始时间。
然后合并由步骤9-5获得的后一字幕页的对白与被调整的独立字幕页中结束时间最晚的对白，生成新的独立字幕页(步骤9-9)。对于该新的独立字幕页，其结束时间设置为调整后的后一字幕页的开始时间；开始时间设置为被调整的独立字幕页中除结束时间最晚的对白外结束时间最晚的对白的结束时间(步骤9-10)。最后将被调整的独立字幕页的结束时间设置为新的独立字幕页的开始时间(步骤9-11)。
如果后一字幕页中没有包括被调整的独立字幕页中结束时间最晚的对白的拥有者的对白，则将被调整的独立字幕页中结束时间最晚的对白加入到后一字幕页中(步骤9-3)，并且对调整后的后一字幕页的时间进行调整(步骤9-6)。
按照上述方法，可以完成对白与字幕之间的关系调整，得到影视作品中某场景的对白与该场景的字幕之间的对应关系以及每个字幕页的开始时间和结束时间。对于每一个含有对白的场景都完成上述操作，即可得到整部影视作品的对白与字幕的对应关系以及每个字幕页的开始时间和结束时间。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种影视作品的场景字幕的生成方法，其特征在于，包括记录有对白场景的全部对白；按照拥有者对场景中的全部对白进行分类，获取每句对白的开始时间和结束时间；生成基准字幕，获得每个字幕页的开始时间和结束时间；根据基准字幕和其他对白生成影视作品的场景字幕。
2.根据权利要求1所述的影视作品字幕的生成方法，其特征在于，所述生成基准字幕的步骤进一步包括步骤一、从场景的所有对白中选取任一个拥有者的对白作为基准对白；步骤二、生成一个用于存放后续字幕页的空白字幕页集合；步骤三、从基准对白中任意选择一个单句对白，创建一个独立字幕页；步骤四、将该独立字幕页添加到字幕页集合中；步骤五、判断基准对白中是否存在没被添加到字幕页集合中的单句对白，如果有，则返回步骤三，直到基准对白中的所有单句对白都已全部添加到字幕页集合中，所得到的字幕页集合就是基准字幕。
3.根据权利要求1所述的影视作品的场景字幕的生成方法，其特征在于，所述生成影视作品的场景字幕的步骤进一步包括步骤一、从场景的所有对白中选取未处理的任一个拥有者的对白作为参考对白；步骤二、从参考对白中选取一句对白，判断基准字幕中是否存在与上述选取的对白有时间重叠的独立字幕页；步骤三、如果存在时间重叠的独立字幕页，则将该句对白合并入每一个重叠的独立字幕页中；步骤四、根据新加入的对白的开始时间和结束时间调整每一个合并后的独立字幕页的开始时间和结束时间；步骤五、如果没有与选取的对白有时间重叠的独立字幕页，则根据该句对白生成独立字幕页，再将该独立字幕页加入基准字幕中；步骤六、重复执行步骤二至步骤五，直到参考对白中的全部单句对白都加入基准字幕；步骤七、判断场景的全部拥有者的对白是否存在未被处理的对白，如果有，则返回步骤一，对未处理的对白进行处理，直到将该场景的全部对白都整合到基准字幕里。
4.根据权利要求2或3所述的影视作品的场景字幕的生成方法，其特征在于，所述生成独立字幕页步骤包括创建一个新的空白独立字幕页；将单句对白的内容记录在该独立字幕页中；调整该独立字幕页的开始时间和结束时间。
5.根据权利要求4所述的影视作品的场景字幕的生成方法，其特征在于，所述调整独立字幕页的时间的步骤具体包括判断被调整的独立字幕页是否只包含一句对白；如果只有一句对白，则将被调整的独立字幕页的开始时间和结束时间分别设置为该句对白的开始时间和结束时间；如果包含有多句对白，则从对白和相邻的独立字幕页中获取被调整的独立字幕页的开始时间和结束时间。
6.根据权利要求5所述的影视作品的场景字幕的生成方法，其特征在于，所述多句对白情况下获取独立字幕页的开始时间的步骤，进一步包括查找该独立字幕页中开始时间最早的一句对白；判断该句对白的开始时间是否早于被调整的独立字幕页的开始时间；如果是，则判断该句对白的开始时间是否早于被调整的独立字幕页的前一独立字幕页的结束时间；如果是，则将被调整的独立字幕页与前一字幕页进行时间调整；如果该句对白的开始时间晚于被调整的独立字幕页的前一独立字幕页的结束时间或者不早于被调整的独立字幕页的开始时间，则将被调整的独立字幕页的开始时间调整为该句对白的开始时间。
7.根据权利要求5所述的影视作品的场景字幕的生成方法，其特征在于，所述多句对白情况下获取独立字幕页的结束时间的步骤，进一步包括查找该独立字幕页中结束时间最晚的对白；判断该句对白的结束时间是否晚于被调整的独立字幕页的结束时间；如果是，则判断该句对白的结束时间是否晚于被调整的独立字幕页的后一独立字幕页的开始时间；如果是，则将被调整的独立字幕页与后一字幕页进行时间调整；如果该句对白的结束时间早于被调整的独立字幕页的后一独立字幕页的开始时间或者不晚于被调整的独立字幕页的结束时间，则将被调整的独立字幕页的结束时间设置为该句对白的结束时间。
8.根据权利要求6所述的影视作品的场景字幕的生成方法，其特征在于，所述被调整的独立字幕页与前一字幕页进行时间调整的步骤包括判断被调整的独立字幕页的前一字幕页中是否包含被调整的独立字幕页中开始时间最早的对白；如果包含，则将前一字幕页的结束时间调整为前一字幕页中除被调整的独立字幕页中开始时间最早的对白之外的结束时间最晚的对白的结束时间，同时将该对白的结束时间作为被调整的独立字幕页的开始时间；如果不包含，则判断前一字幕页中是否包含被调整的独立字幕页中开始时间最早的对白的拥有者的对白；如果包含，则获取前一字幕页里所有结束时间晚于被调整的独立字幕页中开始时间最早的对白的开始时间的对白，或者是前一字幕页里所有结束时间晚于被调整的独立字幕页中开始时间最早的对白拥有者在前一字幕页里的对白的结束时间的对白，得到前一字幕页的对白；调整前一字幕页的结束时间；合并前一字幕页的对白与被调整的独立字幕页中开始时间最早的对白，生成新的独立字幕页；新的独立字幕页的开始时间设置为调整后的前一字幕页的结束时间，结束时间设置为被调整的独立字幕页中除开始时间最早的对白外开始时间最早的对白的开始时间；设置被调整的独立字幕页的开始时间为新的独立字幕页的结束时间；如果前一字幕页中不包含被调整的独立字幕页中开始时间最早的对白的拥有者的对白，则将被调整的独立字幕页中开始时间最早的对白加入前一字幕页中，并对调整后的前一字幕页的时间进行调整。
9.根据权利要求8所述的影视作品的场景字幕的生成方法，其特征在于，所述调整前一字幕页的结束时间的步骤具体包括如果前一字幕页的对白是由所有结束时间晚于被调整的独立字幕页中开始时间最早的对白的开始时间的对白构成，则前一字幕页的结束时间设置为被调整的独立字幕页中开始时间最早的对白的开始时间；如果前一字幕页的对白是由前一字幕页里所有结束时间晚于被调整的独立字幕页中开始时间最早的对白拥有者在前一字幕页里的对白的结束时间的对白构成，则前一字幕页的结束时间设置为被调整的独立字幕页中开始时间最早的对白的拥有者在前一字幕页中的对白的结束时间。
10.根据权利要求7所述的影视作品的场景字幕的生成方法，其特征在于，所述被调整的独立字幕页与后一字幕页进行时间调整的步骤包括判断被调整的独立字幕页的后一字幕页中是否包含被调整的独立字幕页中结束时间最晚的对白；如果包含，则将后一字幕页的开始时间调整为后一字幕页中除了被调整的独立字幕页中结束时间最晚的对白之外开始时间最早的对白的开始时间，同时将该对白的开始时间作为被调整的独立字幕页的结束时间；如果不包含，则判断后一字幕页中是否包括被调整的独立字幕页中结束时间最晚的对白的拥有者的对白；如果包括，则获取后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的结束时间的对白，或者是后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的拥有者在后一字幕页的对白的开始时间的对白，得到后一字幕页的对白；调整后一字幕页的开始时间；合并后一字幕页的对白与被调整的独立字幕页中结束时间最晚的对白，生成新的独立字幕页；将新的独立字幕页的结束时间设置为调整后的后一字幕页的开始时间；开始时间设置为被调整的独立字幕页中除结束时间最晚的对白外结束时间最晚的对白的结束时间；将被调整的独立字幕页的结束时间设置为新的独立字幕页的开始时间；如果后一字幕页中没有包括被调整的独立字幕页中结束时间最晚的对白的拥有者的对白，则将被调整的独立字幕页中结束时间最晚的对白加入到后一字幕页中，并且对调整后的后一字幕页的时间进行调整。
11.根据权利要求10所述的影视作品的场景字幕的生成方法，其特征在于，所述调整后一字幕页的开始时间的步骤进一步包括如果后一字幕页的对白是由后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的结束时间的对白构成，则将后一字幕页的开始时间设置为被调整的独立字幕页中结束时间最晚的对白的结束时间；如果后一字幕页的对白是由后一字幕页里所有开始时间早于被调整的独立字幕页中结束时间最晚的对白的拥有者在后一字幕页的对白的开始时间的对白构成，则后一字幕页的开始时间设置为被调整的独立字幕页中结束时间最晚的对白的拥有者在后一字幕页中的对白的开始时间。
12.根据权利要求1至11任一所述的影视作品的场景字幕的生成方法，其特征在于，所述对白包括对白的内容和对白的时间信息；所述对白内容包括每一个字/词的内容、开始时间和结束时间；所述对白的时间信息包括对白的开始时间和结束时间。
13.根据权利要求1至11任一所述的影视作品的场景字幕的生成方法，其特征在于，所述字幕由多个独立在屏幕上显示的字幕页构成；每个独立字幕页中描述了该独立字幕页的开始显示时间和结束显示时间，以及所包含的全部对白，包括对白的拥有者、对白的开始时间、对白的结束时间和对白的内容。
全文摘要
本发明提供一种影视作品的场景字幕的生成方法，应用于影视作品的生产，包括记录有对白场景的全部对白；按照拥有者对场景中的全部对白进行分类，获取每句对白的开始时间和结束时间；生成基准字幕，获得每个字幕页的开始时间和结束时间；根据基准字幕和其他对白生成影视作品的场景字幕。采用本发明，可实现对复杂的影视作品中场景的对白的组织，并将对白组织成为字幕，确定场景字幕中每个字幕页的开始时间和结束时间，其应用领域广泛，不仅可以处理非同步的对白，而且可以方便地应用于非线编的情况或者制作各种复杂的数字化字幕。
文档编号H04N5/278GK1705348SQ20041004633
公开日2005年12月7日 申请日期2004年6月3日 优先权日2004年6月3日
发明者黄欣, 马丽娜, 王箫程, 梁鹏 申请人:北京阜国数字技术有限公司