显示数据生成设备的制作方法

专利名称：显示数据生成设备的制作方法
技术领域：
本发明涉及一种显示数据生成设备，其生成用于显示要添加到视频的在
屏(on-screen)字幕的数据。
背景技术：
随着高清晰度数字大屏幕TV、视频压缩技术和成批数据传输技术的发 展，观看电视节目、视频信息等的形式近来已变得多种多样。举例而言，已 经提出了一种任意视点(viewpoint)视频分发系统，其满足"从喜好的视点观看 电影或者棒球比赛的愿望"。所述任意视点视频分发系统用于向观众发送从多 个视点捕获的视频数据以及从这些数据生成的任意视点视频数据。观众可以 从所接收的多个任意视点数据选择对应于喜好视点的视点视频，因此观看如 此选择的视频数据。通过任意视点视频分发系统，多个观众在相同的时间分 别可以观看单个节目的不同视频。 一种这样的技术(参见例如专利文件1) 用于从被划分为用于多个区域的多个部分图像的图像数据中，选择和发送生 成由中心预测为用户期望的视点的图像所需要的部分图像。
顺便提及，向电视图像添加诸如字幕之类的说明信息使得观众能够迅速 地获取与视频相关的信息。通过同时参照字幕，观众变得容易理解正被观看 的图像。按照观看屏幕的情况，呈现字幕；例如，在一种情况下是关于对象 (subject)的说明信息，在另一种情况下是诸如分数和时间的整体信息。即，要 叠加在视频上的字幕的目的是更清楚和迅速地向观众提供关于视频屏幕的说 明信息。广播台的编辑人工地在视频上叠加所创建的字幕的技术已经作为用 于向电视图像添加信息的现有技术而常见。其原因是作为信息的添加目标的 视频仅仅是一个。
同时，与地图导航系统相关的技术可被作为用于向任意视点视频添加信 息并且显示所述视频的技术。在导航系统中，服务中心按照从用户接收的视 点信息(视点的位置和缩放比例信息)而再生要显示的图像；从GIS (地理 信息系统)获取落入屏幕区域内的整体地图引导信息；在地像上叠加所
述地图引导信息，并且显示如此叠加的信息(例如参见专利文件2)。
专利文件1: JP-A-2004-193941第8-20页，图1 专利文件2: JP-A-2002-213984第9-14页，图
发明内容
本发明要解决的问题
当所述任意视点视频分发系统使用现有技术的字幕添加技术时，广播台 的编辑选择适合于在所有视点获取的各个视点视频数据的字幕，并且将如此 选择的字幕叠加在每个视点视频上。但是，因为视点的数量可以是无限的， 因此不能实现字幕的叠加。而且，字幕的实时叠加也是不现实的。
当结合专利文件2而说明的信息添加技术被应用到所述任意视点视频分 发系统时，在图20A中所示的任意视点图像上显示关于在屏幕范围中呈现的 所有对象的说明信息。因此，显示与字幕的指示的目的(更清楚和迅速地向 观众提供关于视频屏幕的说明信息)相反的不适当的字幕。不能确定字幕的 细节或者字幕的布置(屏幕布局)的选^f奪，除非确定了屏幕状态，诸如各个 对象如何显示在视频屏幕上。诸如在图20B中所示的屏幕显示最好作为字幕 的适当显示。
鉴于所述情况而构思了本发明，并且本发明旨在提供一种显示数据生成 设备，其能够生成用于显示适合于各个视频的字幕的数据。 解决问题的手段
本发明的显示数据生成设备的特征在于包括对象确定部分，其根据视 点信息和对象信息来确定在屏幕上出现的对象；重要对象确定部分，其根据 由所述对象确定部分提供的确定结果和所述对象信息来确定会吸引观众注意 力的重要对象，并且其生成关于重要对象的特征信息；布局选择部分，其从 多个布局模板选择具有符合关于所述重要对象的特征信息的选择条件的布局 模板；以及，字幕生成部分，其从所选择的布局模板生成字幕显示数据。
按照所述配置，可以选择符合在屏幕上的对象的配置的适当布局，因此， 可以生成适合于各个的视频的字幕显示数据。由此，甚至分发任意视点视频 的系统也可以更迅速和清楚地向观众提供关于每个观众终端的视频屏幕的说 明信息。
本发明的显示数据生成设备的特征在于，所述重要对象确定部分通过使
用从在所述视点信息中包括的视点的位置到在所述对象信息中包括的对象的
位置的距离来确定所述重要对象。
按照所述配置，可以精确地确定被添加说明信息(字幕)的重要对象。 所述显示数据生成设备的特征在于，所述重要对象确定部分将位于离所
述视点的位置最短距离的对象确定为所述重要对象。
所述配置使得能够精确地确定被添加说明信息(字幕)的重要对象。 而且，本发明的显示数据生成设备其特征在于，所述重要对象确定部分
根据所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小
的、关于所述重要对象的特征信息；并且，所述布局选择部分选择具有符合
所述重要对象在屏幕上的大小的选择条件的布局模板。
所述配置使得有可能与被确定为添加说明信息(字幕)的对象的重要对 象相关地在适当的布局中显示字幕。
本发明的所述显示数据生成设备的特征还在于所述对象信息具有对象 属性；所述布局模板的选择条件具有对象属性；并且，所述布局选择部分选 择具有符合所述重要对象的对象属性的选择条件的布局模板。
所述配置使得有可能在适当的布局中显示包括符合对象属性的适当信息 的字幕。
本发明的显示数据生成方法也包括对象确定步骤，用于根据视点信息 和对象信息来确定在屏幕上出现的对象；重要对象确定步骤，用于根据确定 结果和所述对象信息来确定会吸S1观众注意力的重要对象，并且该步骤生成 关于重要对象的特征信息；布局选择步骤，用于从多个布局模板选择具有符 合关于所述重要对象的所述特征信息的选择条件的布局模板；以及，字幕生 成步骤，用于从所选择的布局模板生成字幕显示数据。
本发明的显示数据生成方法的特征在于所述重要对象确定步骤包括 通过使用从在所述视点信息中包括的视点的位置到在所述对象信息中包括的 对象的位置的距离来确定所述重要对象。
本发明的所述显示数据生成方法的特征在于，所述重要对象确定步骤包 括将位于离视点的位置最短距离的对象确定为所述重要对象。
本发明的所述显示数据生成方法的特征还在于，所述重要对象确定步骤 包括基于所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上 的大小的、关于所述重要对象的特征信息；并且，所述布局选择步骤包括
选择具有符合所述重要对象在屏幕上的大小的选择条件的布局模板。
本发明的所述显示数据生成方法的特征还在于所述对象信息具有对象
属性；所述布局模板的选择条件具有对象属性；并且，所述布局选择步骤包 括选择具有符合所述重要对象的对象属性的选择条件的布局模板。
本发明的数据生成程序是用于使得计算机作为下述部件起作用对象确 定部件，其根据视点信息和对象信息来确定在屏幕上出现的对象；重要对象 确定部件，其根据由所述对象确定部件提供的确定的结果和所述对象信息来 确定会吸《1观众注意力的重要对象，所述重要对象生成重要对象的特征信息； 布局选择部件，其从多个布局模板选择具有符合关于所述重要对象的所述特 征信息的选择条件的布局模板；以及，字幕生成部件，其从所选4奪的布局才莫 板生成字幕显示数据。
本发明的优点
根据本发明，可以选择符合在屏幕上的对象的配置的适当布局，因此， 可以生成其中适当的字幕被叠加在各个任意视点视频上的显示数据。


图1是示出本发明的第一实施例的显示数据生成设备的内部配置的视图。
图2A、 2B是在概念上示出本发明的第一实施例的显示数据生成设备中 使用的对象信息的数据结构的视图。
图3是在概念上示出本发明的第一实施例的显示数据生成设备中使用的 视点信息的数据结构的视图。
图4是用于说明视点信息的项目的示意图。
图5是用于说明对象确定方法的示意图。
图6A、 6B是用于说明对象确定部分如何确定多个对象的示意图。 图7是用于说明重要对象确定方法的示意图。
图8是用于说明用于计算对象的屏幕份额(screen share)的方法的示意图。 图9是在概念上示出在本发明的第一实施例的显示数据生成设备中使用 的布局模板的数据结构的视图。
图IO是用于说明用于选择布局模板的方法的示意图。 图11是示出布局模板的显示示例的示意图。 图12是在概念上示出用于说明字幕的材料的数据结构的视图13A、 13B是在概念上示出用于说明字幕的材料的数据结构的视图14是示出用于本发明的第一实施例的显示数据生成设备的字幕显示
数据生成处理过程的流程图。
图15是用于说明用于显示字幕的数据的具体示例生成的视图。
图16A- 16C是用于说明当存在多种类型的字幕时发生的问题的视图。
图17A- 17C是在概念上示出在本发明的第二实施例的显示数据生成设
备中使用的对象信息的数据结构的视图。
图18是在概念上示出在本发明的第二实施例的显示数据生成设备中使
用的布局模板的数据结构的视图。
图19是用于描述本发明的第二实施例的显示数据生成设备的布局选择
部分的操作的视图。
图20A、 20B是用于说明现有技术的问题的视图。 附图标号的说明
100显示数据生成设备
101视点信息输入部分
102任意视点视频接收部分
1034壬意^L点^L频重》i部分
104附加信息接收部分
105对象确定部分
106重要对象确定部分
107布局选择部分
108字幕生成部分
109牙见频叠加部分
具体实施例方式
以下参见附图描迷本发明的实施例。 [第一实施例]
图1是示出本发明的第一实施例的显示数据生成设备的内部配置的视
图。显示数据生成设备100由下述部分构成视点信息输入部分101;任意 视点视频接收部分102;任意视点视频重放部分103;附加信息接收部分104;
对象确定部分105;重要对象确定部分106;布局选择部分107;字幕生成吾， 分108;以及视频叠加部分109。这些部分被大致地分类为任意视点视频控 制系统块，其控制任意视点视频的显示；以及，附加信息控制系统块，其控 制字幕的显示。
首先，描述所述任意视点视频控制系统块。所述任意视点视频控制系统 块包括视点信息输入部分101、任意视点视频接收部分102和任意视点一见频 重放部分103。视点信息输入部分101用于通过诸如遥控器的输入部件来获 取视点信息，并且指令任意视点图像的选择。视点信息被输出到对象确定部 分105和重要对象确定部分106以及任意视点视频接收部分102。视点fT息 也可以通过除了输入之外的方法来获取，诸如从操作历史获取信息。
根据所述视点信息，任意视点视频接收部分102选择性地从多个一见频^ 据中接收符合视点信息的视频数据，所述多个视频数据从分发视频的分发中 心(以下称为"中心，，)分发，并且已经从多个视点被捕获，并且用作用于生 成任意视点视频的源。任意视点视频重放部分103重放如此接收的视频数据。 可以想象的用于提供任意视点视频数据的技术是例如，用于通过在专利文 件1中描述的任意视点视频分发系统而分发视频数据、并且选择性地4妻收包 括接收端所需要的视点视频的视频数据的方法，所述要分发的视频数据已经 从多个视点被捕获，并且作为所述中心从中生成任意视点视频的源。
接着，将说明附加信息控制系统块。附加信息控制系统块包括附加信息 接收部分104、对象确定部分105、重要对象确定部分106、布局选择部分107 和字幕生成部分108。附加信息接收部分104—直接收对象信息、用于"i兌明 字幕的材料和与布局模板相关的更新数据，并且向对象确定部分105提供所 接收的对象信息，向字幕生成部分108提供用于说明字幕的材料，并且向布 局选择部分107提供布局模板。用于获取诸如对象信息、用于说明字幕的材 料和布局模板的附加信息的方法不限于接收由所述中心作为视频数据而复用 和发布的附加信息。例如，也可以获取在显示数据生成设备中累积的附加信 息，或者也可以获取已经与视频数据一起被中心复用并且通过广播而一皮发送 的附加信息。所述附加信息的源不限于中心。例如，除了中心之外的第三方 也可以提供附加信息。在通过其来提供附加信息的发送信道上未施加任何限 制。
对象信息是用于指定对象并且描述其特征的信息。对象信息由中心(摄
像机侧)生成，并且被发送到显示数据生成设备100。所述对象包括在连才妻 到显示数据生成设备100的视频显示终端(从附图中省略)的屏幕上显示的 对象，并且包括在视频显示终端的屏幕上未显示的对象。在关于单个对象的 信息被用作发送单位时分发对象信息。在本实施例中不特别限制对象信息的 发送频率。对象信息也可以在每视频帧的基础上或者以除了用于一般的视频
帧的间隔之外的间隔^皮发送。例如，当^L频发送速度是30帧/秒时，也可以 以每1/30秒发送对象信息，或者也可以以1/2秒的间隔(每15帧)发送对象 信息。也可以通过显示数据生成设备100以及通过中心(摄像机侧)生成对 象信息。
用于说明字幕的材料是用于说明添加到屏幕的字幕的细节的材料。用于 说明字幕的材料由中心的编辑输入。所述中心向显示数据生成设备100发送 预先产生的、用于说明字幕的材料，并且随后在产生需要时仅发送关于更新 的差别的信息。而且，也可以在将以指定用于说明字幕的特定材料的信息定 界的数据作为发送单位时，分发用于说明字幕的材料。
所述布局模板是进行用于说明字幕的屏幕设计所需要的信息。所述布局 模板由中心生成，并且被发送到显示数据生成设备100。中心向显示翁:据生 成设备IOO发送预先创建的布局模板，并且随后在任何时间发送更新的信息。 而且，也可以在将使用用于选择布局模板的信息定界的数据用作发送单位时 分发布局模板。
附加信息接收部分104也可以一直独立地执行处理，但是不限于这才羊的 处理。作为替代，所述附加信息接收部分也可以执行异步处理，但是也不限 于所述处理。而且，附加信息接收部分104也可以被配置为与任意视点视频 接收部分102相同的功能部分。
对象确定部分105确定是否在屏幕上显示了与所获取的对象信息相关的 对象。重要对象确定部分106从在屏幕上出现的对象中指定将会吸引观众注 意力的重要对象，并且生成关于该重要对象的特征信息。而且，布局选4奪部 分107将关于重要对象的特征信息和与由附加信息接收部分104接收的布局 模板相关的选择条件相比较，由此选择具有符合的选择条件的布局模板。 字幕生成部分108从所选择的布局模板生成字幕显示数据。 现在说明具有上述配置的显示数据生成设备100的操作。 首先，将说明用于控制字幕的显示的操作。对象确定部分105根据通过
视点信息输入部分101输入的视点信息来从由附加信息接收部分104接收的
对象信息中提取在屏幕上出现的对象。接着，重要对象确定部分106从在屏 幕上出现的对象中确定将会吸引观众注意力的重要对象，并且生成关于该重 要对象的特征信息。而且，布局选择部分107将关于重要对象的特征信息和 与附加信息接收部分104接收的布局模板相关的选择条件相比较，由此选择 符合的布局模板。
根据所选择的布局模板，字幕生成部分108从由附加信息接收部分104 接收的、用于说明字幕的材料中选择适用于模板的各个部分的所需要的信息。 字幕生成部分108通过使用所选择的布局模板和所选择的关于字幕的说明来 生成字幕显示数据。最后，视频叠加部分109在所生成的字幕显示数据上叠 加任意视点视频，并且将如此叠加的数据输出至未示出的视频显示装置。
现在详细说明对象信息和视点信息的定义。
图2是在概念上示出由本发明的第一实施例的显示数据生成设备使用的 对象信息的数据结构的视图。如图2A中所示，对象信息D8100由对象标识 信息D8101和对象位置D8102构成。对象标识信息D8101表示名称和S于象 ID，而对象位置D8102表示对象的当前位置。可以通过GPS、超声波雷达和 图像识别等来测量与对象的位置相关的坐标数据。所述对象被感知为坐标点。 例如，如图2B中所示，与三个对象A、 B和C相关，生成了对象标识^f言息 A-作为关于A先生/女士的对象信息的对象位置(-12米，0米，16米)；对 象标识信息B -作为关于B先生/女士的对象信息的对象位置(-36米，0 米，48米)；以及，对象标识信息C -作为关于C先生/女士的对象信息的 对象位置(60米，0米，80米)。
接着描述视点信息。任意视点视频接收部分102通过使用被分配给在观 众期望的位置的虚拟摄像机的参数，从已经从中心分发、并且从多个浮见点的 位置捕获的视频数据生成观众期望的任意视点视频。图3是在概念上示出本 发明的第 一 实施例的显示数据生成设备使用的视点信息的数据结构的视图。 在本实施例中，所述视点信息是用于指定被分配给虚拟摄像机的参数的信息； 即，视点位置、视线方向和视野角(视角)。如图所示，视点信息D8200由 视点位置D8201、视线方向D8201和视角D8203构成。图4是用于描述^见点 信息的项目的示意图。视点的位置是用于生成任意视点屏幕的虚拟摄^4几的 位置，并且被表达为虛拟摄像机的三维位置坐标(x, y, z)。视线方向对应
于虚拟摄像机执行成像的方向，并且由两个参数来表达；即，水平分量和垂
直分量(摇摄角度a和倾斜角度p)。视角通过由虚拟摄像机捕获的视频的范 围来标识；即视角e。视角一般由两个参数来表示即水平^L角和垂直-见角， 并且在本实施例中，假定如果所捕获的视频的纵横比被预先固定到16:9的<1， 则仅仅通过使用水平视角来表达。视点信息的参数不总是需要通过在本实施 例中描述的7个参数表达，并且也可以通过任何信息表达，只要可以通过所 述信息来指定成像位置、成像方向和视角。
现在详细说明用于控制字幕的显示的、在操作期间各个部分执行的处理。 首先，将描述对象确定部分104的对象确定处理。图5是用于说明确定 对象的方法的示意图。如图所示，如果虛拟摄像机的位置被用作顶点，则沿 着在视线方向上确定的虛拟摄像机的方向、通过虛拟摄像机的水平视角01和 垂直视角92来定义锥体的三维视场。当在视场中存在任意对象(点)时，对 象确定部分104确定在从视点信息确定的屏幕上显示对象。例如，因为在附 图中的对象P1存在于三维视场中，因此对象确定部分104确定对象P1 4皮显 示在屏幕上。同时，因为对象P2不存在于所述三维视场中，因此对象确定部 分104确定对象P2不显示在屏幕上。
同样，图6是用于说明对象确定部分104如何感知多个对象的示意图。 图6A是示出当沿着Y轴向下观看时由某一虚拟摄像机生成的视场的视图。 按照各个对象是否存在于所述三维视场中，对象确定部分104确定在碎见场中
存在的对象A、 B和C被显示在屏幕上，并且在视场中不存在的对象D和E 不显示在屏幕上。图6B是示出在图6A所示的条件下捕获的任意视点屏幕的 示意图。对象A、 B和C^L显示在屏幕上，并且对象D和E未被显示为屏幕 上。
接着，将说明重要对象确定部分106的重要对象确定处理。图7是用于 说明重要对象确定方法的示意图。按照用于确定重要对象的规则来说明会吸 引观众的注意力的重要对象。在本实施例中，用于确定重要对象的规则被定 义为"将在屏幕上出现的对象中位于最接近虚拟摄像机(视点的位置)的范
围内的对象确定为将会吸引观众的注意力的重要对象。"
如图7中所示，对应于在屏幕上出现的三个对象A、 B和C的对象位置 相对于虛拟摄像机的位置(即视点位置(O米，0米，0米))是(-12米，0米，16 米)、(-36米，0米，48米)和(60米，0米，80米)。通过计算空间中的两个点
之间的距离，在对象A和虚拟摄像机之间的距离Ll、在对象B和虚拟:^H象
机之间的距离L2和在对象C和虚拟摄像机之间的距离L3被计算为20米、 60米和100米。因此，重要对象确定部分106将最接近虚拟摄像机的对象A 确定为重要对象。
在本实施例中，将对象和虚拟摄像机之间的距离用作用于指定将吸引观 众的吸引力的重要对象的确定方法，但是本发明不限于所述距离。
现在将描述用于生成关于重要对象的特征信息的处理，其是由重要对象 确定部分106执行的另一个处理。关于对象的特征信息是表示如何显示对象 的信息。用于指定观众看到的对象的大小的对象的屏幕份额(screen share)净皮用 作关于对象的特征信息。图8是用于说明计算对象的屏幕份额的方法的示意 图。在本实施例中，通过将在屏幕上出现的对象的大小除以屏幕大小而确定 的值被用作对象的屏幕份额，如方程I所示。更精确而言，在屏幕上出现的 对象的大小应当被指示为在屏幕上出现的对象的面积。但是，在本实施例中， 所述对象被投影在如图所示的X-Z屏幕上，并且通过沿着X轴投影对象而获 取的长度被视为在屏幕上出现的对象的大小。
p=K，/H， (方程1 )
附图标号p指定对象的屏幕份额；K，指定对象在屏幕上的大小；以及， H，指定屏幕的大小。而且，附图标号K指定对象的实际大小，并且H指定与 屏幕平行、并且通过被识别为对象的点的类似附图的大小。根据类似性原理 获得K7H、K/H，并且将所述关系代入方程1，由此获得方程2。
p=K/H (方程2)
而且，如图8中所示，附图标号L指定对象到虚拟摄像机的位置的距离， 并且从三角法函数得出方程3。 [数学表达式3]
tan(e/2)=(H/2)L (方程3 )
在方程3转换后，获得方程4。 [数学表达式4]
H=2*L*tan(e/2) (方程4 )
方程4被代入方程2，并且代入结果被转换，由此获得方程5。[数学表达式5]
p=K/(2*L*tane/2) (方程5 )
其中，K指定由例如选手的宽度表达的对象的实际大小，并且通过近似J也忽 略个体差别而被预先提供为常数。如上所述，通过方程5近似地计算乂于象的 屏幕份额。按照方程5,随着对象接近摄像机或者随着视角变窄，所述屏幕 份额变大。
接着，通过使用在图7中所示的前述实施例来具体计算重要对象的屏幕 份额。在图7所示的实施例中，附图标号A指定重要对象。对象A与虚拟摄 像机的距离是20米；摄像机的位置是(O米，0米，0米)；并且水平^见角是 5度。如果对象的实际大小(选手的宽度)是常数值0.80米，则重要对象A 的屏幕份额p从方程5确定为0.458。下面，为了简化描述，从所生成的关于 重要对象的特征信息和关于所接收的重要对象的对象标识信息形成的信息被 用作重要对象信息。因此，在图7所示的实施例中，从对象标识信息A和屏 幕份额0.458形成所述重要对象信息。虽然在本实施例中将对象的屏幕份额 用作特征信息，但是特征信息不限于屏幕份额。
现在将描述布局选择部分107的布局选择处理。根据由重要对象确定部 分106生成的重要对象信息，布局选4奪部分107为符合当前视频屏幕上的对 象的配置的显示字幕选择适合的布局模板，并将如此选择的布局模板4是交至 字幕生成部分108。具体上，布局选^f奪部分107从由附加对象接收部分l(M 接收的布局模板选择具有满足由重要对象确定部分106提取的重要对象的屏 幕份额的选择条件的布局模板。
图9是在概念上示出在本发明第一实施例的显示数据生成设备中使用的 布局模板的数据结构的视图。如图所示，布局模板D8400由选择条件D8401 和布局项目D8402构成。在本实施例中，用于选择布局模板的条件被描述为 选择条件D8401,并且被下限屏幕份额和上限屏幕份额限定。只要对象的屏 幕份额落在所述下限和所述上限之间的范围中，则满足用于选择布局模板的 条件，布局项目D8402是用于布置字幕的信息，并且由诸如项目位置、材料 类型和项目属性的lt据构成。项目的属性不是必不可少的。
图IO是用于描述选择布局模板的方法的示意图。所述附图描述了向附加 信息接收部分104提供三个布局模板D102、 D103和D104的情况。布局模板 D102具有符合从0.4到0.8的屏幕份额的选择条件，其中，布置了用于介绍
选手的姓名、击球率和年龄的项目以及用于介绍比赛的状态(对方队的名称
和分数)的项目。同时，布局模板D103具有符合从0.05到0.4的屏幕4分额 的选择条件，其中，布置了对方队名称和分数。而且，布局模板D104具有 符合从0到0.05的屏幕份额的选择条件，其中，布置了每次获取的对方队的 分数的显示。
如图10中所示，由重要对象确定部分D106提取的重要对象信息D101 中包括的重要对象的屏幕份额是0.458。因此，布局选择部分107确定具有从 0.4到0.8的屏幕份额的布局模板D102符合选择条件。因此，布局选择部分 107提取布局模板D102，并且将如此提取的模板用作用于显示目的的布局模板。
图11是示出布局模板的示例显示的示意图。所述示例显示体现在图10 中所示的布局模板D102的显示。在所述布局模板中，在屏幕的左上获得的 位置坐标是(O, 0),并且屏幕被假定具有1600像素的宽度和1200像素的高 度。如图所示，布局模板的部分由固定显示部分、整体公共部分和对象相关 部分构成。
在所述布局模板中，固定显示部分是其中确定项目位置和显示内容、并 且主要由阴影背景和标签形成的部分。在屏幕上的所述固定显示部分的布局 由"项目位置"确定。而且，在固定显示部分中，通过属于布局项目的"显 示内容'，来确定显示内容。例如，如图11中所示，背景D201、背景D202、 名称标签D205、年龄标签和击球率(battingaverage)标签等是固定显示部分。 通过背景202的项目的位置(即左上位置(20， 900)和右下位置(1580, 1180 )) 来确定背景202在屏幕上的布局。如在背景202的情况中那样，通过名称标 签D205的项目的位置(即左上位置(100， 1020)和右下位置(270， 1100)) 来确定名称标签D205在屏幕上的布局。可以类似地确定附图的其他固定显 示部分在屏幕上的布局。
所述整体公共部分是不依赖于特定对象的布局模板的一部分。整个公共 部分主要由关于队的信息、分数信息等构成。通过"项目位置"来确定在屏 幕上的整体公共部分的布局。例如，如图ll所示，两队的队l的队名称一皮布 置在布局模板的部分D203中。通过部分D203的项目的位置来确定部分D203 在屏幕上的布局，所述部分D203的项目的位置即左上位置(30， 30)和右 下位置(160， 130)。而且，关于部分D203的特定信息由在布局项目中包括
的"材料类型"的"队信息/队1"和"项目属性"的"队名称"形成。下面 将说明用于通过具体信息提取关于字幕的说明的方法。类似的，在布局模板
的部分D204中布置了两队的队1的分凄t。通过部分D204的项目的位置来确 定部分D204在屏幕上的布局，所述部分D204的项目的位置即左上位置(30, 150)和右下位置(160， 200)。
关于部分D204的具体信息由在布局项目中包括的"材料类型，，的"队 信息/队1"和"项目属性"的"分数"形成。下面也说明用于通过具体信息 填充关于字幕的说明的方法。也可以同样地确定附图的其他整体公共部分在 屏幕上的布局。
所述对象相关部分是依赖于布局模板中的具体对象的部分。所述对象相 关部分主要由与选手相关的说明信息等形成。所述对象相关部分在屏幕上的 布局也由项目的位置确定，例如，如图11所示，在部分D206中布置了任意 选手的姓名。通过部分D206的项目的位置来确定部分D206在屏幕上的布局， 所述部分D206的项目位置即左上位置(290， 1020 )和右下位置(760, 1100)。 关于部分D206的具体信息由在布局的项目中包括的"材料类型"的"选手" 和"项目属性"的"选手姓名"形成。下面将说明通过具体信息来提耳又关于 字幕的说明的方法。而且，附图的其他对象相关部分在屏幕上的布局也可以 类似地确定。也可以将示出在屏幕上的部分的叠加顺序的信息添加到布局模 板的每个部分上。例如，其中在背景部分之前的位置显示标签部分的布局是 有可能的。
现在将描述字幕生成部分108的字幕生成处理。根据所提取的布局模板， 字幕生成部分108从用于说明由附加信息接收部分104接收的字幕的材冲牛选 择关于字幕的说明，由此生成字幕显示数据。
图12和13是概念上示出用于说明字幕的材料的数据结构的视图。如图 12所示，字幕说明材料D8500由材料类型D8501和字幕说明项目D8502形 成。字幕说明项目D8502由项目属性和字幕说明形成。材料类型D8501是用 于指定用于说明字幕的材料的信息。可以通过分层描述方法来描述材料类型 D8501的具体形式。如例如图13A中所示，材料类型被描述为"选手/A"。而 且，如图13B中所示，材料类型被描述为"队信息/队l"。
现在将描述用于生成字幕显示数据的过程。图14是示出本发明的第一实 施例的显示数据生成设备的字幕显示数据生成处理过程的流程图。首先，字
幕生成部分108使用固定显示部分作为字幕显示数据来填充由布局选择部分
107选择的布局模板，所述固定显示部分的显示内容和屏幕布局已经被确定，
诸如任意阴影背景或者标签(步骤S001 )。
接着，字幕生成部分108获取在由布局选择部分107选择的布局才莫板的 整体公共部分内包括的第一材料类型和第一项目属性(步骤S002)。当第一
材料类型和在由附加信息接收部分104接收的用于说明字幕的材料中包括的 第二材料类型彼此一致时，并且当第 一项目属性和在由附加信息接收部分104 接收的用于说明字幕的材料中包括的第二项目属性彼此一致时，字幕生成部 分108提取符合所述第二材料类型和第二项目属性的字幕的说明。字幕生成 部分108按照在整体公共部分中包括的项目的位置使用如此提取的字幕的说 明来填充字幕显示数据。
接着，字幕生成部分108获取在由布局选择部分107选择的布局4莫板中 的对象相关部分中包括的第三材料类型和第三项目属性(步骤S003 )。字幕 生成部分108将所述第三材料类型进一步与在由重要对象确定部分106提取 的重要对象信息中包括的对象标识信息相结合，由此生成第四材料类型。当 所述第四材料类型与在由附加信息接收部分104接收的用于说明字幕的材料 中包括的第五材料类型彼此一致时，并且当第三项目属性和在由附加信息接 收部分104接收的用于说明字幕的材料中包括的第五项目属性彼此一致时， 字幕生成部分108提取符合第五材料类型和第五项目属性的字幕说明。字幕 生成部分108按照在对象相关部分中包括的项目的位置，使用如此提取的字 幕的说明来填充字幕显示数据。
通过关于在所提取的布局模板中的部分的叠加顺序的信息，字幕生成部 分108调整在字幕显示数据中的部分的叠加的顺序(步骤S004)。可以确定 要在字幕显示数据的部分之前的位置显示的部分和要在字幕显示数据的部分 之后的位置显示的部分。
图15是用于说明生成字幕显示数据的具体示例的视图。通过使用由在图 10中所示的布局选择部分107选择的布局模板来说明所述示例。
如图15所示，在布局模板中的固定显示部分(背景和标签等)被首先填 充为字幕显示数据。在模板D300中布置的标签D301的细节是"名称"。在 标签D301中，在字幕显示数据D400中的相同坐标位置被填充标签D301的 项目的位置。由此，生成部分D401 "名称"作为字幕显示数据D400。通过
类似处理，可以生成布局模板D300中的其他固定显示部分作为字幕显示凄丈 据D400。
不依赖于在布局模板中的特定对象的整体公共部分(关于整个队和分翁: 信息等的信息)被填充为字幕显示数据。在模板D300中布置的部分D302中 包括的材料类型D3021对应于"队信息/队1"，并且项目属性D3022对应于 "队名称"。同时，在由附加信息接收部分108接收的字幕说明材料D500中， 材料类型D501对应于"队信息/队1"，并且项目属性D502对应于"队名称"。 因此，材料类型D3021与材料类型D501 —致，并且项目属性D3022与项目 属性D502 —致。因此，与部分D302的坐标位置相同的字幕显示数据400的 坐标位置用符合材料类型D501和说明材料D502的字幕说明D503 (其值表 示"日本")来填充。结果，生成其内容是"日本"的部分D402作为字幕显 示数据D400。可以通过类似的处理生成布局模板D300中的其他整体 ^共部 分作为字幕显示数据D400。
依赖于在布局模板中的特定对象的对象相关部分(选手的介绍等)被填 充为字幕显示数据。在模板D300中布置的部分D303中包括的材料类型 D3031对应于"选手"，并且项目属性D3032对应于"选手的姓名"。而且， 在由重要对象确定部分106提取的重要对象信息D304中包括的对象标识信 息D3041对应于"A"。关于重要对象的材料类型D3031和对象标识信息D3041 被组合在一起，由此建立新的材料类型D305。材料类型D305的细节对应于 "选手/A"。同时，在字幕说明材料D500中，材料类型D504的细节对应于 "选手/A"，并且项目属性D505的细节对应于"选手的姓名"。因此，材料 类型D305与材料类型D504 —致，并且项目属性D3032与项目属性D505 — 致。因此，在与部分D303的坐标位置相同的在字幕显示数据D400中的坐标 位置被填充符合材料类型D504和说明材料D505的字幕说明D506 (其值表 示"日本Ichiro")。结果，生成部分D403 "日本Ichiro"作为字幕显示数据 D400。可以通过类似处理生成在布局模板D300中的其他对象相关部分作为 字幕显示数据D400。
通过关于在布局模板D300中的所有部分的叠加的顺序的信息，调整在 如此生成的字幕显示数据D400中的所有部分的叠加的顺序。
如上所述，按照本发明第一实施例的显示数据生成设备，结合在屏幕上 出现的对象而确定吸引观众注意力的重要对象，并且可以按照重要对象的特
性(诸如在屏幕上的对象图像的大小)来转换字幕的显示。按照屏幕的显示 状态，结合各种任意的视点视频屏幕来同时适当选择关于重要对象的信息， 并且以具有适当布局的字幕的形式来显示信息。因此，观众容易注意和适当 地理解所显示的字幕的细节。 [第二实施例]
第 一实施例的显示数据生成设备根据到摄像机的距离而选择重要对象， 并且还按照在屏幕上的对象的大小来选择与一个并且唯一的对象相关的字幕 布局模板。相反，在第二实施例中，将描述其中存在多个类型的对象(选手 等)，并且其中必须选4奪不同的对象相关(诸如个人介绍)的字幕布局才莫;f反的 情况。
图16是用于描述当存在多种类型的对象时发生的问题的视图。在第一实 施例的显示数据生成设备中，当被选择为屏幕上的重要对象的选手是在图 16A中所示的击球手时，仅仅按照屏幕份额而与选手的类型是野外球员 (fleldsman)还是投手无关地选择适当的字幕布局模板。随后，当用作屏幕上的 重要对象的选手被改变为另一种类型的选手(诸如如图16B中所示的投手)时， 最好选择如图16C中所示的符合投手的字幕布局模板。但是，在第一实施例 的显示数据生成设备中，相对于用于选择布局模板的条件，仅查看选手的屏 幕份额。因此，如图16B所示选择符合在图16A中所示的屏幕份额的击球手 的类似字幕布局模板。
如在图16中所示的实施例的情况那样，即使当同一选手改变为不同的状 态时，产生类似的问题。例如，如图16A所示，当任意的选手进入击球区和 击球手状态时，选择符合击球手状态的字幕布局模板。但是，当如图16B所 示，同一选手进入投手区域以如此进入投手的状态时，优选的是，转换到符 合在图16C中所示的投手的状态的字幕布局模板。但是，在第一实施例的显 示数据生成设备中，因为相对于用于选择布局模板的条件仅仅查看了选手的 屏幕份额，因此如图16B所示选择击球手的字幕布局模板。在诸如足球的另 一种情况下，当选手作为前锋和守门员时，类似地选择不同的介绍字幕布局 模板。
因此，在第二实施例的显示数据生成设备中，布局选择部分107还向用 于选择布局模板的条件添加诸如投手和野外球员的对象属性，并且进一步向 对象信息添加对象属性，由此按照对象的屏幕大小(屏幕份额)而选择的布
局模板来选择符合重要对象的对象属性和用于选择的条件的布局。因此，当 被选择为重要对象的对象的类型(例如投手、野外球员、守门员和前锋等) 改变时，可以转换到符合所述改变的字幕。第二实施例的显示数据生成设备 在内部配置上与第 一实施例的相同，因此省略其说明。
图17是在概念上示出在本发明的第二实施例的显示数据生成设备内使
用的对象信息的数据结构的视图。如图17A中所示，与图2A中所示的第一 实施例的显示数据生成设备中使用的对象信息D8100相反，对象信息D9100 被另外提供有对象属性D9103。对象属性D9103是与对象相关的、用于识别 对象的类型和种类的属性。如图17B中所示，对象信息D9901的对象标识信 息是A，并且对象属性是"击球手状态"。如图17C中所示，对象信息D9902 的对象标识信息是B,并且对象属性是"投手状态"。
图18是在概念上示出在本发明的第二实施例的显示数据生成设备中4吏 用的布局模板的数据结构的视图。与在图9中所示的第一实施例的显示数据 生成设备中使用的布局模板D8400相反，布局模板D9400将对象属性D9403 加入到选择条件D9401。对象属性D9403是用于确定对象的状态和类型的条 件。
现在将描述第二实施例的显示数据生成设备的布局选择部分107的布局 选择处理，布局选择部分107从由附加信息接收部分104接收的布局模板检 索用于选择满足由重要对象确定部分106提取的重要对象的屏幕份额以及对 象属性的布局模板的条件，由此选择符合所述选择条件的布局模板。落入在 图18中所示的选择条件D9401中包括的下限屏幕份额和上限屏幕份额之间 的范围内的对象的屏幕份额的第一选择条件，和符合在选择条件D9401中包 括的对象属性的对象的对象属性的第二选择条件，被用作用于选择布局模板 的条件。
图19是用于描述本发明的第二实施例的显示数据生成设备中的布局选 择部分107的视图。
如图所示，在重要对象信息D9910中包括的对象属性D9911的细节是"投 手的状态，，，并且屏幕份额D9912是"0.458"。例如，在任意布局模板的选才奪 条件D9920中包括的下限屏幕份额是"0.4"，在其中包括的上限屏幕份额是 "0.8",并且对象属性是"投手的状态"。在这种情况下，满足超过选择条件 D9920的下限屏幕份额并且等于或者小于选择条件D9920的上限屏幕份额的
屏幕份额D9912的第一选择条件和符合选择条件D9920的对象属性的对象属 性D9911的第二选择条件，因此布局选择部分107确定重要对象D9910满足 选择条件D9920。因此，布局选择部分107选择符合选择条件D9920的布局 模板。同时，例如，在其他布局模板选择条件D9930中包括的下限屏幕份额 是"0.4",上限屏幕份额是"0.8"，并且对象属性是"击球手状态"。在这种 情况下，满足落入在从选择条件D9930的下限屏幕份额到选择条件D9930的 上限屏幕份额的范围内的屏幕份额D9912的第一选择条件。但是，不满足符 合选择条件D9930的对象属性的对象属性D9911的第二选择条件。因此，布 局选择部分107确定重要对象D9910不满足选择条件D9930。因此，布局选 择部分107不选择符合选择条件D9930的布局模板。
从由布局选择部分107选择的布局模板生成字幕类似于第一实施例的显 示数据生成设备的字幕生成处理，因此省略其说明。
如上所述，本发明的第二实施例的显示数据生成设备使得能够在显示与 对象相关的字幕时按照不同的对象类型来转换字幕。而且，即使当单个对象 的状态改变(例如作为对象的棒球选手从投球状态向击球状态改变，等等) 时，可以适当地转换字幕。如上所述，可以提供适合于观看各种任意视点视 频的信息。按照要显示的对象的改变来适当地改变字幕的显示，因此观众可 以适当地获取关于对象的信息。
不必说，所述实施例的多个显示数据生成设备甚至适用于提供视点视频 的另 一个一见频分发系统，对于所述视点碎见频，观众可以通过转换一见点来4丸行 选择性观看。例如，所述显示数据生成设备适用于多方向视频分发系统(多 角度分发系统)，其同时分发通过使用多个摄像机而捕获的多角度视频；自由 角度视频分发系统，其能够拍摄超宽角度的、特高分辨率的视频，并且能够 将视频(视点图像)的一部分切割(slice),并将切割的部分提交给观众，等等。
虽然已经通过参见具体实施例而详细说明了本发明，但是对于本领域的 技术人员而言，显然容许在不脱离本发明的精神和范围的情况下，对本发明 进行各种改变或者修改。
本专利申请基于2006年2月13日提交的日本专利申请 (JP-A-2006-035175 )，其内容通过引用被包含在此。
产业上的应用
本发明的显示数据生成设备可以选择符合屏幕上的对象的配置的适当布
局；因此，获得了能够生成适合于各个视频的字幕显示数据的优点；并且对
于生成被添加到视频的字幕显示数据的显示数据生成设备等是有用的。
权利要求
1. 一种显示数据生成设备，包括:对象确定部分，其根据视点信息和对象信息来确定在屏幕上出现的对象；重要对象确定部分，其根据由所述对象确定部分提供的确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且其生成关于所述重要对象的特征信息；布局选择部分，其从多个布局模板选择具有符合关于所述重要对象的特征信息的选择条件的布局模板；以及，字幕生成部分，其从所选择的布局模板生成字幕显示数据。
2. 根据权利要求1的显示数据生成设备，其中，所述重要对象确定部分 通过使用从在所迷视点信息内包括的视点的位置到在所述对象信息内包括的 对象的位置的距离来确定所述重要对象。
3. 根据权利要求2的显示数据生成设备，其中，所述重要对象确定部分 将位于离所述视点的位置最短距离的对象确定为所述重要对象。
4. 才艮据权利要求l、 2或者3的显示数据生成设备，其中 所述重要对象确定部分根据所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小的、关于所述重要对象的特征信息；及所述布局选择部分选择具有符合所述重要对象在屏幕上的大小的选择条 件的布局模板。
5. 根据权利要求4的显示数据生成设备，其中 所述对象信息具有对象属性； 所述布局模板的选择条件具有对象属性；及所述布局选择部分选择具有符合所述重要对象的对象属性的选择条件的 布局模板。
6. —种显示数据生成方法，包括对象确定步骤，用于根据视点信息和对象信息来确定在屏幕上出现的对象；重要对象确定步骤，用于根据确定结果和所述对象信息来确定会吸51观 众注意力的重要对象，并且该步骤生成关于重要对象的特征信息；布局选择步骤，用于从多个布局模板选择具有符合关于所述重要对象的 所述特征信息的选择条件的布局模板；以及，字幕生成步骤，用于从所选择的布局模板生成字幕显示数据。
7. 根据权利要求6的显示数据生成方法，其中，所述重要对象确定步骤 包括通过使用从在所述视点信息内包括的视点的位置到在所述对象信息内 包括的对象的位置的距离来确定所述重要对象。
8. 根据权利要求7的显示数据生成方法，其中，所述重要对象确定步骤包括将位于离视点的位置最短距离的对象确定为所述重要对象。
9. 根据权利要求6、 7或者8的显示数据生成方法，其中 所述重要对象确定步骤包括基于所述视点信息和所述对象信息，生成作为所述重要对象在屏幕上的大小的、关于所述重要对象的特征信息；并且， 所述布局选择步骤包括选择具有符合所述重要对象在屏幕上的大小的 选择条件的布局模板。
10. 根据权利要求9的显示数据生成方法，其中，所述对象信息具有对 象属性；所述布局模板的选择条件具有对象属性；并且，所述布局选择步骤包括选择具有符合所述重要对象的对象属性的选择 条件的布局模板。
11. 一种显示数据生成程序，用于使得计算机作为下述部件起作用 对象确定部件，其根据视点信息和对象信息来确定在屏幕上出现的对象； 重要对象确定部件，其根据由所述对象确定部件提供的确定结果和所述对象信息来确定会吸引观众注意力的重要对象，并且其生成关于重要对象的 特征信息；布局选择部件，其从多个布局模板选择具有符合关于所述重要对象的特 征信息的选择条件的布局模板；以及，字幕生成部件，其从所选择的布局模板生成字幕显示数据。
全文摘要
可能提供一种显示数据生成装置，其能够生成用于每个视频的字幕显示的数据。所述显示数据生成装置包括对象判定单元(105)，其根据视点信息和对象信息来判定在屏幕上显示的对象；重要对象判定单元(106)，其根据所述对象判定单元(105)的判定结果和所述对象信息来判定对象是否是重要对象，并生成关于该重要对象的特征信息；布局选择单元(107)，选择具有与关于所述重要对象的特征信息匹配的选择条件的布局模板；以及字幕生成单元(108)，根据所选择的布局模板生成字幕显示数据。
文档编号H04N7/173GK101385343SQ20078000533
公开日2009年3月11日 申请日期2007年2月8日 优先权日2006年2月13日
发明者旗 王, 远藤康男 申请人:松下电器产业株式会社