字幕创建装置、展示模块以及字幕创建展示系统的制作方法

本发明属于360全景影像字幕创建显示领域，具体涉及一种360度全景影像的字幕创建装置、字幕展示模块以及字幕创建展示系统。

背景技术：

相对于传统的视频模式，360度全景影像由于能够为体验者带来真实现场感和交互式的感受，从而越来越广泛地应用于展示、影视、游戏、VR等领域。然而，目前的360度全景影像的显示仅限于图像的显示，还无法实现随着观察视角的变化，在画面上显示相应的字幕。

传统的字幕文件格式多适用于普通视频，且仅包含时间段信息和文字信息，因此当视频播放时，文字信息就会根据事先设定好的时间段信息在视频上显示。

此外，普通视频的字幕文字信息只能在一个维度上显示，即只能横向或纵向显示，当视频的某个画面的文字信息较多时，也只能在固定位置将字幕文字分成多行进行显示。这种文字的多行显示不仅不利于显示画面的美观，而且在视频中的某个画面传递的信息较多的情况下，由于字幕文字的显示位置和画面中的图画信息不能一一对应，也难以起到信息传递的作用。

由此可见，即使传统的字幕文件能够应用于360度全景影像，也势必会存在上述问题，况且由于360全景影像的播放形态和普通视频影像的播放形态完全不同，传统的字幕文件也难以应用于360全景影像。

技术实现要素：

本发明是为解决上述问题而进行的，通过提供一种360度全景影像的字幕创建装置、显示模块以及字幕创建显示系统，来创建字幕文件同时在全景图像展示时在相应画面上展示相应的字幕内容。本发明采用了如下技术方案：

<结构一>

本发明提供了一种字幕创建装置，对需要在用户的移动终端的显示屏幕上进行显示的360度全景影像中的帧图像进行相应的字幕创建，具有这样的特征：包括画面存储部、输入显示部以及创建生成部。其中，画面存储部存储有用于显示帧图像并让操作员对需要添加字幕的帧图像进行选择的显示选择画面、用于对被选择的帧图像的在360度全景影像的预定时长的时间轴上的预定时间位置数据进行显示并让操作员对字幕创建进行确认的创建确认画面、以及用于字幕创建的字幕输入画面；输入显示部显示显示选择画面让操作员选择帧图像，并根据相应的选择信息显示创建确认画面让操作员根据显示出的预定时间位置数据设定字幕创建用的当前时间位置数据以及对字幕创建进行确认操作，进一步根据相应的确认操作信息显示字幕输入画面让操作员至少输入字幕的字幕内容；创建生成部将被设定的当前时间位置数据以及被输入的字幕内容与360度全景影像相关联生成存储有字幕的360度全景影像文件。

<结构二>

进一步的，本发明还提供了一种设置在用户的移动终端中，对由复数帧帧图像构成并且由上述字幕创建装置创建生成的存储有字幕的360度全景影像文件中的360度全景影像进行展示的展示模块，具有这样的特征：包括移动角度获取部，根据移动终端在360度方向上的移动，获取移动终端的移动角度；时间位置数据获取部，根据移动角度以及预定时长，获取与移动角度相对应的时间位置数据作为角度对应时间位置数据；图像确定显示部，当角度对应时间位置数据被确定为预定时间位置数据时，在显示屏幕上显示与预定时间位置数据相对应的帧图像；以及字幕确定展示部，当时间位置数据被确定为所述当前时间位置数据时，展示与当前时间位置数据相对应的字幕。

<结构三>

进一步的，本发明还提供了一种360度全景影像的字幕创建显示系统，具有这样的特征：包括字幕创建装置，对需要在用户的移动终端的显示屏幕上进行显示的360度全景影像中的帧图像进行相应的字幕创建；以及移动终端，通过通信网络和字幕创建装置通信连接。其中，字幕创建装置为结构一中的字幕创建装置，移动终端中含有结构二中所述的展示模块。

发明作用与效果

根据本发明提供的字幕创建装置、显示模块、创建显示设备以及字幕创建方法，由于显示选择画面能够让操作员首先对需要添加字幕的所述帧图像进行选择，创建确认画面能够显示所选择的帧图像在时间轴上的预定时间位置，并让操作员根据该显示出的预定时间位置数据设定字幕创建用的当前时间位置数据然后对字幕创建进行创建或追加确认，字幕输入画面让操作员输入字幕的内容，首先使得帧图像和需要添加的字幕通过时间轴上的时间位置数据相关联起来，来实现360度全景影像字幕的添加，进而使得360度全景影像的字幕添加变的容易；其次能够根据当前时间位置数据确定字幕在时间轴上的精确位置，使得字幕和帧图像的对应性更加精确。

附图说明

图1是本发明所涉及的实施例中的创建展示系统的结构框图；

图2是本发明所涉及的实施例中的字幕创建装置的结构框图；

图3为本发明所涉及的实施例中的显示选择画面的示意图；

图4为本发明所涉及的实施例中的创建确认画面的示意图；

图5为本发明所涉及的实施例中的字幕输入画面的示意图；

图6为本发明所涉及的实施例中展示模块的结构框图；

图7为本发明所涉及的实施例中的创建展示系统的处理过程流程图；

图8为本发明所涉及的实施例中的创建装置的字幕创建过程流程图；

图9为本发明所涉及的实施例中的展示模块的处理过程流程图。

具体实施方式

本发明的发明人在对360度全景影像的展示进行研究时发现，若按照预定展示顺序对360度全景影像的每帧图像进行展示，则能够生成一个虚拟的时间轴，此时，每帧图像在时间轴上的位置是确定且唯一的，可据此对360全景影像添加字幕。此外，当展示影像的移动终端在360度方向上移动时，其开始方位对应时间轴上的一个时间位置数据，移动到的当前方位时，对应时间轴上的另一个时间位置数据，即、根据其移动角度能够得到两个时间位置数据之间的距离，可用于展示字幕。基于上述发现，发明人提出了以下技术方案：

本实施例提供了一种字幕创建装置，对需要在用户的移动终端的显示屏幕上进行显示的360度全景影像中的帧图像进行相应的字幕创建，具有这样的特征：包括画面存储部、输入显示部以及创建生成部。其中，画面存储部存储有用于显示帧图像并让操作员对需要添加字幕的帧图像进行选择的显示选择画面、用于对被选择的帧图像的在360度全景影像的预定时长的时间轴上的预定时间位置数据进行显示并让操作员对字幕创建进行确认的创建确认画面、以及用于字幕创建的字幕输入画面；输入显示部显示显示选择画面让操作员选择帧图像，并根据相应的选择信息显示创建确认画面让操作员根据显示出的预定时间位置数据设定字幕创建用的当前时间位置数据以及对字幕创建进行确认操作，进一步根据相应的确认操作信息显示字幕输入画面让操作员至少输入字幕的字幕内容；创建生成部将被设定的当前时间位置数据以及被输入的字幕内容与360度全景影像相关联生成存储有字幕的360度全景影像文件。

本实施例提供的字幕创建装置还可以具有这样的特征：字幕为文字类型字幕、图像类型字幕以及音频类型字幕中的任意一种。

本实施例提供的字幕创建装置还可以具有这样的特征：字幕为文字类型字幕以及图像类型字幕中的任意一种。字幕内容为文字内容、图像内容以及对存储在预定存储器中的文字内容或图像内容进行获取的链接路径信息中的任意一个。在输入显示部显示字幕输入画面时让所述操作员进一步输入字幕在移动终端的显示屏幕上的坐标位置数据。

本实施例提供的字幕创建装置还可以具有这样的特征：当输入的字幕内容为文字内容时，字幕为文字内容；当输入的字幕内容为图像内容时，字幕为图像内容；当输入的字幕内容为链接路径信息时，字幕为通过链接路径信息到预定存储器中获取的文字内容或图像内容。

本实施例提供的字幕创建装置还可以具有这样的特征：当同一幅帧图像中既含有文字类型字幕又含有图像类型字幕时，与文字类型字幕相对应的文字坐标位置数据和与图像类型字幕相对应的坐标位置数据是不同的。

本实施例提供的字幕创建装置还可以具有这样的特征：字幕为音频类型字幕，字幕内容为对存储在预定存储器中的音频文件进行获取的链接路径信息。

本实施例提供的字幕创建装置还可以具有这样的特征：预定时间位置数据含有表示相应的帧图像开始显示的开始时间位置数据以及表示帧图像显示结束的结束时间位置数据；当前时间位置数据含有表示相应的字幕开始显示的当前开始时间位置数据和表示字幕显示结束的当前结束时间位置数据，当前开始时间位置数据和当前结束时间位置数据被设定在开始时间位置数据和结束时间位置数据的范围内。

进一步的，本实施例还提供了一种设置在用户的移动终端中，对由复数帧帧图像构成并且由上述字幕创建装置创建生成的存储有字幕的360度全景影像文件中的360度全景影像进行展示的展示模块，具有这样的特征：包括移动角度获取部，根据移动终端在360度方向上的移动，获取移动终端的移动角度；时间位置数据获取部，根据移动角度以及预定时长，获取与移动角度相对应的时间位置数据作为角度对应时间位置数据；图像确定显示部，当角度对应时间位置数据被确定为预定时间位置数据时，在显示屏幕上显示与预定时间位置数据相对应的帧图像；以及字幕确定展示部，当时间位置数据被确定为所述当前时间位置数据时，展示与当前时间位置数据相对应的字幕。

本实施例提供的展示模块还可以具有这样的特征：当字幕为文字类型字幕以及图像类型字幕中的任意一种时，展示模块为显示模块，字幕确定展示部为字幕确定显示部，当字幕为音频类型字幕时，展示模块为播放模块，字幕确定展示部为字幕确定播放部。

进一步的，本实施例还提供了一种360度全景影像的字幕创建显示系统，具有这样的特征：包括字幕创建装置，对需要在用户的移动终端的显示屏幕上进行显示的360度全景影像中的帧图像进行相应的字幕创建；以及移动终端，通过通信网络和字幕创建装置通信连接。其中，字幕创建装置为上述字幕创建装置，移动终端中含有上述的展示模块。

以下结合附图来具体说明本发明的具体实施方式。

图1是本发明所涉及的实施例中的创建展示系统的结构框图。

如图1所示，360度全景影像的字幕创建显示系统10包括字幕创建装置11、移动终端12以及将二者通信连接的通信网络13。

字幕创建装置11对需要在用户的移动终端的显示屏幕上进行显示的360度全景影像中的帧图像进行相应的字幕创建。移动终端12包括展示模块14以及通信模块15，展示模块14用于展示360度全景影像及其字幕，通信模块15和通信网络13连接，并通过该通信网络13和字幕创建装置11通信连接。

图2是本发明所涉及的实施例中的字幕创建装置的结构框图。

如图2所示，字幕创建装置11包括画面存储部16、输入显示部17、创建生成部18、字幕创建侧暂存部19、字幕创建侧通信部20以及字幕创建侧控制部21。其中，画面存储部16中存储有显示选择画面22、创建确认画面23以及字幕输入画面24。

图3为本发明所涉及的实施例中的显示选择画面的示意图。

如图3所示，显示选择画面22包括帧图像选择显示区域221以及帧图像缩略图显示选择区域222。

帧图像选择显示区域221设置有帧图像显示栏221a、上页/下页选择按键221b、确认按键221c以及结束按键221d。上页/下页选择按键221b用于对帧图像进行选择，确认按键221c对需要添加字幕的帧图像进行确认，然后进入创建确认画面23中，结束按键221d在所有需要添加帧图像均被添加字幕后，用于结束字幕创建过程。

帧图像缩略图显示选择区域222和帧图像选择显示区域221相对应，其中显示的是每帧图像的缩略图。当360度全景影像中所含有的帧图像数目较小时，可采用该选择区域对需要添加字幕的帧图像进行选择，但在数目较大的情况下，若依然采用该选择区域，则有可能会发生帧图像遗漏的情况，反而不利于字幕的创建。

图4为本发明所涉及的实施例中的创建确认画面的示意图。

如图4所示，创建确认画面23包括上下两部分。上半部分显示有帧图像在360度全景影像的预定时长的时间轴上的预定时间位置数据、创建/追加按键23c、删除按键23d以及取消按键23e；下半部分除了显示有通过显示选择画面22选择出的帧图像以及该帧图像上所添加的字幕的字幕内容外，还设置有确定按键23f。

预定时间位置数据含有表示相应的帧图像开始显示的开始时间位置数据23a以及表示帧图像显示结束的结束时间位置数据23b，这两个时间位置数据是在显示选择画面22选择完毕需要添加字幕的帧图像后自动显示的。

此外，开始时间位置数据23a和结束时间位置数据23b能够被调整，调整后的开始时间位置数据23a和结束时间位置数据23b被作为字幕创建用的当前时间位置数据使用。当然，在二者一致的情况下，也可以不对预定时间位置数据进行调整直接将其作为当前时间位置数据使用。

创建/追加按键23c被当作从创建确认画面进入字幕输入画面的桥梁，在当前时间位置数据被设定后，点击创建/追加按键23c则进入字幕输入画面24。此外，当一帧图像里需要添加多条字幕时，创建/追加按键23c还起到追加字幕的作用，在上一条字幕被添加完毕，点击该创建/追加按键23c，依然进入字幕输入画面24中，进行下一条字幕的输入。

删除按键23d用于对最新被添加的字幕进行删除，取消按键23e用于在当前选择的帧图像不需要添加字幕时，返回显示选择画面22。

确定按键23f用于在本帧图像的字幕被创建完毕后，返回显示选择画面22，重新对下一幅帧图像进行选择。

图5为本发明所涉及的实施例中的字幕输入画面的示意图。

在本实施例中，字幕为文字类型字幕、图像类型字幕以及音频类型字幕中的任意一种。

如图5所示，字幕输入画面24用于输入字幕的字幕内容，具有坐标位置输入区域241、文字属性设定区域242、图像属性设定区域243、音频属性设定区域244、文字内容输入区域245、图像链接路径246、音频链接路径247、网页链接路径248以及确定按键249。

坐标位置输入区域241用于在字幕为文字类型字幕或图像类型字幕时，输入字幕在显示屏幕上的坐标位置数据，即、横坐标的起始和结束坐标位置数据以及纵坐标的起始和结束坐标位置数据。

文字属性设定区域242用于在字幕为文字类型字幕时，设定文字的属性，如设定字体形状、字体名称、字体大小、字体颜色以及字体的横向或竖向显示等。

图像属性设定区域243用于在字幕为图像类型字幕时设定图像的像素、分辨率、大小、颜色、位深、色调、饱和度、亮度中的任意一种或几种。

音频属性设定区域244用于在字幕为音频类型字幕时设定音频的比特率、采样频率以及位深度中的一种或几种。

文字内容输入区域245用于在字幕为文字类型字幕时输入文字内容。这些文字内容既可以直接输入，也可以通过链接的方式插入。当直接输入时，左边框中的字幕内容为文字内容，当链接插入时，左边框中的字幕内容则为从存储在预定存储器中的文字内容或图像内容进行获取的链接路径信息。

图像链接路径246用于在字幕为图像类型字幕时输入图像的链接路径信息。音频链接路径247用于在字幕为音频类型字幕时输入音频的链接路径信息。网页链接路径248仅在特定环境下需要，用于输入能够切换到其他网页的网页图像链接路径。

由于网页链接显示的内容多为文字或图像，因此其被归为了文字类型字幕或图像类型字幕中。因此，也要对其的坐标位置数据进行设定，只是不需要设定属性。

确定按键249用于输入完毕后返回至创建确认画面，进行下一条字幕的追加或通过该画面的确定按键23f回到显示选择画面。

在本实施例中，链接路径信息是文字内容或图像内容在预定存储器中的存储路径。预定存储器可以是云存储器，也可以是电脑中的存储盘，还可以是其他的服务器。

在本实施例中，在同一幅帧图像中，由于每条字幕的当前时间位置数据存在重叠的可能性极大，因此，同一幅帧图像中既含有文字类型字幕又含有图像类型字幕，与文字类型字幕相对应的文字坐标位置数据和与图像类型字幕相对应的坐标位置数据是不同的。同样，同一幅帧图像中同一类型的字幕含有多条时，每条字幕的坐标位置数据也不同，以免出现字幕的遮盖。

如图2所示，输入显示部17用于依次显示显示选择画面22、创建确认画面23以及字幕输入画面24，让操作员进行相应的选择或输入操作。

该输入显示部17先显示出显示选择画面22让操作员选择一幅帧图像，在操作员选择完毕并点击确定按键221c后，输入显示部17根据相应的选择信息显示创建确认画面23让操作员根据显示出的预定时间位置数据的开始时间位置数据23a以及结束时间位置数据23b设定字幕创建用的当前时间位置数据的当前开始时间位置数据和当前结束时间位置数据，在操作员设定完毕并点击创建/追加按键23c后，输入显示部17根据相应的确认操作信息显示字幕输入画面24，让操作员输入一条字幕的字幕内容。

在操作员完成输入并点击确定按键249后，输入显示部显示创建确认画面23让操作员再次设定该帧图像的下一条字幕的当前时间位置数据，对下一条字幕的进行追加，或者点击该画面的确定按键23f，使得输入显示部再次显示选择画面，进行下一幅帧图像的选择。

创建生成部18将被设定的当前时间位置数据以及被输入的字幕内容与360度全景影像相关联生成存储有字幕的360度全景影像文件。

如图4所示，在字幕创建过程中，每输入一条字幕的字幕内容，创建确认画面的下半部分的显示区域中所显示的帧图像上就会关联上相应的字幕内容。

字幕创建侧暂存部19用于暂时存储操作员所输入的字幕内容、每一幅关联有字幕的帧图像以及创建生成部生成的存储有字幕的360度全景影像文件。

字幕创建侧通信部20通过通信网络13和移动终端中12中的通信模块15通信连接，将存储有字幕的360度全景影像文件输送给移动终端。

字幕创建侧控制部21用于控制画面存储部16、输入显示部17、创建生成部18、字幕创建侧暂存部19、字幕创建侧通信部20的运行。

图6为本发明所涉及的实施例中展示模块的结构框图。

如图1和图6所示，展示模块14获取由通信模块15接收到的存储有字幕的360度全景影像文件，并对其中的360度全景影像进行展示，包括移动角度获取部25、时间位置数据获取部26、图像确定显示部27、字幕确定展示部28、展示侧暂存部29以及展示侧控制部30。

在本实施例中，移动终端在360度方向上移动一圈，恰好能够将和预定时长的时间轴相对应的360全景影像的帧图像全部显示完毕，也就是说，移动终端的移动角度是和时间轴上的时间位置数据间隔是相对应的。

移动角度获取部25以移动终端的起始位置为0°，实时获取移动终端移动到当前位置的移动角度。

时间位置数据获取部26获取移动终端起始位置所对应的时间位置数据，并根据移动角度以及时间轴的预定时长获取移动终端当前位置所对应的时间位置数据。这两个时间位置数据分别被作为角度对应时间位置数据的开始时间位置数据以及结束时间位置数据。

图像确定显示部27对角度对应时间位置数据进行确定，并在其被确定为预定时间位置数据时，在显示屏幕上显示与预定时间位置数据相对应的所述帧图像。

字幕确定展示部28与此同时也对角度对应时间位置数据进行确定，当其被确定为当前时间位置数据时，展示与该当前时间位置数据相对应的字幕。

展示侧暂存部29用于暂时存储带有字幕的360度全景影像文件，以及各种字幕。

展示侧控制部30用于控制移动角度获取部25、时间位置数据获取部26、图像确定显示部27、字幕确定展示部28以及展示侧暂存部29的运行。

在本实施例中，展示模块依据字幕类型的不同，展示方式不同：当字幕为文字类型字幕以及图像类型字幕中的任意一种时，展示模块为显示模块，字幕确定展示部为字幕确定显示部；当字幕为音频类型字幕时，展示模块为播放模块，字幕确定展示部为字幕确定播放部。

下面结合流程图对字幕创建装置对字幕的创建过程以及显示模块对360度全景影像的显示过程做进一步地说明：

图7为本发明所涉及的实施例中的创建展示系统的处理过程流程图。

如图7所示，创建展示系统的处理过程包括如下步骤：

步骤S1：字幕创建装置11获取360度全景影像的所有帧图像，以及该360度全景影像的预定时长的时间轴；

步骤S2：字幕创建装置对360度全景影像中的帧图像进行相应的字幕创建，生成存储有字幕的360度全景影像文件；

步骤S3：字幕创建侧通信部20将该存储有字幕的360度全景影像文件发送给移动终端12；

步骤S4：移动终端12中的展示模块对存储有字幕的360度全景影像文件中的360度全景影像进行展示。

图8为本发明所涉及的实施例中的创建装置的字幕创建过程流程图。

如图8所示，字幕创建装置对对360度全景影像中的帧图像进行相应的字幕创建的过程包括以下步骤：

步骤S2-1，输入显示部显示出显示选择画面，然后进入步骤S2-2；

步骤S2-2，操作员选择当前需要添加字幕的一幅帧图像，并点击确定按键221c，然后进入步骤S2-3；

步骤S2-3，输入显示部17根据相应的选择信息显示创建确认画面23，显示被选择的该幅帧图像在预定时长的时间轴上的预定时间位置数据，然后进入步骤S2-4；

步骤S2-4，根据显示出的预定时间位置数据设定字幕创建用的当前时间位置数据，并点击创建\追加按键对字幕创建进行确认操作，然后进入步骤S2-5；

步骤S2-5，输入显示部17根据相应的确认操作信息显示字幕输入画面24，然后进入步骤S2-6；

步骤S2-6，输入一条字幕的字幕内容、设定字幕的属性，并在必要时进一输入字幕在屏幕坐标上的坐标位置数据，然后进入步骤S2-7；

步骤S2-7，创建侧控制部21对该条字幕是否是对应于当前帧图像的最后一条字幕进行判定，若判定结果为是，则进入步骤S2-8中；若判定结果为否，则进入步骤S2-5中；

步骤S2-8，创建侧控制部21对当前帧图像是否是最后一幅需要添加字幕的帧图像进行判定，若判定结果为是，则进入步骤S2-9中；若判定结果为否，则进入步骤S2-2中；

步骤S2-9，创建生成部将被设定的当前时间位置数据以及被输入的字幕内容与360度全景影像相关联生成存储有字幕的360度全景影像文件，然后进入步骤S2-10中；

步骤S2-10，字幕创建侧通信部将存储有字幕的360度全景影像文件输出。

图9为本发明所涉及的实施例中的展示模块的处理过程流程图。

如图9所示，字幕创建装置对360度全景影像中的帧图像进行相应的字幕创建的过程包括以下步骤：

步骤S4-1，时间位置数据获取部26获取移动终端起始位置所对应的时间位置数据，然后进入步骤S4-2；

步骤S4-2，移动角度获取部25以移动终端的起始位置为0°，实时获取移动终端移动到当前位置的移动角度，然后进入步骤S4-3；

步骤S4-3，时间位置数据获取部26根据移动角度以及时间轴的预定时长获取移动终端当前位置所对应的时间位置数据，从而得到角度对应时间位置数据，然后进入步骤S4-4；

步骤S4-4，展示侧控制部30判断该角度对应时间位置数据是预定时间位置数据还是当前时间位置数据，当为预定时间位置数据时进入步骤S4-5，当为当前时间位置数据时进入步骤S4-6；

步骤S4-5，图像确定显示部27在显示屏幕上显示与该预定时间位置数据相对应的帧图像，然后进入步骤S4-6；

步骤S4-6，字幕确定展示部28展示与该当前时间位置数据相对应的字幕。

实施例作用与效果

根据本实施例提供的字幕创建装置、显示模块以及创建显示系统，由于显示选择画面能够让操作员首先对需要添加字幕的所述帧图像进行选择，创建确认画面能够显示所选择的帧图像在时间轴上的预定时间位置，并让操作员根据该显示出的预定时间位置数据设定字幕创建用的当前时间位置数据然后对字幕创建进行创建或追加确认，字幕输入画面让操作员输入字幕的内容，首先使得帧图像和需要添加的字幕通过时间轴上的时间位置数据相关联起来，来实现360度全景影像字幕的添加，进而使得360度全景影像的字幕添加变的容易；其次能够根据当前时间位置数据确定字幕在时间轴上的精确位置，使得字幕和帧图像的对应性更加精确。

进一步，在本实施例中，由于创建确认画面设置有创建\追加按键，当需要在同一幅帧图像添加多条字幕时，在当前字幕被创建完毕后，通过点击此按键就能够实现下一条字幕的添加，使得在同一预定时间位置数据能够显示多组字幕信息，进一步提高了信息展示效率。

进一步，在本实施例中，字幕输入画面每输入一条字幕，创建生成部就能够将其和对应的帧图像关联起来，并将这种关联显示在创建确认画面中，使得操作员能够直观的对添加的字幕的位置正确与否进行判断，提高了字幕创建的准确率。