数字漫画编辑器及方法

专利名称：数字漫画编辑器及方法
技术领域：
本发明涉及数字漫画编辑器及方法，特别涉及将漫画内容数字化的技术。
背景技术：
日本专利申请公开N0.2003-22269披露了从漫画的图像数据自动地检测讲话气泡的装置。日本专利申请公开N0.2003-22269还披露了当由于在讲话气泡中缺少边界线部分导致不能检测到讲话气泡时，通过校正图像数据来检测讲话气泡，以消除边界线的缺陷的技术；以及从讲话气泡的外廓(轮廓线)断开的点绘制虚拟延长线的技术，并且其中，当虚拟延长线与轮廓线重叠时，轮廓线被确定为连续的，并且从而自动地检测讲话气泡。而且，日本专利申请公开N0.2003-22269披露了识别讲话气泡的范围内的字符从而识别文本的技术。日本专利申请公开N0.2004-78923披露了允许用户在期望位置附加讲话气泡的漫画编辑支持设备。日本专利申请公开N0.2004-78923还披露了将文本插入讲话气泡中，并且当文本到讲话气泡之外时，增加讲话气泡的区域的技术。

发明内容
然而，日本专利申请公开N0.2003-22269仅披露了由于在讲话气泡中缺少边界线的部分导致不能检测讲话气泡的情况，作为当不能检测讲话气泡时的恢复方法。当由于另一种原因导致不能检测讲话气泡时或者当被自动检测的讲话气泡(讲话气泡区域)不同于原稿内容中的讲话气泡时，该技术不能增加讲话气泡区域或者编辑讲话气泡区域，使得与原稿内容中的讲话气泡区域相同。日本专利申请公开N0.2004-78923中披露的漫画编辑支持设备插入讲话气泡和词语。然而，该漫画编辑支持设备不能被应用于漫画内容被数字化的情况。鉴于以上情况提出本发明。本发明的目的在于提供数字漫画编辑器以及方法，当对漫画内容数字化时，可以检查作为自动检测的结果的讲话气泡和文本等，可以基于检查结果容易地编辑作为检测结果的讲话气泡、文本等。为了实现以上目的，根据本发明的一方面的数字漫画编辑器包括数据获取装置，该数据获取装置获取数字漫画的一段主数据，主数据包括:对应于漫画的每页的图像文件、具有整个页的高分辨率图像的图像文件，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述一段讲话气泡信息，该段讲话气泡信息包括表示在图像中用于包含人物的对话的讲话气泡的区域的一段讲话气泡区域信息；该数字漫画编辑器还包括:显示控制装置，该显示控制装置控制显示装置，以在其上基于由数据获取装置获取的主数据中的图像文件显示图像，并且在将表示讲话气泡区域的图像叠加在基于图像文件的图像上的同时，基于在主数据中的信息文件中包括的讲话气泡区域信息，显示表示讲话气泡区域的图像；指示装置，所述指示装置指示在显示装置上显示的图像上的位置；讲话气泡区域添加装置，所述讲话气泡区域添加装置将一段新的讲话气泡区域信息添加至由指示装置指示的位置；讲话气泡区域删除装置，所述讲话气泡区域删除装置从由指示装置指示的位置删除讲话气泡区域信息；以及编辑装置，基于由讲话气泡区域添加装置添加的讲话气泡区域信息和由讲话气泡区域删除装置删除的讲话气泡区域信息，所述编辑装置更新在信息文件中包括的讲话气泡区域信息。根据本发明的一方面，可以适当地编辑数字漫画的主数据，主数据包括对应于漫画的每页的图像文件、具有整页的高分辨率图像的图像文件，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述一段讲话气泡信息，该段讲话气泡信息包括表示在图像中用于包含人物的对话的讲话气泡的区域的一段讲话气泡区域信息。特别是，可以通过添加或删除讲话气泡区域信息修改讲话气泡的检测结果。通过这样，可以编辑(更新)在信息文件中包括的讲话气泡信息。即，允许编辑器可视地观看表示讲话气泡区域的图像，其被显示为叠加在显示装置上显示的图像上，由此检查当前讲话气泡区域提取结果。当执行编辑以添加或删除讲话气泡时，给出将新讲话气泡添加至由指示装置指示的位置的指令或者删除由指示装置指示的位置处的讲话气泡的指令；由此可以容易地添加或删除讲话气泡区域信息。基于所添加或删除的讲话气泡区域信息，更新在信息文件中包括的帧区域信息。根据本发明的另一方面的数字漫画编辑器进一步包括讲话气泡区域检测装置，该讲话气泡区域检测装置检测用于包围由指示装置指示的位置的外围的一段闭合区域信息作为一段讲话气泡区域信息，其中，显示控制装置进行控制，以在将表示讲话气泡区域的图像叠加在基于图像文件的图像上的同时，基于由讲话气泡区域检测装置检测的讲话气泡区域信息，显示表示讲话气泡区域的图像，并且讲话气泡区域添加装置添加由讲话气泡区域检测装置检测的讲话气泡区域信息。在根据本发明的又一方面的数字漫画编辑器中，讲话气泡区域信息可以是表示讲话气泡区域的外围边缘的一段矢量数据或者表示讲话气泡区域的一段掩模数据。在根据本发明的又一方面的数字漫画编辑器中，显示控制装置进行控制，以基于讲话气泡区域信息，显示覆盖讲话气泡区域的图像或者绘制有讲话气泡区域的外围边缘的图像。通过这样，该讲话气泡区域可以与其他的区分。根据本发明的又一方面的数字漫画编辑器进一步包括:图像获取装置，该图像获取装置获取具有整页的高分辨率图像的图像文件；讲话气泡区域提取装置，该讲话气泡区域提取装置分析由图像获取装置获取的整页的图像，并且自动地提取图像中的讲话气泡区域；信息文件创建装置，该信息文件创建装置创建在其中描述讲话气泡信息的信息文件，讲话气泡信息包括表示由讲话气泡区域提取装置提取的讲话气泡区域的一段讲话气泡区域信息；以及主数据创建装置，该主数据创建装置创建数字漫画的一段主数据，主数据包括:由图像获取装置对于漫画的每页获取的图像文件；以及对应于漫画的每页或所有页的信息文件，信息文件由信息文件创建装置创建，其中，数据获取装置获取由主数据创建装置创建的一段主数据。为了输入每个讲话气泡区域的信息等，要求大量的工作量。通过自动地创建主数据，可以有效地创建主数据。当自动创建主数据时，在信息文件中描述的讲话气泡信息中可能存在一些错误。根据本发明，可以容易地修改错误的讲话气泡信息。在根据本发明的又一方面的数字漫画编辑器中，讲话气泡区域提取装置包括文本检测装置，该文本检测装置检测图像中的文本并且检测包围由文本检测装置检测的文本的外围的闭合区域作为讲话气泡区域。通过这样，防止讲话气泡区域的错误检测。根据本发明的一方面的数字漫画编辑器包括:数据获取装置，该数据获取装置获取数字漫画的一段主数据，主数据包括对应于漫画的每页的图像文件，图像文件具有整页的高分辨率图像，并且信息文件对应于漫画的每页或所有页，在信息文件中描述表示漫画中的文本区域的一段文本区域信息；显示控制装置，该显示控制装置控制显示装置，以在其上基于由数据获取装置获取的主数据中的图像文件显示图像，并且在将表示文本区域的图像叠加在基于图像文件的图像上的同时，基于在主数据中的信息文件中包括的文本区域信息显示表示文本区域的图像；指示装置，所述指示装置指示在显示装置上显示的图像上的位置；文本区域添加装置，该文本区域添加装置将一段新的文本区域信息添加至由指示装置指示的位置；文本区域删除装置，该文本区域删除装置从由指示装置指示的位置删除文本区域信息；以及编辑装置，基于通过文本区域添加装置添加的文本区域信息和通过文本区域删除装置删除的文本区域信息，编辑装置更新在信息文件中包括的文本区域信息。根据本发明的一方面，可以适当地编辑数字漫画的主数据，主数据包括对应于漫画的每页的图像文件，图像文件具有整页的高分辨率图像，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述表示漫画的文本区域的文本区域信息。特别是，通过添加或删除文本区域来修改文本区域。通过这样，可以编辑(更新)在信息文件中包括的文本区域信息。即，允许编辑器可视地观看表示文本区域的图像，该图像被显示为叠加在显示装置上显示的图像上，由此检查当前的文本区域提取结果。当执行编辑以添加或删除文本区域时，给出将新的文本区域添加至由指示装置指示的位置的指令或删除由指示装置指示的位置处的文本区域的指令；由此可以容易地添加或删除文本区域信息。基于所添加或删除的文本区域信息更新在信息文件中包括的文本区域信息。根据本发明的又一个方面的数字漫画编辑器进一步包括:文本检测装置，该文本检测装置检测邻近于由指示装置指示的位置的文本；以及文本区域检测装置，该文本区域检测装置检测用于包围由文本检测装置检测的文本的外围的一段区域信息作为一段文本区域信息，其中，显示控制装置进行控制，以在将表示文本区域的图像叠加在基于图像文件的图像上的同时，基于由文本区域检测装置检测的文本区域信息，显示表示文本区域的图像，并且文本区域添加装置添加由文本区域检测装置检测的文本区域信息。在根据本发明的又一方面的数字漫画编辑器中，文本区域信息可以是表示文本区域中的多边形形状的外围边缘上的每个顶点的一段坐标数据、表示文本区域的外围边缘的一段矢量数据，或者表示文本区域的掩模数据。在根据本发明的又一方面的数字漫画编辑器中，显示控制装置进行控制，以基于文本区域信息，显示文本区域被半透明覆盖的图像或者绘制有文本区域的外围边缘的图像。通过这样，可以标识文本区域。根据本发明的又一方面的数字漫画编辑器进一步包括:图像获取装置，该图像获取装置获取具有整页的高分辨率图像的图像文件；文本区域提取装置，该文本区域提取装置分析由图像获取装置获取的整页的图像，并且自动地提取图像中的文本区域；信息文件创建装置，该信息文件创建装置创建信息文件，在信息文件中描述表示由文本区域提取装置提取的文本区域的文本区域信息；以及主数据创建装置，该主数据创建装置创建数字漫画的一段主数据，主数据包括:由图像获取装置为漫画的每页获取的图像文件；以及对应于漫画的每页或所有页的信息文件，信息文件由信息文件创建装置创建，其中，数据获取装置获取由主数据创建装置创建的一段主数据。为了输入文本区域的每个信息的信息等，要求大量的工作量。通过自动地创建主数据，可以有效地创建主数据。当自动地创建主数据时，在信息文件中描述的文本区域中可能存在一些错误。根据本发明，可以容易地修改错误的文本区域信息。根据本发明的一方面的数字漫画编辑器包括数据获取装置，该数据获取装置获取数字漫画的一段主数据,主数据包括:对应于漫画的每页的图像文件,具有整页的高分辨率图像的图像文件，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述表示漫画中的感兴趣区域的一段感兴趣区域信息；数字漫画编辑器还包括:显示控制装置，该显示控制装置控制显示装置，以基于由数据获取装置获取的主数据中的图像文件显示图像，并且在将表示感兴趣区域的图像叠加在基于图像文件的图像上的同时，基于在主数据中的信息文件中包括的感兴趣区域信息显示表示感兴趣区域的图像；指示装置，该指示装置指示在显示装置上显示的图像上的位置；感兴趣区域添加装置，该感兴趣区域添加装置将一段新的感兴趣区域信息添加至由指示装置指示的位置；感兴趣区域删除装置，该感兴趣区域删除装置从由指示装置指示的位置删除感兴趣区域；以及编辑装置，基于由感兴趣区域添加装置添加的感兴趣区域信息和由感兴趣区域删除装置删除的感兴趣区域信息，编辑在信息文件中包括的一段感兴趣区域信息。根据本发明的一方面，能够适当地编辑数字漫画的主数据，主数据包括对应于漫画的每页的图像文件、具有整页的高分辨率图像的图像文件，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述表示漫画中的感兴趣区域的一段感兴趣区域信息。特别是，通过添加或删除感兴趣区域信息来修改感兴趣区域。通过这样，可以编辑(更新)在信息文件中包括的感兴趣区域信息。即，允许编辑器可视地观看表示感兴趣区域的图像，该图像被显示为叠加在显示装置上显示的图像上，由此检查当前的感兴趣区域提取结果。当执行编辑以添加或删除感兴趣区域时，给出将感兴趣区域添加至由指示装置指示的位置的指令或者删除由指示装置指示的位置处的感兴趣区域的指令；由此可以容易地添加或删除感兴趣区域信息。基于所添加或删除的感兴趣区域信息来更新在信息文件中包括的感兴趣区域信息。根据本发明的又一方面的数字漫画编辑器进一步包括感兴趣区域检测装置，该感兴趣区域检测装置包括用于检测邻近于由指示装置指示的位置的人物的人物检测装置，并且检测包括该人物的一段区域信息作为感兴趣区域信息，其中，显示控制装置进行控制，以在将表示感兴趣区域的图像叠加在图像上的同时，基于由感兴趣区域检测装置检测的感兴趣区域信息，显示表示感兴趣区域的图像，并且感兴趣区域添加装置添加由感兴趣区域检测装置检测的感兴趣区域信息。通过这样，在感兴趣区域中还包括人物。人物不限于人，而是诸如动物、机器人的多种形式是可以想到的。在根据本发明的又一方面的数字漫画编辑器中，人物可以是面部，并且人物检测装置可以是面部检测装置。通过这样，人可以被用作人物。在根据本发明的又一方面的数字漫画编辑器中，感兴趣区域信息可以是表示在感兴趣区域中的多边形形状的外围边缘上的每个顶点的一段坐标数据、表示感兴趣区域的外围边缘的一段矢量数据或者表示该区域的一段掩模数据。
在根据本发明的又一方面的数字漫画编辑器中，显示控制装置进行控制，以基于感兴趣区域信息，显示感兴趣区域被般透明地覆盖的图像或者绘制有感兴趣区域的外围边缘的图像。通过这样，感兴趣区域与其他区域区分。根据本发明的又一方面的数字漫画编辑器进一步包括:图像获取装置，该图像获取装置获取具有整页的高分辨率图像的图像文件；感兴趣区域提取装置，该感兴趣区域提取装置分析由图像获取装置获取的整页的图像，并且自动地提取图像中的感兴趣区域；信息文件创建装置，该信息文件创建装置创建信息文件，在信息文件中描述表示由感兴趣区域提取装置提取的感兴趣区域的感兴趣区域信息；以及主数据创建装置，该主数据创建装置创建数字漫画的一段主数据，主数据包括:由图像获取装置为漫画的每页获取的图像文件；以及对应于漫画的每页或所有页的信息文件，信息文件由信息文件创建装置创建，其中，数据获取装置获取由主数据创建装置创建的一段主数据。为了输入感兴趣区域的每个信息的信息等，要求大量的工作量。通过自动地创建主数据，可以有效地创建主数据。当自动创建主数据时，在信息文件中描述的感兴趣区域信息中可能存在一些错误。根据本发明，可以容易地修改错误的感兴趣区域信息。根据本发明的又一方面的数字漫画编辑方法包括数据获取步骤，该数据获取步骤获取数字漫画的一段主数据，主数据包括:对应于漫画的每页的图像文件、具有整页的高分辨率图像的图像文件，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述表示漫画的文本区域的一段文本区域信息；数字漫画编辑方法还包括:显示控制步骤，该显示控制步骤控制显示装置，以在其上基于在数据获取步骤中获取的主数据中的图像文件显示图像，并且在将表示讲话气泡区域的图像叠加在基于图像文件的图像上的同时，基于在主数据中的信息文件中包括的讲话气泡区域信息，显示表示讲话气泡区域的图像；指示步骤，该指示步骤指示在显示装置上显示的图像上的位置；讲话气泡区域添加步骤，该讲话气泡区域添加步骤将一段新的讲话气泡区域信息添加至在指示步骤中指示的位置；讲话气泡区域删除步骤，该讲话气泡区域删除步骤从在指示步骤中指示的位置删除讲话气泡区域信息；以及编辑步骤，基于在讲话气泡区域添加步骤中添加的讲话气泡区域信息和在讲话气泡区域删除步骤中删除的讲话气泡区域信息，编辑步骤更新在信息文件中包括的讲话气泡区域信息。根据本发明的又一方面的数字漫画编辑方法包括数据获取步骤，该数据获取步骤获取数字漫画的一段主数据，主数据包括:对应于漫画的每页的图像文件，图像文件具有整页的高分辨率图像，以及对应于漫画的每页或所有页的信息文件，在信息文件中描述表示漫画的感兴趣区域的一段感兴趣区域信息；数字漫画编辑方法还包括:显示控制步骤，该显示控制步骤控制显示装置，以在其上基于在数据获取步骤中获取的主数据中的图像文件显示图像，并且在将表示文本区域的图像叠加在基于图像文件的图像上的同时，基于在主数据中的信息文件中包括的文本区域信息显示表示文本区域的图像；指示步骤，所述指示步骤指示在显示装置上显示的图像上的位置；文本区域添加步骤，该文本区域添加步骤将一段新的文本区域信息添加至在指示步骤中指示的位置；文本区域删除步骤，该文本区域删除步骤从在指示步骤中指示的位置删除文本区域信息；以及编辑步骤，基于在文本区域添加步骤中添加的文本区域信息和在文本区域删除步骤中删除的文本区域信息，编辑步骤更新在信息文件中包括的文本区域信息。
根据本发明的又一方面的数字漫画编辑方法包括:数据获取步骤，该数据获取步骤获取数字漫画的一段主数据，主数据包括具有整页的高分辨率图像的漫画的每页的图像文件，以及其中描述表示漫画的感兴趣区域的感兴趣区域信息的信息文件；显示控制步骤，该显示控制步骤控制显示装置，以在其上基于在数据获取步骤中获取的主数据中的图像文件显示图像，并且在将表示感兴趣区域的图像叠加在基于图像文件的图像上的同时，基于在主数据中的信息文件中包括的感兴趣区域信息，显示表示感兴趣区域的图像；指示步骤，所述指示步骤指示在显示装置上显示的图像上的位置；感兴趣区域添加步骤，该感兴趣区域添加步骤将一段新的感兴趣区域信息添加至在指示步骤中指示的位置；感兴趣区域删除步骤，该感兴趣区域删除步骤从在指示步骤中指示的位置删除感兴趣区域信息；编辑步骤，基于在感兴趣区域添加步骤中添加的感兴趣区域信息和在感兴趣区域删除步骤中删除的感兴趣区域信息，编辑步骤更新在信息文件中包括的一段感兴趣区域信息。根据本发明，当对漫画内容进行数字化时，可以检查帧的自动检测结果，并且基于检查结果，可以容易地编辑帧的自动检测结果。


图1示出根据本发明的内容传送系统的配置；图2是主数据创建的流程图；图3示出内容图像的示例；图4示出监视器显示的示例；图5示出从内容图像自动检测的帧的结果；图6示出图5中所示的帧检测结果的修改结果；图7示出从内容图像自动检测的帧的结果；图8示出图7中所示的帧检测结果的修改结果；图9示出帧边界线的修改；图10示出从内容图像自动提取的讲话气泡的结果；图11示出图10中所示的讲话气泡提取结果的修改；图12示出从内容图像自动提取的讲话气泡的结果；图13示出图12中所示的讲话气泡提取结果的修改；图14示出从内容图像自动提取的讲话气泡的结果；图15示出讲话气泡的提取；图16示出讲话气泡的提取；图17示出讲话气泡的提取；图18示出讲话气泡的提取；图19示出讲话气泡的提取；图20示出从内容图像自动提取的文本的结果；图21示出图20中所示的文本提取结果的修改；图22示出从内容图像自动提取的感兴趣区域的结果；图23示出图20中所示的感兴趣区域提取结果的修改；图24示出讲话气泡和感兴趣区域的配对；
图25示出讲话气泡和感兴趣区域的配对；图26是信息文件的结构的帧格式；图27是当编辑主数据时的监视器屏幕的示例；图28是当编辑主数据时的监视器屏幕的示例；图29是当编辑主数据时的监视器屏幕的示例；以及图30是预览屏幕的示例。
具体实施例方式以下参考附图描述根据本发明的数字漫画编辑器及方法的实施例。[内容传送系统的配置]图1示出根据本发明的优选实施例的内容传送系统的配置。该系统包括服务器I和数字书籍阅读器2。服务器I由包括处理器(CPU)、存储、I/O电路等的计算机(信息处理器)配置。数字书籍阅读器2是包括能够再现图像的显示装置、通信装置、处理器(CPU)、存储、I/o电路、操作装置、能够再现声音的声音再现装置等的信息终端。例如，数字书籍阅读器2由智能手机或平板电脑构成。未指定数量的数字书籍阅读器2可以访问服务器I。具体地，服务器I包括创作部10、数据库(DB) 11、操作部12、输入/输出部13、扫描仪14和监视器15。仓丨」作部10包括诸如CPU的信息处理器和存储数字漫画编辑程序等的存储，以根据数字漫画编辑程序执行各种信息处理。DB 11由诸如硬盘和存储器等的存储介质构成。操作部12包括诸如键盘、鼠标、触摸板等的操作装置。监视器15是由诸如LCD的显示设备构成的显示装置。创作部10分析内容图像，以创建多段附属信息，诸如，页信息、帧信息、讲话气泡的坐标、ROI信息等，并且创建用于数字书籍的一段主数据，其中，这些段数据相互关联。而且，创作部10从主数据创建为每个数字书籍阅读器2优化的一段数据。随后将给出创作部10的详细说明。DB 11以预定文件格式累积用于存储与页码相关联的内容图像及其附属信息的内容文件。内容文件是原稿内容，其是使用扫描仪14等数字化的数据。原稿内容包括以页为基础编排的漫画、报纸、杂志的文章、办公文档(报告文档等)、教科书、参考书。而且，每组内容图像都与其本身的页码相关联。以EPUB格式存储内容图像及其附属信息。内容图像可以包括它们的附属信息。附属信息可以包括内容的作者、题目、总页数、卷号、章节号、版权者(出版社)等。内容图像包括轮廓图像和详细图像(高分辨率图像)，并且每个图像都基于页、帧或定位点来准备。附属于内容图像的附属信息包括从操作部12输入的信息、由创作部10作出的分析的结果的信息，或者通过输入/输出部13输入的信息。数字书籍阅读器2由诸如智能手机或平板电脑的便携式信息终端构成，并且包括能够再现图像的显示装置、通信装置、操作检测装置、声音再现装置、信息处理器等。具体地，数字书籍阅读器2包括数据库(DB)21、显示部24、内容显示控制部25、声音再现部26、操作部27、扬声器28以及输入/输出部29。显示部24是包括诸如IXD的显示设备的显示装置。操作部27是包括触摸板等的操作检测装置。操作部27优选地层压在显示部24上，并且能够检测显示部24上的各种操作，诸如单击、双击、挥动、长压等。声音再现部26是将存储在内容文件中的声音相关信息(与读音相关的信息和/或与伴音相关的信息)转换为声音以从扬声器28将其输出的电路。输入/输出部29是输入从服务器I的输入/输出部13输出的内容文件的装置。通常，输入/输出部13和输入/输出部28是通信装置，但是其可以是用于计算机可读存储介质的写入/读取装置。DB 21存储与DB 11相同的信息。即，当数字书籍阅读器2请求服务器I发送数字书籍时，服务器I经由输入/输出部29将内容文件从DB 11导出到DB 21，并且将内容文件存储在DB 21中。然而，DB 11中的信息和DB 21中的信息可以不完全相同。DB 11是存储各种内容图像的库，例如，不同作者的漫画的每卷的内容图像，以满足来自各种用户的请求。DB 21至少存储与数字书籍阅读器2的用户期望浏览的内容相关的内容文件。内容显示控制部25控制内容在显示部24上的显示。[内容传送系统的操作](A)主数据的创建处理图2是示出创作部10创建一段主数据的处理流程的流程图。仓Ij作部10获取内容图像(步骤SI)。在DB11中存储所获取的图像。服务器I经由存储媒体或网络获取对应于漫画的各页的整页的图像(3000X 5000像素或1500X 2000像素的高分辨率图像);或者通过由扫描仪14读取漫画来获取内容图像。创作部10以上方式获取由服务器I获取的内容图像。当内容图像已经存储在DB 11中时，创作部10可以获取存储在DB 11中的内容图像。在步骤SI中，创作部10使监视器15在记录屏幕上显示在步骤SI中获取的内容图像，其中记录屏幕是用于记录各种信息的屏幕。当用户根据记录屏幕上的指示通过操作部12输入各种信息时，创作部10获取该信息并且将信息记录在DB 11中，同时关联内容图像(步骤S2)。创作部10创建信息文件，并且将各种信息存储在信息文件中。创作部10使内容图像和信息文件之间相互连接，以创建一段主数据。主数据被临时存储在DB 11中。关于信息文件的格式，例如，可用XML文件。各种信息(页信息)包括与内容相关的多段信息(内容唯一标题ID、标题名称、作者、出版社(版权者)、出版年份、语言等)，与页、页名称相关的一段信息，页ID的一段信息。与页相关的信息是指指示内容图像是单页还是两页展开、右开/左开、原稿内容的尺寸的
一段信息。当在步骤SI中获取图3中所示的内容图像时，创作部10在监视器15上显示图4中所示的记录屏幕。在记录屏幕上，在右手侧显示内容图像G ;并且在左手侧显示所获取的内容图像的列表L。“Index”是文件ID，其被自动地给予所获取的内容图像。在列表L中，按照文件ID的顺序显示所获取的内容图像的多段信息。在记录之前，在除了“Index”之外的列中显示“O”。当用户通过操作部12 在“filename，，、“speaking，，、“Language，，和“Translation”的任一列上进行输入操作时，创作部10在列表L中显不输入字符信息并且将其存储在DB11中。“filename”是指文件名；“speaking”指示存在声音信息,Language”指示在内容图像中包括的人物信息的语言。“Translation”指示存在到内容信息中包括的人物信息的其他语言的翻译。“koma”指示帧的数量，这里，显示“O”(随后被自动输入)。创作部10自动地分析内容图像(步骤S3)。当用户检查(选择)“Auto Koma”和/或“Auto Speech Balloon”的复选框时执行自动分析，并且通过操作部12在图4中所示的记录屏幕中按压OK按钮A。在该实施例中，假设选择了 “Auto Koma”和“Auto SpeechBalloon”来进行描述。当选择“Auto Koma”时，创作部10基于关于在内容图像中包括的线的信息自动检测帧。例如，通过将在内容图像中具有较强对比度的区域线性呈现的部分识别为线来获取关于在内容图像中包括的线的信息。当选择“Auto Speech Balloon”时,创作部10从内容图像提取文本并且将包围该文本的外围的闭合区域确定为讲话气泡区域；由此提取包括在内容图像中的讲话气泡。在创作部10中包括的光学字符阅读器(OCR)提取文本。由OCR读取的文本基于字符的方向被排序。例如，当单词垂直走向时，单词从线的顶部到尾部并且从右侧的线朝向左侧的线来排序。可以基于机器学习来执行帧检测和讲话气泡提取。例如，可以基于学习样本漫画，按照经验设置帧和讲话气泡的外边缘的检测准确度、除了矩形和讲话气泡之外的帧区域的恰当性的确定阈值。信息文件存储关于帧的一段帧信息、关于讲话气泡的一段讲话气泡信息，以及关于文本的一段文本信息。帧信息包括一段帧区域信息。帧区域信息是指示帧区域的一段信息，包括在页内包括的帧的数量、每帧的顶点的坐标和每帧的形状。帧区域信息可以是指示帧边界线的一段矢量数据或指示帧区域的一段掩模数据。帧信息进一步包括与每帧的帧顺序(再现顺序)相关的一段巾贞顺序信息等。基于关于右开/左开页的一段信息、关于内容表不语言的一段信息、从帧区域信息检测的帧分配等，从帧顺序的一些过渡方式，例如，从页的右上到左下、或者从左上到右下，以及移动方向(水平方向或垂直方向)等，来选择帧顺序的合适方式。从而，根据所选的过渡方式自动地确定帧顺序。讲话气泡信息包括一段讲话气泡区域信息。讲话气泡区域信息是指示在页单元(或帧单元)内存在讲话气泡的区域的一段信息，其包括在线上的对应于讲话气泡形状的多个点的一段位置信息(例如，坐标)、讲话气泡的形状(例如，矢量信息)、讲话气泡的起始点(讲话气泡的顶点)的位置和方向，以及讲话气泡的尺寸。讲话气泡区域信息可以是指示讲话气泡的整个区域(范围)的一段位图信息(掩模数据)。讲话气泡区域信息可以由讲话气泡的特定位置(中心位置)和讲话气泡的尺寸来表示。讲话气泡信息进一步包括:关于在讲话气泡中包括的文本的一段信息、讲话气泡的线的属性(虚线、实线等)、讲话气泡的说话者的ID信息，以及讲话气泡所属的帧。文本信息包括一段文本区域信息和关于文本的内容的一段信息。文本区域信息包括在线上对应于文本区域的多个点的一段位置信息(例如，坐标)、指示文本区域的外围边缘的一段矢量信息。文本区域信息可以是指示文本区域(范围)的一段位图信息(掩模数据)。关于文本的内容的信息包括由OCR指定的一段文本(句子)字符属性信息、线数、线间隔、字符间隔、显示切换方法、语言、垂直写入/水平写入、读取方向的差异等。字符属性信息包括字符尺寸(点数等)和字符分类(字体、高亮字符等)。文本信息包括讲话气泡中的说话者的对话。文本信息还包括翻译句子和对应于位于讲话气泡中的原稿对话的各种语言的语言(两种或更多语言的翻译句子可用)。创作部10将文本和讲话气泡相互关联的一段信息以及讲话气泡或文本和帧相互关联的一段信息存储在信息文件中。由于在讲话气泡的提取期间提取文本，所以文本与从其提取文本的讲话气泡关联。通过比较在讲话气泡中包括的坐标与在帧信息中包括的坐标，确定讲话气泡包括在哪个帧中。从而，讲话气泡与讲话气泡包括在其中的帧关联。当在文本周围找不到闭合区域时，这是在帧中仅包括字符的情况。从而，文本与其中包括该文本的中贞关联。仓Ij作部10通过将帧信息、讲话气泡信息和文本信息存储在信息文件中来更新主数据。当手动地进行步骤的所有处理时，要求巨大的工作量。通过自动地执行上述处理，有效地创建主数据。创作部10在监视器15上彼此紧邻地显示原稿内容图像和在步骤S3中自动分析的内容图像的帧的检测结果，通过操作部12接收帧检测结果的校正输入，并且基于该结果执行帧设置(步骤S4)。详细地描述步骤S4中的处理。图5示出通过图3中所示的内容图像(文件ID:1，文件名:yakisoba_003)的自动分析的帧检测结果。实际上，图3中所示的内容图像和图5中所示的帧检测结果彼此紧邻地显示在监视器15上。然而，可以仅显示图5中所示的帧检测结果。创作部10基于信息文件显示帧检测结果。帧检测结果以粗虚线显示，每帧的边界线(此后称为帧边界线)与对比图像重叠；并且在每帧的中心处，显示指示帧的读取顺序的帧顺序。通过这样，用户可以检查当前帧区域信息(帧分配)和帧顺序。当用户选择预定帧时，创作部10将帧的帧边界的颜色改变为不同于其他帧边界线的颜色(例如，被选帧是红线；未选帧是蓝线)，并且开始接收对被选帧的校正输入。通过这样，用户可以检查将被编辑的帧。(I)增加帧在选择了帧的情况下，当选择帧中的特定位置时，创作部10添加邻近被选位置的帧边界线，并且与此同时，更新帧顺序。在步骤S3中，虽然提取并且识别了线，但是如果线不能被识别为帧边界线，则导致错误识别。当选择帧中的特定位置时，创作部10提取邻近于输入选择指令的位置的线，其被识别为线但是不被识别为帧边界线，通过将线识别为帧边界线来添加新的帧边界线。在图5中所示的帧检测结果中，在内容图像的中心处的帧顺序2，虽然实际上存在两个帧，但是它们被识别为单个帧。因此，当用户通过操作部12选择邻近于帧的中心处的线A的点时，创作部10将内容图像的中心处的帧划分为如图6中所示的帧顺序2的帧和帧顺序3的帧。随着帧的增加，创作部10修改帧顺序。在这种情况下，图5中的帧的帧顺序3被改变为4，并且图5中的帧顺序4被改变为5。(2)删除帧
在图7中所示的示例中，由于树B的树干是划分帧的线的错误识别，虽然内容图像的上部被划分为2，但是实际上，内容图像的上部帧是单个帧。图7中所示的图像被显示在监视器15上，在选择具有帧顺序I的帧或者具有帧顺序2的帧的情况下，当用户通过操作部12选择具有帧顺序I的帧和具有帧顺序2的帧之间的帧边界线时，创作部10删除图7中的具有帧顺序I的帧和帧顺序2的帧之间的帧边界线，并且将内容图像的上部帧修改为具有帧顺序I的单个帧，如图8中所示。随着帧的删除，创作部10修改帧顺序。在这样的情况下，图7中的帧顺序3改变为2 ;帧顺序4改变为3 ;并且帧顺序6改变为4。当添加或删除帧边界线时，所添加的帧边界线和将被删除的帧边界线可以被显示为与其他帧边界线可区分。通过这样，用户可以识别出哪条帧边界线被添加以及哪条帧边界线被删除。(3)帧边界线的修改当双击被选帧时，创作部10接收顶点的数量和坐标的校正输入。通过这样，可以修改帧的形状和尺寸。当双击被选帧时，如图9中所示那样显示帧边界线的修改屏幕。以具有三个或更多顶点的多边形形状来表示帧，并且以连接三个或更多顶点的线来表示帧边界线。在图9中，由于帧具有正方形形状，所以显示正方形形状的顶点和边缘的大概中心处的总计八个顶点。当用户通过经由操作部12在帧边界线上的期望位置处双击来输入指令时，顶点被添加至该位置。而且，当用户通过经由操作部12在期望顶点上双击来输入指令时，删除该顶点。当用户通过操作部12拖拽期望的顶点时，顶点如图9中所示那样移动，修改帧边界线的形状。通过重复该操作，可以改变帧边界线的形状和尺寸。(4)帧顺序的修改当用户通过操作部12在指示帧顺序的数字上双击时，创作部10接收帧顺序的修改,并且利用经由操作部12输入的数来修改帧顺序。通过这样，当自动分析的帧顺序不正确时，修改帧顺序。当进行帧设置时，创作部10相应地修改信息文件的帧信息。当在帧设置之后作出显示记录屏幕的指令时，创作部10在监视器15上显示列表L的“koma”列中的帧的输入数。当设置图6中所示的结果时，5被输入到具有为I的文件ID的“koma”中，如在图4中所示。当进行帧设置时(在步骤S4)，创作部10在监视器15上彼此紧邻地显示原稿内容图像和在步骤S3中自动分析的内容图像的讲话气泡的提取结果，通过操作部12接收讲话气泡的提取结果的校正输入，并且基于该结果设置讲话气泡(步骤S5)。详细地描述步骤S5中的处理。图10是通过自动分析获得的图3中所示的内容图像(文件ID:1，文件名:yakisoba_003)中的讲话气泡的提取结果。实际上，图3中所示的内容图像和图9中所示的讲话气泡提取结果彼此紧邻地显示在监视器15上。然而，可以仅显示图9中所示的讲话气泡提取结果。创作部10基于信息文件显示讲话气泡提取结果。创作部10在监视器15上显示被提取的讲话气泡的覆盖图像，使得所提取的讲话气泡可以与其他区域区分。在图9中，作为指示讲话气泡区域的图像，示出了其中被提取的讲话气泡由阴影覆盖的图像。讲话气泡的外围边界用粗线绘制的图像可以被显示为指示讲话气泡区域的图像。(I)讲话气泡的添加在图10中所示的提取结果中，由于左下角的讲话气泡X的边界线的一部分断开，所以其不被自动地检测。用户通过操作部12连接边界线断开的部分以形成闭合区域。之后，当用户通过操作部12选择该闭合区域并且指示识别时，创作部10将所选的闭合区域识别为讲话气泡。结果，讲话气泡X也被覆盖，如图11中所示，并且被设置为与其他讲话气泡相同的讲话气泡。(2 )删除讲话气泡由于气球Y是闭合区域，在图12中所示的提取结果中，虽然气球Y不是讲话气泡，但是其被提取为讲话气泡。这是由气球Y中的字符被错误地识别为文本所导致的。当用户通过操作部12选择气球Y时，创作部10从讲话气泡删除自动选择的闭合区域(在这样的情况下，气球Y的内部)。结果，如图13中所示，从气球Y删除阴影。(3)当讲话气泡未被清楚地检测时，修改讲话气泡区域在图14中所示的提取结果中，未提取右上角处的讲话气泡Z的一部分。如图15中的点划线所指示，当讲话气泡中的字符太接近边界线或者与其接触时；或者，如图15中所示的双点划线所示，当讲话气泡中的字符相互太接近或者相互接触时，导致这样。图16是图14中所示的讲话气泡Z的提取结果的放大视图；图17示出从中删除字符的图16中所示的提取结果。如图17中所示，在讲话气泡Z中，一部分边界线与字符接触(图17-a);—部分字符到讲话气泡外(图17-b)。从而，当用户通过操作部12选择讲话气泡中的闭合区域b时,创作部10将闭合区域b自动地确定为如图18中所示的讲话气泡(参考图17)。而且，如图18中所示，当用户通过操作部12添加讲话气泡的边界线c时，创作部10将由边界线c生成的闭合区域(参考图18)自动地确定为讲话气泡，如图19中所示。结果，未被清楚检测的讲话气泡被正确地提取，如图19中所示。当如上作出讲话气泡的提取结果的校正输入时，创作部10相应地修改信息文件中的讲话气泡信息。在完成讲话气泡设置(步骤S5)之后，创作部10在监视器15上彼此紧邻地显示原稿内容图像和在步骤S3中自动分析的内容图像的文本识别结果，并且接收通过操作部12作出的文本的识别结果的校正输入，并且基于该结果执行文本设置(步骤S6)。详细地描述步骤S6中的处理。图20示出通过自动分析图3中所示的内容图像(文件ID:1，文件名:yakisoba_003)而获得的文本识别结果。实际上，图3中所示的内容图像和图20中所示的识别结果彼此紧邻地显示在监视器15上。然而，可以仅显示图20中所示的文本识别结果。创作部10基于信息文件显示文本的提取结果。创作部10在监视器15上显示其中以粗线绘制文本区域的外围边缘的图像，由此可以识别文本区域和其他区域。在图20中，其中以粗线绘制文本区域的外围边缘的图像被示出为指示文本区域的图像。然而，可以显示指示文本区域的图像，其中文本区域被半透明地覆盖。通过半透明地覆盖，用户可以识别文本。(1)添加文本在图20中，手写字符的文本“什么？(What )”不被识别。当用户通过操作部12包围“什么？(What )”以指示对其识别时，创作部10将包围“什么？(What )”的闭合区域识别为文本区域。创作部10可以这样配置，当用户通过操作部12在“什么？(What )”的字符上或邻近“什么？ (What )”的字符指示识别通过操作部12在其上或邻近于其指示的位置时，在此，将包围“什么？ (What )”的闭合区域识别为文本区域。结果，“什么？(What )”也被设置为文本区域，如图21中所示的，并且因此，获得文本区域信息。在设置文本区域之后，由创作部10的光学字符读取器指定字符数据。当不指定字符数据时，创作部10提示用户输入，并且用户通过操作部12输入字符。通过这样，获得关于文本的内容的信息。当如上所述作出文本提取结果的校正输入时，创作部10修改信息文件中的文本信息。(2)删除文本当文本区域被错误识别时，用户通过操作部12选择错误文本区域上的期望位置，并且给出执行识别的指令。然后，创作部10自动地从信息文件中删除所选择的文本区域。创作部10还从信息文件中删除关于所删除的文本区域的文本内容的一段信息。当完成文本设置(步骤S6)时，创作部10从原稿内容图像自动地提取感兴趣的区域(此后称为R0I)(步骤S7)。ROI是指要一直显示在数字书籍阅读器2上的项，其是内容图像的漫画原稿中的人物的面部(或者等效于面部的区域)。人物不仅包括人而且包括动物，诸如电话、PC、电子设备和机器人的非生命物质。创作部10包括已知的图像分析技术，例如，通过使用面部检测技术自动检测人物的面部的面部检测装置，并且面部检测装置从内容图像检测人物的面部。创作部10将包围被检测的面部的多边形形状的区域设置为感兴趣的区域。通过使用已知的图像分析技术，基于关于图像的信息的特征量，可以自动地检测诸如动物、建筑物、车辆和其他对象的内容元素的位置、尺寸、类型。创作部10将作为关于感兴趣的区域(ROI)的一段信息的感兴趣区域的一段信息存储在信息文件中。感兴趣区域的信息可以是表示ROI的每个顶点的坐标的一段矢量数据、ROI的形状或者ROI的外围边缘。感兴趣区域的信息进一步包括关于在ROI中包括的人物的一段信息(例如，自动地给出人物ID)。而且，感兴趣区域的信息可以包括优先级顺序、显示的重要程度、人物的ID信息(姓名等)、人物的属性(性别、年龄等)等。当ROI的自动提取(步骤S7)完成时，创作部10接收ROI提取结果的校正输入，并且基于该结果执行ROI设置(步骤S8)。详细地描述步骤S8中的处理。图22示出通过自动分析图3中所示的内容图像(文件ID:1，文件名:yakisoba_003)而作出的ROI提取结果。实际上，图3中所示的内容图像和图22中所示的识别结果在监视器15上彼此紧邻地显示。然而，可以仅显示图22中所示的ROI提取结果。创作部10基于信息文件显示ROI提取结果。创作部10在监视器15上显示具有粗线绘制的ROI的外围边缘的图像，以便于ROI和其他区域的识别。在图22中，其中ROI的外围边缘用粗线绘制的图像被示出为表示ROI的图像。半透明覆盖的ROI可以被显示为表示ROI区域的图像。通过半透明地覆盖，用户可以识别人物。(1)添加 ROI在图22中，人物包括男人M和女人F，将其头部转向一侧的男人M的面向左的面部C不被识别。当用户通过操作部12选择将其头部转向一侧的男人M的面向左的面部C上的期望位置并且给出执行识别的指示时，创作部10将包括所指示的位置的闭合区域识别为RO10而且，创作部10相应地修改信息文件中的感兴趣信息的区域。结果，在男人M的面向左的面部C上显示表示ROI的图像,如图23中所示。(2)删除 ROI当ROI被错误地提取时，用户通过操作部12选择不正确ROI上的期望点并且给出识别的指示。创作部10自动地从信息文件删除所选择的感兴趣区域的信息。通过这样，从监视器15删除表示错误ROI的图像。当ROI设置(步骤S8)完成时，创作部10执行配对在ROI和讲话气泡之间建立连接(步骤S9)。配对使讲话气泡中的对话(讲话气泡和文本)及其生成源(ROI)之间相连接。图24示出在步骤S5-S7中设置讲话气泡、文本和ROI的结果。在图24中，包括讲话气泡1-xii作为讲话气泡；女人F (F1-F3)和男人M (M1-M4)被包括作为ROI。虽然女人F1-F3均是相同的人(女人F)，但是为了说明的目的采用女人F1-F3的表述。同样地，虽然男人M1-M4均是相同的人(男人M)，但是为了说明的目的采用男人M1-M4的表述。描述执行手动配对的方法。创作部10在于步骤S5和S7中设置的讲话气泡和ROI可选择的状态下基于信息文件在监视器15上显示内容图像。当用户通过操作部12选择预定的讲话气泡和ROI每种一个时，创作部10识别讲话气泡和ROI并且将其设置为一对。讲话气泡i是女人Fl的讲话。从而，当通过操作部12选择讲话气泡i和女人Fl时，创作部10将讲话气泡i和女人Fl自动地识别为一对，并且将讲话气泡i和女人Fl设置为配对I。同样地，当通过操作部12选择讲话气泡ii和男人Ml时，创作部10将讲话气泡ii和男人Ml自动地识别为一对，并且将讲话气泡ii和男人Ml设置为配对2。在对每个讲话气泡完成配对之后，创作部10将配对结果存储在信息文件中。接下来，对创作部10首先自动地执行配对并且随后手动地作出修改的方法进行描述。创作部10基于信息文件对相互邻近的ROI和讲话气泡执行配对。在图24中所示的情况下，讲话气泡i和女人Fl被设置为配对I ;讲话气泡ii和男人Ml被设置为配对2 ;讲话气泡iii和男人M3被设置为配对3 ;讲话气泡iv和男人M2被设置为配对4 ;讲话气泡v和女人F2被设置为配对5 ;讲话气泡vi和女人F2被设置为配对6 ;讲话气泡vii和男人M3被设置为配对F7 ;讲话气泡viii和男人M3被设置为配对8 ;讲话气泡ix和男人M3被设置为配对9 ;讲话气泡X和男人M4被设置为配对10 ;讲话气泡xi和女人F3被设置为配对11 ;并且讲话气泡xii和女人F3被设置为配对12。创作部10将配对结果存储在信息文件中，并且基于信息文件在配对结果可识别的状态下在监视器15上显示内容图像。例如，其中配对被虚线围住的图像被显示为叠加在内容图像上。当用户通过操作部12选择其中预定的配对由虚线围住的图像时，创作部10接收该配对的修改。在图24中所示的示例中，讲话气泡xi不应该与女人F3而是应该与男人M4配对。因此，修改配对11。当用户通过操作部12双击配对11时，配对11准备被编辑。当讲话气泡xi和男人M4被选择时，创作部10将讲话气泡xi和男人M4重置为配对11，并且修改信息文件。创作部10基于修改后的信息文件在配对结果在监视器15上可识别的状态下显示内容图像。结果，可以在监视器15上检查配对11的修改结果，如图25中所示。配对可以分配有编号。创作部10可以从位于右上角的讲话气泡的配对开始分配编号，或者可以基于通过操作部12的输入来分配编号。编号可以表示讲话气泡的显示顺序。最后，创作部10将在步骤S4-S9中更新的信息文件包括的主数据和内容图像存储在DB 11中(步骤S10)。图26示出主数据的结构。在该实施例中，由于每个漫画都具有信息文件，所以信息文件包括多段页信息。各个页都具有一段页信息；使一段帧信息与页信息相连接；并且使讲话气泡信息(文本信息)和感兴趣区域的信息与帧信息相连接。可以不是为每一个漫画而是为每一页创建信息文件。通过创建主数据，能够根据数字书籍阅读器、文本的自动翻译、翻译编辑和共享，以及适用于数字书籍阅读器的显示处理来编辑内容，并且有助于数字书籍的递送。在该实施例中，创作部10获取内容图像并且创建存储帧信息、讲话气泡信息、文本信息等的主数据。然而，创作部10可以获取具有存储各种信息的信息文件的主数据(等效于在图2中所示的步骤S2中创建的主数据)，并且然后执行步骤S3-S10中的处理，并且可以将最终的主数据存储在DB中。而且，创作部10可以获取具有在其中自动提取帧、讲话气泡和文本的信息文件的主数据(等效于图2中所示的步骤S3中创建的主数据)，并且存储帧信息、讲话气泡信息和文本信息，并且在执行了步骤S4-S10中的处理之后，将最终的主数据存储在DB中。(B)主数据编辑处理图27示出用于对数字书籍阅读器执行编辑的显示屏幕。创作部10在监视器15上显示内容图像。创作部10基于信息文件用粗线显示每帧的帧边界线。大体上在每帧的中心处，显示表示帧的读取顺序的帧顺序。帧顺序的显示不限于以上，而是帧顺序可以显示在帧的拐角处。创作部10从DB 11等获取数字书籍阅读器2的屏幕尺寸，并且基于关于数字书籍阅读器2的屏幕尺寸的信息和信息文件的信息，显示表示数字书籍阅读器2的屏幕尺寸的边界F，将其叠加在内容图像上。当用户通过操作部12输入垂直地/水平地移动边界F的指令时，创作部10响应于来自操作部12的指令垂直地/水平地移动边界F。创作部10确定最小显示次数；即，基于关于数字书籍阅读器2的屏幕尺寸的信息和信息文件的信息显示整个帧所必须的滚动次数，并且显示该信息(标记)，将其叠加在内容图像上。在该实施例中，由于标记被显示在大体上每帧的中心处，在图27中，帧顺序被显示为叠加在标记上。在图27中,滚动次数通过矩形标记来表示。当滚动次数是I时，在图27中,像巾贞3和4那样，帧顺序利用在的每个边缘长度为a的正方形形状的标记来显示。当滚动次数是2或更多时，显示每个边缘长度为a的整数倍的矩形标记。当垂直方向上的滚动是η次；并且水平方向上的滚动是m次时，显示垂直和水平长度为naXma的矩形标记。在图27中具有帧顺序1、2、6和7的帧中，由于水平滚动是两次并且垂直滚动是一次，所以显示水平方向为2a并且垂直方向上为a的矩形标记。通过如上所述来显示标记，通过一看标记就可以容易地理解滚动的次数和方向，而不用在每帧上插入边界F。
用户如上移动帧边界线，同时监控显示在监视器15上的图像。当用户通过操作部12在帧边界线上进行双击等时，创作部10在帧边界线上显示顶点，如图28中所示，以允许对帧边界线编辑。当用户在与步骤S4 (图9) 一样通过操作部12拖拽期望的顶点时，移动顶点并且修改帧边界线的形状。通过重复该操作，可以改变帧边界线的形状(例如，从五边形到矩形)和尺寸。而且，可以添加或删除顶点。由于添加或删除顶点的操作与步骤S4相同，在此省略其描述。当帧的尺寸稍微大于数字书籍阅读器2的屏幕尺寸时，创作部10基于关于数字书籍阅读器2的屏幕尺寸的信息和信息文件的信息，利用不同于其他帧边界线的颜色，显示稍微大于数字书籍阅读器2的屏幕尺寸的帧的帧边界线。当帧的垂直和水平尺寸稍微大于数字书籍阅读器2的屏幕尺寸时的情况可以想到，例如，假设数字书籍阅读器2的屏幕尺寸的约10%作为阈值，帧的边缘的长度大于数字书籍阅读器2的屏幕尺寸约10%的情况。在图27中，具有帧顺序5的帧的帧边界线以不同于其他帧边界线的颜色来指示。在稍微大于数字书籍阅读器2的屏幕尺寸的帧中，滚动次数可以被减少为一次，并且可以通过将帧内不重要的部分布置为不可见，就像其不包括在帧中，来增加可见性。如图29中所示，稍微大于边界F的具有帧顺序5的帧的帧边界线的位置和形状被改变，使得滚动次数变为一次。在图29中，具有帧顺序5的帧被布置为较小，使得左端部分从帧中排除，导致一次的滚动次数。在如上改变滚动次数之后，创作部10检测滚动次数并且更新信息文件。而且，创作部10将标记的尺寸改变为aXa，并且将具有帧顺序5的帧的帧边界线的颜色改变为与其他帧的颜色相同。可以删除或添加帧边界线。由于添加/删除帧边界线的方法与步骤S4中的方法相同，所以省略其描述。例如，在选择预定帧的状态下，当用户通过操作部12选择帧的预定帧边界线时，删除所选的帧。例如，当帧的尺寸小并且边界F包括两个帧时，那个通过使用单个巾贞来有效显示。创作部10能够在监视器15上显示预览屏幕。图30示出预览屏幕的示例。创作部10在监视器15上显示内容图像，同时将表示数字书籍阅读器2的屏幕尺寸的边界F叠加在内容图像上。创作部10半透明地覆盖边界F的外部，以预览仅在边界F内可见的屏幕。不仅半透明地覆盖边界F的外部，边界F的外部也可以以灰色来覆盖。当用户通过操作部12给出指令时，创作部10滚动边界F以显示下一个预览屏幕。当剩余任何帧未被预览时，创作部10移动边界F以示出正被预览的每帧，半透明地显示边界F的外部，使得每帧都可以被预览。在图30中所示的示例中，边界F向左移动一段距离“t”。当正被预览的每帧完成预览时，创作部10移动边界F，使得具有下一个帧顺序的帧的右端与边界F的右端对准，并且半透明地显示边界F的外部。通过这样，用户可以在数字书籍阅读器2上检查图像的状态。从而，可以更适当地编辑主数据。主数据的编辑处理不限于创作部10创建主数据的情况。由外部数字漫画生成设备创建的主数据可以被存储在服务器I的DB 11中并且对其编辑。根据实施例，通过数字书籍的递送服务器创建和编辑数字漫画的内容的主数据。然而，关于用于创建主数据的装置，可以是不同于递送内容的服务器的数字漫画编辑器。数字漫画编辑器可以被配置有通用个人计算机，其中，根据本发明的数字漫画编辑程序经由存储其的存储介质来安装。响应于来自各种移动终端的递送请求，通过服务器(递送服务器)来递送如上所述创建和编辑的主数据。在该情况下，递送服务器获取关于移动终端的模型的一段信息。主数据可以在被处理为适用于由模型(屏幕尺寸等)来浏览的数据之后被递送；主数据可以在不被处理的情况下被递送。当主数据在不被处理的情况下被递送时，在主数据能够被浏览之前，必须使用移动终端侧的阅读器软件将主数据转换为适用于移动终端的数据。然而，主数据包括上述信息文件。阅读器软件使用在信息文件中描述的信息在移动终端上显示内容。本发明不限于上述实施例。不必说，在本发明的精神的范围内可以进行各种修改。
权利要求
1.一种数字漫画编辑器，包括: 数据获取装置，所述数据获取装置获取数字漫画的一段主数据， 所述主数据包括: 对应于所述漫画的每页的图像文件，所述图像文件具有整页的高分辨率图像，以及对应于所述漫画的每页或所有页的信息文件，在所述信息文件中描述一段讲话气泡信息，该段讲话气泡信息包括表示在所述图像中用于包含人物的对话的讲话气泡的区域的一段讲话气泡区域信息； 显示控制装置，所述显示控制装置控制显示装置，以在其上基于由所述数据获取装置获取的所述主数据中的所述图像文件显示图像，并且在将表示讲话气泡区域的图像叠加在基于所述图像文件的图像上的同时，基于在所述主数据中的所述信息文件中包括的所述讲话气泡区域信息，显示所述表示讲话气泡区域的图像； 指示装置，所述指示装置指示在所述显示装置上显示的所述图像上的位置； 讲话气泡区域添加装置，所述讲话气泡区域添加装置将一段新的讲话气泡区域信息添加到由所述指示装置指示的位置； 讲话气泡区域删除装置，所述讲话气泡区域删除装置从由所述指示装置指示的位置删除讲话气泡区域信息；以及 编辑装置，基于通过所述讲话气泡区域添加装置添加的讲话气泡区域信息和通过所述讲话气泡区域删除装置删除的讲话气泡区域信息，所述编辑装置更新在所述信息文件中包括的所述讲话气泡区域信息。
2.根据权利要求1 所述的数字漫画编辑器，进一步包括:讲话气泡区域检测装置，所述讲话气泡区域检测装置检测用于包围由所述指示装置指示的位置的外围的一段闭合区域信息作为一段讲话气泡区域信息，其中 所述显示控制装置进行控制，以在将表示所述讲话气泡区域的图像叠加在基于所述图像文件的图像上的同时，基于由所述讲话气泡区域检测装置检测的所述讲话气泡区域信息，显示所述表示所述讲话气泡区域的图像，并且 所述讲话气泡区域添加装置添加由所述讲话气泡区域检测装置检测的所述讲话气泡区域信息。
3.根据权利要求1所述的数字漫画编辑器，其中，所述讲话气泡区域信息是表示所述讲话气泡区域的外围边缘的一段矢量数据或者表示所述讲话气泡区域的一段掩模数据。
4.根据权利要求1所述的数字漫画编辑器，其中，所述显示控制装置进行控制，以基于所述讲话气泡区域信息，显示覆盖的讲话气泡区域的图像或者绘制有所述讲话气泡区域的外围边缘的图像。
5.根据权利要求1所述的数字漫画编辑器，进一步包括: 图像获取装置，所述图像获取装置获取具有所述整页的高分辨率图像的图像文件； 讲话气泡区域提取装置，所述讲话气泡区域提取装置分析由所述图像获取装置获取的所述整页的图像，并且自动地提取所述图像中的所述讲话气泡区域； 信息文件创建装置，所述信息文件创建装置创建信息文件，在所述信息文件中描述所述一段讲话气泡信息，该段讲话气泡区域信息包括表示由所述讲话气泡区域提取装置提取的讲话气泡区域的一段讲话气泡区域信息；以及主数据创建装置，所述主数据创建装置创建所述数字漫画的一段主数据， 所述主数据包括: 由所述图像获取装置为所述漫画的每页获取的图像文件；以及对应于所述漫画的每页或所有页的信息文件，所述信息文件由所述信息文件创建装置创建， 其中，所述数据获取装置获取由所述主数据创建装置创建的一段主数据。
6.根据权利要求5所述的数字漫画编辑器，其中，所述讲话气泡区域提取装置包括文本检测装置，所述文本检测装置检测所述图像中的文本并且检测包围由所述文本检测装置检测的所述文本的外围的闭合区域作为所述讲话气泡区域。
7.一种数字漫画编辑器，包括: 数据获取装置，获取数字漫画的一段主数据， 所述主数据包括: 对应于所述漫画的每页的图像文件，所述图像文件具有整页的高分辨率图像，以及对应于所述漫画的每页或所有页的信息文件，在所述信息文件中描述表示所述漫画中的文本区域的一段文本区域信息； 显示控制装置，所述显示控制装置控制显示装置，以在其上基于由所述数据获取装置获取的所述主数据中的所述图像文件显示图像，并且在将表示文本区域的图像叠加在基于所述图像文件的图像上的同时，基于在所述主数据中的所述信息文件中包括的所述文本区域信息，显示所 述表示文本区域的图像； 指示装置，所述指示装置指示在所述显示装置上显示的所述图像上的位置； 文本区域添加装置，所述文本区域添加装置将一段新的文本区域信息添加至由所述指示装置指示的位置； 文本区域删除装置，所述文本区域删除装置从由所述指示装置指示的位置删除文本区域信息；以及 编辑装置，基于由所述文本区域添加装置添加的文本区域信息和由所述文本区域删除装置删除的文本区域信息，所述编辑装置更新在所述信息文件中包括的所述文本区域信肩、O
8.根据权利要求7所述的数字漫画编辑器，进一步包括: 文本检测装置，所述文本检测装置检测邻近于由所述指示装置指示的位置的文本；以及 文本区域检测装置，所述文本区域检测装置检测用于包围由所述文本检测装置检测的所述文本的外围的一段区域信息作为一段文本区域信息，其中 所述显示控制装置进行控制，以在将表示所述文本区域的图像叠加在基于所述图像文件的图像上的同时，基于由所述文本区域检测装置检测的所述文本区域信息，显示所述表示所述文本区域的图像，并且 所述文本区域添加装置添加由所述文本区域检测装置检测的所述文本区域信息。
9.根据权利要求7所述的数字漫画编辑器，其中，所述文本区域信息是表示所述文本区域中的多边形形状的外围边缘上的每个顶点的一段坐标数据、表示所述文本区域的所述外围边缘的一段矢量数据或者表示所述文本区域的掩模数据。
10.根据权利要求7所述的数字漫画编辑器，其中，所述显示控制装置进行控制，以基于所述文本区域信息，显示所述文本区域被半透明覆盖的图像或者绘制有所述文本区域的外围边缘的图像。
11.根据权利要求7所述的数字漫画编辑器，进一步包括: 图像获取装置，所述图像获取装置获取具有所述整页的高分辨率图像的图像文件；文本区域提取装置，所述文本区域提取装置分析由所述图像获取装置获取的所述整页的图像，并且自动地提取所述图像中的所述文本区域； 信息文件创建装置，所述信息文件创建装置创建信息文件，在所述信息文件中描述表示由所述文本区域提取装置提取的所述文本区域的所述文本区域信息；以及主数据创建装置，所述主数据创建装置创建所述数字漫画的一段主数据， 所述主数据包括: 由所述图像获取装置为所述漫画的每页获取的图像文件；以及对应于所述漫画的每页或所有页的信息文件，所述信息文件由所述信息文件创建装置创建， 其中，所述数据获取装置获取由所述主数据创建装置创建的一段主数据。
12.—种数字漫画编辑器，包括: 数据获取装置，所述数据获取装置获取数字漫画的一段主数据， 所述主数据包括: 对应于所述漫画的 每页的图像文件，所述图像文件具有整页的高分辨率图像，以及对应于所述漫画的每页或所有页的信息文件，在所述信息文件中描述表示所述漫画中的感兴趣区域的一段感兴趣区域信息； 显示控制装置，所述显示控制装置控制显示装置，以在其上基于由所述数据获取装置获取的所述主数据中的所述图像文件显示图像，并且在将表示感兴趣区域的图像叠加在基于所述图像文件的图像上的同时，基于在所述主数据中的所述信息文件中包括的所述感兴趣区域信息，显示所述表示感兴趣区域的图像； 指示装置，所述指示装置指示在所述显示装置上显示的所述图像上的位置； 感兴趣区域添加装置，所述感兴趣区域添加装置将一段新的感兴趣区域信息添加至由所述指示装置指示的位置； 感兴趣区域删除装置，所述感兴趣区域删除装置从由所述指示装置指示的位置删除感兴趣区域信息；以及 编辑装置，基于由所述感兴趣区域添加装置添加的感兴趣区域信息和由所述感兴趣区域删除装置删除的感兴趣区域信息，所述编辑装置更新在所述信息文件中包括的一段感兴趣区域信息。
13.根据权利要求12所述的数字漫画编辑器，进一步包括感兴趣区域检测装置，所述感兴趣区域检测装置包括用于检测邻近于由所述指示装置指示的位置的人物的人物检测装置，并且检测包括所述人物的一段区域信息作为所述感兴趣区域信息，其中 所述显示控制装置进行控制，以在将表示所述感兴趣区域的图像叠加在基于所述图像文件的图像上的同时，基于由所述感兴趣区域检测装置检测的所述感兴趣区域信息，显示所述表示所述感兴趣区域的图像，所述感兴趣区域添加装置添加由所述感兴趣区域检测装置检测的一段感兴趣区域信肩、O
14.根据权利要求13所述的数字漫画编辑器，其中，所述人物是面部，并且所述人物检测装置是面部检测装置。
15.根据权利要求12所述的数字漫画编辑器，其中，所述感兴趣区域信息是表示所述感兴趣区域中的多边形形状的外围边缘上的每个顶点的一段坐标数据、表示所述感兴趣区域的外围边缘的一段矢量数据或者表示所述区域的一段掩模数据。
16.根据权利要求12所述的数字漫画编辑器，其中，所述显示控制装置进行控制，以基于所述感兴趣区域信息，显示所述感兴趣区域被半透明覆盖的图像或者绘制有所述感兴趣区域的外围边缘的图像。
17.根据权利要求12-16中任一项所述的数字漫画编辑器，进一步包括: 图像获取装置，所述图像获取装置获取具有所述整页的高分辨率图像的图像文件；感兴趣区域提取装置，所述感兴趣区域提取装置分析由所述图像获取装置获取的所述整页的图像，并且自动地提取所述图像中的所述感兴趣区域； 信息文件创建装置，所述信息文件创建装置创建信息文件，在所述信息文件中描述表示由所述感兴趣区域提取装置提取的所述感兴趣区域的所述感兴趣区域信息；以及主数据创建装置，所述主数据创建装置创建所述数字漫画的一段主数据， 所述主数据包括: 由所述图像获取装置为所述漫画的每页获取的图像文件； 以及 对应于所述漫画的每页或所有页的信息文件，所述信息文件由所述信息文件创建装置创建， 其中，所述数据获取装置获取由所述主数据创建装置创建的一段主数据。
18.一种数字漫画编辑方法，包括: 数据获取步骤，所述数据获取步骤获取数字漫画的一段主数据， 所述主数据包括: 对应于所述漫画的每页的图像文件，所述图像文件具有整页的高分辨率图像，以及对应于所述漫画的每页或所有页的信息文件，在所述信息文件中描述表示所述漫画的文本区域的一段文本区域信息； 显示控制步骤，所述显示控制步骤控制显示装置，以在其上基于在所述数据获取步骤中获取的所述主数据中的所述图像文件显示图像，并且在将表示讲话气泡区域的图像叠加在基于所述图像文件的图像上的同时，基于在所述主数据中的所述信息文件中包括的所述讲话气泡区域信息，显示所述表示讲话气泡区域的图像； 指示步骤，所述指示步骤指示在所述显示装置上显示的所述图像； 讲话气泡区域添加步骤，所述讲话气泡区域添加步骤将一段新的讲话气泡区域信息添加至在所述指示步骤中指示的位置； 讲话气泡区域删除步骤，所述讲话气泡区域删除步骤从在所述指示步骤中指示的位置删除讲话气泡区域信息；以及 编辑步骤，基于在所述讲话气泡区域添加步骤中添加的讲话气泡区域信息和在所述讲话气泡区域删除步骤中删除的讲话气泡区域信息，所述编辑步骤更新包括在所述信息文件中的所述讲话气泡区域信息。
19.一种数字漫画编辑方法，包括: 数据获取步骤，所述数据获取步骤获取数字漫画的一段主数据， 所述主数据包括: 对应于所述漫画的每页的图像文件，所述图像文件具有整页的高分辨率图像，以及对应于所述漫画的每页或所有页的信息文件，在所述信息文件中描述表示所述漫画的感兴趣区域的一段感兴趣区域信息； 显示控制步骤，所述显示控制步骤控制显示装置，以在其上基于在所述数据获取步骤中获取的所述主数据中的所述图像文件显示图像，并且在将表示文本区域的图像叠加在基于所述图像文件的图像上的同时，基于在所述主数据中的所述信息文件中包括的所述文本区域信息，显示所述表示文本区域的图像； 指示步骤，所述指示步骤指示在所述显示装置上显示的所述图像上的位置； 文本区域添加步骤，所述文本区域添加步骤将一段新的文本区域信息添加至在所述指示步骤中指示的位置； 文本区域删除步骤，所述文本区域删除步骤从在所述指示步骤中指示的位置删除文本区域信息；以及 编辑步骤，基于在所述文本区域添加步骤中添加的文本区域信息和在所述文本区域删除步骤中删除的文本区域信息，所述编辑步骤更新在所述信息文件中包括的所述文本区域 信息。
20.一种数字漫画编辑方法，包括: 数据获取步骤，所述数据获取步骤获取数字漫画的一段主数据， 所述主数据包括: 所述漫画的每页的、具有整页的高分辨率图像的图像文件，以及 信息文件，在所述信息文件中描述表示所述漫画的感兴趣区域的感兴趣区域信息； 显示控制步骤，所述显示控制步骤控制显示装置，以在其上基于在所述数据获取步骤中获取的所述主数据中的所述图像文件显示图像，并且在将表示感兴趣区域的图像叠加在基于所述图像文件的图像上的同时，基于在所述主数据中的所述信息文件中包括的所述感兴趣区域信息，显示所述表示感兴趣区域的图像； 指示步骤，所述指示步骤指示在所述显示装置上显示的所述图像上的位置； 感兴趣区域添加步骤，所述感兴趣区域添加步骤将一段新的感兴趣区域信息添加至在所述指示步骤中指示的位置； 感兴趣区域删除步骤，所述感兴趣区域删除步骤从在所述指示步骤中指示的位置删除感兴趣区域信息； 编辑步骤，基于在所述感兴趣区域添加步骤中添加的感兴趣区域信息和在所述感兴趣区域删除步骤中删除的感兴趣区域信息，所述编辑步骤更新在所述信息文件中包括的一段感兴趣区域信息。
全文摘要
本发明涉及数字漫画编辑器及方法。适当地编辑数字漫画的主数据，特别是，容易编辑讲话气泡区域信息，其中主数据包括用于漫画的每页的图像文件和信息文件，在信息文件中描述了包括页中的一段讲话气泡区域信息的一段讲话气泡信息。当分析对比图像并且进行讲话气泡的提取时，将讲话气泡区域信息存储在信息文件中。基于信息文件，显示覆盖所提取的讲话气泡的图像。通过这样，可以检查当前的讲话气泡提取结果。当通过操作部给出连接边界线断开的部分并且将其添加为闭合区域的指令时，闭合区域被添加为讲话气泡。当通过操作部给出删除所指示位置处的讲话气泡的指令时，删除该位置处的讲话气泡。基于所添加或删除的讲话气泡，更新在信息文件中包括的讲话气泡区域信息。
文档编号G06T11/60GK103198503SQ20121040523
公开日2013年7月10日 申请日期2012年10月22日 优先权日2011年10月21日
发明者野中俊一郎 申请人:富士胶片株式会社