图像处理装置、程序、图像处理方法及摄像装置制造方法
图像处理装置、程序、图像处理方法及摄像装置制造方法
【专利摘要】图像处理装置具有：决定部，根据拍摄图像决定具有规定的意思的文字；判定部，判定所述拍摄图像是人物图像还是是与所述人物图像不同的图像；存储部，存储有所述人物图像所使用的文章的文章结构的第1文章结构、和与所述人物图像不同的图像所使用的文章的文章结构的第2文章结构；输出部，通过所述判定部判定为所述拍摄图像是所述人物图像时，使用具有所述规定的意思的文字输出所述第1文章结构的文章，通过所述判定部判定为所述拍摄图像是与所述人物图像不同的图像时，使用具有所述规定的意思的文字输出所述第2文章结构的文章。
【专利说明】图像处理装置、程序、图像处理方法及摄像装置
【技术领域】
[0001 ] 本发明涉及图像处理装置、程序、图像处理方法及摄像装置。
[0002]本申请基于2011年12月5日提出的日本特愿2011-266143号、2011年9月21日提出的日本特愿2011-206024号、2011年12月6日提出的日本特愿2011-266805号、2011年12月7日提出的日本特愿2011-267882号、2012年9月19日提出的日本特愿2012-206296号、2012年9月19日提出的日本特愿2012-206297号、2012年9月19日提出的日本特愿2012-206298号及2012年9月19日提出的日本特愿2012-206299号主张优先权，将其内容援引于此。
【背景技术】
[0003]以往公开了一种技术:通过预先登记特定人物的生日、事件的日期和时间等，将与摄像日期和时间对应的生日的人物名、与摄像日期和时间对应的事件名等的文字信息赋予拍摄图像(例如，参照专利文献I)。
[0004]另外，在对图像进行分类的现有技术的图像处理装置中，将图像分割成预先设定的图案的区域，生成与各区域的颜色相关的分布的直方图。而且，在现有技术的图像处理装置中，将超过特定的阈值的最频出颜色决定为该区域的代表区域色。进而，在现有技术的图像处理装置中，提取该区域的特征量，基于所决定的区域的特征量和代表色，定义提取了特征量的图像，并构建图像辞典。
[0005]在现有技术的图像处理装置中，例如，提取图像上部的较大区域的代表色，基于所提取的代表色，定义“蓝天”、“阴天”、“夜空”等并构成图像辞典(例如，参照专利文献2)。
[0006]另外，当前，公开了使与拍摄图像相关的文本与拍摄图像重叠的技术(例如，参照专利文献3)。在专利文献3记载的技术中，在拍摄图像中，使文本与相对重要的被摄物体所映现的重要区域以外的非重要区域重叠来生成合成图像。具体来说，将人物的映现区域分类成重要区域，使文本重叠在不包含图像中央的非重要区域中。
[0007]另外，公开了对图像数据施加规定的颜色转换的技术(例如，参照专利文献4)。在专利文献4记载的技术中，向打印机送出施加了规定的颜色转换的图像数据时，将图像数据划分成图形图像数据、文字图像数据及文字以外的非图形图像数据，对图形图像数据实施第I颜色转换，对文字图像数据实施第I颜色转换或第2颜色转换，对文字以外的非图形图像数据实施第I颜色转换或第2颜色转换。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1:日本特开平2-303282号公报
[0011]专利文献2:日本特开2001-160057号公报
[0012]专利文献3:日本特开2007-96816号公报
[0013]专利文献4:日本特开2008-293082号公报
【发明内容】
[0014]但是，专利文献I记载的现有技术只能将用户事先登记的文字信息赋予拍摄图像。
[0015]另外，在专利文献2记载的现有技术中，由于通过按预先设定的区域提取出的特征量和最频出颜色即代表色进行分类，所以对图像进行分类(贴标(labeling))的计算处理的负担大。
[0016]另外，在专利文献3记载的现有技术中，没有考虑使文本与图像重叠时的可读性。由此，例如，存在如下情况:文本与存在复杂纹理的区域重叠时，文本显示所使用的字体的轮廓和纹理的边缘重合，文本的可读性降低。即，文本难以读出。
[0017]另外，在专利文献4记载的现有技术中，使与图像相关的文本与该图像重叠的情况下，关于控制该文本的字体颜色这一内容，也没有进行充分的考虑。
[0018]例如，在固定字体颜色的情况下，根据所提供的图像的内容，文本的字体颜色和描绘有该文本的图像区域的颜色之间的对比几乎不存在，文本的可读性明显降低。
[0019]另外，固定字体颜色、或者作为字体颜色使用从图像信息算出的互补色的情况下，会大幅改变该图像的印象。
[0020]本发明的一方式的目的是提供能够对于拍摄图像附加更灵活的文字信息的技术。
[0021]其他目的是提供能够减轻用于对图像贴标的计算处理的负荷的图像处理装置、摄像装置及程序。
[0022]另外，其他目的是提供能够以使阅览者容易阅读文本的方式将文本合成在图像中的图像处理装置、程序、图像处理方法及摄像装置。
[0023]另外，其他目的是提供能够以适度的字体颜色将文本合成在图像中的图像处理装置、程序、图像处理方法及摄像装置。
[0024]本发明的一方式的图像处理装置，其特征在于，具有:图像输入部，输入拍摄图像；存储部，作为将单词插入到规定的空栏部来完成文章的文章模板存储有对于人物为被摄物体的人物图像生成文章所使用的人物图像用模板、和对于风景为被摄物体的风景图像生成文章所使用的风景图像用模板；判定部，判定所述拍摄图像是所述人物图像还是所述风景图像；文章生成部，根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
[0025]本发明的其他方式的图像处理装置，其特征在于，包括:图像输入部，输入拍摄图像；决定部，决定与所述拍摄图像的特征量及所述拍摄图像的拍摄条件的至少一方对应的文本；判定部，判定所述拍摄图像是第I类别的图像还是是与所述第I类别不同的第2类别的图像；存储部，存储有所述第I类别所使用的文章的文章结构的第I文章结构、和所述第2类别所使用的文章的文章结构的第2文章结构；文章生成部，通过所述判定部判定为所述拍摄图像是所述第I类别的图像时，使用所述决定部所决定的所述文本生成所述第I文章结构的文章，通过所述判定部判定为所述拍摄图像是所述第2类别的图像时，使用所述决定部所决定的所述文本生成所述第2文章结构的文章。
[0026]本发明的其他方式的摄像装置，其特征在于，具有:摄像部，拍摄被摄物体并生成拍摄图像；存储部，作为将单词插入到规定的空栏部来完成文章的文章模板，存储有对于人物为被摄物体的人物图像生成文章所使用的人物图像用模板、对于风景为被摄物体的风景图像生成文章所使用的风景图像用模板；判定部，判定所述拍摄图像是所述人物图像还是所述风景图像；文章生成部，根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
[0027]本发明的其他方式的程序，其特征在于，使图像处理装置的计算机执行步骤，其中，所述图像处理装置具有存储部，该存储部作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，所述人物图像用模板用于对人物为被摄物体的人物图像生成文章，所述风景图像用模板用于对风景为被摄物体的风景图像生成文章，所述程序使所述图像处理装置的计算机执行的步骤为:输入拍摄图像的图像输入步骤；判定所述拍摄图像是所述人物图像还是所述风景图像的判定步骤；文章生成步骤，根据所述判定步骤对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
[0028]本发明的其他方式的图像处理装置，其特征在于，具有:决定部，根据拍摄图像决定具有规定的意思的文字；判定部，判定所述拍摄图像是人物图像还是是与所述人物图像不同的图像；存储部，存储有所述人物图像所使用的文章的文章结构的第I文章结构、和与所述人物图像不同的图像所使用的文章的文章结构的第2文章结构；输出部，通过所述判定部判定为所述拍摄图像是所述人物图像时，使用具有所述规定的意思的文字输出所述第I文章结构的文章，通过所述判定部判定为所述拍摄图像是与所述人物图像不同的图像时，使用具有所述规定的意思的文字输出所述第2文章结构的文章。
[0029]本发明的其他方式的图像处理装置，其特征在于，具有:图像取得部，取得所拍摄的图像数据；场景判别部，从所述取得的图像数据判别场景；主色提取部，基于颜色信息的频率分布从所述取得的图像数据提取主色；存储部，按场景附带关联地预先存储有颜色信息和第I标签；第I标签生成部，从所述存储部读出与所述提取的主色和所述判别的场景附带关联地预先存储的所述第I标签，将所述读出的第I标签作为所述取得的图像数据的标签生成。
[0030]本发明的其他方式的摄像装置，其特征在于，具有上述记载的图像处理装置。
[0031]本发明的其他方式的程序，是使计算机执行具有摄像部的图像处理装置的图像处理的程序，其特征在于，使计算机执行如下步骤:图像取得步骤，取得所拍摄的图像数据；场景判别步骤，从所述取得的图像数据判别场景；主色提取步骤，基于颜色信息的频率分布从所述取得的图像数据提取主色；第I标签生成步骤，读出所述提取的主色、并从按场景附带关联地预先存储了颜色信息和第I标签的存储部读出所述第I标签，将所述读出的第I标签作为所述取得的图像数据的标签生成。
[0032]本发明的其他方式的图像处理装置，其特征在于，具有:场景判别部，判别是否是人物摄影场景；颜色提取部，通过所述场景判别部判别为不是人物摄影场景时，从所述图像数据提取颜色信息；存储部，附带关联地预先存储颜色信息和具有规定的意思的文字；读出部，通过所述场景判别部判别为不是人物摄影场景时，从所述存储部读出与由所述颜色提取部提取的所述颜色信息对应的具有所述规定的意思的文字。
[0033]本发明的其他方式的图像处理装置，其特征在于，包括:取得部，取得图像数据及文本数据；检测部，检测所述取得部所取得的所述图像数据的边缘；区域决定部，基于由所述检测部检测的边缘，决定所述图像数据中的配置所述文本数据的区域；图像生成部，生成在由所述区域决定部决定的区域中配置有所述文本数据的图像。
[0034]本发明的其他方式的图像处理装置，其特征在于，具有:图像输入部，输入图像数据；边缘检测部，检测通过所述图像输入部被输入的图像数据中的边缘；文本输入部，输入文本数据；区域决定部，基于通过所述边缘检测部检测的边缘，决定所述图像数据中的所述文本数据的合成区域；合成部,将所述文本数据合成到通过所述区域决定部决定的合成区域。
[0035]本发明的其他方式的程序，其特征在于，使计算执行如下步骤:输入图像数据的步骤；输入文本数据的步骤；检测所述输入的图像数据中的边缘的步骤；基于所述检测的边缘，决定所述图像数据中的所述文本数据的合成区域的步骤；将所述文本数据合成到所述决定的合成区域的步骤。
[0036]本发明的其他方式的图像处理方法，其特征在于，具有:图像处理装置输入图像数据的步骤；所述图像处理装置输入文本数据的步骤；所述图像处理装置检测所述输入的图像数据中的边缘的步骤；所述图像处理装置基于所述检测的边缘，决定所述图像数据中的所述文本数据的合成区域的步骤；所述图像处理装置将所述文本数据合成到所述决定的合成区域的步骤。
[0037]本发明的其他方式的摄像装置，其特征在于，具有上述图像处理装置。
[0038]本发明的其他方式的图像处理装置，其特征在于，包括:检测部，检测图像数据的边缘；区域决定部，基于由所述检测部检测的所述边缘的位置，决定所述图像数据中的配置文字的配置区域；图像生成部，生成在通过所述区域决定部决定的所述配置区域中配置有所述文字的图像。
[0039]本发明的其他方式的图像处理装置，其特征在于，具有:图像输入部，输入图像数据；文本设定部，决定文本的数据；文本合成区域设定部，设定在通过所述图像输入部输入的图像数据中合成通过所述文本设定部设定的文本的数据的区域即文本合成区域；字体设定部，包括字体颜色设定部，其对于基于通过所述图像输入部输入的图像数据及通过所述文本合成区域设定部设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体；合成图像生成部，使用通过所述字体设定部设定的至少包含字体颜色的字体，生成在通过所述图像输入部输入的图像数据的、通过所述文本合成区域设定部设定的文本合成区域中合成了通过所述文本设定部设定的文本的数据的图像的数据即合成图像的数据。
[0040]本发明的其他方式的程序，其特征在于，使计算机执行如下步骤:输入图像数据的步骤；设定文本的数据的步骤；设定在所述输入的图像数据中合成所述设定的文本的数据的区域即文本合成区域的步骤；对于基于所述输入的图像数据及所述设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤；使用所述设定的至少包含字体颜色的字体，生成在所述输入的图像数据的、所述设定的文本合成区域中合成了所述设定的文本的数据的图像的数据即合成图像的数据的步骤。
[0041]本发明的其他方式的图像处理方法，其特征在于，具有:图像处理装置输入图像数据的步骤；所述图像处理装置设定文本的数据的步骤；所述图像处理装置设定在所述输入的图像数据中合成所述设定的文本的数据的区域即文本合成区域的步骤；所述图像处理装置对于基于所述输入的图像数据及所述设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤；所述图像处理装置使用所述设定的至少包含字体颜色的字体，生成在所述输入的图像数据的、所述设定的文本合成区域中，合成了所述设定的文本的数据的图像的数据即合成图像的数据的步骤。
[0042]本发明的其他方式的摄像装置，其特征在于，具有上述图像处理装置。
[0043]本发明的其他方式的图像处理装置，其特征在于，包括:取得部，取得图像数据及文本数据；区域决定部，决定所述图像数据中的配置所述文本数据的文本配置区域；颜色设定部，对文本数据设定规定的颜色；图像生成部，生成在所述文本配置区域中配置了所述规定的颜色的所述文本数据的图像，所述图像数据的所述文本配置区域的色相值和所述文本数据的色相值之比，相较于所述图像数据的所述文本配置区域的色调值和所述文本数据的色调值之比，更接近I。
[0044]本发明的其他方式的图像处理装置，其特征在于，包括:决定部，决定图像数据中的配置文字的配置区域；颜色设定部，对文字设定规定颜色；图像生成部，生成在所述配置区域中配置有所述文字的图像，所述颜色设定部以如下方式设定所述规定颜色，即:所述配置区域的色相值和所述文字的色相值之比，相较于所述配置区域的色调值和所述文字的色调值之比，更接近I。
[0045]发明的效果
[0046]根据本发明的方式，能够对拍摄图像灵活地赋予文字信息。
[0047]另外，根据本发明的方式，能够实现适于图像的贴标。
[0048]另外，根据本发明的方式，能够以使阅览者容易阅读文本的方式，将文本合成到图像中。
[0049]另外，根据本发明的方式，能够以适度的字体颜色将文本合成到图像中。
【专利附图】
【附图说明】
[0050]图1是本发明的一实施方式的图像处理装置的功能框图的一例。
[0051]图2A是存储在存储部的文章模板的一例。
[0052]图2B是存储在存储部的文章模板的一例。
[0053]图2C是存储在存储部的文章模板的一例。
[0054]图2D是存储在存储部的文章模板的一例。
[0055]图3A是存储在存储部的单词的一例。
[0056]图3B是存储在存储部的单词的一例。
[0057]图4A是用于说明拍摄图像的配色方案的提取的说明图。
[0058]图4B是用于说明拍摄图像的配色方案的提取的说明图。[0059]图4C是用于说明拍摄图像的配色方案的提取的说明图。
[0060]图4D是用于说明拍摄图像的配色方案的提取的说明图。
[0061]图5是表示图像处理装置的工作的一例的流程图。
[0062]图6是表示图像处理装置的工作的一例的流程图。
[0063]图7A是通过文章添加部添加了文章的拍摄图像的一例。
[0064]图7B是通过文章添加部添加了文章的拍摄图像的一例。
[0065]图7C是通过文章添加部添加了文章的拍摄图像的一例。
[0066]图7D是通过文章添加部添加了文章的拍摄图像的一例。
[0067]图7E是通过文章添加部添加了文章的拍摄图像的一例。
[0068]图8是另一实施方式的摄像装置的功能框图的一例。
[0069]图9是表示另一实施方式的摄像系统的结构的概要框图。
[0070]图10是图像处理部的框图。
[0071]图11是用于说明与图像数据附带关联地存储在存储介质中的图像识别信息的一例的图。
[0072]图12是用于说明存储在表格存储部中的主色的组合和第I标签的一例的图。
[0073]图13是用于说明图像数据的主色的一例的图。
[0074]图14A是用于说明图13中被提取的主色的贴标(labeling)的一例的图。
[0075]图14B是用于说明图13中被提取的主色的贴标的一例的图。
[0076]图15A是体育的图像数据的一例。
[0077]图15B是表示图15A的体育的图像数据的颜色矢量的图。
[0078]图16A是肖像(portrait)的图像数据的一例。
[0079]图16B是表示图16A的肖像的图像数据的颜色矢量的图。
[0080]图17A是风景的图像数据的一例。
[0081]图17B是表示图17A的风景的图像数据的颜色矢量的图。
[0082]图18是用于说明每个场景的主色的组合的第I标签的一例的图。
[0083]图19是用于说明根据时刻、季节和颜色矢量产生的第I标签的例子的图。
[0084]图20是摄像装置所进行的标签生成的流程图。
[0085]图21是另一实施方式的图像处理部的框图。
[0086]图22是另一实施方式的图像处理部的框图。
[0087]图23是摄像装置所进行的标签生成的流程图。
[0088]图24是用于说明从另一实施方式的图像数据提取多个颜色矢量的一例的图。
[0089]图25是表示图像处理部的功能性结构的框图。
[0090]图26A是表示输入图像的一例的印象图。
[0091]图26B是表示全局成本图像的一例的印象图。
[0092]图26C是表示面部成本图像的一例的印象图。
[0093]图26D是表示边缘成本图像的一例的印象图。
[0094]图26E是表示最终成本图像的一例的印象图。
[0095]图26F是表示合成图像的一例的印象图。
[0096]图27是表示静态图像的合成处理的顺序的流程图。[0097]图28是表示动态图像的合成处理的顺序的流程图。
[0098]图29是表示另一实施方式的图像处理部的功能性结构的框图。
[0099]图30是表示合成处理的顺序的流程图。
[0100]图31是表示另一实施方式的图像处理部的功能性结构的框图。
[0101]图32是表示合成处理的顺序的流程图。
[0102]图33是表示文本矩形区域内的成本的总和的算出方法的印象图。
[0103]图34是表示另一实施方式的图像处理部的功能性结构的框图。
[0104]图35是表不通过PCCS表色系中的色调进彳丁的对比的协调关系的图。
[0105]图36是表示在图像处理部中进行的处理的顺序的流程图。
[0106]图37是表示在字体设定部中进行的处理的顺序的流程图。
[0107]图38是用印象图表示图像数据的一例的图。
[0108]图39是用印象图表示合成图像的数据的一例的图。
[0109]图40是用印象图表示合成图像的数据的一例的图。
[0110]图41是用灰色标度(gray scale)表示PCCS表色系的色相环的一例的图。
[0111]图42是用灰色标度表不PCCS表色系的色调的一例的图。
[0112]图43是表示12种有彩色的色调的图。
[0113]图44是表示5种无彩色的色调的图。
[0114]图45是示意地表示提取拍摄图像的特征量的过程的一例的图。
[0115]图46是示意地表示提取拍摄图像的特征量的过程的另一例的图。
[0116]图47是示意地表示笑脸等级的判定方法的流程图。
[0117]图48A是表示来自图像处理装置的输出图像的一例的图。
[0118]图48B是表示来自图像处理装置的输出图像的另一例的图。
[0119]图49是表示摄像装置的图像处理部的内部结构的概要框图。
[0120]图50是表示代表色的决定的流程的流程图。
[0121]图51是表示图像处理部中的处理的一例的概念图。
[0122]图52是表示图像处理部中的处理的一例的概念图。
[0123]图53是表示对于图52所示的主要区域实施的聚类(clustering)的结果的概念图。
[0124]图54是通过文章添加部添加了文章的图像的一例。
[0125]图55是通过文章添加部添加了文章的图像的另一例。
[0126]图56是表不颜色和单词的对应表格的一例的图。
[0127]图57是表不远景图像(第2场景图像)用的对应表格的一例的图。
[0128]图58是表不其他图像(第3场景图像)用的对应表格的一例的图。
【具体实施方式】
[0129](第I实施方式)
[0130]以下，参照【专利附图】
【附图说明】本发明的第I实施方式。图1是本发明的第I实施方式的图像处理装置1001的功能框图的一例。图2A?2D是存储在存储部1090中的文章模板的一例。图3A、3B是存储在存储部1090中的单词的一例。图4A?4D是用于说明拍摄图像的配色方案的提取的说明图。
[0131]如图1所示，图像处理装置1001具有图像输入部1010、判定部1020、文章生成部1030、文章添加部1040及存储部1090。图像输入部1010通过例如网络或存储介质输入拍摄图像。图像输入部1010将拍摄图像向判定部1020输出。
[0132]存储部1090存储将单词插入到规定的空栏部而完成文章的文章模板。具体来说，存储部1090作为文章模板而存储有:对于人物为被摄物体的图像(以下称为人物图像)来说的文章生成所使用的人物图像用模板；对于风景(也称为第2类别)为被摄物体的图像(以下称为风景图像)来说的文章生成所使用的风景图像用模板。此外，人物图像的一例是肖像(也称为第I类别)。
[0133]例如，存储部1090存储图2A、2B所示那样的两种人物图像用模板。此外，图2A、2B所示的人物图像用模板具有插入与被摄物体的人数相应的单词的空栏部(记作空栏部{人数})、及插入与拍摄图像的配色方案相应的单词的空栏部(记作空栏部{形容词})。
[0134]另外,例如,存储部1090存储图2C、2D所示那样的两种风景图像用模板。此外，图2C所示的风景图像用模板具有插入与拍摄图像的拍摄条件(日期和时间)相应的单词的空栏部(空栏部{日期和时间})、及插入与拍摄图像的配色方案相应的单词的空栏部。另外，图2D所示的风景图像用模板具有插入与拍摄图像的拍摄条件(场所)相应的单词的空栏部(记作空栏部{场所})、及插入与拍摄图像的配色方案相应的单词的空栏部。
[0135]此外，上述人物图像用模板是使焦点位于作为被摄物体被拍摄的人物而被制图这样的文章模板，也就是说，将空栏部设定在由作为被摄物体被拍摄的人物的视角产生的文章而成的文章模板。例如，图2A的人物图像用模板的措辞“度过了”、图2B的人物图像用模板的措辞“摆姿势”表现了被拍摄的人物的视角。另外，上述风景图像用模板是从拍摄图像整体被制图这样的文章模板，也就是说，将空栏部设定在由拍摄被摄物体的摄影者的视角产生的文章而成的文章模板。例如，图2C的风景图像用模板的措辞“一张”、图2D的风景图像用模板的措辞“景色”表现了摄影者的视角。
[0136]而且，存储部1090除了存储文章模板(人物图像用模板、风景图像用模板)以外，还存储插入在文章模板的各空栏部中的单词。例如，如图3A所示，存储部1090与拍摄图像的被摄物体的人数对应地，作为插入空栏部{人数}的单词而存储与人数相关的单词。
[0137]例如，使用人物图像用模板的情况下，被摄物体的人数为“I”时，在人物图像用模板的空栏部{人数}中插入单词“一人”。此外，文章生成部1030从存储部1090读出要使用的文章模板，将单词插入空栏部(后述)。
[0138]另外，如图3B所示，存储部1090与拍摄图像的配色方案对应地，作为插入人物图像用模板的空栏部{形容词}或风景图像用模板的空栏部{形容词}的单词而存储人物图像用的形容词及风景图像用的形容词。
[0139]例如，使用人物图像用模板的情况下，拍摄图像的整个区域的配色方案是图4A所示的第I色“色I”、第2色“色2”、第3色“色3”时，在人物图像用模板的空栏部{形容词}中插入单词“酷的”。另外，使用风景图像用模板的情况下，拍摄图像的整个区域的配色方案是图4B所示的第I色“色2”、第2色“色I”、第3色“色4”时，在风景图像用模板的空栏部{形容词}中插入单词“繁华的”。
[0140]上述色I?色5是将在拍摄图像中实际表现的各种颜色通过例如暖色系/冷色系等的基准分类成5种颜色(5个代表色)而成的。换言之，将拍摄图像的各像素的像素值通过例如暖色系/冷色系等的基准而分类成的5种颜色是上述色I?色5。
[0141]另外，构成配色方案的第I色是色I?色5中的在该拍摄图像中最多地被表现的颜色，第2色是色I?色5中的在该拍摄图像中第2多地被表现的颜色，第3色是色I?色5中的在该拍摄图像中第3多地被表现的颜色。换言之，将像素值分类成色I?色5时所被分类的像素数最多的颜色是第I色，将像素值分类成色I?色5时所被分类的像素数第2多的颜色是第2色，将像素值分类成色I?色5时所被分类的像素数第3多的颜色是第3色。
[0142]此外，文章生成部1030从拍摄图像提取配色方案。
[0143]此外，也可以代替拍摄图像的整个区域的配色方案，使用拍摄图像上的一部分区域中的配色方案。也就是说，文章生成部1030也可以在空栏部插入与拍摄图像上的一部分区域的配色方案相应的形容词。具体来说，文章生成部1030也可以与拍摄图像是人物图像还是风景图像相应地决定拍摄图像上的规定区域，将与所决定的拍摄图像上的规定区域的配色方案相应的形容词插入空栏部。
[0144]例如，文章生成部1030也可以如图4C所示地在拍摄图像是人物图像时，将该人物图像的中央部的区域决定为规定区域，提取中央部的区域的配色方案，将与所提取的配色方案相应的形容词插入空栏部。另外，文章生成部1030也可以如图4D所示地在拍摄图像是风景图像时，将该风景图像的上部的区域决定为规定区域，提取上述区域的配色方案，将与所提取的配色方案相应的形容词插入空栏部。
[0145]另外，虽然省略了图示，但存储部1090与摄像日期和时间建立对应地作为插入空栏部{日期和时间}的单词而存储与日期和时间相关的单词(例如，时刻、“早晨”、“黄昏”、“盛夏！！ ”、...)。另外，存储部1090与摄影场所附带对应关系地作为插入空栏部{场所}的单词而存储与场所相关的单词(例如，“北国”、“古都”、“富士山”、“雷门”、...)。
[0146]判定部1020从图像输入部1010取得拍摄图像。判定部1020判定所取得的拍摄图像是人物图像还是风景图像。以下，关于判定部1020对人物图像/风景图像的判定进行详细说明。此外，第I阈值(也被称为Flow)是比第2阈值(也被称为Fhigh)小的值。
[0147]判定部1020尝试拍摄图像内的面部区域的识别。
[0148](面部区域=0的情况)
[0149]判定部1020在拍摄图像内连一个面部区域都没有识别出的情况下，判定该拍摄图像为风景图像。
[0150](面部区域=1的情况)
[0151]判定部1020在拍摄图像内识别出了一个面部区域的情况下，根据下述式(1)，算出面部区域的大小相对于拍摄图像的大小的比例R。
[0152]R=Sf/Sp...(I)
[0153]上述式(I)的Sp是拍摄图像的大小，具体来说，使用拍摄图像的长度方向的长度。上述式(I)的Sf是面部区域的大小，具体来说，使用与面部区域外接的矩形的长度方向的长度(或者，包围面部区域的椭圆的长轴的长度(长径))。
[0154]算出了比例R的判定部1020对比例R和第I阈值Flow进行比较。判定部1020在判定为比例R小于第I阈值Flow的情况下，判定为该拍摄图像是风景图像。另一方面，判定部1020在判定为比例R在第I阈值Flow以上的情况下，对比例R和第2阈值Fhigh进行比较。
[0155]判定部1020在判定为比例R在第2阈值Fhigh以上的情况下，判定为该拍摄图像是人物图像。另一方面，判定部1020在判定为比例R小于第2阈值Fhigh的情况下,判定为该拍摄图像是风景图像。
[0156](面部区域≥2的情况)
[0157]判定部1020在拍摄图像内识别了多个面部区域的情况下，根据下述式(2)，算出各面部区域的大小相对于拍摄图像的大小的比例R (i)。
[0158]R (i) =Sf ( i) /Sp...(2)
[0159]上述式(2)的Sp与上述式(I)相同。上述式(2)的Sf (i)是第i个面部区域的大小，具体来说，使用与第i个面部区域外接的矩形的长度方向的长度(或者，包围面部区域的椭圆的长轴的长度(长径))。
[0160]算出了 R (i)的判定部1020算出R (i)的最大值(Rmax)。即，判定部1020算出最大的面部区域的大小相对于拍摄图像的大小的比例Rmax。
[0161]算出了比例Rmax的判定部1020对比例Rmax和第I阈值Flow进行比较。判定部1020在判定为比例Rmax小于第I阈值Flow的情况下,判定为该拍摄图像是风景图像。另一方面，判定部1020在判定为比例Rmax在第I阈值Flow以上的情况下,对比例Rmax和第2阈值Fhigh进行比较。
[0162]判定部1020在判定为比例Rmax在第2阈值Fhigh以上的情况下,判定为该拍摄图像是人物图像。另一方面，判定部1020在判定为比例Rmax小于第2阈值Fhigh的情况下，算出R (i)的标准偏差σ。下述式(3)是标准偏差σ的算出式。
[0163]【数式I】
【权利要求】
1.一种图像处理装置，其特征在于，具有: 图像输入部，其输入拍摄图像； 存储部，其作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，其中，所述人物图像用模板用于生成针对以人物为被摄物体的人物图像的文章，所述风景图像用模板用于生成针对以风景为被摄物体的风景图像的文章；判定部，其判定所述拍摄图像是所述人物图像还是所述风景图像； 文章生成部，其根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
2.如权利要求1所述的图像处理装置，其特征在于， 所述存储部将在基于作为被摄物体而拍摄的人物的视角作出的文章中设定所述空栏部而得到的所述文章模板存储为所述人物图像用模板，将在基于拍摄被摄物体的摄像者的视角作出的文章中设定所述空栏部而得到的所述文章模板存储为所述风景图像用模板。
3.如权利要求1或2所述的图像处理装置，其特征在于， 所述判定部在所述人物图像中，作为所述特征量还判定被摄物体的人数， 所述文章生成部针对所述人物图像，将与被摄物体的人数相应的单词插入到所述空栏部来生成文章。·
4.如权利要求3所述的图像处理装置，其特征在于， 所述判定部在所述拍摄图像内识别了多个面部区域的情况下， 当最大的面部区域的大小相对于所述拍摄图像的大小的比例为第I阈值以上、小于第2阈值、且多个面部区域的比例的标准偏差或方差或者多个面部区域的大小的标准偏差或方差小于第3阈值时，其中，所述第2阈值是所述第I阈值以上的值， 或者，当所述最大的面部区域的大小的比例为所述第2阈值以上时， 所述判定部判定为所述拍摄图像是所述人物图像，并且基于所述第I阈值以上的比例的面部区域的数量判定被摄物体的人数。
5.如权利要求1至4中任一项所述的图像处理装置，其特征在于， 所述文章生成部将与所述拍摄图像的配色方案相应的形容词作为与所述拍摄图像的特征量相应的单词而插入到所述空栏部来生成文章。
6.如权利要求5所述的图像处理装置，其特征在于， 所述文章生成部将根据所述拍摄图像是所述人物图像还是所述风景图像而决定的与所述拍摄图像上的规定区域的配色方案相应的形容词插入到所述空栏部来生成文章。
7.一种图像处理装置，其特征在于，包括: 图像输入部，其被输入拍摄图像； 决定部，其决定与所述拍摄图像的特征量及所述拍摄图像的拍摄条件的至少一方对应的文本； 判定部，其判定所述拍摄图像是第I类别的图像还是是与所述第I类别不同的第2类别的图像； 存储部，其存储第I文章结构和第2文章结构，所述第I文章结构是所述第I类别所使用的文章的文章结构，所述第2文章结构是所述第2类别所使用的文章的文章结构； 文章生成部，在通过所述判定部判定成所述拍摄图像是所述第I类别的图像时，所述文章生成部使用所述决定部所决定的所述文本来生成所述第I文章结构的文章，在通过所述判定部判定成所述拍摄图像是所述第2类别的图像时，所述文章生成部使用所述决定部所决定的所述文本生成所述第2文章结构的文章。
8.如权利要求7所述的图像处理装置，其特征在于，所述第I类别是肖像，所述第2类别是风景。
9.一种摄像装置，其特征在于，具有: 摄像部，其拍摄被摄物体并生成拍摄图像； 存储部，其作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，其中，所述人物图像用模板用于生成针对以人物为被摄物体的人物图像的文章，所述风景图像用模板用于生成针对以风景为被摄物体的风景图像的文章；判定部，其判定所述拍摄图像是所述人物图像还是所述风景图像； 文章生成部，其根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
10.一种程序，其特征在于，使图像处理装置的计算机执行步骤，其中，所述图像处理装置具有存储部，该存储部作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，所述人物图像用模板用于生成针对以人物为被摄物体的人物图像的文章，所述风景图像用模板用于生成针对以风景为被摄物体的风景图像的文章，所述程序使所述图像处理装置的计算机执行的步骤为: 输入拍摄图像的图像输入步骤； 判定所述拍摄图像是所述人物图像还是所述风景图像的判定步骤； 文章生成步骤，根据所述判定步骤对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
11.一种图像处理装置，其特征在于，具有: 决定部，其根据拍摄图像决定具有规定的意思的文字；判定部，其判定所述拍摄图像是人物图像还是是与所述人物图像不同的图像； 存储部，其存储第I文章结构和第2文章结构，所述第I文章结构是所述人物图像所使用的文章的文章结构，所述第2文章结构是与所述人物图像不同的图像所使用的文章的文章结构； 输出部，在通过所述判定部判定成所述拍摄图像是所述人物图像时，所述输出部使用具有所述规定的意思的文字并输出所述第I文章结构的文章，在通过所述判定部判定成所述拍摄图像是与所述人物图像不同的图像时，所述输出部使用具有所述规定的意思的文字并输出所述第2文章结构的文章。
12.—种图像处理装置，其特征在于，具有:图像取得部，其取得所拍摄的图像数据； 场景判别部，其根据所取得的所述图像数据判别场景； 主色提取部，其基于颜色信息的频率分布从所取得的所述图像数据提取主色； 存储部，其对每个场景附带关联地预先存储有颜色信息和第I标签； 第I标签生成部，其从所述存储部读出与所提取的所述主色和判别出的所述场景附带关联地预先存储的所述第I标签，将所读出的所述第I标签生成为所取得的所述图像数据的标签。
13.如权利要求12所述的图像处理装置，其特征在于，具有第2标签生成部，其基于所提取的所述主色的频率对所述主色的比例进行标准化，基于标准化了的所述主色的比例，修正所述第I标签，由此生成第2标签。
14.如权利要求12或13所述的图像处理装置，其特征在于， 在所述存储部中，对判别出的每个所述场景附带关联有多个颜色信息的组合信息和标签。
15.如权利要求12至14中任一项所述的图像处理装置，其特征在于，所述场景判别部从所取得的所述图像数据取得图像识别信息，从所取得的所述图像识别信息提取表示所述场景的信息，基于表示所提取的所述场景的信息来判别所述图像数据的所述场景。
16.如权利要求15所述的图像处理装置，其特征在于，所述场景判别部从所取得的所述图像数据提取特征量，基于所提取的所述特征量，判别所述图像数据的所述场景。
17.如权利要求12至15中任一项所述的图像处理装置，其特征在于， 具有区域提取部，其基于判别出的所述场景，从所取得的所述图像数据提取要提取所述主色的区域， 所述主色提取部从要提取所述主色的区域的图像数据提取所述主色。
18.如权利要求13至17中任一项所述的图像处理装置，其特征在于，将基于所述第I标签及通过修正所述第I标签而生成的第2标签的信息、或者基于所述第I标签或所述第2标签的信息，与所取得的所述图像数据附带关联地存储在所述存储部。
19.一种摄像装置，其特征在于，具有权利要求12至18中任一项所述的图像处理装置。
20.—种程序，是使计算机执行具有摄像部的图像处理装置的图像处理的程序，其特征在于，使计算机执行如下步骤: 图像取得步骤，取得所拍摄的图像数据； 场景判别步骤，根据所取得的所述图像数据判别场景； 主色提取步骤，基于颜色信息的频率分布从所取得的所述图像数据提取主色； 第I标签生成步骤，读出所提取的所述主色、并从按每个场景附带关联地预先存储有颜色信息和第I标签的存储部读出所述第I标签，将所读出的所述第I标签生成为所取得的所述图像数据的标签。
21.—种图像处理装置，其特征在于，具有: 场景判别部，其判别是否是人物摄影场景； 颜色提取部，在通过所述场景判别部判别为不是人物摄影场景时，所述颜色提取部从所述图像数据提取颜色信息； 存储部，其附带关联地预先存储有颜色信息和具有规定的意思的文字；读出部，在通过所述场景判别部判别为不是人物摄影场景时，所述读出部从所述存储部读出与由所述颜色提取部提取出的所述颜色信息对应的具有所述规定的意思的文字。
22.—种图像处理装置，其特征在于，包括: 取得部，其取得图像数据及文本数据； 检测部，其检测所述取得部所取得的所述图像数据的边缘； 区域决定部，其基于由所述检测部检测到的边缘，决定所述图像数据中的配置所述文本数据的区域； 图像生成部，其生成在由所述区域决定部决定出的区域中配置有所述文本数据的图像。
23.如权利要求22所述的图像处理装置，其特征在于， 所述区域决定部将所述图像数据中的边缘较少的区域决定为配置所述文本数据的区域。
24.一种图像处理装置，其特征在于，具有: 图像输入部，其输入图像数据； 边缘检测部，其检测由所述图像输入部输入的图像数据中的边缘； 文本输入部，其输入文本数据； 区域决定部，其基于由所述边缘检测部检测到的边缘，决定所述图像数据中的所述文本数据的合成区域； 合成部，其将所述文本数据合成到由所述区域决定部决定的合成区域。
25.如权利要求24所述的图像处理装置，其特征在于，所述区域决定部将所述图像数据中的边缘较少的区域决定为所述合成区域。
26.如权利要求24或25所述的图像处理装置，其特征在于， 具有成本算出部，该成本算出部以通过所述边缘检测部检测到的边缘所在位置的成本变高的方式算出表示所述图像数据的各位置处的重要度的成本， 所述区域决定部基于通过所述成本算出部算出的成本，将与所述合成区域对应的成本较小的区域决定为所述合成区域。
27.如权利要求26所述的图像处理装置，其特征在于， 具有第I位置输入部，其输入所述图像数据中的第I位置， 所述成本算出部使得越位于接近所述第I位置的位置而成本越高，越远离所述第I位置的位置而成本越低，其中，所述第I位置通过所述第I位置输入部而被输入。
28.如权利要求26或27所述的图像处理装置，其特征在于， 具有面部检测部，其从所述图像数据检测人物的面部， 所述成本算出部使得通过所述面部检测部检测到的面部所在区域的成本变高。
29.如权利要求26至28中任一项所述的图像处理装置，其特征在于， 具有第2位置输入部，其输入合成所述文本数据的第2位置， 所述成本算出部使得通过所述第2位置输入部而输入的所述第2位置的成本变低。
30.如权利要求24至29中任一项所述的图像处理装置，其特征在于， 具有文字大小决定部，其以能够将所述文本数据的文本的全部包含在所述图像数据的图像区域内地合成的方式，决定所述文本数据的文字的大小。
31.如权利要求24至30中任一项所述的图像处理装置，其特征在于， 所述图像输入部输入动态图像的图像数据， 所述区域决定部基于所述动态图像的图像数据所包含的多个帧图像来决定所述文本数据的所述合成区域。
32.—种程序，其特征在于，使计算机执行如下步骤: 输入图像数据的步骤； 输入文本数据的步骤； 检测所输入的所述图像数据中的边缘的步骤； 基于检测到的所述边缘，决定所述图像数据中的所述文本数据的合成区域的步骤； 将所述文本数据合成到所决定的所述合成区域的步骤。
33.一种图像处理方法，其特征在于，具有如下步骤: 图像处理装置输入图像数据的步骤； 所述图像处理装置输入文本数据的步骤； 所述图像处理装置检测所输入的所述图像数据中的边缘的步骤； 所述图像处理装置基于检测到的所述边缘，决定所述图像数据中的所述文本数据的合成区域的步骤； 所述图像处理装置将所述文本数据合`成到所决定的所述合成区域的步骤。
34.一种摄像装置，其特征在于，具有权利要求24至31中任一项所述的图像处理装置。
35.一种图像处理装置，其特征在于，包括: 检测部，其检测图像数据的边缘； 区域决定部，其基于由所述检测部检测到的所述边缘的位置，决定所述图像数据中的配置文字的配置区域； 图像生成部，其生成在通过所述区域决定部决定的所述配置区域配置有所述文字的图像。
36.一种图像处理装置，其特征在于，具有: 图像输入部，其输入图像数据； 文本设定部，其设定文本的数据； 文本合成区域设定部，其设定文本合成区域，该文本合成区域是在通过所述图像输入部输入的图像数据中合成通过所述文本设定部设定的文本的数据的区域； 字体设定部，其设定至少包含字体颜色的字体，并包括字体颜色设定部，该字体颜色设定部相对于基于通过所述图像输入部输入的图像数据及通过所述文本合成区域设定部设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色； 合成图像生成部，其使用通过所述字体设定部设定的至少包含字体颜色的字体，生成将通过所述文本设定部设定的文本的数据合成到图像数据中的文本合成区域而成的图像的数据即合成图像的数据，其中，所述图像数据通过所述图像输入部而输入，所述文本合成区域通过所述文本合成区域设定部而设定。
37.如权利要求36所述的图像处理装置，其特征在于， 所述字体颜色设定部求出图像数据中的文本合成区域的RGB的平均色，并根据所求出的RGB的平均色求出PCCS表色系的色调和色相，且设定仅变更了所求出的PCCS表色系的色调和色相中的色调的字体颜色，其中，所述图像数据通过所述图像输入部而输入，所述文本合成区域通过所述文本合成区域设定部而设定。
38.如权利要求36或37所述的图像处理装置，其特征在于， 所述字体颜色设定部在PCCS表色系中，针对暗色调，变更成白色调或浅灰色调。
39.如权利要求36至38中任一项所述的图像处理装置，其特征在于，所述字体颜色设定部在PCCS表色系中，针对明亮的色调，变更成在有彩色中具有对比的协调的关系的其他色调。
40.如权利要求39所述的图像处理装置，其特征在于，所述字体颜色设定部在PCCS表色系中，针对明亮的色调、且存在多个在有彩色中具有对比的协调的关系的其他色调的色调，变更成这些多个其他色调中最鲜艳的色调。
41.如权利要求36至40中任一项所述的图像处理装置，其特征在于，所述字体设定部通过所述字体颜色设定部设定字体颜色，并且设定轮廓的字体。
42.如权利要求36至41中任一项所述的图像处理装置，其特征在于，所述字体颜色设定部判定在图像数据中文本合成区域中的颜色的变化是否是规定值以上，当判定成所述文本合成区域中的颜色的变化是规定值以上时，在所述文本合成区域中设定2种以上的字体颜色，其中，所述图像数据通过所述图像输入部而输入，所述文本合成区域通过所述文本合成区域设定部而设定。
43.一种程序，其特征在于，使计算机执行如下步骤: 输入图像数据的步骤； 设定文本的数据的步骤； 设定文本合成区域的步骤，所述文本合成区域是在所输入的所述图像数据中合成所设定的所述文本的数据的区域； 相对于基于所输入的所述图像数据及所设定的所述文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤； 使用所述设定的至少包含字体颜色的字体，生成将所设定的所述文本的数据合成到所输入的所述图像数据中的所设定的所述文本合成区域而成的图像的数据即合成图像的数据的步骤。
44.一种图像处理方法，其特征在于，具有: 图像处理装置输入图像数据的步骤； 所述图像处理装置设定文本的数据的步骤； 所述图像处理装置设定文本合成区域的步骤，其中，所述文本合成区域是在所输入的所述图像数据中合成所设定的所述文本的数据的区域； 所述图像处理装置相对于基于所输入的所述图像数据及所设定的所述文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤； 所述图像处理装置使用所述设定的至少包含字体颜色的字体，生成将所设定的所述文本的数据合成到所输入的所述图像数据中的所设定的所述文本合成区域而成的图像的数据即合成图像的数据的步骤。
45.一种摄像装置，其特征在于，具有权利要求36至42中任一项所述的图像处理装置。
46.一种图像处理装置，其特征在于，包括: 取得部，其取得图像数据及文本数据； 区域决定部，其决定所述图像数据中的配置所述文本数据的文本配置区域； 颜色设定部，其对文本数据设定规定的颜色； 图像生成部，其生成在所述文本配置区域中配置了所述规定的颜色的所述文本数据的图像， 所述图像数据的所述文本配置区域的色相值和所述文本数据的色相值之比，相较于所述图像数据的所述文本配置区域的色调值和所述文本数据的色调值之比，更接近I。
47.如权利要求46所述的图像处理装置，其特征在于，所述颜色设定部根据所述文本配置区域的RGB的平均色求出PCCS表色系的色调值及色相值，不使所述PCCS表色系的色相变化，仅变更所述PCCS表色系的色调值。
48.一种图像处理装置，其特征在于，包括: 决定部，其决定图像数据中的配置文字的配置区域； 颜色设定部，其对文字设 定规定颜色； 图像生成部，其生成在所述配置区域中配置了所述文字的图像， 所述颜色设定部设定所述规定颜色，以使得所述配置区域的色相值和所述文字的色相值之比，相较于所述配置区域的色调值和所述文字的色调之比，更接近I。
【文档编号】H04N5/225GK103718172SQ201280039636
【公开日】2014年4月9日 申请日期:2012年9月21日 优先权日:2011年9月21日
【发明者】小林宽子, 村田司, 松尾武史 申请人:株式会社尼康
【专利摘要】图像处理装置具有：决定部，根据拍摄图像决定具有规定的意思的文字；判定部，判定所述拍摄图像是人物图像还是是与所述人物图像不同的图像；存储部，存储有所述人物图像所使用的文章的文章结构的第1文章结构、和与所述人物图像不同的图像所使用的文章的文章结构的第2文章结构；输出部，通过所述判定部判定为所述拍摄图像是所述人物图像时，使用具有所述规定的意思的文字输出所述第1文章结构的文章，通过所述判定部判定为所述拍摄图像是与所述人物图像不同的图像时，使用具有所述规定的意思的文字输出所述第2文章结构的文章。
【专利说明】图像处理装置、程序、图像处理方法及摄像装置
【技术领域】
[0001 ] 本发明涉及图像处理装置、程序、图像处理方法及摄像装置。
[0002]本申请基于2011年12月5日提出的日本特愿2011-266143号、2011年9月21日提出的日本特愿2011-206024号、2011年12月6日提出的日本特愿2011-266805号、2011年12月7日提出的日本特愿2011-267882号、2012年9月19日提出的日本特愿2012-206296号、2012年9月19日提出的日本特愿2012-206297号、2012年9月19日提出的日本特愿2012-206298号及2012年9月19日提出的日本特愿2012-206299号主张优先权，将其内容援引于此。
【背景技术】
[0003]以往公开了一种技术:通过预先登记特定人物的生日、事件的日期和时间等，将与摄像日期和时间对应的生日的人物名、与摄像日期和时间对应的事件名等的文字信息赋予拍摄图像(例如，参照专利文献I)。
[0004]另外，在对图像进行分类的现有技术的图像处理装置中，将图像分割成预先设定的图案的区域，生成与各区域的颜色相关的分布的直方图。而且，在现有技术的图像处理装置中，将超过特定的阈值的最频出颜色决定为该区域的代表区域色。进而，在现有技术的图像处理装置中，提取该区域的特征量，基于所决定的区域的特征量和代表色，定义提取了特征量的图像，并构建图像辞典。
[0005]在现有技术的图像处理装置中，例如，提取图像上部的较大区域的代表色，基于所提取的代表色，定义“蓝天”、“阴天”、“夜空”等并构成图像辞典(例如，参照专利文献2)。
[0006]另外，当前，公开了使与拍摄图像相关的文本与拍摄图像重叠的技术(例如，参照专利文献3)。在专利文献3记载的技术中，在拍摄图像中，使文本与相对重要的被摄物体所映现的重要区域以外的非重要区域重叠来生成合成图像。具体来说，将人物的映现区域分类成重要区域，使文本重叠在不包含图像中央的非重要区域中。
[0007]另外，公开了对图像数据施加规定的颜色转换的技术(例如，参照专利文献4)。在专利文献4记载的技术中，向打印机送出施加了规定的颜色转换的图像数据时，将图像数据划分成图形图像数据、文字图像数据及文字以外的非图形图像数据，对图形图像数据实施第I颜色转换，对文字图像数据实施第I颜色转换或第2颜色转换，对文字以外的非图形图像数据实施第I颜色转换或第2颜色转换。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1:日本特开平2-303282号公报
[0011]专利文献2:日本特开2001-160057号公报
[0012]专利文献3:日本特开2007-96816号公报
[0013]专利文献4:日本特开2008-293082号公报
【发明内容】
[0014]但是，专利文献I记载的现有技术只能将用户事先登记的文字信息赋予拍摄图像。
[0015]另外，在专利文献2记载的现有技术中，由于通过按预先设定的区域提取出的特征量和最频出颜色即代表色进行分类，所以对图像进行分类(贴标(labeling))的计算处理的负担大。
[0016]另外，在专利文献3记载的现有技术中，没有考虑使文本与图像重叠时的可读性。由此，例如，存在如下情况:文本与存在复杂纹理的区域重叠时，文本显示所使用的字体的轮廓和纹理的边缘重合，文本的可读性降低。即，文本难以读出。
[0017]另外，在专利文献4记载的现有技术中，使与图像相关的文本与该图像重叠的情况下，关于控制该文本的字体颜色这一内容，也没有进行充分的考虑。
[0018]例如，在固定字体颜色的情况下，根据所提供的图像的内容，文本的字体颜色和描绘有该文本的图像区域的颜色之间的对比几乎不存在，文本的可读性明显降低。
[0019]另外，固定字体颜色、或者作为字体颜色使用从图像信息算出的互补色的情况下，会大幅改变该图像的印象。
[0020]本发明的一方式的目的是提供能够对于拍摄图像附加更灵活的文字信息的技术。
[0021]其他目的是提供能够减轻用于对图像贴标的计算处理的负荷的图像处理装置、摄像装置及程序。
[0022]另外，其他目的是提供能够以使阅览者容易阅读文本的方式将文本合成在图像中的图像处理装置、程序、图像处理方法及摄像装置。
[0023]另外，其他目的是提供能够以适度的字体颜色将文本合成在图像中的图像处理装置、程序、图像处理方法及摄像装置。
[0024]本发明的一方式的图像处理装置，其特征在于，具有:图像输入部，输入拍摄图像；存储部，作为将单词插入到规定的空栏部来完成文章的文章模板存储有对于人物为被摄物体的人物图像生成文章所使用的人物图像用模板、和对于风景为被摄物体的风景图像生成文章所使用的风景图像用模板；判定部，判定所述拍摄图像是所述人物图像还是所述风景图像；文章生成部，根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
[0025]本发明的其他方式的图像处理装置，其特征在于，包括:图像输入部，输入拍摄图像；决定部，决定与所述拍摄图像的特征量及所述拍摄图像的拍摄条件的至少一方对应的文本；判定部，判定所述拍摄图像是第I类别的图像还是是与所述第I类别不同的第2类别的图像；存储部，存储有所述第I类别所使用的文章的文章结构的第I文章结构、和所述第2类别所使用的文章的文章结构的第2文章结构；文章生成部，通过所述判定部判定为所述拍摄图像是所述第I类别的图像时，使用所述决定部所决定的所述文本生成所述第I文章结构的文章，通过所述判定部判定为所述拍摄图像是所述第2类别的图像时，使用所述决定部所决定的所述文本生成所述第2文章结构的文章。
[0026]本发明的其他方式的摄像装置，其特征在于，具有:摄像部，拍摄被摄物体并生成拍摄图像；存储部，作为将单词插入到规定的空栏部来完成文章的文章模板，存储有对于人物为被摄物体的人物图像生成文章所使用的人物图像用模板、对于风景为被摄物体的风景图像生成文章所使用的风景图像用模板；判定部，判定所述拍摄图像是所述人物图像还是所述风景图像；文章生成部，根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
[0027]本发明的其他方式的程序，其特征在于，使图像处理装置的计算机执行步骤，其中，所述图像处理装置具有存储部，该存储部作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，所述人物图像用模板用于对人物为被摄物体的人物图像生成文章，所述风景图像用模板用于对风景为被摄物体的风景图像生成文章，所述程序使所述图像处理装置的计算机执行的步骤为:输入拍摄图像的图像输入步骤；判定所述拍摄图像是所述人物图像还是所述风景图像的判定步骤；文章生成步骤，根据所述判定步骤对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
[0028]本发明的其他方式的图像处理装置，其特征在于，具有:决定部，根据拍摄图像决定具有规定的意思的文字；判定部，判定所述拍摄图像是人物图像还是是与所述人物图像不同的图像；存储部，存储有所述人物图像所使用的文章的文章结构的第I文章结构、和与所述人物图像不同的图像所使用的文章的文章结构的第2文章结构；输出部，通过所述判定部判定为所述拍摄图像是所述人物图像时，使用具有所述规定的意思的文字输出所述第I文章结构的文章，通过所述判定部判定为所述拍摄图像是与所述人物图像不同的图像时，使用具有所述规定的意思的文字输出所述第2文章结构的文章。
[0029]本发明的其他方式的图像处理装置，其特征在于，具有:图像取得部，取得所拍摄的图像数据；场景判别部，从所述取得的图像数据判别场景；主色提取部，基于颜色信息的频率分布从所述取得的图像数据提取主色；存储部，按场景附带关联地预先存储有颜色信息和第I标签；第I标签生成部，从所述存储部读出与所述提取的主色和所述判别的场景附带关联地预先存储的所述第I标签，将所述读出的第I标签作为所述取得的图像数据的标签生成。
[0030]本发明的其他方式的摄像装置，其特征在于，具有上述记载的图像处理装置。
[0031]本发明的其他方式的程序，是使计算机执行具有摄像部的图像处理装置的图像处理的程序，其特征在于，使计算机执行如下步骤:图像取得步骤，取得所拍摄的图像数据；场景判别步骤，从所述取得的图像数据判别场景；主色提取步骤，基于颜色信息的频率分布从所述取得的图像数据提取主色；第I标签生成步骤，读出所述提取的主色、并从按场景附带关联地预先存储了颜色信息和第I标签的存储部读出所述第I标签，将所述读出的第I标签作为所述取得的图像数据的标签生成。
[0032]本发明的其他方式的图像处理装置，其特征在于，具有:场景判别部，判别是否是人物摄影场景；颜色提取部，通过所述场景判别部判别为不是人物摄影场景时，从所述图像数据提取颜色信息；存储部，附带关联地预先存储颜色信息和具有规定的意思的文字；读出部，通过所述场景判别部判别为不是人物摄影场景时，从所述存储部读出与由所述颜色提取部提取的所述颜色信息对应的具有所述规定的意思的文字。
[0033]本发明的其他方式的图像处理装置，其特征在于，包括:取得部，取得图像数据及文本数据；检测部，检测所述取得部所取得的所述图像数据的边缘；区域决定部，基于由所述检测部检测的边缘，决定所述图像数据中的配置所述文本数据的区域；图像生成部，生成在由所述区域决定部决定的区域中配置有所述文本数据的图像。
[0034]本发明的其他方式的图像处理装置，其特征在于，具有:图像输入部，输入图像数据；边缘检测部，检测通过所述图像输入部被输入的图像数据中的边缘；文本输入部，输入文本数据；区域决定部，基于通过所述边缘检测部检测的边缘，决定所述图像数据中的所述文本数据的合成区域；合成部,将所述文本数据合成到通过所述区域决定部决定的合成区域。
[0035]本发明的其他方式的程序，其特征在于，使计算执行如下步骤:输入图像数据的步骤；输入文本数据的步骤；检测所述输入的图像数据中的边缘的步骤；基于所述检测的边缘，决定所述图像数据中的所述文本数据的合成区域的步骤；将所述文本数据合成到所述决定的合成区域的步骤。
[0036]本发明的其他方式的图像处理方法，其特征在于，具有:图像处理装置输入图像数据的步骤；所述图像处理装置输入文本数据的步骤；所述图像处理装置检测所述输入的图像数据中的边缘的步骤；所述图像处理装置基于所述检测的边缘，决定所述图像数据中的所述文本数据的合成区域的步骤；所述图像处理装置将所述文本数据合成到所述决定的合成区域的步骤。
[0037]本发明的其他方式的摄像装置，其特征在于，具有上述图像处理装置。
[0038]本发明的其他方式的图像处理装置，其特征在于，包括:检测部，检测图像数据的边缘；区域决定部，基于由所述检测部检测的所述边缘的位置，决定所述图像数据中的配置文字的配置区域；图像生成部，生成在通过所述区域决定部决定的所述配置区域中配置有所述文字的图像。
[0039]本发明的其他方式的图像处理装置，其特征在于，具有:图像输入部，输入图像数据；文本设定部，决定文本的数据；文本合成区域设定部，设定在通过所述图像输入部输入的图像数据中合成通过所述文本设定部设定的文本的数据的区域即文本合成区域；字体设定部，包括字体颜色设定部，其对于基于通过所述图像输入部输入的图像数据及通过所述文本合成区域设定部设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体；合成图像生成部，使用通过所述字体设定部设定的至少包含字体颜色的字体，生成在通过所述图像输入部输入的图像数据的、通过所述文本合成区域设定部设定的文本合成区域中合成了通过所述文本设定部设定的文本的数据的图像的数据即合成图像的数据。
[0040]本发明的其他方式的程序，其特征在于，使计算机执行如下步骤:输入图像数据的步骤；设定文本的数据的步骤；设定在所述输入的图像数据中合成所述设定的文本的数据的区域即文本合成区域的步骤；对于基于所述输入的图像数据及所述设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤；使用所述设定的至少包含字体颜色的字体，生成在所述输入的图像数据的、所述设定的文本合成区域中合成了所述设定的文本的数据的图像的数据即合成图像的数据的步骤。
[0041]本发明的其他方式的图像处理方法，其特征在于，具有:图像处理装置输入图像数据的步骤；所述图像处理装置设定文本的数据的步骤；所述图像处理装置设定在所述输入的图像数据中合成所述设定的文本的数据的区域即文本合成区域的步骤；所述图像处理装置对于基于所述输入的图像数据及所述设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤；所述图像处理装置使用所述设定的至少包含字体颜色的字体，生成在所述输入的图像数据的、所述设定的文本合成区域中，合成了所述设定的文本的数据的图像的数据即合成图像的数据的步骤。
[0042]本发明的其他方式的摄像装置，其特征在于，具有上述图像处理装置。
[0043]本发明的其他方式的图像处理装置，其特征在于，包括:取得部，取得图像数据及文本数据；区域决定部，决定所述图像数据中的配置所述文本数据的文本配置区域；颜色设定部，对文本数据设定规定的颜色；图像生成部，生成在所述文本配置区域中配置了所述规定的颜色的所述文本数据的图像，所述图像数据的所述文本配置区域的色相值和所述文本数据的色相值之比，相较于所述图像数据的所述文本配置区域的色调值和所述文本数据的色调值之比，更接近I。
[0044]本发明的其他方式的图像处理装置，其特征在于，包括:决定部，决定图像数据中的配置文字的配置区域；颜色设定部，对文字设定规定颜色；图像生成部，生成在所述配置区域中配置有所述文字的图像，所述颜色设定部以如下方式设定所述规定颜色，即:所述配置区域的色相值和所述文字的色相值之比，相较于所述配置区域的色调值和所述文字的色调值之比，更接近I。
[0045]发明的效果
[0046]根据本发明的方式，能够对拍摄图像灵活地赋予文字信息。
[0047]另外，根据本发明的方式，能够实现适于图像的贴标。
[0048]另外，根据本发明的方式，能够以使阅览者容易阅读文本的方式，将文本合成到图像中。
[0049]另外，根据本发明的方式，能够以适度的字体颜色将文本合成到图像中。
【专利附图】
【附图说明】
[0050]图1是本发明的一实施方式的图像处理装置的功能框图的一例。
[0051]图2A是存储在存储部的文章模板的一例。
[0052]图2B是存储在存储部的文章模板的一例。
[0053]图2C是存储在存储部的文章模板的一例。
[0054]图2D是存储在存储部的文章模板的一例。
[0055]图3A是存储在存储部的单词的一例。
[0056]图3B是存储在存储部的单词的一例。
[0057]图4A是用于说明拍摄图像的配色方案的提取的说明图。
[0058]图4B是用于说明拍摄图像的配色方案的提取的说明图。[0059]图4C是用于说明拍摄图像的配色方案的提取的说明图。
[0060]图4D是用于说明拍摄图像的配色方案的提取的说明图。
[0061]图5是表示图像处理装置的工作的一例的流程图。
[0062]图6是表示图像处理装置的工作的一例的流程图。
[0063]图7A是通过文章添加部添加了文章的拍摄图像的一例。
[0064]图7B是通过文章添加部添加了文章的拍摄图像的一例。
[0065]图7C是通过文章添加部添加了文章的拍摄图像的一例。
[0066]图7D是通过文章添加部添加了文章的拍摄图像的一例。
[0067]图7E是通过文章添加部添加了文章的拍摄图像的一例。
[0068]图8是另一实施方式的摄像装置的功能框图的一例。
[0069]图9是表示另一实施方式的摄像系统的结构的概要框图。
[0070]图10是图像处理部的框图。
[0071]图11是用于说明与图像数据附带关联地存储在存储介质中的图像识别信息的一例的图。
[0072]图12是用于说明存储在表格存储部中的主色的组合和第I标签的一例的图。
[0073]图13是用于说明图像数据的主色的一例的图。
[0074]图14A是用于说明图13中被提取的主色的贴标(labeling)的一例的图。
[0075]图14B是用于说明图13中被提取的主色的贴标的一例的图。
[0076]图15A是体育的图像数据的一例。
[0077]图15B是表示图15A的体育的图像数据的颜色矢量的图。
[0078]图16A是肖像(portrait)的图像数据的一例。
[0079]图16B是表示图16A的肖像的图像数据的颜色矢量的图。
[0080]图17A是风景的图像数据的一例。
[0081]图17B是表示图17A的风景的图像数据的颜色矢量的图。
[0082]图18是用于说明每个场景的主色的组合的第I标签的一例的图。
[0083]图19是用于说明根据时刻、季节和颜色矢量产生的第I标签的例子的图。
[0084]图20是摄像装置所进行的标签生成的流程图。
[0085]图21是另一实施方式的图像处理部的框图。
[0086]图22是另一实施方式的图像处理部的框图。
[0087]图23是摄像装置所进行的标签生成的流程图。
[0088]图24是用于说明从另一实施方式的图像数据提取多个颜色矢量的一例的图。
[0089]图25是表示图像处理部的功能性结构的框图。
[0090]图26A是表示输入图像的一例的印象图。
[0091]图26B是表示全局成本图像的一例的印象图。
[0092]图26C是表示面部成本图像的一例的印象图。
[0093]图26D是表示边缘成本图像的一例的印象图。
[0094]图26E是表示最终成本图像的一例的印象图。
[0095]图26F是表示合成图像的一例的印象图。
[0096]图27是表示静态图像的合成处理的顺序的流程图。[0097]图28是表示动态图像的合成处理的顺序的流程图。
[0098]图29是表示另一实施方式的图像处理部的功能性结构的框图。
[0099]图30是表示合成处理的顺序的流程图。
[0100]图31是表示另一实施方式的图像处理部的功能性结构的框图。
[0101]图32是表示合成处理的顺序的流程图。
[0102]图33是表示文本矩形区域内的成本的总和的算出方法的印象图。
[0103]图34是表示另一实施方式的图像处理部的功能性结构的框图。
[0104]图35是表不通过PCCS表色系中的色调进彳丁的对比的协调关系的图。
[0105]图36是表示在图像处理部中进行的处理的顺序的流程图。
[0106]图37是表示在字体设定部中进行的处理的顺序的流程图。
[0107]图38是用印象图表示图像数据的一例的图。
[0108]图39是用印象图表示合成图像的数据的一例的图。
[0109]图40是用印象图表示合成图像的数据的一例的图。
[0110]图41是用灰色标度(gray scale)表示PCCS表色系的色相环的一例的图。
[0111]图42是用灰色标度表不PCCS表色系的色调的一例的图。
[0112]图43是表示12种有彩色的色调的图。
[0113]图44是表示5种无彩色的色调的图。
[0114]图45是示意地表示提取拍摄图像的特征量的过程的一例的图。
[0115]图46是示意地表示提取拍摄图像的特征量的过程的另一例的图。
[0116]图47是示意地表示笑脸等级的判定方法的流程图。
[0117]图48A是表示来自图像处理装置的输出图像的一例的图。
[0118]图48B是表示来自图像处理装置的输出图像的另一例的图。
[0119]图49是表示摄像装置的图像处理部的内部结构的概要框图。
[0120]图50是表示代表色的决定的流程的流程图。
[0121]图51是表示图像处理部中的处理的一例的概念图。
[0122]图52是表示图像处理部中的处理的一例的概念图。
[0123]图53是表示对于图52所示的主要区域实施的聚类(clustering)的结果的概念图。
[0124]图54是通过文章添加部添加了文章的图像的一例。
[0125]图55是通过文章添加部添加了文章的图像的另一例。
[0126]图56是表不颜色和单词的对应表格的一例的图。
[0127]图57是表不远景图像(第2场景图像)用的对应表格的一例的图。
[0128]图58是表不其他图像(第3场景图像)用的对应表格的一例的图。
【具体实施方式】
[0129](第I实施方式)
[0130]以下，参照【专利附图】
【附图说明】本发明的第I实施方式。图1是本发明的第I实施方式的图像处理装置1001的功能框图的一例。图2A?2D是存储在存储部1090中的文章模板的一例。图3A、3B是存储在存储部1090中的单词的一例。图4A?4D是用于说明拍摄图像的配色方案的提取的说明图。
[0131]如图1所示，图像处理装置1001具有图像输入部1010、判定部1020、文章生成部1030、文章添加部1040及存储部1090。图像输入部1010通过例如网络或存储介质输入拍摄图像。图像输入部1010将拍摄图像向判定部1020输出。
[0132]存储部1090存储将单词插入到规定的空栏部而完成文章的文章模板。具体来说，存储部1090作为文章模板而存储有:对于人物为被摄物体的图像(以下称为人物图像)来说的文章生成所使用的人物图像用模板；对于风景(也称为第2类别)为被摄物体的图像(以下称为风景图像)来说的文章生成所使用的风景图像用模板。此外，人物图像的一例是肖像(也称为第I类别)。
[0133]例如，存储部1090存储图2A、2B所示那样的两种人物图像用模板。此外，图2A、2B所示的人物图像用模板具有插入与被摄物体的人数相应的单词的空栏部(记作空栏部{人数})、及插入与拍摄图像的配色方案相应的单词的空栏部(记作空栏部{形容词})。
[0134]另外,例如,存储部1090存储图2C、2D所示那样的两种风景图像用模板。此外，图2C所示的风景图像用模板具有插入与拍摄图像的拍摄条件(日期和时间)相应的单词的空栏部(空栏部{日期和时间})、及插入与拍摄图像的配色方案相应的单词的空栏部。另外，图2D所示的风景图像用模板具有插入与拍摄图像的拍摄条件(场所)相应的单词的空栏部(记作空栏部{场所})、及插入与拍摄图像的配色方案相应的单词的空栏部。
[0135]此外，上述人物图像用模板是使焦点位于作为被摄物体被拍摄的人物而被制图这样的文章模板，也就是说，将空栏部设定在由作为被摄物体被拍摄的人物的视角产生的文章而成的文章模板。例如，图2A的人物图像用模板的措辞“度过了”、图2B的人物图像用模板的措辞“摆姿势”表现了被拍摄的人物的视角。另外，上述风景图像用模板是从拍摄图像整体被制图这样的文章模板，也就是说，将空栏部设定在由拍摄被摄物体的摄影者的视角产生的文章而成的文章模板。例如，图2C的风景图像用模板的措辞“一张”、图2D的风景图像用模板的措辞“景色”表现了摄影者的视角。
[0136]而且，存储部1090除了存储文章模板(人物图像用模板、风景图像用模板)以外，还存储插入在文章模板的各空栏部中的单词。例如，如图3A所示，存储部1090与拍摄图像的被摄物体的人数对应地，作为插入空栏部{人数}的单词而存储与人数相关的单词。
[0137]例如，使用人物图像用模板的情况下，被摄物体的人数为“I”时，在人物图像用模板的空栏部{人数}中插入单词“一人”。此外，文章生成部1030从存储部1090读出要使用的文章模板，将单词插入空栏部(后述)。
[0138]另外，如图3B所示，存储部1090与拍摄图像的配色方案对应地，作为插入人物图像用模板的空栏部{形容词}或风景图像用模板的空栏部{形容词}的单词而存储人物图像用的形容词及风景图像用的形容词。
[0139]例如，使用人物图像用模板的情况下，拍摄图像的整个区域的配色方案是图4A所示的第I色“色I”、第2色“色2”、第3色“色3”时，在人物图像用模板的空栏部{形容词}中插入单词“酷的”。另外，使用风景图像用模板的情况下，拍摄图像的整个区域的配色方案是图4B所示的第I色“色2”、第2色“色I”、第3色“色4”时，在风景图像用模板的空栏部{形容词}中插入单词“繁华的”。
[0140]上述色I?色5是将在拍摄图像中实际表现的各种颜色通过例如暖色系/冷色系等的基准分类成5种颜色(5个代表色)而成的。换言之，将拍摄图像的各像素的像素值通过例如暖色系/冷色系等的基准而分类成的5种颜色是上述色I?色5。
[0141]另外，构成配色方案的第I色是色I?色5中的在该拍摄图像中最多地被表现的颜色，第2色是色I?色5中的在该拍摄图像中第2多地被表现的颜色，第3色是色I?色5中的在该拍摄图像中第3多地被表现的颜色。换言之，将像素值分类成色I?色5时所被分类的像素数最多的颜色是第I色，将像素值分类成色I?色5时所被分类的像素数第2多的颜色是第2色，将像素值分类成色I?色5时所被分类的像素数第3多的颜色是第3色。
[0142]此外，文章生成部1030从拍摄图像提取配色方案。
[0143]此外，也可以代替拍摄图像的整个区域的配色方案，使用拍摄图像上的一部分区域中的配色方案。也就是说，文章生成部1030也可以在空栏部插入与拍摄图像上的一部分区域的配色方案相应的形容词。具体来说，文章生成部1030也可以与拍摄图像是人物图像还是风景图像相应地决定拍摄图像上的规定区域，将与所决定的拍摄图像上的规定区域的配色方案相应的形容词插入空栏部。
[0144]例如，文章生成部1030也可以如图4C所示地在拍摄图像是人物图像时，将该人物图像的中央部的区域决定为规定区域，提取中央部的区域的配色方案，将与所提取的配色方案相应的形容词插入空栏部。另外，文章生成部1030也可以如图4D所示地在拍摄图像是风景图像时，将该风景图像的上部的区域决定为规定区域，提取上述区域的配色方案，将与所提取的配色方案相应的形容词插入空栏部。
[0145]另外，虽然省略了图示，但存储部1090与摄像日期和时间建立对应地作为插入空栏部{日期和时间}的单词而存储与日期和时间相关的单词(例如，时刻、“早晨”、“黄昏”、“盛夏！！ ”、...)。另外，存储部1090与摄影场所附带对应关系地作为插入空栏部{场所}的单词而存储与场所相关的单词(例如，“北国”、“古都”、“富士山”、“雷门”、...)。
[0146]判定部1020从图像输入部1010取得拍摄图像。判定部1020判定所取得的拍摄图像是人物图像还是风景图像。以下，关于判定部1020对人物图像/风景图像的判定进行详细说明。此外，第I阈值(也被称为Flow)是比第2阈值(也被称为Fhigh)小的值。
[0147]判定部1020尝试拍摄图像内的面部区域的识别。
[0148](面部区域=0的情况)
[0149]判定部1020在拍摄图像内连一个面部区域都没有识别出的情况下，判定该拍摄图像为风景图像。
[0150](面部区域=1的情况)
[0151]判定部1020在拍摄图像内识别出了一个面部区域的情况下，根据下述式(1)，算出面部区域的大小相对于拍摄图像的大小的比例R。
[0152]R=Sf/Sp...(I)
[0153]上述式(I)的Sp是拍摄图像的大小，具体来说，使用拍摄图像的长度方向的长度。上述式(I)的Sf是面部区域的大小，具体来说，使用与面部区域外接的矩形的长度方向的长度(或者，包围面部区域的椭圆的长轴的长度(长径))。
[0154]算出了比例R的判定部1020对比例R和第I阈值Flow进行比较。判定部1020在判定为比例R小于第I阈值Flow的情况下，判定为该拍摄图像是风景图像。另一方面，判定部1020在判定为比例R在第I阈值Flow以上的情况下，对比例R和第2阈值Fhigh进行比较。
[0155]判定部1020在判定为比例R在第2阈值Fhigh以上的情况下，判定为该拍摄图像是人物图像。另一方面，判定部1020在判定为比例R小于第2阈值Fhigh的情况下,判定为该拍摄图像是风景图像。
[0156](面部区域≥2的情况)
[0157]判定部1020在拍摄图像内识别了多个面部区域的情况下，根据下述式(2)，算出各面部区域的大小相对于拍摄图像的大小的比例R (i)。
[0158]R (i) =Sf ( i) /Sp...(2)
[0159]上述式(2)的Sp与上述式(I)相同。上述式(2)的Sf (i)是第i个面部区域的大小，具体来说，使用与第i个面部区域外接的矩形的长度方向的长度(或者，包围面部区域的椭圆的长轴的长度(长径))。
[0160]算出了 R (i)的判定部1020算出R (i)的最大值(Rmax)。即，判定部1020算出最大的面部区域的大小相对于拍摄图像的大小的比例Rmax。
[0161]算出了比例Rmax的判定部1020对比例Rmax和第I阈值Flow进行比较。判定部1020在判定为比例Rmax小于第I阈值Flow的情况下,判定为该拍摄图像是风景图像。另一方面，判定部1020在判定为比例Rmax在第I阈值Flow以上的情况下,对比例Rmax和第2阈值Fhigh进行比较。
[0162]判定部1020在判定为比例Rmax在第2阈值Fhigh以上的情况下,判定为该拍摄图像是人物图像。另一方面，判定部1020在判定为比例Rmax小于第2阈值Fhigh的情况下，算出R (i)的标准偏差σ。下述式(3)是标准偏差σ的算出式。
[0163]【数式I】
【权利要求】
1.一种图像处理装置，其特征在于，具有: 图像输入部，其输入拍摄图像； 存储部，其作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，其中，所述人物图像用模板用于生成针对以人物为被摄物体的人物图像的文章，所述风景图像用模板用于生成针对以风景为被摄物体的风景图像的文章；判定部，其判定所述拍摄图像是所述人物图像还是所述风景图像； 文章生成部，其根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
2.如权利要求1所述的图像处理装置，其特征在于， 所述存储部将在基于作为被摄物体而拍摄的人物的视角作出的文章中设定所述空栏部而得到的所述文章模板存储为所述人物图像用模板，将在基于拍摄被摄物体的摄像者的视角作出的文章中设定所述空栏部而得到的所述文章模板存储为所述风景图像用模板。
3.如权利要求1或2所述的图像处理装置，其特征在于， 所述判定部在所述人物图像中，作为所述特征量还判定被摄物体的人数， 所述文章生成部针对所述人物图像，将与被摄物体的人数相应的单词插入到所述空栏部来生成文章。·
4.如权利要求3所述的图像处理装置，其特征在于， 所述判定部在所述拍摄图像内识别了多个面部区域的情况下， 当最大的面部区域的大小相对于所述拍摄图像的大小的比例为第I阈值以上、小于第2阈值、且多个面部区域的比例的标准偏差或方差或者多个面部区域的大小的标准偏差或方差小于第3阈值时，其中，所述第2阈值是所述第I阈值以上的值， 或者，当所述最大的面部区域的大小的比例为所述第2阈值以上时， 所述判定部判定为所述拍摄图像是所述人物图像，并且基于所述第I阈值以上的比例的面部区域的数量判定被摄物体的人数。
5.如权利要求1至4中任一项所述的图像处理装置，其特征在于， 所述文章生成部将与所述拍摄图像的配色方案相应的形容词作为与所述拍摄图像的特征量相应的单词而插入到所述空栏部来生成文章。
6.如权利要求5所述的图像处理装置，其特征在于， 所述文章生成部将根据所述拍摄图像是所述人物图像还是所述风景图像而决定的与所述拍摄图像上的规定区域的配色方案相应的形容词插入到所述空栏部来生成文章。
7.一种图像处理装置，其特征在于，包括: 图像输入部，其被输入拍摄图像； 决定部，其决定与所述拍摄图像的特征量及所述拍摄图像的拍摄条件的至少一方对应的文本； 判定部，其判定所述拍摄图像是第I类别的图像还是是与所述第I类别不同的第2类别的图像； 存储部，其存储第I文章结构和第2文章结构，所述第I文章结构是所述第I类别所使用的文章的文章结构，所述第2文章结构是所述第2类别所使用的文章的文章结构； 文章生成部，在通过所述判定部判定成所述拍摄图像是所述第I类别的图像时，所述文章生成部使用所述决定部所决定的所述文本来生成所述第I文章结构的文章，在通过所述判定部判定成所述拍摄图像是所述第2类别的图像时，所述文章生成部使用所述决定部所决定的所述文本生成所述第2文章结构的文章。
8.如权利要求7所述的图像处理装置，其特征在于，所述第I类别是肖像，所述第2类别是风景。
9.一种摄像装置，其特征在于，具有: 摄像部，其拍摄被摄物体并生成拍摄图像； 存储部，其作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，其中，所述人物图像用模板用于生成针对以人物为被摄物体的人物图像的文章，所述风景图像用模板用于生成针对以风景为被摄物体的风景图像的文章；判定部，其判定所述拍摄图像是所述人物图像还是所述风景图像； 文章生成部，其根据所述判定部对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
10.一种程序，其特征在于，使图像处理装置的计算机执行步骤，其中，所述图像处理装置具有存储部，该存储部作为将单词插入到规定的空栏部来完成文章的文章模板而存储人物图像用模板和风景图像用模板，所述人物图像用模板用于生成针对以人物为被摄物体的人物图像的文章，所述风景图像用模板用于生成针对以风景为被摄物体的风景图像的文章，所述程序使所述图像处理装置的计算机执行的步骤为: 输入拍摄图像的图像输入步骤； 判定所述拍摄图像是所述人物图像还是所述风景图像的判定步骤； 文章生成步骤，根据所述判定步骤对所述拍摄图像的判定结果，从所述存储部读出所述人物图像用模板和所述风景图像用模板的某一个的所述文章模板，将与所述拍摄图像的特征量或拍摄条件相应的单词插入到所读出的所述文章模板的所述空栏部来生成对于所述拍摄图像的文章。
11.一种图像处理装置，其特征在于，具有: 决定部，其根据拍摄图像决定具有规定的意思的文字；判定部，其判定所述拍摄图像是人物图像还是是与所述人物图像不同的图像； 存储部，其存储第I文章结构和第2文章结构，所述第I文章结构是所述人物图像所使用的文章的文章结构，所述第2文章结构是与所述人物图像不同的图像所使用的文章的文章结构； 输出部，在通过所述判定部判定成所述拍摄图像是所述人物图像时，所述输出部使用具有所述规定的意思的文字并输出所述第I文章结构的文章，在通过所述判定部判定成所述拍摄图像是与所述人物图像不同的图像时，所述输出部使用具有所述规定的意思的文字并输出所述第2文章结构的文章。
12.—种图像处理装置，其特征在于，具有:图像取得部，其取得所拍摄的图像数据； 场景判别部，其根据所取得的所述图像数据判别场景； 主色提取部，其基于颜色信息的频率分布从所取得的所述图像数据提取主色； 存储部，其对每个场景附带关联地预先存储有颜色信息和第I标签； 第I标签生成部，其从所述存储部读出与所提取的所述主色和判别出的所述场景附带关联地预先存储的所述第I标签，将所读出的所述第I标签生成为所取得的所述图像数据的标签。
13.如权利要求12所述的图像处理装置，其特征在于，具有第2标签生成部，其基于所提取的所述主色的频率对所述主色的比例进行标准化，基于标准化了的所述主色的比例，修正所述第I标签，由此生成第2标签。
14.如权利要求12或13所述的图像处理装置，其特征在于， 在所述存储部中，对判别出的每个所述场景附带关联有多个颜色信息的组合信息和标签。
15.如权利要求12至14中任一项所述的图像处理装置，其特征在于，所述场景判别部从所取得的所述图像数据取得图像识别信息，从所取得的所述图像识别信息提取表示所述场景的信息，基于表示所提取的所述场景的信息来判别所述图像数据的所述场景。
16.如权利要求15所述的图像处理装置，其特征在于，所述场景判别部从所取得的所述图像数据提取特征量，基于所提取的所述特征量，判别所述图像数据的所述场景。
17.如权利要求12至15中任一项所述的图像处理装置，其特征在于， 具有区域提取部，其基于判别出的所述场景，从所取得的所述图像数据提取要提取所述主色的区域， 所述主色提取部从要提取所述主色的区域的图像数据提取所述主色。
18.如权利要求13至17中任一项所述的图像处理装置，其特征在于，将基于所述第I标签及通过修正所述第I标签而生成的第2标签的信息、或者基于所述第I标签或所述第2标签的信息，与所取得的所述图像数据附带关联地存储在所述存储部。
19.一种摄像装置，其特征在于，具有权利要求12至18中任一项所述的图像处理装置。
20.—种程序，是使计算机执行具有摄像部的图像处理装置的图像处理的程序，其特征在于，使计算机执行如下步骤: 图像取得步骤，取得所拍摄的图像数据； 场景判别步骤，根据所取得的所述图像数据判别场景； 主色提取步骤，基于颜色信息的频率分布从所取得的所述图像数据提取主色； 第I标签生成步骤，读出所提取的所述主色、并从按每个场景附带关联地预先存储有颜色信息和第I标签的存储部读出所述第I标签，将所读出的所述第I标签生成为所取得的所述图像数据的标签。
21.—种图像处理装置，其特征在于，具有: 场景判别部，其判别是否是人物摄影场景； 颜色提取部，在通过所述场景判别部判别为不是人物摄影场景时，所述颜色提取部从所述图像数据提取颜色信息； 存储部，其附带关联地预先存储有颜色信息和具有规定的意思的文字；读出部，在通过所述场景判别部判别为不是人物摄影场景时，所述读出部从所述存储部读出与由所述颜色提取部提取出的所述颜色信息对应的具有所述规定的意思的文字。
22.—种图像处理装置，其特征在于，包括: 取得部，其取得图像数据及文本数据； 检测部，其检测所述取得部所取得的所述图像数据的边缘； 区域决定部，其基于由所述检测部检测到的边缘，决定所述图像数据中的配置所述文本数据的区域； 图像生成部，其生成在由所述区域决定部决定出的区域中配置有所述文本数据的图像。
23.如权利要求22所述的图像处理装置，其特征在于， 所述区域决定部将所述图像数据中的边缘较少的区域决定为配置所述文本数据的区域。
24.一种图像处理装置，其特征在于，具有: 图像输入部，其输入图像数据； 边缘检测部，其检测由所述图像输入部输入的图像数据中的边缘； 文本输入部，其输入文本数据； 区域决定部，其基于由所述边缘检测部检测到的边缘，决定所述图像数据中的所述文本数据的合成区域； 合成部，其将所述文本数据合成到由所述区域决定部决定的合成区域。
25.如权利要求24所述的图像处理装置，其特征在于，所述区域决定部将所述图像数据中的边缘较少的区域决定为所述合成区域。
26.如权利要求24或25所述的图像处理装置，其特征在于， 具有成本算出部，该成本算出部以通过所述边缘检测部检测到的边缘所在位置的成本变高的方式算出表示所述图像数据的各位置处的重要度的成本， 所述区域决定部基于通过所述成本算出部算出的成本，将与所述合成区域对应的成本较小的区域决定为所述合成区域。
27.如权利要求26所述的图像处理装置，其特征在于， 具有第I位置输入部，其输入所述图像数据中的第I位置， 所述成本算出部使得越位于接近所述第I位置的位置而成本越高，越远离所述第I位置的位置而成本越低，其中，所述第I位置通过所述第I位置输入部而被输入。
28.如权利要求26或27所述的图像处理装置，其特征在于， 具有面部检测部，其从所述图像数据检测人物的面部， 所述成本算出部使得通过所述面部检测部检测到的面部所在区域的成本变高。
29.如权利要求26至28中任一项所述的图像处理装置，其特征在于， 具有第2位置输入部，其输入合成所述文本数据的第2位置， 所述成本算出部使得通过所述第2位置输入部而输入的所述第2位置的成本变低。
30.如权利要求24至29中任一项所述的图像处理装置，其特征在于， 具有文字大小决定部，其以能够将所述文本数据的文本的全部包含在所述图像数据的图像区域内地合成的方式，决定所述文本数据的文字的大小。
31.如权利要求24至30中任一项所述的图像处理装置，其特征在于， 所述图像输入部输入动态图像的图像数据， 所述区域决定部基于所述动态图像的图像数据所包含的多个帧图像来决定所述文本数据的所述合成区域。
32.—种程序，其特征在于，使计算机执行如下步骤: 输入图像数据的步骤； 输入文本数据的步骤； 检测所输入的所述图像数据中的边缘的步骤； 基于检测到的所述边缘，决定所述图像数据中的所述文本数据的合成区域的步骤； 将所述文本数据合成到所决定的所述合成区域的步骤。
33.一种图像处理方法，其特征在于，具有如下步骤: 图像处理装置输入图像数据的步骤； 所述图像处理装置输入文本数据的步骤； 所述图像处理装置检测所输入的所述图像数据中的边缘的步骤； 所述图像处理装置基于检测到的所述边缘，决定所述图像数据中的所述文本数据的合成区域的步骤； 所述图像处理装置将所述文本数据合`成到所决定的所述合成区域的步骤。
34.一种摄像装置，其特征在于，具有权利要求24至31中任一项所述的图像处理装置。
35.一种图像处理装置，其特征在于，包括: 检测部，其检测图像数据的边缘； 区域决定部，其基于由所述检测部检测到的所述边缘的位置，决定所述图像数据中的配置文字的配置区域； 图像生成部，其生成在通过所述区域决定部决定的所述配置区域配置有所述文字的图像。
36.一种图像处理装置，其特征在于，具有: 图像输入部，其输入图像数据； 文本设定部，其设定文本的数据； 文本合成区域设定部，其设定文本合成区域，该文本合成区域是在通过所述图像输入部输入的图像数据中合成通过所述文本设定部设定的文本的数据的区域； 字体设定部，其设定至少包含字体颜色的字体，并包括字体颜色设定部，该字体颜色设定部相对于基于通过所述图像输入部输入的图像数据及通过所述文本合成区域设定部设定的文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色； 合成图像生成部，其使用通过所述字体设定部设定的至少包含字体颜色的字体，生成将通过所述文本设定部设定的文本的数据合成到图像数据中的文本合成区域而成的图像的数据即合成图像的数据，其中，所述图像数据通过所述图像输入部而输入，所述文本合成区域通过所述文本合成区域设定部而设定。
37.如权利要求36所述的图像处理装置，其特征在于， 所述字体颜色设定部求出图像数据中的文本合成区域的RGB的平均色，并根据所求出的RGB的平均色求出PCCS表色系的色调和色相，且设定仅变更了所求出的PCCS表色系的色调和色相中的色调的字体颜色，其中，所述图像数据通过所述图像输入部而输入，所述文本合成区域通过所述文本合成区域设定部而设定。
38.如权利要求36或37所述的图像处理装置，其特征在于， 所述字体颜色设定部在PCCS表色系中，针对暗色调，变更成白色调或浅灰色调。
39.如权利要求36至38中任一项所述的图像处理装置，其特征在于，所述字体颜色设定部在PCCS表色系中，针对明亮的色调，变更成在有彩色中具有对比的协调的关系的其他色调。
40.如权利要求39所述的图像处理装置，其特征在于，所述字体颜色设定部在PCCS表色系中，针对明亮的色调、且存在多个在有彩色中具有对比的协调的关系的其他色调的色调，变更成这些多个其他色调中最鲜艳的色调。
41.如权利要求36至40中任一项所述的图像处理装置，其特征在于，所述字体设定部通过所述字体颜色设定部设定字体颜色，并且设定轮廓的字体。
42.如权利要求36至41中任一项所述的图像处理装置，其特征在于，所述字体颜色设定部判定在图像数据中文本合成区域中的颜色的变化是否是规定值以上，当判定成所述文本合成区域中的颜色的变化是规定值以上时，在所述文本合成区域中设定2种以上的字体颜色，其中，所述图像数据通过所述图像输入部而输入，所述文本合成区域通过所述文本合成区域设定部而设定。
43.一种程序，其特征在于，使计算机执行如下步骤: 输入图像数据的步骤； 设定文本的数据的步骤； 设定文本合成区域的步骤，所述文本合成区域是在所输入的所述图像数据中合成所设定的所述文本的数据的区域； 相对于基于所输入的所述图像数据及所设定的所述文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤； 使用所述设定的至少包含字体颜色的字体，生成将所设定的所述文本的数据合成到所输入的所述图像数据中的所设定的所述文本合成区域而成的图像的数据即合成图像的数据的步骤。
44.一种图像处理方法，其特征在于，具有: 图像处理装置输入图像数据的步骤； 所述图像处理装置设定文本的数据的步骤； 所述图像处理装置设定文本合成区域的步骤，其中，所述文本合成区域是在所输入的所述图像数据中合成所设定的所述文本的数据的区域； 所述图像处理装置相对于基于所输入的所述图像数据及所设定的所述文本合成区域的、PCCS表色系的色调和色相，设定色相不变而变更了色调的字体颜色，并设定至少包含字体颜色的字体的步骤； 所述图像处理装置使用所述设定的至少包含字体颜色的字体，生成将所设定的所述文本的数据合成到所输入的所述图像数据中的所设定的所述文本合成区域而成的图像的数据即合成图像的数据的步骤。
45.一种摄像装置，其特征在于，具有权利要求36至42中任一项所述的图像处理装置。
46.一种图像处理装置，其特征在于，包括: 取得部，其取得图像数据及文本数据； 区域决定部，其决定所述图像数据中的配置所述文本数据的文本配置区域； 颜色设定部，其对文本数据设定规定的颜色； 图像生成部，其生成在所述文本配置区域中配置了所述规定的颜色的所述文本数据的图像， 所述图像数据的所述文本配置区域的色相值和所述文本数据的色相值之比，相较于所述图像数据的所述文本配置区域的色调值和所述文本数据的色调值之比，更接近I。
47.如权利要求46所述的图像处理装置，其特征在于，所述颜色设定部根据所述文本配置区域的RGB的平均色求出PCCS表色系的色调值及色相值，不使所述PCCS表色系的色相变化，仅变更所述PCCS表色系的色调值。
48.一种图像处理装置，其特征在于，包括: 决定部，其决定图像数据中的配置文字的配置区域； 颜色设定部，其对文字设 定规定颜色； 图像生成部，其生成在所述配置区域中配置了所述文字的图像， 所述颜色设定部设定所述规定颜色，以使得所述配置区域的色相值和所述文字的色相值之比，相较于所述配置区域的色调值和所述文字的色调之比，更接近I。
【文档编号】H04N5/225GK103718172SQ201280039636
【公开日】2014年4月9日 申请日期:2012年9月21日 优先权日:2011年9月21日
【发明者】小林宽子, 村田司, 松尾武史 申请人:株式会社尼康
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1