图画描绘支援装置、方法、以及程序的制作方法
【专利摘要】本发明提供对用户的图画描绘制作进行支援，以使用户能简单地描绘所希望的图画的图画描绘支援装置、方法、以及程序。一实施形态的图画描绘支援装置具备特征提取部、声音识别部、关键词提取部、图像检索部、图像选择部、图像变形部以及提示部。特征提取部从用户所描绘的图画中提取特征量。声音识别部对用户发出的声音进行声音识别。关键词提取部从上述声音识别结果中提取至少一个关键词。图像检索部从预先准备的图像中检索与上述至少一个关键词对应的一个以上的图像。图像选择部根据上述特征量从上述检索出的一个以上的图像中选择符合上述图画的图像。图像变形部根据上述特征量使上述被选择的图像变形，生成输出图像。提示部提示上述输出图像。
【专利说明】图画描绘支援装置、方法、以及程序
【技术领域】
[0001] 本发明的实施形态涉及图画描绘支援装置、方法、以及程序。
【背景技术】
[0002] 存在有通过手写方式对图画的描绘进行支援的图画描绘支援装置。已有的图画描 绘支援装置对用户所描绘的图画进行图形识别，生成以识别结果为依据的图画。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1 :日本专利第4708913号
[0006] 专利文献2 :日本特开2002 - 215627号公报
【发明内容】
[0007] 发明要解决的课题
[0008] 在上述那样的图画描绘支援装置中，存在只在对用户所描绘的图画进行了正确的 图形识别的情况下图画描绘支援才能够成功的问题。具体地说，与四边形等简单的图形和 文字以外的对象(物体）对应是困难的，而且为了与形状复杂的图形对应，用户必须描绘出 能够进行图形识别的详细的图画。
[0009] 对图画描绘支援装置的要求是，能够支援用户的图画描绘，以使得用户能简单地 描绘所希望的图画。
[0010] 本发明想要解决的课题，是提供一种能够支援用户的图画描绘以使用户能够简单 地描绘所希望的图画的图画描绘支援装置、方法、以及程序。
[0011] 解决课题用的手段
[0012] 本发明一实施形态的图画描绘支援装置具备特征提取部、声音识别部、关键词提 取部、图像检索部、图像选择部、图像变形部、以及提示部。特征提取部从用户所描绘的图画 中提取特征量。声音识别部对上述用户发出的声音进行声音识别。关键词提取部从上述声 音识别结果提取至少一个关键词。图像检索部从预先准备的图像中检索与上述至少一个关 键词对应的一个以上的图像。图像选择部根据上述特征量从上述检索出的一个以上的图像 中选择符合上述图画的图像。图像变形部根据上述特征量使上述被选择出的图像变形，生 成输出图像。提示部提示上述输出图像。
【专利附图】
【附图说明】
[0013] 图1是概略表示一实施形态所涉及的图画描绘支援装置的方框图。
[0014] 图2是表示图1的图画描绘支援装置的处理步骤例的流程图。
[0015] 图3是表示用户所描绘的图画之一例的图。
[0016] 图4是表示图1所示的关键词提取部的处理步骤例的流程图。
[0017] 图5是表示图1所示的关键词提取部所保持的配置短语提取辞典之一例的图。
[0018] 图6是表示图1所示的图像存储部所存储的图像的例子的图。
[0019] 图7是表示图1所示的图像选择部的处理步骤例的流程图。
[0020] 图8是表示图1所示的图像变形部的处理步骤例的流程图。
[0021] 图9的（a)及（b)是表不利用图1所不的图像变形部生成的变形图像的例子的图。
[0022] 图10是表示图1所示的图像变形部将图9的（a)的变形图像与图9的（b)的变形 图像合成制作的输出图像的图。
[0023] 图11是表示用户所描绘的图画的另一例子的图。
[0024] 图12是表示图1的图画描绘支援装置根据图11的图画制作出的输出图像之一例 的图。
【具体实施方式】
[0025] 以下参照附图对各种实施形态进行说明。
[0026] 图1概略地表示一实施形态所涉及的图画描绘支援装置。该图画描绘支援装置可 以适用于像PC (个人电脑)、平板电脑、智能手机等那样具备能够用笔或手指进行手写输入 的手写输入接口的终端装置。在本实施形态中，作为手写输入接口，设想是包含设置于显示 装置的显示画面的触摸屏和操作触摸屏用的笔的笔式输入装置。
[0027] 图1所示的图画描绘支援装置是利用声音识别支援用户描绘图画的装置。具体地 说，图画描绘支援装置具备声音识别部101、关键词提取部102、图像存储部103、图像检索 部104、特征提取部105、图像选择部106、图像变形部107、以及显示部(也称为提示部)108。
[0028] 声音识别部101对用户发出的声音进行声音识别，将识别结果作为文本（text)输 出。具体地说，用户发出的话语利用麦克风等声音输入装置收集，作为声音数据被提供给声 音识别部101。声音识别部101通过对声音数据进行声音识别，将用户发出的话语(声音)转 换为文本。声音识别可以借助于公知的或今后能够开发出的任意声音识别技术进行。还有， 在识别结果不能够被唯一地确定的情况下，声音识别部101可以将多个候补识别结果附上 其可信度输出，或也可以将每一单词的候补识别结果的系列作为格网（9 f 等数据结 构输出。
[0029] 关键词提取部102从声音识别部101输出的文本中提取关键词。作为关键词的提 取方法，可以利用例如对文本进行语态分析，提取独立词的方法。在声音识别部101的识别 结果为包含助词的句子的情况下等，也有关键词提取部102提取多个关键词的情况。
[0030] 在图像存储部103,与标签信息对应地储备、即存储有被事先登记了的图像数据。 还有，图像存储部103不限于设置在图画描绘支援装置内的例子，也可以设置在与图画描 绘支援装置进行通信的其他装置(例如服务器)。
[0031] 图像检索部104将关键词提取部102所提取的关键词作为检索关键词，根据标签 信息检索在图像存储部103中存储的图像。可以检索一个图像，也可以检索多个图像。
[0032] 特征提取部105从用户一边发声一边描绘的图画中提取特征量。还有，发声与描 绘不一定要同时进行，也可以是时间上有偏差的动作。例如，用户也可以在描绘图画后输入 与该图画对应的（即表现该图画的）声音，或者也可以在输入声音后描绘对应的图画。
[0033] 进一步地，特征提取部105从图像检索部104检索出的图像中提取特征量。还有， 对检索出的图像的特征提取处理不一定要在检索后执行。例如也可以在特征提取部105对 预先准备的图像进行特征提取处理，将图像与处理结果（即特征量）及标签信息对应地存储 于图像存储部103。
[0034] 图像选择部106根据所描绘的图画的特征量和检索出的图像的特征量，从检索出 的图像中选择符合该图画的图像。在这里，"符合"是"一致"或"类似"的意思。图像变形 部107按照描绘的图画的特征量，使图像选择部106选择出的图像变形，生成与用户描绘出 的图画对应的输出图像(也称为输出图画）。显示部108为了将图像变形部107生成的输出 图像向用户提示而进行显示。
[0035] 本实施形态的图画描绘支援装置利用声音识别，从预先准备的多个图像中选择符 合用户描绘的图画的图像，基于该图像生成输出图像。借助于此，能够对描绘制作图画进行 支援，以使用户能够简单地描绘所希望的图画。
[0036] 下面对本实施形态的图画描绘支援装置的动作进行说明。
[0037] 图2概略地表示本实施形态的图画描绘支援装置的动作例。在步骤S201中，用户 用笔描绘图画，同时发出与该图画对应的声音。在步骤S202,特征提取部105从用户描绘 的图画中提取特征量。在步骤S203,声音识别部101对用户的声音进行声音识别。在步骤 S204,关键词提取部102从声音识别结果中提取关键词。在步骤S205,判断关键词提取部 102提取的关键词是否为多个。在提取到一个关键词的情况下，进入步骤S208,在提取到多 个关键词的情况下，进入步骤S206。在步骤S206中，图像检索部104从图像存储部103检 索标签信息完全包含这些关键词的图像。在步骤S207,判断是否检索到图像。检索到图像 的情况下，进入步骤S210,没有检索到图像的情况下，进入步骤S208。
[0038] 在步骤S208,图像检索部104对每一关键词检索包含该关键词的图像。在步骤 S209,判断是否对全部关键词中的各关键词进行了图像检索。对全部关键词进行了图像检 索的情况下，进入步骤S210，否则处理结束。
[0039] 在步骤S210,特征提取部105从检索到的图像提取特征量。检索多个图像的情况 下，对每一图像提取特征量。在步骤S211，图像选择部106根据所描绘的图画的特征量和检 索出的图像的特征量，选择符合该图画的图像。
[0040] 在步骤S212,图像变形部107按照用户所描绘的图画的特征量，使图像选择部106 所选择的图像变形。在步骤S213,显示部108显示利用图像变形部107变形了的图像。
[0041] 图2所示的处理步骤中，对步骤S202所示的输入图进行处理后，实施步骤S203? S210所示的对声音的处理，但是也可以在对输入声音进行处理后实施对图的处理，也可以 将对输入的图的处理与对输入声音的处理同时进行。
[0042] 在本实施形态中，如图2所示，在步骤S209除了对全部关键词进行了图像检索的 情况外，处理结束。另一实施形态所涉及的图画描绘支援装置，在对一部分关键词进行了图 像检索的情况下，对检索出的图像进行步骤S210?S213的处理，也可以将与没有检索出图 像的关键词对应的、手写输入的图画原封不动地显示。
[0043] 下面对本实施形态所涉及的图画描绘支援装置的动作进行具体说明。在这里，以 用户一边说"女性以富士山为背景站着（富士山&背景^女性#立c ? 一边描绘图3 所示的图画（图形）的情况为例进行说明。图3的图画由3个笔划301、302、303构成，用户 依序描绘笔划301、302、303。图3中，以笔划301描绘富士山，以笔划302及303描绘站着 的女性。在本实施形态中，即使是这样的包含多个物体的图画，也可以对其描绘制作进行支 援。用户的话语通过声音输入装置提供给声音识别部ιο?，用户所描绘的图画通过输入接口 提供给特征提取部105。
[0044] 用户的话语利用声音识别部101转换为"女性以富士山为背景站着"这样的文本。 接着，关键词提取部102从作为声音识别部101的识别结果的文本提取关键词。
[0045] 图4表示关键词提取部102的处理步骤之一例。在步骤S401中，关键词提取部 102利用公知的或今后能开发的任意语态分析技术，对从声音识别部101接收的文本进行 语态分析。本实施形态的例子中，"女性以富士山为背景站着（富士山&背景e女性#立c ? 0 ? )"这一文本被分析为："富士山 <名词>+f <助词> /背景<名词>+c <助词 > /女性<名词> + #<助词> /立。（中文译文：站着）<动词>+τ<助词>+0<助 动词>+?<助词>"。在这里，"〇〇< XX >"这样的记载表示单词"〇〇"的词类为 "ΧΧ"，"/ "表示词组的断开处，" + "表示单词的断开处。
[0046] 在步骤S402中，关键词提取部102参照图5例示的配置短语（phrase)提取辞典 从语态分析结果提取配置短语，再从语态分析结果中去除该配置短语。在图5的配置短语 提取辞典中，与配置条件相对应地登记有多个配置短语。在本实施形态的例子中，参照配置 短语提取辞典的501栏提取"+ & <助词> /背景<名词>+ ^ <助词>"这一配置短语， 将语态分析结果改写为"富士山<名词> /女性<名词> + #<助词> /立。（中文译文： 站着)<动词>+ ^ <助词>+ ^ <助动词>+ ^ <助词>"。这时，作为配置条件，得到"P refix: layer=lower, suffix: layer=upper"。关于配置条件，将在下面叙述。
[0047] 在步骤S403,关键词提取部102从去除配置短语后的语态分析结果提取词类为名 词的单词。在本实施形态的例子中，提取"富士山"及"女性"。
[0048] 这样做，利用关键词提取部102从声音识别结果中提取关键词及配置短语。
[0049] 接着，图像检索部104将作为关键词提取部102的输出的单词"富士山"及"女性" 作为检索词对图像存储部103进行检索。图像存储部103及图像检索部104可以借助于公 知的或今后能够开发的任意的关系数据库系统实施。
[0050] 图6表不图像存储部103存储的图像与标签信息的例子。图6中不出了 5个图像 601?605。图像601是正在登富士山的女性的照片，该图像601的标签信息包含"富士山" 及"女性"这两个单词。图像602是以富士山为背景摆好姿势的女性的照片，该图像602的 标签信息包含"富士山"及"女性"这两个单词。图像603是富士山的照片，该图像603的标 签信息包含单词"富士山"。图像604是女性面部的照片，该图像604的标签信息包含单词 "女性"。图像605是站着的女性的照片，该图像605的标签信息包含单词"女性"。还有，图 像存储部103存储的图像不限于照片，也可以是图画等任何形态的图像。
[0051] 在这个例子中，检索在标签信息中包含检索词"富士山"及"女性"两者的图像601 及602。检索出的图像601及602的数据被送往特征提取部105。特征提取部105分别从图 像601及602提取轮廓及轮廓线各自的长度等特征量。作为从图像中提取特征量的方法， 可以利用例如日本特开2002 - 215627号公报记载的技术。在这里，对特征提取方法的一 个例子进行简单说明。特征提取方法的这一个例子，将图像分割为格子状的多个区域，将各 区域中包含的线段(手写的笔划或从图像中提取的轮廓线)量子化为"一"、"「"、"1 "、"丨"、 " 1_"、，，、"T，，、"丄"、"/，，、" \，，等简单的基本形，对哪个基本形只包含 什么，哪个基本形与哪个基本形相邻等进行提取。
[0052] 进一步地，特征提取部105从图3所示的用户所描绘的图画提取特征量。所描绘 的图画的特征量及检索出的图像的特征量被发送到图像选择部106。图像选择部106从图 像检索部104检索出的图像选择符合所描绘的图画的图像。
[0053] 图7表示图像选择部106的处理步骤之一例。在步骤S701，图像选择部106取出 所描绘的图画的特征量lh。在步骤S702,对检索出的图像中是否有未处理的图像（即还没 有被选择为处理对象图像的图像)进行判断。存在未处理图像的情况下，从未处理的图像中 选择一个图像作为处理对象图像，然后进入步骤S703。
[0054] 在步骤S703中，图像选择部106取出处理对象图像的特征量li。在步骤S704,从 图画的特征量lh与处理对象图像的特征量li，求图画与处理对象图像之间的类似度Si。在 骤S705,对类似度Si是否在Smax值以上进行判断。还有，在图7的处理开始时，Smax值被 初始化，设定为例如0。类似度Si比Smax值小的情况下，返回步骤S702。另一方面，类似 度Si在Smax值以上的情况下，进入步骤S706。在步骤S706,图像选择部106临时选择处 理对象图像，将Smax值设定为类似度Si的值。其后返回步骤S702。
[0055] 分别对检索出的各图像进行步骤S703?S706所示的处理。在步骤S702判断为 全部图像都处理过时，进入步骤S707。在步骤S707,判断Smax值是否在预定的阈值Sthr 以上。Smax值小于阈值Sthr的情况下，在图像选择部106没有选择图像。Smax值在阈值 Sthr以上的情况下，在步骤S708将临时选择的图像选择为符合用户所描绘的图画的图像。
[0056] 在图7的例子中，从图像检索部104检索出的全部图像中，选择与用户所描绘的图 画最类似的图像，但是图像选择处理不限于这个例子。例如，将图像检索部104的检索结果 附带可信度输出的情况下，也可以将检索出的图像按照可信度依序处理，在发现与用户所 描绘的图画的类似度比阈值Sthr大的图像的时刻，选择该图像并将其输出，结束图像选择 处理。
[0057] 关键词提取部102所提取的关键词只有一个的情况下，也可以在开始进行图7的 图像选择处理时将阈值Sthr设定为较小的数值。通过将阈值Sthr设定为较小的数值，可以 减少没有选择图像的状况，即使是不太类似的图像，也能以将其作为参考输出的方式动作。 这与如下所述的，将多个关键词分割，用各关键词检索图像的情况相同。
[0058] 图像选择部106选择图像与否取决于预先决定的阈值Sthr。在这里，图像选择部 106放弃图6的图像601，选择图像602。图像选择部106所选择的图像602被发送到图像 变形部107。被选择了的图像602的特征量及被描绘的图画的特征量也被送到图像变形部 107。
[0059] 图8表示图像变形部107的处理步骤之一例。在步骤S801，图像变形部107寻找 被描绘了的图画的特征点。在步骤S802,取出第i个图像Pi。变形处理开始时，将i初始 化。即，将i设定为1。在这里，成为变形处理的对象的图像为一个（图像602)。
[0060] 在步骤S803,图像变形部107从图像Pi搜索与图画的特征点对应的图像Pi的特 征点。将与图画的特征点对应的图像Pi中的特征点称为对应点。在步骤S804,图像变形 部107计算与图像Pi的对应点对应的图画的特征点间的平均距离Dh。在步骤S805,图像 变形部107计算图像Pi的对应点间的平均距离Ds。在步骤S806,图像变形部107将图像 Pi的大小调整为Dh / Ds倍。
[0061] 图像变形部107在步骤S807计算与图像Pi的对应点对应的图画的特征点的重心 Ch，在步骤S808,计算图像Pi的对应点的重心Ci (步骤S808)。接着，图像变形部107移动 图像Pi，使重心Ch与重心Ci 一致(步骤S809)。
[0062] 在步骤S810,判断是否对全部图像进行了变形处理。在这里，成为变形处理的对象 的图像为一个，因此变形处理结束。
[0063] 图像变形部107将变形了的图像作为输出图像发送到显示部108。显示部108在 显示画面上显示从图像变形部107接收到的图像。在本实施形态中，显示部108将用户所 描绘的图画与由图像变形部107变形了的图像分别重叠于不同的层进行显示。在这种情况 下，可以进行提高某一层的透明度以淡化显示的处理、将被描绘的图画抹去后显示的处理 等各种各样的处理。
[0064] 下面对图像选择部106放弃图像检索部104检索到的全部图像(例如图像601及 602两者）的情况、以及没有找到标签信息中包含被提取的全部关键词的图像的情况下的支 援处理进行说明。还有，也可以取代上述支援处理，将以下说明的支援处理作为标准支援处 理。
[0065] 图像选择部106放弃全部图像的情况下，如果关键词提取部102所提取的关键词 数目为2个以上，则图像检索部104从图像存储部103取得与这些关键词分别对应图像。 在这种情况下，使通过最初的图像检索处理检索到的图像不被再度检索。在这里，对于"富 士山"这一关键词，检索到图6的图像603,对于"女性"这一关键词，检索到图6的图像604 及 605。
[0066] 接着，图像选择部106对应于各关键词，选择符合用户所描绘的图画的图像。这 时，各图像由于被认为与被描绘的图画的一部分对应，所以根据关键词的个数N(N为自然 数)使阈值Sthr为1 / N倍等，减小阈值Sthr，通过使图像选择部106动作，适当地选择与 关键词对应的图像。在这里，选择图6的图像603作为与关键词"富士山"对应的图像，选 择图像605作为与关键词"女性"对应的图像。
[0067] 接着，图像变形部107分别使图像603及605变形。再度参照图8,在步骤S801， 图像变形部107搜索被描绘的图画的特征点。在步骤S802,取出第i个图像Pi。在变形处 理开始时将i设定为1。在这个例子中，第1个图像P1是图像603,第2个图像P2是图像 605。
[0068] 步骤S803?S809的处理与上面所述相同，因此对步骤S803?S809的处理的说 明省略。在步骤S810,判断是否已经对全部图像实施了变形处理。有未处理的图像的情况 下，在步骤S811使i增加。其后返回步骤S802,对下一图像(例如第2个图像605)实施步 骤S802?S809的处理。对全部图像实施变形处理后，则变形处理结束。
[0069] 这样做，使尺寸和位置与图3的笔划301相符地使图6的图像603变形，使尺寸和 位置与图3的笔划302及303相符地使图6的图像605变形。
[0070] 在图8的变形处理步骤中，使图像的位置和尺寸变形，但是也可以提高例如与图 画对应的对应点外侧的区域的透明度，或实施模糊处理，使下述合成处理的结果形成更自 然的图像。
[0071] 图9的（a)及的（b)表示变形后的图像的例子。图9的（a)的图像901是图6的 图像603的变形结果，图9的（b)的图像902是图6的图像605的变形结果。
[0072] 接着，显示部108将变形图像(例如图像901及902)合成，生成输出图像。在一个 例子中，显示部108按照由关键词提取部102取得的配置条件将图像合成。在这里，作为配 置条件，得到"prefix: layer=lower, suffix: layer=upper"，因此以以下方式合成：使与被 提取的关键词中处在前方的"富士山"对应的变形图像901 (图像603)为下位的层，与处在 后方的"女性"对应的变形图像902 (图像605)为上位的层。按照取得的配置条件将变形 图像901和902合成的结果示于图10。
[0073] 这样做，本实施形态的图画描绘支援装置即使在标签信息包含被提取的全部关键 词的图像(例如图像601及602)被放弃了的情况下，也能够利用根据各关键词检索到的图 像，支援用户进行描绘。
[0074] 还有，在评价用户所描绘的图画的复杂性，输入简单的图画的情况下，也可以减小 图像选择部106使用的阈值Sthr。作为评价图形的复杂性的方法，可以采用特征提取部 105得到的特征量中轮廓线的长度越长判断为越复杂的方法、被量子化的基本形中含"+"、 " "1"越多判定为越复杂的方法等。通过这样根据图画的复杂性改变阈值 Sthr，即使用户是在描绘简单的图画，也能够显示遵循用户的意图的图像。例如用户一边说 "飞机飞过车的上方"，一边为表示车和飞机的位置及大小而描绘图11所示的图画的情况 下，不管图画的细节如何，也能够配置"车"和"飞机"的图像，合成图12所示的图像进行显 /_J、i 〇
[0075] 又，用户的话语中包含形容词和副词等修饰语的情况下，关键词提取部102生成 表示修饰语与关键词之间的依存关系(係>9受W関係）的关系信息，图像变形部107根据关 系信息对合成方法进行控制。例如用户的话语内容为"女性以朦胧的富士山为背景站着" 的情况下，图像变形部107可以使与富士山对应的变形图像901模糊化，将变形图像901和 902合成。
[0076] 进一步地，图像存储部103也可以与各图像分别对应地存储该图像的使用次数 (例如图像被图像选择部106选择的次数)。图像的使用次数与用户描绘的图画的倾向、即用 户的嗜好相关。在图像选择部106,与被描绘的图画的类似度相同的图像有多个的情况下， 选择使用次数多的图像，由此能够在描绘支援上反映用户的嗜好。
[0077] 如上所述，本实施形态的图画描绘支援装置利用声音识别选择符合用户所描绘的 图画的图像，使该图像根据图画变形，以生成输出图像。借助于此，能够对描绘制作图画进 行支援，以便简单地描绘用户所希望的图画。而且即使是包含多个对象的(物体)的图画，用 户也能够连续地用自然的动作进行描绘。
[0078] 上述实施形态中所示的处理步骤的指示，可以根据作为软件的程序实行。通用计 算机系统预先存储这种程序，通过读入该程序，也能够得到与上述实施形态的图画描绘支 援装置产生的效果相同的效果。上述实施形态记述的指示，作为能够使计算机执行的程序， 记录于磁盘(软盘、硬盘等)、光盘（CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW 等)、半 导体存储器、或与此类似的记录介质。只要是计算机或嵌入式系统可读取的记录介质，其存 储形式可以是任何形态。计算机只要从该记录介质读入程序，根据该程序利用CPU执行程 序上记述的指示，就能够实现与上述实施形态的图画描绘支援装置相同的动作。当然，计算 机取得程序的情况下或读入程序的情况下也可以通过网络取得或读入。
[0079] 又，可以根据从记录介质安装到计算机或嵌入式系统等的程序的指示，由在计算 机上运行的0S (操作系统)、数据库管理软件、网络等的MW (中间件）等执行实现本实施形 态用的各处理的一部分。
[0080] 而且，本实施形态中的记录介质不限于独立于计算机或嵌入式系统的介质，也包 含下载利用LAN或因特网等传递的程序加以存储或暂时存储的记录介质。
[0081] 又，记录介质不限于一个，从多个介质实施本实施形态的处理的情况也包含于本 实施形态的记录介质，介质的结构可以是任何结构。
[0082] 还有，本实施形态的计算机或嵌入式系统，是根据记录介质中存储的程序，执行本 实施形态的各处理用的设备，也可以是由一个个人电脑、微机等构成的装置、多个装置通过 网络连接的系统等任何结构。
[0083] 又，本实施形态的所谓计算机，不限于个人电脑，也包含信息处理设备中包含的运 算处理装置、微机等，是能够利用程序实现本实施形态的功能的设备、装置的总称。
[0084] 上面对本发明的几个实施形态进行了说明，但这些实施形态只是例示，无意限定 发明的范围。这些新的实施形态可以用其他各种形态实施，在不脱离发明的要旨的范围内， 可以实施各种省略、置换、变更。这些实施形态及其变形被包含于发明的范围和要旨，且被 包含于权利要求书所记载的发明及其均等的范围。
[0085] 符号说明
[0086] 101…声音识别部、102…关键词提取部、103…图像存储部、104…图像检索部、 105…特征提取部、106…图像选择部、107…图像变形部、108…显示部、301?303...笔划、 601?605…图像、901，902…变形图像。
【权利要求】
1. 一种图画描绘支援装置，其特征在于，具备： 特征提取部，其从用户所描绘的图画中提取特征量； 声音识别部，其对所述用户发出的声音进行声音识别； 关键词提取部，其从所述声音识别的结果提取至少一个关键词； 图像检索部，其从预先准备的图像中检索与所述至少一个关键词对应的一个以上的图 像； 图像选择部，其根据所述特征量，从所述检索出的一个以上的图像中选择符合所述图 画的图像； 图像变形部，其根据所述特征量使所述被选择的图像变形，生成输出图像；以及 提示部，其提示所述输出图像。
2. 根据权利要求1所述的图画描绘支援装置，其特征在于， 所述图像选择部根据所述特征量计算所述图画与所述检索出的一个以上的图像的每 一个之间的类似度，根据所述类似度与规定的阈值的比较，选择与所述图画类似的图像。
3. 根据权利要求2所述的图画描绘支援装置，其特征在于， 在所述关键词提取部提取多个关键词，且所述图像选择部根据所述比较判断所述检索 出的图像中没有与所述图画类似的图像的情况下，所述图像检索部就所述多个关键词的每 一个检索与该关键词对应的一个以上的图像，所述图像选择部从所述检索出的一个以上的 图像中选择与所述图画的一部分类似的图像，所述图像变形部将与所述多个关键词分别对 应的多个图像合成。
4. 根据权利要求2所述的图画描绘支援装置，其特征在于， 在所述图画是简单的图形，且所述图像选择部根据所述比较判断所述检索出的图像中 没有与所述图画类似的图像的情况下，所述图像选择部从所述检索出的一个以上的图像中 选择与所述图画的类似度最大的图像，所述图像变形部根据所述图画的大小和位置使所述 被选择的图像变形。
5. 根据权利要求2所述的图画描绘支援装置，其特征在于， 所述特征提取部从所述声音提取其他的特征量，根据所述特征量及所述其他的特征量 计算所述类似度。
6. 根据权利要求1所述的图画描绘支援装置，其特征在于， 在所述关键词提取部提取多个关键词的情况下，所述图像变形部使针对所述多个关键 词的每一个选择的多个图像变形，生成多个变形图像，将所述多个变形图像合成生成输出 图像。
7. 根据权利要求6所述的图画描绘支援装置，其特征在于， 所述关键词提取部取得表示所述声音识别的结果中的依存关系的关系信息， 所述图像变形部按照所述关系信息控制所述多个变形图像的合成方式。
8. 根据权利要求7所述的图画描绘支援装置，其特征在于， 所述关系信息表示所述关键词与修饰该关键词的修饰语的依存关系。
9. 一种图画描绘支援方法，其特征在于，具备以下步骤： 从用户所描绘的图画提取特征量的步骤； 对所述用户发出的声音进行声音识别的步骤； 从所述声音识别的结果提取至少一个关键词的步骤； 从预先准备的图像中检索与所述至少一个关键词对应的一个以上的图像的步骤； 根据所述特征量，从所述检索出的一个以上的图像中选择符合所述图画的图像的步 骤； 根据所述特征量使所述被选择的图像变形并生成输出图像的步骤；以及 提示所述输出图像的步骤。
10. -种图画描绘支援程序，其特征在于，用于使计算机作为以下单元发挥作用： 特征提取单元，其从用户所描绘的图画提取特征量； 声音识别单元，其对所述用户发出的声音进行声音识别； 关键词提取单元，其从所述声音识别结果提取至少一个关键词； 图像检索单元，其从预先准备的图像中检索与所述至少一个关键词对应的一个以上的 图像； 图像选择单元，其根据所述特征量从所述检索出的一个以上的图像中选择符合所述图 画的图像； 图像变形单元，其根据所述特征量使所述被选择的图像变形，生成输出图像；以及 提示单元，其提示所述输出图像。
【文档编号】G06F17/30GK104063417SQ201410092971
【公开日】2014年9月24日 申请日期:2014年3月13日 优先权日:2013年3月21日
【发明者】铃木优, 冈本昌之, 长健太, 布目光生 申请人:株式会社东芝