物語テキストから動画自動生成テスト
これの技術解説をしたいと思います。まあ、中身は単純で
１日ちょっとで作れた簡単なものなんですけどね。
■テキストの準備
まず、元となるテキストを用意します。今回は、
青空文庫『桃太郎』楠山正雄作
http://www.aozora.gr.jp/cards/000329/files/18376_12100.html
を、使用しました。
■テキストの分割
次に、テキストを１文単位に分割します。この辺りは、
物語自動生成プログラム『ジェネジェネちゃん』の作り方 基礎編
http://blog.vrai.jp/article/455677889.html
こちらと同じですね。
■述語項構造解析
そして、その１文を、
日本語構文・格・照応解析システム KNP - 京都大学 黒橋・河原研究室
http://nlp.ist.i.kyoto-u.ac.jp/index.php?KNP
を使って、述語項構造を解析します。たとえば、
とおばあさんは言いました。
という文章を解析すると、
# S-ID:1 KNP:4.11-CF1.1 DATE:2018/01/04 SCORE:-29.37316
* 2D ＜係:ト格＞
+ 2D ＜係:ト格＞＜EID:0＞
と と と 助詞 9 格助詞 1 * 0 * 0 NIL ＜係:ト格＞
* 2D ＜体言＞＜係:未格＞
+ 2D ＜体言＞＜係:未格＞＜EID:1＞＜述語項構造:婆さん/ばあさん:名1＞
お お お 接頭辞 13 名詞接頭辞 1 * 0 * 0 "代表表記:御/お"
ばあさん ばあさん ばあさん 名詞 6 普通名詞 1 * 0 * 0 "代表表記:婆さん/ばあさん カテゴリ:人 ドメイン:家庭・暮らし" ＜係:未格＞
は は は 助詞 9 副助詞 2 * 0 * 0 NIL
* -1D ＜用言:動＞＜係:文末＞
+ -1D ＜用言:動＞＜係:文末＞＜EID:2＞＜述語項構造:言う/いう:動8:ト/C/と/0;ガ/N/おばあさん/1＞
言い いい 言う 動詞 2 * 0 子音動詞ワ行 12 基本連用形 8 "代表表記:言う/いう 補文ト"
ました ました ます 接尾辞 14 動詞性接尾辞 7 動詞性接尾辞ます型 31 タ形 7 "代表表記:ます/ます"
。 。 。 特殊 1 句点 1 * 0 * 0 NIL
EOS
と、出力されます。
このうち利用したいのは、
＜述語項構造:言う/いう:動8:ト/C/と/0;ガ/N/おばあさん/1＞
という部分です。ここから、
主語（ガ格）＝名詞「おばあさん」
述語＝動詞「言う」
が、この文章に含まれることが判明します。
また、ヲ格やニ格という対象語（目的語）が含まれる場合も
あります。
■実行時処理
あとは、「おばあさん」「桃太郎」といった人物名に対応する
３Ｄキャラクターモデルを用意し、「桃」「船」「門」などの
対象語となるオブジェクトモデルも用意します。
また、動詞に対応するモーションデータも用意します。それらは
すべて今回はUnityアセットストアで無料のものを利用しました。
そして、テキストの最初から１文ずつ、新しいキャラが登場したら
表示をおこない、モーションを再生し、カメラをそちらに向ける等の
処理を実行していくだけです。
なお、「家」「川」「鬼が島」などの場所に関しては、
フィールドマップ作成時に位置を指定しています。
■問題の原因・形態素解析
動画を見てもらうと分かりますが、どうにもおかしな点が多数
見受けられます。いくつかの原因があるのですが、まず
最初の形態素解析の段階で失敗している場合があります。
たとえば、「鬼が島」が１つの単語なのに、「鬼」「が」「島」と
分割されてしまっています。それにより、
桃太郎はこの話をきくと、その鬼が島へ行ってみたくって、もう居ても立ってもいられなくなりました。
という文章では、
「鬼」が「島」へ「行く（行ってみたい）」
と解析され、
いきなり鬼が遠くの「鬼ヶ島」まで全速力で走って行く羽目になりました。
まあこのあたりは、「鬼が島」を単語登録すれば、ひとまず
問題は解決できるかと思いますが、形態素解析の処理によっては
単語登録されていても、うまく単語として分割されない場合もあります。
■問題の原因・主語の省略
日本語では主語が省略されることが多々あり、この『桃太郎』の
文章も例外ではありません。
そこで、この動画生成プログラムでは、主語が分からない場合は、
直前の主語を利用することにしています。
そのせいで、
という文章が、
と解析され、
まあこのあたりは、「鬼が島」を単語登録すれば、ひとまず
問題は解決できるかと思いますが、形態素解析の処理によっては
単語登録されていても、うまく単語として分割されない場合もあります。
■問題の原因・主語の省略
日本語では主語が省略されることが多々あり、この『桃太郎』の
文章も例外ではありません。
そこで、この動画生成プログラムでは、主語が分からない場合は、
直前の主語を利用することにしています。
そのせいで、
とおじいさんは言いました。
「まあ、そんな遠方へ行くのでは、さぞおなかがおすきだろう」
という文章が、
（おじいさん）（言う）
（？）（行く）（遠方へ）
と解析され、
おじいさんが遠方＝鬼ヶ島まで全速力で走って行く羽目になりました。
これに関しては、セリフ内の文章は実際の現象ではないとして
無視するか、「～だろう」という文の構造から予測や想像と
判定すれば回避できるかもしれません。
■問題の原因・常識による判断
犬猿キジの登場直後に、謎の男が現れますが、
これに関しては、セリフ内の文章は実際の現象ではないとして
無視するか、「～だろう」という文の構造から予測や想像と
判定すれば回避できるかもしれません。
■問題の原因・常識による判断
犬猿キジの登場直後に、謎の男が現れますが、
それは、
この文における「家来」です。
犬猿キジ達は「お供しましょう」と言ったり、桃太郎が
「ついて来い」と言っているのですが、それによって
犬猿キジ達が桃太郎の家来となり、「家来」という言葉は
犬猿キジ達の属性であって、別の人物を表していないことを
プログラムが理解していないため発生しています。
このあたりは人工知能の研究で最も厄介な部分で、
人間の持つ常識から判断しないといけないのですが、
その膨大な量の常識を、どのようなデータ構造で保持し
利用すればいいのかや、そもそもどうやってその
膨大なデータを入力すればいいかが最大の問題となっています。
■まとめ
このような動画自動生成によって、いわゆるＡＩが
何を理解していないのか、何を教える必要があるのかが
目で見て分かるため、研究には有用ではないかと考えています。
しかし、上記の諸問題を解決したとしても、登場人物の
内面の状態や変化を捉えるのは、さらにハードルが高い
問題となるでしょう。
そこを超えてようやく人工無脳ではない会話可能なＡＩの
開発のスタートに立てると思います。
桃太郎と、三にんの家来は、さっそく、この船に乗り込みました。
この文における「家来」です。
犬猿キジ達は「お供しましょう」と言ったり、桃太郎が
「ついて来い」と言っているのですが、それによって
犬猿キジ達が桃太郎の家来となり、「家来」という言葉は
犬猿キジ達の属性であって、別の人物を表していないことを
プログラムが理解していないため発生しています。
このあたりは人工知能の研究で最も厄介な部分で、
人間の持つ常識から判断しないといけないのですが、
その膨大な量の常識を、どのようなデータ構造で保持し
利用すればいいのかや、そもそもどうやってその
膨大なデータを入力すればいいかが最大の問題となっています。
■まとめ
このような動画自動生成によって、いわゆるＡＩが
何を理解していないのか、何を教える必要があるのかが
目で見て分かるため、研究には有用ではないかと考えています。
しかし、上記の諸問題を解決したとしても、登場人物の
内面の状態や変化を捉えるのは、さらにハードルが高い
問題となるでしょう。
そこを超えてようやく人工無脳ではない会話可能なＡＩの
開発のスタートに立てると思います。
