復元されたAI美空ひばりがリアルすぎて騒然…いったいどんな技術で作ったの?




第70回の「NHK紅白歌合戦」での目玉は、AIと最新グラフィック技術による美空ひばりの復活でした。

放送され、その姿を目のあたりにしたとき、家族全員息をのんで一言もしゃべらずに聞き入っていました。

そしてAIから問いかけてくる一言二言。

「お久しぶりです。あなたの事、ずっと見ていましたよ…」

義母は涙腺崩壊…

義一家が騒然となりました。。。

SNSを除くと、「心震えた!」、「びっくりした」、「AI技術ってすごい」など絶賛する人もいれば、「魂の冒涜だ」、「倫理的にどうなの」と疑問を呈する人もいました。

そんな世間を騒然とさせた美空ひばりを再現したバーチャル技術についてまとめてみたいと思います。

音声はAI技術「VOCALOID:AI」を使用

「VOCALOID:AI」はYAMAHAの歌声合成技術です。

詳細はヤマハ特集ページをご参照ください。
https://www.yamaha.com/ja/about/ai/vocaloid_ai/

VOCALOID、ボーカロイドといったら初音ミクを連想しますよね。

はい、そうですベースは同じです。

一定のフレーズの音声をコンピュータに記憶させて、入力したメロディーと歌詞に応じて、記憶した音声をコンピュータで再生するのです。

ただそのまま再生するとコンピュータの表現力は乏しいので、聞き手に違和感が生じるのですね。

それがかえってボーカロイドの良さとして初音ミクはブレイクしたのですが、今回の美空ひばりは実在の人がベースですからそうはいかないわけです。

そこでAIの登場です。

AIにいっぱい音声パターンを覚えさせればさせるほど、そっくりに音声が再現できるのです。

理屈としては、

ものまね芸人が対象としている人のパターンをたくさん取り入れ、特徴的な部分を強調して演じる。

それと同じです。

ものまね芸人がコンピュータになったと思ってもらえばと思います。

ものまね芸人はビデオが擦り切れるまでパターンを学習するといいますが、コンピュータも同じようにたくさん学習するのですね。これを深層学習技術(ディープラーニング)といい、教師がいない独学でやっているので教師なし学習といったりもします。

ものまね芸人が独り立ちするには10年かかるといわれていますが、さらに教えてくれる先生はいない状態で再現方法を決めていかなければならないので、とても大変な作業という訳ですね。

新曲を表現する苦労

今回の曲は、秋元康さんがプロデュースした新曲「あれから」です。

30年ぶりの新曲ということですが、歌い手の本人がいないのでどのように表現をするかは未知数でプロデュースする人たちの腕にかかっています。
「「AIってすごいね」ではなく、過去に実際のひばりさんの歌を受け取って感動したのと同じように、心を震わせてもらえるものを作りたかった」との開発者のコメントがありましたので、目標はかなり高く設定をしているようです。

そのために過去の音声の中で子に対しての読み聞かせの音声まで取り入れた、というのですから大変のこだわりようであることがうかがえます。

コンピュータ音声で人の心を震わせるという、これまた技術を超えた領域に挑んだということも、今回の醍醐味であったかと思います。

映像は巨大プロジェクターに映し出された3D

今回映し出された映像とAIは関係ありません。
3Dポリゴンによりモデルが演じた動きを再生させたという、いわゆるマリオネットのような裏で人が人形を操る技術です。

なお操っている人は天童よしみさんです。

天童よしみさんの体にセンサーを付けて動きを記録し、コンピュータ上で再現しているのですね。

ゲームやyoutubeのVtuberでも採用されるおなじみの技術ですね。

ただしステージに本人がその場にいるかのように映し出す技術はかなり高度と言えます。

3Dホログラム技術といって、会議とかに使うプロジェクターを何十台も用意して、ホロゴースというタイツの用な生地でできている透明なスクリーンにいろんな角度から映し出すと、立体的に映るのです。

なので、近づくとタイツスクリーンということがわかってしまいます。

またステージが明るいと、プロジェクターで映し出している映像がスケスケになってしまうので、なるべく暗くする必要があります。

今回映し出された映像の背景が黒だったのはそんなことが影響しているのです。

美空ひばり(AI歌唱) 新曲「あれから」をもう一度聞くには?

美空ひばり(AI歌唱) 新曲「あれから」のCDは好評発売中です。

またyoutubeからも視聴が可能です。

さいごに

今回のAIで再現された美空ひばりの歌声は間違いなく見ている人に感動を与えました。

また、AIの利用と最新技術を駆使したということで作成サイドの苦労もまた伝わってきて興味深いものでした。

今後もこのようなバーチャル技術はますます高度化し採用されていくことでしょうから、バーチャルがステージを賑わすシーンは増えていくかもしれませんね。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です