音楽生演奏と『映像』のリアルタイム同期技術 MUSICROBOT

いつもブログをご覧頂きありがとうございます。

2018.3.23に平成29年度福井大学学位記授与式が挙行されました。この日の午後に、知能システム工学科・専攻の謝恩会があり、卒業生から演奏の依頼がありました。卒業の大切な思い出になればということで、翼をください、旅立ちの日に（小嶋登）を演奏に合わせてみんなで大合唱する企画となりました。研究室で開発している『音楽演奏と映像のリアルタイム同期技術』を使って、今回の演出に使ってみました。

音楽演奏と映像(マルチメディア)とのリアルタイム同期技術の紹介

動画に合わせて演奏しているのではありません。あらかじめ用意した画像、動画、歌詞などのコンテンツが生演奏の曲に合わせてリアルタイムに変化しています。コンテンツの修正は演奏直前でも簡単に編集OKです。この技術は、音楽(生)演奏と映像などのマルチメディアとの同期を簡単に実現します。映像（マルチメディア）を楽器演奏ロボットとの共演で連動させることをMUSICROBOT技術として実現したものです。この動画では音楽演奏と映像のリアルタイム同期のためのMUSICROBOT技術としてご紹介いたします。

演奏の様子

１曲目は『翼をください』を演奏しました。楽曲に映像が連動すると、いままでになかった効果がドラマチックに生まれます。スクリーンのコントラストが見づらいのですが、動画から楽しい雰囲気が伝われば幸いです。

映像には、ライントレースロボットの夢として、『空飛ぶライントレースロボットの大冒険！』を創作してみました。画像や歌詞が音楽演奏に合わせて『リアルタイム』に同期できるこの技術を用い、この動画は生演奏により『空飛ぶライントレースロボットの大冒険！』を上映している様子です。

２曲目は『旅立ちの日に』を演奏しました。卒業ソングの大定番ですね。画像や歌詞が音楽演奏に合わせて『リアルタイム』に同期できるこの技術を用い、この動画では生演奏に合わせて、卒業生が所属していた各研究室から集めた思い出の画像と歌詞などをこの楽曲に同期させて上映している様子です。

実はこれはサプライズ企画でした。謝恩会の幹事は各研究室に謝恩会で画像を使うとしか言わずに集めたものです。各研究室から提出された画像を使用しておりますので著作権の都合でモザイクをかけておりますが、画像が切り替わっていく様子はご確認頂けるかと思います。楽曲に映像が連動すると、いままでになかった効果がドラマチックに生まれます。卒業生にとって、今回の演出はとても感動的だったようです。