【卒研紹介】TwitterとLeap Motionによるジェネラティブ・ミュージックの制作

藤村ゼミの「TwitterとLeap Motionによるジェネラティブ・ミュージックの制作」という卒業研究を紹介します。この研究は、LEAP Motionと呼ぶセンサによって取得した手の動きと、Twitterからのつぶやきをリアルタイムに取得し、この2つの情報を元に、インタラクティブに音楽を生成するメディアアート作品です。まずは、以下の動画をご覧下さい。

この作品では、Twitterアカウント所持者がつぶやいたタイムラインの中から特定のキーワード(今作品ではおはよう)が含まれるツイートを10秒ごとに20件取得し、そのツイートのテキストによってドラム音が生成します。そして、Leap MotionはLeap Motion演奏者の手の座標、ジェスチャーを1秒に最大60回送信し、送信された情報から、メロディが鳴り、手の座標によりそのメロディにエフェクトを適用します。本作品の全体構造を下の図に示します。Twitterから生成される音楽とLeap Motionから再生される音楽が合わさることで本作品のジェネラティブ・ミュージックを生成するようにしました。尚、実装はTwitter APIの部分に一部PHPを使用しましたが、大部分はJavaScriptで開発しております。

twittermusic

本作品のオリジナリティはLeap Motionの演奏者一人だけではなく、Twitterのアカウントを所持している全ての人々が本作品のジェネラティブ・ミュージックに参加できるという点です。つまり、Leap Motionで演奏者、Twitterの利用者のどちらが欠けていたら完成しない、新感覚の複数人参加型のジェネラティブ・ミュージックとして制作しました。

藤村ゼミではWebサイトの構築技術やメディアアートの制作等をテーマとして取り組んでいます。藤村ゼミのH26年度の卒研テーマの一覧はこちらをご覧下さい。