<松田ゼミ-17 前へ>

報告者: 植田智恵美(松田ゼミ)

卒業研究として行った「ARを用いた「見て操作する」システムの試作と評価」を、3月15日、早稲田大学で開催された第80回情報処理学会全国大会で発表し、学生奨励賞を頂きましたので報告します。受賞理由は以下です。

  • 家電機器を操作する研究は今後重要である。
  • 実装から評価までをしっかり行っている。
    15210993921760gazeAward

論文はこちらをクリックしてください。

1.情報処理学会に関して

情報処理全般にわたる分野の調査・研究を目的とした学会で、全国大会は情報処理学会が年1回(春季)開催する学会最大のイベントです。大会では最新の学術・技術動向や情報に関する新しい研究成果やアイディア発表を通し意見交換・交流が行われます。

gazePresen

2.発表内容

今日、電化製品を含む様々な機器がIoT化されつつありますが、機器の操作方法は機能・設置場所に応じ様々です。例えば、天井の蛍光灯の照明はスイッチが操作対象(照明)と離れた場所にあり、どのスイッチがどの照明を制御するか分かりにくい、また、操作対象にスイッチがついている電気スタンドなどでは、手の届く範囲にない場合、スイッチを消しに行く必要があります。

このような不便さを解決する方法として、リモコンがありますが、リモコンは置いた場所を忘れたり、複数個使用していた場合は、電化製品ごとにリモコンを判断して使い分けるという使用上の負荷が生じます。今後、ARの発達に伴いHoloLensのようなカメラ付きのシースルー型の眼鏡の普及が予想される中、本研究では、これまで提案してきた「見て操作する」方式を、ARを用いて開発したシステムを使用して実験を行い、評価しました。

gazeAndControl

本システムは、Processingで開発し、AR用ライブラリとしてNyAR4psgを使用、電化製品の操作にはArduinoに赤外線LEDを搭載して用いました。本システムを起動し、電化製品に付けたマーカを認識するとタブレットの画面にカメラに映った電化製品とその操作ボタンが表示され、それをタッチすることで機器のON・OFF操作ができます。様々な機能の付いた機器では、各機能に対応するコントロールを表示し、制御する機能を持ちます。

gazeSystem

本システムの評価は、20名の本学の学生を対象に、本システムと複数のリモコン、学習リモコンを用い3つの照明器具を制御する実験を行いました。実験では、それぞれの試行における操作時間を計測し、最後に使い易さや操作に関するアンケートを行いました。

実験の結果、3つの器具の操作にかかった平均時間は、本システム(15.2秒)が最も短く、次いでリモコン(16.5秒)、学習リモコン(71.65秒)となりました。

gazeResult1

この結果から、本システムとリモコン、本システムと学習リモコンの操作時間に関してt検定を行ったところ、本システムとリモコンとでは有意差は認められませんでしたが、学習リモコンとでは有意差が認められました。一方、本システムとリモコンとでは有意差が認められなかった原因は、今回の実験ではリモコンを手元に並べた状態でON・OFF操作だけを行ったためと考えられ、様々な種類のリモコンが散在していたり、他の機能を操作する実環境では差が出るものと考えられます。

また、アンケートの結果から、3つの操作方法(本システム、複数のリモコン、学習リモコン)の中で本システムが最も使い易かったと80%が感じており、ユーザー体験としては良好なものであることが分かりました。

gazeResult2

以上より、「見て操作する」方式を使用した本システムは、他の方法と比べ最も早く操作出来た人が多く、アンケートからも被験者に受け入れられる可能性が高いということが分かりました。今後の予定としては、本実験では簡易評価のため視覚的なマーカと赤外線による機器操作を用いましたが、マーカは、赤外線マーカなど目に見えないものに変更、機器の操作もIoT化を前提にネットワーク経由で行えるようにすることなどがあげられます。また、ネットワーク上に機器の状態管理サーバを置くことで、複数の人が同一機器を操作したしたときに機器の状態をUIに反映することが可能となります。

gazeStateServer
3.
発表に関して

全国大会当日は、午前の部で発表を行いました。初めての学会発表で、私が参加したセッションの中でもトップバッターだったということもあり、とても緊張しましたが、無事に発表を終えることができました。発表後3人の方から質問、コメントをいただきました。

  • 複数の電化製品のマーカが画面の中にあった場合はどうなるのか?
  • 最終的にはHoloLensのようなHMDで研究をするのか?HoloLensにはこのような研究を行うのに適したライブラリがある。
  • 被験者は学習リモコンを使ったことがあるのか?無い場合は、練習はしたのか?
  • Sonyが出しているタッチパネル型の学習リモコンで評価するとよい

等の質問以外にも、新たなアイディアや知識も得ることができ、とても充実した15分間となりました。

4.終わりに

3年次の後期から本研究を始め、システムの制作で思い通りにいかないこともありましたが、ご指導をいただきました松田晃一教授、非常勤講師の永田雅人先生、実験やアンケートに協力して下さった松田ゼミのメンバーをはじめ多くの方々の協力によって、今回の発表を成功させることができました。発表後、他の大学の方々から面白い研究だったというお言葉をいただき、評価していただけたことを非常に嬉しく思います。また、他の大学の方の研究も聞くことができ、視野を広げることができました。このような素晴らしい経験をさせていただきありがとうございました。この経験は今後の生活の中でも活かしていきたいと思います。

LINEで送る
Share on Facebook

<松田ゼミ-16 前へ>

報告者: 平野愛里(松田ゼミ)

卒業研究として行った「 ヒューマノイド型ロボット“Pepper”を用いた学習支援システムの 試作と評価 」を、3月13日に早稲田大学で開催され第80回情報処理学会全国大会で発表してきましたので報告します。論文はここをクリックしてください。

1.情報処理学会に関して

情報処理全般にわたる分野の調査・研究を目的とした学会で、全国大会は情報処理学会が年1回(春季)開催する学会最大のイベントです。大会では最新の学術・技術動向や情報に関する新しい研究成果やアイディア発表を通し意見交換・交流が行われます。

pepperPresen

2.発表内容

近年のヒューマノイド型ロボットの性能は人工知能の発達に伴い著しく向上し、近い将来、このようなロボットが家庭内に家事以外にも勉強を支援するようになると考えられます。従来の勉強法には暗記やリビング学習、スマホ勉強法などがありますが、これらは基本的に、進捗を管理したり、解答の正否が分かるだけのものが多く、単調な学習の繰り返しになりやすかったり、飽きやすく継続しにくいという問題があります。本研究では、学習を褒めるという行為に注目し、家庭内にヒューマノイド型ロボットが居る環境での学習支援に関し、Pepperを用いて開発した学習支援システムを用いた実験・評価をしました。

pepperSystem

本システム開発は、ChoregrapheでPepperのアプリケーションとして開発し、テストと採点システムの開発はHTML5とJavaScriptで行いました。

システムを起動すると、Pepperが挨拶と説明を発話し、テストを胸タブレットに表示します。ユーザは胸部タブレットに表示された問題を解き、解答作業が終了すると結果を表示、Pepperが得点に応じて三次元的な「褒める」動作を行い、応援メッセージを発話します。動作と応援メッセージは得点ごとに異なります。

pepperTabletpepperMotion

本システムの評価は、24名の大学生を対象に12名ずつ2グループに分けてテスト問題を解く実験を行いました。グループAは紙の問題用紙と本システムでPepper、グループBはタブレット端末上のテストシステムとPepperで解いてもらいました。タブレット端末にはPepperで動いているテストシステムと同じものが動いており、音声で褒めるだけな点が異なります。テストは2017年のITパスポートから10問を選び被験者ごとに異なるものを使用しました。どちらのグループもテストの解答から答え合わせまでの時間の計測を行い、テスト終了後、被験者にアンケート(4項目)を実施しました。

テストの解答時間の平均は、タブレットと本システムとでは差があまりなく、紙テストは1分ほど長く、これは答え合わせの時間と考えられます。

pepperResult1

学習の継続性本システムと紙のテストでは75%が本システムの方が継続できそう、本システムとタブレット端末では、88%が本システムの方が継続できそうと回答しました。これは、Pepperが発話を交えて褒める動作が学習者に影響したためと考えられます。

pepperResult2

学習の達成感本システムと紙テストでは、58%が本システム、本システムとタブレット端末では、83%が本システムの方が達成感を感じていたことが分かりました。本システムと紙との差が大きくないのは、従来の解答を紙に書き込むという作業に伴う達成感に起因するものと考えられます。

pepperResult3

問題の解きやすさ本システムと紙テストでは67%が本システムの方が解きやすいと感じ、本システムとタブレット端末では問題の解きやすさは同じでした。これは、紙との比較では、本システムの解答作業がPepperのタブレットをタップするだけで済む簡易さに起因するものと考えられます。

pepperResult4

褒められた感テスト後の声掛けで褒められたと感じたのは70%の人がタブレット端末よりも本システムと回答しました。音声だけのタブレット端末に比べ、人型をしたPepperの褒める動作が、学習者により褒められているという印象を与えたものと考えられます。

pepperResult5

また、自由記述欄からは、「Pepperが出来によって声をかけてくれるので継続しても飽きないと感じた」、「Pepperの動作が人間のように感じ、人に見られている気がして集中できるような気がした」などの意見が得られ、Pepperの身体性が影響していることが分かりました。

3. 発表に関して

全国大会当日は、大会初日の午前の部で発表を行いました。当日までの練習の甲斐あって、とても緊張したものの練習通りに発表することができました。発表後には3人の方から質問、コメントをいただきました。

  • Pepperの行動を分岐させるのは点数で行っているのか?
  • タブレットで動いているシステムはPepperのとどこが異なるのか?
  • 実験には、男子も入れた実験をやってみるとよい。高齢者でやっても面白いかもしれない

4.終わりに

発表では想定していなかった質問もあり、緊張しましたが、何とか回答して無事に発表を終えることが出来ました。今回の学会発表では、他の学生の発表を聞けたり、研究を褒めていただいたり、自分にとってとても良い経験になりました。今回の経験を、これからに生かしていきたいと思います。

LINEで送る
Share on Facebook

<松田ゼミ-15 前へ>

報告者: 狩野麗羅(松田ゼミ)

卒業研究として行った「心拍の可視化システムの試作とコミュニケーションに与える影響の評価—図形、光、振動を用いて」を3月13日に早稲田大学で開催され第80回情報処理学会全国大会で発表してきましたので報告します。論文はここをクリックしてください。

1.情報処理学会に関して

情報処理全般にわたる分野の調査・研究を目的とした学会で、全国大会は情報処理学会が年1回(春季)開催する学会最大のイベントです。大会では最新の学術・技術動向や情報に関する新しい研究成果やアイディア発表を通し意見交換・交流が行われます。

heartPresen

2.発表内容

今日行われている遠隔コミュニケーションは、電話以外にも、SNS、チャット、LINE等を用いたものなど多彩になってきています。また、インターネットの発達により様々な情報を伝えられるようになってきていますが、これらのツールが伝える情報は音声や文字、画像などが主であり、それ以外の対話者の情報はプロフィールや写真等の静的な情報が多いままです。一方で、対話者そのものの動的な情報を伝える遠隔コミュニケーション方法にTV電話がありますが、これは必要以上に情報を伝え過ぎる点で上記のツールに比べて普及していません。

本研究では簡易に対話者の動的な情報を伝える手段として対話者の心拍に注目しました。心拍は人の精神や体の状態がよく現われ、心拍数は気分と関係することが分かっています。本稿では、遠隔コミュニケーションに心拍を、図形のアニメーション、光、振動の3方法で可視化するシステムを導入・評価しました。

heartSys

本システムの評価方法は20名の女子大学生を対象に行いました。2 名 1 組で、部屋A、部屋Bに分かれ行い、電話を用い会話内容は指定せずに5分間会話、実験中に会話が心拍と連動していると感じた際にマウスのクリックをお願いしました。最後にアンケートを行いました。

実験の結果、心拍の可視化方法として、分かりやすかった可視化方法は、振動65%、アニメーション30%、光5%となりました。この結果から視覚情報だけでなく振動を聴覚でも感じる事が出来たため振動が一番となったことが分かりました。

result1

アニメ・光・振動の3つの可視化方法として、どれがコミュニケーションに影響したかの問いに関しては、アニメ、振動が80%と同数となり光が55%となりました。この結果から、アニメ、振動が同じなのは、可視化表示が話題の盛り上がりと連動していると感じられたためという事が分かりました。

result2

心拍と連動したと感じたクリック回数の総数では、振動>光>アニメの順となりました。振動や光の方がアニメーションよりも会話と連動している印象を与え易いことが分かり。

result3

理由として、振動や光の方がアニメーションよりも会話を妨げずに情報を取得し易いと考えられます。

本システムを体験し、コミュニケーションに違いが出たかの問いに対して、違いが出たと感じた、少し感じたのは100%となりました。結果から、可視化表示を利用し、積極的にコミュニケーションをとることが分かりました。

result4

また、自由記述欄からは、「日常生活で会話しているときには相手の心拍は分からないので、それらが可視化されて見ることができ、とても面白かった」、「話の流れによって心拍の変動を見ることが出来て楽しかった」、「話し相手の心拍が可視化されることによって相手の状況が読めるのは単純に面白いと感じた」などの意見が得られ、本体験が「楽しい・面白い」ものと感じていたことが分かりました。

3.発表に関して

全国大会当日は、午後の部で発表を行いました。とても緊張しましたが、当日までに何度も練習を行ってきたので何とか練習通りに発表することができました。発表後3人の方から質問、コメントをいただきました。

  • 人によっては心拍を相手に伝えることを不快に感じるのではないか?
  • 円による可視化は直感的なのか?グラフの方が直感的では?
  • 振動モーターを使ってどのよう遠隔コミュニケーションを考えているのか?

想定していた質問もありましたが、緊張してしまいうまく答えることができず、もっと自分の研究に対して何でも答えられるようにしないといけないということを実感しました。

4.終わりに

3年の秋ごろから研究を本格化し、システムの制作や実験で大変な時期もありましたが無事に発表を終えることができました。発表後、他大の教授から面白い研究だったと仰っていただき、自分の研究を他の学生などに知ってもらうとても良い経験をさせていただきました。この経験を社会でも活かしていきたいと思います。

 

 

 

 

LINEで送る
Share on Facebook

 3月10日、11日に開催された情報処理学会グループウェアとネットワークサービス研究会で、社会情報学部デザイン専攻市村ゼミ4年の小田川保奈美さんと篠塚咲良さんの共同研究が優秀発表賞を受賞しました。発表者には賞状が贈呈される他、研究会ホームページ http://www.ipsj.or.jp/sig/gw/ に掲載されます。

賞名:グループウェアとネットワークサービス研究会優秀発表賞
発表題目:migaco:歯ブラシ動作計測機能による幼児対象歯みがき支援

ichimurasemi_migaco1
migacoの動作テスト(左:小田川保奈美さん 右:篠塚咲良さん)

ichimurasemi_migaco2
歯ブラシと連動してスマートフォンの画面に回数がアニメーションとともに表示される

LINEで送る
Share on Facebook

田丸ゼミでは、平成28年8月8日(月)法政大学理工学部の平野研究室との 合同ゼミを法大市ヶ谷キャンパスのボアソナードタワーのゼミ室で開催しました。

参加者は当ゼミから卒論生が5名、法大が卒論生9名、M1生2名などでした。 お互いに4年生の卒論と、修士1年生の修論の中間発表を実施しました。

まず、当方のゼミ5名のプレゼンに続き、法大生11名の学生が、 質疑応答を含め各人7分間程度の発表を行いました。

その後、会場を最上階に近い25階の部屋に移し、 軽食を食べながら懇談。本学千代田キャンパスが足元に見られ、眺めは最高でした。

この合同ゼミでは、学生達はお互いに刺激し合い、研究成果の向上につながればと思い、 今後も継続する予定。次回は来年1月頃の実施予定です。

当ゼミのプレゼン題目

R.I. ARアプリの画像認識
T.O. 二輪ロボットの走行
A.J. 複数エレベータの最適スケジューリング
A.T. 応答時間テストによる評価
M.Y. POS端末インタフェース

 

LINEで送る
Share on Facebook

報告者(松田ゼミ:池田彩子)

松田ゼミに所属するゼミ生(池田)は、卒業研究として「料理のレシピ提示支援システムの開発と評価」を行い、卒業論文として提出しました。今回はその締めくくりとして、3月10日から12日にかけて、慶應義塾大学(矢上キャンパス)で開催された一般社団法人情報処理学会が主催する情報処理学会 第78回全国大会で発表してきましたので報告します。学会に提出した論文はここをクリックしてください。

図8

1.発表内容

今回の発表は、従来の料理サイトの問題を明らかにし、新しい料理レシピ提示支援システムの提案するものです。

これまでに作ったことのない料理を作る時は、そのレシピを見ながら、料理をすることが多いと思います。今日、公開されているほとんどの料理サイト(クックパッド、シェフごはん、レシピブログ等)は、文章と画像だけで構成されており、インターネットで簡単に検索できるので、スマートフォンやタブレットで、レシピを参照しながら、料理をすることができます。しかし、料理中には手が汚れることが多く、汚れた手のままでは操作がしにくいという問題があります。

また、既存のサイトは文章と写真だけで料理の工程が分かりにくく、動画による説明があるサイトもありますが、全工程に動画がなかったり、短く編集されていたり、逆に全工程が1つにまとめられてしまっています。まとめられている場合には、巻き戻し、早送りなどの操作が増えるという問題があります。

このような問題を元に、本研究ではレシピ提示支援システムCookingを試作しました。本システムは、ジェスチャ認識を行う小型の装置(Leap Motion)をパソコンに接続することで、手の動き(ジェスチャ)で表示したレシピの操作を可能にします。

Cookingで表示するレシピは、後で述べる実験の評価条件をそろえるために、クックパッドに掲載されているレシピ(http://cookpad.com/recipe/390716、2854122)を再構成したものを用い、各工程に動画を付加しました。マカロンは12工程10動画、肉じゃがは8工程7動画の構成としました。

図9

 

本システムの評価は、料理に苦手意識を持つ学生20人にクックパッドと本システムを使用して、マカロンと肉じゃがを作ってもらうことで行いました。実験は唐木田市民センターの調理室をお借りして行いました。

実験の結果、実験後のアンケートから、本システムの使用感、成功率の項目に関しては、20人中18人が本システムを選び、使いやすい、という評価結果が得られました。また、料理の成功率は、マカロンの場合、本システムで70%、クックパッドで0%となり、肉じゃがは全員が両方のシステムで成功しました。

図10

図11

このような料理の成功・不成功の結果を分析してみると、アンケート結果より、レシピで分かりにくい作業が結果に影響していることが分かりました。肉じゃがの分かりにくい作業は野菜の切り方(くし切り)で一方、マカロンは、生地作りが分かりにくい工程でした。肉じゃかのは、料理の成否にあまり影響しませんが、マカロンの生地作りは成否に大きく影響します。この作業はクックパッドの画像だけでは分からなく、Cooking の動画が功を奏していました。なお、このようなクックパッドのレシピの情報不足は肉じゃがを作成する際にも生じていましたが、被験者が実験中に他サイトを調べることで問題が顕在化しなかったようです。

また、マカロンでは、このような情報不足を他サイトで補う行動は両システムともに観察されませんでした。これは、お菓子作りでは特有の速めの作業が求められるため時間的余裕がないのに加え、料理による手の汚れが原因だと考えられ、アンケート結果にも現れていました。

以上より、各工程に付加した動画がレシピの情報不足を補い、操作性も向上することができるこおとが分かりました。また、Cookingで提供したジェスチャ機能と動画機能は、マカロンでは動画機能が評価され、肉じゃがではジェスチャ機能が評価されるなど、料理により評価が異なることも分かりました。

今後の課題としては、動画が必要な工程と不要な工程などの条件を明らかにし、一般の人が動画を付加されたCookingのレシピを作成しやすくすることがあげられます。

図12

図13

2.Leap Motionとは

Leap Motion(リープモーション)は、2012年にLeap Motion社から販売された手のジェスチャによって、コンピュータの操作ができるデバイスです。マウスや画面タッチを用いずに操作ができる体感型のシステムで、ジェスチャによって直観的に操作することが可能とします(ウィキペディア引用/https://ja.wikipedia.org/wiki/Leap_Motion)。

図15

3.発表に関して

発表会は、午後から開始だったので、お昼休憩の間にパソコンの接続、資料の最終確認をし、発表までの時間を過ごしました。私の発表したセクションは、院生を含めた全員学生で、8名の発表がありました。発表時間は12分、質問時間が3分でした。

初めての学会発表であり、私自身かなりのあがり症なので、しっかり発表出来るかとても不安でした。ですが、当日までに2回松田先生に練習して頂いて、家でも何度も練習をしたので、自分でも驚くほど落ち着いて発表することができました。発表後、頂いた質問をいくつか載せます。

  • 成功率にかなりの差があるが、クックパッドのレシピ(つくれぽでレシピごとに評価がある)は、高い評価のものを使用したのか。
  • 料理の難易度によって実験の結果に影響はないのか。

今回公共の場での発表は2度目でしたが、少しずつ自分が成長していることを、今回の発表で実感することができ、とても嬉しかったです。今回の経験を、これからに活かしていこうと思います。

 

 

 

LINEで送る
Share on Facebook

藤村ゼミの卒業研究をもう一件紹介します。この作品は、マイコンボードArduinoと音情報を取得するための音センサ、そしてELワイヤーという光るワイヤーを用いて、音楽に即時に反応し光るコスチュームです。本作品ではマイクから取得した音声をFHTライブラリによりスペクトル分析を行い5つの音域の強度に変換し、下図のように音域毎に対応するELワイヤーを音の強度に応じて点灯させています。

一定時間の音の強度の平均値に基づき、反応する音のしきい値を自動的に調整するオートゲインコントロール機能を実装しているため、静かな場所でも、大音量のライブ会場でも適切に光らせることが可能です。また、PCは不要でArduino単体で実装されているため、低コストで実現できます。

responsivecostume

藤村ゼミではこのようなコンピュータ技術と手芸を組み合わせたテクノ手芸やメディアアートの制作を行なっています。

LINEで送る
Share on Facebook

藤村ゼミの「TwitterとLeap Motionによるジェネラティブ・ミュージックの制作」という卒業研究を紹介します。この研究は、LEAP Motionと呼ぶセンサによって取得した手の動きと、Twitterからのつぶやきをリアルタイムに取得し、この2つの情報を元に、インタラクティブに音楽を生成するメディアアート作品です。まずは、以下の動画をご覧下さい。

この作品では、Twitterアカウント所持者がつぶやいたタイムラインの中から特定のキーワード(今作品ではおはよう)が含まれるツイートを10秒ごとに20件取得し、そのツイートのテキストによってドラム音が生成します。そして、Leap MotionはLeap Motion演奏者の手の座標、ジェスチャーを1秒に最大60回送信し、送信された情報から、メロディが鳴り、手の座標によりそのメロディにエフェクトを適用します。本作品の全体構造を下の図に示します。Twitterから生成される音楽とLeap Motionから再生される音楽が合わさることで本作品のジェネラティブ・ミュージックを生成するようにしました。尚、実装はTwitter APIの部分に一部PHPを使用しましたが、大部分はJavaScriptで開発しております。

twittermusic

本作品のオリジナリティはLeap Motionの演奏者一人だけではなく、Twitterのアカウントを所持している全ての人々が本作品のジェネラティブ・ミュージックに参加できるという点です。つまり、Leap Motionで演奏者、Twitterの利用者のどちらが欠けていたら完成しない、新感覚の複数人参加型のジェネラティブ・ミュージックとして制作しました。

藤村ゼミではWebサイトの構築技術やメディアアートの制作等をテーマとして取り組んでいます。藤村ゼミのH26年度の卒研テーマの一覧はこちらをご覧下さい。

LINEで送る
Share on Facebook

4月21日の授業「コンピュータグラフィックスⅠ」(担当:堤教授)において、Reallusion日本オフィスの大迫誠様とCG-ARTS協会(財団法人画像情報振興協会)の小澤賢侍様にお越しいただき、2D、3Dアニメーションのデモンストレーションやアプリケーションソフトの解説、また、CGクリエイターやWebデザイナーの検定試験について説明していただきました。


3Dアニメーションソフトの解説

当授業は主に情報デザイン専攻の3年生を対象としたもので、この時期はまだ正面図や平面図、あるいは中心投影図などによる立体の表現の学習段階ですが、これから展開される授業内容に関連した様々な3D画像や動画は学生に大いなる刺激となったことと思います。


CGクリエイター検定試験の説明

また、検定試験の内容は講義内容と重なる部分も多く、学生には受験しやすい内容となっています。みなさん、積極的に資格取得に取り組んでください。

これに引き続き、5月30日には堤研究室にて20名の3、4年のゼミ生を対象に3Dアニメーションの体験講習会を開いていただきました。コンピュータの都合上、全員で演習することはできませんでしたが、4年生はノートPCも持ち込んでの演習となりました。3年生にとっては3DCGもまだ目新しく、いろいろ興味を引かれていたようです。


i-Clone5の操作体験


ノートパソコンを持ち込んで実習

バレエの心得がある学生が人体姿勢推定のモデルになったり、交代で操作を体験したりと楽しい会になりました。卒研への手がかりも得られたのではないでしょうか。ご協力くださった大迫様、王様、あとから駆けつけてくださった小澤様、本当にありがとうございました。


Kinectの人体姿勢推定の体験


体験講習会を終えて

LINEで送る
Share on Facebook

卒業研究は、授業で学んできた「知識」を、実際の問題に応用することで使える「技術」に昇華させる重要な学びのステップです。今日は卒業研究の実例として、藤村ゼミのH25年度の二人の学生の卒業研究を紹介します。

一つ目の卒業研究は「三軸加速度センサによるジェネラティブミュージックの制作」というもので、手袋に縫い込まれた三軸加速度センサから手の動きのデータを取得し、インタラクティブに映像と音楽を生成するメディアアートの制作です。

この作品では、15個の音をランダムな順番で音量や長さを変化させながら再生する、といった複数のルールをアルゴリズム化して音楽を合成しました。また、三軸加速度センサの値を音楽と映像に反映させ、人間の動作がリアルタイムに作品に反映されるようにしています。制作にはProcessingとArduinoを使用しました。三軸加速度センサを組み込んだArduinoをUSBケーブルでPCと接続し、計測データをProcessingで受信し、受信した値を使って音楽とアニメーションを生成するようにしました。

この作品は「作品を創るプロセス」そのものが作品であり、作り手の意志と受け手の意志の両方のインタラクションによって作品が完結します。

二つ目の卒業研究は「Processingによる遠隔通信モーションキャプチャ技術の開発」というもので、先程の例と同様に三軸加速度センサの値を活用しますが、こちらは、Arduinoではなく、スマートフォンAndroidに備えられている加速度センサを活用しています。こちらは、スマートフォンベースなので、アプリさえインストールすれば誰でも簡単に参加できるようにすることを狙っています。

Android端末側のアプリはProcessingのAndroidモードを使って制作しました。そして、Android端末からネットワークを介して送信される加速度センサの値を受け取ってリアルタイムに画像を生成するサーバ側のプログラムもProcessingを使って開発しました。この研究では、端末とサーバとの間の汎用的な通信プロトコルの設計に重点を置いていますのでアート作品としてはシンプルなものとしています。また、こちらの作品では、以下の映像のように、複数端末の動きを同時に取得して映像を作るサンプルも制作しました。

藤村ゼミではこのような参加型のメディアアートの制作を一つのテーマとして取り組んでいます。藤村ゼミのH25年度の卒研テーマの一覧はこちらをご覧下さい。

LINEで送る
Share on Facebook