椅子取りゲーム

Musicalchairs プロジェクトとチームのリーダー、Tamar Sella、Jason Wang、Suvin Sundararajan、Peggy ying、Yiting Huang (Matt Goisman/SEAS)

私たちは椅子に座るとき、何かを残しませんか? 私たちが物体と対話するとき、物体は私たちのことを覚えているでしょうか? そして、それらの物体がその記憶を私たちに送り返すことができるとしたら、それはどのような音になるでしょうか?

これらは、ペギー・インと彼女の学生団体コンフラックスが、ARTS 第 1 週中にハーバード校に設置されたオーディオ信号の録音と再送信が可能な 3 つの木製椅子「Musicalchairs」で検討したアイデアの一部です。 このプロジェクトでは、機械学習とコンピューター サイエンス、音楽パフォーマンス、大工仕事の要素を組み合わせて、芸術とテクノロジーの融合を生み出しました。

「私の最終的な目標は、人々が自然な会話ができるだけでなく、後で自分の言葉や表現が他の人々にどのような影響を与えることができるかを熟考し、人々が自分自身を誠実かつ正直に表現するための時間と空間を提供できる空間を作り出すことです」とイン氏は語った。 Conflux の共同創設者で、計算神経科学と芸術と建築の歴史を研究している 2 年生です。 「私はテクノロジー、特にメディアテクノロジーが人々の間で共感と理解をどのように構築するのに実際に役立つのか、そしてそれが私たちのコミュニケーション能力や他の人のコミュニケーション信号を解釈する能力をどのように強化できるのかに常に興味を持っていました。」

ハーバードヤードの訪問者が座っていると、ミュージカルチェアのサウンドスケープが流れます。 (コンフラックス)

各椅子は、特別なセンサーが人が座っていることを検出すると、ハープの音楽を演奏します。 マイクが会話を拾い、コンピューターが機械学習アルゴリズムを使用して人々の声の周波数やテンポなどの音声データを抽出します。 事前に録音されたハーバード大学の学生の声のサンプルは、そのデータに基づいて音楽を作曲するために使用され、そのデータは椅子の肘掛けにあるトランスデューサーに送り返されます。 肘掛けに肘を置き、手に耳を当てると、過去の会話の音楽的なサウンドスケープが骨伝導で聞こえます。

「先に来た人の何人かは座って会話をしていましたが、彼らがサウンドスケープをただ発生させてくれているのがとても気に入りました」とイン氏は語った。 「最後に、彼らのうちの1人が、とてもリラックスできて、家にも音楽があればいいのにと言いました。音楽を聴きながらまったく普通の会話をし、その後そう言ったのは、彼らが許してくれていることを私に示してくれました」音楽は彼らの会話を中断することなく、ポジティブな方法でサポートします。」

ハーバードヤードでチームリーダーのタマール・セラとジェイソン・ワンの前で骨伝導技術を実演するミュージカル・チェアーズ・プロジェクトのリーダー、ペギー・イン（中央）。 (マット・ゴイスマン/SEAS)

椅子の製作中、ハーバード大学ジョン A. ポールソン工学応用科学大学院 (SEAS) の学生たちがハードウェアとソフトウェアを機能させる作業を主導しました。 生物工学集信者のスビン・スンダララジャン氏がセンサーを3Dプリントし、ハードウェアのリード役を務め、コンピュータサイエンスと数学の学生であるジェイソン・ワン氏が、音声データをリアルタイムで抽出するのに十分な強力な機械学習アルゴリズムと分散コンピューティングネットワークを設計した。

「私は機械学習が好きなので、この種のものをいじるのが本当に好きです」とワン氏は語った。 「最も困難な部分は、オーディオ機能をリアルタイムで処理する方法を理解することでした。通常、オーディオ機能には大量のコンピューティングが必要となるためです。それをリアルタイムで実行し、これらの機能を他のユーザーに伝達する方法を理解するには、3 台の MacBook Pro を導入する必要がありました。音楽を作っているソフトウェアです。」

インのプロジェクトは、ハーバード大学芸術局からのパブリック アーツ助成金に選ばれました。 SEAS はまた、Teaching and Learning グループを通じて SEAS 加盟学生団体に割り当てられた資金を通じて、このプロジェクトの実現にも貢献しました。 センサーと電子機器も SEAS で設計されました。 一方、木工と大工仕事は、アート、フィルム、ビジュアル スタディズ ウッド ショップで完了しました。

椅子取りゲームのサウンドスケープを可能にする中央のマイク ボックス、ハードウェア、配線を見てみましょう。 (マット・ゴイスマン/SEAS)

「木材を介した骨伝導についてはよく知っていましたが、テクノロジーと、オーディオとビジュアルの体験を通じて統合される概念的なアイデアの両方に適合し、サポートするデザインのアイデアに非常に興味がありました」と、2 年目のタマール・セラさんは言いました。比較文学と芸術、映画と視覚研究を学び、椅子のデザインと製作チームを率いました。 「椅子の各部分には取り組むべき独自の一連の問題があり、それには互換性が必要な技術的側面だけでなく、設計チーム間で多くのコミュニケーションが必要でした。」

Conflux は今年、イン氏と 2 年生のアリス カイ氏によって共同設立され、すでにサイエンス アンド エンジニア コンプレックスで複数のプロジェクトを後援しています。 このグループは、冬の会期中に「Liminal Interfaces」と呼ばれるインタラクティブなマルチメディア アート インスタレーションを企画し、昨年の秋には hAR/VRd と協力して、心臓モニター、LED ライト ストリップ、仮想現実ヘッドセットを組み合わせて、心臓の状態がどのように変化するかを描写する「神経ネットワーク」を作成しました。人間の体は恐怖に反応します。

「『ミュージカル・チェアーズ』は、人々が身を乗り出すよう誘うと同時に、内省したり身を乗り出したりする時間もかかるような環境をどのように作り出すかというアイデアにたどり着きました」とイン氏は語った。 「私たちは議論のための環境を作りたかったのです。」

トピック：REEF Makerspace、AI / 機械学習、コンピュータサイエンス、電気工学、材料科学および機械工学、学生団体

ハーバード SEAS メーリング リストに参加してください。

マット・ゴイスマン | [email protected]

比類のない指導と高い評価を受けた教員が表彰されました

コンピュータサイエンスの賞

5月25日木曜日の第372回ハーバード大学卒業式の画像

学術、応用数学、応用物理学、生物工学、コンピュータサイエンス、電気工学、環境科学および工学、材料科学および機械工学

ウォルシュ研究所が地元の高校生に手を差し伸べる

学術、生物工学、K-12、材料科学および機械工学