Projects
Embodied Media - Project Archive

An overview of the research prototypes, public exhibitions, industrial products, and modern organizational designs that enhance our everyday lives.

Embodied Media では、日常生活を豊かにするテクノロジーの開発、プロダクトのデザイン、未来の表現や社会の仕組みを提案する研究活動に取り組んでいます。

Bridged Reality

BridgedReality is a toolkit that enables users to produce localized virtual effects in live scenes, without the need for an HMD nor any wearable devices or virtual controllers. This method uses body tracking and an illusory rendering technique to achieve large scale, depth-based, real time interaction with multiple light field projection display interfaces. This toolkit circumvented time-consuming 3D object classification, and packaged multiple proximity effects in a format understandable by novice programmers. This work offers a foundation for multidirectional holographic interfaces, GPU simulated interactions, teleconferencing and gaming activities, as well as live cinematic quality exhibitions.

XR
2021
Dementia Eyes

Dementia Eyes is a mobile AR experience simulating common visual symptoms of Alzheimer’s type of dementia based on pathology and medical workers’ experience with patients. The application was validated by professional medical workers in Japan, and the result advocates for the efficacy of the empathy we intended to bring to the medical workers.

Dementia Eyesは、アルツハイマー型認知症の一般的な視覚症状を、患者と接した経験のある医療従事者の経験と病理学に基づいてシミュレートしたモバイルAR体験です。 このアプリケーションは、日本のプロの医療従事者によって検証された結果、アルツハイマー型認知症に対する医療従事者への共感を誘発する有効性が示されました。

Social
XR
2021
Spatial Animacy

Spatial Animacy is an ongoing experience design research project, imagining and prototyping future spaces and responsive environments that can sense human needs and engage with users in meaningful ways, in a material-driven interaction design approach.
Prototyped in a High-Tech x Slow-Craft philosophy, a hand-folded origami surface is kinetically animated by a network of actuators using real-time spatial sensing data of users. In the form of an interactive kinetic origami surface, it explores ways that kinesthetic empathy can lead to perceived animacy in architectural space.

Social
2021
Headspin Experience

Breaking is a sport that has been adopted as a new Olympic sport at the Paris 2024.
However, due to the difficulty of the technique, many people do not have the opportunity to experience Breaking easily.
Therefore, we developed a device that allows beginners to easily and safely experience the Breaking technique.
We focused on a Breaking skill called Headspin whitch is a technique where you turn upside down and rotate around your head.
The "Headspin Experience" will help the participant understand what is difficult about Headspin and which muscles need to be moved.

In the experience, the participant can experience two of the factors that make Headspin difficult.
• To bear the weight of the body with only the neck and head
• Turning the legs parallel to each other
It is expected that the Breaking competition at the Paris Olympics will be more enjoyable because the body will be able to recognize the ideal movement of Headspin.

ブレイキンは、2024年のパリ大会で新たなオリンピック種目として採用されたスポーツです。
しかしその技の難しさから、多くの方はブレイキンを体験する機会がありません。
そこで、Breakingの技の中でも、逆さになって頭を中心に回転するヘッドスピンという技に着目し、ヘッドスピンを安全かつ簡単に体験できる装置を開発しました。
ヘッドスピン体験では、ヘッドスピンの何が難しいのか、どの筋肉を動かせばいいのかを理解することができます。

体験内では、ヘッドスピンを難しくしている2つを体験することができます。
・首と頭で体重を支える
・脚を平行に回転させる
パリ五輪のブレーキング競技では、ヘッドスピンの理想的な動きを身体が認識することで、より楽しめるようになると期待されます。

XR
Human Augmentation
2021
Collaborative Avatar Platform

We developed a system in which two users are integrated into one actual robot arm to collaborate with each other. The method of dividing the roles allows flexible movements that is not dependent on the range of movement and rotational freedom of the human arm, and enables movements that are impossible for a single person. The mixing of movements in adjustable ratio allows an expert to support a beginner to make more stable movements, and induces collaboration between users with different perspectives. Additionally, we implement tactile feedback to enable interaction between users and between users and the robot. We investigate the effects of these on usability and cognitive behavior. This system is expected to become a new method of collaboration in the cyber-physical society.

複数人が1つのアバターを操作して互いの感覚を共有し動作を融合する身体融合によって、異なる技能や経験を有する他者との身体的な共創を実現することを目指し、1つのロボットアームを2人の操作者が同時に操作し、協調作業を行うシステムです。双方の運動を一定の割合で融合することにより、熟練者から初心者への技能伝達や、遠隔地にいる人同士での協調作業、異なる技能を持つ人同士の共創を誘発するなど、サイバーフィジカル社会における新しい共同作業の手法としての応用が考えられます。

Human Augmentation
2021
Slide Rift

In this study, a new racing sport that can be competed with or without lower limb disability was developed using the medium, which provides a new athletic ability of drifting to diverse bodies.
Analysis was conducted based on performance information obtained from actual competitions by 3 participants with lower limb disabilities, ranging in age from under 10 to 40, and 3 participants without lower limb disabilities, ranging in age from their 20s to 40s.
As the result, we have found that we can provide thrills and fun for all participants, regardless of whether they have a lower limb disability or not.
This shows that the system concept and event was a 'superhuman sport' in which all users can participate equally.

本研究では、多様な身体にドリフトという新たな運動能力を提供するメディアを用い、下肢障害の有無にかかわらず競技可能な新しいレーススポーツを開発しました。
10歳未満から40歳までの下肢障がい者3名と、20代から40歳までの下肢障がい者でない3名が実際に競技を行い、得られたパフォーマンス情報をもとに分析を行った結果、下肢障碍の有無を問わずドリフトを行うことが可能であることがわかりました。
その結果、下肢障がいの有無にかかわらず、すべての参加者にスリルと楽しさを提供できることがわかりました。
このことから、今回のシステムコンセプトとイベントは、すべてのユーザーが平等に参加できる「超人スポーツ」であったことがわかります。

Social
Human Augmentation
2021
Parallel Ping-Pong

1人のユーザが複数の身体を同時に操作する「パラレル・インタラクション」を探求するための物理的プラットフォームとして、卓球を題材とした「パラレル・ピンポン」を開発しました。ユーザは,2本のロボットアームをバーチャルリアリティコントローラで操作し,ヘッドマウントディスプレイを通して2台のロボットアームの視点映像を見ながら2つのテーブルで同時に卓球をできます。ゲーム状況やピンポン玉の方向や位置に応じて、複数視点映像を分割・合成した映像をヘッドマウントディスプレイに表示することで、2つの視点環境を同時に観測することを可能にします。さらに、映像やシステムのレイテンシーによって損なわれてしまうロボットアームに対する行為主体性を維持するために、ボールの軌道計算によるロボットアーム自動制御とユーザー自身の動作を統合することで、複数ロボットアームを1人のユーザーが主体性を持ち制御することを実現します。パラレル・ピンポンは一人のユーザが複数の身体を持ち、並行して身体体験を行うための様々なデザインを検証するためのプラットフォームとなることが期待されます。

Human Augmentation
Telexistence
2021
Frisson Waves

We present the concept of sharing frisson and the artifact of “Frisson Waves” by enhancing and transmuting aesthetic chills into emotion circle waves. We explores the intimate reactions and enables a way of inward perception that was transformative, individual as well as collective by facilitating the interpersonal transmission of frisson sensation. We describe an open integrated wearable system that consists of a wrist band, back-end processing, and output. Our proposed system enables the capturing and translating of physiological signals into thermal information to induce frisson.

私たちは,フリソンを共有するというコンセプトのもと,鳥肌感覚を向上させ,感情の波に変換する「Frisson Waves」というアート作品を作成しました.鳥肌感覚の他人への伝達を容易にすることで,お互いの反応を知ることができ,個人的にも集団的にも変容する内的な知覚の方法を可能にしました.私たちは,リストバンド,バックエンド処理,および出力からなる,オープンな統合ウェアラブルシステムを提案します.このシステムは,生理的信号を取り込み,熱情報に変換することで,フリソンを誘発することができます.

Arts & Performances
2021
Haptic Empathy

Haptic Empathy is defined as an individual ability to express and understand emotional meaning through haptics. Several studies have been conducted and showed support for the viability of the proposed concept framework. It seems that people possess an intrinsic ability to express and perceive emotional connotations through simple vibrotactile patterns. Based on this theoretical concept, one application was designed and applied in the field of emotion education. It is an interactive system that can promote autistic children to create their own emotional vibration patterns, and help them express and understand emotions in a simpler and more creative way by embodying emotions.

Haptic Empathyは、触覚を通じて感情的な意味を表現し、理解する個人の能力と定義されています。いくつかの研究が行われ、提案されたコンセプトフレームワークの実行可能性を支持する結果が得られています。人は、単純な振動触覚のパターンを通して、感情的な意味合いを表現し、理解する本質的な能力を持っていると思われます。この理論的コンセプトに基づき、1つのアプリケーションが設計され、感情教育の分野で応用されています。それは、自閉症児が自分の感情振動パターンを作ることを促進し、感情を体現することによって、よりシンプルで創造的な方法で感情を表現し理解することができるインタラクティブなシステムである。

Social
Haptics
2021
Sonitecture: Module 1

Sonitecture: Module 1 is a sonic and sculptural installation. Several abstract beings respond to the audience’s presence and physiological sensing through responsive lighting and sound, creating a meditative and communicative feedback loop between the digital and the human worlds.

Sonitecture: Module 1 は人の身体の反応や感情の移り変わりを測定・解析し、光と影、音や振動と共に浮遊するデジタル生物に反映するインスタレーションである。感情や経験がデジタルツインを通じてアバターと接続される未来像の一端を体験することで来場者は自分と身体とマインド、空間とのつながりを再発見する。

Arts & Performances
2021
Comado

People who are forced to isolate themselves, like hospitalized patients, rarely have the opportunity to communicate and interact with their loved ones properly. Even though tools like  phone callings, video calling services exist, they do not promote a sense of co-presence and the importance of informal communication among loved ones.
We propose Comado.
Comado facilitates informal communication via 2 key features: screen blur and tactile sharing (haptic transmission (feedback)).

入院患者のように孤立を余儀なくされている場合、家族や大切な人と交流する機会がほとんどない現状です。電話やビデオ通話などのツールはあっても、同じ空間に一緒にいる感覚は通話を終了した途端に途切れてしまいます。
本デバイス『Comado』は、画面から離れるとぼやける「画面のぼかし」機能と、「触覚の共有」という2つの機能を追加したビデオ通話によって、遠隔地同士に"同じ家で暮らしているような感覚" = インフォーマルなコミュニケーションをもたらします。

Social
2021