Projects
Embodied Media - Project Archive

An overview of the research prototypes, public exhibitions, industrial products, and modern organizational designs that enhance our everyday lives.

Embodied Media では、日常生活を豊かにするテクノロジーの開発、プロダクトのデザイン、未来の表現や社会の仕組みを提案する研究活動に取り組んでいます。

Argument Clinic - 論証の不可能性

This work explores unsolved images, that is, anythingthat is ambiguous, bistable, multistable, illusory ormisleading in any way, and examines how, by linkingthese images to certain kinds of interactions thecognitive process of interpreting an image can affectthe way you see it.
Enter, act, interact, let your body see.

小型スクリーンと電子機器を使用したインタラクティブなインスタレーション。このインスタレーションは、スクリーンと操作デバイスのみで構成されており、操作者の行為がスクリーン上の映像の解釈にどのように作用するのかを探索する作品である。
スクリーン上のイメージは、多義的な解釈が可能なイメージであり、曖昧さ、錯覚、解釈の多様性を持っている。そのイメージの解釈に操作者のインタラクションが結びつくことで、そのイメージの解釈に認知プロセスがいかに影響するかを体感することができる。

Arts & Performances
2022
20220410

Recording technology in the digital age allows events to stop disappearing and being forgotten, images and sounds can still be alive and vivid. But the memories and feelings of that time are fading incessantly. This work explores a new perspective on capturing a live event.49 audience's real-time physiological data is recorded in the live concert, through the lamps that flicker with the heartbeat, forest-like projection mapping generates from body signals, and the abstract feelings are interpreted this way to reproduced in the gallery.
The projection mapping motif is inspired by the space and how we interpret ambiance. Karuizawa Ohga Hall is constructed from local trees and in an environment that is surrounded by nature. The hall has an acoustic effect that is changing with the wood over the years quietly but steadily. So the mapping also grows slowly and quietly with the surroundings. The ambiance is discharged is the emotion and feeling that was discharged in a certain space, at a certain time, with certain beings. So the mapping is generated from certain data recorded lively from the audiences on that day.
The 49 light bulbs aim to create the presence of the audience in an absent way. The lamps blink subtly as the heartbeat rhythm and give off a little bit of warmth. The luminance and warmth are close, intimate, and fleeting at the same time. The lamp stands are designed near the height of the heart when people seat down. The chair is an antique chair that was used in a theater. So exhibition visitors have the tendency to seat and realize the lamps are flickering near their hearts.

Arts & Performances
2022
Pulse Dance

Pulse Dance is an interoceptive play installation that confronts two players with their own heartbeats. Every person's heart beats to their own rhythm. This rhythm is an integral part of our existence, yet a convoluted reflection of our conscious mind. While it can feel strangely alien to us, our heartbeat is intrinsically linked to our being. How do we relate to our own rhythm? To what extent is our heartbeat ourself, and to what extent is it alien?

Arts & Performances
2022
Innermost Echoes

Innermost Echoes is a mixed-media installation work which explores novel physiologically-driven performance practices. Prior recorded physiological data from a performer (Danny Hynds) will loop and manipulate two unattended musical instruments (robotic koto and Eurorack synthesizer), thereby affording a sense of freedom and autonomy to the objects themselves. In a sense, the prior presence of the performer will act as a vessel or avatar to guide the instruments.
Innermost Echoes: Live is an improvisational performance series which utilizes physiological sensing in a variety of musical and performative settings. A live koto performer, Aoi Uyama, will improvise alongside a robotic koto and a Eurorack synthesizer setup, performed by Danny Hynds. Many gestures and responses from the koto will rely on the live real-time physiological data from both performers, thereby integrating the presence of the performers in this robotic instrument. Through several different configurations, the concept of performance and liveness will be explored.

パフォーマーの生理学的データを活用することで、新しいライブパフォーマンスを探求するミクストメディア・インスタレーション作品である。パフォーマー自身が事前に記録した生理学的データをもとに、2つの楽器(自動演奏箏とEurorackシンセサイザー)の間にフィードバックループを構成し、それによって楽器が自律して演奏し続ける状況を作り出す。パフォーマーの存在がなくともパフォーマンスが成立しうる、楽器自体がパフォーマーの代理として機能する、アバターメディアとなることを探索している。
この作品は、ライブパフォーマンスに生理学的センサーを組み込むことで、様々な音楽演奏やパフォーマンスのあり方を探る即興パフォーマンス・シリーズである。箏の演奏者である宇山葵が、機械制御の箏とEurorackシンセサイザー(Danny Hyndsによる演奏)と共に、即興演奏を行う。二人のパフォーマーのリアルタイム計測された生理学的データを演奏に組み込む箏で、計測データと生演奏の間のフィードバックループを作り出す。それによってパフォーマの存在が機械制御の箏に反映され、両アーティストの存在がその機械制御の箏に乗り移る。ライブ・パフォーマンスにおけるパフォーマーの身体性や存在感を探求することを目的としている。

Arts & Performances
2022
Ephemeral Counterpoint

Ephemeral Counterpoint is a mixed-media installation which utilizes obsolete technologies as a vehicle for exploring the fragile and evolving relationship between recorded media and memory. Several discreetly placed webcams will broadcast the work to an interactive website which will allow for the convergence of the digital and the analog.

Ephemeral Counterpointは、メディア上の記録と記憶のの関係性を探る手段として、デジタル技術以前のテクノロジーを利用したミクストメディアのインスタレーションである。ウェブカメラによって、遠隔地にいる観客も参加することができ、デジタルとアナログの融合を可能にするインタラクティブコンテンツも同時に配信する。

Arts & Performances
2022
Bridged Reality

BridgedReality is a toolkit that enables users to produce localized virtual effects in live scenes, without the need for an HMD nor any wearable devices or virtual controllers. This method uses body tracking and an illusory rendering technique to achieve large scale, depth-based, real time interaction with multiple light field projection display interfaces. This toolkit circumvented time-consuming 3D object classification, and packaged multiple proximity effects in a format understandable by novice programmers. This work offers a foundation for multidirectional holographic interfaces, GPU simulated interactions, teleconferencing and gaming activities, as well as live cinematic quality exhibitions.

XR
2021
Dementia Eyes

Dementia Eyes is a mobile AR experience simulating common visual symptoms of Alzheimer’s type of dementia based on pathology and medical workers’ experience with patients. The application was validated by professional medical workers in Japan, and the result advocates for the efficacy of the empathy we intended to bring to the medical workers.

Dementia Eyesは、アルツハイマー型認知症の一般的な視覚症状を、患者と接した経験のある医療従事者の経験と病理学に基づいてシミュレートしたモバイルAR体験です。 このアプリケーションは、日本のプロの医療従事者によって検証された結果、アルツハイマー型認知症に対する医療従事者への共感を誘発する有効性が示されました。

Social
XR
2021
Spatial Animacy

Spatial Animacy is an ongoing experience design research project, imagining and prototyping future spaces and responsive environments that can sense human needs and engage with users in meaningful ways, in a material-driven interaction design approach.
Prototyped in a High-Tech x Slow-Craft philosophy, a hand-folded origami surface is kinetically animated by a network of actuators using real-time spatial sensing data of users. In the form of an interactive kinetic origami surface, it explores ways that kinesthetic empathy can lead to perceived animacy in architectural space.

Social
2021
Headspin Experience

Breaking is a sport that has been adopted as a new Olympic sport at the Paris 2024.
However, due to the difficulty of the technique, many people do not have the opportunity to experience Breaking easily.
Therefore, we developed a device that allows beginners to easily and safely experience the Breaking technique.
We focused on a Breaking skill called Headspin whitch is a technique where you turn upside down and rotate around your head.
The "Headspin Experience" will help the participant understand what is difficult about Headspin and which muscles need to be moved.

In the experience, the participant can experience two of the factors that make Headspin difficult.
• To bear the weight of the body with only the neck and head
• Turning the legs parallel to each other
It is expected that the Breaking competition at the Paris Olympics will be more enjoyable because the body will be able to recognize the ideal movement of Headspin.

ブレイキンは、2024年のパリ大会で新たなオリンピック種目として採用されたスポーツです。
しかしその技の難しさから、多くの方はブレイキンを体験する機会がありません。
そこで、Breakingの技の中でも、逆さになって頭を中心に回転するヘッドスピンという技に着目し、ヘッドスピンを安全かつ簡単に体験できる装置を開発しました。
ヘッドスピン体験では、ヘッドスピンの何が難しいのか、どの筋肉を動かせばいいのかを理解することができます。

体験内では、ヘッドスピンを難しくしている2つを体験することができます。
・首と頭で体重を支える
・脚を平行に回転させる
パリ五輪のブレーキング競技では、ヘッドスピンの理想的な動きを身体が認識することで、より楽しめるようになると期待されます。

XR
Human Augmentation
2021
Collaborative Avatar Platform

We developed a system in which two users are integrated into one actual robot arm to collaborate with each other. The method of dividing the roles allows flexible movements that is not dependent on the range of movement and rotational freedom of the human arm, and enables movements that are impossible for a single person. The mixing of movements in adjustable ratio allows an expert to support a beginner to make more stable movements, and induces collaboration between users with different perspectives. Additionally, we implement tactile feedback to enable interaction between users and between users and the robot. We investigate the effects of these on usability and cognitive behavior. This system is expected to become a new method of collaboration in the cyber-physical society.

複数人が1つのアバターを操作して互いの感覚を共有し動作を融合する身体融合によって、異なる技能や経験を有する他者との身体的な共創を実現することを目指し、1つのロボットアームを2人の操作者が同時に操作し、協調作業を行うシステムです。双方の運動を一定の割合で融合することにより、熟練者から初心者への技能伝達や、遠隔地にいる人同士での協調作業、異なる技能を持つ人同士の共創を誘発するなど、サイバーフィジカル社会における新しい共同作業の手法としての応用が考えられます。

Human Augmentation
2021
Slide Rift

In this study, a new racing sport that can be competed with or without lower limb disability was developed using the medium, which provides a new athletic ability of drifting to diverse bodies.
Analysis was conducted based on performance information obtained from actual competitions by 3 participants with lower limb disabilities, ranging in age from under 10 to 40, and 3 participants without lower limb disabilities, ranging in age from their 20s to 40s.
As the result, we have found that we can provide thrills and fun for all participants, regardless of whether they have a lower limb disability or not.
This shows that the system concept and event was a 'superhuman sport' in which all users can participate equally.

本研究では、多様な身体にドリフトという新たな運動能力を提供するメディアを用い、下肢障害の有無にかかわらず競技可能な新しいレーススポーツを開発しました。
10歳未満から40歳までの下肢障がい者3名と、20代から40歳までの下肢障がい者でない3名が実際に競技を行い、得られたパフォーマンス情報をもとに分析を行った結果、下肢障碍の有無を問わずドリフトを行うことが可能であることがわかりました。
その結果、下肢障がいの有無にかかわらず、すべての参加者にスリルと楽しさを提供できることがわかりました。
このことから、今回のシステムコンセプトとイベントは、すべてのユーザーが平等に参加できる「超人スポーツ」であったことがわかります。

Social
Human Augmentation
2021
Parallel Ping-Pong

1人のユーザが複数の身体を同時に操作する「パラレル・インタラクション」を探求するための物理的プラットフォームとして、卓球を題材とした「パラレル・ピンポン」を開発しました。ユーザは,2本のロボットアームをバーチャルリアリティコントローラで操作し,ヘッドマウントディスプレイを通して2台のロボットアームの視点映像を見ながら2つのテーブルで同時に卓球をできます。ゲーム状況やピンポン玉の方向や位置に応じて、複数視点映像を分割・合成した映像をヘッドマウントディスプレイに表示することで、2つの視点環境を同時に観測することを可能にします。さらに、映像やシステムのレイテンシーによって損なわれてしまうロボットアームに対する行為主体性を維持するために、ボールの軌道計算によるロボットアーム自動制御とユーザー自身の動作を統合することで、複数ロボットアームを1人のユーザーが主体性を持ち制御することを実現します。パラレル・ピンポンは一人のユーザが複数の身体を持ち、並行して身体体験を行うための様々なデザインを検証するためのプラットフォームとなることが期待されます。

Human Augmentation
Telexistence
2021
Frisson Waves

We present the concept of sharing frisson and the artifact of “Frisson Waves” by enhancing and transmuting aesthetic chills into emotion circle waves. We explores the intimate reactions and enables a way of inward perception that was transformative, individual as well as collective by facilitating the interpersonal transmission of frisson sensation. We describe an open integrated wearable system that consists of a wrist band, back-end processing, and output. Our proposed system enables the capturing and translating of physiological signals into thermal information to induce frisson.

私たちは,フリソンを共有するというコンセプトのもと,鳥肌感覚を向上させ,感情の波に変換する「Frisson Waves」というアート作品を作成しました.鳥肌感覚の他人への伝達を容易にすることで,お互いの反応を知ることができ,個人的にも集団的にも変容する内的な知覚の方法を可能にしました.私たちは,リストバンド,バックエンド処理,および出力からなる,オープンな統合ウェアラブルシステムを提案します.このシステムは,生理的信号を取り込み,熱情報に変換することで,フリソンを誘発することができます.

Arts & Performances
2021
Haptic Empathy

Haptic Empathy is defined as an individual ability to express and understand emotional meaning through haptics. Several studies have been conducted and showed support for the viability of the proposed concept framework. It seems that people possess an intrinsic ability to express and perceive emotional connotations through simple vibrotactile patterns. Based on this theoretical concept, one application was designed and applied in the field of emotion education. It is an interactive system that can promote autistic children to create their own emotional vibration patterns, and help them express and understand emotions in a simpler and more creative way by embodying emotions.

Haptic Empathyは、触覚を通じて感情的な意味を表現し、理解する個人の能力と定義されています。いくつかの研究が行われ、提案されたコンセプトフレームワークの実行可能性を支持する結果が得られています。人は、単純な振動触覚のパターンを通して、感情的な意味合いを表現し、理解する本質的な能力を持っていると思われます。この理論的コンセプトに基づき、1つのアプリケーションが設計され、感情教育の分野で応用されています。それは、自閉症児が自分の感情振動パターンを作ることを促進し、感情を体現することによって、よりシンプルで創造的な方法で感情を表現し理解することができるインタラクティブなシステムである。

Social
Haptics
2021
Sonitecture: Module 1

Sonitecture: Module 1 is a sonic and sculptural installation. Several abstract beings respond to the audience’s presence and physiological sensing through responsive lighting and sound, creating a meditative and communicative feedback loop between the digital and the human worlds.

Sonitecture: Module 1 は人の身体の反応や感情の移り変わりを測定・解析し、光と影、音や振動と共に浮遊するデジタル生物に反映するインスタレーションである。感情や経験がデジタルツインを通じてアバターと接続される未来像の一端を体験することで来場者は自分と身体とマインド、空間とのつながりを再発見する。

Arts & Performances
2021
Comado

People who are forced to isolate themselves, like hospitalized patients, rarely have the opportunity to communicate and interact with their loved ones properly. Even though tools like  phone callings, video calling services exist, they do not promote a sense of co-presence and the importance of informal communication among loved ones.
We propose Comado.
Comado facilitates informal communication via 2 key features: screen blur and tactile sharing (haptic transmission (feedback)).

入院患者のように孤立を余儀なくされている場合、家族や大切な人と交流する機会がほとんどない現状です。電話やビデオ通話などのツールはあっても、同じ空間に一緒にいる感覚は通話を終了した途端に途切れてしまいます。
本デバイス『Comado』は、画面から離れるとぼやける「画面のぼかし」機能と、「触覚の共有」という2つの機能を追加したビデオ通話によって、遠隔地同士に"同じ家で暮らしているような感覚" = インフォーマルなコミュニケーションをもたらします。

Social
2021
SlideFusion

For a number of people, wheelchairs are their main means of transport.
However, the traditional design of wheelchairs restricts the user to using their hands at all times while driving.
As a result, the user has two types of accessibility-related disability with regard to the upper and lower limbs.
Our proposal, SlideFusion, is an extension of our previous work on co-ordination and assistive technologies to address these limitations.

SlideFusion enables remote communication through an upper limb avatar embedded in an augmented wheelchair-type mobile 'SlideRift' and proposes a shared gaze modality with a remote operator to reduce the physical and cognitive burden on the user.

数多くの人々にとって、車いすは主な移動手段です。
しかし、車椅子の伝統的な設計により、ユーザーは運転中常に手を使うことを制限されます。
その結果、利用者は上肢、下肢に関して2種類のアクセシビリティに関する障碍を抱えていることになります。
私たちの提案するSlideFusionは、こうした制約への対応としてこれまで我々が進めてきた協調技術や支援技術に関するこれまでの研究を発展させたものです。

SlideFusionは、拡張車椅子型移動体"スライドリフト"に埋め込まれた上肢アバターを通じて遠隔コミュニケーションを実現し、利用者の身体的・認知的な負担を軽減するために、遠隔操作者との視線モダリティの共有を提案します。

Human Augmentation
Telexistence
2020
Altered Pinna

This study demonstrates that by opening and closing the human pinna, we can change the direction of sound perceived by humans. Each ear was independently transformed into a 100% open, 50% open, and 100% closed state, and all 9 combinations of these ear transformations were tested to evaluate the perceived direction of the sound output from 7 speakers placed 180 degrees around the subject. We demonstrate that by deforming the pinna, we could change the perception of the direction of sound, or make it illusory. We also found that except for 1 out of 7 speakers (or directions of sound), closing 100% of the ear on the side of the speaker where the sound is coming from and 50% of the ear on the other side of the speaker tends produce the most alteration to the perceived direction of sound.

本研究は、人間の耳介そのものを開閉することにより、音源位置に対する認識を変化させられることを示した。被験者の前に半円状に、等間隔で7つのスピーカーを設置し実験した結果、音源方向の耳を100%閉じ、反対側の耳を50%閉じると、通常時の耳と比べて、音源の知覚に最も大きな変化が生じる傾向があることがわかった。

Human Augmentation
2019
Boiling Mind

The origin of dance was in "ceremonies" and "festivals" where there was no boundary dancers and audience. Boiling Mind creates a bond between dancers and audience by using “sensation sharing” that dancers have unconsciously gained. During the performance, the audiences wear a heart rate sensor and eye tracking device to generate data that will be visualized later on. The visualization will become a part of the stage design and create the connection between the dancer and the audience.

ダンスの起源は,ダンサー/鑑賞者との境界のない”儀式”や”祭”のなかに あった. Boiling Mindは,ダンサーが無意識に体得している「感覚共有」を演出方法に活用することで,ダンサーと鑑賞者とのボンディングを生むことを目的としたダンスパフォーマンスである.
公演中,鑑賞者は心拍センサ,アイトラッキングデバイスを装着し,そのデータを映像化する.映像は,舞台美術 の一部として, ダンサーと鑑賞者とを繋ぐ.

Boiling Mind 実施映像(2019年11月4日@神楽坂セッションハウス)

Arts & Performances
2019
Synesthesia Wear

This is Synesthesia Wear, a full-body, customizable haptic interface. This wear not only looks as flexible as ordinary cloth, but also the attached modules are powered and controlled through this conductive textile via two-dimensional signal transmission(2DST) technology. The haptic modules have a pin, badge-like connector, and it can be freely attached on the con- ductive textile, enabling users to personally customize the experience to their own liking. This module can render variations of haptic feedback to the torso and all limbs of the body, and visu- alize representations using LED light patterns. We also proposed a spatial computing experience inspired by the perceptual phenomenon called synesthesia. The system provides an sensory blended experience in which the user walks around freely in real space. The user can interact with real and virtual environments, in a reality-overlapping way by wearing Synesthesia Wear.

Haptics
XR
2019
KAN.KA : Affective Haptic Furniture

Affective Haptic Furniture is a directional vibration pattern system which generates different type of basic emotions (e.g. happy, calming, etc). We implemented it onto a chair-like cushion to create more accessibility for people to regulate their emotions during daily cognitive tasks. We embedded 8 vibro-transducers on upper and lower back, bottom and leg area of the chair to allow seated users experience the vibration across the body.

Haptics
2019
Skin+, Modular Programmable Skin

The skin is a natural interface between the inside and outside of our body. It holds us into shape, as well as it shapes the way we behave. Wearing clothes would significantly lower the interactivity of this interface. This research is focused to create a new “organ extension” of our skin by modularizing the haptic interaction of the covered skin. This new extension would allow creating a transparent medium beyond the worn fabric and would reshape our skin function by augmenting touch sensation through the mechanism of the combination of shape-memory alloy (SMA) actuators and the mechanical structures. This research has potential applications in creating new forms of reprogrammable haptic modules utilized on a wide area of skin in virtual reality (VR) environments.

Human Augmentation
2019
Arque

For most vertebrate animals, tail plays an important role for their body, providing variant functions to expand their mobility. In this work, Arque, we propose an artificial biomimicry-inspired anthropomorphic tail to allow us to alter our body momentum for assistive and haptic feedback applications.

Human Augmentation
2019
昆虫体験 -かぶとりふと-

“Kabuto Lift” is the VR experience where you can become a beetle which will try to acquire own throughout the battle. In addition to visual images by HMD, by using haptic and tactile presentation by gyro moments, our experience will provide you with a sense that there are horns on your head, which humans do not have.

「かぶとりふと」は、自身がカブトムシとなり戦いを通じて、角をもった体験をすることができる VRコンテンツです。HMD による視覚提示に加えて、ジャイロモーメントを用いた力覚提示及び触覚提示を用い、人間にはない角が存在している感覚を体験することができます。

XR
2019
超・呼吸体験: VReath

呼吸は,私たちが生きる上で欠かせない身体活動の一つだが,その行為は普段意識されない。この作品は日常的に行う呼吸を拡張し、その身体感覚を用いて、非日常的な体験を提供する。体験者による息を「吸う」「吐く」行為をトリガーとしてVR空間内の映像と自身の身体への影響が同期すれば、通常人間が行える呼吸活動の範囲のまま、その能力の拡張を体験させることが可能となる。

XR
2019
Haptic PLASTeR

We present a soft, thin, and flexible haptic display that uses the dielectric elastomer actuator called e-Rubber, which is composed of slide-ring polymer material (SRM). In this research, we propose application examples that demonstrate the flexibility and wearability of the haptic display.

Haptics
2018
Haptic Remembrance Book

While having strong social networks is essential for good quality of life, socializing gets more difficult as we age even if we are surrounded by people in a nursing home setting. Care staff and family members want to be able to connect with residents/loved ones but have limitations (time constraints, unsure how), and it can be challenging to feel a connection to another resident who has differing abilities. We propose that through sharing strong positive memories, members of a nursing home community (residents, care staff, and families) will be able to build empathy for one another and thus strengthen their community bonds. By applying multi-modal technologies to a familiar medium, the book, we provided a means by which intergenerational users, from various backgrounds, could interact with and gain meaning from the content.

Haptics
2018
Haptic Exercise

私たちは、無意識のうちに触覚を活用して日々生活しています。「ハプティック体操」は指先で感じる感覚にとどまらず、体の動きや環境の中で感じる触覚を再発見する取り組みです。触れる行為を見直すことによって、あらゆるものと人間との接点を考える。
自分を触って、相手を触って、世界を触って……さあ、全身で「触る」を感じてみよう!

Haptics
2018
Tactile Paper Wrestling

子どもは日々の「あそび」などを通じて「見る」「聴く」「触る」といった身体を介した経験から、自身の感性や考える力を育みます。デジタルな感覚表現が盛んな今の時代に、子どもが自分のからだの感覚をとぎすますにはどんなことができるだろう? そんな問いから、今の時代を生きる子どもたちに向けた新感覚のおもちゃを開発しました。
伊勢丹新宿店が提案する0~12歳のお子さまのための体験のデパートメントストア「cocoiku by ISETAN ‒遊びと学びの百貨店‒」と「Haptic Design Project」で共同開発した新感覚の触感おもちゃ「触感とんとん相撲」です。とんとん相撲と言えば、紙で仕上げたお相撲さんを土俵に上げて、自分の指で振動を与えて遊ぶのが一般的です。しかし、今回開発した「触感とんとん相撲」では、様々な素材や質感が生み出すデジタルな振動で遊ぶことができます。

Haptics
2018
B.Live in Tokyo

Experiencing a professional basketball game while staying in a remote place, we built a system to transmit the haptic information of the match venue to a remote place. By sensing the sounds of the floor with 8 microphones installed under the floor of the match venue and outputting from the 2 stages at the live feeling venue, we provided an experience such as a realistic feeling as if we were in the basketball court.

遠隔地にいながらバスケットボールの試合を観戦することができるようにするため、試合会場の床面の触感情報を遠隔地に伝送及び再生するシステムを構築し、プロスポーツリーグが主催する試合で技術検証を行った。試合会場の床下に設置された8個のマイクで床面の音をセンシングし、パブリックビューイングの会場に設置された2つのステージから出力することで、まるで自分がコートの中にいるかのような臨場感を体験することができる。

Haptics
Telexistence
2018
Telesight

TeleSight enables cooperative experience with a Non-HMD user in the real world by reproducing the VR space and the avator of HMD user using robot and projection system. It aims at presenting embodied interaction between virtual and real.

HMD で VR を楽しんでいる人と,その周りでそれを 見ている人々には体験的な隔たりがある.TeleSightはVR 空間と,VR 空間内の身体像 (アバター)をロボットという形で現実空間に再現することで,現実世界の第三者とのインタラクションを可能にする.本来コンピュータ内にしか存在しないはずの空間と体が現実に滲み出ることで可能になる,新たな コミュニケーションの提示を目的とする.[ 国際学生対校バーチャルリアリティコンテスト(IVRC)2018 出展作品]

Telexistence
2018
Fusion

Fusion is a telecollaboration system that allows two participants to share the same point of view and physical space for remote operation and collaboration. The system is designed as a backpack, and is operated in three different modes: direct collaboration, enforced body guidance, and induced body motion, enabling effective communication.

社会性や専門的なコンテキストを含んでいる複数人でのスキルや動作の共有において効率的なコミュニケーションは重要な要素になります。しかしながら、遠隔でのコミュニケーションとなると、動作の共有は視覚的なものに制限されます。本研究では、遠隔から他者に入り込み、全身運動を操作可能なウェアラブルロボットシステムを開発しました。
 開発したシステムでは、遠隔からの操作者とロボット装着者の2人が同一の視点から空間を共有し、ロボットアームを介した身体的な作業を可能にしました。ロボットアームは、個別で動かすことで共同作業ができる以外に、アームの先端を装着者に取り付けることで、動作教示や運動のサポートができます。

Telexistence
2018
Flow Zone

Flow Zone is a VR experience that provides a rich, synesthetic environment to center the player’s focus on the present moment and catalyze a flow state. We use body movement and poi as the medium to dynamically create and interact with music, enabling players to embody both DJ and dancer simultaneously. Music synchronizes with visuals and haptics using VR and our custom haptics suit to create a fully immersive experience where life melts away and only creative and self-expression remain. Find happiness and wellbeing through flow, and emerge rejuvenated by entering the Flow Zone.

「フローゾーン」は、体験者は自身の集中力を高めフロー状態へと導く、共感覚体験を提供します。 この体験ではPoi(と呼ばれるパフォーマンスジャグリングツール)を、身体の動きを使ってヨーヨーの様に操り、音楽を奏でます。 バーチャルリアリティの 映像と触感・身体動作を通した音楽とのシンクロの先には、深く集中しているときのよ うな没入感を促します。「フローゾーン」を通して、自身の深部に眠る幸福感を発見し、感覚を解き放ちましょう。

Arts & Performances
XR
2018
Synchronized Running

“Synchronized Running” is a running support system for the blind marathon. The device proposed is in the shape of a knee brace.
During the blind marathon, the blind runners pair up with sighted runners to help guide them.
The biggest issue in this sport is the lack of the guide runners that can assist the blind athletes.
Moreover, the first time blind and sighted people run together, physical disparity often occurs.
Therefore, it is difficult for blind and sighted people to match each other's running tempo.
By using “Synchronized Running”, when the blind runner’s foot hits the ground, the vibration is sent to the escort runner’s ankle brace.
When the escort runner feels the vibration, she can understand the blind runner’s running tempo.
This way, every pair can experience comfortable, enjoyable, and synchronized running despite any handicap, through adjusting and understanding each other’s running tempo.

『Synchronized Running』はブラインドマラソンの伴走体験を支援する足首のサポーターです。
視覚障害者を晴眼者が2人1組になって伴走するブラインドマラソンは、伴走者不足が問題になっています。
このことから、初対面同士や体格差がある人同士の伴走も珍しくなく、信頼関係をうまく築くことができずにランニングを楽しめないという問題が発生しているのが現状です。
『Synchronized Running』を用いると、視覚障害者(黄色のサポーター)が地面を蹴り出すタイミングで伴走者(緑色のサポーター)に振動が伝わり、足を出すタイミングを揃えやすくなります。
こうすることで、”どんな人同士でも”二人のランニングテンポが一致して、快適に走れる、”シンクロ体験”を実現します。

Human Augmentation
2018
PINOSE

In the fairy tale "Pinocchio," "When Pinocchio tells a lie, his nose extends." What if it really happens to us human beings? PinocchioVR expresses the sensation of human noses extending using the Body Ownership illusion. We provide this illusion through a combination of HMD visuals and a nose-pulling sensation.

世界的に有名な童話の一つである「ピノキオ」。ピノキオは嘘をつくと「鼻が伸びる」。そこで私たちは、ピノキオの特徴的な身体変化である「鼻の変化」を体験できないかと考えた。本企画ではVR空間の映像に合わせて、鼻が伸びる触覚(身体拡張)変化、鼻の温度変化、嗅覚表現などによって、嘘をついた時のピノキオの「鼻体験」を実現することを目的とする。

Human Augmentation
XR
2018
華麗なる回転

近年、フィギュアスケートに高い関心が集められ
、競技人口は急激に増加している。しかし、4回転
ジャンプを跳ぶことができるのは高い身体能力を持つ世界トップク
ラスのフィギュアスケーターだけだ。本企画では、VR空間の映像に合わせて,床の回転,床下からの振動表現,風の変化などによって, 4回転ジャンプを体験することを目的とする。

XR
2018
蹴球インパクト

本企画は、サッカーアニメのようなシュートを蹴ってみたいという想いから作られた、必殺シュート体験である。蹴った時の衝撃、ボールと蹴る脚のせめぎあいの感覚、シュートの轟音などを組み合わせることで必殺シュートを体感する事ができる。体験者はインパクトの瞬間、まるで時が止まった様な足とボールとの” せめぎあい感覚 " を感じ、それが解放されると同時に必殺シュートを放つことができる。この体験を通じてキャプテン翼のような世界観で、アニメのようなシーンを再現することが今回の目的である。

XR
2018
Tangible Pads

Tangible Pads is an interactive experience that combines sound, lighting, movement and haptics. Each Tangible Pad represents a different instrument and is only activated when the user interacts with it. The more people join the experience the more instruments get activated. The music builds up in response to movement. This way, participants are able to motivate each other to move. They are also able to collaborate through dance to make more complex sounds. Each Tangible Pad is equipped with an actuator that provides haptic feedback and lights that change to the beat of music. These parameters coupled with sound help provide an immersive experience. Through this experience users are able to align their movement with the music, build off each others' movements and contribute to the making of the music.

Haptics
Arts & Performances
2017
HaptI/O

We propose the concept of the “Internet of Haptics” (IoH) that enables sharing experiences of others with the sense of touch. IoH allows to multicast haptic sensation from one Sensor-Node to multiple Actuator-Node and to multicast from multiple Sensor-Node to multiple Actuator-Node via the Internet. As a proof of concept, we developed the “HaptI/O” device which is a physical network node that can perform as a gateway to input or output the haptic information to/from the human body or tangible objects. Multiple HaptI/O would be connected on the IoH server and transmit the haptic information from one node to multiple nodes as well as one to one mutual connection so that HaptI/O enables us to share our experiences with the sense of touch.

情報技術と触覚技術の発展に伴い,人の触体験をネットワーク越しに共有することが可能となってきた.このようなネットワーク上における触覚を用いた身体的経験の共有システムの概念をInternet of Haptics (IoH)と名付け,触体験の共有における触覚伝送のプラットフォームの確立を行う.本概念を確立するため,触覚情報を伝送するプラットフォームまた,身体や有体物の触覚情報の入出力のためのゲートウェイとして機能する物理ネットワークノード「HaptI/O」を開発した.複数の HaptI/Oがサーバーに接続され,1つのノードから複数のノードまた,1対1の相互接続を提供することで,HaptI/Oを使用して他者の身体的経験の中で得られる触体験を共有することができる.

Haptics
2017
Spatial Haptics Interface

Proposing in the nineteenth and twentieth century, architectural theory evolved into a notion of embodiment, where spatial experience is related to physiological responses of observers. Knowing that body plays an important medium of sensing the space around us, our movement is then performed responsively by how we percept the environment. Body itself acts as an interface between virtual and real space, and in recent year, dependence of technology resulted enhancement of our embodiment. Therefore, it would like to enhance our behaviour by feeling the inatngible spaces in a real space. Spatial indications are digitally provided to indicate the movement, and the thesis mainly focuses on the design of haptization towards our embodiment.
studying how those indications influence our cognition on behaviour.

Haptics
2017
Touch the Sound Picnic

イヤーマフを付けて音が遮断された状態で,音を振動に変換するデヴァイスを手に持って,ピクニックにでかけます.耳で音をとらえられなくなったとき,私たちはふだん身の回りで起こっている状況を,耳だけでなく,目や鼻,あるいは肌といった体全体でとらえていたことに気づくでしょう.音を触感として感じることで,聴覚によらないサウンド・インスタレーション作品の鑑賞方法を提案します

Haptics
2017
atmoSphere

The atmoSphere is a system that provides users immersive music experiences using spatial audio and haptic feedback. We use cross-modal correspondence -the interaction between two or more sensory modalities- to create an engaging user experience.

The atmoSphere consists of a spatialized music and a sphere shaped device which provides haptic feedback. It provides users imagination of large sound environment although they feel haptic sensation in their hands.

Haptics
Arts & Performances
2017
Altered Touch

We developed a fingertip haptic display with integrated force, tactile and thermal feedback in a miniature form-factor such that it can be worn easily and used with augmented reality applications without affecting the existing tracking technologies. By using the force display, we proposed the concept of "Altered Touch", that can be used to alter the haptic properties of real objects by rendering projected visual, and haptic feedbacks.

簡単に着用して拡張現実感アプリケーションで使用できるように、小型のフォームファクターで力覚、触覚、熱フィードバックを統合した指先触覚ディスプレイを開発しました。指先触覚ディスプレイを使用することで、投影された視覚と触覚フィードバックをレンダリングすることによって実際の物体の触覚特性を変えることができる「Altered Touch」の概念を提案します。

Haptics
2017
Submerged Haptics

We present a novel method of creating a waterproof wearable fingertip haptic display "AeroFinger" that is very light and small enough to fit on the fingertip and uses no electro-mechanical actuation. The display consists of 4 miniature airbags which are made out of 3D printed Rubber-Like material so that the display size, strength and shape can be customized by the user. A small sized full range speaker is mounted on a closed air chamber where the air is transferred back and forth through a tiny nozzle to the airbag. The Speaker movements creates a difference in air pressure and translated into airbag inflation and deflation. Therefore, AeroFinger can display the low frequency vibrations as force sensation and high frequency vibrations as tactile sensation. Unlike most ungrounded haptic devices which contains electrical components such as motors or vibration actuators, AeroFinger uses no electro-mechanical actuation and thus can be completely submerged on water or could be used in magnetic resonance environments.

『AeroFinger』は3Dプリンターで作成した指先に装着する触感ディバイスです。軽量なこと、また電子部品一切入っていないことが特徴です。そのため、水の中で使用することも可能です。エアーバッグが膨らむことによって指先に圧力やテクスチャーなどの触覚フィードバックを与えます。
1つのデバイスに4つのマイクロエアーバッグが付いており、空気を別々のエアーバッグに出し入れし、三軸の方向情報が提供できます。空気の制御はスピーカーの動きにより実現しています。

Haptics
2017
Thermo VR

ThermoReality is a head mounted display that is capable of providing co-located thermal haptic feedback with the displayed visual content. With this device, we produce unique thermal experiences that are synchronized with the visual content to enhance the immersive experience of the user.

Haptics
XR
2017
Telexistence Toolkit

Our world now is becoming a connected village of information and social experiences, but we still experience it as spectators and from the personal point of view. Telexistence Toolkit, or TxKit, is a compact, novel communication device that virtually transports you from one physical location to another, allowing you to experience the world from your point of view. Designed based on essential sensory feedback and in humanoid factor, TxKit provides the means for stereoscopic vision, binaural audio, speaking, and head motion. Using this design, both user and remote participants can have natural and mutual communication as if both were in the same location.

Telexistence
2017
Telexistence Inc.

Our mission at TX inc is to industrialize telexistence technology to dramatically change lives, organizations, and society.
“TELEXISTENCE” is a concept that was first proposed in 1980 by Dr. Susumu Tachi, Professor Emeritus of the University of Tokyo and the chairman of TX inc, which refers to the notion of human beings in effect being in a place other than where he or she actually existsand being able to act freely in that remote environment – essentially expanding the presence of human beings – as well as the technological systems that make this possible.

テレイグジスタンス(TELEXISTENCE/遠隔存在)とは、TX incの創業者の一人でTX会長でもある東京大学名誉教授 舘暲氏が1980年に世界で初めて提唱した、人間が、自分自身が現存する場所とは異なった場所に実質的に存在し、その場所で自在に行動するという人間の存在拡張の概念であり、また、それを可能とするための技術体系です。
TX incのミッションはこの技術の産業化を実現し、個人、企業、社会の生産性を飛躍的に向上させることです。

Telexistence
2017
Crystal Vibes

Experience body vibrations of candy colored psychedelic sound rippling through an endless crystal universe. Crystal Vibes is a virtual reality experience that demonstrates the cutting edge of spatial 3D audio, full-body 'Synesthesia Suit' vibro-tactile stimulation, and sound visualization that maps sound and light based on the science of the human senses, to push the frontiers of technology-mediated sensory experience in virtual reality. With the project's predecessor (Sound World VR) described as “transcendent” and “like traveling through a psychedelic kaleidoscope” (Forbes 2016), this piece ups the ante with music from producer Ott. and is all-new.

Arts & Performances
XR
2017
tOURs

City Wander has become a popular hobby in recent years. People enjoy exploring the city by walking, it is a hobby to relax oneself, and to discover new treasure of the city and one’s life. In this research, I designed a City Wander recording and sharing service with wearable devices, which visualizes the heartbeat information on a map to show the relationship between human body and urban landscape, so that we can realize the embodiment of urban landscape. I firstly hypothesized that one’s heart rate rises when he or she sees something he or she is curious about, and then test this using my first prototype device. I conducted an experiment with four participants, in popular City Wander areas such as Akihabara and Asakusa area in Tokyo. The data suggests that heart rate is significantly higher when participants see what they consider an interesting spot when compared with spots they are indifferent towards, implying that my concept is supported by quantitative physiological data responses. With the second prototype, which is a new kind of Instagram Service, I had a deeper study on the relationship between urban landscape and human emotion, and also to show the actual scenario possibilities of this research. Perspectives of this research direction are discussed in terms of the relationship between city and human body and even the emotion.

近年、街歩きは個人の趣味として人気が上昇しています。人々は街を歩いて探索し、休日にリラックスすることを楽しんでいます。この研究では、ウェアラブルデバイスを使って、使用者の心拍情報をマップ上に視覚化することによって、街歩きを記録とシェアするサービスをデザインしました。心拍情報の視覚化によって人の体と街の関係性を表すことで、都市ランドスケープの身体化が実現できます。「人は興味があるものを見ると心拍数が上がる」という仮説をもとに、秋葉原や浅草など有名な観光地で実験を行わってきました。得られた研究データは仮説を支持しており、この研究コンセプトが定量生体データにより有効だと証明されました。その他、研究の詳細検討では心拍数を使った新しいインスタグラムサービスを応用例としてデザインしました。当研究は、心拍マップを生成し、人の体や感情と街の関係性を討論しました。

Social
2017
ASMR articulate emotional geometry

本研究は、人へ聴覚刺激を与えることで、 身体的な感覚へ影響を及ぼす新しい音楽体験をデザインすることを目的とします。作品に用いた音源は、バイノーラル録音法を利用した立体音響信号であり、その中でも特にASMRと呼ばれる現象を引き起こすものを選定しました。ASMRとは、Autonomous Sensory Meridian Response(自発的に心地よい感覚が生じる反応)の略語であり、聴覚刺激によって「ソワソワした感覚」や「リラックスした感覚」を引き起こすことが知られています。本研究では、ASMR現象を引き起こす音響信号を、主に自然物によるマテリアル素材から集め、その主観評価を検討するとともに、この現象を組み合わせた音響信号の合成と、このASMR現象がもたらす身体的な感覚を誘起することを意図した音楽作品の制作を行います。

Social
2017
MetaLimbs

We propose “MetaLimbs” is a prototype exploring a research question “How we can edit or design our body?”. The system is constructed by robotic arms/hands which are mounted on a user and motion tracking which uses socks type sensor device and optical motion trackers, it can modulate from user’s legs/feet movement and posture to the motion of robotic arms/hands. User’s body perception and schema will be changed or augmented by multiple limb interactions.

「MetaLimbs」は、“身体性を自由自在に編集することはできるのか?"を明らかにするためのプロトタイプです。ユーザーに装着した2つのロボットアームを左右それぞれの足に対応づけて、靴下型デバイスで足指の動き、つま先と膝に取り付けた光学式マーカーで脚の動きを計測することで動かします。複数の腕によるインタラクションはユーザーの身体認知を変化させて身体感覚を拡張します。

Human Augmentation
2017
Musiarm

In this research, we developed a device that combines an artificial arm and a musical instrument. “Musiarm” aims to bring an entertainment aspect to prosthetic arms as well as motivate users to play musical instruments. We identified a physical value in people with disabilities and attempted to realize a design that transcends physical limitations. "Muisarm" was prototyped alongside prosthetists and people missing a forearm who do not usually play music. In conclusion, “Musiarm” revealed the possibility to stimulate the interest of people with disabilities regarding music performance. “Musiarm” explores the expansion of the artificial arm functionality to performance art through a combination of music and body movement.

本研究では、義手と楽器を融合させ楽器演奏を実現し、義手のエンターテイメント性の拡張、及び義手利用者の楽器演奏に対するモチベーションを向上させることを目的とした「Musiarm」を開発した。当事者の身体的な特性を「価値」と考え、身体の制限を超えて直感的な演奏を実現する。普段演奏を行わない前腕欠損の当事者、義肢装具士と対話して試作を行なった。Musiarmによって、演奏行為に対する当事者の興味を喚起できる可能性が明らかになった。身体表現と音楽表現の融合によって、義手による表現の拡張を提案する。

Human Augmentation
2017
Unconstrained Neck

Humans are born with physiological limitations in terms of the sensory and motor abilities. Due to the narrow range of motion of the neck and the small visual field of the eyes, the human visual sense is limited in terms of the spatial range. We address this visual limitation by proposing a programmable neck that can leverage the range of motion limits. Unconstrained Neck, a head-mounted robotic neck, is a substitution neck system which provides a wider range of motion enabling humans to overcome the physical constraints of the neck. Using this robotic neck, it is possible to control the visual/motor gain which allows the user to thus control the range and speed of his effective neck motion or visual motion.

Human Augmentation
2017
Exploring Thermal Perception

To develop a VR immersive thermal display, it’s important to know how human perceive and interpret thermal stimuli and what kind of information can be conveyed to the user through the thermal stimuli. If we can utilize thermal stimuli in the same way as it affects human in real world, it’s possible to simulate the real world in thermal aspect. So my subject here is to prove the hypothesis: thermal stimuli on body extremities lead to different recognition and interpretation. I conducted three experiment to exam the thermal perception on forehead, on wrist and on the bottom of foot. In the research, I successfully present spatial awareness and passing-through illusion to user and also introduce some principle for the thermal experience design on the foot.

Human Augmentation
2017
Superhuman Sports Hackathon

By utilizing the cutting edge technology to the civic tech, Superhuman Sports had been developed with repeated tries and error, is an epoch-making creation method.

This project is creating a new kind of community and the field of people from various kinds of background and named the trend of creation of combining the sports, technology and creativity as Sports Creation.

We are pursuing the generating the value of the company and the local area, discover and recruit of creative persons and creation of new culture and community by holding Superhuman Sports Hackathon in Tokyo and Superhuman Sports Project from Iwate Pref. which created local sports.

最新のテクノロジーから、シビックテックまでを駆使し、様々な試行錯誤を繰り返して創り上げられる超人スポーツは、まさに新しい時代のモノづくり、クリエイティビティの一つです。

本プロジェクトでは、この活動を推し進めるため「スポーツ×テクノロジー×クリエイティビティ」の潮流を『スポーツクリエーション』と名付け、様々なバックグラウンドを持つ人々が集い、共に創る場・コミュニティづくりを行っています。

東京で実施した「超人スポーツハッカソン」、地域発のスポーツを生み出した「岩手発・超人スポーツプロジェクト」をはじめとして、スポーツクリエーションを通じた「企業や地域の価値発信」「創造人材の発掘・支援」「新たな文化・コミュニティの醸成」に挑戦しています。

Human Augmentation
2017
Haptic Design

わたしたちは日々、さまざまなモノやヒトと触れ合い、刺激を受けるその度に喜び、哀しみ、ときに感極まって涙を流す……
わたしたちのからだは“センサーの塊”です。ヒトの五感のひとつである、からだ全体で感じる感覚「触覚(HAPTIC)」のデザインは、たとえばグラフィックデザイナーが紙の“厚みや材質”にこだわり、ファッションデザイナーが見た目以上に“着心地”に気を使い、UXデザイナーが“ふれあいによる影響”を考えるように、デザインの現場で大切にされながらも、不思議なことに、今まで名前もなく、体系化されることもないままでした。見る「視覚」のデザインがビジュアルデザインとして、聴く「聴覚」のデザインがサウンドデザインとして確立されてきたように、身体を通じてヒトと世界をつなぐ、触れる「触覚」のデザイン分野をHAPTIC DESIGN(ハプティックデザイン)と名付け、研究分野とデザイン分野との融合にチャレンジします。

Haptics
2016
Haptic Aid

Technology can enhance human abilities. For example, eye glasses and a hearing aid can support individual abilities for seeing and hearing. If the haptic sensation can be enhanced and augmented, we can provide the haptic sensation of craftsman and enhance touch experiences of daily life.

We present HapticAid, a wearable system that enhances haptic sensations. We envision three application areas with the HapticAid system: Enhance - amplify and enhance haptic sensations; Enchant - embed haptic sensations with HapticAid in otherwise passive objects; and Empathize - communication of haptic experiences that allows connecting and empathizing with others’ haptic sensations.

技術は人の能力を拡張することができます。例えば,眼鏡や補聴器は個々人の視覚や聴覚を拡張しています。もし,視覚における眼鏡や聴覚における補聴器のように,触感覚を拡張・増強させることができれば,熟練者の感覚を容易に得たり,老化によって衰えた触覚を回復したり,あるいは私たちが日常の中で得る様々な感覚をより楽しいものに変化させたりできるのではないでしょうか。

視覚における眼鏡,聴覚における補聴器のように,低下してしまった感覚や失われてしまった感覚を取り戻すことを目指す研究として,補触器,「HapticAid」の研究を行っています。また,「HapticAid」は触感覚を増強させるEnhance,触れたモノに魔法をかけるようなEnchant,自分と他者の体験を共有するようなEmphathiseの3つの軸で研究を行っています。

Haptics
2016
Step

STEP is the shoe that lets you feel Virtual Reality through your feet. Embedded tactile actuators and sensors in the shoe transmit various haptic sensations in response to your foot movement. Manipulating the strength and rhythm of the actuators allows to simulate, for instance, a range of terrain texture depending on foot pressure against ground. STEP gives you an immersive experience in game, music and sports fields through haptic sensation. Enjoy the addition of “foot sensation” like never before.

「STEP」は、足の触覚をバーチャルに生み出すVRシューズです。靴に内蔵された複数のバイブレーター及びセンサーによって、センシングしたユーザーの足の動きに連動したさまざまな触覚体験を生み出します。例えば、複数のバイブレーターの振動の強弱・リズムを制御することで、足を踏み込む時の地面のテクスチャーを変化させるなど、ゲーム・音楽・スポーツにさらなる臨場感や没入感を加えるための新しい触覚体験を実現します。「STEP」でこれまでにない”足感覚”を楽しんでください。

Haptics
2016
Layered Presence

We propose “Layered Telepresence”, a novel method of experiencing simultaneous multi presence with user’s eye gaze and perceptual awareness blending of real-time audio-visual information received from multiple telepresence robots. The system arranges audio-visual information received through multiple robots into a priority driven layered stack; a weighted feature map was created for each layer based on the objects recognized in each layer using image processing techniques; and pushes the most weighted layer around the desired user gazes in to the foreground, and all other layers are pushed back to the background providing an artificial depth of field effect. The proposed method not only works with robots, but also each layer could represent any audio-visual content such as video see thru HMD, television screen or even your PC screen enabling true multitasking.

Telexistence
2016
Marathon Runner

マラソンランナーの視点をリアルタイムに共有できるシステムです。ランナーに装着した全天球カメラの映像と音声をリアルタイムに伝送し、ヘッドマウントディスプレイを用いてユーザー視点で閲覧できます。
一般的なLTE回線を用いた全天球映像と音声のリアルタイム配信には、NTTコミュニケーションズが提供中のWebRTCプラットフォーム「SkyWay」を利用しています。

Telexistence
2016
VR planet

The emergence of head-mount-displays(HMDs) have enabled us to experience virtual environments in an immersive mean. At the same time, omnidirectional cameras which capture real-life environments in all 360-degree angles in either still image or motion video are also getting attention. Using HMDs, we can view those captured omnidirectional images in immersion, as though we are actually "being there". However, as a requirement for immersion, our view of these omnidirectional images in the HMD is usually presented as first-person-view and limited by our natural field of view, i.e. we only see a fraction of the environment which we are facing, while the rest of the 360-degree environment is hidden from our view. This is even more problematic in telexistence situations where the scene is dynamic so setting a default facing direction for the HMD is impratical. We can often observe people, while wearing HMDs, turn their heads frantically trying to locate interesting occurrences in the omnidirectional environment they are viewing. We propose a "planet" view for visualizing an meta-view of the environment that a user is immersed in. Equirectangular images taken from a omnidirectional camera can be transformed into "planets". The planets are then placed at users' feet and becomes visible when look down. The planets capture the full omnidirectional scene so users can easily obtain a whole view of the environment, even those that are behind them. As these planets are around the user's feet, we further suggest natural feet-interaction with the planets to enhance our experience.

XR
2016
AnyOrbit

AnyOrbit is a 6DOF spatial navigation technique that utilises orbital trajectories. It can be applied to virtual and augmented reality (VR and AR), computer-aided design (CAD), data visualisation, and the consumption of other 3D content including 3D real-time sports and video. The key invention here is the use of spiral trajectories to navigate smoothly between orbital paths around different points of interest. We have demonstrated several regimes and use-cases including: user controlled point of interest selection; directed point of interest; and eye-tracked point of interest selection. The current direction of the research is to apply the technique to storytelling, data visualisation, and augmented reality CAD systems.

XR
2016
VR Sound World

VR Sound World is about exploring new sensory experiences that we can have using new media technologies such as virtual reality. The project builds on previous music visualisation work, and adds a whole new dimension of full-body high-fidelity haptic vibration provided colleagues at Embodied Media, Keio Media Design. The virtual environment consists of a succession of interactive environments made up using procedural meshes that respond to music. A natural mapping between sound and colour enhances immersion and presence by presenting consistent stimuli in visual and audial sensory channels, creating a world where our senses are hyper-connected, inspired by synesthesia. While the sound creates the geometries and colours in the kaleidoscopic environment, the geometries in turn reach out and touch the user's body causing vibrational stimuli to add another sensory channel by which the reality of the world becomes objective in the mind of the user. The result is a level of sensory integration not possible even in reality.

XR
2016
Kawaii Haptics

映像や商品の「かわいらしさ」をさらに高めるような触感のデザインを「Kawaii Haptics(かわいいハプティクス)」として提案しています。この作品「ハムスターのいえ」では、箱から伸びている棒を通して、一生懸命えさをかじっている可愛らしいハムスターとの触れ合いを楽しむことができます。

Haptics
2015
Haptone

We humans are surrounded by various haptic sensations, and they always affect us through our skin. When we walk, sit, or eat, we subconsciously handle the haptic information to achieve our daily behaviors. On the other hand, to design new daily objects or experiences with considering the haptic sensations, it is important to cultivate the ability to focus consciously on the surrounded haptic sensations in the world.In this project, we collaborated with Miraikan: Nationaly focused on the children, and devel , which made of several activity areas for the children from toddlers to elementary school age to enjoy experiments and creating, and validated our concept.

身の周りにはさまざまな触り心地のモノが溢れています。しかしながら、普段はあまりモノの触り心地に意識を向けることがありません。そこで本プロジェクトでは子ども達に世界にあるさまざまな触感に意識を向けてもらうためのデバイス「Haptone」を開発しました。「Haptone」は身の周りのモノの触感を記録し、集めることができるデバイスです。記録した触感を使って、子どもが手軽に子どもの創造の世界を具現化することができます。

Haptics
2015
Twech

When using social networking, users often upload digital media to capture their experience, and this includes video or photos of meals, landscapes, gatherings of friends, etc. These events are captured with a camera, recorded by a microphone, or archived using a video camera. Such media provides us with visual, audible, or integrated audio-visual experience. However, up until now, sharing one’s corresponding haptic experience has not been possible. If this haptic experience can be shared, the sensory feedback will be sufficiently compelling and easy to understand in order for a more complete experience from a first-person perspective.

We propose a mobile platform, called Twech, which enables users to collect and share visuo-tactile experience. This platform also provides a function that enables to find materials that can provide similar haptic feeling. User can record and share visuo-tactile experience by using a visuo-tactile recording and displaying attachment for smartphones.
The proposed system allows users to share their experience instantly over social media and to re-experience shared data such haptic experience.

「Twech」は”触り心地”を動画で記録/共有/検索するためのプラットフォームです。
iPodTouchに取り付ける触感記録再生デバイスを利用することで、触感が含まれた動画を記録することができます。
記録された動画は, 新しい動画アプリケーションを必要せずに再生と共有が行えるため, SNS上にそのままアップロードし, 触り心地を共有することができます。
また画面に常に表示されるプローブは, 使用者がどこを触っているかの注意をうながすだけでなく, 触っている感覚を増幅させる設計を行っています。

Haptics
2015
SMASH

SMASH(Sympathy Media for Athlete and Spectator through Haptics)is a system that provide sports experience of a person from a remote area to spectators at the stadium and television audience in real time. By experiencing the athlete tactile such as shoot or smash sensation and heartbeat in the palm thanks to a device with an integrated oscillator, a sports watching where you can "feel" the athlete is realized, enhancing the feeling of sympathy toward the athlete.

選手の触覚と心音を体験する事で,選手と観客との間に感覚の共有が実現するのではないかという考えをもとに,選手の体験を心音とプレイの触覚として観客に伝送するシステム,「SMASH (Sympathy Media of Athletes and Spectator through Haptics)」を開発しました。心音取得用マイクを胸部に仕込み,また触感取得用マイクをそれぞれのスポーツに応じたアイテムに仕込むことで,心音と選手のシュートやスマッシュの衝撃を触覚として観戦者のデバイスに提示することができます。選手と感覚の共有をするために、選手の体験共有システムを開発しました。

Haptics
Social
2015
Rez Infinite Synesthesia Suit

The “Synesthesia Suit” was created to embody the multi-sensory concept behind the VR (virtual reality) video game “Rez Infinite”. The 26 actuators vibrate throughout the person’s body along with the music and simultaneously light up via LED. There is an element of texture to the vibrations — whether it be the feeling of stringed instruments or drums being played — to which the LED colors and light patterns synchronize as the game progresses. This multimodal suit allows the person to experience music not just through its ears but also through the senses of touch and sight.

「Synesthesia Suit (シナスタジア・スーツ)」は、VRヴィデオゲーム作品「Rez Infinite」の共感覚的なコンセプトを体現するために製作されました。スーツ内に装着されている26の振動子によって、音楽が振動と共に全身を巡り、その振動部分のLEDが点灯します。振動にはテクスチャが伴い、弦楽器で弾かれている感覚や、太鼓で叩かれている感覚などが再現され、その質感に合わせて、LEDの色や光のパターンがシンクロします。音楽を耳からだけではなく、触覚や視覚として体感できる共感覚スーツです。

Haptics
Arts & Performances
2015
Karada Tap

To make it possible for the deaf and hard of hearing to enjoy to appreciate the performance of tap dancers, we developed a system called “Karada Tap”, which transfers the haptic sensation of Tap Dance from the stage to the audience seats in collaboration with a tap dance unit and a science museum. This system was used in a public performance and we confirmed that the system could provide the sense of rhythm to the deaf and hard-of-hearing audience so that we could help the tap dancers to share the fun of dance to the audience with disabilities.

To make it possible for the deaf and hard of hearing to enjoy to appreciate the performance of tap dancers, we developed a system called “Karada Tap”, which transfers the haptic sensation of Tap Dance from the stage to the audience seats in collaboration with a tap dance unit and a science museum. This system was used in a public performance and we confirmed that the system could provide the sense of rhythm to the deaf and hard-of-hearing audience so that we could help the tap dancers to share the fun of dance to the audience with disabilities.

Haptics
Social
2015
Telexistence Drone

This drone is a type of Telexistence system whereby the user can experience the feeling of flight. Telexitence is a technology that enables users to synchronize their motions and emotions with robots, such that they can be at a place other than where he or she actually exists, while being able to interact with a faraway remote environment. In this case of the drone, a camera is attached to it and then whatever is captured by the camera is synchronized with the Head Mounted Display (HMD) of the user, such that the user is able to experience the flight of the drone. By integrating the flight unit with the user and thus crossing physical limitations such as height and physique, everyone can now enjoy a whole new concept of ‘space.’

ドローンで撮影した映像と視覚を連動させ、『ハリー・ポッター』シリーズで描かれた「クィディッチ」のような競技の実現を目指します。
操縦者があたかも空を飛んでいるかのような体験を提供する、一種のテレイグジスタンス(Telexistence)システム。テレイグジスタンスとは、操縦者とロボットの動きや感覚をシンクロさせることで、操縦者自身を遠くにワープさせようという概念を表現しています。まず、飛行ユニットに装着されたカメラの映像を、リアルタイムに操縦者のヘッドマウンテッドディスプレイ(HMD)で見せることによって、視覚のシンクロを実現。自分と飛行ユニットが一体化することによって、身長や体格といった身体的な差を飛び越え、誰もが「空」という新たなフィールドでスポーツを楽しむことができるようになります。

Telexistence
2015
Disaster Tele-surveillance

In this project, a 6 DOF Spatial Cognition Telexistence Robot System (TORSO) was used for remote surveillance during disaster situations. The Telexistence Robot was mounted on a driver’s seat of a Unmanned Backhoe (BH) and a remote operator wears a Head Mounted Display (HMD) and a remote controller to control the Backhoe from a distance. Operator can drive the remote machinery with confidence due to the spatial coherent consistency while feeling of sitting on the Backhoe seat and manipulating the machine as he was there. In future, the effectiveness of spatial coherent drive experience can be applied in working at construction sites and real hazardous fields.

Telexistence
2015
HUG Project

“HUG Project” demonsted the worlds first virtual wedding participation helping a 90-year-old grandmother to attend her grandson's wedding ceremony from a hospital miles away using telexistence technology. This project was collaborated with with Ducklings Inc. (http://ducklings.jp)
HUG allows the remote participant to remote control a social humanoid robot “Pepper” using FOVE eye tracking technology. The project demonstrated on Oct 10th between Ritz Carlton Hotel in Tokyo and a rural hospital in Aichi Prefecture.

Telexistence
Social
2015
Photobrella

カメラを向けられた時、人はつい顔を隠してしまったり、必死に笑顔を作ってしまうことがあります。カメラは表情を作るものとして認識されています。しかしプロのカメラマンはふとした瞬間と自然体な表情を切り取ることができます。素の表情にはカメラを向けられたときの作り笑顔や緊張した顔にはない自分らしさがあります。
カメラ付き携帯の発達は自撮りと言う自分を簡単に撮る写真の手法を世界的に発達させました。さらにはライフログ用の超小型カメラが数多く登場し,1人称視点で常に自分が見ている世界を取り続けることが可能になりました。
そして追従型のカメラは最近ドローンの発展とともに,常に取り続けるドローンの開発が進んでおり,スポーツシーンでの活躍が期待されています。
このように撮影方法は増えていますが,自然な表情を簡単に撮るというカメラの例はなかったことがこのデバイスの提案の動機です。
そこで、常にベストアングルで撮り続けることで,自然体な表情を簡単撮れるカメラを開発しました。
撮れた動画にはその時の感情を切り取ることができ,見返した時によりその時を思い出すことができます。

Arts & Performances
2015
Dramagic

This research proposes augmenting physical experience with unreal sonic effects to intrigue children’s emotional experience and physical activities, and inspire their creativity. To explore the idea, we present Dramagic, a playful furniture that enhances authentic sounds occurring on the furniture with cartoon sonic effects. To validate the proposed design, we conducted a field test to observe children experiencing. The results indicated that augmenting sonic experience intrigued more physical actions, such as touching, scratching, and rubbing. Moreover, children became more creative and tend to make stories with the playful sound interactions.

テクノロジーを,技術的基盤を隠して「魔法」のように取り入れることで,子供達の生活において,より想像力を高める機会を増やすことを目指している.
そして,子供達がその想像力を用いて自らの手 で遊び方を広げる,クリエイションの場を形成することを目的としている.クリエイションの場として,子供達が自らの想像力で遊びを生み出し,共有することで周りの人間とコミュニケーションをとりながらその想像力を広げていくことを目指す.
決められた遊び方 や指定されたデバイス,アプリケーションにとらわれることなく,発想力を高めて自由に遊ぶことができる「場」として,子供のための机 Dramagicを実装し,提案する.

Arts & Performances
XR
2015
Superhuman Sports Society

By combining technology and culture into sports, we Superhuman Sports Society supports the creation of new sports that are integrated with human beings and technologies. By doing it, we strongly believe everyone will exceeds the "human" barrier.
Also, by creating it, competing in it, watching it, and supporting it, with everyone, we directly achieve the situation everyone can be enjoy it.
We raise games, engineers, players, supporters and designers of those games born from diverse talent, let them spread to society in the form of competitions, public experience, showcase etc.

超人スポーツ協会では、技術と文化がスポーツに融合することで、誰もが”ヒトの壁"を超えます。
そうした人機一体の新たなスポーツ”超人スポーツ”をつくり、ささえ、競技し、観戦することで、誰もが楽しめる文化を醸成します。
多様な人材から生まれた競技のプレイヤー、サポーター、デザイナーを育て、競技会などの形で社会に普及させます。

Human Augmentation
2015
Jack and the Beanstalk

Most of us human beings have the fear of heights, although undoubtedly, those very same heights could offer a sense of excitement and thrill. This work, "Jack and the Beanstalk", attempts to encapsulate the experience of such thrills through immersing in a virtual reality game while interacting with a climbing rope device. As the name suggests, the game is deeply rooted around the the fairy tale, "Jack and the Beanstalk". As such, the game presents a high quality multisensory experience by providing auditory stimuli and vibrotactile feedback that also invokes a sense of insecurity (of heights) to the participant.

XR
2015
Haptic Broadcast

This research aims to broadcast sports where users are able to not only watch television but also physically feel sports programs. It will record and broadcast the tactile sensation data of the opponent’s racquet or shoes by matching the audio and video. This tactile sensation will then be transferred to the sporting goods embedded with a tactile receiver, which is connected to the television. With this, users can experience watching sports at a closer physical distance.

「Haptic Broadcast」は、テレビを通じたスポーツの観戦を、従来の映像と音声による受動的な「視聴」から能動的な「体験の共有」へと拡張することを目的としたシステムです。競技中のスポーツ選手が感じている触感情報を記録し伝送することで、スポーツ選手の一人称体験を多人数で共有し、追体験することができます。

Haptics
2014
Tangment

Haptic texture in our physical world can be recorded as oscillatory wave form. It is also presented that these haptic texture are displayed by playing the oscillatory waveforms on a trembler. We developed a haptic painting system that allows the user to paint a haptic sensation on a canvas by using a tablet pen device with a built-in trembler.

実世界に存在するさまざまな素材のテクスチャを振動波形として記録し、振動子でその触感を提示する手法が提案されています。本研究では,振動子をペンデバイスに埋め込み,ペイントアプリケーションと組み合わせることで,記録した触感を顔料のように描画するペイントシステムを実装しました。本システムでは,パレット上に赤レンガ,ダンボールなどの触感を絵の具のように並べて提示します。ユーザはこれらの触感をパレットから選び,キャンバスの上に触感を持った絵を描くとこができます。触感は,振動触覚によるテクスチャと,温冷覚,視覚的演出効果による粘性の提示によって実現。振動触覚の大きさはなぞり速度と筆圧によって変形し,表面をペンでなぞった際の触感を再現します。ユーザは,さまざまな触感を感じながら描くだけでなく,ペンデバイスを通して描いた絵に触れることも可能です。

Haptics
2014
Enforced Telexistence

In this research we introduce photorealistic virtual arms to the user where no physical arms presented in the remote robot. Having virtual arms and hands synchronised with the voluntary movements provide the user the feeling as being presented with his own body in the remote robot place with visual, auditory, and haptic sensation. These Real-time photorealistic virtual arms not only follows the user’s arm movements, but also reacts to the dynamic lighting conditions of real environment and allow the user to have an experience of embodied enforcement towards the remote environment. Furthermore, these virtual arms can be used to grab a functional virtual copy of a physical instance where device control is possible. Enforced Telexistence not only allows a user to experience a non-existing arm in telexistence, but also gives the ability to enforce remote environment in various ways.

Telexistence
2014
MeLight

本プロジェクトは凸版印刷株式会社と協力し、美術館や博物館の鑑賞体験をVR技術を用い、より豊かにすることを目的とし行われました。その中で開発した「Melight」は、大型スクリーンに懐中電灯型のコントローラをかざすと、 その部分に現在の地図が表示されたりするなど、身体的な行為を通して作品に対する興味を高めることが可能です。実物の作品鑑賞とテクノロジーを活用した体験の相乗効果によって、博物館ならではの「実感に基づく」鑑賞体験を実現します。

Arts & Performances
XR
2014
HaptoMIRAGE

"HaptoMIRAGE" is a multi-usered wide-angle aerial autostereoscopic display for Mixed reality. Seemless interaction with real and virtual spaces such as aerial 3D skeching and commucation with 3DCG characters in real environment can be achived.

"HaptoMIRAGE" is a multi-usered wide-angle aerial autostereoscopic display for Mixed reality. Seemless interaction with real and virtual spaces such as aerial 3D skeching and commucation with 3DCG characters in real environment can be achived.

XR
2014
Touchcast

本研究では,触感のコピー&ペーストを応用したUser-Generated Tactile Content の創作・共有のための
オンラインプラットフォームを提案します。User-Generated Tactile Content とはユーザ生成型の触感コンテンツであり、一般ユ
ーザによって創作,共有,体験されます。TouchCast は、オンライン上に存在するイラストなどのコンテンツに触感テクスチャを
容易に適用することができます。このときの触感は現実物体から音声信号として取得されます。また, 安価な普及型触感デバイ
スによってあらゆる人々が気軽に触感コンテンツを体験することができます。

Haptics
Social
2013
TeluBEE

"TELUBee" is a Telexistence platform where the user can connect with a remote telexistence robot among ubiquitously distributed multiple robots around the world and feel as if he was teleported into a different location. It can be used for sightseeing, attending a remote meeting and have face-to-face conversations etc. . . as if you were there without travelling and spending much time.

「TELUBee」は世界中に散らばったロボットを使って、別の場所に瞬間移動したかのような体験を実現するためのテレイグジスタンスプラットフォー ムです。ユーザは「TELUBee」を利用することで、実際にはその場に行かなくても、自分がその場にいるかのような感覚で、観光や遠隔会議、フェイ ス・トゥー・フェイスの遠隔コミュニケーションといった体験をすることができます。

Telexistence
2013
Haptic Editor

Haptic Editor is an interactive editing system for creating haptic-enabled 3D content by drawing shapes in air and copying and pasting surface textures. To realize realistic haptic interaction, we construct the data structure of haptic content composed of kinesthetic layers and a tactile layer. The user can create touchable 3D models by drawing geometries through aerial sketching, setting values of compliance and friction of the geometries, and copying and pasting vibrotactile textures of real objects by using the proposed easy-to-use haptic interface.

Haptics
2012
Telesar V

"TELESAR V" is a telexistence alter-ego robot system that enables a user to bind with a dexterous robot and have a real-time sensation of being somewhere else, and feel the robot’s body through visual, auditory and haptic sensation. The system can transmit delicate tactile information so that the differences in surface textures such as feeling the texture of a cloth can be experienced.

「TELESAR V」は、自分の分身となるアバターロボットとまるで一体となったかのような感覚で、視覚・聴覚・触覚が融合した遠隔体験を得ることができる「テレイグジスタンス」ロボットです。触原色原理に基づく触感伝送技術を搭載することで、布などの細やかな触感をも伝えることができます。

Telexistence
2012
HapMAP

「HapMAP」は手すりを伝う感覚による触覚ナビゲーションデバイスです。”視線や意識が手元に集中してしまう” ”会話や音楽、都市のサウンドを楽しめない”ナビゲーションによる視覚・聴覚の制限は都市経験を損なわせます。直感的でナチュラルなインターフェース、カーブの詳細まで誘導可能な性能、シンプルな構造により、都市を楽しむ上で必要な感覚を損なうことなく目的地へと誘導します。

Haptics
2011
Techtile Toolkit

"The TECHTILE toolkit" aims to be an easy-to-use content production environment to create haptic content. This device utilizes audio signals to produce tactile vibration that enables to record, playback and even edit vibratory signals using audio authoring software." The TECHTILE toolkit" is useful for creating haptic signals for designers and artists in their creation, teachers and kids in science workshop, and haptics researchers in basic psychological study.

「TECHTILE toolkit」は、触感を用いた表現のためのラピッドプロトタイピングツールです。研究者・技術者のみならず、デザイナー・アーティスト・教育者・学生・子供など、前提知識なしに誰でも手軽に触感を使った作品やシステムを試作することができます。触感の記録と再生に音響信号を用いることで、既存のプラットフォームをそのまま活用して触感の取得・編集・伝送が行なえます。

Haptics
2011
Rhino AR

A design of product is an important factor in producing a new product. Product designers create three-dimensional computer-graphics (3DCG) models by the use of 3DCG modeling tools and make mock-ups to review their designs. However, there are differences of aspects between the original 3D models and the generated mock-ups frequently. Moreover, it takes expenses and long development terms to re-create new designs and mock-ups for desired products.
In this paper, we propose a system in that a user can create and check virtual mock-ups while creating 3D models of products. We construct the system by combining a commercial 3DCG modeling tool with an augmented reality (AR) technology, and 3DCG models are superimposed on the real-world environment in real time during their modeling process. Furthermore, 3DCG models are displayed with real scale and natural illumination on a see-through display. Therefore, the system enables product designers to review designs of new products without making real mock-ups.
We collaborated with Technology Joint Co. for commercialization of the proposed system. We developed an original AR function to display real scale 3DCG models and illuminate them naturally on real space. Moreover, we verified the effect of the proposed system for reviewing designs of 3DCG models in detail without making real mock-ups.

「RhinoAR」はモックアップを作成する前段階である3DCGモデルの段階で、あたかもモックアップを作成したかのように、現実空間中でそのデザインを評価することが可能なシステムです。3DCGモデリングツール上で作成した3DCGモデルをAR技術を用いてリアルタイムに現実空間中へと重畳表示することができます。ただし、AR表示される3DCGモデルは、幾何学的整合性や光学的整合性が維持されたものです。

Arts & Performances
2011
Adaptive Parallax 3D LED display

"Autostereoscopic 3D displays" using static parallax barrier or lenticular lens are commercially available in these days. In these methods, however, the number of viewpoints is fixed at the time of manufacturing. Active parallax barrier [Perlin, 2000] and dynamic parallax barrier [Peterka, 2008] have been proposed to improve the resolution and number of viewpoints by moving the position of the parallax barriers. To implement an autostereoscopic display, with dynamic parallax barriers, dual-layered LCD panel is a common approach as is mentioned by [Hirsch, 2010]. And a method of optimizing the parallax barriers [Lanman, 2010] has been proposed to represent more perceptually-acceptable imagery. Remaining limitations of the dual-layered LCD method are the refresh rate and brightness of the LCD panel. Commonly used high-speed LCD has 120Hz in refresh rate and around 500cd/m2 in brightness so that conventional systems did not have enough quality to be used in public. To solve this problem, we propose an adaptive parallax autostereoscopic display composed of a high-density/high-frequency LED panel and a high-speed/high-contrast LCD panel.

XR
2011
RePro3D

"RePro3D" is a full-parallax 3D display system suitable for interactive 3D applications. The approach is based on a retro-reflective projection technology in which several images from a projector array are displayed on a retro-reflective screen. When viewers look at the screen through a half mirror, they see a 3D image superimposed on the real scene without glasses.
"RePro3D" has a sensor function to recognize user input, so it can support some interactive features, such as manipulation of 3D objects. To display smooth motion parallax, the system uses a high-density array of projection lenses in a matrix on a high-luminance LCD.
The array is integrated with an LCD, a half mirror, and a retro-reflector as a screen. An infrared camera senses user input.

「RePro3D」は,高輝度LCDとレンズからなる高密度プロジェクタアレイを用いた投影型の立体ディスプレイ手法です。上下・左右の運動視差を持ったCGが空中に結像した3D映像を裸眼で観察することができます。
また,赤外カメラによって手と3D映像の接触状態を認識し,指先に装着した触覚提示装置によってキャラクタに触ったときの触感を生成することができます。

XR
2010
Pen de Touch

"Pen de Touch" is a pen-shaped handheld haptic display that allows haptic interactions with virtual environments by generating kinesthetic sensations on the user’s fingers; the user’s movements are not restricted since the device does not have mechanical linkages. Unlike conventional haptic displays that provide vibrations, which are not representative of tactile sensation, our proposed device provides kinesthetic sensations to the muscles in the user's fingers.

「Pen de Touch」は、バーチャルな物体に触った力を提示する触覚ディスプレイであり、 ペン型のデバイスを介してさまざまな物体に触った感覚を再現することができます。体験者は, デバイスを持って空間中で手を動かすことで、立体映像として目の前に浮かんでくるバーチャルな物体を触って感触を楽しんだり動かして遊んだりすることができます。

Haptics
2009
Ghost Glove

"GhostGlove" delivers haptic sensations to the entire hand; each finger and the palm, it integrates the haptic sensations with visual sensations so as to enable a recognition of the realistic existence of the virtual world.

「GhostGlove」は、手全体(てのひらと各指)に力覚を提示する、グローブ型のインタフェースです。各部位への力の提示は、「GravityGrabber」と同様のモータとベルトを用いたシンプルな機構によって行われ、それらが手の動きにあわせて連携することで、バーチャルな世界において“そこに存在しいないものを触る”体験を提供します。

Haptics
2008
Gravity Grabber

"Gravity Grabber" provides a new form of ubiquitous haptic interaction that delivers weight sensations of virtual objects. Gravity Grabber is derived from the novel insight that fingerpad deformation provides a reliable sensation of weight even when proprioceptive sensation is absent.

「Gravity Grabber」は、空の箱やグラスの中に、まるで何かが入っているかのような感覚を提示するシステムです。実際には存在しない物体の重さや慣性質量の提示を、指先に装着するシンプルなデバイスで実現しました。

Haptics
2007