脳科学で変える未来!Meta 2が実現する新しいコンピュータ体験

社会

What if technology could connect us more deeply with our surroundings instead of distracting us from the real world? With the Meta 2, an augmented reality headset that makes it possible for users to see, grab and move holograms just like physical objects, Meron Gribetz hopes to extend our senses through a more natural machine. Join Gribetz as he takes the TED stage to demonstrate the reality-shifting Meta 2 for the first time. (Featuring Q&A with TED Curator Chris Anderson)

技術が現実世界から私たちを引き離すのではなく、より深くそれにつなげることができたらどうでしょうか?

メロン・グリベッツは、拡張現実ヘッドセット「Meta 2」を使って、ユーザーがホログラムを物理的なオブジェクトと同じように見たり、つかんだり、移動させることができるようにすることで、私たちの感覚をより自然な機械を通じて拡張しようとしています。TEDのステージで、グリベッツが初めてリアリティを変えるMeta 2をデモンストレーションする模様をご覧ください。(TEDキュレーターのクリス・アンダーソンとのQ&Aを含む)

タイトル
A glimpse of the future through an augmented reality headset
世界的な食糧危機は 10 年以内に起こる可能性があります
スピーカー メロン・グリベッツ
アップロード 2016/04/12

「世界的な食糧危機は 10 年以内に起こる可能性があります(A glimpse of the future through an augmented reality headset)」の文字起こし

Today’s computers are so amazing that we fail to notice how terrible they really are. I’d like to talk to you today about this problem, and how we can fix it with neuroscience.

First, I’d like to take you back to a frosty night in Harlem in 2011 that had a profound impact on me. I was sitting in a dive bar outside of Columbia University, where I studied computer science and neuroscience, and I was having this great conversation with a fellow student about the power of holograms to one day replace computers. And just as we were getting to the best part of the conversation, of course, his phone lights up. And he pulls it towards himself, and he looks down and he starts typing. And then he forces his eyeballs back up to mine and he goes, “Keep going. I’m with you.” But of course his eyes were glazed over, and the moment was dead.

Meanwhile across the bar, I noticed another student holding his phone, this time towards a group. He was swiping through pictures on Instagram, and these kids were laughing hysterically. And that dichotomy between how crappy I was feeling and how happy they were feeling about the same technology, really got me thinking. And the more I thought of it, the more I realized it was clearly not the digital information that was the bad guy here, it was simply the display position that was separating me from my friend and that was binding those kids together. See, they were connected around something, just like our ancestors who evolved their social cognitions telling stories around the campfire. And that’s exactly what tools should do, I think. They should extend our bodies. And I think computers today are doing quite the opposite.

Whether you’re sending an email to your wife or you’re composing a symphony or just consoling a friend, you’re doing it in pretty much the same way. You’re hunched over these rectangles, fumbling with buttons and menus and more rectangles. And I think this is the wrong way, I think we can start using a much more natural machine. We should use machines that bring our work back into the world. We should use machines that use the principles of neuroscience to extend our senses versus going against them.

Now it just so happens that I have such a machine here. It’s called the Meta 2. Let’s try it out. Now in front of me right now, I can see the audience, and I can see my very hands. And in three, two, one, we’re going to see an immersive hologram appear, a very realistic hologram appear in front of me, of our very glasses I’m wearing on my head right now. And of course this could be anything that we’re shopping for or learning from, and I can use my hands to very nicely kind of move it around with fine control. And I think Iron Man would be proud. We’re going to come back to this in just a bit.

Now if you’re anything like me, your mind is already reeling with the possibilities of what we can do with this kind of technology, so let’s look at a few.

My mom is an architect, so naturally the first thing I imagined was laying out a building in 3D space instead of having to use these 2D floor plans. She’s actually touching graphics right now and selecting an interior decor. This was all shot through a GoPro through our very glasses.

And this next use case is very personal to me, it’s Professor Adam Gazzaley’s glass brain project, courtesy of UCSF. As a neuroscience student, I would always fantasize about the ability to learn and memorize these complex brain structures with an actual machine, where I could touch and play with the various brain structures. Now what you’re seeing is called augmented reality, but to me, it’s part of a much more important story — a story of how we can begin to extend our bodies with digital devices, instead of the other way around.

Now… in the next few years, humanity’s going to go through a shift, I think. We’re going to start putting an entire layer of digital information on the real world. Just imagine for a moment what this could mean for storytellers, for painters, for brain surgeons, for interior decorators and maybe for all of us here today. And what I think we need to do as a community, is really try and make an effort to imagine how we can create this new reality in a way that extends the human experience, instead of gamifying our reality or cluttering it with digital information. And that’s what I’m very passionate about.

Now, I want to tell you a little secret. In about five years — this is not the smallest device — in about five years, these are all going to look like strips of glass on our eyes that project holograms. And just like we don’t care so much about which phone we buy in terms of the hardware — we buy it for the operating system — as a neuroscientist, I always dreamt of building the iOS of the mind, if you will. And it’s very, very important that we get this right, because we might be living inside of these things for at least as long as we’ve lived with the Windows graphical user interface. And I don’t know about you, but living inside of Windows scares me.

To isolate the single most intuitive interface out of infinity, we use neuroscience to drive our design guidelines, instead of letting a bunch of designers fight it out in the boardroom. And the principle we all revolve around is what’s called the “Neural Path of Least Resistance.” At every turn, we’re connecting the iOS of the brain with our brain on, for the first time, our brain’s terms. In other words, we’re trying to create a zero learning-curve computer. We’re building a system that you’ve always known how to use.

Here are the first three design guidelines that we employ in this brand-new form of user experience. First and foremost, you are the operating system. Traditional file systems are complex and abstract, and they take your brain extra steps to decode them. We’re going against the Neural Path of Least Resistance. Meanwhile, in augmented reality, you can of course place your holographic TED panel over here, and your holographic email on the other side of the desk, and your spatial memory evolved just fine to go ahead and retrieve them. You could put your holographic Tesla that you’re shopping for — or whatever model my legal team told me to put in right before the show.

Perfect. And your brain knows exactly how to get it back. The second interface guideline we call “touch to see.” What do babies do when they see something that grabs their interest? They try and reach out and touch it. And that’s exactly how the natural machine should work as well. Turns out the visual system gets a fundamental boost from a sense we call proprioception — that’s the sense of our body parts in space. So by touching our work directly, we’re not only going to control it better, we’re also going to understand it much more deeply. Hence, touch to see.

But it’s not enough to experience things ourselves. We’re inherently these social primates. And this leads me to our third guideline, the holographic campfire from our first story. Our mirror-neuron subsystem suggests that we can connect with each other and with our work much better if we can see each other’s faces and hands in 3D. So if you look at the video behind me, you can see two Meta users playing around with the same hologram, making eye contact, connected around this thing, instead of being distracted by external devices.

Let’s go ahead and try this again with neuroscience in mind. So again, our favorite interface, the iOS of the mind. I’m going to now take a step further and go ahead and grab this pair of glasses and leave it right here by the desk. I’m now with you, I’m in the moment, we’re connecting. My spatial memory kicks in, and I can go ahead and grab it and bring it right back here, reminding me that I am the operating system. And now my proprioception is working, and I can go ahead and explode these glasses into a thousand parts and touch the very sensor that is currently scanning my hand.

But it’s not enough to see things alone, so in a second, my co-founder Ray is going to make a 3D call — Ray?

Hey Ray, how’s it going? Guys, I can see this guy in front me in full 3D. And he is photo-realistic.

Thank you. My mirror-neuron subsystem suggests that this is going to replace phones in not too long. Ray, how’s it going? Ray: Great. We’re live today.

MG: Ray, give the crowd a gift of the holographic brain we saw from the video earlier. Guys, this is not only going to change phones, it’s also going to change the way we collaborate. Thank you so much. Thanks, Ray. Ray: You’re welcome.

MG: So folks, this is the message that I discovered in that bar in 2011: The future of computers is not locked inside one of these screens. It’s right here, inside of us.

So if there’s one idea that I could leave you with here today, it’s that the natural machine is not some figment of the future, it’s right here in 2016. Which is why all hundred of us at Meta, including the administrative staff, the executives, the designers, the engineers — before TED2017, we’re all going to be throwing away our external monitors and replacing them with a truly and profoundly more natural machine. Thank you very much.

Thank you, appreciate it. Thanks, guys.

Chris Anderson: So help me out on one thing, because there’ve been a few augmented reality demos shown over the last year or so out there. And there’s sometimes a debate among technologists about, are we really seeing the real thing on-screen? There’s this issue of field of view, that somehow the technology is showing a broader view than you would actually see wearing the glasses. Were we seeing the real deal there?

MG: Absolutely the real deal. Not only that, we took extra measures to shoot it with a GoPro through the actual lens in the various videos that you’ve seen here. We want to try to simulate the experience for the world that we’re actually seeing through the glasses, and not cut any corners.

CA: Thank you so much for showing us that.

MG: Thanks so much, I appreciate that.

「世界的な食糧危機は 10 年以内に起こる可能性があります(A glimpse of the future through an augmented reality headset)」の和訳

今日のコンピューターは非常に素晴らしいものですが、その実際の酷さには気づいていません。今日はこの問題についてお話しし、神経科学を用いてどのように解決できるかについてお話ししたいと思います。

まず、私に深い影響を与えた2011年の寒い夜、ハーレムにお連れしたいと思います。私はコロンビア大学の外にあるダイブバーに座り、コンピューターサイエンスと神経科学を学んでいた仲間とホログラムがいつの日かコンピューターを代替する力について素晴らしい会話をしていました。話が最高潮に達したその瞬間、彼の電話が鳴り、彼はそれを手に取り、画面を見ながらタイピングを始めました。そして、無理やり目を私に向けて、「続けて、聞いてるよ」と言いましたが、その目はすでにうつろで、会話の瞬間は失われました。

一方、バーの向こう側では、別の学生がグループに向けて電話を持ち、インスタグラムの写真をスワイプしていました。彼らは大笑いしていました。同じテクノロジーを使っているのに、私が感じていた酷い気分と彼らの楽しさの違いに気づきました。そして考えれば考えるほど、問題はデジタル情報そのものではなく、単に表示の位置が私と友人を隔て、彼らを結びつけていたことに気づきました。彼らは何かを中心に繋がっていたのです。それはちょうど、私たちの祖先が焚き火を囲んで物語を語り合って進化した社会的認知と同じです。そして、それがまさにツールがすべきことだと思います。ツールは私たちの体を拡張するものであるべきです。しかし、今日のコンピューターは全く逆のことをしていると考えています。

妻にメールを送るときでも、交響曲を作曲するときでも、友人を慰めるときでも、基本的に同じ方法で行っています。四角い画面にうつむき、ボタンやメニュー、さらに小さな四角い画面を操作しているのです。これが間違った方法だと思います。もっと自然な機械を使うべきです。神経科学の原理を活用して、私たちの感覚を拡張する機械を使うべきです。

実はここにそんな機械があります。それがMeta 2です。試してみましょう。今、私の目の前には観客の皆さんが見えており、自分の手も見えています。そして、3秒後に非常にリアルなホログラムが現れます。3、2、1……。今、私が頭にかぶっているメガネの非常にリアルなホログラムが目の前に現れました。もちろん、これはショッピングや学習のための何かでもかまいません。手を使って細かく操作しながら動かすことができます。アイアンマンも誇りに思うことでしょう。もう少ししたらこれに戻ります。

私と同じように、皆さんの頭の中もこの技術で何ができるかの可能性でいっぱいになっていると思いますので、いくつか見てみましょう。

私の母は建築家です。ですから、最初に思い浮かべたのは、2Dの平面図を使うのではなく、3D空間で建物をレイアウトすることでした。母は今、グラフィックスに触れてインテリアの装飾を選んでいます。これはすべて、私たちがかけているメガネを通してGoProで撮影したものです。

そして次に紹介するのは、私にとって非常に個人的な事例である、カリフォルニア大学サンフランシスコ校(UCSF)のアダム・ガザリー教授の「グラスブレインプロジェクト」です。神経科学の学生だった私は、実際の機械を使って複雑な脳構造を学び、触れて遊べることを常に夢見ていました。今見ているのは拡張現実ですが、私にとってはもっと重要な話の一部です。それは、デジタルデバイスで私たちの身体を拡張する方法についての話です。

これから数年の間に、人類は大きな変化を迎えると思います。私たちは現実の世界にデジタル情報の層を重ねるようになるでしょう。この技術がストーリーテラーや画家、脳外科医、インテリアデコレーター、そして今日ここにいる全員にとって何を意味するのか、少し想像してみてください。私たちコミュニティがするべきことは、この新しい現実を、人間の経験を拡張する方法で創造する努力を本気で行うことだと思います。ゲーム化したりデジタル情報で溢れさせたりするのではなく、そうすることが非常に重要です。これが私の情熱です。

さて、ちょっとした秘密をお教えしましょう。今から約5年後、これはまだ小さなデバイスではありませんが、これらは目の上にホログラムを投影するガラスのストリップのように見えるようになるでしょう。そして、私たちがどのスマートフォンを買うかにあまりこだわらず、オペレーティングシステムを選ぶのと同じように、神経科学者として、私はいつも「心のiOS」を作りたいと夢見ていました。これを正しく作り上げることが非常に重要です。なぜなら、私たちはWindowsのグラフィカルユーザーインターフェイスと同じくらい長い間これらの中で生活することになるかもしれないからです。そして、私と同じく、Windowsの中で生活するのは怖いと思いませんか。

無限のインターフェースの中から最も直感的なものを見つけるために、デザイナーたちが会議室で議論するのではなく、神経科学を使ってデザインガイドラインを策定しています。そして、私たちが基盤とする原則は「神経的最小抵抗の道」と呼ばれるものです。つまり、初めて脳にとって自然な形でiOSを脳に接続しようとしているのです。言い換えれば、学習曲線がゼロのコンピュータを作ろうとしているのです。使い方を常に知っているシステムを構築しているのです。

ここで、新しいユーザーエクスペリエンスのために私たちが採用している最初の3つのデザインガイドラインをご紹介します。まず第一に、あなた自身がオペレーティングシステムです。従来のファイルシステムは複雑で抽象的であり、それを解読するために脳に余計なステップが必要です。これは「神経的最小抵抗の道」に逆行しています。一方、拡張現実では、ホログラフィックなTEDのパネルをここに置き、ホログラフィックなメールをデスクの反対側に置くことができます。あなたの空間記憶はそれを取り戻すために進化してきました。ホログラフィックなテスラをここに置いてみましょう。あるいは、ショーの直前に法務チームが指示したモデルでも構いません。

完璧です。そして、脳はそれを取り戻す方法を正確に知っています。二つ目のインターフェースガイドラインは「触れて見る」です。赤ちゃんが興味を引かれるものを見たとき、何をしますか?手を伸ばして触れようとします。自然な機械も同じように機能するべきです。視覚システムは、体の部位の空間的な感覚であるプロプリオセプションから基本的なブーストを得ることがわかっています。したがって、直接作業に触れることで、より良く制御できるだけでなく、はるかに深く理解することができます。これが「触れて見る」の原則です。

しかし、自分だけで物事を体験するのは十分ではありません。私たちは本質的に社会的な霊長類なのです。これが、3つ目のガイドライン、「ホログラフィックキャンプファイヤー」の話に繋がります。ミラーニューロンのサブシステムによれば、3Dで互いの顔や手を見ることができれば、私たちはお互いや仕事とのつながりをよりよく築けるのです。後ろのビデオを見てください。二人のMetaユーザーが同じホログラムで遊びながら目を合わせ、この技術を通じて繋がっている様子がわかります。外部のデバイスに気を取られることなく、集中しています。

神経科学を考慮して、もう一度これを試してみましょう。さて、私たちの好きなインターフェース、心のiOSを使います。次に一歩進んで、このメガネをつかんで、デスクのそばに置きます。今、私はあなたと共にいて、この瞬間に繋がっています。私の空間記憶が働き、このメガネをつかんで元に戻すことができます。これにより、自分がオペレーティングシステムであることを再認識します。そして、私のプロプリオセプションが機能し、このメガネを何千もの部品に分解し、現在手をスキャンしているセンサーに触れることができます。

しかし、ただ物を見るだけでは十分ではありません。次に、私の共同創設者のRayが3D通話をします。Ray、準備はできていますか?

Ray: はい、どうも。皆さん、この人物が目の前に完全な3Dで見えるのです。そして、フォトリアリスティックです。

ありがとうございます。ミラーニューロンのサブシステムによれば、これが近い将来、電話に取って代わるでしょう。Ray、調子はどう?

Ray: 絶好調です。今日はライブで繋がっています。

MG: レイ、さっきのビデオで見たホログラフィックブレインをみんなに見せてあげて。皆さん、これは電話だけでなく、私たちのコラボレーションの仕方も変えます。ありがとうございます。ありがとう、レイ。

Ray: どういたしまして。

MG: ですから、2011年のあのバーで気づいたメッセージはこれです。コンピュータの未来はこれらの画面の中に閉じ込められているわけではなく、私たちの中にあるのです。

もし今日皆さんに一つだけ伝えられるとしたら、それは「自然な機械」というのは未来の幻ではなく、2016年の今ここにあるということです。ですから、TED2017の前に、Metaの私たち全員、管理スタッフから経営者、デザイナー、エンジニアまでが、外部モニターを捨てて、本当に自然で深遠な機械に置き換えるつもりです。どうもありがとうございました。

ありがとうございました。感謝します。ありがとうございます、みなさん。

Chris Anderson: ちょっと助けてほしいんだけど、ここ1年ほどの間にいくつかの拡張現実デモが行われていて、技術者の間で時々議論になることがあるんだ。それは、画面上で実際のものを見ているのかどうかという問題だ。視野の問題があって、技術が実際にメガネをかけて見るよりも広い視野を示しているのではないかという話なんだけど、さっき見たのは本物だったのかな?

MG: まったく本物です。それだけでなく、ここで見たビデオのさまざまなレンズを通してGoProで撮影するために特別な措置を講じました。私たちは、メガネを通して実際に見ている世界を世界にシミュレートしようとしており、一切の手抜きをしませんでした。

CA: 見せてくれて本当にありがとう。

MG: ありがとうございます、感謝します。

コメント

タイトルとURLをコピーしました