オープンソース神経技術で未来を変える脳と心をつなぐイノベーション

IT

In an astonishing talk and tech demo, neurotechnologist Conor Russomanno shares his work building brain-computer interfaces that could enable us to control the external world with our minds. He discusses the quickly advancing possibilities of this field — including the promise of a “closed-loop system” that could both record and stimulate brain activity — and invites neurohacker Christian Bayerlein onto the TED stage to fly a mind-controlled drone by using a biosensing headset.

驚くべきトークとテックデモで、神経技術者のコナー・ルッソマンノが、私たちの意識で外界を制御することを可能にする脳コンピューターインターフェースの構築に取り組んでいる仕事を紹介します。彼は、この分野の迅速な進歩の可能性について議論し、脳活動を記録および刺激する「クローズドループシステム」の約束を紹介します。

そして、神経ハッカーのChristian BayerleinをTEDのステージに招き、バイオセンシングヘッドセットを使用して意識をコントロールし、ドローンを飛ばすデモを行います。

タイトル A Powerful New Neurotech Tool for Augmenting Your Mind
心を強化するための強力な新しいニューロテクノロジー ツール
スピーカー コナー・ルッソマンノ,クリスチャン・バイエルライン
アップロード 2023/06/30

「心を強化するための強力な新しいニューロテクノロジー ツール(A Powerful New Neurotech Tool for Augmenting Your Mind)」の文字起こし

I became obsessed with the relationship between the brain and the mind
after suffering a series of concussions
playing football and rugby in college.
I felt my mind change for years after.
I was studying computers at the time,
and it felt as though I had damaged my hardware
and that my software was running differently.

Over the following years,
a close friend suffered a serious neck injury
and multiple friends and family members were struggling
with crippling mental health issues.
All around me, people that I loved dearly were being afflicted by ailments
of the nervous system or the mind.
I was grappling with all of this
while pursuing an MFA in Design and Technology at Parsons
when a friend and fellow student showed me an open-source tutorial
on how to build a low-cost single-channel EEG system
to detect brain activity.

After a couple long nights of hacking and tinkering,
I saw my brainwaves dancing across the screen for the very first time.
And that moment changed my life.
In that moment,
I felt as though I had the possibility to help myself and the people I loved.
And I also realized that I couldn’t do it alone.

I needed help.
So in 2013, in Brooklyn, with some like-minded friends,
I started OpenBCI, an open-source neurotechnology company.
In the beginning,
our goal was to build an inward-pointing telescope
and to share the blueprints with the world
so that anybody with a computer could begin peering into their own brain.

At first, we were an EEG-only company.
We sold brain sensors to measure brain activity.
I thought that’s what people wanted.
But over time, we discovered people doing very strange things with our technology.
Some people were connecting the equipment to the stomach
to measure the neurons in the gut
and study gut-brain connection and the microbiome.

Others were using the tools to build new muscle sensors and controllers
for prosthetics and robotics.
And some were designing new devices
and peripheral add-ons that could be connected to the platform
to measure new types of data that I had never heard of before.
What we learned from all of this
is that the brain by itself is actually quite boring.
Turns out brain data alone lacks context.

And what we ultimately care about is not the brain,
but the mind, consciousness, human cognition.
When we have things like EMG sensors to measure muscle activity
or ECG sensors to measure heart activity,
eye trackers
and even environmental sensors to measure the world around us,
all of this makes the brain data much more useful.

But the organs around our body, our sensory receptors,
are actually much easier to collect data from than the brain,
and also arguably much more important for determining the things
that we actually care about: emotions, intentions and the mind overall.

Additionally,
we realized that people weren’t just interested
in reading from the brain and the body.
They were also interested in modulating the mind
through various types of sensory stimulation.
Things like light, sound,
haptics and electricity.

It’s one thing to record the mind,
it’s another to modulate it.
The idea of a combined system
that can both read from and write to the brain or body
is referred to as a closed-loop system or bidirectional human interface.
This concept is truly profound,
and it will define the next major revolution in computing technology.

When you have products that not just are designed for the average user
but are designed to actually adapt to their user,
that’s something truly special.
When we know what the data of an emotion or a feeling looks like
and we know how to make that data go up or down,
then using AI,
we can build constructive or destructive interference patterns
to either amplify or suppress those emotions or feelings.

In the very near future,
we will have computers that we are resonantly
and subconsciously connected to,
enabling empathetic computing for the very first time.

In 2018,
we put these learnings to work
and began development of a new tool for cognitive exploration.
Named after my friend Gael, who passed from ALS in 2016,
we call it Galea.
It’s a multimodal bio-sensing headset,
and it is absolutely packed with sensors.
It can measure the user’s heart, skin, muscles, eyes and brain,
and it combines that capability with head-mounted displays
or augmented and virtual reality headsets.

Additionally, we’re exploring the integration
of non-invasive electrical neural stimulation as a feature.
The Galea software suite
can turn the raw sensor data into meaningful metrics.
With some of the sensors,
we’re able to provide new forms of real-time interactivity and control.
And with all of the sensors,
we’re able to make quantifiable inferences about high-level states of mind,
things like stress, fatigue, cognitive workload and focus.

In 2019,
a legendary neurohacker by the name of Christian Bayerlein
reached out to me.
He was actually one of our very first Kickstarter backers
when we got started, early on.
Christian was a very smart, intelligent, happy-go-lucky
and easygoing guy.

And so I worked up the courage to ask him, “Hey, Christian,
can we connect you to our sensors?”
At which point he said,
“I thought you would never ask.”

So after 20 minutes,
we had him rigged up to a bunch of electrodes,
and we provided him with four new inputs to a computer.
Little digital buttons, that he could control voluntarily.
This essentially doubled his number of inputs to a computer.

Years later, after many setbacks due to COVID,
we flew to Germany to work with Christian in person
to implement the first prototype
of what we’re going to be demoing here today.

Christian then spent months training with that prototype
and sending his data across the Atlantic to us in Brooklyn from Germany
and flying a virtual drone in our offices.

The first thing that we did was scour Christian’s body
for residual motor function.
We then connected electrodes to the four muscles
that he had the most voluntary control over,
and then we turned those muscles into digital buttons.
We then applied some smart filtering and signal processing
to adapt those buttons into something more like a slider
or a digital potentiometer.

After that,
we turned those four sliders
and mapped them to a new virtual joystick.
Christian then combined that new joystick
with the joystick that he uses with his lip to control his wheelchair,
and with the two joysticks combined,
Christian finally had control over all the manual controls of a drone.

I’m going to stop talking about it, and we’re going to show you.
Christian,
welcome.

At this point,
I’m going to ask everybody to turn off your Bluetooth
and put your phones in airplane mode
so that you don’t get hit in the face with a drone.

How are you feeling, Christian?
Christian Bayerlein: Yeah, let’s do it.
Conor Russomanno: Awesome.
This is a heads-up display that’s showing all of Christian’s biometric data,
as well as some information about the drone.
On the left here, we can see Christian’s muscle data.
Christian is now going to attempt to fly the drone.
How are you feeling, Christian, feeling good?
CB: Yes.
CR: All right. Rock and roll.
Let’s take this up for a joyride.
Whenever you’re ready.
CB: I’m ready.

CR: All right, take her up.
And now let’s do something we probably shouldn’t do
and fly it over the audience.

Alright, actually, let’s do this.
I’m going to ask for people to call out some commands in the audience.
So how about you?
Straight forward.
Straight forward.

Alright. How about you?
Man: Up!

CR: Not down.
Oh, he’s doing what he wants right now.
Amazing.
Alright, let’s bring it back.
And what I’m going to do right now is take control of the controller
so that you guys know
that there isn’t someone backstage flying this drone.
All right, Christian, you’re alright with that?
CB: Yeah.
CR: Unplug.
Forward.
And we’re going to land this guy now.
CB: I think I was better than you.

CR: Amazing.

Now I’m going to unplug it so it doesn’t turn on on its own.
Perfect.
Christian has repurposed dormant muscles from around his body
for extended and augmented interactivity.
We have turned those muscles into a generic controller
that in this case we’ve mapped into a drone,
but what’s really cool is that joystick can be applied to anything.
Another thing that’s really cool
is that even in individuals who are not living with motor disabilities,
there exist dozens of dormant muscles around the body
that we can tap into for augmented and expanded control interactivity.

And lastly,
all the code related to that virtual joystick,
we’re going to open source
so that you can implement it and improve upon it.
There’s three things that have stood out to me
from working on this project and many others over the years.
One,
we cannot conflate the brain with the mind.
In order to understand emotions
and tensions and the mind overall,
we have to measure data from all over the body,
not just the brain.
Two,
open-source technology access and literacy
is one way that we can combat the potential ethical challenges we face
in introducing neural technology to society.
But that’s not enough.
We have to do much, much more than that.
It’s very important, imperative, that we set up guardrails
and design the future that we want to live in.
Three.
It’s the courage and resilience of trailblazers like Christian
who don’t get bogged down by what they can’t do,
but instead strive to prove that the impossible is in fact possible.

And since none of this would have been possible without you, Christian,
the stage is yours.
CB: Yeah, hi, everybody.
Audience: Hi.
CB: I’m excited to be here today.
I was born with a genetic condition that affects my mobility
and requires me to have assistance.
Despite my disability,
I’m a very happy and fulfilled person.
What truly holds me back are not my physical limitations.
It’s rather the barriers in the environment.
I’m a tech nerd and political activist.
I believe that technology can empower disabled people.
It can help create a better,
more inclusive and accessible world
for everyone.
This demonstration is a perfect example.
We saw what’s possible when cutting edge technology
is combined with human curiosity and creativity.
So let’s build tools that empower people,
applications that break down barriers
and systems that unlock a world of possibilities.
I think that’s an idea worth spreading.
Thank you.

「心を強化するための強力な新しいニューロテクノロジー ツール(A Powerful New Neurotech Tool for Augmenting Your Mind)」の和訳

私は大学でフットボールやラグビーをしていた時に一連の脳震盪を経験し、脳と心の関係に取り憑かれました。その後数年間、私の心は変化し続けていると感じました。当時、私はコンピューターを学んでいて、自分のハードウェアに損傷を与え、ソフトウェアが異なる動作をしているように感じていました。

その後の数年間、親しい友人が重度の首の怪我をし、複数の友人や家族が深刻な精神的健康問題に苦しんでいました。私の周りでは、大切な人々が神経系や心の病に苦しんでいました。私はこれらすべてに対処しながら、パーソンズでデザインとテクノロジーのMFAを追求していました。そんな時、友人で同級生の一人が、脳活動を検出する低コストの単一チャンネルEEGシステムを構築するためのオープンソースのチュートリアルを見せてくれました。

何度か徹夜してハッキングや改造を重ねた後、初めて画面に自分の脳波が踊っているのを見ました。その瞬間、私の人生は変わりました。その瞬間、私は自分自身や愛する人々を助ける可能性を感じました。そして、それを一人ではできないことも理解しました。

助けが必要でした。そこで2013年、ブルックリンで志を同じくする友人たちと一緒に、オープンBCIというオープンソースの神経技術会社を設立しました。初めは、内向きの望遠鏡を作り、その設計図を世界と共有し、コンピューターを持っている誰もが自分の脳を覗き込むことができるようにすることを目標としていました。

最初は、私たちはEEG専門の会社でした。脳活動を測定するための脳センサーを販売していました。それが人々が求めているものだと思っていました。しかし、時間が経つにつれて、私たちの技術を使って非常に奇妙なことをしている人々がいることがわかりました。ある人々は、装置を胃に接続して、腸の神経細胞を測定し、腸脳の関係やマイクロバイオームを研究していました。

他の人々は、このツールを使って義肢やロボットのための新しい筋肉センサーやコントローラーを構築していました。また、プラットフォームに接続して新しい種類のデータを測定する新しいデバイスや周辺機器を設計している人もいました。このすべてから学んだことは、脳自体は実はかなり退屈だということです。脳データだけでは文脈が欠けているのです。

最終的に私たちが関心を持つのは脳そのものではなく、心、意識、人間の認知です。筋肉活動を測定するためのEMGセンサーや心臓活動を測定するためのECGセンサー、眼球トラッカー、さらには周囲の環境を測定する環境センサーなどがあれば、脳データははるかに有用になります。

しかし、体内の臓器や感覚受容器からデータを収集することは、脳よりもはるかに簡単であり、また、実際に私たちが関心を持つ事柄、つまり感情、意図、全体的な心を決定するために非常に重要です。

さらに、私たちは、人々が脳や体から情報を読み取ることだけに興味を持っているのではなく、さまざまな種類の感覚刺激を通じて心を調節することにも興味を持っていることに気づきました。光、音、触覚、電気などのものです。

心を記録するのと、それを調節するのは別のことです。脳や体から読み取るだけでなく、それに書き込むこともできるシステムのアイデアは、閉ループシステムまたは双方向ヒューマンインターフェースと呼ばれます。この概念は非常に深遠であり、次のコンピューティング技術の大革命を定義するでしょう。

平均的なユーザー向けに設計された製品ではなく、実際にユーザーに適応するように設計された製品を持つことは、非常に特別なことです。感情や気持ちのデータがどのように見えるかを知り、それを上げたり下げたりする方法を知っている場合、AIを使用して、その感情や気持ちを増幅または抑制するための建設的または破壊的な干渉パターンを構築できます。

非常に近い将来、私たちは共鳴的かつ無意識に接続されたコンピュータを持ち、初めて共感的なコンピューティングを実現することができるでしょう。

2018年に、これらの学びを活かし、新しい認知探査ツールの開発を開始しました。2016年にALSで亡くなった友人ガエルにちなんで、そのツールを「ガレア」と名付けました。これは多モーダルなバイオセンサーヘッドセットで、センサーが満載です。ユーザーの心臓、皮膚、筋肉、眼、脳を測定し、ヘッドマウントディスプレイや拡張現実、仮想現実のヘッドセットと組み合わせて使用します。

さらに、非侵襲的な電気神経刺激の統合も検討しています。ガレアのソフトウェアスイートは、生のセンサーデータを有意義なメトリックに変換できます。一部のセンサーを使用して、リアルタイムの新しいインタラクティブ性と制御を提供できます。また、すべてのセンサーを使用して、高次の精神状態、例えばストレス、疲労、認知負荷、集中力などを定量的に推測できます。

2019年に、クリスチャン・バイヤーレインという伝説的なニューロハッカーが私に連絡してきました。彼は私たちが始めた当初のKickstarterの最初の支援者の一人でした。クリスチャンは非常に賢く、知的で、陽気で気さくな人物でした。

そこで私は勇気を出して彼に尋ねました。「ねえ、クリスチャン、私たちのセンサーに接続してみませんか?」すると彼は「ずっと待ってたんだ」と答えました。

20分後には、彼にたくさんの電極を取り付け、コンピューターに4つの新しい入力を提供しました。これにより、彼のコンピューターへの入力数が実質的に倍増しました。

数年後、COVIDによる多くの挫折を経て、私たちはドイツに飛び、クリスチャンと直接協力して、今日ここでデモを行う最初のプロトタイプを実装しました。

その後、クリスチャンはそのプロトタイプで何ヶ月もトレーニングし、ドイツからブルックリンの私たちにデータを送り、私たちのオフィスで仮想ドローンを飛ばしていました。

まず最初に行ったのは、クリスチャンの体の残存する運動機能を徹底的に調べることでした。そして、彼が最も自発的に制御できる4つの筋肉に電極を接続し、それらの筋肉をデジタルボタンに変えました。次に、スマートなフィルタリングと信号処理を適用して、それらのボタンをスライダーやデジタルポテンショメーターのようなものに適応させました。

その後、その4つのスライダーを新しい仮想ジョイスティックにマッピングしました。クリスチャンはその新しいジョイスティックと、唇で操作する車椅子のジョイスティックを組み合わせ、2つのジョイスティックを組み合わせることで、ついにドローンのすべての手動操作を制御できるようになりました。

これについて話すのはここまでにして、実際にお見せします。クリスチャン、ようこそ。

この時点で、皆さんにお願いがあります。Bluetoothをオフにして、携帯電話を飛行機モードにしてください。ドローンが顔に当たらないようにするためです。

クリスチャン、調子はどうですか?
クリスチャン・バイヤーレイン: はい、やりましょう。
コナー・ルッソマンノ: すばらしい。これは、クリスチャンのバイオメトリクスデータとドローンの情報を表示するヘッドアップディスプレイです。左側にはクリスチャンの筋肉データが表示されています。クリスチャンが今からドローンを飛ばそうとしています。調子はどうですか、クリスチャン?
CB: 良いです。
CR: よし、ロックンロール。楽しんで飛ばしましょう。準備ができたらいつでもどうぞ。
CB: 準備OKです。

CR: よし、飛ばしてみてください。さて、普通はやらないことをやってみましょう。観客の上を飛ばしてみましょう。

では、実際にやってみましょう。観客の皆さんにコマンドを叫んでもらいます。では、あなたからどうぞ。
まっすぐ前へ。
まっすぐ前へ。

さて、次はどうですか?
男性: 上へ!

CR: 下ではないですね。
彼は今、自分の思うままに操作しています。素晴らしい。
さて、戻しましょう。
ここで、皆さんに見せるために、私がコントローラーの操作を引き継ぎます。
舞台裏に誰かがドローンを飛ばしていないことを確認してもらうためです。
いいですか、クリスチャン?
CB: いいですよ。
CR: 接続を解除します。
前進。
そして、今からこのドローンを着陸させます。
CB: 私のほうが上手かったと思うよ。

CR: 素晴らしい。

今、ドローンが勝手に起動しないように接続を解除します。
完璧です。
クリスチャンは体中の休眠状態の筋肉を再利用し、拡張されたインタラクティビティを実現しました。
私たちはその筋肉を汎用コントローラーに変換し、この場合はドローンにマッピングしましたが、このジョイスティックは何にでも応用できます。
さらに興味深いのは、運動障害のない人々にも、体中に数十の休眠状態の筋肉が存在し、それを利用して拡張された制御インタラクティビティを実現できることです。

そして最後に、この仮想ジョイスティックに関連するすべてのコードをオープンソース化し、皆さんがそれを実装し、改善できるようにします。
このプロジェクトや他の多くのプロジェクトに取り組んできた中で、私が感じた3つの重要なことがあります。
1つ目は、脳と心を同一視してはいけないということです。
感情や意図、全体的な心を理解するためには、脳だけでなく、体全体からデータを測定する必要があります。
2つ目は、オープンソースの技術アクセスとリテラシーが、神経技術を社会に導入する際の潜在的な倫理的課題に対抗する一つの方法であるということです。
しかし、それだけでは不十分です。もっと多くのことをしなければなりません。
私たちが望む未来を設計し、ガードレールを設定することが非常に重要です。
3つ目は、クリスチャンのような先駆者の勇気と回復力です。
彼らはできないことにとらわれるのではなく、不可能を可能にすることを証明しようと努力しているのです。

そして、クリスチャン、あなたなしではこれらはすべて可能ではなかったので、ステージはあなたのものです。

CB: ええ、皆さんこんにちは。
観客: こんにちは。
CB: 今日はここにいられてとても嬉しいです。
私は生まれつき移動に支障をきたす遺伝的な病気を持ち、助けが必要です。しかし、障害にもかかわらず、私はとても幸せで充実した生活を送っています。私を本当に妨げているのは、私の身体的な制限ではなく、環境のバリアです。私は技術オタクであり、政治活動家でもあります。技術が障害者を力づけることができると信じています。それは、すべての人々にとってより良い、より包括的でアクセス可能な世界を創造するのに役立ちます。このデモンストレーションはその完璧な例です。最先端の技術が人間の好奇心と創造性と組み合わさったときに何が可能かを見ました。だから、人々を力づけるツールを作りましょう。バリアを打ち破るアプリケーションと、無限の可能性を解き放つシステムを作りましょう。それが広める価値のあるアイデアだと思います。ありがとうございました。

コメント

タイトルとURLをコピーしました