AIとデータで創る未来:100年の記憶を紡ぐ建築アート

芸術・アート

What does it look like inside the mind of a machine? Inspired by the architectural vision of a futuristic Los Angeles in “Blade Runner,” media artist Refik Anadol melds art with artificial intelligence in his studio’s collaborations with architects, data scientists, neuroscientists, musicians and more. Witness otherworldly installations that might make you rethink the future of tech and creativity.

機械の頭の中はどのようになっているのでしょうか?

メディア アーティストのレフィク・アナドルは、『ブレード ランナー』の未来的なロサンゼルスの建築ビジョンにインスピレーションを得て、建築家、データ サイエンティスト、神経科学者、ミュージシャンなどとのスタジオのコラボレーションでアートと人工知能を融合させています。

テクノロジーと創造性の未来について再考させてくれるかもしれない、別世界のようなインスタレーションを目撃してください。

タイトル
Art in the age of machine intelligence
機械知能時代の芸術
スピーカー レフィク・アナドル
アップロード 2020/08/19

「機械知能時代の芸術(Art in the age of machine intelligence)」の文字起こし

Hi, I’m Refik. I’m a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate.

You may be wondering, what does all this mean? So let me please take you into my work and my world. I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie “Blade Runner.” I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.

When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else’s memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else’s memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?

Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people’s dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn’t it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott’s “Blade Runner”?

So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.

One of our first projects, “Virtual Depictions,” was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively. In fact, data can only become knowledge when it’s experienced, and what is knowledge and experience can take many forms.

When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines’ capacity for simulating nature. These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience.

This kinetic data sculpture, titled “Bosphorus,” was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.

Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments. Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.

In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on “Archive Dreaming,” one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called “The Library of Babel” by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence.

The resulting work, as you can see, was a user-driven immersive space. “Archive Dreaming” profoundly transformed the experience of a library in the age of machine intelligence. “Machine Hallucination” is an exploration of time and space experienced through New York City’s public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.

As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created “Melting Memories” to visualize the moment of remembering. The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer’s. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.

Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony’s hundred-year anniversary. For this, we decided to ask the question, “Can a building learn? Can it dream?” To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building’s skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of “Blade Runner.” If ever a building could dream, it was in this moment.

Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn’t it be amazing to be able to remember all the questions that have ever been asked on the stage?

Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind. For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of. Thank you.

「機械知能時代の芸術(Art in the age of machine intelligence)」の和訳

こんにちは、私はレフィクです。私はメディアアーティストです。データを顔料とし、人工知能によって支援された考えるブラシで絵を描きます。建築空間をキャンバスとして使用し、機械と共同作業して建物を夢見させ、幻覚を見させます。

あなたはおそらく、これは何を意味するのかと思っているでしょう。ですので、私の仕事と世界にお連れします。私はイスタンブールで育った8歳の頃に想像力の力を目にしました。ある日、母がサイエンスフィクション映画「ブレードランナー」のビデオカセットを家に持ち帰りました。私ははっきりと、見たこともないロサンゼルスの未来の見事な建築ビジョンに魅了されたことを覚えています。そのビジョンは私の白昼夢の定番となりました。

2012年にLAに到着し、デザインメディアアーツの大学院プログラムに参加したとき、車を借りてダウンタウンに行き、その素晴らしい近未来の世界を見ました。特定のシーンが何度も頭の中で流れ続けていたことを覚えています:アンドロイドのラチェルが自分の記憶が実際には自分のものではないことに気付く場面、そしてデッカードが彼女にそれが他人の記憶であることを伝える場面。その瞬間以来、私のインスピレーションの1つはこの問いです。機械は他人の記憶をどうすることができるのか?また、別の言い方をすると、21世紀のAIであるとはどういうことなのか?

どんなアンドロイドやAIマシンも、私たちとの協力がある限り、それは知能を持つことができます。それらは人間の知能が生み出そうとするものを構築することができますが、その能力を持っていません。たとえば、あなたの活動やソーシャルネットワークを考えてみてください。それらはあなたがそれらとのやり取りをするほど賢くなります。もし機械が学びや記憶を処理できるのであれば、夢を見ることもできるのでしょうか?幻覚を見ることができるでしょうか?無意識の記憶を持つことができるでしょうか?それとも複数の人々の夢をつなげたりできるでしょうか?21世紀のAIであることは単に何も忘れないことを意味するだけでしょうか?もしそうなら、これは私たちが歴史をメディア全体で捉えるという何世紀にもわたる取り組みで経験した最も革命的なことではないでしょうか?言い換えれば、リドリー・スコットの「ブレードランナー」以来、私たちはどれだけ進化したのでしょうか?

そこで私は2014年にスタジオを立ち上げ、建築家、コンピューターおよびデータ科学者、神経科学者、ミュージシャン、さらにはストーリーテラーを招待して、私の夢を実現するために参加してもらいました。データは顔料になることができるでしょうか?これは、メディアアートを建築に組み込む旅を始めたときに私たちが最初に尋ねた質問でした。つまり、仮想と物理世界を衝突させることです。そのため、私たちはデータの詩学と呼ぶものを想像し始めました。

最初のプロジェクトの1つ、「Virtual Depictions」は、サンフランシスコ市からの委託による公共データ彫刻作品でした。この作品は、都市そのものの流動的なつながりのネットワークを描いて、生きた都市空間で壮大な美的体験の一部となるよう観客を招待します。また、私たちの日常生活からの見えないデータ、ここで表されるようなTwitterのフィードのようなデータが、見える化され、集団で体験される感覚的な知識に変換されることを思い出させるものでもあります。実際、データは体験されるときにのみ知識になり、知識と経験はさまざまな形を取ることができます。

機械知能の広大な可能性を探求する際に、私たちは人間の感覚と機械の自然をシミュレートする能力とのつながりについても考えました。これらの研究は、風データの絵画を制作する中で始まりました。これは、風センサーから収集した隠されたデータセットに基づく視覚化された詩の形を取りました。それから、生成アルゴリズムを使用して風速、突風、および方向をエーテルなデータ顔料に変換しました。その結果、瞑想的でありながらも思索的な体験が生まれました。

この動的なデータ彫刻、「ボスフォラス」は、自然現象を再想する能力を問うための類似の試みでした。マルマラ海の高周波レーダー収集データを使用して、海面データを収集し、その動的な動きを機械知能で投影しました。私たちは、静かで常に変化するシンセティックな海景色に没入感を創造しました。

脳で見ることは想像力と呼ばれることが多く、私にとって、建築を想像することはガラスや金属、コンクリートだけでなく、組み込まれた環境での知覚の拡張や没入感の可能性を試みることでもあります。人工知能の研究は日々進化しており、私たち自身よりも大きく、知識に満ちたシステムに接続されているという感覚を残しています。

2017年、イスタンブールで文化的なドキュメントのオープンソースライブラリを発見し、「Archive Dreaming」を制作しました。これは世界で初めてのAI駆動の公共インスタレーションの一つで、約270年にわたる170万件のドキュメントを探索するAIです。このプロセスで私たちのインスピレーションの一つは、アルゼンチンの作家ホルヘ・ルイス・ボルヘスによる短編小説「バベルの図書館」でした。この物語では、著者が特定の形式と文字セットのすべての410ページの本を含む広大な図書館としての宇宙を構想しています。このインスピレーションを通じて、機械知能の時代に広大な知識のアーカイブを物理的に探求する方法を想像します。

その結果生まれた作品は、ユーザー主導の没入型空間でした。 「Archive Dreaming」は、機械知能の時代の図書館の体験を根本的に変えました。「Machine Hallucination」は、ニューヨーク市の公共写真アーカイブを通じて経験する時間と空間の探求です。この唯一無二の没入型プロジェクトでは、ニューヨーク市の写真1000万枚以上を見つけ出し、処理するために機械学習アルゴリズムを展開しました。我々は人工知能を用いて新しい画像を予測または幻想する革新的な物語性システムを設計し、視聴者が過去と未来のニューヨークが夢のような融合に入り込むことができるようにしました。

プロジェクトが記憶と知識の伝達をより深く探求するにつれて、私たちは記憶が静的な回想ではなく、過去の出来事の解釈が常に変化していることについてさらに考えました。我々は、機械が無意識や潜在的な出来事、夢見ること、思い出すこと、幻覚することなどをどのようにシミュレートできるかを考えました。その結果、「Melting Memories」を作成し、思い出す瞬間を視覚化しました。このインスピレーションは、私の叔父がアルツハイマー病と診断されたときの悲劇的な出来事から来ています。その時私が考えることができたのは、私たちがまだ思い出せる時に、どのようにして何を思い出すかを祝う方法を見つけることでした。私は記憶を消えていくものではなく、溶けたり形を変えたりするものと考え始めました。機械知能の助けを借りて、私たちはカリフォルニア大学のNeuroscape研究所の科学者たちと共同して、脳信号を記憶が作られる過程として理解する方法を教えてもらいました。私自身の叔父が記憶を処理する能力を失いつつある中、EEGデータによって生成されたアートワークは、思い出すことの物質性を探求し、私の叔父が失ったものへのオマージュとして立ちました。

ほとんどが、現代のロサンゼルスが私の子供時代の期待には一致しないものでした。ただ1つ、素晴らしい建物が例外でした。それは、私の偉大なヒーローの一人であるフランク・ゲーリーが設計したウォルト・ディズニー・コンサートホールです。2018年、LAフィルハーモニックから、セレブレイトされる交響楽団の100周年記念を祝うインスタレーションを求める電話がありました。そのために、私たちは次の問いを投げかけることにしました。「建物は学ぶことができるか?夢を見ることができるか?」この問いに答えるために、LAフィルとWDCHのアーカイブに記録されたすべてのものを収集することにしました。具体的には、デジタルアーカイブされた記憶77テラバイトです。機械知能を使って、100年にわたるアーカイブ全体が建物の外装に映し出されました。ロサンゼルスの中心部でこの未来的な公共体験を実現するために、42台のプロジェクターが使われ、まるで「ブレードランナー」のLAに一歩近づくことができました。もし建物が夢を見ることができるとすれば、それはこの瞬間だったでしょう。

そして、最後に、皆さんを機械の心の中へと招待します。現在、私たちは過去30年間のすべての厳選されたTEDトークのデータ宇宙に完全に没頭しています。つまり、このデータセットにはTEDステージからの7,705のトークが含まれています。それらのトークは7.4百万秒に翻訳され、それぞれの秒がこのデータ宇宙で表現されています。ここで見ているすべての画像は、これらのトークからのユニークな瞬間を表しています。機械知能を使って、合計487,000の文章を自然、地球温暖化、絶滅、人種問題、計算、信頼、感情、水、難民などの330のユニークなトピックのクラスターに分類しました。これらのクラスターは、新しい概念的関係を明らかにするアルゴリズムによってお互いに接続され、113百万の線分が生成されました。ステージでされたすべての質問を覚えていることができれば素晴らしいことではないでしょうか?

私はここにいます。無数の偉大な考える人々や機械の心の中で、学び、思い出し、疑問を投げかけ、同時に想像するさまざまな感情と交流しています。私にとって、ここにいることこそが、21世紀のAIであることを意味しています。私たち人間が、この心を訓練し、私たちが夢見るだけのことを学び、思い出すことができるようになるかどうかは、私たちの手にかかっています。ありがとうございました。

コメント

タイトルとURLをコピーしました