Künstliche Intelligenz: „Wir sind wie Kinder, die mit einer Bombe spielen“

Laut dem Oxford-Philosophen Nick Bostrom stellen empfindungsfähige Maschinen eine größere Bedrohung für die Menschheit dar als der Klimawandel

Sie finden das Future of Humanity Institute in einer mittelalterlichen Seitenstraße im Zentrum von Oxford. Es befindet sich neben der St. Ebbe-Kirche, die seit 1005 an dieser Stelle steht, und über einem Pure Gym, das im April eröffnet wurde. Das Institut, eine Forschungsfakultät der Universität Oxford, wurde vor einem Jahrzehnt gegründet, um in unserem Namen die allergrößten Fragen zu stellen. Insbesondere: Was genau sind die „existenziellen Risiken“, die die Zukunft unserer Spezies bedrohen? Wie messen wir sie? und was können wir tun, um sie zu verhindern? Oder anders ausgedrückt: Wovor sollten wir in einer Welt voller Ängste am meisten Angst haben?

Als ich ankomme, um den Direktor des Instituts, Professor Nick Bostrom, zu treffen, wird gerade ein Bett in das Büro im zweiten Stock geliefert. Existenzielles Risiko ist eine Operation rund um die Uhr; es schläft unruhig, wenn überhaupt.

Bostrom, ein 43-jähriger in Schweden geborener Philosoph, hat in letzter Zeit so etwas wie den Status eines Untergangspropheten unter denen erlangt, die unsere Zivilisation derzeit am meisten prägen: den Tech-Milliardären des Silicon Valley. Sein Ruf gründet sich vor allem auf sein Buch „Superintelligence: Paths, Dangers, Strategies“, das letztes Jahr ein Überraschungs-Bestseller der New York Times war und jetzt als Taschenbuch erscheint, gefolgt von unbedingt lesenswerten Empfehlungen von Bill Gates und Elon Musk von Tesla. (In einer literarischen Rezension der besten Art gab Musk Bostroms Institut außerdem 1 Million Pfund, damit es seine Untersuchungen weiter verfolgen konnte.)

Das Buch ist eine lebhafte, spekulative Untersuchung der einzigartigen Bedrohung, von der Bostrom nach jahrelangen Berechnungen und Argumenten glaubt, dass sie uns am wahrscheinlichsten auslöschen wird. Diese Bedrohung ist weder der Klimawandel noch eine Pandemie oder ein nuklearer Winter; Es ist die möglicherweise bevorstehende Schaffung einer allgemeinen Maschinenintelligenz, die größer ist als unsere eigene.

Das Cover von Bostroms Buch wird dominiert von einem mit verrückten Augen gemalten Bild einer Eule. Die Eule ist das Thema des Eröffnungsgleichnisses des Buches. Eine Gruppe Spatzen baut ihre Nester. „Wir sind alle so klein und schwach“, twittert einer kraftlos. „Stellen Sie sich vor, wie einfach das Leben wäre, wenn wir eine Eule hätten, die uns beim Nestbau helfen könnte!“ Überall herrscht unter den Spatzen eine allgemeine Einigkeit im Zwitschern; Eine Eule könnte die Spatzen verteidigen! Es könnte sich um ihre Alten und ihre Jungen kümmern! Es könnte ihnen ein Leben voller Freizeit und Wohlstand ermöglichen! Angesichts dieser Fantasien können die Spatzen ihre Aufregung kaum zügeln und machen sich auf die Suche nach dem drehköpfigen Retter, der ihre Existenz verändern wird.

Es gibt nur eine Stimme des Widerspruchs: „Scronkfinkle, ein einäugiger Spatz mit einem gereizten Temperament, war von der Weisheit des Unterfangens nicht überzeugt. Er sagte: ‚Das wird sicherlich unser Verderben sein. Sollten wir nicht ein wenig über die Kunst nachdenken?‘ „Wir müssen zuerst Eulen domestizieren und zähmen, bevor wir ein solches Geschöpf in unsere Mitte bringen?‘“ Seine Warnungen stoßen unweigerlich auf taube Ohren. Eulen zu zähmen wäre kompliziert; Warum nicht zuerst die Eule besorgen und später die feinen Details ausarbeiten? Bostroms Buch, ein schriller Alarmruf über die dunkleren Auswirkungen künstlicher Intelligenz, ist Scronkfinkle gewidmet.

Bostrom formuliert seine eigenen Warnungen auf angemessen ärgerliche Weise. Er ist für seine Obsessivität und seinen Workaholismus bekannt; Er ist schlank, blass und halb nachtaktiv und bleibt oft bis in die frühen Morgenstunden im Büro. Es überrascht vielleicht nicht, dass er für einen Mann, dessen Tage von Whiteboards voller Formeln dominiert werden, die die relativen Vorzüge von 57 Arten der Apokalypse zum Ausdruck bringen, so wenig wie möglich dem Zufall überlässt. Anstelle der Mahlzeiten bevorzugt er ein grünes Smoothie-Elixier aus Gemüse, Obst, Hafermilch und Molkenpulver. Andere Interviewer haben darauf hingewiesen, dass er zum Schutz vor Infektionen Händeschütteln vermeidet. Er reicht mir zwar eine Hand, aber ich habe das Gefühl, dass er sie anschließend isoliert, um sie zu desinfizieren, wenn ich gegangen bin. Vielleicht ist deshalb eine leichte Ungeduld in ihm, der er mit aller Kraft zu widerstehen versucht.

In seinem Buch spricht er über die „Intelligenzexplosion“, die auftreten wird, wenn Maschinen, die viel schlauer sind als wir, beginnen, eigene Maschinen zu entwickeln. „Vor der Aussicht auf eine Geheimdienstexplosion sind wir Menschen wie kleine Kinder, die mit einer Bombe spielen“, schreibt er. „Wir haben keine Ahnung, wann die Detonation stattfinden wird, aber wenn wir das Gerät an unser Ohr halten, können wir ein leises tickendes Geräusch hören.“ Wenn man mit Bostrom spricht, hat man das Gefühl, dass dieses leichte Ticken bei ihm nie ganz verschwindet.

Wir sprechen zunächst über den Erfolg seines Buches, wie es einen Nerv getroffen hat. Es fiel mit dem offenen Brief zusammen, der von mehr als 1.000 bedeutenden Wissenschaftlern – darunter Stephen Hawking, Apple-Mitbegründer Steve Wozniak und Musk – unterzeichnet und auf der letztjährigen International Joint Conference on Artificial Intelligence vorgestellt wurde und in dem ein Verbot der Nutzung und Entwicklung vollständig autonomer Systeme gefordert wird Waffen (die „Killerroboter“ der Science-Fiction, die der Realität sehr nahe kommen). Bostrom, der sich sowohl seiner eigenen Fähigkeiten bewusst ist als auch seinen Einfluss bescheiden einschätzt, vermutet, dass es sich um einen glücklichen Zufall des Timings handelte.

„Maschinelles Lernen und Deep Learning [die bahnbrechenden ‚neuronalen‘ Computeralgorithmen, die die Funktion des menschlichen Gehirns am ehesten nachahmen] haben sich in den letzten Jahren viel schneller entwickelt, als die Menschen erwartet hatten“, sagt er. „Das ist sicherlich einer der Gründe, warum das gerade jetzt ein so großes Thema geworden ist. Die Leute können sehen, wie sich die Dinge im technischen Bereich weiterentwickeln, und sie machen sich Gedanken darüber, was als nächstes kommt.“

Bostrom betrachtet diese Implikationen als potenziell darwinistisch. Wenn wir eine maschinelle Intelligenz schaffen, die unserer eigenen überlegen ist, und ihr dann die Freiheit geben, durch den Zugang zum Internet zu wachsen und zu lernen, gibt es keinen Grund anzunehmen, dass sie nicht Strategien entwickeln wird, um ihre Dominanz zu sichern, genau wie in der biologischen Welt. Manchmal verwendet er das Beispiel von Menschen und Gorillas, um die daraus resultierende einseitige Beziehung zu beschreiben, und – wie die Ereignisse im letzten Monat im Zoo von Cincinnati gezeigt haben – wird diese nie gut enden. Eine minderwertige Intelligenz wird für ihr Überleben immer auf eine überlegene Intelligenz angewiesen sein.

Während Bostrom in „Superintelligence“ verschiedene Szenarien entfaltet, gibt es Zeiten, in denen es so aussieht, als hätte er zu viel von der Science-Fiction gelesen, die er angeblich nicht mag. Eine Prognose geht davon aus, dass ein KI-System schließlich verdeckt „Nanofabriken baut, die Nervengas produzieren oder zielsuchende, mückenähnliche Roboter [die] dann gleichzeitig auf jedem Quadratmeter des Globus aufkeimen könnten“, um die einmischende und irrelevante Menschheit zu vernichten. Eine andere, vielleicht glaubwürdigere Vision sieht die Superintelligenz darin, „politische Prozesse zu kapern, die Finanzmärkte subtil zu manipulieren, den Informationsfluss zu beeinflussen oder von Menschen geschaffene Waffensysteme zu hacken“, um die Ausrottung herbeizuführen.

Hält er sich selbst für einen Propheten?

Er lächelt. „Nicht so sehr. Es ist nicht so, dass ich glaube zu wissen, wie es passieren wird, und der Welt diese Informationen mitteilen zu müssen. Es ist eher so, dass ich mich über diese Dinge ziemlich unwissend und sehr verwirrt fühle, sondern dass ich viele Jahre lang an Wahrscheinlichkeiten gearbeitet habe Hier und da kann man teilweise kleine Einblicke gewinnen. Und wenn man diese mit den Erkenntnissen, die viele andere Leute vielleicht haben, zusammenzählt, dann führt das vielleicht zu einem besseren Verständnis.“

Zu diesen Fragen gelangte Bostrom über die transhumanistische Bewegung, die das digitale Zeitalter tendenziell als ein Zeitalter mit beispiellosem Potenzial zur Optimierung unserer körperlichen und geistigen Fähigkeiten und zur Überwindung der Grenzen unserer Sterblichkeit betrachtet. Bostrom sieht diese Möglichkeiten immer noch als das Best-Case-Szenario der superintelligenten Zukunft, in der wir Technologie nutzen werden, um Krankheiten und Leiden zu überwinden, die Welt zu ernähren, eine Utopie erfüllender Kreativität zu schaffen und vielleicht schließlich den Tod zu überwinden. Er wurde in der Vergangenheit als Mitglied von Alcor identifiziert, der kryogenen Initiative, die verspricht, sterbliche Überreste einzufrieren, in der Hoffnung, dass der Geist eines Tages neu belebt und in digitaler Form hochgeladen werden kann, um für immer zu leben. Als ich ihn direkt frage, was er vorhat, ist er zurückhaltend.

„Ich habe die Regel, mich nie zu meinen Bestattungsarrangements zu äußern“, sagt er.

Aber er glaubt, dass die kryogene Forschung einen Wert hat?

„Es scheint eine ziemlich rationale Sache für die Leute zu sein, wenn sie es sich leisten können“, sagt er. „Wenn man darüber nachdenkt, wie das Leben in der nahen Zukunft aussehen könnte, scheint der Versuch, die Informationen in seinem Gehirn zu speichern, eine konservative Option zu sein, anstatt das Gehirn niederzubrennen und wegzuwerfen. Es sei denn, man ist wirklich zuversichtlich, dass die Informationen funktionieren.“ niemals nützlich sein…“

Ich frage mich, an welchem ​​Punkt sein transhumanistischer Optimismus seinen alptraumhafteren Visionen von Superintelligenz wich. Er deutet an, dass er seine Position nicht wirklich geändert hat, sondern dass er die beiden Möglichkeiten – den Himmel und die Hölle unserer digitalen Zukunft – in einem beunruhigenden Gegensatz hält.

„Ich habe Mitte der 90er Jahre viel über die Ethik der menschlichen Verbesserung geschrieben, als sie von Wissenschaftlern weitgehend abgelehnt wurde“, sagt er. „Sie fragten sich immer: ‚Warum um alles in der Welt sollte irgendjemand das Altern heilen wollen?‘ Sie sprachen über Überbevölkerung und die Langeweile, länger zu leben. Es wurde nicht erkannt, dass dies der Grund ist, warum wir medizinische Forschung betreiben: um das Leben zu verlängern. Ähnlich verhält es sich mit der kognitiven Verbesserung – wenn man sich anschaut, was ich damals geschrieben habe, sieht es eher danach aus Optimistische Seite – aber die ganze Zeit über beschäftigte ich mich auch mit existenziellen Risiken.“

Es scheint ein anhaltendes Unbehagen darüber zu geben, dass solche Präparate – Pillen, die Sie schlauer machen oder das Altern verlangsamen könnten – der natürlichen Ordnung der Dinge zuwiderlaufen. Hat er ein Gespür dafür?

„Ich bin mir nicht sicher, ob ich „natürlich“ jemals mit „gut“ gleichsetzen würde“, sagt er. „Krebs ist natürlich, Krieg ist natürlich, Parasiten, die Ihr Inneres fressen, sind natürlich. Was natürlich ist, ist daher nie ein sehr nützliches Konzept, um herauszufinden, was wir tun sollten. Ja, es gibt ethische Überlegungen, aber Sie müssen sie anhand eines Einzelfalls beurteilen- Sie müssen bedenken, dass ich Transhumanist bin. Ich möchte jetzt meine lebensverlängernde Pille. Und wenn es eine Pille gäbe, die meine Kognition um 10 % verbessern könnte, wäre ich bereit, dafür viel zu bezahlen.“

Hat er diejenigen ausprobiert, die angeblich die Konzentration steigern?

„Das habe ich, aber nicht sehr viel. Ich trinke Kaffee, ich habe Nikotinkaugummis, aber das ist auch schon alles. Aber der einzige Grund, warum ich nicht mehr mache, ist, dass ich noch nicht davon überzeugt bin, dass etwas anderes funktioniert.“

Er hat keine Angst davor, es zu versuchen. Bei der Arbeit sitzt er gewöhnlich in der Ecke seines Büros, umgeben von einem Dutzend Lampen, offenbar begeistert von der Idee der Beleuchtung.

Bostrom wuchs als Einzelkind in der schwedischen Küstenstadt Helsingborg auf. Wie viele hochbegabte Kinder verabscheute er die Schule. Sein Vater arbeitete für eine Investmentbank, seine Mutter für einen schwedischen Konzern. Er kann sich an keine Diskussion über Philosophie – oder Kunst oder Bücher – am Esstisch erinnern. Ich frage mich, wie er von diesen großen Fragen besessen war, und frage, ob er ein ängstliches Kind war: Hatte er schon immer ein starkes Gefühl für die Sterblichkeit?

„Ich glaube, ich hatte es schon ziemlich früh“, sagt er. „Nicht, weil ich am Rande des Todes stand oder so. Aber als Kind habe ich oft gedacht, dass meine Eltern jetzt zwar gesund sind, aber nicht immer stärker oder größer sein werden als ich.“

Dieser Gedanke hielt ihn nachts wach?

„Ich habe es nicht als Angst in Erinnerung, eher als melancholisches Gefühl.“

Und war dort auch der anhaltende Wunsch, für immer zu leben, verwurzelt?

„Nicht unbedingt. Ich glaube nicht, dass ich in dieser Hinsicht einen besonders anderen Wunsch habe als jeder andere. Ich möchte nicht an Darmkrebs erkranken – wer schon? Wenn ich 500 Jahre am Leben wäre, wer weiß.“ Wie würde ich mich fühlen? Es ist nicht so sehr auf Unsterblichkeit fixiert, nur dass ein vorzeitiger Tod auf den ersten Blick schlecht erscheint.

Ein großer Teil seines Buches stellt die Frage, wie wir Superintelligenz – ob sie nun in 50 oder 500 Jahren auf den Markt kommt – „schön“ und im Einklang mit unserer Menschlichkeit machen können. Bostrom sieht darin eher eine technische als eine politische oder philosophische Herausforderung. Es scheint mir jedoch, dass ein großer Teil unseres eigenen ethischen Rahmens, unseres Gefühls für das Gute, auf der Erfahrung und dem Verständnis des Leidens und unseres Körpers basiert. Wie könnte eine nichtzelluläre Intelligenz das jemals „begreifen“?

„Es gibt viele Dinge, die Maschinen derzeit nicht verstehen können, weil sie nicht so schlau sind“, sagt er, „aber sobald sie es werden, glaube ich nicht, dass es besondere Schwierigkeiten geben würde, menschliches Leid und Sterben zu verstehen.“ " Dieses Verständnis könnte eine Möglichkeit sein, ihnen beizubringen, menschliche Werte zu respektieren, sagt er. „Aber es kommt darauf an, was Ihre ethische Theorie ist. Es könnte eher darum gehen, die Autonomie anderer zu respektieren oder danach zu streben, gemeinsam schöne Dinge zu erreichen.“ Irgendwie, und er hat keine Ahnung wie, glaubt er, dass diese Dinge von Anfang an fest verdrahtet sein müssen, um eine Katastrophe zu vermeiden. Es nützt nichts, zuerst die Eule zu holen und sich dann zu fragen, wie man sie trainiert. Und da künstliche Systeme der besten menschlichen Intelligenz in vielen einzelnen Bereichen bereits überlegen sind, ist eine Diskussion darüber, wie dies erreicht werden könnte, bereits überfällig.

Das Gefühl der intellektuellen Dringlichkeit dieser Fragen rührt zum Teil von dem her, was Bostrom als „Epiphanie-Erlebnis“ bezeichnet, das er als Teenager erlebte. Er fand sich 1989 in einer Bibliothek wieder und griff zufällig nach einer Anthologie der deutschen Philosophie des 19. Jahrhunderts, die Werke von Nietzsche und Schopenhauer enthielt. Fasziniert las er das Buch in einem nahegelegenen Wald auf einer Lichtung, die er oft aufsuchte, um allein zu sein und Gedichte zu schreiben. Fast sofort verspürte er ein dramatisches Gefühl für die Möglichkeiten des Lernens. War es wie ein Bekehrungserlebnis?

„Eher ein Erwachen“, sagt er. „Es fühlte sich an, als wäre ich bis zu diesem Zeitpunkt durch mein Leben geschlafwandelt und nun wurde mir eine größere Welt bewusst, die ich mir nicht vorgestellt hatte.“

Bostrom folgte zunächst den Hinweisen und Notizen im Philosophiebuch und machte sich daran, sich im Schnellvorlauf weiterzubilden. Er las fieberhaft, malte und schrieb in seiner Freizeit Gedichte und erlangte schließlich einen Abschluss in Philosophie und mathematischer Logik an der Universität Göteborg, bevor er an der London School of Economics promovierte und in Yale lehrte.

Malte und schrieb er weiterhin?

„Irgendwann schien es mir, dass mathematische Beschäftigung wichtiger sei“, sagt er. „Ich hatte das Gefühl, dass die Welt bereits viele Gemälde enthielt, und ich war nicht davon überzeugt, dass es noch ein paar mehr brauchte. Dasselbe könnte man auch von der Poesie sagen. Aber vielleicht brauchte es noch ein paar weitere Ideen, wie man mit der Zukunft zurechtkommt.“

Einer der Bereiche, in denen KI Fortschritte macht, ist ihre Fähigkeit, Musik zu komponieren, Kunst zu schaffen und sogar zu schreiben. Glaubt er, dass auch diese Sphäre bald von einer Superintelligenz kolonisiert wird, oder wird es eine letzte Schanze des Menschen sein?

„Ich glaube nicht, dass die künstlichen Komponisten derzeit mit den großen Komponisten konkurrieren können. Vielleicht für kurze Zeit, aber nicht für eine ganze Symphonie. Und bei Kunst hat die Aktivität selbst einen Wert, auch wenn sie reproduziert werden kann. Das würden Sie trotzdem tun Malen um des Malens willen.

Authentizität, das vom Menschen Gemachte, wird immer wichtiger?

„Ja und nicht nur mit der Kunst. Wenn Maschinen alles besser können als wir, würden wir weiterhin Dinge tun, weil es uns Spaß macht. Wenn Leute Golf spielen, dann nicht, weil sie den Ball in aufeinanderfolgenden Löchern brauchen effizient, weil es ihnen Spaß macht. Je mehr Maschinen alles können, was wir können, desto mehr Aufmerksamkeit werden wir diesen Dingen schenken, die wir um ihrer selbst willen wertschätzen.“

Zu Beginn seiner intellektuellen Reise war Bostrom einige Male als philosophischer Standup-Comedian tätig, um seine Kommunikationsfähigkeiten zu verbessern. Wenn man mit ihm spricht und seine Arbeit liest, fehlt in seinen Argumenten nie ganz der Anflug von Absurdität angesichts des schieren Ausmaßes der Probleme. Die Achsen der abschreckend wirkenden Grafiken in seinen Arbeiten werden bei näherer Betrachtung in den Begriffen „erträglich“, „erdrückend“ und „höllisch“ kalibriert. In seiner Einführung in die Superintelligenz führt die Bemerkung „Viele der in diesem Buch gemachten Punkte sind wahrscheinlich falsch“ typischerweise zu einer Fußnote mit der Aufschrift: „Ich weiß nicht, welche.“ Hat er manchmal das Gefühl, sich in Douglas Adams zu verwandeln?

„Manchmal wirkt die Arbeit tatsächlich seltsam“, sagt er. „Von einem anderen Punkt aus erscheint es seltsam, dass der größte Teil der Welt überhaupt keine Ahnung von den wichtigsten Dingen hat, die im 21. Jahrhundert passieren werden. Selbst Menschen, die über die globale Erwärmung sprechen, erwähnen nie eine Bedrohung durch KI.“

Weil es ihre Botschaft verwässern würde?

„Vielleicht. Zu jedem Zeitpunkt in der Geschichte kann es meiner Meinung nach nur ein einziges offizielles globales Anliegen geben. Jetzt ist es der Klimawandel oder manchmal der Terrorismus. Als ich aufwuchs, war es das nukleare Armageddon. Dann war es die Überbevölkerung. Manche sind vernünftiger als.“ andere, aber es ist wirklich ziemlich zufällig.

Bostroms Leidenschaft ist es, zu versuchen, etwas Mathematik auf diese Zufälligkeit anzuwenden. Glaubt er, dass die Sorge um KI in naher Zukunft die globale Erwärmung als unmittelbarere Bedrohung ablösen wird?

„Das bezweifle ich“, sagt er. „Es wird schrittweise und nahtlos kommen, ohne dass wir uns wirklich darum kümmern.“

Wenn wir irgendwo nach seinem Auftauchen suchen, wäre Google, das einen Großteil seiner beispiellosen Ressourcen in die Deep-Learning-Technologie investiert (nicht zuletzt mit dem Kauf des britischen Pioniers DeepMind im Jahr 2014), ein vernünftiger Ausgangspunkt. Google hat offenbar einen KI-Ethikausschuss, der sich mit diesen Fragen befasst, aber niemand weiß, wer darin sitzt. Hat Bostrom Vertrauen in sein Mantra „Sei nicht böse“?

„Es gibt sicherlich eine Kultur unter Technikleuten, die das Gefühl haben wollen, dass sie etwas tun, das nicht nur dem Geldverdienen dient, sondern auch einen positiven sozialen Zweck hat. Es gibt diesen Idealismus.“

Kann er die Richtung dieses Idealismus mitgestalten?

„Es kommt nicht so sehr darauf an, dass der eigene Einfluss wichtig ist“, sagt er. „Jeder, der dazu beiträgt, diese Argumente hervorzuheben, wird wertvoll sein. Wenn sich die menschliche Verfassung in unserem Jahrhundert tatsächlich grundlegend ändern würde, befinden wir uns an einem entscheidenden Wendepunkt in der Geschichte.“ Und wenn Bostroms eher nihilistische Vorhersagen zutreffen, bleibt uns nur ein Versuch, die Natur der neuen Intelligenz richtig zu verstehen.

Letztes Jahr wurde Bostrom Vater. (Normalerweise wird seine Ehe größtenteils über Skype geschlossen – seine Frau, eine Ärztin, lebt in Vancouver.) Bevor ich gehe, frage ich mich, ob die Vaterschaft sein Verständnis für die Realität dieser Zukunftsthemen verändert hat?

„Nur in dem Sinne, dass es diese doppelte Perspektive, das positive und das negative Szenario, betont. Diese Art der Intellektualisierung, dass unsere Welt auf diese Weise völlig verändert werden könnte, scheint auf persönlicher Ebene immer viel schwieriger zu glauben. Ich denke, ich lasse zu Ich gebe beiden Perspektiven so viel Raum wie möglich in meinem Kopf.

Während er diese Gedankenexperimente durchführt, ist meiner Meinung nach die halbe Welt nach wie vor besorgt darüber, woher ihre nächste Mahlzeit kommt. Ist die Bedrohung durch Superintelligenz eine elitäre Angst? Denken die meisten von uns nicht an die langfristige Zukunft, weil es in der Gegenwart mehr als genug Grund zur Sorge gibt?

„Wenn es so weit kommen würde, dass die Welt Hunderte Milliarden Dollar für dieses Zeug ausgibt und nichts mehr für alltäglichere Dinge, dann könnte man anfangen, das in Frage zu stellen“, sagt er. „Wenn man sich all die Dinge anschaut, für die die Welt Geld ausgibt, ist das, was wir tun, weniger als ein Hungerlohn. Man fährt in eine beliebige Stadt und fährt vom Flughafen zu seinem Hotel. Entlang der Autobahn sieht man all diese riesigen Gebäude.“ für Unternehmen, von denen Sie noch nie gehört haben. Vielleicht entwerfen sie eine neue Werbekampagne für eine Rasierklinge. Sie fahren an Hunderten dieser Gebäude vorbei. Jedes davon hat mehr Ressourcen als die Summe, die die Menschheit für diesen Bereich ausgibt. Wir haben die Hälfte eine Etage eines Gebäudes in Oxford, und es gibt zwei oder drei andere Gruppen, die das machen, was wir machen. Ich denke also, dass es in Ordnung ist.“

Und wie, frage ich, könnten wir als Einzelpersonen und Bürger über diese Risiken für die Existenz unserer Spezies nachdenken und sie einordnen? Bostrom zuckt ein wenig mit den Schultern. „Wenn wir an diesen sehr langen Zeitrahmen denken, wird klar, dass sehr kleine Dinge, die wir jetzt tun, in dieser Zukunft einen großen Unterschied machen können.“

Ein neuerer Aufsatz von Bostrom, den ich später zu Hause las, enthält eine kleine Faustregel, die es wert ist, beachtet zu werden. Bostrom nennt es „Maxipok“. Es basiert auf der Idee, dass „das Ziel, existenzielle Risiken zu reduzieren, im Vordergrund stehen sollte, wenn wir aus einer unpersönlichen Sorge um die Menschheit als Ganzes handeln.“ Was beinhaltet Maxipok? Der Versuch, „die Wahrscheinlichkeit eines ‚OK-Ergebnisses‘ zu maximieren, wobei ein OK-Ergebnis jedes Ergebnis ist, das eine existenzielle Katastrophe vermeidet.“

Es klingt auf jeden Fall einen Versuch wert.

„Superintelligence: Paths, Dangers, Strategies“ erscheint bei Oxford University Press für 9,99 £. Klicken Sie hier, um es für 7,99 £ zu kaufen

Dieser Artikel wurde am 13. Juni 2016 geändert. In einer früheren Version hieß es, dass ein von bedeutenden Wissenschaftlern unterzeichneter offener Brief ein direktes Ergebnis von Bostroms Buch und kein Zufall sei.