Future of Humanity Institute (FHI)

Das Future of Humanity Institute war ein von 2005 bis 2024 bestehendes interdisziplinäres Forschungsinstitut an der University of Oxford, geleitet von Nick Bostrom. Es prägte die akademische Beschäftigung mit existenziellen Risiken, mit der Zukunft künstlicher Intelligenz und mit langfristigen Fragen der Menschheitsentwicklung wie keine zweite Einrichtung – und wurde im April 2024 nach jahrelangen Spannungen mit seiner Fakultät geschlossen.

Zusammenfassung

Das Institut entstand aus einer Lücke: Fragen, die weder in ein philosophisches Seminar noch in ein naturwissenschaftliches Labor passten – wie wahrscheinlich ist das Aussterben der Menschheit, welche Technologien könnten es verursachen, was schulden wir künftigen Generationen – hatten keinen institutionellen Ort. Das FHI schuf ihn, mit einer für Oxford ungewöhnlichen Besetzung aus Philosophen, Mathematikern, Informatikern und Ökonomen.

Sein Einfluss übertrifft seine Größe bei weitem. Aus dem Institut stammen der heutige Begriffsapparat der KI-Sicherheitsdebatte, mehrere Organisationen, die inzwischen eigenständig arbeiten, und zwei Bücher, die die Diskussion außerhalb der Fachwelt bestimmten. Ebenso bemerkenswert ist sein Ende: Die Schließung erfolgte nicht wegen fehlender Mittel oder mangelnder Wirkung, sondern weil sich das Verhältnis zur Universität nicht mehr reparieren ließ.

Gründung und Ausrichtung

Gegründet wurde das Institut 2005 innerhalb der Oxford Martin School, einer fakultätsübergreifenden Einrichtung für langfristig angelegte Forschung. Bostrom, damals ein noch wenig bekannter Philosoph mit Arbeiten zu Anthropik und Simulationsargument, wurde Gründungsdirektor und blieb es bis zuletzt.

Die Arbeitsweise war ungewöhnlich. Statt eines abgegrenzten Fachgebiets bearbeitete das Institut eine Frageklasse und holte sich die Methoden, die sie erforderte. Aus dieser Anlage folgte eine Themenbreite, die von formaler Entscheidungstheorie über Biosicherheit bis zu maschineller Ethik reichte, und eine Publikationsweise, die zwischen begutachteten Aufsätzen, Arbeitspapieren und Büchern für ein breiteres Publikum wechselte.

Beiträge

Existenzielles Risiko als Forschungsgegenstand. Bostrom hatte den Begriff bereits 2002 eingeführt; am FHI wurde daraus ein Programm mit eigener Systematik – Unterscheidung nach Ursprung, nach Umfang und nach Wiederherstellbarkeit des Schadens. Diese Einteilung ist bis heute Grundlage der Debatte.

Superintelligenz und Kontrollproblem. Bostroms Buch von 2014 entstand am Institut und überführte die zuvor überwiegend außerakademisch geführte Diskussion in eine geschlossene Argumentation. Die dort entwickelten Denkfiguren – Orthogonalitätsthese, instrumentelle Konvergenz, das Problem der Zielspezifikation – bilden das Vokabular, in dem die heutige AI-Alignment-Forschung ihre Fragen stellt.

Technische Alignment-Vorarbeiten. Am Institut entstanden frühe formale Arbeiten zu Fragen, die später zum Kern des Feldes wurden: unter welchen Bedingungen ein zielgerichtetes System Eingriffe in seine Zielsetzung zulässt, wie sich Belohnungsfunktionen gegen ungewollte Lösungswege absichern lassen, welche Zwischenziele aus beliebigen Endzielen folgen.

Anthropik und Entscheidungstheorie. Ein weniger beachteter, aber eigenständiger Strang betraf das Schließen unter Beobachterselektion – die Frage, wie die eigene Existenz als Beobachter die Bewertung von Hypothesen verzerrt. Bostroms Arbeiten dazu sind unabhängig von der KI-Debatte rezipiert worden.

Longtermismus. Die moralphilosophische These, dass die ferne Zukunft im selben Maße zählt wie die Gegenwart, wurde am FHI und im Umfeld des dort angesiedelten Global Priorities Institute ausgearbeitet. Toby Ords The Precipice (2020) ist ihre bekannteste Darstellung.

Abspaltungen

Ein erheblicher Teil der Wirkung des Instituts liegt in Einrichtungen, die aus ihm hervorgingen oder von ihm angestoßen wurden.

Das Centre for the Study of Existential Risk in Cambridge, das Future of Life Institute und die Governance-of-AI-Forschung, die sich später als eigenständige Organisation verselbständigte, gehen auf Personen und Ideen aus dem FHI-Umfeld zurück. Dieses Muster – Aufbau einer Frage bis zur Institutionalisierbarkeit, dann Ausgründung – war eher Ergebnis der Umstände als erklärte Strategie.

Schließung 2024

Das Verhältnis zwischen Institut und Fakultät für Philosophie verschlechterte sich über Jahre. Ab 2020 durfte das FHI weder neue Stellen besetzen noch Mittel einwerben; Ende 2023 entschied die Fakultät, die Verträge der verbliebenen Mitarbeitenden nicht zu verlängern. Am 16. April 2024 wurde das Institut nach neunzehn Jahren geschlossen.

Die Gründe werden unterschiedlich gewichtet. Genannt werden administrative Reibungen, eine als schwierig beschriebene Zusammenarbeit mit der Fakultätsverwaltung, die unklare Zuordnung eines Instituts, dessen Forschung zunehmend außerhalb der Philosophie lag, sowie die Abwanderung zahlreicher Mitarbeitender zu besser ausgestatteten Einrichtungen.

Mehrere Auswege wurden erwogen und verworfen – eine Trennung von Direktion und Geschäftsführung, die Anbindung an ein College, die vollständige Ausgründung, sogar ein Wechsel zur Physikfakultät.

Hinzu kam ein Reputationsschaden: Anfang 2023 wurde eine 1996 von Bostrom auf einer Mailingliste verfasste Nachricht öffentlich, die eine rassistische Aussage enthielt. Bostrom entschuldigte sich, distanzierte sich vom Inhalt und wies zugleich Vorwürfe zurück, er vertrete entsprechende Ansichten; die Universität leitete eine Prüfung ein. Der Vorgang belastete das Institut in einer Phase, in der es ohnehin unter Druck stand.

Kontroversen und Kritik

Die Verbindung von Forschung und Bewegung. Dem Institut wurde vorgeworfen, akademische Arbeit und eine weltanschaulich geprägte Bewegung nicht hinreichend zu trennen. Personelle und finanzielle Überschneidungen mit dem Effektiven Altruismus waren erheblich, was die Unabhängigkeit der Ergebnisse infrage stellte.

Die Auswahl der Fragen. Aus der sozio-technischen Kritik wird eingewandt, die Konzentration auf ferne, große und spekulative Risiken lenke Aufmerksamkeit und Mittel von gegenwärtigen, ungleich verteilten Schäden ab. Émile P. Torres und Timnit Gebru ordnen das FHI in einen ideologischen Zusammenhang ein, den sie als TESCREAL bezeichnen.

Methodische Einwände. Ein erheblicher Teil der Arbeiten beruht auf Gedankenexperimenten und Wahrscheinlichkeitsschätzungen ohne empirische Grundlage. Verteidigt wird das mit dem Hinweis, dass Ereignisse ohne Präzedenzfall sich nicht anders behandeln lassen; Kritiker halten dem entgegen, dass Zahlen dieser Herkunft eine Präzision vortäuschen, die sie nicht besitzen.

Einordnung

Die Schließung des Instituts fiel in eine Phase, in der sein Gegenstand so viel öffentliche Aufmerksamkeit erhielt wie nie zuvor. Diese Gleichzeitigkeit ist der bemerkenswerteste Zug des Vorgangs: Eine Einrichtung, die eine Frage zwei Jahrzehnte lang gegen akademische Randständigkeit verteidigt hatte, verschwand in dem Moment, in dem Regierungen und Konzerne eigene Institute für dieselbe Frage gründeten.

Die Arbeit wird andernorts fortgesetzt – in staatlichen Sicherheitsinstituten, in den Sicherheitsabteilungen der Frontier-Labore, in verbliebenen akademischen Zentren. Was mit dem FHI endete, war weniger ein Forschungsprogramm als eine bestimmte Form seiner Trägerschaft: klein, breit besetzt, an eine Universität angebunden und keinem Anbieter verpflichtet.

Quellenangaben

Bostrom, Nick (2002): Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. In: Journal of Evolution and Technology 9 (1).
Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
Ord, Toby, 2020. The Precipice: Existential Risk and the Future of Humanity.
University of Oxford, Faculty of Philosophy (2024): Future of Humanity Institute – Closure Statement. April 2024.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.