Sepp Hochreiter

Josef „Sepp” Hochreiter ist ein deutscher Informatiker und leitet das Institut für Machine Learning an der Johannes Kepler Universität Linz. Er beschrieb 1991 das Problem der verschwindenden Gradienten in rekurrenten Netzen und entwickelte gemeinsam mit Jürgen Schmidhuber das Long Short-Term Memory (LSTM), das die Sprachverarbeitung zwei Jahrzehnte lang prägte.

Zusammenfassung

Hochreiters Diplomarbeit von 1991 an der Technischen Universität München ist eine der folgenreichsten unveröffentlichten Arbeiten des Fachs. Sie erklärte, warum rekurrente Netze lange Abhängigkeiten nicht lernen können: Das Fehlersignal schrumpft beim Rückwärtslauf durch die Zeit exponentiell.

Die Antwort erschien 1997 gemeinsam mit Schmidhuber. Das LSTM führt eine Zelle ein, deren Inhalt unverändert weitergereicht wird, sofern nicht ein gelerntes Tor das Ändern erlaubt – der Fehler wird dadurch über viele Zeitschritte hinweg getragen.

Die Architektur beherrschte Spracherkennung, maschinelle Übersetzung und Textverarbeitung, bis der Transformer sie ab 2017 verdrängte.

Seit 2024 verfolgt Hochreiter mit xLSTM eine erweiterte Fassung, die den Ansatz auf heutige Größenordnungen bringen soll – zugleich ein Beitrag zur Frage, ob europäische Forschung eine eigene Position in einem von US-Unternehmen bestimmten Feld halten kann.

Werdegang

Hochreiter studierte Informatik an der Technischen Universität München und schrieb dort 1991 seine Diplomarbeit bei Jürgen Schmidhuber. Sie trug den Titel Untersuchungen zu dynamischen neuronalen Netzen und analysierte, warum das Training rekurrenter Netze über lange Zeiträume scheitert.

Die Arbeit blieb unveröffentlicht und ist dennoch vielzitiert – sie enthält die erste vollständige Analyse eines Problems, das das Feld über ein Jahrzehnt beschäftigte.

Der LSTM-Aufsatz erschien 1997 in Neural Computation. Er wurde zunächst wenig beachtet; die breite Anwendung setzte erst nach 2010 ein, als Rechenleistung und Datenmengen die Architektur praktisch nutzbar machten.

Nach Stationen in Berlin und München wechselte Hochreiter an die Johannes Kepler Universität Linz, wo er das Institut für Machine Learning leitet. Neben der Grundlagenforschung arbeitet er zur Anwendung maschinellen Lernens in der Wirkstoffforschung.

2024 stellte seine Arbeitsgruppe xLSTM vor und gründete mit weiteren Beteiligten ein Unternehmen, das den Ansatz industriell weiterentwickeln soll.

Methodische Grundlagen

Das Problem der verschwindenden Gradienten. Beim Training über viele Zeitschritte wird das Fehlersignal wiederholt mit denselben Faktoren multipliziert. Sind diese kleiner als eins, verschwindet es; sind sie größer, explodiert es. Beides verhindert das Lernen langer Abhängigkeiten.

Der konstante Fehlerfluss. Die Antwort des LSTM: eine Zelle, deren Zustand unverändert weitergegeben wird. Der Multiplikationsfaktor ist damit genau eins, und das Fehlersignal bleibt über beliebig viele Schritte erhalten.

Die Tore. Gelernte Einheiten steuern, was in die Zelle geschrieben, was aus ihr gelesen und was vergessen wird. Das Vergessenstor kam 1999 hinzu und erwies sich als wesentlich.

Der Preis. Die Verarbeitung bleibt schrittweise. Ein LSTM kann eine Folge nicht parallel behandeln, was das Training auf großen Beständen begrenzt – genau die Schwäche, an der es später scheiterte.

Die Erweiterung. xLSTM ergänzt die Architektur um eine veränderte Torsteuerung und eine Fassung mit matrixförmigem Speicher, die eine parallele Verarbeitung erlaubt.

Anwendungsfelder

Spracherkennung. Von etwa 2013 bis 2018 arbeiteten die Spracherkennungssysteme der großen Anbieter überwiegend mit LSTM-Netzen.

Maschinelle Übersetzung. Die neuronale Übersetzung entstand auf dieser Grundlage, bevor der Transformer sie ablöste.

Zeitreihen. In Bereichen mit begrenzten Datenmengen – Industriemesswerte, Finanzzeitreihen, medizinische Verläufe – ist die Architektur weiterhin in Gebrauch.

Wirkstoffforschung. Hochreiters Linzer Arbeitsgruppe wendet maschinelles Lernen auf die Vorhersage molekularer Eigenschaften an, ein Feld mit strukturell ähnlichen Datenproblemen.

Kontroversen und Kritik

Zurechnung der Erstheit. Die Frage, wem die Analyse des Gradientenproblems und die LSTM-Idee zuzurechnen sind, wird zwischen Hochreiter und Schmidhuber unterschiedlich dargestellt. Schmidhuber hat wiederholt auf die eigene Rolle und auf übergangene Vorarbeiten hingewiesen.

Übergehung bei Auszeichnungen. Der Turing Award 2018 ging an drei andere Forscher. Dass die Beiträge aus dem deutschsprachigen Raum dabei unberücksichtigt blieben, ist wiederholt kritisiert worden – von Beteiligten und von Beobachtern.

Aussicht von xLSTM. Die Erweiterung erreicht in Vergleichen der Arbeitsgruppe konkurrenzfähige Werte. Ob sich daraus eine Ablösung des Transformers ergibt, ist offen; unabhängige Bestätigungen in großem Maßstab stehen aus.

Die europäische Erzählung. Hochreiter tritt als Vertreter einer eigenständigen europäischen Position auf. Kritiker halten die Rahmung für standortpolitisch aufgeladen und verweisen auf den Größenunterschied bei Rechenausstattung und Kapital.

Was die unveröffentlichte Arbeit lehrt

Die Diplomarbeit von 1991 ist ein Sonderfall der Fachgeschichte, an dem sich etwas über das Verhältnis von Diagnose und Lösung ablesen lässt.

Sie enthält keine neue Architektur und kein besseres Ergebnis. Sie enthält eine Erklärung dafür, warum ein Ansatz nicht funktioniert – und zwar eine, die zeigt, dass das Scheitern kein Umsetzungsfehler ist, sondern aus der Rechnung folgt.

Solche Arbeiten sind schwer zu veröffentlichen. Sie melden keinen Fortschritt, sondern eine Grenze, und sie sind für die Fachgemeinschaft in dem Moment am unbequemsten, in dem sie am nützlichsten wären.

Ihr Ertrag zeigte sich sechs Jahre später. Das LSTM ist keine Erfindung, die zufällig funktionierte, sondern die unmittelbare Antwort auf eine präzise gestellte Diagnose: Wenn das Fehlersignal an der wiederholten Multiplikation stirbt, muss der Faktor eins werden.

Dass die Diagnose unveröffentlicht blieb und die Lösung berühmt wurde, ist die übliche Verteilung der Aufmerksamkeit. Sie sagt nichts darüber, wo die schwierigere Arbeit lag.

Verwandte Begriffe

• LSTM – von ihm mitentwickelte Architektur
• Transformer – Architektur, die das LSTM ablöste
• Rekurrente neuronale Netze – Familie, deren Grenzen er beschrieb
• Turing Award – Auszeichnung, bei der seine Beiträge übergangen wurden
• Deep Learning – Feld seiner Arbeit
• Long Context – heutige Form derselben Grundfrage
• Gradientenabstieg – Verfahren, dessen Grenze er analysierte

Quellenangaben

1. Beck, Maximilian / Pöppel, Korbinian / Spanring, Markus / Auer, Andreas / Prudnikova, Oleksandra / Kopp, Michael / Klambauer, Günter / Brandstetter, Johannes / Hochreiter, Sepp, 2024. xLSTM: Extended Long Short-Term Memory. NeurIPS 2024. arXiv: 2405.04517.
2. Gers, Felix A. / Schmidhuber, Jürgen / Cummins, Fred, 2000. Learning to Forget: Continual Prediction with LSTM. In: Neural Computation 12 (10), S. 2451–2471. DOI: 10.1162/089976600300015015.
3. Hochreiter, Sepp, 1991. Untersuchungen zu dynamischen neuronalen Netzen. Diplomarbeit, Institut für Informatik, Technische Universität München.
4. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.