Hey Siri, spiele ein Ständchen für den Algorithmus und seine Väter

Beitrag der Woche

25 Jahre LSMT – ein Algorithmus feiert Geburtstag

„Hey Siri, wer feiert dieses Jahr Geburtstag?“ Das System könnte nicht antworten, wenn Prof. Dr. Jürgen Schmidhuber und Prof. Dr. Sepp Hochreiter nicht vor 25 Jahren zum ersten Mal ihre Arbeit zum LSTM (kurz für „Long Short-Term Memory“)-Algorithmus veröffentlich hätten. Der Algorithmus, der vieles in unserem Alltag, in der Consumer-Elektronik-Welt und in der Industrie verändert hat, feiert dieses Jahr sein silbernes Jubiläum. Heute noch ist der wissenschaftliche Beitrag aus dem Dezember 1997 einer der meistzitierten Artikel im Bereich Computer Science. „Über 10.000 Zitationen sind es mittlerweile pro Jahr“, schwärmt Schmidhuber im Podcast Interview KI in der Industrie. Schmidhuber lehrt mittlerweile in Saudi-Arabien, Hochreiter in Linz. Für den Geburtstag ihres Algorithmus kamen sie noch einmal zusammen vor das Mikrofon.

Gemeinsam blickten die beiden KI-Vordenker auf 25 Jahre LSTM zurück. Schon in den 1980er Jahren beschäftigten sich beide mit dem Thema. Hochreiter war damals Student an der Technischen Universität in München. Das Informatikstudium langweilte ihn. Er lernte den Hochschullehrer Schmidhuber kennen und schnell besserte sich seine Laune. Von „neuen Welten“, spricht Hochreiter heute, wenn er an die ersten Forschungsfragen zu neuronalen Netzen zurückdenkt. Hochreiter bekommt eine Praktikanten-Stelle. Schmidhuber lobt heute die Brillanz des jungen Bayern.

Durchbruch mit der Diplomarbeit

Die ersten neuronalen Netze stammen aus den 1960er Jahren. Es stellte sich heraus, dass die nicht so richtig gut funktionieren, wenn sie tiefe Probleme lösen sollen. Tief bedeutet in diesem Fall, dass das System sich etwas anhört oder etwas liest. Das Problem: Die Systeme konnten sich nicht „merken“, was vor langer Zeit vorgelesen wurde und damit später auch nicht mehr einordnen. Es braucht das Wissen aus der Vergangenheit, um in der Zukunft richtig zu handeln. Schmidhuber forschte mit einem Team junger Wissenschaftler an dem Thema. Der Durchbruch kam dann aber erst mit Hochreiters Diplomarbeit Anfang der 1990er Jahre.

Keiner dachte an Siri

Der heutige Professor aus Linz entdeckt in seiner Arbeit das Vanishing-Gradient-Problem. Das Problem des verschwindenden Gradienten ist eine der Hauptursachen, warum es anfänglich unmöglich war, tiefe Netze zu trainieren. Damals dachte Hochreiter noch nicht an Sprachsteuerungen oder Übersetzungen, die heute ohne LSTM nicht funktionieren würden. Es waren wissenschaftliche Spielerein. Es fehlte an Rechenleistung und an Daten. Schmidhuber ahnte damals schon, welche Kraft so ein überwachtes Lernverfahren wie LSTM haben könnte. „Zumindest war es damals klar, dass man alle fünf Jahre ungefähr zehnmal mehr machen kann damit.“

Doch auf die Ergebnisse der beiden Deutschen wartete niemand. Das Paper wurde zunächst abgelehnt. „Ich kann mir auch nicht erklären, warum so viele wichtige Wissenschaftler Schnarchzapfen waren“, erklärt Schmidhuber rückblickend.

Google gehörte zu den Ersten

2009 gewannen Schmidhuber und ein Team von jungen Wissenschaftlern (dazu gehörte auch der Schotte Alex Graves, der heute für DeepMind arbeitet) die ersten Wettbewerbe mit dem LSTM-Algorithmus. Sie entwickelten ihn immer weiter. Und dann wurden auch die großen Tech-Unternehmen von der US-Westküste auf die Erfindung aufmerksam. 2015 kam der kommerzielle Durchbruch. Google gehörte zu den ersten Anwendern. Silicon-Valley-Größen riefen in Europa an, um von den Vätern des LSTM-Algorithmus mehr zu erfahren. Facebook erkannte die Chance, mit LSTM Übersetzungen einfach zu ermöglichen. Doch auch die Medizintechnik und die Pharmaforschung nutzt die Technik heute. Es geht um Proteinmodellierung, Covid19-Vorhersagen oder die Blutglukosevorhersage. Und auch die Industrie nutzt den Algorithmus beispielsweise für die OEE-Optimierung in der Fertigung. Hochreiter formuliert in einem Gastbeitrag der Hannover Messe seine Vision: Die sprechende Drehmaschine muss unser Ziel sein, nicht ein neues Smartphone. Der Anwender spricht mit der Maschine: „Pass auf die Geschwindigkeit auf.“ „Kein Problem“, antwortet die Maschine, „ich habe neues Spezialöl bekommen, damit kann ich schneller fahren.“ Doch wir müssen jetzt handeln, denn in den USA erklären mir die Firmen aus dem Silicon Valley: „Das bisschen Engineering kriegen wir hin oder kaufen wir uns dazu.“ Der Maschinenbau ist heute blind, hält nicht wie Facebook oder Apple andauernden Kontakt zum Kunden, analysiert seine Daten nicht – auch weil die Kunden das nicht immer wollen. KI wird in der Medizintechnik revolutionäre Erfolge verzeichnen, jedoch muss man aufpassen, da Patienteninformationen oder sogar genetische Daten um ein Vielfaches heikler als Produktionsdaten sind. Maschinenbauer und Anwender müssen aufwachen, dürfen sich nicht mehr zurücklehnen. Er endet mit: Vermasselt es nicht!

Und „sein“ LSTM-Algorithmus kann noch mehr: Auch in den modernen Reinforcement-Learning-Ansätzen von Open AI sind LSTM-Systeme drin. Die Herausforderung von morgen: Die Vergangenheit für das System komprimieren. Hochreiter und Schmidhuber forschen daran weiter mit.

Der Autor

Robert Weber ist Tech-Podcaster und spricht mit seinen Gästen über KI in der Industrie, Robotik in der Industrie und Open Source in der Industrie. Bei der Namenswahl seiner Podcasts war nicht sehr kreativ. Als Gastautor schreibt er für den Tagesspiegel Backround Digitalisierung und KI, das Industriemagazin und die Hannover Messe.

Studie

Die KI-Studie: eine Bestandsaufnahme zwischen Möglichkeiten, Maßnahmen und Misstrauen

Über 320 Unternehmensentscheider und 1.000 Endkunden gaben uns einen Einblick in ihre Vorstellungen, Vorurteile und Vorhaben rund um KI. Der KI-Report „Eine Bestandsaufnahme“ fasst die zentralen Ergebnisse zusammen.

Mehr erfahren

Kontakt

Sie haben Fragen zum Thema Künstliche Intelligenz?

Sie überlegen, welche Möglichkeiten KI Ihrem Unternehmen eröffnen kann? Sie wollen mehr über Anwendungsfälle und Technik erfahren? Wir haben keine Standardantworten im Gepäck – aber wir bringen unser Fachwissen, unsere Neugier auf Ihr Geschäft und unsere Leidenschaft für Technologie mit. Wir freuen uns darauf, mit Ihnen ins Gespräch zu kommen.

Kontakt
Bild