Smart Until It's Dumb - Emmanuel Maggiori

22.10.2025

Autor: Emmanuel Maggiori, PhD
Titel: Smart Until It's Dumb
Ausgabe: Applied Maths Ltd. 2023, 200 Seiten (eBook)
Sprache: Englisch

Der Hype um künstliche Intelligenz kennt seit dem Release von ChatGPT im Jahr 2022 keine Grenzen: Unternehmen aller Art überbieten sich mit der Einbindung und dem Anpreisen von KI Features bei ihren Produkten. KI-Forschung und KI-Projekte erhalten Gelder in Milliardenhöhe von Politik und Investoren. Kein Tag vergeht, an dem die Medien nicht über einen neuen finanziellen Rekord in der KI Branche oder einen neuen KI-Durchbruch berichten oder über die Folgen der massenhaften Adaption von KI für die Arbeitswelt und Gesellschaft philosophieren. Nichts scheint unmöglich zu sein: KI-Kunst, KI-gestützte Medizin, KI-Fahrzeuge, KI die längst Verstorbene wieder sprechen lässt, KI die selbst programmiert, ja sich selbst weiterentwickelt und es scheint nur noch eine Frage der Zeit (und Rechenleistung) zu sein, bis die KI der menschlichen Intelligenz ebenbürtig, wenn nicht gar überlegen ist.

Dabei gab es schon von Anfang an kritische Stimmen, die begründete Zweifel am Narrativ der hocheffizienten, bereits jetzt menschliche Spezialisten ersetzenden und unaufhaltsam zu Allwissenheit aufsteigenden KI anmeldeten. Eine dieser Stimmen ist Emmanuel Maggiori, PhD , der alles andere als ein technophober “Ewiggestriger”, sondern ein Experte auf dem Feld der künstlichen Intelligenz ist, der weiß, wovon er spricht: Maggiori kann nicht nur einen Doktortitel in Informatik, sowie wissenschaftliche Forschungsarbeit in den Bereichen Deep Learning, Maschinelles Lernen und Künstliche Intelligenz vorweisen, sondern auch langjährige Berufserfahrung in der IT-Branche, sowohl in Start-Ups als auch in großen Unternehmen wie Expedia und Vodafone.

Im vorliegenden Buch, mit dem Untertitel “Warum künstliche Intelligenz immer wieder epische Fehler macht (und warum die KI Blase platzen wird)” (wie alle folgenden Zitate von mir frei aus dem Englischen übersetzt), seziert der Autor einige der gängigen Mythen, die sich um das Thema KI gebildet haben, erklärt, wie die heutige KI funktioniert, was sie leisten kann und was nicht und welche Entwicklungen realistisch zu erwarten sind.

Geschichte, Grundlagen und Funktionsweise der heutigen KI

“Maschinen werden innerhalb von 20 Jahren in der Lage sein, jede menschliche Arbeit auszuführen.” ~ Herbert A. Simon, 1960, S. 14

Die ersten beiden Kapitel geben einen Überblick über die Geschichte der KI-Entwicklung und den heutigen Stand der Technik. Der Leser erfährt, dass seit dem Aufkommen von Computern bereits Hype und himmelhohe Erwartungen beständige Begleiter der KI waren. Immer wieder wechselten Phasen von enormem Interesse und gewaltigen finanziellen Investitionen in KI mit Phasen der Enttäuschung, Ernüchterung und Stillstand ab.

So investierten bereits in den 1960er und 1980er Jahren Regierungen und Privatwirtschaft in den USA, aber auch in Japan, Millionen und Milliarden in die Forschung, angelockt vom Versprechen unmittelbar bevorstehender Durchbrüche wie z.B. autonome Fahrzeuge oder Systeme zur Spracherkennung und automatischen Übersetzung. Als sich jedoch abzeichnete, dass die Technik nicht in der Lage ist, die Hoffnungen zu erfüllen, schwanden Finanzierung und wissenschaftliches Interesse in den sogenannten “KI Wintern” der 1970er und 1990er und 2000er Jahren auf ein Mindestmaß.

Das verstärkte Interesse an KI, das in den 2010er Jahren wieder aufkam, steht im Zusammenhang mit dem Siegeszug einer neuen, äußerst erfolgreichen Methodik, dem Maschinellen Lernen. Maggiori erklärt auf für Laien verständliche Weise die Grundlagen und Funktionsweise dieser Methodik, auf der der Großteil der heutigen KI aufgebaut ist. Auch stellt er ihre Auswirkung auf Arbeitsweise und -alltag der KI-Entwickler/Datenwissenschaftler, sowie weiterführender Konzepte des Maschinellen Lernens wie reinforced learning und supervised learning dar. Gleichermaßen wird die Funktionsweise von Deep Learning, eine spezielle Methode für die komplexesten KI-Anwendungen und Grundlage für ChatGPT, Deep Fakes und Bildgenerierung verständlich aufgeschlüsselt.

In diesem Zusammenhang zeigt der Autor auch, warum einige gängige utopische Vorstellungen und apokalyptische Warnungen gleichermaßen aufgrund der Funktionsweise der heutigen KI absurd und schlicht unmöglich sind. Zum Beispiel die Vision einer ohne jede menschliche Beteiligung komplett autonom lernenden KI oder das Szenario einer KI, die zu der Schlussfolgerung gelangt, dass die Menschheit aus Effiziengründen vernichtet werden sollte.

Allerdings zeigt Maggiori real existierende Gefahren von Maschinellem und Deep Learning auf. Diese sind weniger apokalyptisch und entstehen beispielsweise durch fehlerhafte - oder fragwürdige - Daten als Grundlage der Modelle, unerkannten Bugs, schwer nachvollziehbaren Deep Learning Modellen, sowie der Tatsache, dass existierende Modelle erschreckend leicht zu täuschen und aus der Bahn zu werfen sind. Dies wird im folgenden Kapitel näher beleuchet.

Künstliche Verwirrtheit

“Man könnte sagen, die jetzige KI ist eine Art hochentwickeltes Schummeln.” ~ S. 71

Im dritten Kapitel, von ihm selbst als “das vielleicht wichtigste des Buchs” (S. 10) bezeichnet, listet Maggiori eine ganze Reihe von Fällen auf, in denen KI wenig intelligente, aber sehr verwirrte Ergebnisse produzierte. Außerdem erhält der Leser nicht nur einige unterhaltsame Tipps, wie ChatGPT mit harmlosen Fragen komplett verwirrt werden kann, sondern auch die Erklärung dafür, nämlich dass die heutige KI nichts verstehen kann, kein mentales Model der Welt und von Zusammenhängen der Dinge untereinander hat und haben kann und stattdessen auf statistischen Wahrscheinlichkeitsrechnungen aufgebaut ist.

Maggiori erklärt, was das konkret bedeutet, was KI folglich gut kann, in welchen Bereichen sie stark fehleranfällig ist und welche Ansätze schlicht nicht umsetzbar sind. Er demonstriert wie KI Modelle, da sie kein Verständnis von Mustern haben (können), oftmals gewaltsam Muster herbei interpretieren, wo es gar keine gibt, einfach aufgrund der Art, wie Maschinelles und Deep Learning funktionieren.

Anhand des Beispiels von autonom fahrenden Autos wird klar, was für verheerende Folgen entstehen können, sobald minimale Abweichungen von “erlernten” Situationen auftreten. So reichen etwa ein ungünstig platzierter Verkehrsleitkegel oder ein Sticker auf einem Verkehrsschild, um auch fortgeschrittene Modelle von autonomen Fahrzeugen komplett lahmzulegen.

Übermäßig optimistische Aussagen, wie die von Elon Musk, der 2015 prophezeite, dass vollständig autonome Fahrzeuge innerhalb von drei Jahren Realität werden, werden mit Verweis auf die grundlegenden Beschränkungen der heutigen KI-Technik gekontert. Laut Maggiori sind solche Pläne mit dem jetzigen Stand der KI nicht realisierbar. Außerdem gibt er zu bedenken, dass es keineswegs eine ausgemachte Sache sei, dass konstanter Fortschritt in der KI Forschung zu erwarten ist und bahnbrechende neue Entdeckungen zwangsläufig innerhalb von ein paar Jahren erfolgen müssen.

Der schöne Schein

“Wir können nicht sagen, dass wir das nicht entwickeln können. Vor einem Jahr haben wir gesagt, dass es möglich ist, also können wir jetzt nicht sagen, dass es das nicht ist.” ~ Anonyme Produktmanagerin, S. 106

In den Kapiteln 4 und 5 berichtet der Autor über seine persönlichen Erfahrungen mit KI-Projekten in der Arbeitswelt, respektive in der wissenschaftlichen Forschung. Was die Privatwirtschaft angeht, zeigt Maggiori typische Herangehensweisen auf, die KI-Projekte in Unternehmen zuverlässig zum Desaster werden lassen: zunächst kommt oft die Lösung kommt vor dem Problem. Unternehmen lassen sich von Begeisterung oder der Angst, etwas zu verpassen (“fear of missing out”, FOMO) anstecken und beschließen: “Wir wollen auch irgendwas mit KI machen!” Was genau, oder ob KI für den geplanten Anwendungsfall wirklich die beste Lösung ist und echten Merhwert bringt, ist dabei nachrangig.

Nicht selten bleiben dann auch grundlegende Fehler in den KI-Modellen unentdeckt, alles scheint reibungslos zu funktionieren, tatsächlich sind die Ergebnisse aber durchgehend fehlerhaft und irreführend. Zeichnen sich die ersten minimalen Erfolge ab, werden gerne auch KI-Teams von heute auf morgen aus dem Boden gestampft und Spezialisten angestellt, ohne zu wissen, wen und wie viele man für das KI-Projekt wirklich benötigt.

Der eindrucksvollste - und unterhaltsamste - Teil von Maggioris Erfahrungsberichten sind diejenigen Episoden, die sich auf eine Phase der Verschleierung, Vertuschung und der vorsätzlichen Täuschung innerhalb eines Unternehmens beziehen, nachdem zumindest den Entwicklern klar geworden ist, dass ihre “KI” nicht funktioniert und nie funktionieren kann. Allerdings dürfen die Unternehmensführung und anderen Abteilungen darüber nicht aufgeklärt werden, wenn man den eigenen Arbeitsplatz nicht gefährden will. Kommt letztlich doch die Wahrheit ans Licht, greifen auch die Getäuschten lieber zu Mitteln der Vertuschung und Verschleierung, anstatt sich und ihrem Unternehmen öffentlich die Blöße zu geben, jahrelange Zeit-, Ressouren- und Geldverschwendung nicht bemerkt zu haben.

Ein ähnlich ernüchterndes Bild zeichnet Maggiori von der Welt der wissenschaftlichen Forschung. Aus eigener Erfahrung weiß der Autor zu berichten, dass Ergebnisse von Forschungsprojekten gerne geschönt werden, was innerhalb der wissenschaftlichen Gemeinde nicht nur kein Geheimnis ist, sondern wozu teils offen geraten wird. So werden beispielsweise problematische Ergebnisse ignoriert und nur einzelne Glanzleistungen als Gesamtperformance eines KI-Modells ausgegeben, Modelle entwickelt, die einen Test-Datensatz gemeistert haben, ansonsten aber wertlos sind und Erfolge übertrieben reißerisch ausgemalt, um Aufmerksamkeit und Fördergelder zu erhalten.

Geist in der Maschine?

“Ich erkenne eine Person, wenn ich mit ihr spreche. Es ist egal, ob sie ein Gehirn aus Fleisch in ihrem Kopf haben. Oder ob sie eine Milliarde Zeilen Code haben.” ~ Blake Lemoine, S. 131

Das sechste und letzte Kapitel wendet sich abschließend philosophischen Fragen, wie der nach dem Ursprung von Bewusstsein zu. Maggiori stellt die Computertheorie des Geists (“computational theory of mind”, CTM) vor, laut der das menschliche Gehirn letztlich nur eine Art Computer aus Fleisch ist, das Computerprogramme ausführt. Nach dieser Theorie wäre es somit möglich, diese Programme zu extrahieren und auch auf anderen Medien zu speichern und abzuspielen, so dass zum einen künstliches Bewusstsein aus Computerprogrammen entstehen und zum anderen menschliches Bewustsein in Computern leben und beliebig kopiert und transferiert werden könnte.

Maggiori führt einige dahingehende, von ihm selbst so benannte “Sci-Fi Szenarien” aus, stellt klassische Gedankenexperimente wie das “Chinesische Zimmer” von John Searle vor und erklärt, wieso man, wenn man die CTM akzeptiert, nicht nur die Existenz von freiem Willen ausschließen kann, sondern auch davon ausgehen muss, dass Thermostaten ein Bewusstsein haben und eventuell ein Dasein des stillen Leidens führen. Aber auch gegenteilige Positionen werden erörtert, sowohl unter Einbezug von Erkenntnissen der Quantenphysik, als auch den Tatsachen geschuldet, dass unser Wissen über Physik und das menschliche Gehirn noch immer ausgesprochen lückenhaft und beschränkt ist. So wird eindrucksvoll dargestellt, wieso die Frage nach dem Ursprung von Bewusstsein eines der größten Rätsel überhaupt ist, sowohl aus philosophischer, als auch aus naturwissenschaftlicher Sicht.

Diese teils ausgesprochen faszinierenden, teils komplett absurden Überlegungen, Theorien und Gedankenexperimente sind aber nicht reine Spekulationslust oder müßiges Philosophieren. Der Autor betont, dass sie ebenso konkrete wie schwerwiegende ethische Folgen haben und darüber hinaus die Grenzen und Möglichkeiten der KI-Entwicklung definieren. Wenn Bewusstsein beispielsweise nicht aus Materie erzeugt werden kann, ist die Entwicklung einer KI mit Bewusstsein ebenso unmöglich wie die von KI-Fanatikern herbeigesehnte künstliche allgemeine Intelligenz (“artificial general intelligence”, AGI): eine KI, die dem menschlichen Gehirn ebenbürtig ist, jede intellektuelle Aufgabe verstehen und jeder Arbeit ausführen kann.

Es überrascht nicht, dass Maggiori diese Fragen betreffend keine abschließende Antwort geben kann, sondern der Leser eingeladen wird, sich selbst Gedanken zu machen. Während also nicht abschließend zu sagen ist, ob eine KI mit Bewusstsein und AGI überhaupt möglich sind, wagt Maggiori die Prognose, dass selbst wenn, das aufgrund des mangelnden Verständnisses von vielen zentralen Fragen “nicht in nächster Zeit” (S. 162) zu erwarten ist.

Abschließende Bewertung

Im eingangs erwähnten und noch immer allgegenwärtigen und ungebremsten Hype um KI kann dieses Buch ein dringend notwendiges Korrektiv bieten. Hier erklärt ein Fachmann für Laien verständlich den heutigen Stand der KI-Forschung, wo und wie KI angewendet wird, wie sie funktioniert und auf welche Grundlagen sie das tut, was sie leisten kann und was nicht. Es entsteht ein realistisches Bild, das sowohl beeindruckende Erfolge, als auch bedenkliche Fehlleistungen zeigt. Potentiale und inhärente Beschränkungen der KI werden deutlich und es wird klar, dass nicht alles Gold ist, was glänzt, nicht jedem Hype blindlings und unreflektiert gefolgt werden und nicht jeder großspurigen Ankündigung Glauben geschenkt werden sollte, sei sie aus der Wirtschaft oder aus der Wissenschaft.

Wie in meiner vorherigen Besprechung zu Maggioris Buch Siliconned schon erwähnt, ist sein Schreibstil aber nie trocken, langweilig oder belehrend, sondernd lebendig und unterhaltsam zu lesen. Schwierige abstrakte Theorien und Fragen werden verständlich dargestellt, können aber selbstverständlich nicht umfassend und vertieft behandelt werden, was auch erklärtermaßen nicht das Ziel des Autors ist. Erwähnung verdient auch, dass Maggiori es erneut versteht, den Leser mit persönliche Anekdoten und bizarre Episoden aus seiner Karriere bestens zu unterhalten und neben viel Kopfschütteln auch zu manchen Lachern anzuregen.

Aufgrund der im Buch dargestellten bisherigen Zyklen von KI Hypes und “Wintern” einerseits, den unrealistischen Erwartungen an KI und von Herangehensweise in Wirtschaft und Wissenschaft, die teils fahrlässig sind, teils die Grenze zum Betrug überschreiten, überrascht es nicht, dass Maggiori dem momentanen KI Hype ebenfalls kein gutes Ende prophezeiht. Während er erwartet, dass Maschinelles und Deep Learning weiter Fortschritte machen und vermehrt zur Anwendung kommen, wird Erwartungen an Wunder und spektakuläre Durchbrüche eine Absage erteilt.

Der unvermeidliche Aufprall auf dem harten Bode der Realität, samt wirtschaftlichen Folgen, ebenso wie die auf falschen Grundannahmen fußende Anwendung von KI in Feldern, für die sie (noch) nicht geeignet ist, bereiten Maggiori verständlicherweise Sorgen. Das Buch schließt mit einer zusammenfassenden Übersicht zu “Häufig gestellte Fragen” zur KI und stellt insgesamt erkennbar Maggioris Versuch dar, dringend notwendige Aufklärung über das Thema künstliche Intelligenz zu leisten und mehr Realitätsbezug anzumahnen. Dies gelingt ihm meiner Meinung nach sehr gut und man kann nur hoffen und wünschen, dass Bücher wie dieses und die darin enthaltenen Fakten weitere Verbreitung finden.