Diesen Text hatte ich vergangene Woche bei LinkedIn gepostet (drei Likes oder so), hier als Replay.
Wahrscheinlich gehört es zum Zeitgeist, dass fast alles zur Glaubensfrage geworden ist. Natürlich auch die Fragen nach Nutzen, Fähigkeiten und Wesen Künstlicher Intelligenz.
Benedict Evans hat kürzlich recht schön beschrieben, warum die KI-Debatte oft so überreizt wie fruchtlos wirkt: Wir haben keine belastbare Theorie. Wir wissen nicht wirklich, wie KI-Modelle funktionieren. Wie schnell und wie weit sie sich noch skalieren lassen. Wir haben weder eine gemeinsame Vorstellung davon, was Intelligenz eigentlich ist, noch davon, wie eine allgemeine oder gar übermenschliche KI (AGI/ASI) konkret aussehen würde.
„Vibes-Forecasting“ nennt er unsere Reaktion, Vorhersage nach Bauchgefühl. Und währenddessen sehen wir einen Fähigkeitszuwachs, der einige Katastrophenszenarien sehr viel realistischer als noch vor einigen Monaten erscheinen lässt. Ohne dass jemand natürlich mit Sicherheit sagen könnte, dass sie eintreffen werden.
Aus dieser Unsicherheit sollte aber nicht folgen, dass wir unbequeme Informationen ausblenden sollten und uns das heraussuchen, was in unsere persönliche Vibe-Vorhersage passt. Denn dieses Problem, das sich derzeit durch alle Diskurse zieht, lässt sich auch in der Debatte über „Pacing the Frontier“ beobachten (besonders im deutschsprachigen LinkedIn, btw).
Ein Argument lautet zum Beispiel: Unternehmen suchen angesichts möglicher Absatzprobleme bloß einen eleganten Vorwand, um beim teuren KI-Ausbau auf die Bremse zu treten, ohne den Hype zu beschädigen. Diese Vermutung ist angesichts ihrer üblichen Geschäftspraktiken verständlich, aber Derek Thompson erinnert daran, dass Dario Amodei den Vorschlag schon im Februar gemacht hat. Damals gingen die Umsätze gerade durch die Decke.
Ich habe in meinem privaten Newsletter argumentiert, die Gefahren ernst zu nehmen. Ich befürchte nicht die Vernichtung der Menschheit, sondern den Ausfall kritischer IT-Systeme entlang der Software-Lieferketten, bei dem auch Admin-Rechte verloren gehen. Einen Ausfall, der massiv auf die physische Welt durchschlagen und dort Chaos anrichten würde (wobei der Fantasie, Stichwort Biowaffen, theoretisch kaum Grenzen gesetzt sind).
Ich weiß nicht, ob ich richtig liege. Ich hoffe sogar, dass ich falsch liege. Aber ich weiß, dass man auch einander scheinbar widersprechende Überlegungen in seinem Kopf anstellen sollte, wenn man der Komplexität der Welt gerecht werden möchte.
1. Man kann es für realistisch halten, dass die Großkredite für den KI-Ausbau eine Kettenreaktion auslösen und die Investitionsblase schrumpfen oder platzen lassen (verschwinden würde die Technologie dadurch übrigens nicht) – und man kann die gegenwärtige KI-Entwicklung trotzdem für gefährlich halten.
2. Man kann damit rechnen, dass sich KI in Organisationen so langsam durchsetzt wie eine „normale“ Basistechnologie, etwa die Elektrizität, und ihre Diffusion entsprechend deutlich länger dauert, als viele erwarten – und die gegenwärtige KI-Entwicklung trotzdem für gefährlich halten.
3. Man kann hinter der Positionierung von Anthropic, OpenAI & Co. handfeste geschäftliche Motive erkennen (ich tippe vor allem auf die Sorge vor Haftungsrisiken, falls es zu Großunfällen kommt, und die Hoffnung, präventive Selbstregulierung einzuführen, ohne Kartellrechtsverstöße auszulösen) – und man kann die gegenwärtige KI-Entwicklung trotzdem für gefährlich halten.
4. Man kann den AI Act und die nachgelagerte Produkthaftung für einen sinnvollen Weg halten, einige Risiken zu adressieren – und trotzdem internationale Übereinkünfte für notwendig halten, wie wir sie im Bereich der Gentechnik hatten (wohl wissend, wie unrealistisch sie derzeit sind).
Um noch einmal zu wiederholen, was ich im Internet-Observatorium skizziert habe – wir haben derzeit folgende Probleme:
- Die bisherigen Alignment-Strategien funktionieren offensichtlich nicht.
- KI-Agenten koordinieren ihr Vorgehen und ihre Strategien dezentral, um ihre Mission zu erfüllen.
- Sie tun das zunehmend in einer Sprache, die wir nicht verstehen können.
- Um diese Abläufe nachzuvollziehen, sind wir schon heute auf KI angewiesen.
- KI-Systeme fälschen offenbar Denkprotokolle, erkennen, wann sie getestet werden, und verschleiern ihr Handeln.
- Entsprechend schwer fällt es uns, das Handeln vernetzter Agenten nachzuvollziehen: Das Chain-of-Thought-Monitoring, also die Überwachung der protokollierten „Gedankengänge“ der Modelle, verliert an Wirksamkeit, weil „Denken“, Kommunikation und Werkzeugnutzung immer stärker ineinanderfließen.
Der OpenAI-Forscher Daniel Selsam hat es gerade so auf den Punkt gebracht: Wenn die Systeme immer besser „verstehen“, dass sie gerade geprüft werden, verlieren unsere Tests an Aussagekraft. Ein Modell, das in der Evaluation sicher wirkt, muss es nicht sein. Und wenn wir unter diesen Vorzeichen die KI-Systeme in unserer Infrastruktur verteilen, erhalten sie eines Tages völlig neue Möglichkeiten, abweichende Ziele zu verfolgen. Ziele, die sie heute vermutlich noch nicht kennen und die wir womöglich dann gar nicht mehr verstehen könnten.
In den vergangenen Monaten habe ich ausnahmslos mit KI-Forschenden gesprochen, die sich Sorgen machen. Nicht unbedingt wegen irgendwelcher Extremszenarien, sondern wegen des Kontrollverlusts, den wir in Ansätzen bereits erleben (und ja: der Kontrollverlust beruht auch auf schlechten Sandbox-Architekturen).
Wie gesagt: Ich persönlich wünsche mir, dass ich falsch liege und diese Befürchtungen eines Tages als KI-Hype-Psychose verbuchen kann. Ich glaube allerdings, dass das Risiko zu groß ist, es darauf ankommen zu lassen und den „Big-Tech-Aussage-also-Ignoremodus“-Button zu drücken.
Wie also weiter? Drei Lesetipps:
The AI-as-Normal-Technology view of loss-of-control incidents: Sayash Kapoor und Arvind Narayanan (“AI as a normal technology”) schlagen konkrete Maßnahmen im Kontext der KI-Kontrolle (statt Alignment), Agenten-Überwachung und defensiver KI-Forschung vor.
How to pace the US frontier: Das AI Futures Project (das auch hinter AI2027 steht, das als Disclosure) hat bereits im August eine Skizze für KI-Regulierung in den USA vorgelegt.
US-China Strategic AI Dialogue (SAID) Proposal: Bill Bishop (Sinocism) schlägt ein konkretes Format für chinesisch-amerikanische Verhandlungen zur KI-Sicherheit vor (Spoiler: Er selbst hält ein solches Format derzeit für unrealistisch).
Wir begleiten im Tagesspiegel Background Digitalisierung & KI die konkrete Policy intensiv (zum Beispiel am morgigen Freitag) und auch in meinem privaten Newsletter „Aus dem Internet-Observatorium“ schreibe ich regelmäßig zu diesen Themen.
Ich freue mich auf den Austausch!
