17. September 2026

Der CEO des KI-Unternehmens Anthropic fordert, die Entwicklung besonders leistungsfähiger KI-Modelle stärker zu kontrollieren und ihr Tempo international abzustimmen. Unter anderem schlägt er externe Prüfungen, gemeinsame Regeln und mögliche Entwicklungsstopps vor, wenn sich Risiken zeigen. Andere große US-amerikanische KI-Anbieter wie OpenAI und Google haben der Forderung in mehreren Punkten zugestimmt. Das Science Media Center (SMC) Germany hat Forschende gebeten, die Vorschläge und mögliche Risiken einzuordnen.

Professor Kristian Kersting, Leiter des Fachgebiets Künstliche Intelligenz und Maschinelles Lernen an der TU Darmstadt (Fachbereich Informatik) und Co-Direktor des KI-Zentrums hessian.AI, sieht die Vorschläge kritisch. „Wenn eine Handvoll großer Firmen selbst festlegt, was ‚gefährlich‘ ist, die passenden Prüfer auswählt und eine Ausnahme vom Kartellrecht verlangt, ist das keine echte Regulierung mehr, sondern Selbstbedienung mit Sicherheitsetikett“, sagt Kersting. Unternehmen, die ihre Modelle für potenziell gefährlich hielten, könnten deren Entwicklung bereits heute freiwillig verlangsamen.

Auch Szenarien eines Kontrollverlusts durch eine sich verselbstständigende KI hält Kersting für wenig realistisch. Konkrete Risiken sieht er dagegen bereits heute, wenn KI-Agenten zu große Handlungsspielräume erhalten: „Ein KI-Agent, der ein Tool falsch benutzt, kann zum Beispiel versehentlich Daten löschen oder eine falsche Bestellung auslösen. Das ist kein Science-Fiction-Szenario, sondern ein ganz konkretes Betriebsrisiko, das man mit besserer Aufsicht in den Griff bekommen sollte.“ Prozentangaben zum Risiko, dass KI die Menschheit auslöschen könnte, hält Kersting nicht für wissenschaftlich belastbar. Gleichzeitig betont er, dass Risiken der KI berücksichtigt werden müssten – sowohl aktuelle als auch langfristige.

Die ausführlichen Stellungnahmen sind beim Science Media Center zu finden. SMC/cst