Anfang September hat OpenAI sein neues Sprachmodell GPT-6 Astra vorgestellt. Damit startet die sechste Generation der GPT-Modelle, auf denen auch der Chatbot ChatGPT basiert. Laut dem Unternehmen soll Astra in vielen relevanten Benchmarks – also standardisierten Tests für KI-Systeme – besser abschneiden als bisherige GPT-Versionen und Modelle anderer Anbieter wie Claude Fable 5 von Anthropic.

Bisher sind nur die von OpenAI veröffentlichten Angaben zur GPT-6 Astra verfügbar, eine tiefgreifende unabhängige Analyse also nicht möglich. Dennoch hat das Science Media Center Germany Forschende gebeten, die bisher bekannten Informationen zu bewerten und die absehbaren Fähigkeiten und Risiken des Modells einzuordnen.

Iryna Gurevych, Professorin für Ubiquitous Knowledge Processing am Fachbereich Informatik der TU Darmstadt, sieht in Astra einen erheblichen Leistungssprung, „wobei die größten Fortschritte eher im Bereich autonomer Aufgaben liegen als in Konversationen. Der entscheidende Unterschied zwischen diesen beiden Fähigkeiten besteht darin, dass das eine ein Tool ist, das Fragen beantwortet und das andere einem Kollegen gleicht, an den man Aufgaben delegieren kann. Astra entspricht eindeutig dem zweiten Fall: Browser- und Terminalbedienung, eigenständige Softwarearbeit, offensive Sicherheit, Aufgaben, die über mehrere Stunden hinweg ausgeführt werden.“

Kristian Kersting, Leiter des Fachgebiets Maschinelles Lernen an der TU Darmstadt und Co-Direktor des KI-Zentrums hessian.AI, hält eine skeptische Grundhaltung gegenüber den Astra-Zahlen für angebracht, „da fast alle präsentierten Benchmarks aus internen Tests von OpenAI stammen und externe Prüfungen wie jene durch das AI Security Institute aus Großbritannien zeitlich stark begrenzt waren. Man kann sich das vorstellen wie bei einem Autohersteller, der erklärt, sein neues Fahrzeug habe den sichersten Crashtest aller Zeiten absolviert. Der Test wurde allerdings im eigenen Werk durchgeführt, nicht vom TÜV. Das entwertet die Ergebnisse nicht automatisch, erfordert in der Zitation jedoch genau diese Einschränkung.“

Die ausführlichen Stellungnahmen sind beim Science Media Center zu finden.

Science Media Center/bjb