TU-Informatik-Professor Kristian Kersting hat dem Science Media Center (SMC) Deutschland in einem ausführlichen Statement eine Einschätzung zur Frage „Skalierung und Reasoning: Wie geht es mit Sprachmodellen weiter?“ gegeben.

Das SMC hat dazu Statements verschiedener Wissenschaftler:innen zusammengetragen und macht sie auf seiner Webseite für Medien und Allgemeinheit zugänglich. Hintergrund ist, dass sich die Debatte, wie große Sprachmodelle verbessert werden können, zuspitzt, und dass das jüngst veröffentlichte Sprachmodell der chinesischen Firma Deep Seek trotz kleinerer Trainingsinfrastruktur konkurrenzfähig sein soll.

In seinem Beitrag analysiert Kersting unter anderem die Architektur, die Deep Seek zugrunde liegt, und gibt eine Einordnung zu Open AI o3. Zudem wirft er einen Blick auf den Weg, den die Forschung voraussichtlich nehmen wird, um Large Language Modelle (LLM) weiterzuentwickeln. Deren Leistungsgewinne flachten sich derzeit ab. Stärker rücke nun die Multimedialität in den Fokus – Modelle, die nicht nur Text, sondern auch Bild, Video, Audio oder strukturierte Daten wie Tabellen verarbeiten könnten. „Unterschiedliche Modalitäten ergänzen sich also und sind notwendig, um das enorme Potenzial von KI in Bereichen wie der Robotik, der Medizin oder der Mensch-Maschine-Interaktion zu heben“, so Kersting. „Zusammengefasst: Die Zukunft der LLMs liegt nicht allein in ihrer Skalierung, sondern in der Kombination unterschiedlicher Ansätze, um die Modelle flexibler, robuster und ressourcenschonender zu machen. Der Schlüssel dürfte in der Kombination von Ideen wie neurosymbolischer KI, synthetischen Daten und multimodalen Systemen liegen.“

Kersting leitet an der TU Darmstadt das Fachgebiet Maschinelles Lernen (Fachbereich Informatik). Zudem ist er unter anderem Gründungsmitglied und Co-Direktor des Hessischen Zentrums für Künstliche Intelligenz, hessian.AI, sowie Mitglied des DFKI Labs an der TU. sip