Eine KI, die weiß, was sie nicht weiß

Forschung am Fachbereich Informatik

2020/01/13

Julia Vinogradskas Algorithmen machen Maschinelles Lernen selbstsicherer.

Spielten sich mit ihren Ideen oft die Bälle zu: Dr. Julia Vinogradska und Professor Jan Peters. Die daraus resultierenden maschinellen Lernalgorithmen sind richtungsweisend sowohl für spielerische Roboter wie für die industrielle Fertigung und neue Produkte.

Julia Vinogradska, Forscherin am Bosch Center for Artificial Intelligence, steht mit ihrem Doktorvater Jan Peters, Professor für Intelligent Autonomous Systems an der TU Darmstadt, vor einem an einem Gerüst hängenden Roboterarm. Der hält einen Tischtennisschläger fest in der Hand, als sei er bereit für ein Spiel. Jan Peters hat dem Roboter vor einiger Zeit mit sogenanntem Reinforcement Learning das Spielen beigebracht. Am Rechner des Professors funktionierte das Modell dieses maschinellen Lernverfahrens gut. Als Peters es auf den Roboterarm übertrug, spielte dieser zunächst wie erwartet, aber plötzlich holte er mit einem kräftigen Schwung aus, sodass der gesamte Arm quer durchs Labor flog.

Vinogradska schaut abwechselnd auf den Roboter und auf Peters. Sie kennt das Gefühl, dass Maschinen trotz Künstlicher Intelligenz (KI) nicht immer das lernen, was sie sollen. Eine Eigenschaft hat sie mit ihrem Doktorvater gemein: „Wenn etwas nicht funktioniert, werde ich stur“, sagt sie. „Ich muss es dann unbedingt hinbekommen.“ Peters, dessen Absolventen und Absolventinnen heute weltweit KI-Ansätze vorantreiben, traute der gebürtigen Ukrainerin einiges zu. Zu Recht: In ihrer vielbeachteten Dissertation bei ihm machte Vinogradska mit neuartigen Algorithmen die Lernverfahren nicht nur berechenbarer, sondern auch effizienter. Drei Patente brachten die beiden gemeinsam hervor.

Das Besondere an Julias Quadraturlösungen ist, dass sie dem System auch das Wissen über die eigene Unsicherheit bezüglich der physikalischen Welt geben.

Reinforcement Learning bedeutet so viel wie verstärkendes Lernen. Beim sogenannten Supervised Learrning lernt ein System der Künstlichen Intelligenz mit menschlicher Hilfe – es lernt, weil Menschen ihm anhand vieler Beispiele zeigen, was falsch und richtig ist. Beim Reinforcement Learning lernt das System aus eigenen Fehlern – durch eine Mischung aus Bestrafung und Belohnung. Es ist dem menschlichen Üben nicht unähnlich. Wenn jemand zum Beispiel beim Bogenschießen versucht, ein Ziel zu treffen, ist er frustriert, wenn der Pfeil weit danebengeht. Das Gehirn bestraft den Schützen mit schlechten Gefühlen. Nähert er sich dem Ziel, fühlt sich das besser an, wie eine Bestärkung.

Roboterlernen auf diese Weise zum Beispiel, auf zwei Beinen zu gehen. Fällt der Roboter, bestraft ihn der Algorithmus mit Minuspunkten. Schafft ein Roboter eine Bewegung, ohne zu fallen, erhält er Pluspunkte. Das Streben nach Punkten treibt den Roboter nach und nach auf die optimale Lösung zu – vorausgesetzt, man lässt ihm Zeit. Die berühmte Künstliche Intelligenz AlphaGo lernte das Brettspiel Go mit diesem Ansatz so gut, dass der weltbeste menschliche Spieler unterlag.

Auch bei Industrieanwendungen kommt Reinforcement Learning zum Einsatz. Aber hier zeigt sich ein Problem dieser Lernmethode: Misslingt das Lernen und reagiert die Maschine ähnlich extrem wie beim Tischtennis, kann das für Menschen, die in der Nähe arbeiten, lebensgefährlich sein. Um dies zu verhindern, lernen solche Systeme nicht nur mit Daten aus Simulationen, sondern immer auch aus der Praxis. Dadurch ergibt sich ein weiterer Nachteil: Reinforcement Learning ist teuer.

Lernen im Prüfstand

Bei Bosch arbeitet man zum Beispiel an der Steuerung einer sogenannten Drosselklappe. Sie regelt beim Verbrennungsmotor die Zufuhr des Benzin-Luft-Gemischs. Eine Optimierung kann viel Energie sparen; geht etwas schief, kann der Motor beschädigt werden. Daher wird die Drosselklappe mit Sensorik ausgestattet. Die Sensor-Daten fließen in das Lernen ein, und die KI versteht es nach und nach, die Klappe effizient zu bedienen. Allerdings gibt es dabei Millionen von Datenpunkten – das sind die Interaktionen zwischen System und Sensorik. „Im Gegensatz zu einem Go-Spiel, das simuliert werden kann, findet das Lernen im Prüfstand statt, und damit ist der Lernprozess sehr kostspielig“, sagt Vinogradska.

Ihre Promotion sowie ihre Patente beschäftigen sich mit der Dateneffizienz und der Sicherheit solcher KI-Methoden. Ihre Algorithmen basieren auf der numerischen Quadratur, einer näherungsweisen Berechnung von Integralen. Sie sorgt dafür, dass das System mit möglichst wenig Interaktionen lernt – und trotzdem so sicher wie möglich bleibt.

Die Sicherheit jedes Systems, das mit Reinforcement Learning arbeitet, zu beurteilen, ist schwierig. Es gibt keine Garantien, dass das, was das System gelernt hat, immer fehlerfrei funktioniert. „Solche komplexen Systeme haben unendlich viele Zustände, und wir können unmöglich alle durchtesten“, sagt Vinogradska. Es bleiben Unsicherheiten. Ingenieure berücksichtigen diese – aber immer nur von einem bestimmten Zustand ausgehend. Dies war Vinogradska zu wenig.

„Das Besondere an Julias Quadraturlösungen ist, dass sie dem System auch das Wissen über die eigene Unsicherheit bezüglich der physikalischen Welt geben“, sagt Peters. Mit diesem Wissen reagiert das System nicht mehr auf extreme Veränderungen der Inputdaten. „Alle Methoden des Maschinellen Lernens konnten bisher mit großen Sprüngen in den Input-Daten nicht gut umgehen“, sagt Julia Vinogradska. Und Peters ergänzt: „Es ist sehr schwierig, dafür gute Algorithmen zu entwickeln, und Julias sind herausragend – es gibt derzeit kein Verfahren, das vergleichbar gut ist.“

Entschlossen in einer Männerdomäne

Julia Vinogradska hat die KI berechenbarer gemacht – und effizienter. Aus ihrer Promotion gingen drei Patente hervor und Publikationen in renommierten Zeitschriften wie zum Beispiel IEEE Transactions on Pattern Analysis and Machine Intelligence. Außerdem erhielt sie die „Stiftung Werner-von-Siemens-Ring“ Jungwissenschaftler-Medaille. Heute forscht sie am Bosch Center for Artificial Intelligence in Renningen bei Stuttgart, einem der weltweit wenigen Zentren für Grundlagenforschung, die von einem Unternehmen betrieben werden.

Es wurde Anfang 2017 gegründet und umfasst mittlerweile sieben internationale Standorte mit über 180 KI-Experten, die daran arbeiten, Künstliche Intelligenz sicherer, robuster und erklärbarer zu machen. Julia Vinogradska ist in der Ukraine geboren. Sie kam mit ihren Eltern mit neun Jahren nach Deutschland und studierte später an der Universität Stuttgart Mathematik mit Nebenfach Informatik. Letztere Wahl fiel ihr nicht gerade leicht. Sie sagt: „Ich stand vor einem Hörsaal mit ausschließlich männlichen Studenten, das hat mich abgeschreckt – aber mein Vater war Softwareentwickler und hat mich ermutigt.“ Sie war tatsächlich auch die einzige Frau in allen Informatikveranstaltungen, die sie dann besuchte. „Aber ich habe mich im Studium wohl gefühlt“, sagt sie.

Während des Studiums befasste sie sich mit Algebra und theoretischer Informatik. Ihre Promotion sollte anwendungsorientierter sein. Sie bewarb sich auf eine Industriepromotion der Firma Bosch, die mit der TU Darmstadt seit Jahren kooperiert. Dort war sie Mitglied einer Forschungsgruppe, aus der später der Research Bereich des Bosch Center for Artificial Intelligence hervorging. Vinogradskas Forschung im Reinforcement Learning gehört mittlerweile zu einem von zehn differenzierten Forschungs feldern des Bosch Center for Artificial Intelligence.

Heute möchte sie anderen jungen Frauen Mut machen, sich nicht von dem geringen Frauenanteil abschrecken zu lassen. „Meine Erfahrung war immer durchweg positiv. Ich hatte nie das Gefühl, irgendwie benachteiligt zu sein. Ich bin froh, auch nie bevorteilt zu werden. Das hätte mir nicht gefallen.“ Die Informatik sei ein vielseitiges Fach mit immens vielen Möglichkeiten – besonders an der TU Darmstadt. Julia Vinogradska kann beide nur wärmstens empfehlen.

Weitere Artikel in der hoch³ FORSCHEN 4/2019