Bis vor wenigen Jahren mussten intelligente Systeme (wie z. B. Sprach-assistenten und Fertigungsroboter) präzise auf ihre Aufgabe und ihre Umgebung eingestellt werden. Sie mussten von Expertinnen und Experten programmiert werden. Seit einigen Jahren findet aber ein Paradigmenwechsel in der KI statt: Statt alle Schritte der Wissensverarbeitung manuell zu kodieren, wird den Maschinen die Fähigkeit zu lernen, einprogrammiert. Mit Hilfe dieses Maschinellen Lernens (ML) kann man Maschinen mit einer sehr großen Zahl von Beispielsituationen trainieren, die sie dann mittels Mustererkennung auf neue, aber sehr ähnliche Situationen übertragen. Die größten KI-Erfolge basieren zur Zeit auf tiefen neuronalen Netzen (Deep Learning), die durch den Aufbau des menschlichen Gehirns inspiriert sind. Eine große Zahl an künstlichen Neuronen, die in Schichten organisiert und vernetzt sind, verarbeitet unter hohem Rechenaufwand eine große Menge an Daten. Und obwohl Experten im Prinzip verstehen, wie Lernen in diesem System funktioniert — schließlich haben sie das System gebaut — lässt sich dessen erlerntes, intelligentes Verhalten aufgrund seiner großen Komplexität auch von Experten nicht mehr nachvollziehen oder gar vorhersagen. Das Modell wird zur Blackbox und es stellt sich die Frage: „Können wir die Entscheidungen von tiefen Netzen, und von KI-Algorithmen allgemein, nachvollziehen und ihnen vertrauen?“