Für starke Argumente

Sollen Wasserflaschen aus Plastik verboten werden? Hat Indien das Potenzial zur Weltmacht? Dürfen Kinder an Schulen Mobiltelefone nutzen? Es gibt heute kaum eine Kontroverse, zu der man im Netz keine Argumentations- und Entscheidungshilfen von Experten oder auch Nichtexperten findet. Aber welche Qualität haben diese Fachtexte, Informationen interessierter Laien und Debattenbeiträge? „Bislang bleiben sie größtenteils unvalidiert“, erklärt Professorin Iryna Gurevych, Leiterin des Ubiquitous Knowledge Processing (UKP) Lab der TU Darmstadt. Sie und ihr Forschungsteam entwickeln deswegen Software-Instrumente, die aus Texten nicht nur die Argumente herausfiltern, sondern auch deren Qualität überprüfen sollen.

Anhand der Debatte um die Handynutzung erklärt die Expertin für „Digital Humanities“ ein mögliches Szenario, in dem eine lernende Maschine Argumente in einem bestimmten Dokumenten-Corpus identifiziert und sie nebst der dazugehörigen Begründungen analysiert. Sollen Eltern ihre Kinder ermutigen, die Handynutzung zu limitieren?

Eine Mutter begibt sich im Netz auf die Suche nach Antworten. Das Analyse-System erkennt das Thema und findet anhand von Schlüsselwörtern – zum Beispiel Kinder, Eltern, Handy oder Radiofrequenzstrahlung – die Textfragmente, die sich auf die Anfrage beziehen. Es startet dann in den einzelnen Fragmenten eine so genannte Prädikat-Argument-Analyse, sucht also in den Sätzen nach der Handlung und ihrem Bezugsrahmen.

Nach der Analyse einzelner Fragmente stellt sie inhaltliche Bezüge zwischen allen gefundenen Textstellen her und identifiziert auf der Basis ihrer eigenen Wissensdatenbank und des Feedbacks von Nutzern, die sich im Netz zu den entsprechenden Texten äußern, Prämissen, Behauptungen und unterstützende oder widerlegende Begründungen für das jeweilige Argument. Dieser Kategorisierung folgt die Bewertung.

Bezieht sich eine Aussage zum Beispiel nur auf „irgendwelche Studien“, also sehr vage Quellen, oder ist sie einseitig und enthält lediglich unterstützende Begründungen, erkennt das System solche Mängel in der Argumentation. Am Ende erhält die besorgte Mutter eine Grafik, die zeigt, ob die jeweiligen Argumente plausibel begründet und glaubwürdig sind.

Dies ist eine von vielen Anwendungsideen für die automatisierte Analyse von Argumentation, an denen die Wissenschaftlerinnen und Wissenschaftler des UKP-Lab derzeit arbeiten. Eine solche Qualitätsüberprüfung wäre nach Überzeugung von Gurevych ein deutlicher Schritt nach vorn in diesem komplexen Forschungsfeld.

Um die notwendigen Algorithmen, Methoden und letztlich auch Prototypen für die Suchmaschinen der neuen Generation entwickeln zu können, benötigen die Fachleute vor allem jede Menge qualitätsüberprüfte Trainingsdaten, mit denen sie ihre Systeme füttern können. Ihre soeben erstellte Datenbank heißt „UKPConvArg2“. Das neue Corpus umfasst rund 9.000 von Menschen qualitativ bewertete und codierte Argumentationspaare aus Social Media-Diskussionen. Sie bilden jeweils Pro und Contra zu einem gesellschaftlich relevanten Thema ab.

„Diese Datenbank, die wir der Wissenschafts-Community zur Verfügung stellen, zeigt nicht nur, welche Argumente überzeugend sind und warum. Sie bildet auch die Grundlage zur Entwicklung neuer Methoden für die empirische Analyse von Textdaten aus dem Internet“, erklärt Ivan Habernal, Wissenschaftler am UKP-Lab.

„Damit können wir eine neue Diskussion um die Möglichkeiten des maschinellen Lernens eröffnen.“ Einfache Anwendungen wie die Segmentierung von Texten in argumentative und nicht argumentative Teile innerhalb festumrissener Textarten sind nach Einschätzung der UKP-Fachleute in naher Zukunft greifbar – etwa als zusätzliches Tool für die Google-Suche. weiterlesen

Auch Schreibassistenten, die zum Beispiel in einem Schulaufsatz die Schwachstellen in der Argumentation aufdecken und in Scoring-Systeme für Prüfungen einfließen können, sind technisch bereits realisierbar.

Eine große Herausforderung bleibt jedoch die Bearbeitung von Texten aus heterogenen Quellen von Fachaufsätzen bis hin zu Social Media-Beiträgen. Zum einen, weil hier die Erstellung der Trainingsdaten hoch komplex ist, zum anderen, weil die Analysemethoden, die auf dieser Datengrundlage für eine bestimmte Art von Texten entwickelt werden, bislang kaum übertragbar sind auf andere: „Die Skalierungsfrage haben wir noch nicht gelöst“, sagt Gurevych.

„Das ist eine Forschungsaufgabe für die nächsten fünf Jahre.“ Im Rahmen des Projektes „ArgumenText“, zu dem gerade eine positive Förderempfehlung ausgesprochen wurde, wollen die UKP-Fachleute dieser Frage nachgehen und Tools zur automatisierten Analyse von Behauptungen und Begründungen, die bereits erfolgreich in einem bestimmten Anwendungskontext zum Einsatz kommen, auf neue Anwendungsfälle übertragen.

Zu den potenziellen Nutzern der neuen Analyseinstrumente, wie sie am UKP-Lab entstehen, gehören nicht nur Pädagogen, die Unterstützung bei der Korrektur von Prüfungsarbeiten suchen, sondern auch Firmen, welche die Kundenberichte zu ihren Produkten auswerten wollen, oder auch Journalisten, die zu den „Hot Topics“ schnell und umfassend die Standpunkte der unterschiedlichen Beteiligten recherchieren müssen.

Und auch die Geistes- und Sozialwissenschaften könnten hiervon profitieren, zum Beispiel, wenn es darum geht, alle relevanten Textdaten zu sammeln und auszuwerten, die eine These untermauern oder auch widerlegen können. „Per Hand geht dies heute schon allein aus Kapazitätsgründen nicht“, sagt die Informatikerin.

Ziel sei es, ein Werkzeug zu schaffen, das sehr große Informationsmengen aus unterschiedlichen Kanälen erschließe und vorstrukturiere. Die Interpretation dieses über Maschinen generierten Wissens bleibt aber nach wie vor dem Menschen vorbehalten. Eine Maschine, betonen Gurevych und Habernal, könne riesige Datenmengen nach bestimmten Mustern verarbeiten, ohne zu ermüden. „Aber ihr wird immer das Weltwissen von Menschen fehlen, das unerlässlich ist, um neue Informationen in größere Zusammenhänge einordnen und transferieren zu können“.

Neue Datenbank

Die Datenbank „UKPConvArg2“ umfasst 9.111 Paare von Pro- und Contra-Argumenten. Sie stammen aus 16 Debatten auf den Portalen createdebate.com und convinceme.net und wurden von rund 800 Crowdworkern nach 17 unterschiedlichen Kriterien bewertet und auf ihre Überzeugungskraft hin überprüft, die Begründungen der Crowdworker danach von Experten validiert. Erste Experi-mente mit mathematischen Modellen zur Arbeit mit den Trainingsdaten zeigen bereits Erfolge. Das neue Corpus und die entsprechende Experimental Software stehen unter der Lizenz CC-BY-SA für weitere Experimente zur Verfügung unter: https://github.com/UKPLab/emnlp2016-empirical-convincingness

Future Data Analytics for Humanities

An der TU Darmstadt vernetzen und koordinieren sich Wissenschaftlerinnen und Wissenschaftler immer intensiver, um gemeinsam neue Methoden der Datenanalyse für die Geistes- und Sozialwissenschaften zu erforschen und weiterzuentwickeln. Bisherige Ansätze zur Analyse von geistes- und sozialwissenschaftlichen Daten scheitern oft an der Vielfalt, Komplexität und Heterogenität sowohl der Daten als auch der Fragestellungen.

Die neuen Methoden müssen mit wenigen Trainingsdaten auskommen, mit Daten unterschiedlicher Qualität und Beschaffenheit umgehen können, kontinuierlich aus der Interaktion mit Forschenden lernen, Objekte aus verschiedenen Datenquellen semantisch analysieren und verknüpfen, und das Wissen aus externen Quellen auf gegebene und neue Fragestellungen übertragen.

Die Datenanalyse umfasst Forschungsrichtungen wie die automatische Sprachverarbeitung, Visual Computing sowie maschinelles Lernen. Prototypische Anwender in den Humanities sind Forschende aus Philosophie, Philologie, Geschichte, Online- und Kommunikationswissenschaft sowie der Archäologie.