Startschuss für EU-Projekt ADMIRE

Unter der Koordination der Madrider Universität Carlos III (UC3M) fördern das European High-Performance Computing Joint Undertaking (EuroHPC JU) und die teilnehmenden Staaten das Projekt.

Die Verarbeitung sehr großer Datenmengen, wie sie beispielsweise für die künstliche Intelligenz benötigt werden, ist eine der Triebfedern beim Entwurf von Hochleistungsrechnern – ein Trend, der das klassische, auf das reine Rechnen fokussierte Design solcher Rechner in Frage stellt. Deren flache Speicherhierarchien mit einem zentralen Dateisystem erweisen sich zunehmend als nicht ausreichend. Neue Technologien in Richtung schneller, nichtflüchtiger und gleichzeitig energieeffizienter Massenspeicher eröffnen Chancen, den Bedürfnissen datenintensiver Anwendungen gerecht zu werden. Bisher fehlen jedoch adäquate Steuerungsmechanismen und angepasste Dateisysteme, um dieses Potenzial auszuschöpfen. Diese zu schaffen ist das Ziel des europäischen Projekts ADMIRE.

Der ADMIRE-Softwarestack mit Anwendungen

Vier deutsche Einrichtungen sind maßgeblich an dem Projekt beteiligt und werden in den kommenden drei Jahren an verschiedenen Komponenten des ADMIRE-Gesamtsystems arbeiten.

Technische Universität Darmstadt (TUDa)

Die TU Darmstadt (Fachgebiet Parallele Programmierung) entwickelt Algorithmen und Werkzeuge, um die von einem Programm genutzten Ressourcen zur Laufzeit so zu justieren, dass sowohl die Auslastung des Gesamtsystems als auch die Laufzeit individueller Programme optimiert werden. Dabei kommt ein von der TU Darmstadt in früheren Projekten geschaffenes Leistungsmodellierungswerkzeug mit dem Namen Extra-P zum Einsatz, welches in ADMIRE um eine Funktionalität zur Modellierung von I/O erweitert wird.

Johannes Gutenberg-Universität (JGU)

Die JGU fokussiert sich auf die sogenannten Ad-hoc Dateisysteme, die bei Bedarf vom ADMIRE-Gesamtsystem für Applikationen gesteuert werden. Mit Hilfe der Ad-hoc Dateisysteme werden zentrale Dateisysteme entlastet. Diese können so den I/O Anforderungen unterschiedlichster Applikationen nachkommen. Dafür setzt die JGU auf das GekkoFS Dateisystem, das bereits in früheren Projekten entwickelt wurde. Im Rahmen von ADMIRE wird GekkoFS an die Anforderungen von modernen Applikationen in Hochleistungsrechnern angepasst, so dass das Dateisystem die höchstmögliche I/O Leistung zur Verfügung stellen und dynamisch auf Entscheidungen des ADMIRE-Gesamtsystem reagieren kann.

Forschungszentrum Jülich

Das Jülich Supercomputing Centre (JSC) am Forschungszentrum Jülich entwickelt skalierbare und effiziente Verarbeitungsworkflows für Earth Observation (EO) Anwendungen, die auf Methoden des maschinellen Lernens und des Deep Learnings basieren. In ADMIRE wird das JSC die I/O-Leistung vollständiger Verarbeitungspipelines optimieren, die bestehende Landbedeckungskarten durch die Klassifizierung aktueller Zeitreihen von multispektralen Satellitenbildern automatisch aktualisieren können. Der neue ADMIRE-Software-Stack wird den Zugriff auf und die Analyse der Daten in den Verarbeitungsschritten von der Dateningestion bis zu den Endprodukten beschleunigen. Das JSC wird effiziente EO-Verarbeitungs-Workflows veröffentlichen, die in der Lage sind, riesige Mengen an Fernerkundungsdaten aus mehreren Quellen in operativen Szenarien zu verarbeiten, um Entscheidungsträger mit klaren, zeitnahen und nützlichen Informationen zu versorgen.

Max Planck Computing and Data Facility (MPCDF)

Die MPCDF entwickelt in-situ Methoden, bei denen Daten noch während der laufenden Simulation prozessiert, z.B. komprimiert, und analysiert werden können. Dadurch können viele Aufgaben, die normalerweise erst nach Beendigung der Simulation und Speicherung der Daten im Filesystem durchgeführt werden, bereits auf aktiven Daten, welche sich noch im Hauptspeicher befinden, angewandt werden und dadurch die schlussendlich zu speichernde Datenmenge deutlich reduziert werden. In-situ Methoden wurden ursprünglich zur Visualisierung entwickelt und werden im Zuge des ADMIRE-Projekts verallgemeinert, um insbesondere Methoden der Künstlichen Intelligenz und andere Datenanalysemethoden durchführen zu können.

JGU/pg