Query Optimisation and Near-Data Processing on Reconfigurable SoCs for Big Data Analysis (ReProVide)

Third Party Funds Group - Sub project


Acronym: ReProVide

Start date : 28.08.2017

End date : 01.03.2023

Website: https://www.dfg-spp2037.de/me943-9/


Overall project details

Overall project

DFG-Schwerpunktprogramm (SPP) 2037 - Skalierbares Datenmanagement für zukünftige Hardware

Project details

Short description

This project is funded by the German Research Foundation (DFG) within the Priority Program SPP 2037 "Scalable Data Management for Future Hardware".

The goal of this project is to provide novel hardware and optimisation techniques for scalable, high-performance processing of Big Data. We particularly target huge datasets with flexible schemas (row-oriented, column-oriented, document-oriented, irregular, and/or non-indexed) as well as data streams as found in click-stream analysis, enterprise sources like e-mails, software logs and discussion-forum archives, as well as produced by sensors in the Internet of Things (IoT) and in Industrie 4.0. In this realm, the project investigates the potential of hardware-reconfigurable, FPGA-based Systems-on-Chip (SoCs) for near-data processing where computations are pushed towards such heterogeneous data sources. Based on FPGA technology and in particular thier dynamic reconfiguration, we propose a generic architecture called ReProVide for low-cost processing of database queries.

Scientific Abstract

Dieses Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) im Rahmen des Schwerpunktprogramms SPP 2037 "Scalable Data Management for Future Hardware" gefördert.

Ziel dieses Projekts ist es, neuartige Hardware und Optimierungstechniken für die skalierbare, leistungsfähige Verarbeitung von Big Data bereitzustellen. Wir zielen insbesondere auf große Datenmengen mit flexiblen Schemata (zeilenorientierte, spaltenorientierte, dokumentenorientierte, irreguläre und/oder nicht-indexierte Daten) sowie auf Datenströme, wie sie in der Klick-Strom-Analyse, in Unternehmensquellen wie E-Mails, Software-Logs und Diskussionsforum-Archiven sowie in Sensoren im Internet of Things (IoT) und Industrie 4.0 zu finden sind. In diesem Bereich untersucht das Projekt das Potenzial Hardware-konfigurierbarer, FPGA-basierter Systems-on-Chip (SoCs) für die Daten-nahe Verarbeitung, bei der Berechnungen direkt bei den Datenquellen stattfinden. Basierend auf FPGA-Technologie und insbesondere deren dynamischer Rekonfiguration schlagen wir eine generische Architektur mit dem Namen ReProVide für die kostengünstige Verarbeitung von Datenbankanfragen vor.

Die Konzepte sollen die Integration von FPGA-basierten Beschleunigern in verfügbare SQL-, NoSQL- und In-Memory-Datenbanksysteme sowie Stream-Processing-Frameworks ermöglichen. Unser Ziel ist es dabei, flüchtige und nichtflüchtige Daten direkt an ReProVide-Knotenpunkte anzuschließen, die nicht nur bereinigte und integrierte Datensätze enthalten, sondern auch zur temporären oder persistenten Speicherung ungereinigter Daten aus neuen Datenquellen und Datenströmen verwendet werden können.

Unser FPGA-basiertes SoC wird vom Lehrstuhl für Informatik 12 vorangetrieben. Es


Während die Unterstützung unregelmäßiger Daten (z.B. Graphenverarbeitung) nicht im Fokus unserer Forschung steht, arbeiten wir an einer generischen Entwurfsmethodik, die Erweiterbarkeit durch benutzerdefinierte Funktionen und Datenschemata ermöglicht.

Solche Architekturen, die mit ihrem eigenen lokalen Optimierer ins DBMS integriert sind, erfordern neuartige Techniken zur globalen Abfrageoptimierung, die auf Konzepten aus verteilten und Multi-Database-Systemen basieren. Diese werden vom Lehrstuhl für Informatik 6 entwickelt. Während der lokale Optimierer Statistiken seiner lokalen Daten erstellt, muss der globale Optimierer auf diese Daten und Informationen der Daten-nahen Beschleuniger zugreifen. Anhand dieser Daten entscheidet die globale Abfrageoptimierung dann, welche Operationen auf den ReProVide SoCs berechnet werden und welche nicht. Es ist von entscheidender Bedeutung, dass der Optimierer über genügend Wissen verfügt, um ReProVide in der Abfrageverarbeitung einzusetzen, wann immer es einen Nutzen gibt. Dies erfordert funktionales Wissen (welche Daten und welche Operatoren sind verfügbar) sowie nicht funktionales Wissen (z.B. Kostenschätzungen für die Operatoren). In diesem Projekt soll eine erweiterbare Schnittstelle zur Verfügung gestellt werden, über die der globale Optimierer die zu bearbeitende Anfrage dem ReProVide-System übergeben und das Anfrageergebnis entgegennehmen kann. Darüber hinaus soll aber auch der bidirektionale Austausch von Hinweisen zur Verbesserung der jeweiligen Optimierung ermöglicht werden.

Involved:

Contributing FAU Organisations:

Funding Source

Research Areas