Open Access

Lukas Scharlau

• This thesis describes the development of Multi-part Nanocubes. It is a further development of Nanocubes, an in-memory data structure for spatiotemporal data cubes. "Nanocubes provides you with real-time visualization of large datasets. Slice and dice your data with respect to space, time, or some of your data attributes, and view the results in real-time on a web browser over heatmaps, bar charts, and histograms." Partitioning the structure to parallelize the build process as well as merging query results is the principal part of this document. Furthermore, a new memory management (slab allocation with offset pointers) was implemented to enable 32-bit support and faster load times of already built nanocubes. Porting the project to Windows and implementing on-the-fly compression and decompression of nanocube files is also described.
• Diese Bachelorarbeit beschreibt die Weiterentwicklung des Projektes Nanocubes zu Multi-part Nanocubes. Das Projekt erlaubt die Visualisierung und Filterung extrem großer Datensätze (Big Data), üblicherweise auf einer Heatmap mit zusätzlichen Diagramm. Beschrieben wird die Partitionierung der Datenstruktur, wodurch ermöglicht wird, dass moderne Mehrkernprozessoren während des Ausbauprozesses voll ausgelastet werden können. Auch das Zusammenfügen der Abfrageergebnisse ist Teil der Arbeit. Zusätzlich wurde ein neues Speicher Management System (Slab Allocation mit Offset Pointern) implementiert, was die Kompatibilität zu 32-bit Systemen ermöglicht, sowie auch schnellere Ladezeiten von bereits erzeugten und gespeicherten Nanocubes. Die Portierung des Projektes auf Windows als auch die on-the-fly Komprimierung und Dekomprimierung während des Speichern und Laden eines Nanocubes wird beschrieben. (Linux und Mac Betriebssysteme werden auch unterstützt)