Weltrekord im Sortieren riesiger Datenmengen

Über das Internet vernetzte Rechner erzeugen immer größere Datenmengen. Um diese auswerten zu können, muss man sie zunächst nach einem bestimmten Kriterium ordnen. Das effiziente Sortieren von Daten ist von zentraler Bedeutung für Suchmaschinen oder Datenbanken – und damit ein wichtiges Forschungsthema in der theoretischen wie auch in der praktischen Informatik.

Der SortBenchmark – eine im Internet veröffentlichte Tabelle, über die Fachleute etwa von den Unternehmen Microsoft und Hewlett-Packard entscheiden – verzeichnet die jeweils aktuellen Rekorde im Sortieren. In der Königsdisziplin müssen mindestens 1012 Datensätze sortiert werden, das sind insgesamt 100 Terabyte.

Ein Forscherteam um Professor Peter Sanders am Institut für Theoretische Informatik hat sich nun in zwei Kategorien des SortBenchmark gegen die Konkurrenz durchgesetzt. So sortierten die Wissenschaftler – neben Sanders Dr. Mirko Rahn, Johannes Singler und Tim Kieritz – 100 Billionen Byte Daten in etwas weniger als drei Stunden, was einem Durchsatz von 564 GB pro Minute entspricht.

Dafür nutzten sie einen Computerverbund mit 200 Rechenknoten, den Mitarbeiter des ‘Steinbuch Centre for Computing’ (SCC) am KIT konfiguriert hatten. Ein Yahoo-Team schaffte zwar einen etwas besseren Wert – nutzte dafür aber mehr als 17 Mal so viele Rechenknoten.

&nbsp


Professor Peter Sanders
Bild: KIT

&nbsp

Page: 1 2

Silicon-Redaktion

Recent Posts

Microsoft Teams in der öffentlichen Verwaltung

Land Niedersachsen schließt datenschutzrechtliche Vereinbarung mit Microsoft zur Nutzung von Teams ab.

23 Stunden ago

Diebstahlsicherung mit KI

Ein Großteil der Inventurdifferenzen im deutschen Einzelhandel wird durch Ladendiebstähle verursacht.

23 Stunden ago

Neue, aggressive Wellen an DDoS-Attacken

DDoS-Angriffe haben seit dem Beginn des Krieges zwischen Russland und der Ukraine an Häufigkeit und…

3 Tagen ago

Excel als Rückgrat deutscher Lieferkettenplanung

Lieferkettenplanung in Deutschland auf Basis von Excel bei 37 Prozent der befragten Unternehmen im Einsatz.

5 Tagen ago

Siemens automatisiert Analyse von OT-Schwachstellen

Bedienpersonal von Fertigungsanalagen soll mögliche Risiken auch ohne Cybersecurity-Fachwissen erkennen und minimieren können.

6 Tagen ago

Cyberabwehr mit KI und passivem Netzwerk-Monitoring

Schiffl IT: Anomalien im Netzwerkverkehr und in den Systemen in Echtzeit identifizieren.

1 Woche ago