Categories: Cloud

Hadoop wird mit In-Memory-Framework Spark zum Echtzeit-Tool

Die Apache Software Foundation hat mitgeteilt, dass das Framework Spark das Inkubationsprogramm verlassen hat und in Zukunft als Projekt der höchsten Stufe geführt wird. Spark ist ein In-Memory-Framework für verteiltes, clusterbasiertes Computing. Es basiert auf dem anderen wichtigen Apache-Projekt Hadoop.

Mit Spark wird aus Hadoop eine voll interaktive, verteilte In-Memory-Lösung. Programme sollen der Spark-Homepage zufolge “im Speicher bis zu 100-mal schneller als Hadoop MapReduce – und auf Disk immer noch 10-mal schneller” laufen können. Somit wird Hadoop zur Echtzeit-Engine.

Die Big-Data-Community hat den Schritt von Apache schon länger erwartet. Für die Community ist Spark ein wichtiger Trend. Das Framework soll dieses Jahr seinen Durchbruch erreichen. Das Projekt entstammt aus AMPLab der University of California in Berkeley. Durch das Start-up Databricks hat es mittlerweile kommerzielle Förderung erhalten. Darüber hinaus hat der führende Hadoop-Distributor Cloudera Spark ind die CDH aufgenommen. CDH steht für “Cloudera Distribution including Apache Hadoop”.

Erst im Juni 2013 hatte die Apache Software Foundation Spark in das Inkubationsprogramm aufgenommen. Die Stärken von Spark sind, dass es die Hadoop-2.0-Komponente YARN und das verwandte Projekt Shark nutzen kann. Zudem implementiert es eine SQL-on-Hadop-Engine, deren Syntax kompatibel zu Apache Hive ist. Dabei bietet es die gleichen Performancevorteilen wie gegenüber MapReduce.

Weitere Vorteile listet die Apache Software Foundation in einer Pressemeldung auf: So ermöglichen es Sparks APIs, Anwendungen schnell in Java, Python oder Scala zu schreiben. Und weiter heißt es: “Spark ist gut für maschinelles Lernen geeignet, für interaktive Daten-Abfragen und Stream-Processing. Es kann Daten aus HDFS, HBase, Cassandra ebenso wie aus beliebigen Hadoop-Datenquellen lesen.”

[mit Material von Florian Kalenda, ZDNet.de]

Tipp: Wie gut kennen Sie sich mit Open Source aus? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.

Andre Borbe

Andre ist Jahrgang 1983 und unterstützte von September 2013 bis September 2015 die Redaktion von silicon.de als Volontär. Erste Erfahrungen sammelte er als Werkstudent in den Redaktionen von GMX und web.de. Anschließend absolvierte er ein redaktionelles Praktikum bei Weka Media Publishing. Andre hat erfolgreich ein Studium in politischen Wissenschaften an der Hochschule für Politik in München abgeschlossen. Privat interessiert er sich für Sport, Filme und Computerspiele. Aber die größte Leidenschaft ist die Fotografie.

Recent Posts

Kosten für AWS: Ausgabenchaos durch Pay-as-you-go

In Multi-Cloud-Umgebungen wird der Ruf nach Transparenz und Kontrolle immer lauter. Wie kommt Ordnung in…

1 Tag ago

Deutscher KI-Markt wächst um ein Drittel

Laut Bitkom steigen die Ausgaben für Künstliche Intelligenz in diesem Jahr um 32 Prozent. Hauptwachstumstreiber…

2 Tagen ago

Anomalien in Industrieanlagen erkennen

Für eine intelligentere Bildverarbeitung in der Fabrikautomatisierung: Basler und MVTec werden Teil des Ökosystems von…

2 Tagen ago

Studie: Datenmanagement wesentliche Voraussetzung für Cybersecurity

Unternehmen ohne Datenmanagement verfügen über keinen wirkungsvollen Schutz vor Krisen und sind erhöhten Gefahr von…

2 Tagen ago

Generative KI für Krankenversicherungen

Wipro und NVIDIA wollen Unternehmen des Gesundheitswesens bei Einführung von generativer künstlicher Intelligenz durch KI-gesteuerte…

2 Tagen ago

IoT-Lösung fürs Tracken von Ladungsträgern

Die Suche nach Behältern zählt zu den nervigsten Aufgaben in der Intralogistik. Industrieausrüster Bosch will…

3 Tagen ago