Die Apache Software Foundation hat mitgeteilt, dass das Framework Spark das Inkubationsprogramm verlassen hat und in Zukunft als Projekt der höchsten Stufe geführt wird. Spark ist ein In-Memory-Framework für verteiltes, clusterbasiertes Computing. Es basiert auf dem anderen wichtigen Apache-Projekt Hadoop.
Die Big-Data-Community hat den Schritt von Apache schon länger erwartet. Für die Community ist Spark ein wichtiger Trend. Das Framework soll dieses Jahr seinen Durchbruch erreichen. Das Projekt entstammt aus AMPLab der University of California in Berkeley. Durch das Start-up Databricks hat es mittlerweile kommerzielle Förderung erhalten. Darüber hinaus hat der führende Hadoop-Distributor Cloudera Spark ind die CDH aufgenommen. CDH steht für “Cloudera Distribution including Apache Hadoop”.
Erst im Juni 2013 hatte die Apache Software Foundation Spark in das Inkubationsprogramm aufgenommen. Die Stärken von Spark sind, dass es die Hadoop-2.0-Komponente YARN und das verwandte Projekt Shark nutzen kann. Zudem implementiert es eine SQL-on-Hadop-Engine, deren Syntax kompatibel zu Apache Hive ist. Dabei bietet es die gleichen Performancevorteilen wie gegenüber MapReduce.
Weitere Vorteile listet die Apache Software Foundation in einer Pressemeldung auf: So ermöglichen es Sparks APIs, Anwendungen schnell in Java, Python oder Scala zu schreiben. Und weiter heißt es: “Spark ist gut für maschinelles Lernen geeignet, für interaktive Daten-Abfragen und Stream-Processing. Es kann Daten aus HDFS, HBase, Cassandra ebenso wie aus beliebigen Hadoop-Datenquellen lesen.”
[mit Material von Florian Kalenda, ZDNet.de]
Tipp: Wie gut kennen Sie sich mit Open Source aus? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.
Kaspersky-Studie sieht neue Risiken durch das Aufkommen quantensicherer Ransomware und verstärkte Angriffe auf mobile Endgeräte.
Trends 2025: Third-Party-API-Monitoring, generative KI für mehr API-Sicherheit und Architekten für Geschäftsresilienz.
Trends 2025: „Grassroots“-Hacktivismus, „unsichtbare“ Firmware-Bedrohungen und Gelddiebstahl im Schlaf.
62 Prozent der Unternehmen erhöhen ihre Investitionen. Gerade auch mittelständische Betriebe bauen Etats jetzt spürbar…
Das transformative Potenzial der Blockchain scheint die deutschen Unternehmen kalt zu lassen. Denn laut der…
Forschende entwickeln eine Monitoring-Plattform, auf der Drohnenbilder mit zahlreichen weiteren Daten angereichert und ausgewertet werden.