Livy: Microsoft und Cloudera wollen Spark vereinfachen

Gemeinsam wollen Microsoft und Cloudera mit dem Open-Source-Projekt ‘Livy’ den Gebrauch von Spark in Anwendungen vereinfachen. Spark ist zum Hadoop-File Sysytem, HBase, Cassandra und Hive kompatibel und ermöglicht als General Processing Engine auch neue Workloads wie Streaming oder Machine Learing.

Wie Cloudera auf der TDWI-Konferenz in München bekannt gibt, entwickelt das Open-Source-Unternehmen zusammen mit Microsoft den REST-basierten Open-Source-Service. Neben Microsoft sind noch weitere Unternehmen an der Entwicklung des unter der Apache-Lizenz veröffentlichten Service beteiligt. Von Microsoft stammt vor allem die Integration von Livy mit den eigenen Microservices.

Mit Livy wird aus Spark ein mandantenfähiger Service, in dem sich Sitzungen über Nutzeridentitäten isolieren lassen, und es automatisiert Deployment, Konfiguration und Monitoring. Livy bietet in erster Linie eine Schnittstelle zwischen Applikationen und Spark. Diese Schnittstelle übermittelt Jobs und ruft programmatisch Resultate ab.

Den technologischen Kern von Livy bildet ein REST-Server der Spark-Jobs und Spark-Kontexte übermittelt und verwaltet. Über eine Client-API lasen sich Jobs sehr granular justieren und Ergebnisse asynchron abrufen. Dadurch können Spark-Clients auch ohne manuelle Installation und Konfiguration installiert werden. Voraussetzung für einen http-Endpunkt ist lediglich ein schlanker Client.

Die Architektur von Livy. Das Cloudera-Projekt vereinfacht die Verwaltung von Spark. (hier zusammen mit Hue). (Bild: Hue)

Außerdem erleichtert diese Open-Source-Schnittstelle über den Support für verschiedene Code-Frameworks wie Django oder Play die Steuerung von Spark über Drittanwendungen. Mit geringen Aufwand ist das auch für Anwendungen auf Basis von Node.js oder Go möglich. Zudem lassen sich über REST-basierte Client-APIs in Java Auftragserteilung, Ergebnisabfrage und Management von Spark-Kontexten weiterentwickeln. An den Client-APIs für Scala und Python arbeite Cloudera derzeit noch.

Wie Cloudera betont, vereinfacht Livy auch die Spark-Integration in serviceorientierten oder Microservices-basierte Architekturen. “Microsoft konzentriert sich auf die Vereinfachung von Big Data und moderner Analytik, um Technologien wie Apache Hadoop und Spark für jeden verfügbar zu machen”, kommentiert Tiffany Wissner, Direktorin für Data Platform Marketing bei Microsoft. Durch das Projekt Livy werde die Interaktion mit Spark für Entwickler durch einen REST-Webservice vereinfacht und so Spark für den Einsatz in Unternehmen vorbereitet.

“Wir beobachten bei unseren Kunden und Partnern die natürliche Tendenz, Entwicklungsmöglichkeiten von Spark hinsichtlich Client-Anwendungen mit einfachen Spark-Schnittstellen für sich nutzbar machen zu wollen, und Livy ermöglicht ihnen das”, erklärt Anand Iyer, Senior Product Manager bei Cloudera.

Mit Livy würden sich mit Spark neue Anwendungsfälle ermöglichen. Weil das Projekt sich noch in einer sehr frühen Phase befindet, hofft man bei Cloudera nun auf weiteres Engagement aus der Community. Mehr Informationen über das Projekt gibt es auf Github.

Tipp: Die aktuellen Trends aus der Welt der Business Intelligence finden Sie in unserem Bericht über die “Europäische TDWI-Konferenz in München“.

Martin Schindler

Martin Schindler schreibt nicht nur über die SAPs und IBMs dieser Welt, sondern hat auch eine Schwäche für ungewöhnliche und unterhaltsame Themen aus der Welt der IT.

Recent Posts

Bericht: Nvidia gibt Übernahme von ARM auf

Angeblich trifft der US-Chiphersteller erste Vorbereitungen für die Rücknahme seines Kaufangebots. Auslöser sind die geringen…

21 Stunden ago

Topics: Google stellt neuen Cookie-Nachfolger vor

Er löst den gescheiterten Vorschlag FLoC ab. Google verspricht mit Topics mehr Transparenz und Einflussnahme…

23 Stunden ago

Microsoft steigert Umsatz und Gewinn im zweiten Fiskalquartal

Die Cloud-Sparte ist erneut ein wichtiger Wachstumsmotor. Aber selbst das Geschäft mit Windows-OEM-Lizenzen erzielt ein…

24 Stunden ago

Aktives Scannen: den Hackern einen Schritt voraus

In der vernetzten Produktion wachsen IT und OT zusammen. Damit steigt das Sicherheitsrisiko deutlich bis…

2 Tagen ago

Covid-19-Impfkampagne: Digitale Koordination von Impfterminen

Kassenärztliche Vereinigung Schleswig-Holstein setzt auf Online-Portal mit Oracle-Technologie.

2 Tagen ago

Allianz Risk Barometer 2022: Cyberangriffe weltweites Top-Risiko für Unternehmen

Elfte Umfrage der Allianz: Cyber, Betriebsunterbrechung und Naturkatastrophen sind weltweit die drei größten Geschäftsrisiken in…

3 Tagen ago