Cloud Dataproc, Googles Cloud-Service für Big Data, ist ab sofort allgemein verfügbar. Der Service basiert auf Hadoop und Spark. Unterstützt werden zusätzlich MapReduce, die Programmierplattform Pig und die Data-Warehousing-Lösung Hive.
Google startete im September 2015 mit den Beta-Tests. “Während der Betaphase wurde Cloud Dataproc um mehrere wichtige Funktionen erweitert, darunter Property Tuning, VM-Metadaten und Tagging sowie die Versionierung von Clustern“, erklärt Produktmanager James Malone in einem Blog.
Nutzer bezahlen für den Service einen US-Cent je Stunde vCPU. Google stellt Cloud Dataproc noch den Service Cloud Dataflow zur Seite. Dieser soll Batch- und Streamverarbeitung unterstützen. Google will damit die Datenverarbeitung im großen Maßstab einer größeren Nutzerschaft zugänglich machen. Datenforscher, Datenanalysten und datenzentrierte Entwickler sollen damit einen einfacheren und besser skalierbaren Zugang zu Informationen erhalten.
Die zugrunde liegende Technik wurde inzwischen in ein Inkubationsprojekt der Apache-Stiftung überführt, das Apache Beam heißt. Auch andere Google-Dienste wie Cloud Storage, Cloud Bigtable und BigQuery lassen sich mit dem neuen Angebot verbinden.
Sowohl Marktführer Amazon Web Services als auch IBMs Public Cloud und Microsoft Azure bieten bereits Big-Data-Services an. Zudem kann man Hadoop-basierte Clouddienste bei Start-ups wie Aleron, Altiscale, CenturyLink, Quobole Data Service, Rackspace und Mirantis buchen. Google nennt als Vorteile seines eigenen Angebots den niedrigen Preis, die hohe Geschwindigkeit und die Möglichkeit, andere Cloud-Platform-Dienste damit zu koppeln. Auch brauche man weder einen Administrator noch eine spezielle Verwaltungssoftware, sondern könne einfach die Cloud Platform Console, das Cloud SDK oder die Cloud Dataproc REST API nutzen.
Für Neulinge stellt Google einen Schritt-für-Schritt-Leitfaden bereit. Sein Dokumentationsangebot umfasst auch zwei Beispielprogramme und drei Tutorien, darunter eines für Monte-Carlo-Simulationen, wie sie inzwischen auch im Finanzsektor populär sind.
[mit Material von Florian Kalenda, ZDNet.de]
Tipp: Wie gut kennen Sie Google? Testen Sie Ihr Wissen – mit dem Quiz auf silicon.de.
Drei Bausteine bilden die Grundlage für eine KI-Governance: Dokumentation von KI-Projekten, Model Evaluation und Monitoring…
Eine Harmonisierung der Vorschriften für RIDP-Prozesse wird dazu beitragen, Angriffe künftig besser abwehren zu können,…
Die Übernahme der Metaal Kennis Groep soll den Zugang zur Metallindustrie verbessern. Im Fokus stehen…
EY hat Mitarbeitende in neun europäischen Ländern dazu befragt, wie stark KI ihren Arbeitsalltag verändert.
Kann die Privatwirtschaft mit DePINs – dezentralen, physischen Infrastrukturnetzwerken – erreichen, was Gaia-X bislang vergeblich…
Analyse zur Anfälligkeit von MFA auf Basis von 15.000 Push-basierten Angriffen. Größte Schwachstelle ist die…