500 Terabyte täglich – Datenrausch bei Facebook

So werden täglich 2,7 Milliarden Likes verarbeitet, die bei Facebook sowie anderen Webseiten anfallen. Die 955 Millionen Nutzer des Sozialen Netzes teilen täglich 2,5 Milliarden Inhalte und laden 300 Millionen Fotos hoch. 70.000 Anfragen sind zu bearbeiten, die von Nutzern kommen oder automatisch generiert werden. Alles zusammen bedeutet, dass mehr als 500 TByte an Daten zu “verdauen” sind.

Für die meisten Funktionen muss die Verarbeitung fast in Echtzeit erfolgen, erklärte Jay Parikh, der als Vice President für die Infrastruktur bei verantwortlich ist und damit auch für den Datenfluss und Facebooks Umgang mit dem Thema Big Data. Nur so könne eine gute, schnelle und personalisierte Nutzer-Erfahrung gewährleistet werden. “Wir können es uns nicht leisten, dass Ihr Foto erst in der nächsten Woche hochgeladen und gespeichert wird”, sagte er. Ständige Daten-Updates erfordere beispielsweise auch eine Funktion wie “Empfohlene Freunde” – wenn ein Freund neu hinzugefügt werde, müssten alle Verknüpfungen sofort sichtbar sein.

Die Verarbeitung der Daten innerhalb von Minuten habe für Facebook außerdem den Vorteil, Nutzerreaktionen besser verstehen und neue Produkte in kürzester Zeit einführen zu können. Bei Big Data gehe es darum, Einsichten zu gewinnen und für die geschäftliche Entwicklung zu nutzen. Ein System namens Gatekeeper erlaubt es, verschiedene mögliche Veränderungen bei einem kleinen Prozentsatz der Nutzerbasis gleichzeitig zu testen. Möglich sind auch Simulationen mit historischen Daten, bevor Veränderungen umgesetzt werden.

Der Manager enthüllte weiterhin, dass Facebook über 100 Petabyte Daten in einem einzigen Hadoop-Disk-Cluster speichert. “Wir glauben, dass wir das größte Hadoop-System der Welt betreiben”, sagte er. Diese Big-Data-Lösung erlaubt die Verarbeitung und Analyse großer Datenmengen auf Computerclustern. Es ist ein Open-Source-Projekt der Apache Software Foundation, das insbesondere von Yahoo und Google gefördert wurde.

Das Soziale Netz teilt die Datenmengen nicht auf und errichtet auch keine Barrieren zwischen verschiedenen Geschäftsbereichen wie Werbung und Kundensupport. Laut Parikh sollen Produktentwickler eine Sicht auf Daten über die Abteilungen hinweg bekommen, um beispielsweise erfassen zu können, ob eine kleine Änderung zu längerer Verweildauer auf der Site, zu Beschwerden oder mehr Werbeklicks führt.

Auf Nachfragen anwesender Journalisten versicherte er, Facebook treffe zahlreiche Vorkehrungen, um den Missbrauch dieser breiten Zugangsmöglichkeiten zu verhindern, der ausschließlich Produktentwicklern zustehe. Wer diese Grenzen überschreite, werde gefeuert. “Wir haben eine Null-Toleranz-Politik”, sagte er.

[mit Material von Donna Tam, News.com]

Tipp: Wie gut kennen Sie Soziale Netzwerke? Testen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.