AI Data Lake Solution: Storage für die KI-Ära
Von der Speicherung riesiger Datenmengen bis zur Nutzung von KI und High Performance Computing – mit seiner AI Data Lake Solution bietet Huawei eine Blaupause für die intelligente Transformation in Wirtschaft, Bildung und Forschung.
Was haben eine wissenschaftliche Simulation am CERN und ein autonomes Fahrzeug gemeinsam? Beide generieren täglich Daten im Petabyte-Bereich und sind Paradebeispiele für die exponentielle Datenflut, die Unternehmen und Organisationen vor immense Herausforderungen stellt. Bis 2028 wird erwartet, dass weltweit 393 Sextillionen Bytes an Daten generiert und gespeichert werden. Diese Daten sind auf unterschiedliche Quellen und Formate verteilt, divers und dynamisch, was erhebliche Herausforderungen für die Infrastruktur und Datenmanagementsysteme mit sich bringt. Die Konsequenzen dieser Datenflut sind ebenso vielfältig: Sie hat das Potenzial, Geschäftsprozesse zu optimieren und neue Märkte zu erschließen. So wird der Wirtschaftszweig rund um Künstliche Intelligenz (KI) im Jahr 20230 voraussichtlich einen globalen Einfluss von 22,3 Billionen Dollar haben, was 3,7 Prozent des globalen BIP entspricht. Die Entwicklung erfordert jedoch auch erhebliche Investitionen in Technologie und Fachwissen, um die Daten effektiv zu nutzen.
GenAI-Storage bislang in Forschung und Wissenschaft
Klar ist: Um die Anforderungen der KI-Ära zu erfüllen, müssen Unternehmen ihre Infrastruktur modernisieren. Dies umfasst die Erhöhung der IT-Ausgaben, die Modernisierung von Rechenzentren und die Verbesserung der Cybersicherheitsmaßnahmen. Für die Speicherung und Verwaltung von Daten spielen KI und High Performance Computing eine immer größere Rolle. KI ermöglicht die Analyse heterogenener, verteilter Daten, während High Performance Computing (HPC) die nötige Rechenleistung bereitstellt. Early Adopter in den Bereichen Wissenschaft, Bildung und Forschung setzen bereits heute auf solche fortschrittliche Datenmanagementlösungen.
Daten aufbereiten nach dem FAIR-Prinzip
Das Forschungsdatenmanagement (Research Data Management) ist entscheidend für die moderne Wissenschaft und geht über die herkömmliche Datenerfassung und -speicherung hinaus. Es umfasst alle notwendigen Prozesse des Datenflusses, um eine sichere Erfassung, Speicherung, Analyse und langfristige Verfügbarkeit von Daten zu gewährleisten. RDM trägt dazu bei, den langfristigen Wert von Daten zu extrahieren und die Einhaltung der FAIR-Prinzipien zu gewährleisten: Um Daten nachhaltig nutzen zu können, müssen sie auffindbar (Findable), erreichbar (Accessible), kompatibl (Interoperabel) und wiederverwendbar (Reusable) sein. Solche systematischen Datenplattformen aus der Forschung sind jedoch längst nicht mehr auf geschlossene Systeme in Universitäten beschränkt. Sie werden stattdessen zunehmend „mainstream“, da immer mehr Branchen die Vorteile der Datenanalyse und KI erkennen und nutzen.
AI Data Lake Solution in Hamburg vorgestellt
Wie muss Infrastruktur beschaffen sein, damit sie künftigen Anforderungen gerecht wird? Das war Mitte Juni auch Thema auf dem ISC High Performance 2025 Event in Hamburg, einer Konferenz zu Hochleistungsrechnern, KI-Datenanalysen und Quantencomputing. Dort hat Huawei ein neues HPC- und KI-fähiges Storage-Produkt vorgestellt: die AI Data Lake Solution. Diese Lösung ist speziell darauf ausgelegt, Data-Lake-Infrastrukturen aufzubauen und die Anforderungen von Arbeitslasten in KI- und HPC-Umgebungen zu erfüllen. Die Speicherinfrastruktur eignet sich ideal für den anspruchsvollen Betrieb von Data-Management-Plattformen im Forschungsbereich.
Vom Data Lake zum Training von KI-Modellen
Die Architektur der AI Data Lake Solution umfasst vier Layer: Datenspeicherung, Datenmanagement, KI-Toolchain sowie Anwendung und Betrieb. Die Huawei OceanStor A Series und OceanStor Pacific Series bieten branchenführende Speicherleistung und Effizienz für massive Datenmengen. Das Datenmanagement wird durch Huawei DME Omni-Dataverse und eDataInsight optimiert, um umfassende Datenverwaltung zu gewährleisten. Die KI-Toolchain, bestehend aus iData und ModelEngine, optimiert die Datenaufnahme und das Modellengineering. Schließlich ermöglicht die Anwendungsschicht Modelltraining, Inferenz und vertrauenswürdiges Teilen in einem offenen Ökosystem.
Data-Lake-Lösung in Polen und Spanien im Einsatz
Huawei ist ein führender Anbieter im globalen Speichermarkt und hat seine Lösungen in über 150 Ländern implementiert. Zu den erfolgreichen Umsetzungen im KI- und HPC-Bereich zählen führende europäische Forschungseinrichtungen wie das Poznan Supercomputing and Networking Center (PSNC) in Polen und das Consorci de Serveis Universitaris de Catalunya (CSUC) in Spanien. Das PSNC in Polen nutzt Huaweis OceanStor Pacific Speicherlösung, um seine HPC- und Data-Lake-Dienste zu optimieren. Diese Lösung unterstützt PSNC dabei, große Datenmengen effizient zu speichern und zu analysieren, was für die Bedürfnisse von Universitäten und Forschungseinrichtungen entscheidend ist. Durch die Bereitstellung von Echtzeit-Datenverarbeitung und -analyse hat PSNC seine Dateninfrastruktur erheblich verbessert und somit die wissenschaftliche Forschung in Polen gestärkt.
Das CSUC in Spanien hat durch die Implementierung von Huaweis AI Data Lake-Lösung seine Speicherkapazität um das 24-fache gesteigert und den Energieverbrauch pro Terabyte erheblich reduziert. Die Speicherlösung von Huawei ermöglicht einen nahtlosen Zugriff auf Daten und unterstützt die effiziente Verwaltung großer Datenmengen, was für die Forschung und die akademische Welt von entscheidender Bedeutung ist. Das CSUC profitiert von einer verbesserten Speicherleistung und Energieeffizienz und stärkt damit seine Position als führende Institution in der Nutzung von HPC und KI.
Weitere Informationen zu den professionellen Speicherlösungen von Huawei finden Sie hier: https://e.huawei.com/de/
