In occasione del Huawei Innovative Data Infrastructure Forum 2024 di Berlino, incentrato quest’anno sul tema “Data Awakening: Building Leading AI-Ready Data Infrastructure”, Peter Zhou, Vice Presidente di Huawei e Presidente della Data Storage Product Line, ha aperto l’evento illustrando la visione di Huawei sul futuro del data storage, guidato da molteplici caratteristiche tra cui l’ultra performance, la resilienza dei dati, il nuovo paradigma dei dati, la scalabilità, la sostenibilità e la possibilità di un’integrazione e gestione dei dati end-to-end (data fabric).
Fin dagli anni ’90, le esigenze delle aziende sono passate dall’utilizzo di singoli host, database, servizi di virtualizzazione e condivisione di file all’inclusione di big data e analisi dei dati ad alte prestazioni (HPDA), con un’evoluzione che ha portato a migrare da tecnologie di archiviazione dei dati di tipo DAS, SAN e NAS verso sistemi di data storage non strutturati. Con l’affermarsi dell’IA generativa, la richiesta di soluzioni di archiviazione dati più affidabili è diventata ancora più importante nell’attuale scenario tecnologico.
Poiché la scala dei cluster dei modelli di IA di grandi dimensioni è cresciuta fino a includere decine e persino centinaia di migliaia di GPU, questa espansione ha portato a una maggiore frequenza di malfunzionamenti del cluster e di interruzioni dell’addestramento. Il lungo processo di scrittura ripetuta dei dati di checkpoint e di ripresa dell’addestramento porta a un prolungato tempo di inattività delle schede di calcolo, facendo scendere l’utilizzo del cluster al di sotto del 50%. Inoltre, entro il 2026, si prevede un incremento del consumo energetico globale dei data center di 2,3 volte rispetto a quello del 2022, dunque equivalente al consumo energetico annuale del Giappone. Più della metà dell’energia dei data center sarà consumata dall’IA.
L’intelligenza artificiale rivoluzionerà il processo di storage tradizionale dei dati, concentrandosi non solo sulle prestazioni, sull’affidabilità e sul paradigma dei dati, ma anche sulla scalabilità, sulla sostenibilità e sulla data fabric. Di conseguenza, nei prossimi anni, Huawei ridefinirà il data storage attraverso l’innovazione di sei dimensioni:
- Ultra performance: migliora di 10 volte rispetto a quella tradizionale le prestazioni dell’archiviazione dati. Lo storage supporta anche una larghezza di banda in PB/s e 100 milioni di IOPS, migliorando notevolmente l’efficienza dell’intero processo di IA generativa.
- Resilienza dei dati: l’architettura e le tecnologie innovative garantiscono un’elevata affidabilità pari al 99,99%. Il motore di rilevamento del ransomware integrato aumenta l’accuratezza del rilevamento fino al 99,99%. Anche il tempo di ripristino del checkpoint durante l’addestramento dell’IA è ridotto a meno di un minuto.
- Nuovo paradigma dei dati: i dati tensoriali multidimensionali sono abilitati a supportare un rapido recupero dei dati tramite un motore di ricerca intelligente. La tecnologia RAG (retrieval-augmented generation) lavora con la base di conoscenza incorporata per eliminare l’allucinazione nei modelli IA di grandi dimensioni.
- Scalabilità: un singolo cluster di storage può essere ampliato per ottenere una capacità di livello EB e ogni motore può essere incrementato con un numero maggiore di GPU, DPU o NPU per il calcolo near-storage.
- Sostenibilità: le innovazioni nei supporti e nei dispositivi di storage hanno portato a livelli di efficienza energetica (meno di 1 watt/TB) e densità di storage (superiore a 1 PB/U) straordinari.
- Data fabric: le funzionalità di gestione e ricerca dei metadati di storage consentono la visibilità e la gestibilità dei dati a livello globale, nonché una mobilità dei dati 10 volte più efficiente.
Queste innovazioni hanno gettato le basi per il lancio dell’OceanStor A800 ad alte prestazioni, che rappresenta una potente aggiunta ai modelli di storage della serie OceanStor A di Huawei. Pensato per l’intelligenza artificiale, OceanStor A800 è in grado di aumentare l’utilizzo dei cluster IA del 30% e, per quanto riguarda le prestazioni, offre un’elevata larghezza di banda e IOPS, rispettivamente quattro e otto volte superiori a quelle dei prodotti concorrenti. Per quanto riguarda la scalabilità, OceanStor A800 possiede una capacità di livello EB con un massimo di 512 controller, nonché uno scaling fino a un massimo di 4.096 schede di calcolo. Per quanto riguarda la conservazione dello spazio e dell’energia, la soluzione raggiunge un’eccezionale densità di archiviazione di 1 PB/U e un’efficienza energetica di 0,7 watt/TB. Inoltre, offre un nuovo paradigma di dati con indice vettoriale, dati tensoriali e RAG. In termini di resilienza, l’accuratezza del rilevamento del ransomware è migliorata dal 99,9% al 99,99%. Infine, la capacità del data fabric facilita la gestione degli asset di dati.
Allo stesso tempo, le innovazioni dei supporti di archiviazione stanno guidando lo sviluppo sostenibile. Le nuove unità SSD ad alta capacità di Huawei offrono una capacità 10 volte superiore a parità di dimensioni del disco, riducendo ulteriormente il consumo energetico di un data center. Con una capacità di 128 TB per disco, le nuove unità SSD consumano l’88% in meno di spazio di archiviazione e il 92% in meno di energia rispetto alle unità SSD di altri fornitori per l’archiviazione di un PB di dati.
Per essere AI-ready, le aziende devono essere data-ready. Il file system globale Omni-Dataverse incorporato nel DME rende le risorse di dati aziendali visibili, gestibili e trasferibili in tutte le regioni, creando così una solida base di archiviazione AI data lake.
Durante l’IDI Forum è stata anche presentata OceanClub, una piattaforma con l’obiettivo di promuovere lo sviluppo di applicazioni industriali e l’innovazione tecnologica collaborativa in ambito data storage, favorendo il confronto e lo scambio di informazioni tecniche tra esperti, studiosi, ingegneri e appassionati di tecnologia. In qualità di organizzazione no-profit, OceanClub intende fornire ai professionisti del settore IT l’opportunità di beneficiare di tutti i vantaggi offerti dall’era dell’IA e dei dati, anche offrendo la possibilità di partecipare a seminari e altre opportunità di formazione online e offline. Solo nel 2024, infatti, sono previsti oltre 100 eventi e altre attività in più di 30 Paesi di Europa, Medio Oriente e Asia-Pacifico. I membri sono inoltre incoraggiati a contribuire alla piattaforma, con la condivisione di conoscenze, la pubblicazione di articoli e la partecipazione a eventi, attraverso un piano di reward che include la selezione per l’accesso prioritario a servizi di alto livello e opportunità di scambio in Cina.
