3FS, un filesystem open-source creato da DeepSeek ed ottimizzato per performance (mostruose) di training e inference AI

Quando abbiamo parlato in chiusura di gennaio del crollo delle azioni NVIDIA (ed in generale dei titoli tecnologici legati all’AI) avevamo indicato un principale indiziato: DeepSeek, l’azienda cinese che si è presentata out of the blue con un Large Language Model (LLM) addestrato con soli 6 milioni di dollari, contro il centinaio circa costati per ChatGPT.

Tra accuse di “plagio” (che forse c’è stato e forse no, nessuno potrà mai saperlo con certezza) e censura preventiva (che sicuramente c’è nel momento in cui si usa il chatbot fornito dall’azienda), una cosa è chiara ormai da tempo a tutti: DeepSeek è qui per restare.

Vale poi la pena di ricordarlo, come raccontavamo nell’articolo di apertura, il modello DeepSeek ha un cuore open-source, sebbene sulla definizione di cosa sia un LLM open-source ci sarà certamente da discutere a lungo.

Ma i legami di DeepSeek con l’open-source non si limitano al modello, infatti, racconta Phoronix, l’azienda cinese ha reso pubblico Fire Flyer File System, o 3FS, un filesystem basato su Linux FUSE, progettato per consentire migliori prestazioni di training e inferenza dell’intelligenza artificiale.

3FS è un filesystem distribuito progettato per sfruttare le moderne unità a stato solido e le reti RDMA, per offrire una migliore esperienza di training e inferenza dell’intelligenza artificiale.

Sviluppato in Rust basato sul database distribuito FoundationDB di Apple, 3FS è disponibile nello spazio utente (FUSE, appunto), ed ha come obiettivo la semplificazione della distribuzione all’interno di cluster che si occupano di training/inferenza dell’intelligenza artificiale su larga scala e con storage condiviso.

Nella pagina GitHub del progetto vengono presentati dei grafici che mostrano le performance di Fire-Flyer (che funziona con un’architettura disaggregata) decisamente impressionanti, come questo sul read throughput di un cluster composto da 180 nodi di storage (!), ciascuno dotato di NIC InfiniBand da 2×200 Gbps e sedici SSD NVMe da 14 TiB:

Più di 500 nodi client sono stati utilizzati per lo stress test di lettura, con ogni nodo client configurato con NIC InfiniBand da 1×200 Gbps. La velocità di lettura aggregata finale ha raggiunto circa 6,6 TiB/s (!) con traffico in background da job di training.

Piuttosto mostruoso, così come l’hardware disponibile per questo test.

Chicca finale, la licenza con cui è distribuito questo progetto è la MIT, la più libera e aperta possibile.

Se avete 180 nodi storage che vi avanzano, fateci sapere come vanno i vostri test!