Saturday’s Talks: non sai come creare un modello AI su Azure? Ci pensa l’operator Kubernetes AI di Microsoft… A confonderti le idee :)

Nella battaglia #abbassoilcomplesso che tenacemente, ma insensatamente combattiamo da tempo qui sul portale contro la complessità che permea il mondo informatico, dopo aver raccontato le parole del cofondatore di Kubernetes che alla Kubecon suggeriva un budget di complessità da non sforare per il progetto, ci siamo imbattuti in questo articolo ZDNet, intitolato Kubernetes made simple? Microsoft adds AI toolchain operator to Azure service.

In estrema sintesi quello che l’articolo suggerisce è che, siccome Kubernetes è complicato di suo, e siccome quanti vogliono “giocare” con l’intelligenza artificiale ed i Large Language Model (LLM) devono fare girare i propri workload su Kubernetes (già qui bene, ma non benissimo), Microsoft ha risolto tutti i problemi, creando l’AI toolchain operator, che si occuperà di tutto, in maniera automatica.

Perché, diciamolo, non sono gli operator di Kubernetes la soluzione di tutti i problemi del mondo?

In verità no, e non ce ne vogliano quanti pensano il contrario.

Gli operator risolvono alcuni problemi e, come tutte le tecnologie complesse, vanno correttamente centellinate all’interno della propria infrastruttura, onde evitare che la carenza di capacità gestionali uccida la propria infrastruttura e la propria capacità di erogazione.

Non è però questo il tema di quanto state leggendo. Al centro della riflessione quotidiana c’è proprio KAITO, un bellissimo acronimo che sta per Kubernetes AI Toolchain Operator, la tecnologia risolutrice di tutti i problemi che la pagina Deploy an AI model on Azure Kubernetes Service (AKS) with the AI toolchain operator (Preview) spiega come installare.

I prerequisiti sono semplici: 1. dovete avere un account Azure 2. dovete sapere cos’è la CLI di Azure ed avercela installata 3. dovete sapere cos’è Helm (versione 3, mi raccomando) ed avercelo installato 4. dovrete avere accesso alla vostra istanza di Kubernetes mediante kubectl (e quindi implicitamente dovete sapere che cosa sia Kubernetes insieme anche a cosa sia un operator).

Ma uno dice, nel momento in cui hai un’esigenza così specifica come quella dell’AI, puoi mai non avere le nozioni di cui sopra? Non siamo in grado di rispondere alla domanda, ma l’articolo di partenza parlava di qualcosa made simple, perciò ci siamo fidati.

Così l’articolo segue con una serie di attivazioni, abilitazioni, integrazione tra la linea di comando di Azure e bash che, tanto per gradire sono anche sbagliate in molte parti, andando a dichiarare delle variabili d’ambiente che poi vengono utilizzate senza l’utilizzo del $ e quindi, apparentemente e se non ci sfugge qualcosa, assolutamente inservibili.

Un totale di diciotto comandi, tolta la fase di preparazione data per assodata, che dovrebbero predisporre l’ambiente per lanciare il Falcon 7B, un modello di AI, ma che vi lasciamo il piacere di scoprire da soli.

Sia chiaro, questo articolo vuole essere ironico, ma vorrebbe fare anche capire come pronunciamenti e visioni semplicistiche che affermano cose come made simple in un’epoca in cui la tecnologia base prevede l’esistenza di un cluster multi nodo che gestisce applicazioni scalabili in maniera centralizzata di semplice non hanno davvero nulla.

In tutto questo neanche una buona notizia? Come no! KAITO, la cui semplice architettura è rappresentata in questo schema:

è disponibile su GitHub, poiché è un progetto open-source!