Una scatola AI a casa tua: la mia previsione su come abbatteranno i costi dei datacenter

Qualche giorno fa ho raccontato di OpenAI che prevede di bruciare quasi trecento miliardi entro il 2030. Da allora mi gira in testa una domanda da imprenditore, non da ricercatore: come se ne esce? Ho un'idea, e viene dal mio mestiere, quello delle telecomunicazioni. La metto qui alla prova in pubblico, con i suoi buchi, perché è più onesto che venderla come una certezza.

L'idea, presa dal mondo telco

Ogni operatore telefonico fa una cosa da decenni: ti mette in casa un apparecchio suo, il router, che gestisce da remoto e che tu paghi con un piccolo noleggio dentro l'abbonamento. E se un laboratorio di AI facesse lo stesso? Una scatola a casa del cliente, con dentro il modello, gestita dal datacenter ma fisicamente da te. Il grosso del lavoro lo fa la scatola, il datacenter respira, tu tieni i dati in casa, e loro ottengono un cliente che difficilmente se ne va. Detto così suona perfetto. Ma non lo è, e vale la pena capire dove si rompe, perché è lì che si capisce dove invece funziona.

Dove non torna: per il grande pubblico

Il primo problema è l'utilizzo, e non c'è tecnologia che lo aggiri. Un datacenter è efficiente proprio perché è condiviso: una singola scheda serve migliaia di persone insieme e lavora quasi tutto il giorno. Una scatola in casa serve una persona e sta ferma il 95% del tempo. Per unità di lavoro svolto, l'hardware in casa costa di più, non di meno. E il risparmio sulla corrente e sul raffreddamento non è un risparmio, è un trasferimento: la bolletta la paghi tu.

Il secondo problema è il conto. Una macchina capace di far girare un modello serio costa oggi tra i duemila e i cinquemila euro, e l'hardware per l'AI invecchia in due o tre anni. A quindici euro al mese non la ripaghi mai. Gli operatori il noleggio lo fanno con router da sessanta euro, non con scatole da migliaia.

Dove invece torna alla perfezione: chi usa gli agenti tutto il giorno

E qui cambia tutto, perché basta cambiare cliente. Pensate a chi fa lavorare gli agenti AI per ore, ogni giorno, come facciamo noi in azienda. Per loro la scatola non sta ferma, macina di continuo, e l'obiezione dell'utilizzo sparisce. Ma la cosa bella è un'altra, ed è la nostra lente di sempre: guarda i soldi.

Su chi perdono più denaro i laboratori? Proprio sugli utenti pesanti dei piani da cento o duecento dollari al mese, che consumano calcolo a valanga. E quello stesso abbonamento ripaga una scatola da qualche migliaio di euro in un anno, un anno e mezzo. Il segmento dove la scatola ha senso tecnico è esattamente il segmento dove il provider oggi sanguina e dove il prezzo copre già l'hardware. Le tre cose coincidono, e quando coincidono di solito non è un caso.

Il trucco è il modello giusto, non il modello di punta

Un'obiezione onesta: il modello di punta, il più grande, in una scatola non ci sta, servono rack interi. Verissimo, ma non serve che ci stia. Con la quantizzazione moderna, cioè la tecnica che "schiaccia" i numeri di un modello per farlo occupare meno memoria, a 4 bit la qualità resta praticamente intatta, e a 3 bit ci si sta arrivando con tecniche nuove, anche se su matematica e codice il calo si sente ancora. Risultato: un modello della fascia sotto quella di punta, di livello Sonnet o Haiku per intenderci, compresso a 4 bit sta in una scatola da 128 GB e ci gira bene. E i laboratori quella fascia di modelli la rilasciano già con i pesi aperti, quindi metterla in casa del cliente non è un tabù. Il gioiello resta in datacenter, il cavallo da lavoro può viaggiare.

Il modello di punta come capo cantiere

Ed ecco la chiave di volta. Il modello grande non lavora, dirige. Il modello nella scatola macina i compiti, il modello di punta nel cloud pianifica all'inizio, controlla ai punti di passaggio, verifica il risultato e interviene solo quando quello piccolo non è sicuro. Come un capo cantiere che non posa mattoni ma decide il progetto e passa a controllare. La qualità la firma sempre il migliore, ma il grosso del costo, che sta nei token prodotti, lo fa la scatola. Il datacenter passa da fare tutto a supervisionare, e il suo carico crolla.

Questo schema non è teoria, l'abbiamo usato noi pochi giorni fa: per scrivere la nostra linea editoriale ho fatto scansionare quarantotto articoli a quattro modelli piccoli ed economici in parallelo e ho tenuto quello grande solo per la sintesi. Modelli piccoli sul volume, modello grande a decidere. La scatola sposta i lavoratori a casa tua, ma il pattern è collaudato.

Sta già succedendo

E infatti il mercato si sta muovendo. NVIDIA vende una scatola da 128 GB per l'AI in casa e la spinge apertamente come "AI locale sotto il tuo tetto". E Perplexity ha lanciato un agente che gira in locale proprio su quella scatola, esegue interi flussi di lavoro senza consumare crediti e scala ai modelli di punta nel cloud solo quando serve più ragionamento. È esattamente l'architettura descritta qui, già in funzione. Manca solo l'ultimo passo, quello della mia previsione: il laboratorio che smette di farti comprare la scatola e comincia a dartela lui, in bundle con l'abbonamento, ai clienti che gli costano di più.

La bandiera, come sempre

La previsione quindi è questa: le scatole AI in casa arriveranno, ma prima per chi fa lavorare gli agenti tutto il giorno, non per il grande pubblico. Con due avvertenze da tenere strette. La prima è che il pezzo insostituibile, il modello che comanda, resta fuori casa vostra, e lì sta il vero legame con il fornitore: sappiate cosa firmate. La seconda è che se il cloud cade, la scatola continua a fare i compiti di routine, senza il capo ma funzionante, e questo, per chi ci lavora, è un pregio non da poco. Ho provato a smontare la mia idea da solo prima di pubblicarla. È rimasta in piedi, ma più stretta e più vera di quando ero partito.