Hanno usato i Mondiali per mettere alla prova le AI (e il risultato insegna qualcosa)

Il Mondiale si è chiuso il 19 luglio con la Spagna campione. Mentre si giocava, un gruppo di ricercatori ha avuto un'idea semplice e furba: usare le 104 partite come banco di prova per quattro intelligenze artificiali. Il gioco era questo. Prima di ogni partita, ogni modello raccoglie informazioni dal web, si sbilancia su chi vince e piazza una scommessa finta da 100 dollari. A partita finita, guarda com'è andata. Poi si passa alla successiva.

I quattro sotto esame erano modelli di punta: Claude, ChatGPT, Gemini e Grok. Contro di loro, un quinto concorrente silenzioso: il mercato delle scommesse, cioè le quote dei bookmaker.

Perché il Mondiale è un banco di prova perfetto

Qui c'è il concetto che vale l'intero articolo, e non riguarda il calcio.

Il problema di quasi tutti i test sulle AI è che i modelli hanno già letto le risposte. Vengono addestrati su una montagna di testo preso da internet, e se tu li interroghi su un quiz famoso, magari quel quiz era nei dati con tanto di soluzioni. Sembrano bravissimi, ma stanno in parte ricordando, non ragionando. In gergo si chiama contaminazione del test.

Una partita non ancora giocata è immune da questo. Nessuno, nemmeno l'AI più ingozzata di dati, può aver letto da qualche parte come finisce Spagna-Argentina prima che si giochi. Il futuro non è nei dati di addestramento. Ecco perché i ricercatori parlano di benchmark "non contaminato": un test pulito, dove il modello deve davvero prevedere, non recuperare dalla memoria.

Com'è andata

Due risultati, e sono più interessanti di quanto sembri.

Il primo: i quattro modelli si somigliano tantissimo. Nel 92% delle partite indicano lo stesso favorito, e la cosa sorprendente è che nessuno dei quattro riesce a battere il mercato delle scommesse, quella folla anonima di scommettitori che molti si aspettavano di veder surclassare. Anzi, va peggio. Una strategia banale come puntare sempre sul favorito dei bookmaker rende più di tutti e quattro. Le AI di frontiera, messe a indovinare il futuro, non fanno meglio della saggezza già contenuta nelle quote.

Il secondo è più sottile. Anche se i pronostici erano quasi identici, i modelli si comportavano in modo molto diverso come "decisori". Alcuni si appoggiavano quasi sempre alle quote di mercato, altri le ignoravano. E quando sbagliavano previsione, la consapevolezza di aver toppato variava parecchio da modello a modello. Stessa risposta in superficie, teste diverse sotto.

La lezione, che non è sul calcio

Attenzione, non è un pezzo sulle scommesse e non ti sto dicendo di giocarti lo stipendio seguendo un chatbot. Il punto è un altro, ed è utile a chiunque valuti uno strumento AI.

Uno: diffida dei modelli che sembrano infallibili sui test. Se un'AI stupisce su un benchmark, la prima domanda da farsi è se quel test, con tutte le sue soluzioni, non fosse per caso già finito dentro i dati con cui il modello è stato addestrato. Spesso la bravura è memoria travestita da intelligenza. La prova vera è su qualcosa che il modello non poteva conoscere.

Due: su un problema genuinamente incerto, l'AI non è un oracolo. Qui, di fronte al futuro, i modelli non hanno battuto uno strumento vecchio come le quote dei bookmaker. Vuol dire che per certe cose l'informazione già disponibile nel mondo pesa più della potenza di calcolo. Comodo saperlo prima di pagare per il modello più costoso convinti che indovini il futuro.

Tre, e chiude il cerchio: se quattro modelli diversi ti danno la stessa risposta, non è una conferma che sia giusta. Può solo voler dire che hanno letto le stesse cose. L'accordo non è verità, è spesso solo dieta comune.

---