Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Secondo Cohere un modello open-weight, durante un test in un sandbox chiuso, ha tentato di caricare un file diagnostico su un server in Cina. L’azione è stata bloccata, ma solleva interrogativi profondi su cosa significhi davvero “fare girare in locale” un LLM.
Toronto – Un tentativo di esfiltrazione di dati via web. Questo è il titolo – per così voler dire – della disclosure pubblicata dal blog di Cohere, la società canadese di AI frontier, nel suo post dal titolo evocativo di “Concerning behaviour from a popular open-weight AI model”.
Secondo quanto emerso, all’interno di un ambiente di testing chiuso e gestito da Cohere, uno dei più recenti modelli open-weight di Alibaba, il Qwen3.8-Flash-Next, avrebbe tentato di inviare un file diagnostico verso un container di storage remoto nel cloud Alibaba situato in Beijing.
Durante una valutazione volta a verificare la capacità del modello di scrivere una regola di rilevamento di malware, il modello avrebbe dichiarato di non voler utilizzare strumenti, per poi tentare comunque di inviare qualcosa a un server in Cina. L’operazione è stata intercettata e bloccata dall’infrastruttura di sandbox. Resta il dubbio, non giustificato, dei ricercatori di Cohere: probabilmente si è trattato di una peculiarità emersa dalla fase di training, non certo di un’operazione deliberata. E comunque, per ora, non c’è una risposta certa.
Da un punto di vista strettamente giornalistico, l’episodio è stato classificato come un comportamento “concerning” — parola che non a caso compare nel titolo del post — e come un caso che si è verificato in meno di un tentativo ogni 100.000 interazioni. Una frequenza pressoché irrisoria, che i ricercatori hanno sottolineato evidenziato nella loro discussione. Eppure, chi scrive è il modello, e chi scrive è un modello open-weight, scaricabile, eseguibile, riproducibile. Qui si apre la riflessione critica, che è il cuore della questione: cosa significa VERAMENTE realmente “eseguire in locale” un LLM?
Una delle più gettonate narrazioni nell’adozione dell’AI in azienda è stata questa: perché affidare i propri dati a un provider chiuso, quando possiamo scaricare un LLM ed usarlo sui nostri server?
L’idea è semplice. Se i modelli sono open-weight, chi li esegue controlla tutto. I dati non escono. Il modello non parla con nessuno. La fiducia, in un certo senso, si trasferisce dal fornitore al proprietario dei server. L’episodio di Cohere, al contrario, colpisce proprio nel punto di rottura di questa fantomatica narrativa.
Il tentativo è avvenuto dentro un sandbox. Un ambiente chiuso, isolato, progettato per limitare ogni possibilità. E il modello ha comunque provato a inoltrare un file verso un server esterno, probabilmente non comprendendo l’esecuzione protetta all’interno della sandbox. Questo è il vero spiazzamento “problema”. Non si tratta di un modello che ha “capito male” il prompt, né di un jailbreak orchestrato da un ricercatore. Si tratta di un comportamento osservato in condizioni controllatissime, con un modello che – sulla carta – non avrebbe dovuto avere alcun motivo stravagante.
E se il comportamento era solo una “peculiarità di training”, allora quello che abbiamo imparato oggi (o forse ricordato è il termine migliore): i modelli open-weight non sono software nel senso classico del termine. Sono estrazioni di comportamento appreso da enormi quantità di dati. Non si possono patchare come un bug tradizionale, né certificare cosa sia avvenuto durante l’addestramento. E soprattutto, non si può escludere che certi schemi di azione – come l’esfiltrazione – emergano in punti imprevedibili.
Chi lavora nella cybersecurity sa che la sandboxing è una pratica fondamentale. Ma l’accaduto di Cohere dimostra quanto sia sottile il confine tra “il modello non deve fare” e “il modello non può fare”. l modello ha dichiarato – o ha elaborato – di non voler usare strumenti. E poi ha provato a inviare qualcosa. Non c’è evidenza che sia stata una scelta razionale, deliberata, o un’interpretazione errata del task. C’è solo un’evidenza comportamentale, rara, ma non impossibile.
E qui entra in gioco la critica più spietata nei confronti della narrativa dell’open-weight come soluzione di sicurezza:
La lezione più immediata, per i decisori che oggi valutano modelli open-weight per l’uso in produzione, è duplice. Da un lato, la tecnologia di sandboxing e containment ha dimostrato di essere necessaria – e forse non sufficiente. Il tentativo è stato fermato, ma la sua esistenza dice che i controlli passivi (instradare la rete, limitare i permessi) vanno affiancati a controlli attivi sul comportamento in corso d’opera. Dall’altro, la vicenda rafforza una tesi che molti in campo avevano già assunto ma che fatica a entrare nel mainstream: l’open-weight, per quanto riguarda la sicurezza, è un potenziale agente, con comportamenti imprevedibili, che va monitorato quanto – e più di quanto – un modello chiuso.
In conclusione questo episodio ci ha lasciato l’amaro in bocca ma gli operatori del settore non sono più di tanto meravigliati: l’idea che abbia guidato l’adozione degli open-weight – “se lo eseguo io, i miei dati non escono” – è stata smentita dallo stesso scenario che voleva dimostrarne la validità. Il modello, a quanto pare, non ha letto questo ed altri post.