Un avvocato del New Mexico ha presentato un atto d'appello citando testimoni e verbali di polizia che non sono mai esistiti. Non li aveva inventati lui: erano il risultato di un assistente di intelligenza artificiale usato per riassumere gli atti. La corte ha multato il legale e lo ha segnalato all'ordine professionale. Il punto non è la vicenda giudiziaria: è che un testo plausibile e falso è indistinguibile da un testo vero, finché qualcuno non controlla.

Chiunque usi questi strumenti in azienda (per una relazione, un preventivo, una sintesi di contratto, una risposta a un cliente) lavora con lo stesso rischio, solo con conseguenze diverse.

Perché il modello inventa

Questi sistemi non "cercano" informazioni: producono la continuazione più probabile di un testo. Se una risposta verosimile non esiste, il modello non si ferma: ne costruisce una che suona come le altre. Il fenomeno si chiama allucinazione ed è una proprietà del funzionamento, non un difetto temporaneo da aspettare.

Tre forme che si vedono spesso in azienda:

  • Fatti inventati. Nomi, date, numeri, riferimenti a norme o articoli di legge mai esistiti.
  • Citazioni sbagliate. Fonti reali attribuite a contenuti che non dicono quello.
  • Dettagli credibili ma falsi. Il caso più insidioso: il testo è corretto nell'impianto e sbagliato in un dettaglio tecnico, che nessuno nota perché il resto convince.

La regola che risolve quasi tutto: il modello propone, la persona verifica

Gli strumenti di IA generativa funzionano bene come acceleratori di bozze e male come fonte. La distinzione pratica è semplice: tutto ciò che ha conseguenze (verso un cliente, un ente, un tribunale, un dipendente) va verificato da una persona che sa dove guardare. Non è diffidenza: è il normale controllo di qualità che applichiamo a qualsiasi fornitore.

Quattro abitudini che riducono i rischi senza rallentare il lavoro:

  • Fatti verificabili separati dalle opinioni. Date, importi, norme, nomi: ognuno va ricontrollato su una fonte primaria.
  • Documenti non pubblici fuori dai chatbot aperti. Un testo caricato su un servizio esterno esce dal perimetro aziendale: prima di incollare, chiediti chi lo legge.
  • Regole scritte su chi controlla cosa. Chi firma un documento generato con l'aiuto dell'IA se ne assume la responsabilità: va detto, non lasciato all'intuito.
  • Formazione breve e concreta. Un'ora sui casi reali (compresi gli errori) vale più di un manuale.

Un collegamento che molte aziende non fanno

C'è un secondo livello di rischio, meno noto: se il modello non distingue fra istruzioni e dati, allora un testo che gli arriva dall'esterno (un allegato, una pagina web, un'email) può contenere istruzioni nascoste. È lo stesso meccanismo che sta dietro agli attacchi di prompt injection: l'IA usata per leggere documenti di terzi diventa un canale da controllare, non solo uno strumento da usare.

E c'è la parte dati: ciò che entra in questi strumenti segue le stesse regole di tutto il resto. Chi tratta informazioni personali resta dentro il perimetro di GDPR e NIS2, indipendentemente da dove il testo viene elaborato.

Cosa fare da lunedì

Non serve vietare nulla. Serve un uso con controllo: strumenti scelti, dati che restano in azienda, verifiche assegnate a qualcuno per nome, esempi di errori condivisi. Chi fa questo prima degli altri usa l'IA con più libertà, perché sa dove sono i bordi.

Se vuoi capire quali processi della tua azienda possono usare l'IA in sicurezza (e come metterli in regola) la prima conversazione serve a questo: puoi prenotarla dalla pagina Contatti.