Quando uno script di intelligenza artificiale, scritto da un dipendente del Dipartimento per l'Efficienza Governativa, si è imbattuto in un contratto per il servizio internet, lo ha segnalato come annullabile. Non perché si trattasse di spreco, frode o abuso – dopotutto, il Dipartimento per gli Affari dei Veterani ha bisogno di connettività internet – ma perché al modello erano state fornite istruzioni poco chiare e contraddittorie.

Sahil Lavingia, l'autore del codice, gli aveva ordinato di annullare, o per usare le sue parole, di "sgranocchiare", qualsiasi cosa non contribuisse "direttamente all'assistenza al paziente". Sfortunatamente, né Lavingia né il modello possedevano le conoscenze necessarie per prendere tali decisioni.

"Penso che siano stati commessi degli errori", ha dichiarato Lavingia, che ha lavorato al DOGE per quasi due mesi, in un'intervista a ProPublica. "Sono sicuro che siano stati commessi degli errori. Gli errori capitano sempre."

A quanto pare, sono stati commessi molti errori mentre il DOGE e il VA si affrettavano ad attuare l'ordine esecutivo del presidente Donald Trump di febbraio, che imponeva la revisione di tutti i contratti del VA entro 30 giorni.

ProPublica ha ottenuto il codice e le istruzioni fornite al modello di intelligenza artificiale per esaminare i contratti e ha intervistato Lavingia ed esperti sia di intelligenza artificiale che di appalti pubblici. Stiamo pubblicando un'analisi di queste istruzioni per aiutare il pubblico a comprendere come questa tecnologia viene impiegata nel governo federale.

Gli esperti hanno riscontrato numerose e preoccupanti lacune : il codice si basava su modelli generici e obsoleti, non adatti al compito; il modello ha stimato importi contrattuali errati, attribuendo a circa 1.100 accordi un valore di 34 milioni di dollari ciascuno, quando in realtà il loro valore era talvolta di poche migliaia di dollari; inoltre, l'intelligenza artificiale non ha analizzato l'intero testo dei contratti. La maggior parte degli esperti ha affermato che, oltre ai problemi tecnici, l'utilizzo di modelli di intelligenza artificiale standard per questo compito, con una scarsa conoscenza del funzionamento del Dipartimento per gli Affari dei Veterani (VA), avrebbe dovuto essere scartato a priori.

Lavingia, un ingegnere informatico assunto da DOGE, ha ammesso che il suo lavoro presentava delle lacune, attribuendone la colpa, in parte, alla mancanza di tempo e di strumenti adeguati. Ha inoltre sottolineato di essere consapevole che la sua lista di contratti, da lui definiti "digeribili", sarebbe stata esaminata da altri prima di una decisione definitiva.

Per saperne di più

Di seguito sono riportate alcune parti del prompt, insieme ai commenti degli esperti che abbiamo intervistato. Lavingia ha pubblicato una versione completa sul suo account GitHub personale .

I problemi relativi alla costruzione del modello possono essere individuati fin dalle prime righe di codice, dove il dipendente del DOGE impartisce istruzioni al modello su come comportarsi:

Questa parte del prompt, nota come prompt di sistema, ha lo scopo di modellare il comportamento generale del modello linguistico esteso, o LLM, la tecnologia alla base dei bot di intelligenza artificiale come ChatGPT . In questo caso, è stata utilizzata prima di entrambe le fasi del processo: in primo luogo, prima che Lavingia la utilizzasse per ottenere informazioni come gli importi dei contratti; in secondo luogo, prima di stabilire se un contratto dovesse essere annullato.

Includere informazioni non pertinenti al compito in questione può confondere l'IA. In questa fase, le viene richiesto solo di raccogliere informazioni dal testo del contratto. Tutto ciò che riguarda "stato di consumo", "servizi ausiliari" o "DEI" è irrilevante. Gli esperti hanno dichiarato a ProPublica che cercare di risolvere i problemi aggiungendo ulteriori istruzioni può in realtà avere l'effetto opposto, soprattutto se queste sono irrilevanti.

Ai modelli sono stati mostrati solo i primi 10.000 caratteri di ciascun documento, ovvero circa 2.500 parole. Gli esperti si sono mostrati perplessi, facendo notare che i modelli OpenAI supportano input di dimensioni oltre 50 volte superiori. Lavingia ha affermato di aver dovuto utilizzare un modello di intelligenza artificiale più vecchio per il quale il Dipartimento per gli Affari dei Veterani (VA) aveva già stipulato un contratto.

Questa parte del prompt indica all'IA di estrarre il numero del contratto e altri dettagli chiave di un contratto, come il "valore totale del contratto".

Questo metodo era soggetto a errori e non necessario, poiché informazioni contrattuali accurate sono già reperibili in database pubblici come USASpending . In alcuni casi, ciò ha comportato che al sistema di intelligenza artificiale venisse fornita una versione obsoleta del contratto, con conseguente segnalazione di un importo contrattuale ingannevolmente elevato. In altri casi, il modello ha erroneamente estratto dalla pagina una cifra irrilevante anziché il valore effettivo del contratto.

"Cercano informazioni dove è facile ottenerle, piuttosto che dove sono corrette", ha affermato Waldo Jaquith, ex collaboratore di Obama che si occupava degli appalti IT presso il Dipartimento del Tesoro. "Questo è l'approccio più pigro per raccogliere le informazioni che desiderano. È più veloce, ma meno accurato."

Lavingia ha riconosciuto che questo approccio ha portato a degli errori, ma ha affermato che tali errori sono stati successivamente corretti dal personale del Dipartimento per gli Affari dei Veterani (VA).

Una volta estratte queste informazioni, il programma ha effettuato una seconda analisi per determinare se il contratto fosse "comprabile".

Anche in questo caso, al modello sono stati mostrati solo i primi 10.000 caratteri. Di conseguenza, la valutazione della "consumabilità" si è basata esclusivamente sulle prime pagine del documento contrattuale.

La sezione di prompt sopra riportata costituisce la prima serie di istruzioni che indicano all'IA come segnalare i contratti. Il prompt fornisce poche spiegazioni su cosa stia cercando, non definendo cosa si intenda per "assistenza medica/benefici essenziali" e mancando di informazioni su cosa si intenda per "consulente necessario".

Per le tipologie di modelli utilizzate nell'analisi DOGE, è fondamentale includere tutte le informazioni necessarie per giungere a una determinazione accurata.

Cary Coglianese, professore all'Università della Pennsylvania che studia l'uso governativo dell'intelligenza artificiale, ha affermato che sapere quali lavori potrebbero essere svolti internamente "richiede una comprensione molto sofisticata dell'assistenza medica, della gestione istituzionale e della disponibilità di risorse umane" che il modello non possiede.

Il prompt sopra riportato tenta di attuare una politica fondamentale dell'amministrazione Trump: eliminare tutti i programmi di diversità, equità e inclusione (DEI). Tuttavia, il prompt non include una definizione di cosa sia la DEI, lasciando al modello il compito di stabilirla.

Nonostante l'ordine di annullare i contratti relativi a diversità, equità e inclusione (DEI), pochissimi sono stati segnalati per questo motivo. Gli esperti di appalti hanno osservato che è molto improbabile che informazioni di questo tipo si trovino nelle prime pagine di un contratto.

Queste due linee guida, che secondo gli esperti erano mal definite, hanno avuto il peso maggiore nell'analisi DOGE. La risposta dell'IA citava frequentemente queste ragioni come giustificazione della "consumabilità". Quasi ogni giustificazione includeva una forma della frase "assistenza diretta al paziente" e, in un terzo dei casi, il modello segnalava i contratti perché affermava che i servizi potevano essere gestiti internamente.

I requisiti mal definiti hanno portato alla segnalazione per la cancellazione di diversi contratti per i servizi internet degli uffici VA. In una delle giustificazioni, il modello affermava quanto segue:

Il contratto prevede la fornitura di servizi dati per la connettività internet, un servizio di infrastruttura IT che si colloca a più livelli di distanza dall'assistenza clinica diretta al paziente e che potrebbe probabilmente essere svolto internamente, pertanto può essere classificato come "sfruttabile" (munchable).

Il contratto prevede la fornitura di servizi dati per la connettività internet, un servizio di infrastruttura IT che si colloca a più livelli di distanza dall'assistenza clinica diretta al paziente e che potrebbe probabilmente essere svolto internamente, pertanto può essere classificato come "sfruttabile" (munchable).

Nonostante queste istruzioni, l'IA ha segnalato molti contratti relativi ad audit e conformità come "comprabili", etichettandoli come "servizi di natura commerciale".

In un caso, il modello ha persino riconosciuto l'importanza della conformità pur segnalando un contratto per la cancellazione, affermando: "Sebbene essenziali per garantire cartelle cliniche e fatturazione accurate, questi servizi sono una funzione di supporto amministrativo (un 'servizio ausiliario') piuttosto che un'assistenza diretta al paziente".

Shobita Parthasarathy, professoressa di politiche pubbliche e direttrice del programma di Scienza, Tecnologia e Politiche Pubbliche presso l'Università del Michigan, ha dichiarato a ProPublica che questa parte del prompt era degna di nota in quanto istruisce il modello a "distinguere" tra i due tipi di servizi senza istruirlo su cosa salvare e cosa eliminare.

L'enfasi sulla "cura diretta del paziente" si riflette nella frequenza con cui l'IA la citava nei suoi suggerimenti, anche quando il modello non disponeva di alcuna informazione su un contratto. In un caso in cui aveva etichettato tutti i campi come "non trovati", ha comunque deciso che il contratto era comunque valido. Ha fornito la seguente motivazione:

In assenza di prove che implichino procedure mediche essenziali o supporto clinico diretto, e supponendo che il contratto riguardi servizi amministrativi o di supporto correlati, soddisfa i criteri per essere classificato come "snackabile".

In assenza di prove che implichino procedure mediche essenziali o supporto clinico diretto, e supponendo che il contratto riguardi servizi amministrativi o di supporto correlati, soddisfa i criteri per essere classificato come "snackabile".

In realtà, questo contratto riguardava la manutenzione preventiva di importanti dispositivi di sicurezza noti come sollevatori a soffitto presso i centri medici del Dipartimento per gli Affari dei Veterani (VA), inclusi tre siti nel Maryland. Il contratto stesso affermava:

I sollevatori a soffitto vengono utilizzati dal personale per riposizionare i pazienti durante le cure. Sono dispositivi di sicurezza fondamentali sia per il personale che per i pazienti e devono essere sottoposti a regolare manutenzione e ispezione.

I sollevatori a soffitto vengono utilizzati dal personale per riposizionare i pazienti durante le cure. Sono dispositivi di sicurezza fondamentali sia per il personale che per i pazienti e devono essere sottoposti a regolare manutenzione e ispezione.

Questa parte del prompt tenta di definire i "servizi ausiliari". Utilizza molti esempi molto specifici, ma introduce anche categorie vaghe senza definizioni, come "contratti non performanti/non essenziali".

Gli esperti hanno affermato che, affinché un modello possa determinarlo correttamente, sarebbe necessario fornirgli informazioni sulle attività essenziali e su ciò che è necessario per supportarle.

Questa sezione del prompt è il risultato di un'analisi condotta da Lavingia e da altri membri dello staff del DOGE, ha spiegato Lavingia. "Probabilmente deriva da una sessione in cui ho utilizzato una versione precedente del copione, che con ogni probabilità qualcuno del DOGE ha giudicato non abbastanza incisiva. Non so perché inizi con un 2. Immagino di non essere stato d'accordo con uno di loro, e quindi abbiamo messo solo 2, 3 e 4 qui."

In particolare, la nostra analisi ha rilevato che gli unici chiarimenti relativi a errori passati riguardavano scenari in cui il modello non segnalava un numero sufficiente di contratti da annullare.

Questa sezione del prompt fornisce i dettagli più precisi su cosa si intenda per "assistenza diretta al paziente". Sebbene copra molti aspetti dell'assistenza, lascia comunque parecchia ambiguità e costringe il modello a formulare i propri giudizi su cosa costituisca "efficacia comprovata" e apparecchiatura medica "critica".

Oltre alle informazioni limitate fornite su cosa costituisca assistenza diretta al paziente, mancano indicazioni su come stabilire se un prezzo sia "ragionevole", soprattutto considerando che il modello LLM esamina solo le prime pagine del documento. I modelli non hanno familiarità con le prassi consolidate nei contratti governativi.

"Non riesco proprio a capire come sia possibile. È difficile da capire per un essere umano", ha detto Jaquith a proposito della possibilità che l'IA possa determinare con precisione se un contratto ha un prezzo ragionevole. "Non vedo come un laureato in giurisprudenza (LLM) possa saperlo senza una formazione davvero specializzata."

Questa sezione elenca esplicitamente quali attività potrebbero essere "facilmente internalizzate" dal personale del Dipartimento per gli Affari dei Veterani (VA), e per questo motivo oltre 500 contratti diversi sono stati segnalati come "suddivisibili".

"Un problema più grande in tutto questo è che sembra esserci un presupposto secondo cui i contratti siano intrinsecamente uno spreco", ha detto Coglianese quando gli è stata mostrata questa parte del testo. "Altri servizi, come quelli qui descritti, sono più economici da esternalizzare. Anzi, sono proprio il tipo di servizi che non vorremmo considerare 'sprecabili'". Ha poi spiegato che l'esternalizzazione di alcune di queste attività potrebbe anche "sottrarre risorse umane all'assistenza diretta al paziente".

In un'intervista, Lavingia ha riconosciuto che alcuni di questi incarichi potrebbero essere gestiti meglio esternamente. "Non vogliamo tagliare quelli che renderebbero il Dipartimento per gli Affari dei Veterani (VA) meno efficiente o che ci costringerebbero ad assumere un gran numero di persone internamente", ha spiegato Lavingia. "Cosa che attualmente non possono fare a causa del blocco delle assunzioni".

Il Dipartimento per gli Affari dei Veterani (VA) difende l'uso dell'intelligenza artificiale per esaminare i contratti, definendolo "un precedente di buon senso". Documenti ottenuti da ProPublica suggeriscono che il VA stia valutando ulteriori modalità di impiego dell'IA. Un'e-mail di marzo inviata da un alto funzionario del VA al DOGE (Department of General Employment) affermava:

Oggi, il Dipartimento per gli Affari dei Veterani (VA) riceve oltre 2 milioni di richieste di indennità di invalidità all'anno e il tempo medio per una decisione è di 130 giorni. Riteniamo che importanti miglioramenti tecnici (tra cui l'intelligenza artificiale e altre forme di automazione), combinati con cambiamenti di processo e di cultura incentrati sul veterano, promossi dall'ufficio del nostro Segretario, potrebbero migliorare drasticamente questa situazione. Un piccolo progetto pilota già avviato in questo ambito ha portato all'elaborazione del 3% delle richieste recenti in meno di 30 giorni. La nostra missione è capire come aumentare questa percentuale dal 3% al 30% e poi ulteriormente, in modo che solo le richieste più complesse richiedano più di qualche giorno.

Oggi, il Dipartimento per gli Affari dei Veterani (VA) riceve oltre 2 milioni di richieste di indennità di invalidità all'anno e il tempo medio per una decisione è di 130 giorni. Riteniamo che importanti miglioramenti tecnici (tra cui l'intelligenza artificiale e altre forme di automazione), combinati con cambiamenti di processo e di cultura incentrati sul veterano, promossi dall'ufficio del nostro Segretario, potrebbero migliorare drasticamente questa situazione. Un piccolo progetto pilota già avviato in questo ambito ha portato all'elaborazione del 3% delle richieste recenti in meno di 30 giorni. La nostra missione è capire come aumentare questa percentuale dal 3% al 30% e poi ulteriormente, in modo che solo le richieste più complesse richiedano più di qualche giorno.

impatto