Come si misura se un progetto AI ha funzionato, e perché il numero va preso prima di partire

Il numero del «prima» ha una scadenza

C'è una cosa che nessuno dice quando parte un progetto di intelligenza artificiale: il momento in cui si può ancora misurare come si lavorava finisce il giorno in cui si accende lo strumento nuovo.

Appena il giro cambia, il vecchio modo smette di produrre dati. Nessuno compila più quel foglio, le mail passano da un'altra casella, i tempi che si leggevano da una fila di pratiche non esistono più perché la fila non c'è. Tre mesi dopo, alla domanda «è migliorato?», la risposta deve uscire dalla memoria delle persone — che su quel tipo di domanda dice sempre quello che fa comodo a chi la racconta.

A quel punto non è più una misura: è una discussione. E in una discussione vince chi parla più forte, non chi ha ragione.

Cosa si misura davvero

L'errore più comune è scegliere una grandezza che suona bene e che nessuno ha mai registrato: le ore risparmiate. Nessuna azienda sa quante ore passava su un giro di lavoro, perché nessuno le contava — e una stima confrontata con un'altra stima non dimostra niente.

Serve una grandezza che esisteva già e che qualcuno registrava già, anche male, anche di lato:

• Quante volte al mese si fa quel giro. Conta anche solo la riga di un registro o il numero di righe di un file.
• Quanti giorni passano fra due passaggi. La data di arrivo di un documento e la data in cui è stato lavorato quasi sempre esistono entrambe.
• Quanti errori si correggono a valle. Le note di rettifica, i rifacimenti, le mail che cominciano con «scusate, c'è un problema su».
• Quante cose restano in attesa. La coda: pratiche aperte, richieste senza risposta, pezzi fermi in mezzo.

Non sono numeri eleganti. Sono numeri che si tirano fuori da quello che già c'è, e per questo valgono: non li ha inventati nessuno per l'occasione.

La fotografia si scatta prima, e si scrive

Un numero ricordato non è una misura. Prima di partire si prende il dato, si mette su un foglio con la sua data e il periodo che copre, e quel foglio si salva dove lo ritroveranno anche quelli che non c'erano.

Costa mezza giornata. È la mezza giornata che decide se il progetto, alla fine, avrà una prova o un aneddoto.

Il confronto deve essere onesto

Il paragone non si fa fra un mese qualunque e un mese qualunque. Si confronta lo stesso periodo dell'anno — agosto contro agosto, non agosto contro novembre — e si guarda se il volume è lo stesso: lavorare il doppio di pratiche nello stesso tempo è un risultato, lavorarne la metà non lo è.

E si scrive cosa è cambiato nel frattempo oltre al progetto: una persona in più, un cliente grosso andato via. Dichiararlo non indebolisce il risultato: lo rende l'unico credibile.

Il numero che dice che è andata male

Questo è il passaggio che separa chi misura da chi racconta: la soglia sotto la quale si ammette che non ha funzionato, decisa prima di partire.

Un numero e una data: se fra sei mesi i giorni fra arrivo e lavorazione non scendono sotto quattro, questa strada non era quella giusta e si cambia. Scritto prima, perché dopo nessuno è neutrale — né chi ha comprato, né chi ha venduto.

Chi non mette quella soglia non sta misurando. Sta preparando una presentazione.

Due cose che sembrano misure e non lo sono

• La soddisfazione dichiarata. «Si lavora meglio» dice che la cosa piace, non che serve: le persone sono gentili con gli strumenti nuovi, e soprattutto con chi li ha voluti.
• L'adozione. «Lo usano tutti» misura quanto è stato installato, non quanto ha prodotto. Uno strumento può essere aperto ogni giorno da dieci persone e non avere spostato un solo giorno di lavorazione.

Entrambe arrivano ai capi con facilità, perché sono positive e non costano niente da raccogliere. Ed entrambe lasciano la domanda vera senza risposta.

Perché insistiamo su questo

Lo abbiamo imparato costruendoci gli strumenti che usiamo tutti i giorni, e sbagliando prima di capirlo: le prime volte abbiamo cambiato come lavoravamo e ci siamo accorti dopo di non avere niente con cui confrontare il risultato. La conclusione era sempre la stessa — un numero senza controprova è un'opinione, e un'opinione non dice se il lavoro andava fatto.

Oggi un progetto non parte se prima non abbiamo scritto il numero di partenza e la soglia di fallimento: è la parte meno tecnica del mestiere, e quella che decide se ci sarà un secondo progetto.

Se stai valutando un intervento di AI o di automazione e non sai ancora quale numero prendere oggi, scrivici: si parte da quello, prima di qualunque strumento.