GUIDA 8 min

Come misurare il ritorno dell'AI in azienda, senza raccontarsi storie

I numeri di efficienza che leggi nei casi studio dei fornitori non valgono per la tua azienda. Quello che vale è un numero preso prima e ripreso dopo, sulla stessa domanda. Ecco come si imposta e quali trappole evitare.

“Quanto ci fa risparmiare?” è la domanda che chiude ogni conversazione sull’intelligenza artificiale in azienda, e quasi sempre riceve la risposta sbagliata: una percentuale presa dal caso studio di qualcun altro.

Quei numeri non valgono per te. Vengono da aziende con processi diversi, software diversi e persone diverse. Servono a capire cosa è possibile, non a stimare cosa succederà da te.

Quello che vale è molto più semplice, e ha un solo requisito scomodo: bisogna misurare prima.

La misura che funziona quasi sempre

Le ore a settimana spese su attività ripetitive, dichiarate dalle persone che le fanno, raccolte prima che il progetto cominci e raccolte di nuovo dopo.

Funziona per tre motivi.

Le persone sanno rispondere. Chiedere “quanto sei efficiente” non produce dati, chiedere “quante ore a settimana passi a ricopiare dati da un sistema all’altro” produce un numero che chi fa quel lavoro conosce bene.

L’errore si annulla. Come stima assoluta quel numero è impreciso, e va bene così: la stessa persona con lo stesso metro, prima e dopo, sbaglia nella stessa direzione. La differenza regge anche se i valori assoluti no.

E soprattutto fa emergere cose che la direzione non sa. Nelle ricognizioni che facciamo prima dei percorsi, la larga maggioranza delle persone dichiara più ore di quante la direzione si aspetti, e quasi sempre su attività che nessuno aveva mai contato perché non stanno in nessun processo scritto.

Come si raccoglie la fotografia iniziale

Dieci minuti a persona, prima che il progetto cominci. Tre cose:

  • su quali software passa davvero la giornata
  • quante ore a settimana vanno in attività ripetitive, divise per tipo
  • cosa sta già usando di suo, compresi gli strumenti non autorizzati

Il terzo punto sembra fuori tema e non lo è: se metà dell’ufficio usa già un assistente con account personale, parte del guadagno è già stato incassato prima di cominciare, e attribuirlo al progetto falserebbe tutto.

Due accortezze. La prima: la raccolta la fa qualcuno che non ha sponsorizzato il progetto, altrimenti i numeri di partenza tendono a gonfiarsi. La seconda: cosa si misura e come si definisce va deciso prima, per iscritto. Se la definizione della metrica arriva dopo i risultati, la metrica si adatterà ai risultati.

Il conto

Prendi le ore recuperate a settimana, moltiplicale per il costo orario aziendale e per le settimane lavorative. Confronta con quello che hai speso.

Un esempio con numeri inventati, solo per mostrare la forma: dodici persone, due ore a settimana recuperate ciascuna, quarantaquattro settimane. Sono 1.056 ore l’anno. Moltiplicate per il costo orario della tua azienda danno la cifra che conta.

Una sola avvertenza, che è anche la ragione per cui molti conti di questo tipo non convincono i direttori finanziari: un’ora liberata non è un’ora risparmiata in cassa. Diventa valore in due modi soltanto. O quell’ora viene riempita con lavoro che prima non si riusciva a fare, e allora è capacità in più. Oppure evita un’assunzione o un’ora di straordinario che ci sarebbero state, e allora è costo in meno.

Se non succede né l’una né l’altra cosa, il tempo è stato liberato e riassorbito, e il conto era teorico. Vale la pena dirlo prima, perché è l’obiezione che arriverà.

Quando misurare di nuovo

Sei-otto settimane dopo la fine del percorso.

Prima è troppo presto: nelle prime due settimane c’è l’effetto novità e i numeri sono euforici. Dopo sei mesi è troppo tardi, perché nel frattempo sono cambiate altre cose e non si capisce più cosa ha prodotto cosa.

Conviene anche una seconda rilevazione a sei mesi, ma con uno scopo diverso: non misurare il progetto, verificare se ha tenuto. È lì che si vede se le nuove abitudini sono sopravvissute al primo mese di lavoro arretrato, ed è l’informazione più utile per decidere se estendere.

Le quattro trappole

Misurare la soddisfazione. Il questionario di gradimento a fine giornata misura com’è andata la giornata. Esce sempre bene e non dice niente su cosa succederà dopo.

Misurare l’uso invece del risultato. Il numero di conversazioni, i token consumati, quante persone hanno aperto lo strumento. Sono indicatori di adozione, utili per capire se la cosa è viva, inutili come ritorno. Un ufficio può usare tanto uno strumento e non risparmiare un minuto.

Prendere per buoni i numeri del fornitore. Anche i nostri. Quello che un fornitore può legittimamente dimostrare è cosa è successo altrove. Quello che deve saperti dire è come misurerebbe da te, prima di cominciare.

Misurare tutto. Tre metriche seguite bene battono quindici raccolte una volta e mai più. Se la raccolta è faticosa, alla seconda rilevazione non la fa nessuno e resti senza confronto.

Il numero che vale più di tutti

Se puoi tenerne uno solo, tieni questo: quante persone, sei mesi dopo, usano ancora quello che hanno imparato.

Non è una metrica finanziaria e non entra in nessun business case. Ma tutti i ritorni veri che abbiamo visto stanno lì dentro, e tutti i progetti falliti che abbiamo visto avevano quel numero vicino a zero, spesso accompagnato da ottimi questionari di gradimento.

Come si imposta un percorso perché quel numero non sia zero è il tema della guida su come si sceglie un corso di AI, in particolare la parte su cosa succede nei due mesi dopo.

Come si arriva a quelle ore recuperate, fase per fase, è nella guida sull’AI adoption in azienda.

Domande frequenti

Quanto tempo serve prima di vedere un ritorno misurabile?

Sulle attività ripetitive individuali, dalle sei alle otto settimane. Serve che le persone abbiano superato la fase in cui lo strumento è una curiosità e siano arrivate a usarlo dentro il lavoro normale. Misurare a due settimane dà numeri euforici che non reggono, misurare a sei mesi non dice più cosa li ha prodotti.

Le ore dichiarate dalle persone sono attendibili?

Come stima assoluta no, e non serve che lo siano. Servono come confronto: la stessa persona, la stessa domanda, prima e dopo. L'errore di stima c'è in entrambe le misure e in buona parte si annulla nella differenza.

Posso usare i numeri dei casi studio del fornitore?

Per capire cosa è possibile sì, per stimare il tuo ritorno no. Quei numeri vengono da aziende con processi, software e persone diversi. Un fornitore serio te lo dice e ti propone di misurare da te, invece di promettere la stessa percentuale.

Cosa misuro se il lavoro non è ripetitivo?

Il tempo di attraversamento di un processo, cioè quanto passa fra quando una cosa entra e quando esce. Una risposta a un cliente, un preventivo, una pratica. È più difficile da raccogliere delle ore dichiarate, ma è molto più difficile da contestare.

Come evito che il numero venga gonfiato da chi ha voluto il progetto?

Facendo raccogliere la misura a qualcuno che non ha sponsorizzato l'iniziativa, e fissando prima del progetto cosa si misura e come. Se la definizione della metrica arriva dopo i risultati, la metrica si adatterà ai risultati.

Guide collegate