Partiamo dalla notizia. Joel Feder, giornalista automobilistico di The Drive, stava provando una Range Rover, messa a disposizione del produttore, con una targa speciale del New Jersey: 34 10 DTM. A Los Angeles era stata denunciata come rubata una targa simile, 34 03 DTM, ma nel rapporto sarebbe stata registrata in forma incompleta come 34 DTM. Le telecamere automatiche di Flock Safety avrebbero letto soltanto i caratteri più grandi della targa di Feder, ignorando il “10”, scritto in caratteri più piccoli.
La corrispondenza ha attivato un’allerta condivisa e il veicolo sarebbe stato seguito per giorni, fino al fermo in Minnesota da parte di quattro pattuglie. Dopo circa un’ora e una verifica con Jaguar Land Rover, è emerso che né l’auto né la targa erano rubate; secondo gli agenti, altrove il fermo avrebbe potuto avvenire con le armi spianate.

Questa storia non racconta di una macchina impazzita, ma qualcosa di più ordinario e quindi più serio: un errore umano è entrato in un sistema automatico, ha incontrato una lettura parziale e ne è uscito vestito da certezza. La sequenza è semplice e per questo quasi elegante. Un dato incompleto diventa una corrispondenza, che diventa un’allerta, per poi trasformarsi in un pedinamento e quindi giungere a compimento con un fermo. Nessuno, lungo il percorso, aggiunge una prova. Quello che era scritto su un pezzo “34 DTM” è un’approssimazione, ma dalla in pasto a un sistema che aggiunge mappe, orari e notifiche, e muta in una verità inoppugnabile. Un lettore automatico di targhe non sa che un’auto è rubata. SI limita a estrarre caratteri da un’immagine, li confronta con una lista e segnala una somiglianza. Il resto lo facciamo noi, spesso con una deferenza quasi religiosa verso tutto ciò che lampeggia su un monitor, ma dimentichiamo qualche non trascurabile dettaglio. Migliaia di telecamere, milioni di passaggi, elenchi condivisi, notifiche che arrivano mentre altre stanno già arrivando. Più dati dovrebbero significare più controllo, ma senza freni e priorità accade l’opposto: il controllo si trasforma in delega. L’operatore non si fa la domanda “questa automobile è davvero quella cercata?”, ma accetta la risposta “Il sistema di riconoscimento non sbaglia”.  La tecnologia, in casi simili, non crea per forza l’errore. Gli offre velocità e memoria. Un refuso in un rapporto può restare per settimane dentro un cassetto, ma collegato a una rete di sensori, invece, attraversa Stati, si replica tra agenzie e aspetta la persona sbagliata nel parcheggio giusto. Se non iniziamo a progettare attriti utili sarà sempre peggio. Una corrispondenza debole dovrebbe obbligare a una seconda verifica; una targa con caratteri di dimensioni diverse dovrebbe abbassare il livello di confidenza; un’allerta che coinvolge più veicoli simili dovrebbe aprire un dubbio, non moltiplicare i sospetti. Il controllo umano ha senso soltanto se arriva prima dell’intervento, non dopo che quattro pattuglie della polizia hanno perso tempo.

Quando la decisione si distribuisce tra chi inserisce il dato, chi costruisce l’algoritmo, chi gestisce la lista e chi interviene sul campo, ciascuno possiede soltanto un frammento della vicenda che evidentemente non è abbastanza per produrre l’accensione del cervello.

La lezione, quindi, non riguarda l’infallibilità delle macchine, che non è mai esistita. Piuttosto la nostra abitudine a scambiare l’automazione per una prova e la velocità per accuratezza. Un sistema può essere utilissimo e, nello stesso momento, pericoloso quando lavora in modalità degradata senza dichiararlo. Quando un errore entra in un sistema automatico per noi esseri umani sorge un grave problema: ci sembra più difficile da contraddire.