Episodio 36 – Human in the Loop: perché l’AI legale ha ancora bisogno di un avvocato al comando

Il partner di uno studio di medie dimensioni chiede a uno strumento di AI di rivedere un contratto di fornitura. In meno di due minuti, lo strumento segnala tre clausole problematiche. Il partner accetta l’output, lo inoltra al cliente e passa oltre. Due settimane dopo, sorge una controversia su una quarta clausola, quella che l’AI aveva completamente mancato. Era nascosta in un rinvio interno. L’AI non ha seguito la catena dei rinvii. Il partner non ha verificato.

Purtroppo, non si tratta più di un’ipotesi. Versioni di questo scenario stanno già emergendo negli studi legali e nei team legali in-house. Tutte rivelano la stessa debolezza: l’AI viene adottata senza un modello operativo chiaro per la supervisione umana. Vi sembra un’esagerazione? Date un’occhiata a questo database, che ha già raccolto più di 1.000 allucinazioni in decisioni giudiziarie in tutto il mondo, e il numero continua a crescere.

La professione legale parla continuamente di mantenere un “human in the loop”. Ma invocare la formula è facile. Tradurla nella pratica legale quotidiana è molto più difficile. E c’è un’altra domanda, altrettanto importante, che molti team continuano a evitare: in quale momento l’essere umano dovrebbe effettivamente intervenire?

Cosa significa davvero “Human in the Loop” nel lavoro legale

Human in the loop (HITL) è un principio di progettazione. Significa che una persona qualificata rivede, valida e si assume la responsabilità dell’output di un sistema di AI prima che quell’output produca qualsiasi conseguenza. Nel lavoro legale, questo si traduce in un impegno preciso: nessun parere, documento o analisi generato dall’AI esce dallo studio o dal dipartimento senza che un avvocato se ne sia occupato attivamente.

La parola chiave è attivamente. Dare un’occhiata a una sintesi redatta dall’AI prima di inoltrarla non conta come supervisione. Lanciare una revisione contrattuale con l’AI e premere “approva” senza leggere le clausole segnalate non conta nemmeno. L’HITL richiede attenzione deliberata. Significa trattare l’output dell’AI come una prima bozza che esige giudizio professionale prima di diventare un elaborato definitivo.

La vera domanda: quando interviene l’essere umano?

La maggior parte delle discussioni sull’HITL si concentra sulla questione se un essere umano debba essere coinvolto. Quella domanda ha una risposta semplice: sì. La domanda più difficile, e più pratica, è quando l’essere umano debba intervenire nel processo. Sbagliare i tempi può rendere la supervisione inutile oppure soffocante.

Consideriamo tre momenti diversi in cui il coinvolgimento umano gioca un ruolo differente:

• Prima che l’AI entri in azione (fase di input). L’essere umano definisce cosa deve fare l’AI, imposta i parametri, seleziona lo strumento giusto per il compito. È la fase in cui un avvocato decide se una pratica sia adatta o meno al supporto dell’AI. La revisione di un NDA di routine? Probabilmente sì. Un parere regolamentare ad alto rischio? Probabilmente richiede un approccio diverso, con l’AI limitata al supporto nella ricerca anziché alla redazione.
• Durante l’esecuzione (fase di monitoraggio). Per i processi di AI più lunghi, come l’e-discovery o l’analisi contrattuale su larga scala, l’essere umano controlla i risultati intermedi invece di attendere l’output finale. Esaminare a campione una parte dei documenti segnalati a metà della revisione può intercettare errori sistematici prima che si propaghino su migliaia di file.
• Dopo che l’AI ha consegnato l’output (fase di validazione). È la forma più comune di HITL, quella a cui la maggior parte dei team ricorre per default. L’AI produce qualcosa; l’avvocato lo rivede. Ma anche qui, la profondità della revisione dovrebbe essere proporzionata al rischio del compito. Una sintesi di routine della giurisprudenza richiede un livello di scrutinio diverso rispetto a una clausola redatta dall’AI in un contratto di M&A cross-border.

Il punto è che l’HITL non dovrebbe essere un unico checkpoint alla fine del processo. Per la maggior parte dei flussi di lavoro legali, la risposta giusta prevede un coinvolgimento umano in più fasi, con un’intensità calibrata sul profilo di rischio di ciascuna pratica.

Cinque passi concreti per costruire un vero flusso di lavoro HITL

Se il vostro studio o la vostra direzione affari legali utilizza strumenti di AI (o sta pensando di farlo), ecco un framework concreto per mettere in pratica la supervisione umana.

• Mappate dove agisce l’AI e dove decidono le persone, incluso il quando. Per ogni processo in cui l’AI è coinvolta, specificate cosa fa l’AI (redigere, segnalare, sintetizzare, classificare) e cosa fa l’essere umano (rivedere, approvare, modificare, respingere). Poi aggiungete una terza dimensione: in quale fase si colloca ciascun punto di decisione umana? Prima dell’esecuzione, durante, dopo, o in più fasi? Se non riuscite a rispondere con chiarezza a tutte e tre le domande (cosa fa l’AI, cosa fa l’essere umano e quando interviene l’essere umano), il processo ha bisogno di ulteriore lavoro di progettazione prima di entrare in funzione.
• Definite protocolli di revisione, non solo permessi. Dare a un avvocato l’accesso a uno strumento di AI è una cosa diversa dal dargli un protocollo di revisione. Definite come deve essere una revisione adeguata per ciascun compito. Per l’analisi contrattuale assistita dall’AI, potrebbe significare: leggere per intero ogni clausola segnalata, controllare a campione almeno tre sezioni non segnalate e verificare tutti i rinvii rispetto al documento di origine. Mettetelo per iscritto. Rendetelo parte del flusso di lavoro anziché un’aspettativa informale.
• Formate sulle modalità di errore tipiche dell’AI. L’AI non commette gli stessi errori degli esseri umani. Può produrre testi sicuri e ben strutturati ma fattualmente sbagliati. Può ignorare un contesto che sarebbe ovvio per un associate al primo anno. Formare gli avvocati alla revisione dell’output dell’AI significa insegnare loro dove questi strumenti falliscono e quando essere più scettici.
• Costruite audit trail fin dal primo giorno. Ogni attività assistita dall’AI dovrebbe lasciare una traccia: quale strumento è stato usato, quale input è stato fornito, quale output è stato generato, chi lo ha rivisto, quali modifiche sono state apportate e in quale fase è avvenuta la revisione. Quando qualcosa andrà storto (e succederà), la domanda sarà: lo studio disponeva di un processo ragionevole? Un audit trail chiaro è la migliore risposta a quella domanda.
• Rivedete il processo di revisione stesso. Gli strumenti di AI cambiano. I modelli vengono aggiornati. Compaiono nuove funzionalità. Il processo di revisione ha bisogno di un proprio ciclo di revisione, con cadenza almeno trimestrale. Monitorate i tassi di errore. Raccogliete feedback dagli avvocati che svolgono le revisioni. Adattate i protocolli man mano che la tecnologia e i casi d’uso cambiano. Gli studi e le direzioni affari legali che trattano l’HITL come un sistema vivo, e non come una casella da spuntare, manterranno nel tempo sia la qualità sia la fiducia.

Conclusione

C’è la tentazione di vedere la supervisione umana come un freno all’efficienza. Qualcosa che rallenta la macchina. Questa lettura non coglie affatto il punto.

Gli studi e i dipartimenti che costruiranno solide pratiche HITL si vedranno affidare lavori di maggior valore, da clienti che capiscono che l’AI da sola non offre il giudizio di cui hanno bisogno. Un avvocato in grado di spiegare cosa ha trovato l’AI, perché una determinata clausola è importante, cosa l’AI potrebbe aver tralasciato e quali sono le implicazioni strategiche: quell’avvocato vale di più in un mercato abilitato dall’AI.

La supervisione, fatta bene e al momento giusto, è la ragione per cui l’AI funziona nella pratica legale.

In Better Ipsum aiutiamo studi legali e direzioni affari legali a progettare strategie di implementazione dell’AI che mantengano il giudizio umano al centro. Se state costruendo il vostro framework HITL o ripensando il modo in cui il vostro team lavora con l’AI, contattateci.