Alberto“Se nella domanda della patente c’è la parola ‘sempre’, la risposta è falsa.”
Mi è capitato di vedere video su Instagram che propongono questi “trucchi” per superare l’esame teorico.
La cosa mi ha incuriosito.
Non perché voglia passare l’esame senza studiare: non ho la patente e, per ora, continuo farne a meno. 😉
❓La domanda era un’altra: è possibile che il modo in cui sono scritte le domande contenga informazioni sulla risposta corretta?
Il listato ministeriale è pubblico, quindi ho fatto un piccolo esperimento.
Mi sono fatto aiutare dall’AI a costruire gli strumenti: il codice per estrarre dal PDF 7.106 domande VERO/FALSO, strutturarle e analizzare parole, bigrammi e trigrammi.
Poi ho usato strumenti diversi per verificare i risultati e cercare di capire che cosa stessi osservando.
E qualcosa di curioso è uscito.
“Sempre = falso” non funziona poi così bene.
“Sempre” compare 82 volte: 53 FALSO, 29 VERO.
Rispondendo automaticamente FALSO avremmo ragione nel 64,6% dei casi. Meglio di una moneta, ma non esattamente una regola.
Altri pattern sono più forti.
“Solo” compare 242 volte: 76,4% FALSO.
“In ogni caso”: 19 FALSO su 21.
Al contrario, “moderare” compare 39 volte e 38 risposte sono VERE: 97,4%.
E la negazione?
“Non” compare 833 volte: 51,9% FALSO.
Praticamente nessuna informazione.
Ma diventa ancora più interessante quando smettiamo di guardare le singole parole.
“Può” tende leggermente verso VERO.
Eppure “il conducente può” tende fortemente verso FALSO, mentre “può trovare” tende verso VERO.
Quindi sì: nel dataset esistono pattern linguistici.
Alcuni dipendono probabilmente dal significato. Altri potrebbero raccontare il modo in cui sono costruite le domande e i distrattori: assoluti, restrizioni, formule ricorrenti.
Ed è qui che, per me, l’esperimento smette di parlare della patente.
Non stiamo più studiando il Codice della strada. Stiamo studiando chi ha costruito il dataset.
Un modello potrebbe imparare proprio quelle regolarità: non le norme della circolazione, ma scorciatoie linguistiche per prevedere la risposta.
Il prossimo esperimento sarà quindi togliere completamente la conoscenza del Codice e vedere quanto un semplice modello statistico riesca a prevedere VERO/FALSO usando soltanto il testo.
Ma c’è un secondo aspetto che mi interessa.
Probabilmente non avrei scritto da zero tutti gli strumenti necessari per questa analisi. L’AI ha abbassato la soglia di accesso all’esperimento, trasformando una curiosità di un pomeriggio di Agosto in qualcosa che potevo misurare.
Non le ho chiesto la risposta. Le ho chiesto di aiutarmi a costruire gli strumenti per cercarla.
Poi ho verificato, confrontato, analizzato.
Forse è questo uno degli usi dell’AI che trovo più interessanti: non risparmiare il tempo necessario a pensare, ma rendere accessibili domande che prima avremmo lasciato perdere.
Perché i dati raccontano sempre qualcosa.
A volte raccontano anche cose che chi li ha costruiti non aveva nessuna intenzione di raccontare.
Original Linkedin Post https://www.linkedin.com/feed/update/urn:li:activity:7495019319429595136/
Il progetto su GitHub: https://github.com/aalmagio/quiz-patente-nlp